KR20150105340A - 혼합 현실 디스플레이 제공 기법 - Google Patents

혼합 현실 디스플레이 제공 기법 Download PDF

Info

Publication number
KR20150105340A
KR20150105340A KR1020157018437A KR20157018437A KR20150105340A KR 20150105340 A KR20150105340 A KR 20150105340A KR 1020157018437 A KR1020157018437 A KR 1020157018437A KR 20157018437 A KR20157018437 A KR 20157018437A KR 20150105340 A KR20150105340 A KR 20150105340A
Authority
KR
South Korea
Prior art keywords
level
display
user
hologram
safety rules
Prior art date
Application number
KR1020157018437A
Other languages
English (en)
Other versions
KR102159849B1 (ko
Inventor
스티븐 라타
피터 토비아스 키네브류
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20150105340A publication Critical patent/KR20150105340A/ko
Application granted granted Critical
Publication of KR102159849B1 publication Critical patent/KR102159849B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/22—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/36—User authentication by graphic or iconic representation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G02B2027/0174—Head mounted characterised by optical features holographic
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249—Holobject properties
    • G03H2001/2284—Superimposing the holobject with other visual information
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2227/00—Mechanical components or mechanical aspects not otherwise provided for
    • G03H2227/02—Handheld portable device, e.g. holographic camera, mobile holographic display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Technology Law (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

혼합 현실 제공 시스템 및 관련된 방법이 제공된다. 하나의 예에서, 머리 장착 디스플레이 디바이스는 홀로그램 객체를 제시하기 위한 디스플레이 시스템 및 복수의 센서를 포함한다. 혼합 현실 안전 프로그램은 소스로부터 콘텐트 제공자 ID와 연관된 홀로그램 객체를 수신하도록 구성된다. 그 프로그램은 콘텐트 제공자 ID에 기반하여 그 오브젝트에 신뢰 레벨을 할당한다. 신뢰 레벨이 임계 미만인 경우, 그 오브젝트는 디스플레이 제한의 보호적 레벨을 제공하는 제1 세트의 안전 규칙에 따라 디스플레이된다. 신뢰 레벨이 임계 이상인 경우, 그 오브젝트는 디스플레이 제한의 보호적 레벨 미만인 디스플레이 제한의 허용적 레벨을 제공하는 제2 세트의 안전 규칙에 따라 디스플레이된다.

Description

혼합 현실 디스플레이 제공 기법{MIXED REALITY DISPLAY ACCOMMODATION}
다양한 실세계(real-world) 환경 및 콘텍스트에서 머리 장착 디스플레이(head-mounted display) 디바이스들과 같은 증강 현실(augmented reality) 또는 혼합 현실(mixed reality) 디바이스들이 사용될 수 있다. 그러한 디바이스들은 홀로그램 객체들 및/또는 다른 가상 현실(virtual reality) 정보에 의해 증강된 물리적 환경의 뷰(view)를 제공한다. 이 디바이스들은 알려진 개발자 및 알려지지 않은 개발자에 의해 개발된 홀로그램 객체들뿐만 아니라, 알려진 소스 및 알려지지 않은 소스에 의해 발행되거나 배포된 홀로그램 객체들을 디스플레이를 위해 수신할 수 있다.
혼합 현실 디바이스에 의해 디스플레이되는 홀로그램 객체(holographic object)는 물리적 환경(physical environment)에 대한 사용자의 뷰를 바꿀 수 있다. 몇몇 예에서, 하나의 홀로그램 객체가 다른 홀로그램 객체와 상호작용할(interact) 수도 있다. 홀로그램 객체는 변화하는 레벨의 투명성(transparency)/불투명성(opacity), 선예도(sharpness)/블러(blur), 사실적(realistic) 대 상상적(fanciful) 행동 등과 같은 변화하는 레벨의 사실성으로 디스플레이될 수도 있다. 홀로그램 객체의 사실성 레벨 및 전반적인 외양에 따라, 홀로그램 객체를 디스플레이하는 것은 물리적 환경에 대한 사용자의 인지(perception)를 바꾸고/거나 물리적 환경의 어떤 양상으로부터 사용자의 주의를 돌릴 수 있다. 나아가, 혼합 현실 디바이스가 사용되고 있는 실세계 환경 및/또는 콘텍스트에 따라, 몇몇 경우에는 그러한 바뀐 인지 및/또는 돌려진 주의가 물리적 환경 내의 안전 관련(safety-related) 사안에 대한 사용자의 의식을 감퇴시킬 수 있다.
물리적 환경을 포함하는 혼합 현실 환경(mixed reality environment)을 제공하기(accommodate) 위해 홀로그램 객체를 디스플레이하는 것에 관한 다양한 실시예들이 본 문서에서 개시된다. 하나의 예에서, 방법은 사용자에 의해 착용되도록 구성되고 컴퓨팅 디바이스(computing device)에 동작가능하게 연결된(operatively connected) 머리 장착 디스플레이 디바이스(head-mounted display device)를 제공하는 것을 포함할 수 있다. 머리 장착 디스플레이 디바이스는 복수의 센서 및 디스플레이 시스템을 포함할 수 있다. 그 방법은 센서들 중 하나 이상을 통해 물리적 환경으로부터 물리적 환경 데이터를 수신하는 것을 포함할 수 있다. 홀로그램 객체가 소스(source)로부터 수신될 수 있는데, 홀로그램 객체는 콘텐트 제공자 ID와 연관되어 있다. 그 방법은 콘텐트 제공자 ID에 기반하여 홀로그램 객체에 신뢰 레벨(trust level)을 할당하는 것을 포함할 수 있다.
신뢰 레벨이 신뢰 레벨 임계(trust level threshold) 미만인 경우, 그 방법은 홀로그램 객체에 대한 디스플레이 제한의 보호적 레벨(protective level)을 제공하는 제1 세트의 안전 규칙을 적용하는 것을 포함할 수 있다. 그리고 그 방법은 제1 세트의 안전 규칙에 따라 디스플레이 시스템을 통해 홀로그램 객체를 디스플레이하는 것을 포함할 수 있다. 신뢰 레벨이 신뢰 레벨 임계 이상인 경우, 그 방법은 홀로그램 객체에 대한 디스플레이 제한의 허용적 레벨(permissive level)을 제공하는 제2 세트의 안전 규칙을 적용하는 것을 포함할 수 있는데, 제한의 허용적 레벨은 제한의 보호적 레벨 미만이다. 그리고 그 방법은 제2 세트의 안전 규칙에 따라 디스플레이 시스템을 통해 홀로그램 객체를 디스플레이하는 것을 포함할 수 있다.
이 개요는 상세한 설명에서 추가로 후술되는 개념들 중 선택된 것을 단순화된 형태로 소개하기 위하여 제공된다. 이 개요는 청구된 대상(claimed subject matter)의 중요 특징 또는 필수적 특징을 식별하도록 의도된 것이 아니고, 청구된 대상의 범주를 한정하기 위하여 사용되도록 의도된 것도 아니다. 나아가, 청구된 대상은 이 개시의 어느 부분에서든 언급된 임의의 또는 모든 난점을 해결하는 구현에 한정되지 않는다.
도 1은 본 개시의 실시예에 따른 혼합 현실 제공 시스템(mixed reality accommodation system)의 개략도(schematic view)이다.
도 2는 본 개시의 실시예에 따른 예시적인 머리 장착 디스플레이 디바이스를 도시한다.
도 3은 도 1의 혼합 현실 제공 시스템을 사용하고 도 2의 머리 장착 디스플레이 디바이스를 착용한 두 사용자를 포함하는 예시적인 물리적 환경의 개략도이다.
도 4a, 도 4b 및 도 4c는 본 개시의 실시예에 따라 홀로그램 객체를 디스플레이하는 방법의 플로우차트(flow chart)이다.
도 5는 컴퓨팅 시스템(computing system)의 실시예의 단순화된 개략적 예시이다.
도 1은 혼합 현실 제공 시스템(10)의 하나의 실시예의 개략도이다. 혼합 현실 제공 시스템(10)은 컴퓨팅 디바이스(22)의 대용량 스토리지(mass storage)(18) 내에 저장될 수 있는 혼합 현실 안전 프로그램(mixed reality safety program)(14)을 포함한다. 이하에서 더욱 상세히 기술되는 방법 및 프로세스 중 하나 이상을 수행하기 위해 혼합 현실 안전 프로그램(14)은 메모리(memory)(26) 내에 로드되어(loaded) 컴퓨팅 디바이스(22)의 프로세서(processor)(30)에 의해 실행될 수 있다.
하나의 예에서, 혼합 현실 제공 시스템(10)은 컴퓨팅 디바이스(22)의 대용량 스토리지(18) 내에 저장될 수 있는 혼합 현실 디스플레이 프로그램(mixed reality display program)(34)을 포함할 수 있다. 혼합 현실 디스플레이 프로그램(34)은 혼합 현실 환경(40)을 만들어내기 위해, 머리 장착 디스플레이(Head-Mounted Display: HMD) 디바이스(42)와 같은 디스플레이 디바이스(display device) 상의 디스플레이를 위한 가상 환경(virtual environment)(38)을 생성할 수 있다. 가상 환경(38)은 홀로그램 객체(44)와 같은 하나 이상의 가상 객체 표현을 포함할 수 있다. 몇몇 예에서, 가상 환경(38)은 대화형 비디오 게임(interactive video game), 영화 경험(motion picture experience), 광고(advertisement), 상업선전(commercial) 또는 다른 적합한 경험의 형태로 혼합 현실 환경(40) 내에서 혼합 현실 경험을 제공하기 위해 생성될 수 있다.
다른 예에서, 혼합 현실 디스플레이 프로그램(34) 및/또는 혼합 현실 안전 프로그램(14)은 원격으로 저장될 수 있고 컴퓨팅 디바이스(22)에 의해 네트워크(46)와 같은 네트워크(그 컴퓨팅 디바이스가 이에 동작가능하게 연결됨) 상에서 액세스될 수 있다.
컴퓨팅 디바이스(22)는 데스크톱 컴퓨팅 디바이스, 모바일 컴퓨팅 디바이스(이를테면 스마트 폰, 랩톱, 노트북 또는 태블릿 컴퓨터), 네트워크 컴퓨터, 홈 엔터테인먼트 컴퓨터(home entertainment computer), 대화형 텔레비전(interactive television), 게이밍 시스템(gaming system) 또는 다른 적합한 유형의 컴퓨팅 디바이스의 형태를 취할 수 있다. 컴퓨팅 디바이스(22)의 컴포넌트 및 컴퓨팅 양상에 관한 추가적인 세부사항이 도 5를 참조하여 아래에서 더욱 상세히 기술된다.
컴퓨팅 디바이스(22)는 유선 연결(wired connection)을 사용하여 HMD 디바이스(42)와 동작가능하게 연결될 수 있거나, 와이파이(WiFi), 블루투스(Bluetooth) 또는 임의의 다른 적합한 무선 통신 프로토콜을 통해 무선 연결(wireless connection)을 이용할 수 있다. 추가적으로, 도 1에 보여진 예는 컴퓨팅 디바이스(22)를 HMD 디바이스(42)로부터 별개인 컴포넌트로 도시한다. 다른 예에서 컴퓨팅 디바이스(22)는 HMD 디바이스(42) 내에 통합될(integrated) 수 있다는 점이 인식될 것이다.
컴퓨팅 디바이스(22)는 또한 네트워크(46)를 통해 하나 이상의 추가적인 디바이스와 동작가능하게 연결될 수 있다. 네트워크(46)는 로컬 영역 네트워크(Local Area Network: LAN), 광역 네트워크(Wide Area Network: WAN), 유선 네트워크, 무선 네트워크, 개인 영역 네트워크(personal area network) 또는 이들의 조합의 형태를 취할 수 있고, 인터넷을 포함할 수 있다.
이제 도 2를 또한 참조하면, 투명 디스플레이(transparent display)(50)를 구비한 착용가능한 안경 한 벌(a pair of wearable glasses)의 형태인 HMD 디바이스(200)의 하나의 예가 제공된다. 다른 예에서, HMD 디바이스(200)는 보는 이(viewer)의 눈 하나 또는 눈들 앞에 투명하거나 반투명(semi-transparent)이거나 투명하지 않은(non-transparent) 디스플레이가 지원되는 다른 적합한 형태를 취할 수 있다는 점이 인식될 것이다. 도 1에 도시된 HMD 디바이스(42)는 HMD 디바이스(200)(이하에서 더욱 상세히 기술되는 바와 같음) 또는 임의의 다른 적합한 HMD 디바이스의 형태를 취할 수 있다는 점이 또한 인식될 것이다. 추가적으로, 다양한 형태 인자(form factor)들을 갖는 여러 다른 유형 및 구성의 디스플레이 디바이스가 본 개시의 범주 내에서 사용될 수도 있다.
도 1 및 도 2를 참조하면, 이 예에서 HMD 디바이스(42)는 디스플레이 시스템(48) 및 투명 디스플레이(50)(사용자의 눈에 이미지가 전달될 수 있게 함)를 포함한다. 투명 디스플레이(50)는 물리적 환경(52)의 외양을, 투명 디스플레이를 통해 물리적 환경을 보는 사용자에게 시각적으로 증강하도록(augment) 구성될 수 있다. 예를 들어, 물리적 환경의 외양은 혼합 현실 환경(40)을 만들어내기 위해 투명 디스플레이(50)를 통해 제시되는 그래픽 콘텐트(graphical content)(가령, 각각 각자의 색채(color) 및 밝기(brightness)를 갖는 하나 이상의 픽셀)에 의해 증강될 수 있다.
투명 디스플레이(50)는 사용자로 하여금 가상 객체 표현을 디스플레이하고 있는 하나 이상의 부분적으로 투명한 픽셀을 거쳐 물리적 환경(52) 내의 물리적, 실세계 객체를 볼 수 있게 하도록 또한 구성될 수 있다. 하나의 예에서, 투명 디스플레이(50)는 (예컨대, 시스루(see-through) 유기 발광 다이오드(Organic Light-Emitting Diode: OLED) 디스플레이와 같은) 렌즈들(204) 내에 위치된 이미지 생성 요소를 포함할 수 있다. 다른 예로서, 투명 디스플레이(50)는 렌즈(204)의 가장자리(edge) 상의 광 변조기(light modulator)를 포함할 수 있다. 이 예에서, 렌즈(204)는 광 변조기로부터 사용자의 눈으로 빛을 전달하기 위한 도광부(light guide)로서의 역할을 할 수 있다. 그러한 도광부는 사용자로 하여금 사용자가 보고 있는 물리적 환경 내에 위치된 3D 가상 이미지를 인지할 수 있게 하되, 또한 사용자로 하여금 물리적 환경 내의 물리적 객체를 보게 할 수 있다.
다른 예에서, 투명 디스플레이(50)는 HMD 디바이스(200)를 착용한 사용자의 눈에 도달하기 전에 물리적 환경으로부터 수신된 빛의 선택적 필터링(selective filtering)을 지원할 수 있다. 그러한 필터링은 매 픽셀 단위로 또는 픽셀의 그룹에 대해 수행될 수 있다. 하나의 예에서, 투명 디스플레이(50)는 하나 이상의 조명된(illuminated) 픽셀의 형태로 빛을 부가하는 제1 디스플레이 계층 및 물리적 환경으로부터 수신된 주위 빛(ambient light)을 필터링하는 제2 디스플레이 계층을 포함할 수 있다. 이 계층들은 상이한 디스플레이 해상도(display resolution), 픽셀 밀도(pixel density) 및/또는 디스플레이 능력을 가질 수 있다.
몇몇 예에서, 제2 디스플레이 계층은 블로킹(blocking) 이미지가 생성될 수 있는 하나 이상의 불투명 계층을 포함할 수 있다. 하나 이상의 불투명 계층은 투명 디스플레이(50) 내에 내재적으로(integrally) 형성될 수 있다. 다른 예에서, 하나 이상의 불투명 계층은, 예컨대 별개의 차양(visor)의 형태로, 각기 투명 디스플레이(50)에 인접하여 장착되거나(mounted) 부착될(attached) 수 있다.
HMD 디바이스(42)는 다양한 시스템 및 센서를 또한 포함할 수 있다. 예를 들어, HMD 디바이스(42)는 적어도 하나의 내부 대향 센서(inward facing sensor)(212)(도 2 참조)를 활용하는 눈 추적 센서 시스템(eye-tracking sensor system)(54)을 포함할 수 있다. 내부 대향 센서(212)는 사용자의 눈으로부터 눈 추적 정보(eye-tracking information)의 형태로 이미지 데이터를 획득하도록 구성된 이미지 센서일 수 있다. 만약 사용자가 이 정보의 획득 및 사용에 동의하였다면, 눈 추적 센서 시스템(54)은 사용자의 눈의 동공 반응(pupillary response), 포지션(position) 및/또는 움직임을 추적하는 데에 이 정보를 사용할 수 있다. 그리고 눈 추적 센서 시스템(54)은 사용자가 어디를 응시하고 있는지 및/또는 사용자가 어떤 물리적 객체 또는 가상 객체를 응시하고 있는지 판정할 수 있다.
HMD 디바이스(42)는 광학 센서와 같은 적어도 하나의 외부 대향 센서(outward facing sensor)(216)를 활용하는 광학 센서 시스템(optical sensor system)(58)을 또한 포함할 수 있다. 외부 대향 센서(216)는 그것의 시계(field of view) 내의 움직임, 예를 들어 그 시계 내에서 사람 또는 물리적 객체에 의해 또는 사용자에 의해 수행되는 제스처 기반(gesture-based) 입력 또는 다른 움직임을 검출할 수 있다. 외부 대향 센서(216)는 또한 물리적 환경 및 그 환경 내의 물리적 객체로부터 이미지 정보 및 깊이 정보(depth information)를 포착할(capture) 수 있다. 예를 들어, 외부 대향 센서(216)는 깊이 카메라(depth camera), 가시광 카메라(visible light camera), 적외선 카메라(infrared light camera) 및/또는 포지션 추적 카메라(position tracking camera)를 포함할 수 있다. 몇몇 예에서, 외부 대향 센서(216)는 물리적 환경 내 실세계 조명 조건으로부터 가시광 스펙트럼 및/또는 적외선을 관측하기 위한 하나 이상의 광학 센서를 포함할 수 있다. 그러한 센서는, 예컨대 전하 결합 디바이스 이미지 센서(charge coupled device image sensor)를 포함할 수 있다.
앞서 언급된 바와 같이, HMD 디바이스(42)는 하나 이상의 깊이 카메라를 통한 깊이 감지(depth sensing)를 포함할 수 있다. 각각의 깊이 카메라는 예컨대 입체 비전 시스템(stereoscopic vision system)의 좌측 및 우측 카메라들을 포함할 수 있다. 이 깊이 카메라들 중 하나 이상으로부터의 시간 분해 이미지(time-resolved image)들은 서로에게 및/또는 가시광 스펙트럼 카메라와 같은 다른 광학 센서로부터의 이미지에 등록될(registered) 수 있고, 깊이 분해 비디오(depth-resolved video)를 산출하기 위해 조합될 수 있다.
몇몇 예에서, 깊이 카메라는 많은 이산 특징(가령, 선 또는 점)을 포함하는 구조화된 적외선 조명(structured infrared illumination)을 투사하도록 구성된 구조화된 광 깊이 카메라(structured light depth camera)의 형태를 취할 수 있다. 깊이 카메라는 장면(scene)(구조화된 조명이 이 위에 투사됨)으로부터 반사된 구조화된 조명을 촬상하도록(image) 구성될 수 있다. 그 장면의 깊이 맵(depth map)은 촬상된 장면의 다양한 영역 내의 인접한 특징들 사이의 간격에 기반하여 구축될(constructed) 수 있다.
다른 예에서, 깊이 카메라는 펄스형 적외선 조명(pulsed infrared illumination)을 장면 상에 투사하도록 구성된 비행시간 깊이 카메라(time-of-flight depth camera)의 형태를 취할 수 있다. 이 깊이 카메라는 장면으로부터 반사된 펄스형 조명을 검출하도록 구성될 수 있다. 이 깊이 카메라 중 둘 이상은 펄스형 조명에 동기화된 전자 셔터를 포함할 수 있다. 그 둘 이상의 깊이 카메라를 위한 노출 시간은 상이할 수 있어서, 소스로부터 장면까지 그리고 이어서 깊이 카메라들까지 펄스형 조명의 픽셀 분해 비행시간(pixel-resolved time-of-flight)은 두 깊이 카메라의 대응하는 픽셀들 내에서 수신된 빛의 상대적인 양과 구별가능하다. HMD 디바이스(42)는 구조화된 빛 및/또는 비행시간 깊이 분석(time of flight depth analysis)을 보조하기 위해 적외선 투사기(infrared projector)를 또한 포함할 수 있다.
다른 예에서, 물리적 환경 내의 사용자 및/또는 사람으로부터의 제스처 기반 및 다른 움직임 입력은 하나 이상의 깊이 카메라를 통해 검출될 수도 있다. 예를 들어, 외부 대향 센서(216)는 깊이 이미지를 생성하기 위해 알려진 상대적 포지션을 갖는 둘 이상의 광학 센서를 포함할 수 있다. 알려진 상대적 포지션을 갖는 이 광학 센서들로부터의 움직임 결과를 사용하여, 그러한 깊이 이미지가 생성되어 제스처 기반 및 다른 움직임 입력에 맵핑될 수 있다.
외부 대향 센서(216)는 사용자가 놓인 물리적 환경(52)의 이미지를 포착할 수 있다. 이하에서 더욱 상세히 논의되는 바와 같이, 그러한 이미지는 HMD 디바이스(42)에 의해 수신되어 컴퓨팅 디바이스(22)에 제공될 수 있는 물리적 환경 데이터(70)의 일부일 수 있다. 하나의 예에서, 혼합 현실 디스플레이 프로그램(34)은 포착된 물리적 환경 데이터(70)를 모델링하는 가상 환경(38)을 생성하기 위해 그러한 입력을 사용하는 3D 모델링 시스템을 포함할 수 있다.
HMD 디바이스(42)는 HMD 디바이스의 포지션 추적(position tracking) 및/또는 배향 감지(orientation sensing)를 가능하게 하고 물리적 환경 내 HMD 디바이스의 포지션을 판정하기 위해 하나 이상의 움직임 센서(224)를 활용하는 포지션 센서 시스템(position sensor system)(62)을 또한 포함할 수 있다. 예를 들어, 포지션 센서 시스템(62)은 사용자의 머리의 머리 자세 배향(head pose orientation)을 판정하는 데에 활용될 수 있다. 하나의 예에서, 포지션 센서 시스템(62)은 6 축 또는 6 자유도 포지션 센서 시스템으로서 구성된 관성 측정 유닛(inertial measurement unit)을 포함할 수 있다. 이 예시적인 포지션 센서 시스템은, 예를 들어 3개의 직교 축(가령, x, y, z)을 따라 3차원 공간 내에서의 HMD 디바이스(42)의 위치의 변화, 그리고 그 3개의 직교 축 주위에서의 HMD 디바이스의 배향(가령, 롤(roll), 피치(pitch), 요(yaw))의 변화를 나타내거나 측정하기 위해 3개의 가속도계 및 3개의 자이로스코프를 포함할 수 있다.
포지션 센서 시스템(62)은 GPS 또는 다른 전역 항법 시스템(global navigation system)들과 같은 다른 적합한 포지셔닝(positioning) 기법을 지원할 수 있다. 예를 들어, 포지션 센서 시스템(62)은 위성 및/또는 육상 기지국으로부터 브로드캐스트된(broadcast) 무선 신호를 수신하기 위해 무선 수신기(가령, GPS 수신기 또는 셀룰러(cellular) 수신기)를 포함할 수 있다. 이 무선 신호는 HMD 디바이스(42)의 지리적 위치를 식별하는 데에 사용될 수 있다.
HMD 디바이스(42)에 의해 수신된 무선 신호로부터 획득된 포지셔닝 정보(positioning information)는 HMD 디바이스(42)의 위치 및/또는 배향의 표시(indication)를 제공하기 위해 움직임 센서(224)로부터 획득된 포지셔닝 정보와 조합될 수 있다. 포지션 센서 시스템의 특정한 예들이 기술되었으나, 다른 적합한 포지션 센서 시스템이 사용될 수 있음이 인식될 것이다.
움직임 센서(224)는 사용자 입력 디바이스로서 활용될 수도 있어서, 사용자는 목과 머리의 제스처 또는 심지어 몸통의 제스처를 통해 HMD 디바이스(42)와 상호작용할 수 있다. 움직임 센서의 비한정적 예는 가속도계, 자이로스코프, 나침반 및 배향 센서를 포함하는데, 이들의 임의의 조합(combination) 또는 서브조합(subcombination)으로서 포함될 수 있다.
HMD 디바이스(42)는 하나 이상의 마이크(220)를 포함하는 마이크 시스템(microphone system)(64)을 또한 포함할 수 있다. 몇몇 예에서 마이크(220)의 어레이(array)는 사용자로부터 오디오 입력을 및/또는 사용자 주위의 물리적 환경으로부터 오디오 입력을 수신할 수 있다. 추가적으로 또는 대안적으로, HMD 디바이스(42)와 별개인 하나 이상의 마이크가 오디오 입력을 수신하는 데에 사용될 수 있다.
다른 예에서, 오디오는 HMD 디바이스(42) 상의 하나 이상의 스피커(228)를 통해 사용자에게 제시될 수 있다. 그러한 오디오는, 예컨대 혼합 현실 디스플레이 프로그램(34), 혼합 현실 안전 프로그램(14) 또는 다른 소스로부터의 음악, 명령어 및/또는 다른 통신을 포함할 수 있다.
HMD 디바이스(42)는 HMD 디바이스의 사용자로부터 하나 이상의 사용자 생체 파라미터를 수신하고/하거나 검출하기 위해 하나 이상의 센서(230)를 활용하는 생체 데이터 센서 시스템(biometric data sensor system)(66)을 또한 포함할 수 있다. 사용자 생체 파라미터는 다양한 생리적 프로세스, 기능, 측정 및/또는 상태에 관련된 정보를 포함할 수 있다. 생체 데이터 센서 시스템(66)의 하나 이상의 센서(230)는, 예컨대 심박수(heart rate)를 측정하기 위한 심박수 모니터, 헤모글로빈 포화도(hemoglobin saturation)를 측정하기 위한 펄스 옥시미터 센서(pulse oximeter sensor), 피부의 전기적 저항을 모니터하기 위한 피부전기 반응 센서(electrodermal response sensor), 그리고 뇌파 활동을 모니터하기 위한 뇌파전위기록(electroencephalographic: EEG) 모니터를 포함할 수 있다. 사용자 생체 파라미터는 예컨대 심박수, 동공 반응, 헤모글로빈 포화도, 피부 도전율(skin conductivity), 호흡, 발한(perspiration) 및 뇌파 활동을 포함할 수 있다. 몇몇 예에서, 사용자의 동공 반응은 HMD 디바이스(42)의 눈 추적 센서 시스템(54)에 의해 검출될 수 있다.
몇몇 예에서, 그리고 이하에서 더욱 상세히 설명되는 바와 같이, 전술된 센서 및 시스템 중 하나 이상에 의해 수신된 정보는 사용자 액션 데이터(user action data)(68)로서 혼합 현실 안전 프로그램(14)에 보내질 수 있다. 그러한 사용자 액션 데이터(68)는 현재 사용자 액션 및/또는 사용자 의도(이는 결국 홀로그램 객체(44)의 디스플레이에 적용될 안전 규칙을 선택하는 데에 사용될 수 있음)를 판정하기 위해 혼합 현실 안전 프로그램(14)에 의해 사용될 수 있다.
HMD 디바이스(42)는 도 5에 관해 아래에서 더욱 상세히 논의되는 바와 같이 HMD 디바이스의 다양한 입력 및 출력 디바이스와 통신하는 로직 서브시스템(logic subsystem) 및 스토리지 서브시스템(storage subsystem)을 갖는 프로세서(232)를 또한 포함할 수 있다. 간단히 말해, 예컨대 (처리되지 않거나 처리된 형태로) 센서로부터 컴퓨팅 디바이스(22)로 입력을 수신하여 전달하기 위해, 그리고 투명 디스플레이(50)를 통해 사용자에게 이미지를 제시하기 위해 로직 서브시스템에 의해 실행가능한 명령어를 스토리지 서브시스템이 포함할 수 있다.
앞서 기술되고 도 1 및 도 2에 예시된 HMD 디바이스(42) 및 관련된 센서와 다른 컴포넌트는 예로서 제공된다는 점이 인식될 것이다. 이 예들은 어떤 방식으로든 한정적인 것으로 의도되지 않았으니, 임의의 다른 적합한 센서, 컴포넌트 및/또는 센서와 컴포넌트의 조합이 활용될 수 있는 것이다. 그러므로 이 개시의 범주로부터 벗어나지 않고도 HMD 디바이스(42)가 추가적인 및/또는 대안적인 센서, 카메라, 마이크, 입력 디바이스, 출력 디바이스 등을 포함할 수 있다는 점이 이해되어야 한다. 또한, HMD 디바이스(42)와 그것의 다양한 센서 및 서브컴포넌트의 물리적 구성은 이 개시의 범주로부터 벗어나지 않고도 여러 상이한 형태를 취할 수 있다.
이제 도 3을 또한 참조하여, 혼합 현실 제공 시스템(10) 및 HMD 디바이스(42)의 예시적인 사용례 및 실시예의 서술이 이제 제공될 것이다. 도 3은 물리적 환경(52)에 위치된 제1 사용자(304) 및 제2 사용자(308)의 개략적 예시이다. 이 예에서 물리적 환경(52)은 거리(street)(312) 및 다른 물리적 객체(가령, 거리 위를 주행하는 차(316, 320) 및 표지판(324 및 328))를 포함한다. 제1 사용자(304)는 제1 HMD 디바이스(42)를 착용할 수 있고 제2 사용자(308)는 제2 HMD 디바이스(42')를 착용할 수 있다. 제1 HMD 디바이스(42) 및 제2 HMD 디바이스(42')는 모두 HMD 디바이스(200)의 형태를 취할 수 있다.
이하에서 논의되는 다양한 사용례에서 추가로 기술되는 바와 같이, 그리고 도 1을 다시 참조하면, 혼합 현실 안전 프로그램(14)은 전술된 센서 및 시스템 중 하나 이상을 통해 물리적 환경(52)으로부터 물리적 환경 데이터(70)를 수신하도록 구성될 수 있다. 혼합 현실 안전 프로그램(14)은 네트워크(46)를 통해 서버(72)와 같은 하나 이상의 소스로부터 홀로그램 객체(44)를 수신하도록 또한 구성된다.
홀로그램 객체(44)와 연관된 콘텐트 제공자 ID(74)에 기반하여, 혼합 현실 안전 프로그램(14)은 홀로그램 객체(44)에 신뢰 레벨을 할당하도록 구성될 수 있다. 그리고 할당된 신뢰 레벨에 기반하여, 혼합 현실 안전 프로그램(14)은 홀로그램 객체(44)에 대한 디스플레이 제한(display restrictions)의 사전결정된 레벨(predetermined level)을 제공하는 안전 규칙의 세트(set)를 적용하도록 구성될 수 있다.
신뢰 레벨이 신뢰 레벨 임계보다 작으면, 디스플레이 제한의 보호적 레벨을 제공하는 제1 세트의 안전 규칙(78)이 적용될 수 있다. 신뢰 레벨이 신뢰 레벨 임계보다 크거나 같다면, 디스플레이 제한의 허용적 레벨을 제공하는 제2 세트의 안전 규칙(80)이 적용될 수 있는데, 여기서 디스플레이 제한의 보호적 레벨은 디스플레이 제한의 허용적 레벨보다 크다. 그리고 홀로그램 객체(44)는 적용된 세트의 안전 규칙에 따라 디스플레이 시스템(48)을 통해 디스플레이될 수 있다.
하나의 예에서 그리고 도 3을 지금 참조하면, 제2 사용자(308)는 제1 사용자(304)와 대화형 혼합 현실 게임(interactive mixed reality game)을 하기를 원할 수 있다. 그 게임은 커다란 칼을 휘두르는 바나나(large sword-wielding banana)(332)(플레이어(player)들이 이에 대항하여 싸움)의 형태인 홀로그램 객체를 포함할 수 있다. 온라인 게이밍 서비스(on-line gaming service)가 홀로그램 바나나(332)를 서버(72)로부터 네트워크(46)를 거쳐 HMD 디바이스(42)의 컴퓨팅 디바이스(22)에 줄 수 있다. 홀로그램 바나나(332)는 온라인 게이밍 서비스를 홀로그램 바나나를 제공하는 소스로서 식별하는 콘텐트 제공자 ID(74)와 연관될 수 있다.
도 1을 다시 참조하면, 혼합 현실 안전 프로그램(14)은 콘텐트 제공자 ID(74)를 분석하고 콘텐트 제공자 ID에 기반하여 홀로그램 바나나(332)에 신뢰 레벨을 할당하는 신뢰 레벨 선택기 프로그램(trust level selector program)(76)을 포함할 수 있다. 하나의 예에서, 제1 사용자(304)는, 예컨대 "신뢰받는 관계"(trusted relationship) 리스트(컴퓨팅 디바이스(22)에 저장된 사용자 프로파일 데이터(user profile data)(84) 내의 사용자 선호사항 파일(user preferences file)(82)에 위치됨) 내에 포함되어 있는 온라인 게이밍 서비스에 의해 나타내어지는 온라인 게이밍 서비스와의 신뢰받는 관계를 가질 수 있다.
혼합 현실 안전 프로그램(14)은 복수의 안전 규칙 중에서 어떤 안전 규칙을 홀로그램 바나나(332)의 디스플레이에 적용할지 판정하기 위해 신뢰 레벨 임계와 할당된 신뢰 레벨을 비교하도록 구성될 수 있다. 하나의 예에서, 신뢰 레벨 임계는 신뢰받는 관계가 홀로그램 바나나(332)의 소스 및 제1 사용자(304) 간에 존재하는지 여부로서 정의될 수 있다. 그러한 신뢰받는 관계가 존재하면, 신뢰 레벨은 신뢰 레벨 임계 이상이다. 그러한 신뢰받는 관계가 존재하지 않으면, 신뢰 레벨은 신뢰 레벨 임계 미만이다.
대안적으로 표현되면, 신뢰 레벨 임계는 1이라는 수치(numerical value)를 갖는 것으로 표현될 수 있다. 신뢰받는 관계가 존재하면, 홀로그램 바나나(332)에 할당된 신뢰 레벨은 1이다. 신뢰받는 관계가 존재하지 않으면, 홀로그램 바나나에 할당된 신뢰 레벨은 0이다. 위 예에서, 1이라는 할당된 신뢰 레벨은 1이라는 신뢰 레벨 임계 이상이다. 홀로그램 바나나(332)의 소스 및 제1 사용자(304) 간에 신뢰받는 관계가 존재하지 않는 다른 예에서, 0이라는 할당된 신뢰 레벨은 1이라는 신뢰 레벨 임계 미만이다.
할당된 신뢰 레벨이 신뢰 레벨 임계 미만인 예에서, 혼합 현실 안전 프로그램(14)은 홀로그램 바나나(332)에 대한 디스플레이 제한의 보호적 레벨을 제공하는 제1 세트의 안전 규칙(78)을 적용하도록 구성된다. 제1 세트의 안전 규칙(78)은 홀로그램 바나나(332)가 HMD 디바이스(42)의 디스플레이 시스템(48)을 통해 디스플레이되는 방식에 관련된 하나 이상의 안전 규칙을 포함할 수 있다. 하나의 예에서, 제1 세트의 안전 규칙(78)에 의해 제공되는 "디스플레이 제한"은 홀로그램 바나나가 HMD 디바이스(42)를 통해 보이는 것과 같은 물리적 환경(52)에 대한 제1 사용자의 인지를 흐리거나(obscure) 영향을 주거나 그렇지 않으면 바꾸는 정도를 제한하는, 홀로그램 바나나(332)의 디스플레이에 관련된 제어로서 정의될 수 있다.
제1 세트의 안전 규칙(78)과 연관된 디스플레이 제한의 보호적 레벨은 이하에서 더욱 상세히 기술되는 제2 세트의 안전 규칙(80)과 연관된 디스플레이 제한의 허용적 레벨보다 클 수 있다. 다시 말해, 디스플레이 제한의 보호적 레벨은 홀로그램 바나나(332)가 물리적 환경(52)에 대한 제1 사용자의 인지를 흐리거나 영향을 주거나 그렇지 않으면 바꾸는 정도를 디스플레이 제한의 허용적 레벨보다 더 큰 급(degree)으로 제한할 수 있다.
본 예로 돌아오면, 제1 사용자(304)가 온라인 게이밍 서비스와의 신뢰받는 관계를 가지고, 따라서 신뢰 레벨이 신뢰 레벨 임계 이상인 경우에, 혼합 현실 안전 프로그램(14)의 디스플레이 모드 생성기(display mode generator)(86)는 제2 세트의 안전 규칙(80)에 따라 HMD 디바이스(42)의 디스플레이 시스템(48)을 통해 홀로그램 바나나(332)를 디스플레이하도록 구성될 수 있다. 앞서 언급된 바와 같이, 제2 세트의 안전 규칙(80)은 홀로그램 바나나에 대한 디스플레이 제한의 허용적 레벨을 제공할 수 있다. 이 방식으로, HMD 디바이스(42)는 물리적 환경(52)에 대한 제1 사용자의 인지를 제1 세트의 안전 규칙(78)과 연관된 디스플레이 제한의 제한적인 레벨에 의해 허용될 것보다는 더 큰 급으로 바꾸는 방식으로 홀로그램 바나나(332)를 디스플레이할 수 있다.
하나의 예에서, 디스플레이 제한의 그러한 허용적 레벨은 홀로그램 바나나가 물리적 환경(52)의 물리적 객체 또는 다른 양상에 대한 제1 사용자의 뷰를 흐리거나 차단할 수 있도록 상당한 불투명성으로써 홀로그램 바나나(332)를 디스플레이하는 것을 포함할 수 있다. 디스플레이 제한의 그러한 허용적 레벨은 홀로그램 바나나가 제1 사용자(304)의 주의를 강하게 끌도록 제1 사용자(304)에게 대단히 사실적으로 나타나는 방식으로 홀로그램 바나나(332)를 디스플레이하는 것을 포함할 수 있다.
다른 예에서, 디스플레이 제한의 그러한 허용적 레벨은 물리적 환경 내의 다른 물리적 객체에 비해 상당히 더 큰 크기 및 스케일(scale)로 홀로그램 바나나(332)를 디스플레이하는 것을 포함할 수 있다. 디스플레이 제한의 그러한 허용적 레벨은 검을 휘두르고 정교한 칼싸움 움직임을 수행하는 홀로그램 바나나(332)와 같은, 상상적인 외양 및/또는 행동에 대응하는 방식으로 홀로그램 객체를 디스플레이하는 것을 더 포함할 수 있다. 디스플레이 제한의 허용적 레벨의 다양한 다른 예가 본 개시의 범주 내에서 제공될 수 있다는 점이 인식될 것이다.
다른 예에서, 제1 사용자(304)는 온라인 게이밍 서비스와의 신뢰받는 관계를 갖지 않을 수 있고, 따라서 신뢰 레벨은 신뢰 레벨 임계 미만이다. 따라서, 혼합 현실 안전 프로그램(14)의 디스플레이 모드 생성기(86)는 제1 세트의 안전 규칙(78)에 따라 HMD 디바이스(42)의 디스플레이 시스템(48)을 통해 홀로그램 바나나(332)를 디스플레이하도록 구성될 수 있다. 앞서 언급된 바와 같이, 제1 세트의 안전 규칙(78)은 홀로그램 바나나(332)에 대한 디스플레이 제한의 보호적 레벨을 제공할 수 있다. 이 방식으로, HMD 디바이스(42)는 물리적 환경(52)에 대한 제1 사용자의 인지를 전술된 디스플레이 제한의 허용적 레벨에 의해 허용되는 것보다는 더 낮은 급으로 바꾸는 방식으로 홀로그램 바나나(332)를 디스플레이할 수 있다.
하나의 예에서, 디스플레이 제한의 그러한 보호적 레벨은 홀로그램 바나나가 물리적 환경(52)의 물리적 객체 또는 다른 양상에 대한 제1 사용자의 뷰를 흐리거나 차단하지 않도록 상당한 투명성으로써 홀로그램 바나나(332)를 디스플레이하는 것을 포함할 수 있다. 디스플레이 제한의 그러한 보호적 레벨은 홀로그램 객체가 제1 사용자(304)에 의해 홀로그램 객체로서 신속히 식별될 수 있도록 제1 사용자(304)에게 명백히 비현실적이게 나타나는 방식으로, 예컨대 독특한 홀로그램 비컨(holographic beacon) 또는 상당한 투명성으로써, 홀로그램 객체를 디스플레이하는 것을 또한 포함할 수 있다.
다른 예에서, 디스플레이 제한의 그러한 보호적 레벨은 물리적 환경 내 다른 물리적 객체에 비해 더 작은 크기 및 스케일로 홀로그램 바나나(332)를 디스플레이하여 이로써 홀로그램 바나나의 시각적 영향을 줄이는 것을 포함할 수 있다. 디스플레이 제한의 그러한 보호적 레벨은 그려진 얼굴, 손 및 다리 없이 홀로그램 바나나를 디스플레이하는 것과 같은, 보통의 외양 및/또는 행동에 대응하는 방식으로 홀로그램 바나나(332)를 디스플레이하는 것을 더 포함할 수 있다. 다른 예에서, 디스플레이 제한의 그러한 보호적 레벨은 홀로그램 바나나(332)를 디스플레이하지 않는 것을 포함할 수 있다. 디스플레이 제한의 보호적 레벨의 다양한 다른 예가 본 개시의 범주 내에서 제공될 수 있다는 점이 인식될 것이다.
다른 예에서, 홀로그램 객체(44)는 각각 홀로그램 객체에 대한 디스플레이 제한의 상이한 레벨들에 대응하는 상이한 안전 등급들을 구현하는 둘 이상의 버전을 포함할 수 있다. 예를 들어, 제1 홀로그램 객체 버전(holographic object version)(88)은 보호적 안전 등급(protective safety rating)을 포함할 수 있고 제2 버전(90)은 보호적 안전 등급과는 상이한 허용적 안전 등급(permissive safety rating)을 포함할 수 있다. 보호적 안전 등급은 앞서 기술된 바와 같은 디스플레이 제한의 보호적 레벨에 대응할 수 있다. 유사하게, 허용적 안전 등급은 앞서 기술된 바와 같은 디스플레이 제한의 허용적 레벨에 대응할 수 있다. 이 방식으로, 그리고 할당된 신뢰 레벨에 따라, 혼합 현실 안전 프로그램(14)은 홀로그램 객체(44)의 제1 버전(88) 또는 제2 버전(90)을 선택하고, 대응하는 디스플레이 제한에 따라 홀로그램 객체를 디스플레이할 수 있다.
위 예에서, 디스플레이 제한의 두 레벨에 대응하는 두 세트의 안전 규칙이 사용된다. 3, 4, 5, 6, 10, 100 또는 다른 수와 같은 임의의 다른 적합한 개수의 세트의 안전 규칙 및 디스플레이 제한의 대응하는 레벨이 본 개시의 범주 내에서 활용될 수 있다는 점이 또한 인식될 것이다. 추가적으로, 상이한 디스플레이 제한의 임의의 적합한 변형 및/또는 조합이 디스플레이 제한의 특정한 레벨 내에서 활용될 수 있다.
다양한 다른 유형 및 척도의 신뢰 레벨 및 관련된 신뢰 레벨 임계가 본 개시의 범주 내에서 활용될 수 있다는 점이 또한 인식될 것이다. 예를 들어, 신뢰 레벨은 제1 사용자(304) 및 홀로그램 객체(44)의 소스 간의 상호작용의 빈도와 연관될 수 있다. 하나의 예에서, 제1 사용자(304)가 소스와 더 빈번히 상호작용했을수록, 해당 소스와 연관된 신뢰 레벨은 더 높다. 다른 예에서, 신뢰 레벨은 소스를 신뢰받는 소스(trusted source)로서 표시하는 단언적으로 선택된 사용자 선호사항(affirmatively selected user preference)(82)과 연관될 수 있다. 다른 예에서, 신뢰 레벨은 제1 사용자(304)의 소셜 그래프(social graph), 연락처 리스트(contacts list), 이메일 활동, 메시징 활동(messaging activity) 및/또는 제1 사용자(304)의 다른 커뮤니케이션 활동으로부터의 입력(제1 사용자가 그러한 정보의 사용에 대해 적절한 동의를 제공하였다면)을 사용하여 추론될 수 있다.
다른 예에서, 콘텐트 제공자 ID(74)는 홀로그램 객체(44)의 개발자 또는 저자를 식별할 수 있는데, 이는 홀로그램 객체(44)를 배포하는 사람 또는 개체(entity)와 동일하거나 상이한 사람 또는 개체일 수 있다. 예를 들어, 홀로그램 객체(44)는 서버(72)로부터 네트워크(46)를 거쳐 HMD 디바이스(42)의 컴퓨팅 디바이스(22)에 주어질 수 있다. 홀로그램 객체(44)는 제2 사용자(308)를 그 객체의 개발자로서 식별하는 콘텐트 제공자 ID(74)와 연관될 수 있다. 그리고 신뢰 레벨 선택기 프로그램(76)은 제2 사용자(308)가 그 객체의 개발자로서 식별되는 것에 기반하여 홀로그램 객체(44)에 신뢰 레벨을 할당할 수 있다.
다른 예에서, 홀로그램 객체에 대한 디스플레이 제한의 사전결정된 레벨을 제공하는 안전 규칙의 세트를 선택하고 적용하기 위해 하나 이상의 추가적인 기준이 사용될 수 있다. 하나의 예에서, 안전 규칙의 세트를 선택하고 적용하는 데에 물리적 환경 데이터(70)가 사용될 수도 있다. 물리적 환경 데이터(70)는 하나 이상의 환경적 조건(92), 사용자 위치(94) 및 하나 이상의 위치 기반 제한(96)을 포함할 수 있으나, 이에 한정되지 않는다. 하나 이상의 환경적 조건(92)은 날짜(date), 하루 중 시각(time of day), 날씨 조건(weather condition), 주위 빛 레벨(ambient light level) 및 주위 노이즈 레벨(ambient noise level)을 포함할 수 있으나, 이에 한정되지 않는다.
하나의 예에서, 제1 사용자(304)는 5월 1일부터 8일까지 휴가로 여행 중일 수 있다. 5월 1일부터 8일까지, 제1 사용자(304)는 1에서 5의 스케일에서 5라는 신뢰 레벨 임계 미만인 신뢰 레벨과 연관된 소스로부터 수신된 홀로그램 객체의 디스플레이를 금하기를 원할 수 있다. 따라서, 5월 1일부터 8일까지, 혼합 현실 안전 프로그램(14)은 5 미만의 신뢰 레벨과 연관된 홀로그램 객체에게 디스플레이 제한의 보호적 레벨을 제공하는 제1 세트의 안전 규칙(78)을 적용할 수 있는데, 여기서 디스플레이 제한의 보호적 레벨은 그러한 홀로그램 객체를 디스플레이하지 않는 것에 대응한다.
다른 예에서, 제2 사용자(308)는 전형적으로 평일 아침마다 오전 7시에서 7시 45분 사이에 자전거로 직장에 통근할 수 있다. 따라서, 평일 아침마다 오전 7시에서 7시 45분 사이에, 혼합 현실 안전 프로그램(14)은 각각의 평일 아침 오전 7시에서 7시 45분 사이가 아닌 시간 중에 홀로그램 객체에 적용되는 더 허용적인 세트의 안전 규칙에 비해 홀로그램 객체에게 디스플레이 제한의 더 보호적인 레벨을 제공하는 안전 규칙의 세트를 적용할 수 있다.
다른 예에서 그리고 도 3을 다시 참조하면, 제1 사용자(304)는 바람, 번개 및 폭우를 동반한 뇌우(thunderstorm)와 같은 험한 날씨 중에 밖에 있을 수 있다. 그러한 날씨는, 예컨대 외부 대향 센서(216)에 의해 포착된 이미지 정보에 의해, HMD 디바이스(42)에 의해 검출될 수 있다. 그러한 험한 날씨를 검출하는 것에 기반하여, 혼합 현실 안전 프로그램(14)은 험한 날씨가 있지 않을 경우 홀로그램 객체에 적용되는 더 허용적인 세트의 안전 규칙에 비해, 홀로그램 객체에게 디스플레이 제한의 더 보호적인 레벨을 제공하는 안전 규칙의 세트를 적용할 수 있다.
다른 예에서, 제1 사용자는 주위 빛 레벨이 낮고 예컨대 일광 임계(daylight threshold) 미만일 때인 밤에 거리(312)를 따라 걷고 있을 수 있다. 그러한 주위 빛 레벨은, 예컨대 외부 대향 센서(216)에 의해 포착된 주위 빛 정보에 의해, HMD 디바이스(42)에 의해 검출될 수 있다. 일광 임계보다 낮은 주위 빛 레벨에 기반하여, 혼합 현실 안전 프로그램(14)은 주위 빛 레벨이 그러한 임계를 넘는 경우 홀로그램 객체에 적용되는 더 허용적인 세트의 안전 규칙에 비해, 홀로그램 객체에게 디스플레이 제한의 더 보호적인 레벨을 제공하는 안전 규칙의 세트를 적용할 수 있다.
다른 예에서, 제1 사용자는 붐비는 거리(312)(여기서 다른 주위 노이즈와 조합된 지나가는 차들(316, 320)로부터의 노이즈가, 예컨대 주위 노이즈 임계(ambient noise threshold)를 넘는 주위 노이즈 레벨을 생성함)를 따라 걷고 있을 수 있다. 그러한 주위 노이즈 레벨은, 예컨대 마이크 시스템(64)에 의해 포착된 오디오 정보에 의해, HMD 디바이스(42)에 의해 검출될 수 있다. 주위 노이즈 임계를 넘는 주위 노이즈 레벨에 기반하여, 혼합 현실 안전 프로그램(14)은 주위 노이즈 레벨이 그러한 임계를 넘는 경우 홀로그램 객체에 적용되는 더 허용적인 세트의 안전 규칙에 비해, 홀로그램 객체에게 디스플레이 제한의 더 보호적인 레벨을 제공하는 안전 규칙의 세트를 적용할 수 있다.
앞서 언급된 바와 같이, 몇몇 예에서 물리적 환경 데이터(70)는 사용자 위치(94)를 포함할 수 있다. 하나의 예에서 그리고 도 3을 참조하면, 제2 사용자(308)는 거리(312) 옆을 따라 자전거를 몰고 있을 수 있다. 붐비는 거리(312) 옆의 제2 사용자(308)의 위치는, 예컨대 HMD 디바이스(42')의 포지션 센서 시스템(62)에 의해 판정될 수 있다. 붐비는 거리(312)에 가까운 제2 사용자(308)의 위치에 기반하여, 혼합 현실 안전 프로그램(14)은 제2 사용자가 해변 옆 자전거 도로를 따라 자전거를 몰고 있는 경우 홀로그램 객체에 적용되는 더 허용적인 세트의 안전 규칙에 비해, 홀로그램 객체에게 디스플레이 제한의 더 보호적인 레벨을 제공하는 안전 규칙의 세트를 적용할 수 있다.
또한 앞서 언급된 바와 같이, 물리적 환경 데이터(70)는 하나 이상의 위치 기반 제한(96)을 포함할 수 있다. 몇몇 예에서, 하나 이상의 위치 기반 제한(96)은 정부(government) 기반 제한 및 민간 개체(private entity) 기반 제한을 포함할 수 있다. 하나의 예에서, 제1 사용자(304)는 정부 군사 기지 내의 거리(312)를 따라 걷고 있을 수 있다. 보안상 이유로, 정부는 군사 기지의 경계 내에서 사용되는 HMD 디바이스에 의한 홀로그램 객체의 디스플레이에 제한을 부과할 수 있다. 컴퓨팅 디바이스(22)는 정부로부터 디스플레이 제한을 수신할 수 있다. 따라서, 제1 사용자(304)가 군사 기지 상에 있는 동안, 혼합 현실 안전 프로그램(14)은 HMD 디바이스(42)에 의해 디스플레이되는 홀로그램 객체에 추가적인 디스플레이 제한을 부가하는 정부 기반 제한의 세트를 적용할 수 있다.
다른 예에서, 제1 사용자(304)는 예금하기 위해 은행에 들어갈 수 있다. 보안상의 이유로, 은행은 은행 내에서 사용되는 HMD 디바이스에 의한 홀로그램 객체의 디스플레이 상에 제한을 부과할 수 있다. 컴퓨팅 디바이스(22)는 은행으로부터 디스플레이 제한을 수신할 수 있다. 따라서, 제1 사용자(304)가 은행 내에 있는 동안, 혼합 현실 안전 프로그램(14)은 HMD 디바이스(42)에 의해 디스플레이되는 홀로그램 객체에 추가적인 디스플레이 제한을 부가하는 은행 기반 제한의 세트를 적용할 수 있다.
다른 예에서, 다양한 물리적 환경 데이터(70)는 그러한 물리적 환경 데이터에 기반하여 적용되는 더 보호적인 세트의 안전 규칙에 비해, 홀로그램 객체에게 디스플레이 제한의 더 허용적인 레벨을 제공하는 안전 규칙의 세트를 선택하고 적용하는 데에 사용될 수 있다는 점이 또한 인식될 것이다. 또한, 몇몇 예에서는 안전 규칙의 세트를 선택하고 적용하기 위해 물리적 환경 데이터(70)의 둘 이상의 상이한 인스턴스(instance)들이 사용될 수 있다.
다른 예에서, 안전 규칙의 세트를 선택하고 적용하기 위해 사용자 액션 데이터(68)가 사용될 수도 있다. 사용자 액션 데이터(68)는 눈 추적 정보, 마이크 정보, 광학 센서 정보, 포지션 센서 정보 및 생체 정보를 포함할 수 있으나, 이에 한정되지 않는다. 사용자 액션 데이터(68)를 사용하여, 혼합 현실 안전 프로그램(14)은 예컨대 어림법(heuristics), 액션 추론 테이블(action-inference table) 및 프로그램적(programmatic) 규칙 중 하나 이상을 사용하여 현재 사용자 액션을 판정할 수 있다. 그리고 혼합 현실 안전 프로그램(14)은 현재 사용자 액션에 기반하여 안전 규칙의 세트를 선택하고 적용할 수 있다.
하나의 예에서 그리고 도 3을 참조하면, 제1 사용자(304)는 거리(312)를 가로질러 광고판(324)을 보고 있을 수 있다. HMD 디바이스(42)의 눈 추적 센서 시스템(54)으로부터 수신된 눈 추적 정보는 제1 사용자(304)가 광고판(324)을 응시하고 있음을 판정하기 위해 혼합 현실 안전 프로그램(14)에 의해 사용될 수 있다. 이 눈 추적 정보 및 제1 사용자(304)의 이전 행동에 관련된 어림법을 활용하여, 혼합 현실 안전 프로그램(14)은 제1 사용자(304)의 주의가 현재 실질적으로 광고판(324)에 집중됨을 판정할 수 있다. 따라서, 혼합 현실 안전 프로그램(14)은 제1 사용자의 주의가 실질적으로 다른 객체에 집중되지 않은 경우 홀로그램 객체에 적용되는 더 허용적인 세트의 안전 규칙에 비해, 홀로그램 객체에게 디스플레이 제한의 더 보호적인 레벨을 제공하는 안전 규칙의 세트를 적용할 수 있다. 예를 들어, 혼합 현실 안전 프로그램(14)은 홀로그램 바나나(332)의 디스플레이된 포지션을 거리(312)의 가운데로부터 도시된 바와 같이 그 거리의 옆을 따라 있는 곳으로 변경할 수 있다.
다른 예에서, 제1 사용자(304)는 중요한 업무 문제에 관해 업무 고객과 이야기하고 있을 수 있다. HMD 디바이스(42)의 마이크 시스템(64)으로부터 수신된 오디오 정보는 제1 사용자(304)가 중요한 대화로 바쁘다고 판정하도록 혼합 현실 안전 프로그램(14)에 의해 사용될 수 있다. 그 사용자가 중요한 대화로 바쁘다는 것을 추론하기 위해 제1 사용자의 대화의 양상을 사용하는 액션 추론 테이블을 활용하여, 혼합 현실 안전 프로그램(14)은 제1 사용자(304)의 주의가 업무 고객과의 그의 대화에 실질적으로 집중됨을 판정할 수 있다. 따라서, 혼합 현실 안전 프로그램(14)은 제1 사용자(304)가 중요한 대화로 바쁘지 않은 경우 홀로그램 객체에 적용되는 더 허용적인 세트의 안전 규칙에 비해, 홀로그램 바나나(332)와 같은 홀로그램 객체에게 디스플레이 제한의 더 보호적인 레벨을 제공하는 안전 규칙의 세트를 적용할 수 있다.
다른 예에서, 제2 사용자(308)는 거리(312)를 따라 자전거를 몰고 있을 수 있다. HMD 디바이스(42)의 광학 센서 시스템(58)으로부터 수신된 이미지 데이터는 제2 사용자(308)가 자전거를 몰고 있음을 판정하기 위해 혼합 현실 안전 프로그램(14)에 의해 사용될 수 있다. 제2 사용자(308)가 자전거를 몰고 있음을 판정하는 것에 기반하여, 혼합 현실 안전 프로그램(14)은 그 사용자가 자전거를 몰고 있는 동안 홀로그램 바나나(332)와 같은 홀로그램 객체에게 디스플레이 제한의 더 보호적인 레벨을 제공하는 안전 규칙의 세트를 적용하는 프로그램적 규칙(programmatic rule)을 적용할 수 있다. 예를 들어, 그러한 프로그램적 규칙은 그 객체에 할당된 신뢰 레벨에 상관없이 홀로그램 객체의 디스플레이를 금지할 수 있다.
다른 예에서, 제1 사용자(304)는 거리(312)를 향해 걸어서 다가가고 있을 수 있다. HMD 디바이스(42)의 포지션 센서 시스템(62)으로부터 수신된 포지션 데이터는 제1 사용자(304)가 거리(312)를 향해 이동하여 다가가고 있음을 판정하기 위해 혼합 현실 안전 프로그램(14)에 의해 사용될 수 있다. 제1 사용자(304)가 거리(312)를 향해 이동하여 다가가고 있음을 판정하는 것에 기반하여, 혼합 현실 안전 프로그램(14)은 홀로그램 바나나(332)와 같은 홀로그램 객체에게 디스플레이 제한의 더 보호적인 레벨을 제공하는 안전 규칙의 세트를 적용할 수 있다. 그러한 제한은, 예컨대 거리(312) 위의 사용자 시계(user field of view) 내에서만 홀로그램 객체의 디스플레이를 허용하는 것을 포함할 수 있다.
다른 예에서, 제1 사용자(304)는 걸어서 일자리 면접에 가고 있을 수 있다. 제1 사용자(304)는 그 면접에 대해 초조해할 수 있고 대응하는 스트레스 반응을 겪고 있을 수 있다. HMD 디바이스(42)의 생체 센서 시스템(66)으로부터 수신된 생체 정보, 예컨대 제1 사용자(304)의 심박수는 제1 사용자(304)가 스트레스 반응을 겪고 있음을 판정하기 위해 혼합 현실 안전 프로그램(14)에 의해 사용될 수 있다. 제1 사용자(304)가 스트레스 반응을 겪고 있음을 판정하는 것에 응답하여, 혼합 현실 안전 프로그램(14)은 홀로그램 바나나(332)와 같은 홀로그램 객체에게 디스플레이 제한의 더 보호적인 레벨을 제공하는 안전 규칙의 세트를 적용할 수 있다.
다양한 다른 유형의 생체 정보가 생체 센서 시스템(66)에 의해 검출되고 사용자가 다양한 다른 생물학적 반응을 겪고 있음을 판정하기 위해 혼합 현실 안전 프로그램(14)에 의해 사용될 수 있다는 점이 또한 인식될 것이다. 그러한 다른 유형의 생체 정보는 다양한 생리적 프로세스, 기능, 측정 및/또는 상태에 관련된 정보를 포함할 수 있다. 그러한 생체 정보는 안전 규칙의 세트를 선택하고 적용하는 데에 사용될 수도 있다.
다른 예에서, 혼합 현실 안전 프로그램(14)은 예컨대 어림법, 액션 추론 테이블 및 프로그램적 규칙 중 하나 이상을 사용하여 사용자 의도를 판정하기 위해 사용자 액션 데이터(68)를 활용할 수도 있다. 그리고 혼합 현실 안전 프로그램(14)은 판정된 사용자 의도에 또한 기반하여 안전 규칙의 세트를 선택하고 적용할 수 있다.
하나의 예에서, 사용자는 사용자의 집 안에서 혼합 현실 추격 게임(mixed reality chase game)을 하고 있을 수 있다. 그 게임은 사용자와 홀로그램 개(holographic dog) 모두가 홀로그램 다람쥐(holographic squirrel)를 추격하고 잡으려고 하는 것을 수반할 수 있다. 홀로그램 다람쥐는 판유리 창을 지나 뛰어다닐 수 있다. 포지션 센서 시스템(62)으로부터의 포지션 센서 정보는 사용자가 판유리 창을 향해 이동하고 있음을 보여줄 수 있다. 이 포지션 정보 및 게임의 목적이 고려되어, 혼합 현실 안전 프로그램(14)은 사용자가 판유리 창(사용자가 알아보지 못할 수 있음)을 지나 홀로그램 다람쥐를 뒤쫓을 작정임을 판정할 수 있다. 따라서, 혼합 현실 안전 프로그램(14)은 판유리 창을 향해 이동하는 것을 멈추라고 사용자에게 경고하는 긴급 홀로그램 메시지로 홀로그램 다람쥐를 변경하는 것과 같이, 홀로그램 다람쥐에게 디스플레이 제한의 더 보호적인 레벨을 제공하는 안전 규칙의 세트를 적용할 수 있다.
다른 예에서, 홀로그램 객체에 대해 디스플레이 제한을 제공하는 안전 규칙의 세트를 선택하고 적용하기 위해 하나 이상의 현재 사용자 액션 및 하나 이상의 사용자 의도가 혼합 현실 안전 프로그램에 의해 활용될 수 있다는 점이 또한 인식될 것이다.
위의 예시적인 사용례에 의해 보여진 바와 같이, 혼합 현실 제공 시스템(10)은 홀로그램 객체의 디스플레이를 선택적으로 조정하여 그 객체에 대한 사용자의 인지를 관리할 수 있는데, 그 객체의 포지션을 변경하는 것, 그 객체가 물리적 환경 내의 물리적 객체에 관련하여 어떻게 인지되는지, 그리고 그 객체가 다른 홀로그램 객체와 어떻게 상호작용하는지를 포함한다. 유리하게도, 이 방식으로 혼합 현실 환경을 제공하기 위해 홀로그램 객체의 디스플레이를 관리함으로써, 혼합 현실 제공 시스템(10)은 더 즐겁고 만족스러운 혼합 현실 경험을 제공할 수 있다.
도 4a, 도 4b 및 도 4c는 본 개시의 실시예에 따라 물리적 환경을 포함하는 혼합 현실 환경을 제공하도록 홀로그램 객체를 디스플레이하는 방법(400)의 플로우차트를 보여준다. 방법(400)에 대한 아래의 서술은 앞서 기술되고 도 1 내지 도 3에 도시된 혼합 현실 제공 시스템(10)의 소프트웨어 및 하드웨어 컴포넌트들을 참조하여 제공된다. 방법(400)은 다른 적합한 하드웨어 및 소프트웨어 컴포넌트들을 사용하여 다른 콘텍스트에서 수행될 수도 있다는 점이 인식될 것이다.
도 4a를 참조하면, 404에서 방법(400)은 사용자에 의해 착용되도록 구성되고 컴퓨팅 디바이스(22)에 동작가능하게 연결되는 HMD 디바이스(42)를 제공하는 것을 포함한다. HMD 디바이스(42)는 홀로그램 객체를 제시하기 위한 디스플레이 시스템(48) 및 복수의 센서를 포함한다. 408에서 방법(400)은 홀로그램 객체(44)를 소스로부터 수신하는 것을 포함하는데, 홀로그램 객체(44)는 콘텐트 제공자 ID(74)와 연관된다.
416에 나타내어진 바와 같이, 홀로그램 객체(44)는 보호적 안전 등급을 갖는 제1 홀로그램 객체 버전을 포함할 수 있다. 420에 나타내어진 바와 같이, 홀로그램 객체(44)는 허용적 안전 등급을 갖는 제2 홀로그램 객체 버전을 더 포함할 수 있다. 424에서 방법(400)은 콘텐트 제공자 ID(74)에 기반하여 홀로그램 객체(44)에 신뢰 레벨을 할당하는 것을 포함한다. 428에서 방법(400)은 HMD 디바이스(42)의 센서들 중 하나 이상을 통해 물리적 환경으로부터 물리적 환경 데이터를 수신하는 것을 포함한다.
432에 나타내어진 바와 같이, 물리적 환경 데이터는 하나 이상의 환경적 조건, 사용자 위치 및 하나 이상의 위치 기반 제한을 포함할 수 있다. 436에 나타내어진 바와 같이, 하나 이상의 환경적 조건은 날짜, 하루 중 시각, 날씨 조건, 주위 빛 레벨 및 주위 노이즈 레벨을 포함할 수 있다. 440에 나타내어진 바와 같이, 하나 이상의 위치 기반 제한은 정부 기반 제한 및 민간 개체 기반 제한을 포함할 수 있다.
444에서 방법(400)은 사용자 액션 데이터를 수신하는 것을 포함한다. 448에 나타내어진 바와 같이, 사용자 액션 데이터는 눈 추적 정보, 마이크 정보, 광학 센서 정보, 포지션 센서 정보 및 생체 정보를 포함한다. 452에서 방법(400)은 사용자 액션 데이터에 기반하여 현재 사용자 액션을 판정하는 것을 포함한다. 하나의 예에서, 현재 사용자 액션은 어림법, 액션 추론 테이블 및 프로그램적 규칙 중 하나 이상을 사용하여 판정될 수 있다. 456에서 방법(400)은 사용자 액션 데이터에 기반하여 사용자 의도를 판정하는 것을 포함한다. 하나의 예에서, 사용자 의도는 어림법, 액션 추론 테이블 및 프로그램적 규칙 중 하나 이상을 사용하여 판정될 수 있다.
이제 도 4b를 참조하면, 460에서 방법(400)은 홀로그램 객체에 할당된 신뢰 레벨이 신뢰 레벨 임계 T보다 작은지 판정하는 것을 포함한다. 홀로그램 객체에 할당된 신뢰 레벨이 신뢰 레벨 임계 T보다 작은 경우, 464에서 방법(400)은 홀로그램 객체에 대한 디스플레이 제한의 보호적 레벨을 제공하는 제1 세트의 안전 규칙을 적용하는 것을 포함한다.
468에서 방법(400)은 보호적 안전 등급을 포함하는 제1 홀로그램 버전을 선택하는 것을 포함할 수 있다. 472에서 방법(400)은 물리적 환경 데이터에 기반하여 제1 세트의 안전 규칙을 선택하는 것을 포함할 수 있다. 476에서 방법(400)은 현재 사용자 액션에 기반하여 제1 세트의 안전 규칙을 선택하는 것을 포함할 수 있다. 480에서 방법(400)은 사용자 의도에 기반하여 제1 세트의 안전 규칙을 선택하는 것을 포함할 수 있다. 484에서 방법(400)은 제1 세트의 안전 규칙에 따라 HMD 디바이스(42)를 통해 홀로그램 객체를 디스플레이하는 것을 포함한다. 그리고 방법(400)은 종료할 수 있다.
460으로 돌아와, 홀로그램 객체에 할당된 신뢰 레벨이 신뢰 레벨 임계 T보다 크거나 같은 경우, 486에서(도 4C 참조) 방법(400)은 홀로그램 객체에 대한 디스플레이 제한의 보호적 레벨보다 낮은 디스플레이 제한의 허용적 레벨을 제공하는 제2 세트의 안전 규칙을 적용하는 것을 포함한다. 488에서 방법(400)은 허용적 안전 등급을 포함하는 제2 홀로그램 버전을 선택하는 것을 포함할 수 있다. 490에서 방법(400)은 물리적 환경 데이터에 기반하여 제2 세트의 안전 규칙을 선택하는 것을 포함할 수 있다. 492에서 방법(400)은 현재 사용자 액션에 기반하여 제2 세트의 안전 규칙을 선택하는 것을 포함할 수 있다. 494에서 방법(400)은 사용자 의도에 기반하여 제2 세트의 안전 규칙을 선택하는 것을 포함할 수 있다. 그리고 496에서 방법(400)은 제2 세트의 안전 규칙에 따라 HMD 디바이스(42)를 통해 홀로그램 객체를 디스플레이하는 것을 포함한다. 그리고 방법(400)은 종료할 수 있다.
방법(400)은 예시로서 제공되며 한정적인 것으로 의도된 것이 아님이 인식될 것이다. 그러므로, 방법(400)은 도 4a, 도 4b 및 도 4c에 예시된 것에 추가적인 및/또는 대안적인 단계를 포함할 수 있다는 점이 이해되어야 한다. 또한, 방법(400)은 임의의 적합한 순서로 수행될 수 있다는 점이 이해되어야 한다. 또 나아가, 이 개시의 범주를 벗어나지 않고도 하나 이상의 단계가 방법(400)에서 생략될 수 있다는 점이 이해되어야 한다.
도 5는 전술된 방법 및 프로세스 중 하나 이상을 수행할 수 있는 컴퓨팅 시스템(500)의 비한정적 실시예를 개략적으로 도시한다. 컴퓨팅 디바이스(22)는 컴퓨팅 시스템(500)의 형태를 취할 수 있다. 컴퓨팅 시스템(500)은 단순화된 형태로 도시된다. 이 개시의 범주로부터 벗어나지 않고도 사실상 임의의 컴퓨터 아키텍처(computer architecture)가 사용될 수 있다는 점이 이해되어야 한다. 상이한 실시예들에서, 컴퓨팅 시스템(500)은 메인프레임 컴퓨터, 서버 컴퓨터, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 홈 엔터테인먼트 컴퓨터, 네트워크 컴퓨팅 디바이스, 모바일 컴퓨팅 디바이스, 모바일 통신 디바이스, 게이밍 디바이스 등의 형태를 취할 수 있다. 앞서 언급된 바와 같이, 몇몇 예에서 컴퓨팅 시스템(500)은 HMD 디바이스 내에 통합될 수 있다.
도 5에 도시된 바와 같이, 컴퓨팅 시스템(500)은 로직 서브시스템(504) 및 스토리지 서브시스템(508)을 포함한다. 컴퓨팅 시스템(500)은 디스플레이 서브시스템(512), 통신 서브시스템(516), 센서 서브시스템(520), 입력 서브시스템(522) 및/또는 도 5에 도시되지 않은 다른 서브시스템 및 컴포넌트를 선택적으로 포함할 수 있다. 컴퓨팅 시스템(500)은 컴퓨터 판독가능(computer readable) 매체를 또한 포함할 수 있는데, 그 컴퓨터 판독가능 매체는 컴퓨터 판독가능 저장 매체 및 컴퓨터 판독가능 통신 매체를 포함한다. 컴퓨팅 시스템(500)은 예컨대 키보드, 마우스, 게임 제어기 및/또는 터치 스크린과 같은 다른 사용자 입력 디바이스를 선택적으로 포함할 수도 있다. 또한, 몇몇 실시예에서 본 문서에서 기술된 방법 및 프로세스는 하나 이상의 컴퓨터를 포함하는 컴퓨팅 시스템 내에서 컴퓨터 애플리케이션, 컴퓨터 서비스, 컴퓨터 API, 컴퓨터 라이브러리 및/또는 다른 컴퓨터 프로그램 제품으로서 구현될 수 있다.
로직 서브시스템(504)은 하나 이상의 명령어를 실행하도록 구성된 하나 이상의 물리적 디바이스를 포함할 수 있다. 예를 들어, 로직 서브시스템(504)은 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 오브젝트, 컴포넌트, 데이터 구조 또는 다른 논리적 구성체(logical construct) 중 일부인 하나 이상의 명령어를 실행하도록 구성될 수 있다. 그러한 명령어는 태스크를 수행하거나 데이터 유형(data type)을 구현하거나 하나 이상의 디바이스의 상태를 변환하거나 그렇지 않으면 원하는 결과에 도달하도록 구현될 수 있다.
로직 서브시스템(504)은 소프트웨어 명령어를 실행하도록 구성된 하나 이상의 프로세서를 포함할 수 있다. 추가적으로 또는 대안적으로, 로직 서브시스템은 하드웨어 또는 펌웨어 명령어를 실행하도록 구성된 하나 이상의 하드웨어 또는 펌웨어 로직 머신을 포함할 수 있다. 로직 서브시스템의 프로세서는 단일 코어 또는 다중코어(multicore)일 수 있고, 그 위에서 실행되는 프로그램은 병렬 또는 분산 처리를 위해 구성될 수 있다. 로직 서브시스템은 원격으로 위치되고/되거나 코디네이티드 처리(coordinated processing)를 위해 구성될 수 있는 둘 이상의 디바이스에 걸쳐 분산된 개별 컴포넌트들을 선택적으로 포함할 수 있다. 로직 서브시스템의 하나 이상의 양상은 클라우드 컴퓨팅 구성(cloud computing configuration) 내에 구성된 원격으로 액세스가능한 네트워크형(networked) 컴퓨팅 디바이스에 의해 가상화되어 실행될 수 있다.
스토리지 서브시스템(508)은 본 문서에서 기술된 방법 및 프로세스를 구현하기 위해 로직 서브시스템(504)에 의해 실행가능한 명령어 및/또는 데이터를 유지하도록 구성된 하나 이상의 물리적, 지속적(persistent) 디바이스를 포함할 수 있다. 그러한 방법 및 프로세스가 구현되는 경우, 스토리지 서브시스템(508)의 상태는 (가령, 상이한 데이터를 유지하기 위해) 변환될 수 있다.
스토리지 서브시스템(508)은 탈착가능한(removable) 매체 및/또는 내장형(built-in) 디바이스를 포함할 수 있다. 스토리지 서브시스템(508)은 무엇보다 광학 메모리 디바이스(가령, CD, DVD, HD-DVD, 블루레이 디스크(Blu-Ray Disc) 등), 반도체 메모리 디바이스(가령, RAM, EPROM, EEPROM 등) 및/또는 자기 메모리 디바이스(가령, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, MRAM 등)를 포함할 수 있다. 스토리지 서브시스템(508)은 다음 특성 중 하나 이상을 구비한 디바이스를 포함할 수 있다: 휘발성(volatile), 비휘발성(nonvolatile), 동적(dynamic), 정적(static), 판독(read)/기입(write), 판독전용(read-only), 랜덤 액세스(random access), 순차적 액세스(sequential access), 위치 주소지정가능(location addressable), 파일 주소지정가능(file addressable) 및 콘텐트 주소지정가능(content addressable).
몇몇 실시예에서, 로직 서브시스템(504) 및 스토리지 서브시스템(508)의 양상들은 하나 이상의 공통 디바이스(본 문서에서 기능적으로 기술된 것은 적어도 부분적으로는 이를 통해 행해짐) 내에 통합될 수 있다. 그러한 하드웨어 로직 컴포넌트는, 예컨대 필드 프로그램가능 게이트 어레이(Field-Programmable Gate Array: FPGA), 프로그램 특정 집적 회로(Program-Specific Integrated Circuit: PASIC)와 애플리케이션 특정 집적 회로(Application-Specific Integrated Circuit: ASIC), 프로그램 특정 표준 제품(Program-Specific Standard Product: PSSP)과 애플리케이션 특정 표준 제품(Application-Specific Standard Product: ASSP), 시스템 온 칩(System-On-a-Chip: SOC) 시스템 및 복합 프로그램가능 로직 디바이스(Complex Programmable Logic Device: CPLD)를 포함할 수 있다.
도 5는 탈착가능한 컴퓨터 판독가능 저장 매체(524)의 형태로 스토리지 서브시스템(508)의 한 양상을 또한 도시하는데, 이는 본 문서에서 기술된 방법 및 프로세스를 구현하기 위해 실행가능한 명령어 및/또는 데이터를 저장하는 데에 사용될 수 있다. 탈착가능한 컴퓨터 판독가능 저장 매체(524)는 무엇보다 CD, DVD, HD-DVD, 블루레이 디스크, EEPROM 및/또는 플로피 디스크의 형태를 취할 수 있다.
스토리지 서브시스템(508)이 하나 이상의 물리적, 지속적 디바이스를 포함한다는 점이 인식되어야 한다. 대조적으로, 몇몇 실시예에서 본 문서에서 기술된 명령어의 양상은 적어도 유한한 기간(finite duration) 동안 물리적 디바이스에 의해 유지되지 않는 순수한 신호(가령, 전자기 신호, 광학 신호 등)에 의해 일시적(transitory) 방식으로 전해질 수 있다. 나아가, 본 개시에 관한 데이터 및/또는 다른 형태의 정보는 컴퓨터 판독가능한 통신 매체를 통해 순수한 신호에 의해 전해질 수 있다.
디스플레이 서브시스템(512)은 포함되는 경우 스토리지 서브시스템(508)에 의해 유지되는 데이터의 시각적 표현을 제시하는 데에 사용될 수 있다. 전술된 방법 및 프로세스가 스토리지 서브시스템(508)에 의해 유지되는 데이터를 변경하고, 그래서 스토리지 서브시스템의 상태를 변환함에 따라, 디스플레이 서브시스템(512)의 상태는 마찬가지로 그 기저 데이터의 변화를 시각적으로 표현하기 위해 변환될 수 있다. 디스플레이 서브시스템(512)은 사실상 임의의 유형의 기술을 활용하는 하나 이상의 디스플레이 디바이스를 포함할 수 있다. 그러한 디스플레이 디바이스는 공유된 격납부(enclosure) 내에서 로직 서브시스템(504) 및/또는 스토리지 서브시스템(508)과 조합될 수 있거나, 그러한 디스플레이 디바이스는 주변적인(peripheral) 디스플레이 디바이스일 수 있다. 디스플레이 서브시스템(512)은 예컨대 HMD 디바이스(42)의 디스플레이 시스템(48) 및 투명 디스플레이(50)를 포함할 수 있다.
통신 서브시스템(516)은 포함되는 경우 컴퓨팅 시스템(500)을 하나 이상의 네트워크 및/또는 하나 이상의 다른 컴퓨팅 디바이스와 통신가능하게 커플링하도록 구성될 수 있다. 통신 서브시스템(516)은 하나 이상의 상이한 통신 프로토콜과 호환가능한 유선 및/또는 무선 통신 디바이스를 포함할 수 있다. 비한정적 예로서, 통신 서브시스템(516)은 무선 전화 네트워크, 무선 로컬 영역 네트워크, 유선 로컬 영역 네트워크, 무선 광역 네트워크, 유선 광역 네트워크 등을 통한 통신을 위해 구성될 수 있다. 몇몇 실시예에서, 통신 서브시스템은 컴퓨팅 시스템(500)으로 하여금 인터넷과 같은 네트워크를 통해 다른 디바이스로 및/또는 이로부터 메시지를 보내고/거나 수신하게 할 수 있다.
센서 서브시스템(520)은 상이한 물리적 현상(가령, 가시광, 적외선, 소리, 가속도, 배향, 포지션 등) 및/또는 전술된 바와 같은 생리적 프로세스, 기능, 측정 및/또는 상태를 감지하도록 구성된 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센서 서브시스템(520)은 하나 이상의 눈 추적 센서, 이미지 센서, 마이크, 가속도계와 같은 움직임 센서, 나침반, 터치 패드, 터치 스크린, 심박수 모니터, 펄스 옥시미터, 피부전기 반응 센서, 뇌파전위기록(EEG) 모니터 및/또는 임의의 다른 적합한 센서를 포함할 수 있다.
센서 서브시스템(520)은 예컨대 로직 서브시스템(504)에 물리적 환경 데이터(70) 및/또는 사용자 액션 데이터(68)를 제공하도록 구성될 수 있다. 전술된 바와 같이, 그러한 데이터는 생체 정보, 눈 추적 정보, 이미지 정보, 오디오 정보, 주위 조명 정보, 깊이 정보, 포지션 정보, 움직임 정보, 환경적 조건 정보, 사용자 위치 정보, 위치 기반 제한 정보 및/또는 임의의 다른 적합한 센서 데이터(전술된 방법 및 프로세스를 수행하기 위해 사용될 수 있음)를 포함할 수 있다.
몇몇 실시예에서 센서 서브시스템(520)은 깊이 카메라(가령, 도 2의 외부 대향 센서(216))를 포함할 수 있다. 깊이 카메라는 예컨대 입체 비전 시스템의 좌측 및 우측 카메라를 포함할 수 있다. 두 카메라 모두로부터의 시간 분해 이미지들은 서로에게 등록되고 조합되어 깊이 분해 비디오를 산출할 수 있다. 다른 실시예에서 깊이 카메라는 전술된 바와 같이, 구조화된 광 깊이 카메라 또는 비행시간 카메라일 수 있다.
몇몇 실시예에서, 센서 서브시스템(520)은 디지털 카메라와 같은 가시광 카메라를 포함할 수 있다. 사실상 임의의 유형의 디지털 카메라 기술이 이 개시의 범주로부터 벗어나지 않고 사용될 수 있다. 비한정적 예로서, 가시광 카메라는 전하 결합 디바이스 이미지 센서를 포함할 수 있다.
입력 서브시스템(522)은 포함되는 경우 게임 제어기, 제스처 입력 검출 디바이스, 음성 인식기, 관성 측정 유닛, 키보드, 마우스 또는 터치 스크린과 같은 하나 이상의 센서 또는 사용자 입력 디바이스를 포함하거나 이와 인터페이스할 수 있다. 몇몇 실시예에서, 입력 서브시스템(522)은 선택된 자연적 사용자 입력(Natural User Input: NUI) 구성부분(componentry)을 포함하거나 이와 인터페이스할 수 있다. 그러한 구성부분은 통합되거나 주변적일 수 있고, 입력 액션의 전환(transduction) 및/또는 처리는 온 보드(on-board) 또는 오프 보드(off-board)로 취급될 수 있다. 예시적인 NUI 구성부분은 발화(speech) 및/또는 음성 인식(voice recognition)을 위한 마이크; 머신 비전(machine vision) 및/또는 제스처 인식(gesture recognition)을 위한 적외선, 색채, 입체 및/또는 깊이 카메라; 움직임 검출 및/또는 의도 인식을 위한 머리 추적기(head tracker), 눈 추적기(eye tracker), 가속도계 및/또는 자이로스코프; 이외에 뇌 활동을 가늠하기 위한 전계 감지 구성부분(electric-field sensing componentry)을 포함할 수 있다.
"프로그램"이라는 용어는 하나 이상의 특정한 기능을 수행하도록 구현된 혼합 현실 제공 시스템(10)의 양상을 기술하기 위해 사용될 수 있다. 몇몇 경우에, 그러한 프로그램은 스토리지 서브시스템(508)에 의해 유지되는 명령어를 실행하는 로직 서브시스템(504)을 통해 인스턴스화될(instantiated) 수 있다. 동일한 애플리케이션, 서비스, 코드 블록, 오브젝트, 라이브러리, 루틴, API, 함수 등으로부터 상이한 프로그램들이 인스턴스화될 수 있다는 점이 이해되어야 한다. 마찬가지로, 동일한 프로그램이 상이한 애플리케이션, 서비스, 코드 블록, 오브젝트, 루틴, API, 함수 등에 의해 인스턴스화될 수 있다. "프로그램"이라는 용어는 개별적인 실행가능한 파일, 데이터 파일, 라이브러리, 드라이버, 스크립트, 데이터베이스 레코드 등 또는 이의 그룹을 망라하도록 의도된다.
본 문서에서 기술된 구성 및/또는 접근법은 본질적으로 예시적이며, 많은 변형이 가능하기 때문에, 이 특정한 실시예 또는 예는 한정적인 의미로 고려되어서는 안 된다는 점이 이해되어야 한다. 본 문서에서 기술된 특정한 루틴 또는 방법은 임의의 개수의 처리 전략 중 하나 이상을 표현할 수 있다. 이와 같이, 예시된 다양한 액트(act)들은 예시된 순차로 수행되거나, 다른 순차로 수행되거나, 병렬로 수행되거나, 몇몇 경우에는 생략될 수 있다. 마찬가지로, 전술된 프로세스의 순서는 변경될 수 있다.
본 개시의 대상은 본 문서에서 개시된 다양한 프로세스, 시스템 및 구성, 그리고 다른 특징, 기능, 액트 및/또는 속성은 물론, 이의 임의의 그리고 모든 등가물의 모든 신규하고 비자명한 조합 및 서브조합을 포함한다.

Claims (10)

  1. 물리적 환경을 포함하는 혼합 현실 환경을 제공하기(accommodate) 위해 홀로그램 객체(holographic object)를 디스플레이하는 방법으로서,
    사용자에 의해 착용되도록 구성되고 컴퓨팅 디바이스에 동작가능하게 연결된 머리 장착 디스플레이 디바이스(head-mounted display device)를 제공하는 단계 - 상기 머리 장착 디스플레이 디바이스는 복수의 센서 및 디스플레이 시스템을 포함함- 와,
    상기 센서들 중 하나 이상을 통해 상기 물리적 환경으로부터 물리적 환경 데이터를 수신하는 단계와,
    상기 홀로그램 객체를 소스(source)로부터 수신하는 단계 - 상기 홀로그램 객체는 콘텐트 제공자 ID와 연관됨 - 와,
    상기 콘텐트 제공자 ID에 기반하여 상기 홀로그램 객체에 신뢰 레벨(trust level)을 할당하는 단계와,
    상기 신뢰 레벨이 신뢰 레벨 임계(trust level threshold) 미만인 경우,
    상기 홀로그램 객체에 대한 디스플레이 제한의 보호적 레벨(protective level)을 제공하는 제1 세트의 안전 규칙을 적용하는 단계와,
    상기 제1 세트의 안전 규칙에 따라 상기 디스플레이 시스템을 통해 상기 홀로그램 객체를 디스플레이하는 단계와,
    상기 신뢰 레벨이 상기 신뢰 레벨 임계 이상인 경우,
    상기 홀로그램 객체에 대한 디스플레이 제한의 허용적 레벨(permissive level)을 제공하는 제2 세트의 안전 규칙을 적용하는 단계와,
    상기 제2 세트의 안전 규칙에 따라 상기 디스플레이 시스템을 통해 상기 홀로그램 객체를 디스플레이하는 단계
    를 포함하되,
    디스플레이 제한의 상기 보호적 레벨은 디스플레이 제한의 상기 허용적 레벨보다 큰
    방법.
  2. 제1항에 있어서,
    상기 제1 세트의 안전 규칙을 적용하는 단계는 상기 물리적 환경 데이터에 기반하여 상기 제1 세트의 안전 규칙을 선택하는 단계를 또한 포함하고, 상기 제2 세트의 안전 규칙을 적용하는 단계는 상기 물리적 환경 데이터에 기반하여 상기 제2 세트의 안전 규칙을 선택하는 단계를 또한 포함하는
    방법.
  3. 제1항에 있어서,
    눈 추적(eye-tracking) 정보, 마이크(microphone) 정보, 광학 센서(optical sensor) 정보, 포지션 센서(position sensor) 정보 및 생체(biometric) 정보로 구성된 그룹으로부터 선택된 사용자 액션 데이터(user action data)를 수신하는 단계와,
    어림법(heuristics), 액션 추론 테이블(action-inference table) 및 프로그램적(programmatic) 규칙 중 하나 이상을 사용하여 상기 사용자 액션 데이터에 기반하여 현재 사용자 액션을 판정하는 단계를 더 포함하는
    방법.
  4. 제3항에 있어서,
    상기 제1 세트의 안전 규칙을 적용하는 단계는 상기 현재 사용자 액션에 기반하여 상기 제1 세트의 안전 규칙을 선택하는 단계를 또한 포함하고,
    상기 제2 세트의 안전 규칙을 적용하는 단계는 상기 현재 사용자 액션에 기반하여 상기 제2 세트의 안전 규칙을 선택하는 단계를 또한 포함하는
    방법.
  5. 제3항에 있어서,
    상기 사용자 액션 데이터에 기반하여 또한 어림법(heuristics), 액션 추론 테이블 및 프로그램적 규칙 중 하나 이상을 사용하여 사용자 의도(user intention)를 판정하는 단계를 더 포함하되, 상기 제1 세트의 안전 규칙을 적용하는 단계는 상기 사용자 의도에 또한 기반하여 상기 제1 세트의 안전 규칙을 선택하는 단계를 또한 포함하고, 상기 제2 세트의 안전 규칙을 적용하는 단계는 상기 사용자 의도에 또한 기반하여 상기 제2 세트의 안전 규칙을 선택하는 단계를 또한 포함하는
    방법.
  6. 제1항에 있어서,
    상기 홀로그램 객체는 보호적 안전 등급(protective safety rating)을 포함하는 제1 홀로그램 객체 버전(holographic object version) 및 상기 보호적 안전 등급과 상이한 허용적 안전 등급(permissive safety rating)을 포함하는 제2 홀로그램 객체 버전을 포함하는
    방법.
  7. 혼합 현실 제공 시스템(mixed reality accommodation system)으로서,
    사용자에 의해 착용되도록 구성되고 컴퓨팅 디바이스에 동작가능하게 연결된 머리 장착 디스플레이 디바이스 - 상기 머리 장착 디스플레이 디바이스는 홀로그램 객체들을 제시하기 위한 디스플레이 시스템 및 복수의 센서를 포함함 - 와,
    상기 컴퓨팅 디바이스의 프로세서에 의해 실행되는 혼합 현실 안전 프로그램을 포함하되, 상기 혼합 현실 안전 프로그램은
    상기 센서들 중 하나 이상을 통해 물리적 환경으로부터 물리적 환경 데이터를 수신하고,
    홀로그램 객체를 소스로부터 수신 - 상기 홀로그램 객체는 콘텐트 제공자 ID와 연관됨 - 하며,
    상기 콘텐트 제공자 ID에 기반하여 상기 홀로그램 객체에 신뢰 레벨을 할당하고,
    상기 신뢰 레벨이 신뢰 레벨 임계 미만인 경우,
    상기 홀로그램 객체에 대한 디스플레이 제한의 보호적 레벨을 제공하는 제1 세트의 안전 규칙을 적용하고,
    상기 제1 세트의 안전 규칙에 따라 상기 디스플레이 시스템을 통해 상기 홀로그램 객체를 디스플레이하며,
    상기 신뢰 레벨이 상기 신뢰 레벨 임계 이상인 경우,
    상기 홀로그램 객체에 대한 디스플레이 제한의 허용적 레벨을 제공하는 제2 세트의 안전 규칙을 적용하고,
    상기 제2 세트의 안전 규칙에 따라 상기 디스플레이 시스템을 통해 상기 홀로그램 객체를 디스플레이하도록 구성되며,
    디스플레이 제한의 상기 보호적 레벨은 디스플레이 제한의 상기 허용적 레벨보다 큰
    혼합 현실 제공 시스템.
  8. 제7항에 있어서,
    상기 물리적 환경 데이터는 하나 이상의 환경적 조건, 사용자 위치 및 하나 이상의 위치 기반 제한으로 구성된 그룹으로부터 선택되는
    혼합 현실 제공 시스템.
  9. 제8항에 있어서,
    상기 하나 이상의 환경적 조건은 날짜(date), 하루 중 시각(time of day), 날씨 조건(weather condition), 주위 밝기 레벨(ambient light level) 및 주위 노이즈 레벨(ambient noise leve)로 구성된 그룹으로부터 선택되는
    혼합 현실 제공 시스템.
  10. 제7항에 있어서,
    상기 홀로그램 객체는 보호적 안전 등급을 포함하는 제1 홀로그램 객체 버전 및 상기 보호적 안전 등급과 상이한 허용적 안전 등급을 포함하는 제2 홀로그램 객체 버전을 포함하고, 상기 혼합 현실 안전 프로그램은
    상기 신뢰 레벨에 기반하여 상기 제1 홀로그램 객체 버전을 선택하고,
    상기 신뢰 레벨에 기반하여 상기 제2 홀로그램 객체 버전을 선택하도록 또한 구성되는
    혼합 현실 제공 시스템.
KR1020157018437A 2013-01-10 2014-01-10 혼합 현실 디스플레이 제공 기법 KR102159849B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/738,902 US9812046B2 (en) 2013-01-10 2013-01-10 Mixed reality display accommodation
US13/738,902 2013-01-10
PCT/US2014/010944 WO2014110302A1 (en) 2013-01-10 2014-01-10 Mixed reality display accommodation

Publications (2)

Publication Number Publication Date
KR20150105340A true KR20150105340A (ko) 2015-09-16
KR102159849B1 KR102159849B1 (ko) 2020-09-24

Family

ID=50030515

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157018437A KR102159849B1 (ko) 2013-01-10 2014-01-10 혼합 현실 디스플레이 제공 기법

Country Status (6)

Country Link
US (1) US9812046B2 (ko)
EP (1) EP2943947A1 (ko)
JP (1) JP6317765B2 (ko)
KR (1) KR102159849B1 (ko)
CN (1) CN104885144B (ko)
WO (1) WO2014110302A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017089345A1 (en) 2015-11-24 2017-06-01 Koninklijke Philips N.V. Video game system utilizing biofeedback for improving player's pulse oximeter parameter values
WO2019124802A1 (ko) * 2017-12-18 2019-06-27 주식회사 비빔블 개별 영상신호 출력을 이용한 매핑 유사홀로그램 제공 장치 및 방법

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9934614B2 (en) 2012-05-31 2018-04-03 Microsoft Technology Licensing, Llc Fixed size augmented reality objects
US9729864B2 (en) 2013-09-30 2017-08-08 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US9630105B2 (en) * 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
JP2015134079A (ja) * 2014-01-17 2015-07-27 株式会社ユニバーサルエンターテインメント ゲーミングマシン
US20160170206A1 (en) * 2014-12-12 2016-06-16 Lenovo (Singapore) Pte. Ltd. Glass opacity shift based on determined characteristics
US9858676B2 (en) * 2015-01-08 2018-01-02 International Business Machines Corporation Displaying location-based rules on augmented reality glasses
US9584915B2 (en) 2015-01-19 2017-02-28 Microsoft Technology Licensing, Llc Spatial audio with remote speakers
US9766461B2 (en) 2015-01-20 2017-09-19 Microsoft Technology Licensing, Llc Head-mounted display device with stress-resistant components
US9713871B2 (en) 2015-04-27 2017-07-25 Microsoft Technology Licensing, Llc Enhanced configuration and control of robots
US10007413B2 (en) 2015-04-27 2018-06-26 Microsoft Technology Licensing, Llc Mixed environment display of attached control elements
US20160343168A1 (en) * 2015-05-20 2016-11-24 Daqri, Llc Virtual personification for augmented reality system
US9824499B2 (en) * 2015-06-23 2017-11-21 Microsoft Technology Licensing, Llc Mixed-reality image capture
EP3317872A1 (en) * 2015-06-30 2018-05-09 Thomson Licensing Method and apparatus using augmented reality with physical objects to change user states
US9842388B2 (en) * 2015-07-02 2017-12-12 Honeywell International Inc. Systems and methods for location aware augmented vision aircraft monitoring and inspection
CN105068648A (zh) * 2015-08-03 2015-11-18 众景视界（北京）科技有限公司 头戴式智能交互系统
CN105068248A (zh) * 2015-08-03 2015-11-18 众景视界（北京）科技有限公司 头戴式全息智能眼镜
US20170228929A1 (en) * 2015-09-01 2017-08-10 Patrick Dengler System and Method by which combining computer hardware device sensor readings and a camera, provides the best, unencumbered Augmented Reality experience that enables real world objects to be transferred into any digital space, with context, and with contextual relationships.
US10073520B2 (en) * 2015-10-30 2018-09-11 Sony Mobile Communications Inc. Method and system for interaction using holographic display system
US10140464B2 (en) 2015-12-08 2018-11-27 University Of Washington Methods and systems for providing presentation security for augmented reality applications
US9919218B1 (en) 2016-02-19 2018-03-20 Aftershock Services, Inc. Systems and methods for providing virtual reality content in an online game
US9901818B1 (en) 2016-02-19 2018-02-27 Aftershock Services, Inc. Systems and methods for regulating access to game content of an online game
US10035068B1 (en) * 2016-02-19 2018-07-31 Electronic Arts Inc. Systems and methods for making progress of a user character obtained in an online game via a non-virtual reality interface available in a virtual reality interface
US10134227B1 (en) 2016-02-19 2018-11-20 Electronic Arts Inc. Systems and methods for making game content from a single online game accessible to users via multiple platforms
US10576379B1 (en) 2016-02-19 2020-03-03 Electronic Arts Inc. Systems and methods for adjusting online game content and access for multiple platforms
JP6630607B2 (ja) 2016-03-28 2020-01-15 株式会社バンダイナムコエンターテインメント シミュレーション制御装置及びシミュレーション制御プログラム
JP6200023B1 (ja) 2016-03-28 2017-09-20 株式会社バンダイナムコエンターテインメント シミュレーション制御装置及びシミュレーション制御プログラム
EP3465331A4 (en) * 2016-06-06 2020-01-29 Warner Bros. Entertainment Inc. MIXED REALITY SYSTEM
CN109791295A (zh) * 2016-07-25 2019-05-21 奇跃公司 使用增强和虚拟现实眼镜的成像修改、显示和可视化
US10406440B2 (en) * 2016-08-26 2019-09-10 Minkonet Corporation Method of collecting advertisement exposure data of 360 VR game replay video
US10394317B2 (en) 2016-09-15 2019-08-27 International Business Machines Corporation Interaction with holographic image notification
CN112578911A (zh) * 2016-12-06 2021-03-30 美国景书公司 跟踪头部和眼睛的运动的装置和方法
US20180165537A1 (en) * 2016-12-12 2018-06-14 Princeton Identity, Inc. Systems And Methods Of Biometric Analysis
JP6723937B2 (ja) * 2017-01-31 2020-07-15 キヤノン株式会社 プログラム、画像処理装置、および画像処理方法
US10600252B2 (en) 2017-03-30 2020-03-24 Microsoft Technology Licensing, Llc Coarse relocalization using signal fingerprints
US10531065B2 (en) 2017-03-30 2020-01-07 Microsoft Technology Licensing, Llc Coarse relocalization using signal fingerprints
US10984640B2 (en) * 2017-04-20 2021-04-20 Amazon Technologies, Inc. Automatic adjusting of day-night sensitivity for motion detection in audio/video recording and communication devices
TWI660289B (zh) * 2017-05-09 2019-05-21 華南商業銀行股份有限公司 擴增實境伺服器
US10564420B2 (en) * 2017-10-02 2020-02-18 International Business Machines Corporation Midair interaction with electronic pen projection computing system
US10726765B2 (en) 2018-02-15 2020-07-28 Valve Corporation Using tracking of display device to control image display
US11450034B2 (en) 2018-12-12 2022-09-20 University Of Washington Techniques for enabling multiple mutually untrusted applications to concurrently generate augmented reality presentations
US10942617B2 (en) 2019-01-08 2021-03-09 International Business Machines Corporation Runtime adaptation of augmented reality gaming content based on context of surrounding physical environment
US11468611B1 (en) * 2019-05-16 2022-10-11 Apple Inc. Method and device for supplementing a virtual environment
US11030793B2 (en) * 2019-09-29 2021-06-08 Snap Inc. Stylized image painting
JP2021086204A (ja) * 2019-11-25 2021-06-03 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
JP2007500883A (ja) * 2003-07-25 2007-01-18 スリー−ビィ・インターナショナル・リミテッド 情報表示
JP2009188761A (ja) * 2008-02-06 2009-08-20 Canon Inc コンテンツ表示装置及びその制御方法
JP2012109960A (ja) * 2011-10-31 2012-06-07 Taketoshi Okamoto 情報機器、表示オブジェクトと表示オブジェクトの電子署名の検証結果とを表示するステップを実行させるためのプログラム及び表示する方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6317127B1 (en) * 1996-10-16 2001-11-13 Hughes Electronics Corporation Multi-user real-time augmented reality system and method
JP2004500621A (ja) * 1999-08-25 2004-01-08 エピニオンズ　インコーポレイテッド 分散コンピューティング環境において情報を提示するためのシステム及び方法
JP3799219B2 (ja) * 2000-07-05 2006-07-19 シャープ株式会社 情報端末装置、通信基地システム、情報サービス、情報処理装置およびコンピュータ読み取り可能な記録媒体
US20020154214A1 (en) 2000-11-02 2002-10-24 Laurent Scallie Virtual reality game system using pseudo 3D display driver
US7669051B2 (en) * 2000-11-13 2010-02-23 DigitalDoors, Inc. Data security system and method with multiple independent levels of security
US7126558B1 (en) 2001-10-19 2006-10-24 Accenture Global Services Gmbh Industrial augmented reality
JP4561084B2 (ja) * 2003-11-25 2010-10-13 ソニー株式会社 サービス管理装置及びサービス管理方法、並びにサービス提供システム及びサービス提供方法
JP4393169B2 (ja) 2003-12-04 2010-01-06 キヤノン株式会社 複合現実感提示方法および装置
US7111246B2 (en) * 2004-02-17 2006-09-19 Microsoft Corporation User interface accorded to tiered object-related trust decisions
US20070005651A1 (en) * 2005-07-01 2007-01-04 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Restoring modified assets
US9323055B2 (en) * 2006-05-26 2016-04-26 Exelis, Inc. System and method to display maintenance and operational instructions of an apparatus using augmented reality
JP5162928B2 (ja) * 2007-03-12 2013-03-13 ソニー株式会社 画像処理装置、画像処理方法、画像処理システム
US7979447B2 (en) * 2008-01-18 2011-07-12 Sony Corporation Method and apparatus for use in providing information to accessing content
US8302015B2 (en) * 2008-09-04 2012-10-30 Qualcomm Incorporated Integrated display and management of data objects based on social, temporal and spatial parameters
US9600067B2 (en) 2008-10-27 2017-03-21 Sri International System and method for generating a mixed reality environment
US20120224062A1 (en) * 2009-08-07 2012-09-06 Light Blue Optics Ltd Head up displays
US9424583B2 (en) 2009-10-15 2016-08-23 Empire Technology Development Llc Differential trials in augmented reality
JP5521621B2 (ja) * 2010-02-19 2014-06-18 日本電気株式会社 携帯端末、拡張現実システム、及び拡張現実情報表示方法
US20110213664A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
CA2792336C (en) * 2010-03-19 2018-07-24 Digimarc Corporation Intuitive computing methods and systems
US9910866B2 (en) * 2010-06-30 2018-03-06 Nokia Technologies Oy Methods, apparatuses and computer program products for automatically generating suggested information layers in augmented reality
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US8937663B2 (en) 2011-04-01 2015-01-20 Microsoft Corporation Camera and sensor augmented reality techniques

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
JP2007500883A (ja) * 2003-07-25 2007-01-18 スリー−ビィ・インターナショナル・リミテッド 情報表示
JP2009188761A (ja) * 2008-02-06 2009-08-20 Canon Inc コンテンツ表示装置及びその制御方法
JP2012109960A (ja) * 2011-10-31 2012-06-07 Taketoshi Okamoto 情報機器、表示オブジェクトと表示オブジェクトの電子署名の検証結果とを表示するステップを実行させるためのプログラム及び表示する方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017089345A1 (en) 2015-11-24 2017-06-01 Koninklijke Philips N.V. Video game system utilizing biofeedback for improving player's pulse oximeter parameter values
WO2019124802A1 (ko) * 2017-12-18 2019-06-27 주식회사 비빔블 개별 영상신호 출력을 이용한 매핑 유사홀로그램 제공 장치 및 방법
US11656576B2 (en) 2017-12-18 2023-05-23 Bibimble Apparatus and method for providing mapping pseudo-hologram using individual video signal output

Also Published As

Publication number Publication date
WO2014110302A1 (en) 2014-07-17
CN104885144A (zh) 2015-09-02
KR102159849B1 (ko) 2020-09-24
JP2016511863A (ja) 2016-04-21
CN104885144B (zh) 2017-10-10
JP6317765B2 (ja) 2018-04-25
US20140192084A1 (en) 2014-07-10
EP2943947A1 (en) 2015-11-18
US9812046B2 (en) 2017-11-07

Similar Documents

Publication Publication Date Title
KR102159849B1 (ko) 혼합 현실 디스플레이 제공 기법
JP6246829B2 (ja) ヘッドマウントディスプレイのリソース管理
JP6301962B2 (ja) 複合現実フィルタリング
US20140071163A1 (en) Augmented reality information detail
US9030495B2 (en) Augmented reality help
CN106575209B (zh) 具有现实世界对象的虚拟现实环境
TWI581178B (zh) 混合實境顯示器中使用者控制的真實物件的消失
KR102282316B1 (ko) 혼합 현실의 등급을 매긴 정보 전달
EP3352050A1 (en) Information processing device, information processing method, and program
CN106489171B (zh) 立体图像显示器
CA2946582A1 (en) World-locked display quality feedback
CN112154405B (zh) 三维推送通知
KR20150110726A (ko) 혼합 현실 경험 공유
KR20170035995A (ko) 가상 현실 환경에서 몰입된 때의 안티 트립
KR20170035958A (ko) 가상 현실 환경 내에서의 시선 기반의 오브젝트 배치
US10841534B2 (en) Real-world awareness for virtual reality
KR20160025578A (ko) 적응적 이벤트 인식
KR20160022922A (ko) 사용자 인터페이스 내비게이션
CN116710878A (zh) 情境感知扩展现实系统
EP2887639A1 (en) Augmented reality information detail

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right