KR20210034692A - 혼합 현실의 등급을 매긴 정보 전달 - Google Patents

혼합 현실의 등급을 매긴 정보 전달 Download PDF

Info

Publication number
KR20210034692A
KR20210034692A KR1020217008449A KR20217008449A KR20210034692A KR 20210034692 A KR20210034692 A KR 20210034692A KR 1020217008449 A KR1020217008449 A KR 1020217008449A KR 20217008449 A KR20217008449 A KR 20217008449A KR 20210034692 A KR20210034692 A KR 20210034692A
Authority
KR
South Korea
Prior art keywords
visual information
information density
data item
geolocation
display device
Prior art date
Application number
KR1020217008449A
Other languages
English (en)
Other versions
KR102282316B1 (ko
Inventor
토마스 조지 솔터
벤 석던
다니엘 뎃퍼드
로버트 주니어 크로코
브라이언 킨
로라 매시
알렉스 키프만
피터 토비아스 킨브루
니콜라스 카무다
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20210034692A publication Critical patent/KR20210034692A/ko
Application granted granted Critical
Publication of KR102282316B1 publication Critical patent/KR102282316B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

혼합 현실 환경의 복수의 지리위치정보 부여 데이터 아이템에 대한 복수의 시각적 정보 밀도 레벨을 표시하는 것에 관련이 있는 실시형태가 개시된다. 예를 들면, 하나의 개시된 실시형태에서, 등급을 매긴 정보 전달 프로그램은 선택된 지리위치정보 부여 데이터 아이템에 대한 정보를 수신하고 아이템에 대한 최소 시각적 정보 밀도 레벨을 헤드 마운트형 디스플레이 디바이스로 제공한다. 프로그램은, 헤드 마운트형 디스플레이 디바이스를 통해, 선택된 지리위치정보 부여 데이터 아이템에 대응하는 유저 입력을 수신한다. 입력에 기초하여, 프로그램은, 혼합 현실 환경 내에서의 디스플레이를 위한, 선택된 아이템에 대한 증가하는 시각적 정보 밀도 레벨을 제공한다.

Description

혼합 현실의 등급을 매긴 정보 전달{MIXED REALITY GRADUATED INFORMATION DELIVERY}
헤드 마운트형(head-mounted) 디스플레이 디바이스와 같은 혼합 현실 디바이스는 다양한 현실 세계 환경 및 상황에서 사용될 수 있다. 이러한 디바이스는 유저에게 유저를 둘러싸는 물리적 환경의 실시간 뷰를 제공할 수도 있고, 가상 현실 정보, 예컨대 홀로그래픽 이미지, 텍스트, 및/또는 다른 시각적 정보를 이용하여 그 뷰를 증강시킬 수도 있다.
몇몇 가상 현실 정보는 물리적 환경의 특정 로케이션(location)에서 지리위치정보를 부여받을(geo-located) 수도 있다. 몇몇 상황에서, 많은 양의 지리위치정보 부여 가상 현실 정보가 유저에 대한 표시(presentation)에 이용가능할 수도 있다. 이렇게 많은 가상 현실 정보가 이용가능하면, 유저에 대한 이 정보의 표시를 관리하는 것은 도전과제임을 알 수 있다. 너무 많은 가상 현실 정보를 표시하는 것은 혼합 현실 환경의 유저 경험을 어수선하게 하고 유저를 압도할 수도 있어서, 정보를 처리하기 어렵게 만든다.
바쁜 도시의 환경에서와 같이, 인접한 물리적 환경의 유저의 인식이 바람직한 상황에서, 이러한 가상 정보는 안전성 위협을 또한 제기할 수도 있다. 추가적으로, 몇몇 경우에서, 유저는 이용가능한 지리위치정보 부여 가상 현실 정보의 전체 양 중 제한된 부분을 보는 것에 관심이 있을 수도 있다. 다른 경우에서, 유저는 지리위치정보 부여 정보의 하나 이상의 아이템에 관한 더 상세한 정보를 보기를 소망할 수도 있다. 또한, 이용가능한 가상 현실 정보의 더 작은 부분이 표시되는 경우에도, 정보의 양 및 표시의 방식은, 여전히 희망하는 것보다 더 적은 유저 경험을 생성할 수도 있다.
복수의 지리위치정보 부여 데이터 아이템(geo-located data item)에 대한 복수의 시각적 정보 밀도 레벨(visual information density level)을 표시하는 것에 관련이 있는 다양한 실시형태가 본원에서 개시된다. 예를 들면, 하나의 개시된 실시형태는, 헤드 마운트형 디스플레이 디바이스에서, 혼합 현실 환경의 복수의 지리위치정보 부여 데이터 아이템에 대한 복수의 시각적 정보 밀도 레벨을 표시하는 방법을 제공한다. 시각적 정보 밀도 레벨은 최소 시각적 정보 밀도 레벨 및 복수의 증가하는 시각적 정보 밀도 레벨을 포함할 수도 있다. 방법은 선택된 지리위치정보 부여 데이터 아이템에 대한 정보를 수신하는 것을 포함한다. 선택된 지리위치정보 부여 데이터 아이템에 대한 최소 시각적 정보 밀도 레벨은, 혼합 현실 환경 내에서의 헤드 마운트형 디스플레이 디바이스에 의한 디스플레이를 위해 디스플레이 시스템으로 제공된다.
선택된 지리위치정보 부여 데이터 아이템에 대응하는 유저 입력이 수신된다. 유저 입력에 기초하여, 선택된 지리위치정보 부여 데이터 아이템에 대한 증가하는 시각적 정보 밀도 레벨 중 하나는, 혼합 현실 환경 내에서의 헤드 마운트형 디스플레이 디바이스에 의한 디스플레이를 위해 디스플레이 시스템으로 제공된다.
이 개요는 하기 상세한 설명에서 더 설명되는 개념의 선택을 간소화된 형태로 소개하기 위해 제공된다. 이 개요는 청구되는 주제의 주요 특징이나 또는 본질적인 특징을 식별하도록 의도된 것이 아니며, 청구되는 주제의 범위를 제한하는 데 사용되도록 의도된 것도 아니다. 또한, 청구되는 주제는 본 개시의 임의의 부분에서 언급되는 임의의 또는 모든 단점을 해결하는 구현예로 한정되지는 않는다.
도 1은 본 개시의 한 실시형태에 따른 혼합 현실 시스템의 개략도이다.
도 2는 본 개시의 한 실시형태에 따른 예시적인 헤드 마운트형 디스플레이 디바이스를 도시한다.
도 3은 지리위치정보 부여 데이터 아이템에 대한 최소 시각적 정보 밀도 레벨과 복수의 증가하는 시각적 정보 밀도 레벨 및 대응하는 지시자(indicator)의 개략적인 예시이다.
도 4는 헤드 마운트형 디스플레이 디바이스를 통해 봤을 때의 지리위치정보 부여 데이터 아이템에 대응하는 복수의 최소 시각적 정보 밀도 레벨 지시자의 개략적인 뷰이다.
도 5는, 최소 시각적 정보 밀도 레벨 지시자의 몇몇이 증가하는 시각적 정보 밀도 레벨 지시자로 펼쳐지는(expanded) 도 4의 개략도이다.
도 6은 헤드 마운트형 디스플레이 디바이스를 통해 봤을 때의 복수의 최소 시각적 정보 밀도 레벨 지시자 및 물리적 환경을 포함하는 혼합 현실 환경의 개략도이다.
도 7은 도 6과는 상이한 로케이션으로부터 헤드 마운트형 디스플레이 디바이스를 통해 봤을 때의 도 6의 혼합 현실 환경의 일부의 개략도이다.
도 8a 및 도 8b는 본 개시의 한 실시형태에 따른 복수의 지리위치정보 부여 데이터 아이템에 대한 복수의 시각적 정보 밀도 레벨을 표시하기 위한 방법의 플로우차트이다.
도 9는 컴퓨팅 디바이스의 한 실시형태의 단순화된 개략적인 예시이다.
도 1은 혼합 현실 시스템(10)의 일 실시형태의 개략도를 도시한다. 혼합 현실 시스템(10)은 컴퓨팅 디바이스(22)의 대용량 저장소(18)에 저장될 수도 있는 등급을 매긴 정보 전달 프로그램(graduated information delivery program; 14)을 포함한다. 등급을 매긴 정보 전달 프로그램(14)은 메모리(26)에 로딩될 수도 있고 컴퓨팅 디바이스(22)의 프로세서(28)에 의해 실행되어 하기에서 더 상세히 설명되는 방법 및 프로세스 중 하나 이상을 수행할 수도 있다.
혼합 현실 시스템(10)은, 혼합 현실 환경(38)을 생성하기 위해, 헤드 마운트형 디스플레이(head-mounted display; HMD)(36)와 같은 디스플레이 디바이스를 통해 봤을 때의 물리적 환경(34) 내에서의 디스플레이를 위한 가상 환경(32)을 생성할 수도 있는 혼합 현실 디스플레이 프로그램(30)을 포함한다. 하기에서 더 상세히 설명되는 바와 같이, 가상 환경(32)은 하나 이상의 시각적 정보 밀도 레벨에서 표시되는 지리위치정보 부여 데이터 아이템(40)을 포함할 수도 있다. 하기에서 추가로 설명되는 바와 같이, 이러한 지리위치정보 부여 데이터 아이템(40)은, 소셜 네트워킹 데이터, 이미지 데이터, 추천/리뷰 데이터, 및 엔티티 설명 데이터를 포함할 수도 있지만, 이들로 제한되지는 않는다. 지리위치정보 부여 데이터 아이템(40)은, 이미지, 그래픽, 및/또는 텍스트, 예컨대 지리위치정보 부여 2차원 또는 3차원의 이미지, 그래픽, 및/또는 텍스트를 통해 하나 이상의 시각적 정보 밀도 레벨에서 표시될 수도 있다.
시각적 정보 밀도 레벨은 최소 시각적 정보 밀도 레벨(44) 및 복수의 증가하는 시각적 정보 밀도 레벨, 예컨대 제1 증가하는 시각적 정보 밀도 레벨(48) 및 제2 증가하는 시각적 정보 밀도 레벨(52)을 포함할 수도 있다. 임의의 적절한 수의 증가하는 시각적 정보 밀도 레벨이 제공될 수도 있다는 것을 알 수 있을 것이다. 일 예에서 그리고 하기에서 더 상세히 설명되는 바와 같이, 각각의 증가하는 시각적 정보 밀도 레벨은, 특정 지리위치정보 부여 데이터 아이템(40)과 관련하여, 이전의 정보 밀도 레벨에서 제공되는 것보다 더 많은 양의 정보를 순차적으로 제공한다.
몇몇 예에서, 각각의 이러한 더 많은 양의 정보는, 특정 지리위치정보 부여 데이터 아이템(40)에 관련된 추가 정보와 함께, 관련된 이전의 정보 밀도 레벨에 포함되는 정보 전체를 포함한다. 다른 예에서, 각각의 이러한 더 많은 양의 정보는, 특정 지리위치정보 부여 데이터 아이템(40)에 관련된 추가 정보와 함께, 관련된 이전의 정보 밀도 레벨에 포함되는 정보의 일부를 포함하든지 또는 관련된 이전의 정보 밀도 레벨에 포함되는 정보를 전혀 포함하지 않을 수도 있다.
일 예에서, 그리고 하기에서 더 상세히 설명되는 바와 같이, 지리위치정보 부여 데이터 아이템 정보(46)는 서버(58) 또는 다른 외부 소스로부터 네트워크(54)를 통해 컴퓨팅 디바이스(22)에 의해 수신될 수도 있다. 지리위치정보 부여 데이터 아이템 정보(46)는 하나 이상의 지리위치정보 부여 데이터 아이템(40)에 대한 복수의 시각적 정보 밀도 레벨을 포함할 수도 있다. 다른 예에서, 등급을 매긴 정보 전달 프로그램(14)은 지리위치정보 부여 데이터 아이템 정보(46)를 복수의 시각적 정보 밀도 레벨로 구분할 수도 있다. 또 다른 예에서, 지리위치정보 부여 데이터 아이템 정보(46)는 컴퓨팅 디바이스(22) 상에서 로컬하게 생성될 수도 있다.
컴퓨팅 디바이스(22)는 데스크탑 컴퓨팅 디바이스, 스마트폰, 랩탑, 노트북 또는 태블릿 컴퓨터와 같은 모바일 컴퓨팅 디바이스, 네트워크 컴퓨터, 홈 엔터테인먼트 컴퓨터, 대화형 텔레비전, 게임용 시스템, 또는 다른 적절한 타입의 컴퓨팅 디바이스의 형태를 취할 수도 있다. 컴퓨팅 디바이스(22)의 컴포넌트 및 컴퓨팅 양태에 관한 추가적인 상세는 도 9와 관련하여 하기에서 더 상세히 설명된다.
컴퓨팅 디바이스(22)는 유선 연결을 사용하여 HMD 디바이스(36)와 동작가능하게 연결될 수도 있거나, 또는 와이파이, 블루투스, 또는 임의의 다른 적절한 무선 통신 프로토콜을 통한 무선 연결을 활용할 수도 있다. 추가적으로, 도 1에서 예시되는 예는 컴퓨팅 디바이스(22)를 HMD 디바이스(36)와는 별개의 디바이스로서 도시한다. 다른 예에서는, 컴퓨팅 디바이스(22)는 HMD 디바이스(36)에 통합될 수도 있다는 것을 알 수 있을 것이다.
이제 도 2를 참조하면, 투명 디스플레이(62)를 갖는 착용가능한 안경 형태의 HMD 디바이스(200)의 일 예가 제공된다. 다른 예에서는, HMD 디바이스(200)는, 투명한, 반투명한 또는 불투명한 디스플레이가 뷰어의 한 쪽 눈 또는 양쪽 눈의 전방에서 지지되는 다른 적절한 형태를 취할 수도 있다는 것을 알 수 있을 것이다. 도 1에서 도시되는 HMD 디바이스(36)는, 하기에서 상세히 설명되는 바와 같이, HMD 디바이스(200)의 형태를 취할 수도 있거나, 또는 임의의 다른 적절한 HMD 디바이스의 형태를 취할 수도 있다는 것을 또한 알 수 있을 것이다. 추가적으로, 다양한 폼팩터를 갖는 디스플레이 디바이스의 많은 다른 타입 및 구성이 본 개시의 범위 내에서 또한 사용될 수도 있다. 이러한 디스플레이 디바이스는 핸드헬드(handheld) 스마트폰, 태블릿 컴퓨터, 및 다른 적절한 디스플레이 디바이스를 포함할 수도 있지만, 그러나 이들로 제한되는 것은 아니다.
도 1 및 도 2를 참조하면, 이 예에서, HMD 디바이스(36)는 디스플레이 시스템(66) 및 지리위치정보 부여 데이터 아이템(40)이 다양한 시각적 정보 밀도 레벨에서 유저(68)의 눈으로 전달되는 것을 가능하게 하는 투명 디스플레이(62)를 포함한다. 투명 디스플레이(62)는, 투명 디스플레이를 통해 물리적 환경을 보는 유저(68)에 대해 그 물리적 환경(34)의 외관을 시각적으로 증강하도록 구성될 수도 있다. 예를 들면, 물리적 환경의 외관은, 투명 디스플레이(62)를 통해 표시되어 혼합 현실 환경(38)을 생성하는 그래픽 컨텐츠(예를 들면, 각각의 컬러 및 휘도를 각각 갖는 하나 이상의 픽셀)에 의해 증강될 수도 있다.
투명 디스플레이(62)는 또한, 가상 오브젝트 표현을 디스플레이하고 있는 하나 이상의 부분적으로 투명한 픽셀을 통해 물리적 환경에서의 물리적인 현실 세계의 오브젝트를 유저가 보는 것을 가능하게 하도록 구성될 수도 있다. 일 예에서, 투명 디스플레이(62)는 렌즈(204) 내에 위치되는 이미지 생성 엘리먼트(예를 들면, 씨쓰루(see-through) 유기 발광 다이오드(Organic Light-Emitting Diode; OLED) 디스플레이 등)를 포함할 수도 있다. 다른 예로서, 투명 디스플레이(62)는 렌즈(204)의 에지 상에 광 변조기를 포함할 수도 있다. 이 예에서, 렌즈(204)는 광을 광 변조기로부터 유저의 눈으로 전달하기 위한 광 가이드로서 기능할 수도 있다. 이러한 광 가이드는, 유저가 물리적 환경의 물리적 오브젝트를 보는 것을 허용하면서, 또한 유저가 보고 있는 물리적 환경 내에 위치되는 2D 이미지 또는 3D 홀로그래픽 이미지를 유저가 인지하는 것을 가능할 수도 있다.
HMD 디바이스(36)는 또한 다양한 센서 및 관련 시스템을 포함할 수도 있다. 예를 들면, HMD 디바이스(36)는, 적어도 하나의 내향 센서(inward facing sensor; 216)를 활용하는 눈 추적용 시스템(eye-tracking system; 72)을 포함할 수도 있다. 내향 센서(216)는, 유저의 눈으로부터 눈 추적용 정보의 형태로 이미지 데이터를 획득하도록 구성되는 이미지 센서일 수도 있다. 유저가 이 정보의 획득 및 사용에 동의했다면, 눈 추적용 시스템(72)은 이 정보를 사용하여 유저의 눈의 포지션 및/또는 움직임을 추적할 수도 있다.
HMD 디바이스(36)는 또한, 물리적 환경(34)으로부터 물리적 환경 데이터를 수신하는 센서 시스템을 포함할 수도 있다. 예를 들면, HMD 디바이스(36)는, 광학 센서와 같은 적어도 하나의 외향 센서(outward facing sensor; 212)를 활용하는 광학 센서 시스템(74)을 포함할 수도 있다. 외향 센서(212)는 그 시야 내에서의 움직임, 예컨대 유저(68)에 의해 또는 유저의 시야 내의 사람 또는 물리적 오브젝트에 의해 수행되는 제스쳐 기반의 입력 또는 다른 움직임을 검출할 수도 있다. 외향 센서(212)는 또한, 물리적 환경(34) 및 그 환경 내의 물리적 오브젝트로부터 2차원 이미지 정보 및 깊이 정보를 캡쳐할 수도 있다. 예를 들면, 외향 센서(212)는 깊이 카메라, 가시광 카메라, 적외선 광 카메라, 및/또는 포지션 추적용 카메라(position tracking camera)를 포함할 수도 있다.
HMD 디바이스(36)는 하나 이상의 깊이 카메라를 통한 깊이 감지를 포함할 수도 있다. 일 예에서, 각각의 깊이 카메라는 입체 비전 시스템(stereoscopic vision system)의 왼쪽 및 오른쪽 카메라를 포함할 수도 있다. 하나 이상의 이들 깊이 카메라로부터의 시간 분해 이미지(time-resolved image)는 서로에 대해 및/또는 가시 스펙트럼 카메라와 같은 다른 광학 센서로부터의 이미지에 안팎으로 일치될(registered) 수도 있고, 결합되어 깊이 분해 비디오(depth-resolved video)를 산출할 수도 있다.
다른 예에서, 구조화된 적외선 조명(structured infrared illumination)을 투사하도록, 그리고 조명이 투사되는 장면(scene)으로부터 반사되는 조명을 이미지화하도록, 구조화 광 깊이 카메라(structured light depth camera)가 구성될 수도 있다. 이미지화된 장면의 다양한 영역에서의 인접한 피쳐 사이의 간격에 기초하여 장면의 깊이 맵이 구축될 수도 있다. 또 다른 예에서, 깊이 카메라는, 펄스화된 적외선 조명을 한 장면에 투사하고 그 장면으로부터 반사되는 조명을 검출하도록 구성되는 비행 시간 깊이 카메라(time-of-flight depth camera)의 형태를 취할 수도 있다. 본 개시의 범위 내에서 임의의 다른 적절한 깊이 카메라가 사용될 수도 있다는 것을 알 수 있을 것이다.
외향 센서(212)는, 유저(68)가 위치하고 있는 물리적 환경의 이미지를 캡쳐할 수도 있다. 일 예에서, 혼합 현실 디스플레이 프로그램(30)은, 유저를 둘러싸는 물리적 환경(34)을 모델링할 수도 있는 가상 환경(32)을 생성하기 위해 이러한 입력을 사용하는 3D 모델링 시스템을 포함할 수도 있다.
HMD 디바이스(36)는 또한, HMD 디바이스의 포지션 추적 및/또는 방위(orientation) 감지를 가능하게 하기 위해, 하나 이상의 모션 센서(220)를 활용하는 포지션 센서 시스템(76)을 포함할 수도 있다. 예를 들면, 포지션 센서 시스템(76)은, 유저의 머리의 머리 포즈 방위(head pose orientation)를 결정하도록 활용될 수도 있다. 일 예에서, 포지션 센서 시스템(76)은 6개 축의 또는 6개의 자유도의 포지션 센서 시스템으로서 구성되는 관성 측정 유닛을 포함할 수도 있다. 이 예시적인 포지션 센서 시스템은, 세 개의 수직 축(예를 들면, x, y, z)을 따른 3차원 공간 내에서의 HMD 디바이스(36)의 로케이션에서의 변경, 및 세 개의 수직 축(예를 들면, 롤(roll), 피치(pitch), 요(yaw))에 대한 HMD 디바이스의 방위에서의 변경을 나타내거나 측정하기 위해, 예를 들면, 3축 가속도계 및 3축 자이로스코프를 포함할 수도 있다.
포지션 센서 시스템(76)은, GPS 또는 다른 글로벌 내비게이션 시스템과 같은 다른 적절한 위치결정(positioning) 기술을 지원할 수도 있다. 또한, 포지션 센서 시스템의 특정 예가 설명되었지만, 다른 적절한 포지션 센서 시스템이 사용될 수도 있다는 것을 알 수 있을 것이다.
몇몇 예에서, 모션 센서(220)는 유저 입력 디바이스로서 또한 활용될 수도 있고, 따라서 유저는 목과 머리의, 또는 심지어 몸의 제스쳐를 통해 HMD 디바이스(36)와 상호작용할 수도 있게 된다. HMD 디바이스(36)는 또한, 하나 이상의 마이크(224)를 포함하는 마이크 시스템(78)을 포함할 수도 있다. 다른 예에서, 오디오는 HMD 디바이스(36) 상의 하나 이상의 스피커(228)를 통해 유저에게 제공될 수도 있다.
HMD 디바이스(36)는 또한, 도 9와 관련하여 하기에서 더 상세히 설명되는 바와 같이, HMD 디바이스의 다양한 센서 및 시스템과 통신하는, 로직 서브시스템 및 저장 서브시스템을 구비하는 프로세서(230)를 포함할 수도 있다. 일 예에서, 저장 서브시스템은, 센서로부터 신호 입력을 수신하고 이러한 입력을 (프로세싱되지 않은 형태로 또는 프로세싱된 형태로) 컴퓨팅 디바이스(22)로 포워딩하도록, 그리고 투명 디스플레이(62)를 통해 이미지를 유저에게 표시하도록 로직 서브시스템에 의해 실행될 수 있는 명령어를 포함할 수도 있다.
상기에서 설명되고 도 1 및 도 2에서 예시되는 HMD 디바이스(36) 및 관련 센서와 다른 컴포넌트는 예로서 제공된다는 것을 알 수 있을 것이다. 임의의 다른 적절한 센서, 컴포넌트, 및/또는 센서와 컴포넌트의 조합이 활용될 수도 있기 때문에, 이들 예는 어떠한 방식으로든 제한하는 것으로 의도되지는 않는다. 따라서, HMD 디바이스(36)는, 본 개시의 범위를 벗어나지 않으면서, 추가적인 및/또는 대안적인 센서, 카메라, 마이크, 입력 디바이스, 출력 디바이스 등을 포함할 수도 있다는 것이 이해될 것이다. 또한, HMD 디바이스(36)의 물리적 구성 및 그 다양한 센서 및 서브컴포넌트는, 본 개시의 범위를 벗어나지 않으면서 여러 상이한 형태를 취할 수도 있다.
이제 도 3 내지 도 7을 참조하면, 혼합 현실 시스템(10)의 예시적인 사용 사례 및 실시형태의 설명이 이제 제공될 것이다. 도 3을 참조하면 그리고 하기에서 더 상세히 설명되는 바와 같이, 등급을 매긴 정보 전달 프로그램(14)은 지리위치정보 부여 데이터 아이템(40)을 하나 이상의 시각적 정보 밀도 레벨에서 표시할 수도 있다. 도 3에서 도시되는 예에서, 지리위치정보 부여 데이터 아이템은 추천/리뷰 데이터 아이템이다. 추천/리뷰 데이터 아이템은, 제품, 서비스 등에 대한 추천 및/또는 리뷰를 제공하는 추천/리뷰 서비스로부터의 데이터에 대응할 수도 있다. 다른 예에서, 추천/리뷰 데이터 아이템은 다른 소스, 예컨대 소셜 네트워킹 서비스로부터 수신되는 추천 및/또는 리뷰 데이터에 대응할 수도 있다.
도 3에서 도시되는 예에서, 추천/리뷰 데이터 아이템은 복수의 증가하는 시각적 정보 밀도 레벨 및 대응하는 지시자 이미지에서 시각적으로 표현될 수도 있다. 하기에서 더 상세히 설명되는 바와 같이, 유저(68)는, 선택된 지리위치정보 부여 데이터 아이템에 대응하는 유저 입력을 통해, 선택된 지리위치정보 부여 데이터 아이템(40)에 대한 현재의 시각적 정보 밀도 레벨로부터 다음의 증가하는 시각적 정보 밀도 레벨로 진행할 수도 있다. 일 예에서, 추천/리뷰 데이터 아이템(304)의 최소 시각적 정보 밀도 레벨은 지시자, 예컨대 별표(304')에 의해 표현될 수도 있다. 임의의 적절한 형태의 또는 형상의 지시자 또는 다른 시각적 표현이 활용될 수도 있다는 것을 알 수 있을 것이다. 하기에서 더 상세히 설명되는 바와 같이, 최소 시각적 정보 밀도 레벨에 대응하는 지시자는, HMD 디바이스(36)를 통해 지시자가 유저에게 디스플레이되는 물리적 환경(34)에서의 로케이션에 지리위치정보 부여 데이터 아이템(40)이 위치되어 있다는 것을 단순히 유저에게 전달할 수도 있다.
최소 시각적 정보 밀도 레벨에 대응하는 별표(304')로 지향되는 유저 입력의 수신시, 추천/리뷰 데이터 아이템의 제1 증가하는 시각적 정보 밀도 레벨이 디스플레이될 수도 있다. 도 3에서 도시되는 바와 같이, 추천/리뷰 데이터 아이템의 제1 증가하는 시각적 정보 밀도 레벨은, 지리위치정보 부여 데이터 아이템(40)에 관해, 최소 시각적 정보 밀도 레벨 지시자(304')보다 더 많은 정보를 제공하는 상이한 지시자(304")에 의해 표현될 수도 있다. 도 3에서 도시되는 예에서, 제1 증가하는 시각적 정보 밀도 레벨에 대응하는 지시자(304")는, 지리위치정보 부여 데이터 아이템이 추천/리뷰 데이터 아이템이다는 것을 유저에게 전달하기 위해 "R"을 포함할 수도 있다. 이 예에서, 제1 증가하는 시각적 정보 밀도 레벨 지시자(304")는 또한, 정보를 제공하고 있는 특정 추천/리뷰 서비스에 대응하는 지정자(designator; "y")를 포함할 수도 있다.
제1 증가하는 시각적 정보 밀도 레벨 지시자(304")로 지향되는 유저 입력의 수신시, 추천/리뷰 데이터 아이템의 제2 증가하는 시각적 정보 밀도 레벨이 디스플레이될 수도 있다. 추천/리뷰 데이터 아이템의 제2 증가하는 시각적 정보 밀도 레벨은, 제1 정보 밀도 레벨 지시자(304")에 대한 것과 동일한, 그리고 또한 데이터 아이템에 관해 제1 정보 밀도 레벨 지시자(304")보다 더 많은 정보를 포함하는 지시자(304'")에 의해 표현될 수도 있다. 도 3에서 도시되는 예에서, 제2 증가하는 시각적 정보 밀도 레벨 지시자(304'")는, 5개의 별 중 3개와 같은 등급과 함께, 추천/리뷰 정보를 수신하는 서비스의 이름을 포함한다.
제2 증가하는 시각적 정보 밀도 레벨 지시자(304'")로 지향되는 유저 입력의 수신시, 추천/리뷰 데이터 아이템에 대응하는 제3 증가하는 시각적 정보 밀도 레벨 지시자(304"")가 디스플레이될 수도 있다. 추천/리뷰 데이터 아이템의 제3 증가하는 시각적 정보 밀도 레벨 지시자(304"")는, 지리위치정보 부여 데이터 아이템(40)에 관해, 제2 정보 밀도 레벨 지시자(304'")보다 더 많은 정보를 제공한다. 도 3에서 도시되는 예에서, 제3 증가하는 시각적 정보 밀도 레벨 지시자(304"")는, 푸드 카트의 고객 리뷰 전문(full text customer review)에 대응하는 3개의 고객 리뷰 하이퍼링크와 함께, 멋진 푸드 카트(Awesome Food Cart)의 이미지를 포함한다.
도 3의 예에서 도시되는 바와 같이, 증가하는 시각적 정보 밀도 레벨은 혼합 현실 환경 내에서 증가하는 양의 시각적 공간을 점유할 수도 있다. 유익하게는 그리고 하기에서 더 상세히 설명되는 바와 같이, 이러한 증가하는 시각적 정보 밀도 레벨을 활용하는 것에 의해, 혼합 현실 시스템(10)은, 최초, 과도한 정보를 제공하는 것을 방지하기 위해 그리고 물리적 환경의 유저의 뷰를 잠재적으로 방해하는 것을 방지하기 위해, 복수의 지리위치정보 부여 데이터 아이템(40)에 대해 더 낮은 정보 밀도 레벨 및 상응하여 더 작은 지시자를 표시할 수도 있다. 지리위치정보 부여 데이터 아이템(40) 중 하나 이상을 유저 입력이 선택하는 것을 수신하면, 혼합 현실 시스템(10)은, 선택된 지리위치정보 부여 데이터 아이템(40)에 대한 증가하는 시각적 정보 밀도 레벨 및 상응하여 수정된 지시자 및/또는 추가적인 시각적 정보를 제공할 수도 있다.
이제 도 4 및 도 5를 참조하면, HMD 디바이스(200)를 통해 봤을 때의 물리적 환경 내에서 디스플레이되는 시각적 정보 밀도 레벨의 지시자의 예시적인 개략도가 제공된다. 도 4에서 도시되는 바와 같이, 일 예에서, 최소 시각적 정보 밀도 레벨에 대응하는 복수의 지시자(404', 406', 및 408')가 디스플레이된다. 지시자(404', 406', 및 408')의 각각은 복수의 타입의 지리위치정보 부여 데이터 아이템(40) 중 하나에 대응할 수도 있다.
도 4에서 도시되는 바와 같이, 최소 시각적 정보 밀도 레벨에 대응하는 지시자(404', 406', 및 408')는, HMD 디바이스(200)를 통해 봤을 때 혼합 현실 환경(38) 내에서 상대적으로 작은 양의 시각적 공간을 점유한다. 유익하게는, 이 방식에서, 혼합 현실 시스템(10)은, 유저의 현재 시야 내에 있는 지리위치정보 부여 데이터 아이템(40)의 로케이션을 유저에게 일반적으로 나타낼 수도 있다.
지시자 중 하나에 의해 표현되는 특정한 지리위치정보 부여 데이터 아이템(40)에 관한 더 많은 정보를 유저가 소망하는 경우, 유저는 지시자 및 대응하는 선택된 지리위치정보 부여 데이터 아이템에 대응하는 유저 입력을 HMD 디바이스(36)를 통해 제공할 수도 있다. 일 예에서, 유저는 미리 결정된 시간의 기간 동안, 최소 시각적 정보 밀도 레벨에 대응하는 지시자(406')를 응시할 수도 있다. 이러한 미리 결정된 시간의 기간은, 예를 들면, 1초, 2초, 3초, 또는 임의의 적절한 시간의 기간일 수도 있다. 이제 도 5를 참조하면, 눈 추적용 센서 시스템(72)으로부터의 데이터를 사용하여 그리고 미리 결정된 시간의 기간의 만료시, 등급을 매긴 정보 전달 프로그램(14)은 최소 시각적 정보 밀도 레벨 지시자(406')를, 대응하는 지리위치정보 부여 데이터 아이템(40)에 관련되는 추가 정보를 포함하는 증가하는 시각적 정보 밀도 레벨 지시자(406")로 대체할 수도 있다. 이 예에서, 그리고 하기에서 더 상세히 설명되는 바와 같이, 지리위치정보 부여 데이터 아이템은 이미지 지리위치정보 부여 데이터 아이템이다.
유저 입력의 다른 예에서, 유저는, 지리위치정보 부여 데이터 아이템을 가리키는 손, 팔, 몸, 머리, 또는 다른 유저 움직임의 형태로 제스쳐 데이터를 제공할 수도 있다. 다른 예에서, 지리위치정보 부여 데이터 아이템을 가리키기 위해, 머리 방위, 포지션 및/또는 로케이션을 포함하는 머리 포즈 데이터의 형태의 유저 입력이 사용될 수도 있다. 다른 예에서, 지리위치정보 부여 데이터 아이템을 가리키기 위해, 보이스 데이터의 형태의 유저 입력이 사용될 수도 있다. 예를 들면, 유저는 지리위치정보 부여 데이터 아이템에 대응하는 특정 지시자를 말로(verbally) 식별할 수도 있다. 다른 예에서 그리고 다시 도 1을 참조하면, 지리위치정보 부여 데이터 아이템을 가리키기 위해 유저(68)에 의해 동작될 수도 있는 핸드헬드 지시자(86)로부터 핸드헬드 지시자 데이터가 수신될 수도 있다. 예를 들면, 핸드헬드 지시자(86)의 포지션은, 지리위치정보 부여 데이터 아이템에 대응하는 지시자로 유저가 가이드할 수도 있는 포인팅 엘리먼트를 혼합 현실 환경(38) 내에서 디스플레이하기 위해 HMD 디바이스(200)에 의해 사용될 수도 있다. 그 다음, 유저(68)는 핸드헬드 지시자(86) 또는 다른 형태의 유저 입력을 사용하여 지시자를 선택할 수도 있다.
도 5에서 도시되는 바와 같이, 다양하고 상이한 지리위치정보 부여 데이터 아이템(40)에 대응하는 증가하는 시각적 정보 밀도 레벨 및 대응하는 지시자(404")가 제공될 수도 있다. 예를 들면, 문자 "R"을 포함하는 지시자에 의해, 추천/리뷰 지리위치정보 부여 데이터 아이템이 표현될 수도 있다. 문자 "P"를 포함하는 지시자 및 그 지시자 위의 이미지의 섬네일에 의해, 이미지 지리위치정보 부여 데이터 아이템이 표현될 수도 있다. 이미지 지리위치정보 부여 데이터 아이템은, 하나 이상의 소스로부터의 사진, 홀로그램, 비디오 및/또는 다른 이미지 데이터에 대응할 수도 있다.
소셜 네트워킹 지리위치정보 부여 데이터 아이템은, 문자 "S"를 포함하는 지시자 및 그 지시자 위에서 특정 소셜 네트워킹 서비스를 표현하는 아이콘에 의해 표현될 수도 있다. 소셜 네트워킹 지리위치정보 부여 데이터 아이템은, 예를 들면, 포스트, 경보, 메시지, 사진 등과 같은 소셜 네트워킹 서비스로부터의 데이터에 대응할 수도 있다. 엔티티 설명 지리위치정보 부여 데이터 아이템은, 문자 "D"를 포함하는 지시자에 의해 표현될 수도 있다. 엔티티 설명 지리위치정보 부여 데이터 아이템은, 사람, 캐릭터, 회사, 서비스, 로케이션, 및/또는 임의의 다른 엔티티에 관련되는 데이터에 대응할 수도 있다. 엔티티 설명 데이터는, 예를 들면, 위키 엔트리, 블로그 포스팅, 광고 등을 포함할 수도 있다. 임의의 적절한 수의 및/또는 타입의 지리위치정보 부여 데이터 아이템이 활용될 수도 있으며 본 개시의 범위 내에 있다는 것을 또한 알 수 있을 것이다. 본원에서 제공되는 지시자의 특정 형태 및 예는 설명의 목적을 위한 것이며, 임의의 다른 적절한 형태, 형상, 타입, 또는 사이즈의 지시자가 활용될 수도 있으며 본 개시의 범위 내에 있다는 것을 또한 알 수 있을 것이다.
일 예에서, 두 개 이상의 지리위치정보 부여 데이터 아이템(40)은, 혼합 현실 환경(38)에서 동일한 로케이션에 또는 서로 아주 가까운 로케이션에 위치될 수도 있다. 이 예에서, 두 개 이상의 지리위치정보 부여 데이터 아이템은, 두 개 이상의 지리위치정보 부여 데이터 아이템의 각각에 대한 시각적 정보 밀도 레벨 지시자를 디스플레이하는 것이 대응하는 지시자로 하여금 유저에 대해 혼잡하게 보이게 및/또는 부분적으로 또는 전적으로 중첩하여 보이게 할 로케이션에서 서로에 대해 충분히 가깝게 위치될 수도 있다.
예를 들면, 등급을 매긴 정보 전달 프로그램(14)은, HMD 디바이스(200)를 통해 디스플레이될 때, 두 개 이상의 지리위치정보 부여 데이터 아이템이 미리 결정된 간격 또는 그 미만만큼 분리될 것으로 결정할 수도 있다. 이러한 미리 결정된 간격은, 예를 들면, 0.5 밀리미터(mm), 1mm, 또는 임의의 다른 적절한 미리 결정된 간격일 수도 있다. 미리 결정된 간격은, 예를 들면, HMD 디바이스(200)의 투명 디스플레이(62)와 관련하여 측정될 수도 있다.
지리위치정보 부여 데이터 아이템의 분리가 미리 결정된 간격 또는 그 미만인 것에 기초하여, 등급을 매긴 정보 전달 프로그램(14)은 두 개 이상의 지리위치정보 부여 데이터 아이템을 단일의 집성된(aggregated) 지리위치정보 부여 데이터 아이템(80)으로 축약할(collapse) 수 있다. 도 4에서 도시되는 바와 같이, 집성된 지리위치정보 부여 데이터 아이템(80)은, 두 개 이상의 지리위치정보 부여 데이터 아이템의 로케이션(들)에 또는 그 로케이션(들) 근처에 위치되는 최소 시각적 정보 밀도 레벨 지시자(408')로서 디스플레이될 수도 있다.
다른 예에서 그리고 도 4를 다시 참조하면, 집성된 지리위치정보 부여 데이터 아이템(80)은 최소 시각적 정보 밀도 레벨 지시자(412')에 의해 나타내어질 수도 있고, 2개의 이미지 데이터 지리위치정보 부여 데이터 아이템에 대응할 수도 있다. 유저(68)는 집성된 지리위치정보 부여 데이터 아이템(80)에 대응하는 지시자(412')를 가리킬 수도 있는데, 그 제스쳐는 HMD 디바이스(200)의 광학 센서 시스템(74)을 통해 수신된다.
지시자(412')로 지향되는 유저의 제스쳐에 기초하여, 등급을 매긴 정보 전달 프로그램(14)은, 두 개의 이미지 데이터 지리위치정보 부여 데이터 아이템의 각각에 대한 증가하는 시각적 정보 밀도 레벨을 제공하기 위해, 집성된 지리위치정보 부여 데이터 아이템(80)을 펼칠 수도 있다. 이제 도 5를 참조하면, 일 예에서, 두 개의 이미지 데이터 지리위치정보 부여 데이터 아이템은, 증가하는 시각적 정보 밀도 레벨에 대응하는 지시자(506" 및 510")에 의해 표현될 수도 있다. 일 예에서, 각각의 이러한 지시자(506" 및 510")는, 각각의 이러한 지시자에 대응하는 지리위치정보 부여 데이터 아이템의 근사 로케이션을 표현하는 로케이션 지시자(514)에 링크될 수도 있다.
다른 예에서, 동일한 위치에 또는 서로 아주 가까운 위치에 위치되는 두 개 이상의 지리위치정보 부여 데이터 아이템(40)은, 로케이션에서의 또는 로케이션에 가까운 지리위치정보 부여 데이터 아이템의 수를 나타내는 단일의 증가하는 시각적 정보 밀도 레벨 지시자에 의해 표현될 수도 있다. 예를 들면 그리고 도 5에서 도시되는 바와 같이, 지시자(502")는 주어진 로케이션에 또는 주어진 로케이션 가까이 위치되는 25개의 상이한 지리위치정보 부여 데이터 아이템을 표현할 수도 있다. 이 예에서, 지시자는, 25개의 이러한 데이터 아이템을 나타내는 숫자 25와 함께, 다수의 지리위치정보 부여 데이터 아이템이 표현된다는 것을 나타내기 위해 문자 "M"을 포함한다.
이제 도 6을 참조하면, 일 예에서, 유저는 스트리트(612)를 포함하는 도시 교차로 근처에 위치될 수도 있고 교차로를 포함하는 혼합 현실 환경(600)을 HMD 디바이스(200)를 통해 볼 수도 있다. 혼합 현실 환경(600)은 또한, 하나 이상의 지리위치정보 부여 데이터 아이템(40)의 최소 시각적 정보 밀도 레벨에 대응하는 복수의 지시자(404' 및 604')를 포함할 수도 있다. 최소 시각적 정보 밀도 레벨 지시자(604') 각각은 멋진 푸드 카트(608) 근처에 위치될 수도 있다.
HMD 디바이스(200)의 포지션 센서 시스템(76)은 HMD 디바이스(200)의 로케이션에 대응하는 로케이션 데이터를 결정할 수도 있다. 이제 도 7을 참조하면, HMD 디바이스(200)를 착용하고 있는 유저가 스트리트(612)를 가로질러 멋진 푸드 카트(608)로 걸어갈 수도 있다. HMD 디바이스(200)의 로케이션 데이터를 사용하여, 등급을 매긴 정보 전달 프로그램(14)은, HMD 디바이스(200)가 멋진 푸드 카트(608) 근처의 최소 시각적 정보 밀도 레벨 지시자(604'), 및 대응하는 지리위치정보 부여 데이터 아이템(40)의 로케이션에 더 가까이 이동하고 있다는 것을 결정할 수도 있다. HMD 디바이스(200)가 최소 시각적 정보 밀도 레벨 지시자(604') 및 대응하는 지리위치정보 부여 데이터 아이템(40)에 더 가까이 이동하는 것에 기초하여, 등급을 매긴 정보 전달 프로그램(14)은 대응하는 지리위치정보 부여 데이터 아이템(40)에 대한 하나 이상의 증가하는 시각적 정보 밀도 레벨을 제공할 수도 있다.
도 7에서 도시되는 예에서, 멋진 푸드 카트(608) 위에 위치되는 3개의 대응하는 지리위치정보 부여 데이터 아이템(40)은 제1 증가하는 시각적 정보 밀도 레벨 지시자(604")에 의해 표현될 수도 있다. 이 예에서, 제1 증가하는 시각적 정보 밀도 레벨 지시자(604")는 소셜 네트워킹 지리위치정보 부여 데이터 아이템에 대응한다.
일 예에서, 유저 및 HMD 디바이스(200)는, 멋진 푸드 카트(608) 위에 위치되는 지리위치정보 부여 데이터 아이템(40)과 비교하여, 멋진 푸드 카트(608)의 우측에 위치되는 지리위치정보 부여 데이터 아이템(40)에 더 가까울 수도 있다. 따라서, 이 예에서, 멋진 푸드 카트(608)의 우측에 위치되는 지리위치정보 부여 데이터 아이템(40)은 제3 증가하는 시각적 정보 밀도 레벨 지시자(604"")에 의해 표현될 수도 있다. 도 7에서 도시되는 바와 같이, 제3 증가하는 시각적 정보 밀도 레벨 지시자(604"")는 추천/리뷰 지리위치정보 부여 데이터 아이템에 대응한다. 이 예에서, 제3 증가하는 시각적 정보 밀도 레벨 지시자(604"")는 5개의 별 등급 중 3개, 멋진 푸드 카트(608)의 사진, 멋진 푸드 카트의 3개의 고객 리뷰에 대한 하이퍼링크(704)를 포함한다.
몇몇 예에서, 등급을 매긴 정보 전달 프로그램(14)은, 지리위치정보 부여 데이터 아이템에 대응하는 시각적 정보 밀도 레벨 지시자를 향해 HMD 디바이스(200)가 더 가까이 이동하는 것에 기초하여, 그리고 어떠한 대응하는 유저 입력 없이도, 지리위치정보 부여 데이터 아이템에 대한 하나 이상의 증가하는 시각적 정보 밀도 레벨을 프로그램적으로 제공할 수도 있다.
다른 예에서, 혼합 현실 환경에서의 공간적 정보 밀도가 미리 결정된 문턱치 아래에 있으면, 지리위치정보 부여 데이터 아이템에 대한 최소 시각적 정보 밀도 레벨을 제공하는 대신, 등급을 매긴 정보 전달 프로그램(14)은 지리위치정보 부여 데이터 아이템에 대한 증가하는 시각적 정보 밀도 레벨 중 하나를 제공할 수도 있다. 다시 도 7을 참조하면, 일 예에서, 유저는 HMD 디바이스(200)를 통해 멋진 푸드 카트(608)를 보고 있을 수도 있다. 공간적 정보 밀도는, 디스플레이되는 지리위치정보 부여 데이터 아이템 정보에 의해 점유되는, HMD 디바이스(200)의 투명 디스플레이(62)의 단위 면적의 비율로서 정의될 수도 있다. 단위 면적은, 예를 들면, 투명 디스플레이(62)의 정의된 영역일 수도 있고, 특정 면적, 예컨대 25 제곱밀리미터(mm2), 50 mm2, 100 mm2, 또는 임의의 다른 적절한 단위 면적에 의해 정의될 수도 있다. 공간적 정보 밀도의 미리 결정된 문턱치는, 예를 들면, 단위 면적의 10%, 25%, 50%, 75%, 또는 임의의 다른 적절한 비율일 수도 있다. 몇몇 예에서, 다수의 상이한 단위 면적 및 대응하는 미리 결정된 문턱치 비율이 활용될 수도 있다.
도 7을 다시 참조하면, 이 예에서, 멋진 푸드 카트(608)의 우측에 위치되는 지리위치정보 부여 데이터 아이템(40)은, HMD 디바이스(200)의 투명 디스플레이(62)를 양분하는 라인(708)의 우측에 위치되는 유일한 지리위치정보 부여 데이터 아이템일 수도 있다. 제3 증가하는 시각적 정보 밀도 레벨 지시자(604"")를 디스플레이하는 것은, 투명 디스플레이(62)의 우측 절반(712)의 49%를 점유할 수도 있다. 공간적 밀도의 미리 결정된 문턱치가 투명 디스플레이(62)의 절반의 50%인 경우, 등급을 매긴 정보 전달 프로그램(14)은, 대응하는 지리위치정보 부여 데이터 아이템(40)으로 지향되는 어떠한 유저 입력 없이도, 제3 증가하는 시각적 정보 밀도 레벨 지시자(604"")를 프로그램적으로 디스플레이할 수도 있다.
도 8a 및 도 8b는, 본 개시의 실시형태에 따른 혼합 현실 환경에서 복수의 지리위치정보 부여 데이터 아이템에 대한 복수의 시각적 정보 밀도 레벨을 표시하기 위한 방법(800)의 플로우차트를 예시한다. 방법(800)의 하기의 설명은, 상기에서 설명되는 그리고 도 1 내지 도 7에서 도시되는 혼합 현실 시스템(10)의 소프트웨어 및 하드웨어 컴포넌트를 참조하여 제공된다. 방법(800)은, 다른 적절한 하드웨어 및 소프트웨어 컴포넌트를 사용하여 다른 상황에서 수행될 수도 있다는 것을 알 수 있을 것이다.
도 8a를 참조하면, 804에서, 방법(800)은 선택된 지리위치정보 부여 데이터 아이템에 대한 정보를 수신하는 것을 포함할 수도 있다. 808에서, 방법(800)은 정보를 복수의 정보 상세 레벨로 구분하는 것을 포함할 수도 있다. 812에서, 방법(800)은, 혼합 현실 환경 내에서의 헤드 마운트형 디스플레이 디바이스에 의한 디스플레이를 위해, 선택된 지리위치정보 부여 데이터 아이템에 대한 최소 시각적 정보 밀도 레벨을 디스플레이 시스템으로 제공하는 것을 포함할 수도 있다.
816에서, 방법(800)은 선택된 지리위치정보 부여 데이터 아이템에 대응하는 유저 입력을 수신하는 것을 포함할 수도 있다. 820에서, 유저 입력은, 눈 추적 데이터, 제스쳐 데이터, 헤드 포즈 데이터, 보이스 데이터, 및 핸드헬드 지시자 데이터로 구성되는 그룹에서 선택될 수도 있다. 824에서 그리고 유저 입력에 기초하여, 방법(800)은, 혼합 현실 환경 내에서의 헤드 마운트형 디스플레이 디바이스에 의한 디스플레이를 위해, 선택된 지리위치정보 부여 데이터 아이템에 대한 증가하는 시각적 정보 밀도 레벨을 디스플레이 시스템으로 제공하는 것을 포함할 수도 있다. 830에서, 증가하는 시각적 정보 밀도 레벨은 혼합 현실 환경 내에서 증가하는 양의 시각적 공간을 점유할 수도 있다.
834에서, 방법(800)은 헤드 마운트형 디스플레이 디바이스의 로케이션 데이터를 수신하는 것을 포함할 수도 있다. 838에서 그리고 헤드 마운트형 디스플레이 디바이스가 선택된 지리위치정보 부여 데이터 아이템의 로케이션에 더 가까이 이동하는 것에 응답하여, 방법(800)은, 헤드 마운트형 디스플레이 디바이스에 의한 디스플레이를 위해, 선택된 지리위치정보 부여 데이터 아이템에 대한 증가하는 시각적 정보 밀도 레벨 중 하나 이상을 디스플레이 시스템으로 제공하는 것을 포함할 수도 있다. 842에서, 방법(800)은, 혼합 현실 환경에서의 공간적 정보 밀도가 미리 결정된 문턱치 아래에 있는 경우, 선택된 지리위치정보 부여 데이터 아이템에 대한 최소 시각적 정보 밀도 레벨을 제공하는 대신, 선택된 지리위치정보 부여 데이터 아이템에 대한 증가하는 시각적 정보 밀도 레벨 중 하나를 제공하는 것을 포함할 수도 있다.
이제 도 8b를 참조하면, 846에서, 방법(800)은 두 개 이상의 선택된 지리위치정보 부여 데이터 아이템에 대한 정보를 수신하는 것을 포함할 수도 있다. 850에서, 방법(800)은, 헤드 마운트형 디스플레이 디바이스를 통해 디스플레이될 때, 지리위치정보 부여 데이터 아이템이 미리 결정된 간격 또는 그 미만만큼 분리될 것으로 결정하는 것을 포함할 수도 있다. 854에서 그리고 지리위치정보 부여 데이터 아이템의 분리에 기초하여, 방법(800)은 지리위치정보 부여 데이터 아이템을 집성된 지리위치정보 부여 데이터 아이템으로 축약하는 것을 포함할 수도 있다. 858에서, 방법(800)은, 혼합 현실 환경 내에서의 헤드 마운트형 디스플레이 디바이스에 의한 디스플레이를 위해, 집성된 지리위치정보 부여 데이터 아이템에 대한 최소 시각적 정보 밀도 레벨을 디스플레이 시스템으로 제공하는 것을 포함할 수도 있다.
862에서, 방법(800)은, 헤드 마운트형 디스플레이 디바이스를 통해, 집성된 지리위치정보 부여 데이터 아이템에 대응하는 유저 입력을 수신하는 것을 포함할 수도 있다. 866에서 그리고 유저 입력에 기초하여, 방법(800)은, 혼합 현실 환경 내에서의 헤드 마운트형 디스플레이 디바이스에 의한 디스플레이를 위해, 두 개 이상의 지리위치정보 부여 데이터 아이템의 각각에 대한 증가하는 시각적 정보 밀도 레벨을 디스플레이 시스템으로 제공하도록, 집성된 지리위치정보 부여 데이터 아이템을 펼치는 것을 포함할 수도 있다. 870에서, 지리위치정보 부여 데이터 아이템은, 소셜 네트워킹 데이터, 이미지 데이터, 추천/리뷰 데이터, 및 엔티티 설명 데이터로 구성되는 그룹에서 선택될 수도 있다.
방법(800)은 예로서 제공되며 제한하도록 의도되지 않는다는 것을 알 수 있을 것이다. 따라서, 방법(800)은 도 8a 및 도 8b에서 예시되는 것 이외의 추가적인 및/또는 대안적인 단계를 포함할 수도 있다는 것이 이해될 것이다. 또한, 방법(800)은 임의의 적절한 순서로 수행될 수도 있다는 것이 이해될 것이다. 또한 여전히, 하나 이상의 단계는 본 개시의 범위를 벗어나지 않으면서 방법(800)으로부터 생략될 수도 있다는 것이 이해될 것이다.
도 9는 상기에서 설명된 방법 및 프로세스 중 하나 이상을 수행할 수도 있는 컴퓨팅 시스템(900)의 비제한적인 실시형태를 개략적으로 도시한다. 컴퓨팅 디바이스(22)는 컴퓨팅 시스템(900)의 형태를 취할 수도 있다. 컴퓨팅 시스템(900)은 단순화된 형태로 도시된다. 본 개시의 범위를 벗어나지 않으면서, 사실상 임의의 컴퓨터 아키텍쳐가 사용될 수도 있다는 것이 이해될 것이다. 상이한 실시형태에서, 컴퓨팅 시스템(900)은 메인프레임 컴퓨터, 서버 컴퓨터, 데스크탑 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, 홈 엔터테인먼트 컴퓨터, 네트워크 컴퓨팅 디바이스, 모바일 컴퓨팅 디바이스, 모바일 통신 디바이스, 게임용 디바이스 등의 형태를 취할 수도 있다. 상기에서 언급되는 바와 같이, 몇몇 예에서, 컴퓨팅 시스템(900)은 HMD 디바이스 안으로 통합될 수도 있다.
도 9에서 도시되는 바와 같이, 컴퓨팅 시스템(900)은 로직 서브시스템(904), 저장 서브시스템(908), 디스플레이 서브시스템(912), 및 센서 서브시스템(916)을 포함한다. 컴퓨팅 시스템(900)은, 옵션사항으로서, 통신 서브시스템(920), 입력 서브시스템(922) 및/또는 도 9에서 도시되지 않은 기타 서브시스템 및 컴포넌트를 포함할 수도 있다. 컴퓨팅 시스템(900)은 또한 컴퓨터 판독가능 매체를 포함할 수도 있는데, 컴퓨터 판독가능 매체는 컴퓨터 판독가능 저장 매체 및 컴퓨터 판독가능 통신 매체를 포함한다. 컴퓨팅 시스템(900)은 또한, 옵션사항으로서, 예를 들면, 키보드, 마우스, 게임 컨트롤러, 및/또는 터치 스크린과 같은 기타 유저 입력 디바이스를 포함할 수도 있다. 또한, 몇몇 실시형태에서, 본원에서 설명되는 방법 및 프로세스는, 컴퓨터 애플리케이션, 컴퓨터 서비스, 컴퓨터 API, 컴퓨터 라이브러리, 및/또는 하나 이상의 컴퓨터를 포함하는 컴퓨팅 시스템에서의 기타 컴퓨터 프로그램 제품으로서 구현될 수도 있다.
로직 서브시스템(904)은 하나 이상의 명령어를 실행하도록 구성되는 하나 이상의 물리적 디바이스를 포함할 수도 있다. 예를 들면, 로직 서브시스템(904)은, 하나 이상의 애플리케이션, 서비스, 프로그램, 루틴, 라이브러리, 오브젝트, 컴포넌트, 데이터 구조, 또는 기타 논리적 구성물(other logical construct)의 일부인 하나 이상의 명령어를 실행하도록 구성될 수도 있다. 이러한 명령어는, 작업을 수행하도록, 데이터 타입을 구현하도록, 하나 이상의 디바이스의 상태를 변환하도록, 또는 다르게는 소망의 결과에 도달하도록 구현될 수도 있다.
로직 서브시스템(904)은 소프트웨어 명령어를 실행하도록 구성되는 하나 이상의 프로세서를 포함할 수도 있다. 추가적으로 또는 대안적으로, 로직 서브시스템은, 하드웨어 또는 펌웨어 명령을 실행하도록 구성되는 하나 이상의 하드웨어 또는 펌웨어 로직 머신을 포함할 수도 있다. 로직 서브시스템의 프로세서는 싱글 코어이거나 또는 멀티코어일 수도 있고, 그 상에서 실행되는 프로그램은 병렬 또는 분산형 프로세싱에 대해 구성될 수도 있다. 로직 서브시스템은, 옵션사항으로서, 원격에 위치될 수 있고/있거나 통합 프로세싱에 대해 구성될 수도 있는 두 개 이상의 디바이스에 걸쳐 분산되는 개개의 컴포넌트를 포함할 수도 있다. 로직 서브시스템의 하나 이상의 양태는, 클라우드 컴퓨팅 구성에서 구성되는 원격으로 액세스가능한 네트워크화된 컴퓨팅 디바이스에 의해 가상화되어 실행될 수도 있다.
저장 서브시스템(908)은, 본원에서 설명된 방법 및 프로세스를 구현하기 위해 로직 서브시스템(904)에 의해 실행가능한 명령어 및/또는 데이터를 유지하도록 구성되는 하나 이상의 물리적이고 영구적인 디바이스를 포함할 수도 있다. 이러한 방법 및 프로세스가 구현되는 경우, 저장 서브시스템(908)의 상태는 (예를 들면, 상이한 데이터를 유지하도록) 변환될 수도 있다.
저장 서브시스템(908)은 착탈식 매체 및/또는 내장형 디바이스를 포함할 수도 있다. 저장 서브시스템(908)은, 다른 것들 중에서도, 광학 메모리 디바이스(예를 들면, CD, DVD, HD-DVD, 블루레이 디스크 등), 반도체 메모리 디바이스(예를 들면, RAM, EPROM, EEPROM 등) 및/또는 자기 메모리 디바이스(예를 들면, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, MRAM 등)를 포함할 수도 있다. 저장 서브시스템(908)은 다음 특성 중 하나 이상을 갖는 디바이스를 포함할 수도 있다: 휘발성 특성, 불휘발성 특성, 동적 특성, 정적 특성, 판독/기록 특성, 판독 전용 특성, 랜덤 액세스 특성, 순차 액세스 특성, 로케이션 주소지정가능(location-addressable) 특성, 파일 주소지정가능 특성, 및 컨텐츠 주소지정가능 특성.
몇몇 실시형태에서, 로직 서브시스템(904) 및 저장 서브시스템(908)의 양태는 하나 이상의 공통 디바이스에 통합될 수도 있는데, 본원에서 설명되는 기능성은 이 하나 이상의 공통 디바이스를 통해, 적어도 부분적으로, 규정될 수도 있다. 이러한 하드웨어 로직 컴포넌트는, 예를 들면, 필드 프로그래머블 게이트 어레이(field-programmable gate array; FPGA), 프로그램 및 애플리케이션 고유의 집적 회로(program-and application-specific integrated circuit; PASIC/ASIC), 프로그램 및 애플리케이션 고유의 표준 제품(program-and application-specific standard product; PSSP/ASSP), 시스템 온 칩(system-on-a-chip; SOC) 시스템, 및 복합 프로그래머블 로직 디바이스(complex programmable logic device; CPLD)를 포함할 수도 있다.
도 9는 또한, 저장 서브시스템(908)의 한 양태를 착탈식 컴퓨터 판독가능 저장 매체(924)의 형태로 도시하는데, 착탈식 컴퓨터 판독가능 저장 매체(924)는 본원에서 설명되는 방법 및 프로세스를 구현하도록 실행가능한 명령어 및/또는 데이터를 저장하기 위해 사용될 수도 있다. 착탈식 컴퓨터 판독가능 저장 매체(924)는, 다른 것들 중에서도, CD, DVD, HD-DVD, 블루레이 디스크, EEPROM, 및/또는 플로피 디스크의 형태를 취할 수도 있다.
저장 서브시스템(908)은 하나 이상의 물리적이고 영구적인 디바이스를 포함한다는 것을 알 수 있을 것이다. 대조적으로, 몇몇 실시형태에서, 본원에서 설명되는 명령어의 양태는, 적어도 유한한 지속기간(duration) 동안 물리적 디바이스에 의해 유지되지 않는 순수 신호(예를 들면 전자기 신호, 광학 신호 등)에 의해 일시적 형태로 전파될 수도 있다. 또한, 본 개시에 속하는 데이터 및/또는 다른 형태의 정보는 컴퓨터 판독가능 통신 매체를 통해 순수 신호에 의해 전파될 수도 있다.
디스플레이 서브시스템(912)은 저장 서브시스템(908)에 의해 유지되는 데이터의 시각적 표현을 표시하기 위해 사용될 수도 있다. 상기에서 설명되는 방법 및 프로세스가 저장 서브시스템(908)에 의해 유지되는 데이터를 변경하고, 따라서 저장 서브시스템의 상태를 변환할 때, 디스플레이 서브시스템(912)의 상태는 기저의 데이터(underlying data)에서의 변경을 시각적으로 표현하도록 마찬가지로 변환될 수도 있다. 디스플레이 서브시스템(912)은 사실상 임의의 타입의 기술을 활용하는 하나 이상의 디스플레이 디바이스를 포함할 수도 있다. 이러한 디스플레이 디바이스는 공유된 엔클로저(enclosure)에서 로직 서브시스템(904) 및/또는 저장 서브시스템(908)과 함께 결합될 수도 있거나, 또는 이러한 디스플레이 디바이스는 주변장치 디스플레이 디바이스(peripheral display device)일 수도 있다. 디스플레이 서브시스템(912)은, 예를 들면, HMD 디바이스(36)의 디스플레이 시스템(66) 및 투명 디스플레이(62)를 포함할 수도 있다.
센서 서브시스템(916)은 상기에서 설명되는 바와 같이 상이한 물리적 현상(예를 들면, 가시광, 적외선 광, 사운드, 가속도, 방위, 포지션 등)을 감지하도록 구성되는 하나 이상의 센서를 포함할 수도 있다. 센서 서브시스템(916)은, 예를 들면, 센서 데이터를 로직 서브시스템(904)으로 제공하도록 구성될 수도 있다. 상기에서 설명되는 바와 같이, 이러한 데이터는 눈 추적용 정보, 이미지 정보, 오디오 정보, 주변 조명 정보, 깊이 정보, 포지션 정보, 모션 정보, 유저 로케이션 정보, 및/또는 상기에서 설명되는 방법 및 프로세스를 수행하도록 사용될 수도 있는 임의의 다른 적절한 센서 데이터를 포함할 수도 있다.
통신 서브시스템(920)은, 포함되면, 컴퓨팅 시스템(900)을 하나 이상의 네트워크 및/또는 하나 이상의 다른 컴퓨팅 디바이스와 통신적으로 커플링하도록 구성될 수도 있다. 통신 서브시스템(920)은, 하나 이상의 상이한 통신 프로토콜과 호환가능한 유선 및/또는 무선 통신 디바이스를 포함할 수도 있다. 비제한적인 예로서, 통신 서브시스템(920)은, 무선 전화 네트워크, 무선 근거리 통신망, 유선 근거리 통신망, 무선 광역 통신망, 유선 광역 통신망 등을 통한 통신에 대해 구성될 수도 있다. 몇몇 실시형태에서, 통신 서브시스템은 컴퓨팅 시스템(900)이 인터넷과 같은 네트워크를 통해 메시지를 다른 디바이스로 및/또는 다른 디바이스로부터 전송 및/또는 수신하는 것을 허용할 수도 있다.
입력 서브시스템(922)은, 포함되면, 게임 컨트롤러, 제스쳐 입력 검출 디바이스, 보이스 인식기, 관성 측정 유닛, 키보드, 마우스, 또는 터치 스크린과 같은 하나 이상의 센서 또는 유저 입력 디바이스를 포함할 수도 있거나 또는 이들과 인터페이싱할 수도 있다. 몇몇 실시형태에서, 입력 서브시스템(922)은 선택된 내추럴 유저 입력(natural user input; NUI) 부품류(componentry)를 포함할 수도 있거나 또는 그 NUI 부품류와 인터페이싱할 수도 있다. 이러한 부품류는 통합되거나 또는 주변장치일 수도 있고, 입력 액션의 변환 및/또는 프로세싱은 온보드로 또는 오프보드(off-board)로 핸들링될 수도 있다. 예시적인 NUI 컴포넌트류는, 스피치 및/또는 보이스 인식을 위한 마이크; 머신 비전(machine vision) 및/또는 제스쳐 인식을 위한 적외선, 컬러, 입체, 및/또는 깊이 카메라; 모션 검출 및/또는 의도 인식을 위한 헤드 트래커(head tracker), 아이 트래커(eye tracker), 가속도계, 및/또는 자이로스코프;뿐만 아니라 뇌 활동을 평가하기 위한 전기장 감지 부품류를 포함할 수도 있다.
용어 "프로그램"은, 하나 이상의 특정 기능을 수행하도록 구현되는 혼합 현실 시스템(10)의 한 양태를 설명하기 위해 사용될 수도 있다. 몇몇 경우에서, 이러한 프로그램은, 저장 서브시스템(908)에 의해 유지되는 명령어를 실행하는 로직 서브시스템(904)을 통해 예시화될(instantiated) 수도 있다. 동일한 애플리케이션, 서비스, 코드 블록, 오브젝트, 라이브러리, 루틴, API, 함수 등으로부터 상이한 프로그램이 예시화될 수도 있다는 것이 이해될 것이다. 마찬가지로, 동일한 프로그램은, 상이한 애플리케이션, 서비스, 코드 블록, 오브젝트, 루틴, API, 함수 등에 의해 예시화될 수도 있다. 용어 "프로그램"은, 실행 파일, 데이터 파일, 라이브러리, 드라이버, 스크립트, 데이터베이스 레코드 등의 개개의 것 또는 그룹을 포괄하도록 의도된다.
본원에서 설명되는 구성 및/또는 방식은 본질적으로 예시적인 것이다는 것, 및 다양한 변형예가 가능하기 때문에, 이들 특정 실시형태 또는 예는 제한적인 의미로 간주되어선 안된다는 것이 이해될 것이다. 본원에서 설명되는 특정 루틴 또는 방법은 임의의 수의 프로세싱 전략 중 하나 이상을 나타낼 수도 있다. 이와 같이, 예시되는 다양한 액트는 예시되는 순서로, 다른 순서로, 병렬로, 또는 몇몇 경우에서는 생략되어 수행될 수도 있다. 마찬가지로, 상기에서 설명되는 프로세스의 순서는 변경될 수도 있다.
본 개시의 주제는, 본원에서 개시되는 다양한 프로세스, 시스템과 구성, 및 다른 피쳐, 기능, 동작, 및/또는 특성의 모든 신규의 그리고 자명하지 않은 조합 및 서브조합 뿐만 아니라 이들의 임의의 그리고 모든 등가물을 포함한다.

Claims (20)

  1. 혼합 현실(mixed reality) 환경에서 복수의 지리위치정보 부여(geo-located) 데이터 아이템에 대해 복수의 시각적 정보 밀도 레벨을 표시하기(presenting) 위한 혼합 현실 시스템에 있어서,
    컴퓨팅 디바이스에 동작가능하게 연결되는 헤드 마운트형(head-mounted) 디스플레이 디바이스 - 상기 헤드 마운트형 디스플레이 디바이스는 상기 혼합 현실 환경 내에서 상기 복수의 시각적 정보 밀도 레벨을 표시하기 위한 디스플레이 시스템을 포함함 - ;
    메모리 디바이스; 및
    상기 메모리 디바이스 내에 저장되고 상기 컴퓨팅 디바이스의 프로세서에 의해 실행되는, 등급을 매긴(graduated) 정보 전달 프로그램
    을 포함하고, 상기 등급을 매긴 정보 전달 프로그램은:
    상기 혼합 현실 환경 내에서의 상기 헤드 마운트형 디스플레이 디바이스에 의해 디스플레이되는 제1 지리위치정보 부여 데이터 아이템에 대해 제1 시각적 정보 밀도 레벨을 제공하고;
    상기 혼합 현실 환경에서의 지리위치정보 부여 데이터 아이템 정보의 공간적 정보 밀도가 미리 결정된 문턱치 아래에 있으면, 상기 헤드 마운트형 디스플레이 디바이스에 의해 디스플레이되는 제2 지리위치정보 부여 데이터 아이템에 대해 상기 제1 시각적 정보 밀도 레벨보다 더 큰 제2 시각적 정보 밀도 레벨을 제공하도록 - 상기 공간적 정보 밀도는, 디스플레이되는 지리위치정보 부여 데이터 아이템 정보에 의해 점유되는, 상기 헤드 마운트형 디스플레이 디바이스의 디스플레이의 단위 면적의 비율(percentage)을 포함함 -
    구성되는 것인, 혼합 현실 시스템.
  2. 제1항에 있어서,
    상기 디스플레이의 단위 면적은, 상기 디스플레이의 전체 면적보다 더 작은 정의된 영역인 것인, 혼합 현실 시스템.
  3. 제1항에 있어서,
    상기 디스플레이의 복수의 상이한 단위 면적, 및 상기 복수의 상이한 단위 면적 각각에 대한 대응하는 미리 결정된 문턱치 비율을 더 포함하는, 혼합 현실 시스템.
  4. 제1항에 있어서,
    상기 등급을 매긴 정보 전달 프로그램은:
    상기 헤드 마운트형 디스플레이 디바이스를 통해, 상기 제1 지리위치정보 부여 데이터 아이템에 대응하는 유저 입력을 수신하고;
    상기 유저 입력에 기초하여, 상기 혼합 현실 환경 내에서의 상기 헤드 마운트형 디스플레이 디바이스에 의한 디스플레이를 위해, 상기 제1 지리위치정보 부여 데이터 아이템에 대해 상기 제1 시각적 정보 밀도 레벨보다 더 큰 또 다른 시각적 정보 밀도 레벨을 제공하도록
    구성되는 것인, 혼합 현실 시스템.
  5. 제1항에 있어서,
    상기 등급을 매긴 정보 전달 프로그램은:
    상기 헤드 마운트형 디스플레이 디바이스의 로케이션 데이터(location data)를 수신하고;
    상기 헤드 마운트형 디스플레이 디바이스가 상기 제1 지리위치정보 부여 데이터 아이템의 로케이션에 더 가까이 이동하는 것에 기초하여, 상기 헤드 마운트형 디스플레이 디바이스에 의한 디스플레이를 위해, 상기 제1 지리위치정보 부여 데이터 아이템에 대해 상기 제1 시각적 정보 밀도 레벨보다 더 큰 또 다른 시각적 정보 밀도 레벨을 상기 디스플레이 시스템에 제공하도록
    구성되는 것인, 혼합 현실 시스템.
  6. 제1항에 있어서,
    상기 제2 시각적 정보 밀도 레벨은 상기 혼합 현실 환경 내에서 상기 제1 시각적 정보 밀도 레벨보다 더 많은 시각적 공간을 점유하는 것인, 혼합 현실 시스템.
  7. 제1항에 있어서,
    상기 등급을 매긴 정보 전달 프로그램은:
    두 개 이상의 지리위치정보 부여 데이터 아이템에 대한 정보를 수신하고;
    상기 헤드 마운트형 디스플레이 디바이스를 통해 디스플레이될 때, 상기 두 개 이상의 지리위치정보 부여 데이터 아이템이 미리 결정된 간격 또는 그 미만만큼 분리될 것으로 결정하고;
    상기 두 개 이상의 지리위치정보 부여 데이터 아이템의 분리에 기초하여, 상기 두 개 이상의 지리위치정보 부여 데이터 아이템을 집성된(aggregated) 지리위치정보 부여 데이터 아이템으로 축약하고(collapsing);
    상기 혼합 현실 환경 내에서의 상기 헤드 마운트형 디스플레이 디바이스에 의한 디스플레이를 위해, 상기 집성된 지리위치정보 부여 데이터 아이템에 대해 상기 제1 시각적 정보 밀도 레벨을 상기 디스플레이 시스템에 제공하도록
    구성되는 것인, 혼합 현실 시스템.
  8. 제7항에 있어서,
    상기 등급을 매긴 정보 전달 프로그램은 또한:
    상기 헤드 마운트형 디스플레이 디바이스를 통해, 상기 집성된 지리위치정보 부여 데이터 아이템에 대응하는 유저 입력을 수신하고;
    상기 유저 입력에 기초하여, 상기 혼합 현실 환경 내에서의 상기 헤드 마운트형 디스플레이 디바이스에 의한 디스플레이를 위해, 상기 두 개 이상의 지리위치정보 부여 데이터 아이템 각각에 대해 증가하는 시각적 정보 밀도 레벨을 상기 디스플레이 시스템에 제공하기 위하여, 상기 집성된 지리위치정보 부여 데이터 아이템을 펼치도록(expanding)
    구성되는 것인, 혼합 현실 시스템.
  9. 제1항에 있어서,
    상기 복수의 지리위치정보 부여 데이터 아이템은, 소셜 네트워킹 데이터, 이미지 데이터, 추천/리뷰 데이터, 및 엔티티 설명 데이터로 구성되는 그룹에서 선택되는 것인, 혼합 현실 시스템.
  10. 혼합 현실 환경에서 복수의 지리위치정보 부여 데이터 아이템에 대해 복수의 시각적 정보 밀도 레벨을 표시하기 위한 방법에 있어서,
    상기 혼합 현실 환경 내에서의 헤드 마운트형 디스플레이 디바이스에 의해 디스플레이되는 제1 지리위치정보 부여 데이터 아이템에 대해 제1 시각적 정보 밀도 레벨을 제공하는 단계; 및
    상기 혼합 현실 환경에서의 지리위치정보 부여 데이터 아이템 정보의 공간적 정보 밀도가 미리 결정된 문턱치 아래에 있으면, 상기 헤드 마운트형 디스플레이 디바이스에 의해 디스플레이되는 제2 지리위치정보 부여 데이터 아이템에 대해 상기 제1 시각적 정보 밀도 레벨보다 더 큰 제2 시각적 정보 밀도 레벨을 제공하는 단계 - 상기 공간적 정보 밀도는, 디스플레이되는 지리위치정보 부여 데이터 아이템 정보에 의해 점유되는, 상기 헤드 마운트형 디스플레이 디바이스의 디스플레이의 단위 면적의 비율을 포함함 -
    를 포함하는, 복수의 시각적 정보 밀도 레벨을 표시하기 위한 방법.
  11. 제10항에 있어서,
    상기 디스플레이의 단위 면적은, 상기 디스플레이의 전체 면적보다 더 작은 정의된 영역인 것인, 복수의 시각적 정보 밀도 레벨을 표시하기 위한 방법.
  12. 제10항에 있어서,
    상기 디스플레이는, 상기 디스플레이의 복수의 상이한 단위 면적, 및 상기 복수의 상이한 단위 면적 각각에 대한 대응하는 미리 결정된 문턱치 비율을 포함하는 것인, 복수의 시각적 정보 밀도 레벨을 표시하기 위한 방법.
  13. 제10항에 있어서,
    상기 제1 지리위치정보 부여 데이터 아이템에 대응하는 유저 입력을 수신하는 단계; 및
    상기 유저 입력에 기초하여, 상기 혼합 현실 환경 내에서의 상기 헤드 마운트형 디스플레이 디바이스에 의한 디스플레이를 위해, 상기 제1 지리위치정보 부여 데이터 아이템에 대해 상기 제1 시각적 정보 밀도 레벨보다 더 큰 또 다른 시각적 정보 밀도 레벨을 제공하는 단계
    를 더 포함하는, 복수의 시각적 정보 밀도 레벨을 표시하기 위한 방법.
  14. 제10항에 있어서,
    상기 헤드 마운트형 디스플레이 디바이스의 로케이션 데이터를 수신하는 단계; 및
    상기 헤드 마운트형 디스플레이 디바이스가 상기 제1 지리위치정보 부여 데이터 아이템의 로케이션에 더 가까이 이동하는 것에 기초하여, 상기 헤드 마운트형 디스플레이 디바이스에 의한 디스플레이를 위해, 상기 제1 지리위치정보 부여 데이터 아이템에 대해 상기 제1 시각적 정보 밀도 레벨보다 더 큰 또 다른 시각적 정보 밀도 레벨을 디스플레이 시스템에 제공하는 단계
    를 더 포함하는, 복수의 시각적 정보 밀도 레벨을 표시하기 위한 방법.
  15. 제10항에 있어서,
    상기 제2 시각적 정보 밀도 레벨은 상기 혼합 현실 환경 내에서 상기 제1 시각적 정보 밀도 레벨보다 더 많은 시각적 공간을 점유하는 것인, 복수의 시각적 정보 밀도 레벨을 표시하기 위한 방법.
  16. 제10항에 있어서,
    두 개 이상의 지리위치정보 부여 데이터 아이템에 대한 정보를 수신하는 단계;
    상기 헤드 마운트형 디스플레이 디바이스를 통해 디스플레이될 때, 상기 두 개 이상의 지리위치정보 부여 데이터 아이템이 미리 결정된 간격 또는 그 미만만큼 분리될 것으로 결정하는 단계;
    상기 두 개 이상의 지리위치정보 부여 데이터 아이템의 분리에 기초하여, 상기 두 개 이상의 지리위치정보 부여 데이터 아이템을 집성된 지리위치정보 부여 데이터 아이템으로 축약하는 단계; 및
    상기 혼합 현실 환경 내에서의 상기 헤드 마운트형 디스플레이 디바이스에 의한 디스플레이를 위해, 상기 집성된 지리위치정보 부여 데이터 아이템에 대해 상기 제1 시각적 정보 밀도 레벨을 디스플레이 시스템에 제공하는 단계
    를 더 포함하는, 복수의 시각적 정보 밀도 레벨을 표시하기 위한 방법.
  17. 제16항에 있어서,
    상기 헤드 마운트형 디스플레이 디바이스를 통해, 상기 집성된 지리위치정보 부여 데이터 아이템에 대응하는 유저 입력을 수신하는 단계; 및
    상기 유저 입력에 기초하여, 상기 혼합 현실 환경 내에서의 상기 헤드 마운트형 디스플레이 디바이스에 의한 디스플레이를 위해, 상기 두 개 이상의 지리위치정보 부여 데이터 아이템 각각에 대해 증가하는 시각적 정보 밀도 레벨을 디스플레이 시스템에 제공하기 위하여, 상기 집성된 지리위치정보 부여 데이터 아이템을 펼치는 단계
    를 더 포함하는, 복수의 시각적 정보 밀도 레벨을 표시하기 위한 방법.
  18. 제10항에 있어서,
    상기 복수의 지리위치정보 부여 데이터 아이템은, 소셜 네트워킹 데이터, 이미지 데이터, 추천/리뷰 데이터, 및 엔티티 설명 데이터로 구성되는 그룹에서 선택되는 것인, 복수의 시각적 정보 밀도 레벨을 표시하기 위한 방법.
  19. 헤드 마운트형 디스플레이 디바이스에서, 혼합 현실 환경에서 복수의 지리위치정보 부여 데이터 아이템에 대해 복수의 시각적 정보 밀도 레벨을 표시하기 위한 방법에 있어서, 상기 시각적 정보 밀도 레벨은 최소 시각적 정보 밀도 레벨, 및 하나 이상의 증가하는 시각적 정보 밀도 레벨을 포함하고, 상기 방법은:
    상기 혼합 현실 환경 내에서의 상기 헤드 마운트형 디스플레이 디바이스에 의한 디스플레이를 위해, 제1 지리위치정보 부여 데이터 아이템에 대해 상기 최소 시각적 정보 밀도 레벨을 디스플레이 시스템에 제공하는 단계;
    상기 헤드 마운트형 디스플레이 디바이스의 유저의 로케이션 데이터를 수신하는 단계;
    상기 유저가 상기 제1 지리위치정보 부여 데이터 아이템의 로케이션에 더 가까이 이동하는 것에 기초하여, 상기 헤드 마운트형 디스플레이 디바이스에 의한 디스플레이를 위해, 상기 제1 지리위치정보 부여 데이터 아이템에 대해 상기 하나 이상의 증가하는 시각적 정보 밀도 레벨 중 하나를 상기 디스플레이 시스템에 제공하는 단계; 및
    상기 혼합 현실 환경에서의 지리위치정보 부여 데이터 아이템 정보의 공간적 정보 밀도가 미리 결정된 문턱치 아래에 있으면, 상기 헤드 마운트형 디스플레이 디바이스에 의해 디스플레이되는 제2 지리위치정보 부여 데이터 아이템에 대해 상기 하나 이상의 증가하는 시각적 정보 밀도 레벨 중 하나를 제공하는 단계 - 상기 공간적 정보 밀도는, 디스플레이되는 지리위치정보 부여 데이터 아이템 정보에 의해 점유되는, 상기 헤드 마운트형 디스플레이 디바이스의 디스플레이의 단위 면적의 비율을 포함함 -
    를 포함하는, 복수의 시각적 정보 밀도 레벨을 표시하기 위한 방법.
  20. 제19항에 있어서,
    상기 하나 이상의 증가하는 시각적 정보 밀도 레벨은 상기 혼합 현실 환경 내에서 증가하는 양의 시각적 공간을 점유하는 것인, 복수의 시각적 정보 밀도 레벨을 표시하기 위한 방법.
KR1020217008449A 2013-07-31 2014-07-28 혼합 현실의 등급을 매긴 정보 전달 KR102282316B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US13/956,231 US9619939B2 (en) 2013-07-31 2013-07-31 Mixed reality graduated information delivery
US13/956,231 2013-07-31
KR1020167005301A KR102233052B1 (ko) 2013-07-31 2014-07-28 혼합 현실의 등급을 매긴 정보 전달
PCT/US2014/048338 WO2015017292A1 (en) 2013-07-31 2014-07-28 Mixed reality graduated information delivery

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020167005301A Division KR102233052B1 (ko) 2013-07-31 2014-07-28 혼합 현실의 등급을 매긴 정보 전달

Publications (2)

Publication Number Publication Date
KR20210034692A true KR20210034692A (ko) 2021-03-30
KR102282316B1 KR102282316B1 (ko) 2021-07-26

Family

ID=51355645

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020217008449A KR102282316B1 (ko) 2013-07-31 2014-07-28 혼합 현실의 등급을 매긴 정보 전달
KR1020167005301A KR102233052B1 (ko) 2013-07-31 2014-07-28 혼합 현실의 등급을 매긴 정보 전달

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020167005301A KR102233052B1 (ko) 2013-07-31 2014-07-28 혼합 현실의 등급을 매긴 정보 전달

Country Status (5)

Country Link
US (2) US9619939B2 (ko)
EP (1) EP3028121B1 (ko)
KR (2) KR102282316B1 (ko)
CN (1) CN105518574B (ko)
WO (1) WO2015017292A1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
CN103353667B (zh) 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
CN103353677B (zh) 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103424891B (zh) 2013-07-31 2014-12-17 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103431840B (zh) 2013-07-31 2016-01-20 北京智谷睿拓技术服务有限公司 眼睛光学参数检测系统及方法
CN103439801B (zh) 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法
CN103431980A (zh) 2013-08-22 2013-12-11 北京智谷睿拓技术服务有限公司 视力保护成像系统及方法
CN103500331B (zh) 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
CN103605208B (zh) 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射系统及方法
CN103558909B (zh) * 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示系统
CN105301771B (zh) * 2014-06-06 2020-06-09 精工爱普生株式会社 头部佩戴型显示装置、检测装置、控制方法以及计算机程序
US9767614B2 (en) 2015-03-24 2017-09-19 Nokia Technologies Oy Augmented reality
US10547709B2 (en) 2015-06-18 2020-01-28 Qualtrics, Llc Recomposing survey questions for distribution via multiple distribution channels
US10325568B2 (en) 2015-08-03 2019-06-18 Qualtrics, Llc Providing a display based electronic survey
US11445305B2 (en) 2016-02-04 2022-09-13 Magic Leap, Inc. Technique for directing audio in augmented reality system
KR102592955B1 (ko) 2016-06-17 2023-10-24 삼성디스플레이 주식회사 표시 패널, 및 이를 포함하는 전자 기기
US10176640B2 (en) * 2016-08-02 2019-01-08 Qualtrics, Llc Conducting digital surveys utilizing virtual reality and augmented reality devices
US11301877B2 (en) 2016-09-01 2022-04-12 Qualtrics, Llc Providing analysis of perception data over time for events
US20180158157A1 (en) * 2016-12-02 2018-06-07 Bank Of America Corporation Geo-targeted Property Analysis Using Augmented Reality User Devices
EP3349099A1 (de) 2017-01-13 2018-07-18 Kai-Holger Brassel Immersives informations- und kommunikationsmedium fuer sehr grosse nutzerzahlen
US10725729B2 (en) * 2017-02-28 2020-07-28 Magic Leap, Inc. Virtual and real object recording in mixed reality device
CN110709837A (zh) * 2017-06-09 2020-01-17 索尼公司 信息处理装置、信息处理方法及程序
DE102017219790A1 (de) 2017-11-07 2019-05-09 Volkswagen Aktiengesellschaft System und Verfahren zum Bestimmen einer Pose einer Augmented-Reality-Brille, System und Verfahren zum Einmessen einer Augmented-Reality-Brille, Verfahren zum Unterstützen einer Posenbestimmung einer Augmented-Reality-Brille und für das Verfahren geeignetes Kraftfahrzeug
US10249163B1 (en) * 2017-11-10 2019-04-02 Otis Elevator Company Model sensing and activity determination for safety and efficiency
KR20190070423A (ko) 2017-12-13 2019-06-21 주식회사 투스라이프 실제 움직임의 감지가 가능한 가상현실을 기반으로 하는 부착형 트래커
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
EP3667459A1 (en) * 2018-12-12 2020-06-17 Nokia Technologies Oy First-person perspective-mediated reality
FR3115890B3 (fr) 2020-11-05 2022-10-21 La Choue De La Mettrie Aymar De Dispositif d’affichage d’informations visuelles
US20230368526A1 (en) * 2022-05-11 2023-11-16 Google Llc System and method for product selection in an augmented reality environment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090289956A1 (en) * 2008-05-22 2009-11-26 Yahoo! Inc. Virtual billboards
WO2012076062A1 (en) * 2010-12-10 2012-06-14 Sony Ericsson Mobile Communications Ab Touch sensitive haptic display
US20120299920A1 (en) * 2010-11-24 2012-11-29 Google Inc. Rendering and Navigating Photographic Panoramas with Depth Information in a Geographic Information System
US20130162632A1 (en) * 2009-07-20 2013-06-27 Real Time Companies, LLC Computer-Aided System for 360º Heads Up Display of Safety/Mission Critical Data

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PT103264B (pt) * 2005-04-22 2007-02-28 Ydreams Informatica Sa Miradouro virtual: sistema de visualização de informação sobreposta a imagem real
CN101539804A (zh) * 2009-03-11 2009-09-23 上海大学 基于增强虚拟现实与异型屏的实时人机互动方法及系统
US8427508B2 (en) 2009-06-25 2013-04-23 Nokia Corporation Method and apparatus for an augmented reality user interface
CN101587372B (zh) * 2009-07-03 2010-09-15 东南大学 一种用于虚拟现实人机交互的增强力触觉建模方法
EP2532199B1 (en) 2010-02-04 2019-09-04 TomTom Traffic B.V. Location-determining system and method
WO2011112940A1 (en) * 2010-03-12 2011-09-15 Tagwhat, Inc. Merging of grouped markers in an augmented reality-enabled distribution network
JP2012002568A (ja) * 2010-06-15 2012-01-05 Brother Ind Ltd ナビゲーションシステム、携帯機器及び携帯機器用プログラム
US8319772B2 (en) 2010-07-23 2012-11-27 Microsoft Corporation 3D layering of map metadata
US20120075433A1 (en) * 2010-09-07 2012-03-29 Qualcomm Incorporated Efficient information presentation for augmented reality
US9664527B2 (en) 2011-02-25 2017-05-30 Nokia Technologies Oy Method and apparatus for providing route information in image media
US20140225917A1 (en) * 2013-02-14 2014-08-14 Geovector Corporation Dynamic Augmented Reality Vision Systems
US10133342B2 (en) * 2013-02-14 2018-11-20 Qualcomm Incorporated Human-body-gesture-based region and volume selection for HMD

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090289956A1 (en) * 2008-05-22 2009-11-26 Yahoo! Inc. Virtual billboards
US20130162632A1 (en) * 2009-07-20 2013-06-27 Real Time Companies, LLC Computer-Aided System for 360º Heads Up Display of Safety/Mission Critical Data
US20120299920A1 (en) * 2010-11-24 2012-11-29 Google Inc. Rendering and Navigating Photographic Panoramas with Depth Information in a Geographic Information System
WO2012076062A1 (en) * 2010-12-10 2012-06-14 Sony Ericsson Mobile Communications Ab Touch sensitive haptic display

Also Published As

Publication number Publication date
US20170178412A1 (en) 2017-06-22
US9619939B2 (en) 2017-04-11
CN105518574B (zh) 2018-10-16
EP3028121B1 (en) 2016-10-12
US9734636B2 (en) 2017-08-15
US20150035861A1 (en) 2015-02-05
EP3028121A1 (en) 2016-06-08
KR102282316B1 (ko) 2021-07-26
KR102233052B1 (ko) 2021-03-30
KR20160039267A (ko) 2016-04-08
CN105518574A (zh) 2016-04-20
WO2015017292A1 (en) 2015-02-05

Similar Documents

Publication Publication Date Title
KR102233052B1 (ko) 혼합 현실의 등급을 매긴 정보 전달
KR102185804B1 (ko) 혼합 현실 필터링
EP3137976B1 (en) World-locked display quality feedback
US20170287227A1 (en) Mixed reality data collaboration
JP6317765B2 (ja) 複合現実感表示調整
US9129430B2 (en) Indicating out-of-view augmented reality images
KR102296121B1 (ko) 사용자 인터페이스 내비게이션
US20140240351A1 (en) Mixed reality augmentation
US20140071163A1 (en) Augmented reality information detail
EP2887639A1 (en) Augmented reality information detail

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant