KR20200138376A - 설정을 중심으로 한 이동 - Google Patents

설정을 중심으로 한 이동 Download PDF

Info

Publication number
KR20200138376A
KR20200138376A KR1020207031568A KR20207031568A KR20200138376A KR 20200138376 A KR20200138376 A KR 20200138376A KR 1020207031568 A KR1020207031568 A KR 1020207031568A KR 20207031568 A KR20207031568 A KR 20207031568A KR 20200138376 A KR20200138376 A KR 20200138376A
Authority
KR
South Korea
Prior art keywords
view
user interface
display
interface element
destination
Prior art date
Application number
KR1020207031568A
Other languages
English (en)
Other versions
KR102546535B1 (ko
Inventor
루이스 알. 델리즈 센테노
아비 바르-제브
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20200138376A publication Critical patent/KR20200138376A/ko
Application granted granted Critical
Publication of KR102546535B1 publication Critical patent/KR102546535B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

컴퓨터 시뮬레이션된 현실(CSR) 설정들을 중심으로 이동시키기 위한 기술이 개시된다. 예시적인 기술은 CSR 설정의 현재 뷰를 디스플레이하는 것을 포함하고, 현재 뷰는 제1 결정된 방향에 대응하는 제1 관점으로부터의 CSR 설정의 현재 위치를 나타낸다. 이 기법은 사용자 인터페이스 요소를 디스플레이하는 단계 - 사용자 인터페이스 요소는 현재 위치로부터 가시적이 아닌 목적지 위치를 나타냄 -, 및 사용자 인터페이스 요소의 선택을 표현하는 입력을 수신하는 것에 응답하여, 목적지 위치를 나타내는 목적지 뷰를 디스플레이하도록 현재 뷰의 디스플레이를 수정하는 단계를 추가로 포함하고, 목적지 뷰를 디스플레이하도록 현재 뷰의 디스플레이를 수정하는 단계는 사용자 인터페이스 요소를 확대하는 단계를 포함한다.

Description

컴퓨터 시뮬레이션된 현실 설정을 중심으로 한 이동
관련 출원들의 상호 참조
본 출원은, 2018년 5월 2일자로 출원되고 발명의 명칭이 "TELEPORTATION" 인 미국 특허 출원 제62/666,015호 및 2019년 4월 8일자로 출원되고 발명의 명칭이 "MOVING ABOUT A COMPUTER SIMULATED REALITY SETTING" 인 미국 특허 출원 제62/831,012호에 대한 우선권을 주장한다. 이들 출원들 각각의 내용은 이로써 그들 전체가 참고로 포함된다.
기술분야
본 개시내용은 컴퓨터 시뮬레이션된 현실에서 디바이스들 상의 디지털 콘텐츠의 디스플레이에 관한 것이다.
종래의 전자 디바이스들은 컴퓨터 시뮬레이션된 현실(CSR) 설정의 뷰를 디스플레이하는 스크린을 포함하고 사용자 입력을 수신하기 위한 입력 메커니즘들을 포함한다. 사용자 입력을 수신하는 것에 응답하여, CSR 설정의 디스플레이된 뷰가 변경된다. 전자 디바이스의 사용자에 의해 인지되는 바와 같이, 그러한 변경은 CSR 설정에 대한 이동을 표현할 수 있다.
본 개시내용은 CSR 설정을 중심으로 이동시키기 위한 기법들을 기술한다. CSR 애플리케이션들이 더 보편적이 됨에 따라, CSR 설정들을 중심으로 신속하게 그리고 효율적으로 이동시키기 위한 기법들이 필요하다. 예를 들어, 가상 현실 설정(예컨대, 집)에 몰입된 사용자는 설정의 상이한 부분 또는 완전히 상이한 가상 설정(예컨대, 수중 설정)으로 이동하기를 원할 수 있다. 이동 경험을 향상시키기 위해, 본 개시내용은 CSR 설정들의 위치들 사이에서 효율적인, 자연적인, 끊김없는, 및/또는 편안함-보존 이동을 허용하는 기법들을 제시한다. 이러한 방식으로, 개선된 CSR 경험이 사용자들에게 제공된다.
일부 실시예들에 따르면, CSR 설정의 현재 뷰가 디스플레이된다. 현재 뷰는 제1 결정된 방향에 대응하는 제1 관점으로부터 CSR 설정의 현재 위치를 나타낸다. 사용자 인터페이스 요소가 디스플레이된다. 사용자 인터페이스 요소는 현재 위치로부터 가시적이 아닌 목적지 위치를 나타낸다. 사용자 인터페이스 요소의 선택을 표현하는 입력을 수신하는 것에 응답하여, 현재 뷰의 디스플레이는 목적지 위치를 나타내는 목적지 뷰를 디스플레이하도록 수정된다. 일부 실시예들에서, 목적지 뷰를 디스플레이하기 위해 현재 뷰의 디스플레이를 수정하는 것은 사용자 인터페이스 요소를 확대하는 것을 포함한다.
일부 실시예들에 따르면, CSR 설정의 현재 뷰가 디스플레이된다. 현재 뷰는 제1 결정된 방향에 대응하는 제1 관점으로부터 CSR 설정의 현재 위치를 나타낸다. 사용자 인터페이스 요소가 디스플레이된다. 사용자 인터페이스 요소는 CSR 설정의 목적지 위치를 나타낸다. 목적지 위치는, 사용자 인터페이스 요소에 디스플레이될 때, 현재 뷰에서 현재 위치의 디스플레이에 대해 더 큰 스케일로 디스플레이된다. 사용자 인터페이스 요소의 선택을 표현하는 입력을 수신하는 것에 응답하여, 현재 뷰의 디스플레이는 CSR 설정의 목적지 뷰를 디스플레이하도록 수정되고, 목적지 뷰는 사용자 인터페이스 요소에서 디스플레이되는 목적지 위치를 나타낸다. 일부 실시예들에서, 목적지 위치는, 목적지 뷰에 디스플레이될 때, 사용자 인터페이스 요소에서 목적지 위치의 디스플레이와 동일한 스케일로 디스플레이된다.
도 1a 및 도 1b는 가상 현실 및 혼합 현실을 포함하는, 다양한 컴퓨터 시뮬레이션 현실 기술들에 사용하기 위한 예시적인 시스템들을 나타낸다.
도 2a 내지 도 2h는 사용자 인터페이스 요소의 선택을 표현하는 입력을 수신하는 것에 응답하여 CSR 설정의 뷰가 변화하는 방식을 보여주는 예시적인 도면들을 예시한다.
도 3a 및 도 3b는 CSR 설정의 예시적인 도면들을 예시한다.
도 4a 내지 도 4e는 CSR 설정의 예시적인 도면들을 예시한다.
도 5는 CSR 설정을 중심으로 이동시키기 위한 프로세스를 예시한다.
도 6은 CSR 설정을 중심으로 이동시키기 위한 프로세스를 예시한다.
다양한 시뮬레이션된 현실 기술들에 관하여 그러한 시스템들을 사용하기 위한 전자 시스템들 및 기법들의 다양한 예들이 기술된다.
물리적 설정은 사람들이 감지할 있고/있거나 사람들이 전자 시스템들의 보조 없이 상호작용할 수 있는 세계를 지칭한다. 물리적 설정들(예를 들어, 물리적 숲)은 물리적 구성요소들(예를 들어, 물리적 나무들, 물리적 구조물들, 및 물리적 동물들)을 포함한다. 사람들은, 예컨대 촉각, 시각, 후각, 청각, 및 미각을 통해, 물리적 설정과 직접 상호작용 및/또는 감지할 수 있다.
대조적으로, 시뮬레이션 현실(SR) 설정은 사람들이 감지할 수 있고/있거나 사람들이 전자 시스템을 통해 상호작용할 수 있는 전체적으로 또는 부분적으로 컴퓨터-생성된 설정을 지칭한다. SR에서, 사람의 움직임들의 서브세트가 모니터링되고, 그것에 응답하여, SR 설정에서의 하나 이상의 가상 객체들의 하나 이상의 속성들은 하나 이상의 물리 법칙을 따르는 방식으로 변경된다. 예를 들어, SR 시스템은 사람이 몇 걸음 앞으로 걷는 것을 검출하고, 이에 응답하여, 이러한 풍경과 소리가 물리적 설정에서 변하는 것과 유사한 방식으로 사람에게 제시되는 그래픽 및 오디오를 조정할 수 있다. SR 설정에서의 가상 객체(들)의 속성(들)에 대한 수정은 또한 이동의 표현들(예를 들어, 오디오 명령어들)에 응답하여 이루어질 수 있다.
사람은 촉각, 후각, 시각, 미각, 및 청각을 포함하는 자신의 감각들 중 임의의 하나를 이용하여 SR 객체와 상호작용하고/하거나 감지할 수 있다. 예를 들어, 사람은 다차원(예를 들어, 3차원) 또는 공간 청각적 설정을 생성, 및/또는 청각적 투명성을 가능하게 하는 청각 객체들과 상호작용하고/하거나 감지할 수 있다. 다차원 또는 공간 청각적 설정들은 사람에게 다차원 공간에서 개별적인 청각적 소스들에 대한 인식을 제공한다. 청각적 투명성은 물리적 설정으로부터의 소리를, 컴퓨터-생성 오디오와 함께 또는 그것 없이 선택적으로 포함한다. 일부 SR 설정들에서, 사람은 오직 청각적 객체들과 상호작용하고/하거나 감지할 수 있다.
SR의 일례는 가상 현실(VR)이다. VR 설정은 감각들 중 적어도 하나에 대한 컴퓨터-생성 감각 입력들만을 포함하도록 설계된 시뮬레이션 설정을 지칭한다. VR 설정은 사람이 상호작용 및/또는 감지할 수 있는 다수의 가상 객체들을 포함한다. 사람은 컴퓨터-생성 설정 내의 사람의 액션들의 서브세트의 시뮬레이션, 및/또는 컴퓨터-생성 설정 내의 사람 또는 그의 존재의 시뮬레이션을 통해 VR 설정 내의 가상 객체들과 상호작용 및/또는 감지할 수 있다.
SR의 다른 예는 혼합 현실(mixed reality, MR)이다. MR 설정은 컴퓨터-생성 감각 입력들(예를 들어, 가상 객체들)을 물리적 설정, 또는 그것들의 표현으로부터의 감각 입력들과 통합하도록 설계된 시뮬레이션 설정을 지칭한다. 현실 스펙트럼 상에서, 혼합 현실 설정은 한편으로 VR 설정과 다른 한편으로 전체 물리적 설정 사이에 존재하고, 이들을 포함하지 않는다.
일부 MR 설정들에서, 컴퓨터-생성 감각 입력들은 물리적 설정으로부터의 감각 입력들의 변화에 적응할 수 있다. 또한, MR 설정들을 표현하기 위한 일부 전자 시스템들은 가상 객체들과 실제 객체들(이들은 물리적 설정 또는 이들의 표현으로부터의 물리적 구성요소들임) 사이의 상호작용을 인에이블하기 위하여 물리적 설정에 대한 배향 및/또는 위치를 모니터링할 수 있다. 예를 들어, 시스템은 이동들을 모니터링하여 가상 식물이 물리적 빌딩에 대해 고정된 것처럼 보이도록 할 수 있다.
혼합 현실의 일례는 증강 현실(AR)이다. AR 설정은 적어도 하나의 가상 객체가 물리적 설정, 또는 그것들의 표현 위에 중첩되는 시뮬레이션 설정을 지칭한다. 예를 들어, 전자 시스템은 불투명 디스플레이, 및 물리적 설정의 표현들인, 물리적 설정의 이미지들 또는 비디오를 캡처하기 위한 적어도 하나의 이미지 센서를 가질 수 있다. 시스템은 이미지들 또는 비디오를 가상 객체들과 조합하고, 불투명 디스플레이 상에 그 조합을 디스플레이한다. 사람은, 시스템을 이용하여, 물리적 설정의 이미지들 또는 비디오를 통해 간접적으로 물리적 설정을 보고, 물리적 설정 위에 중첩된 가상 객체들을 관찰한다. 시스템이 이미지 센서(들)를 이용하여 물리적 설정의 이미지들을 캡처하고, 이러한 이미지들을 이용하여 불투명 디스플레이 상에 AR 설정을 제시할 때, 디스플레이되는 이미지들은 비디오 패스-스루(pass-through)라고 불린다. 대안적으로, AR 설정을 디스플레이하기 위한 전자 시스템은 사람이 물리적 설정을 직접 볼 수 있는 투명 또는 반투명 디스플레이를 가질 수 있다. 시스템은 가상 객체들을 투명 또는 반투명 디스플레이 상에 디스플레이하여, 사람이 시스템을 이용하여, 물리적 설정 상에 중첩된 가상 객체들을 관찰하게 할 수 있다. 다른 예에서, 시스템은 가상 객체들을 물리적 설정 내로 투사하는 투사 시스템을 포함할 수 있다. 가상 객체들은, 예를 들어, 물리적 표면 상에 또는 홀로그래프로서 투사되어, 사람이 시스템을 이용하여, 물리적 설정 상에 중첩된 가상 객체들을 관찰하게 할 수 있다.
증강 현실 설정은 또한 물리적 설정의 표현이 컴퓨터-생성 센서 정보에 의해 변경되는 시뮬레이션 설정을 지칭할 수 있다. 예를 들어, 물리적 설정의 표현의 일부분은 그래픽적으로 변경되어(예를 들어, 확대됨), 변경된 부분이 여전히 대표성은 있지만 원래 캡처된 이미지(들)의 충실하게 재현된 버전은 아닐 수 있다. 다른 예를 들어, 비디오 패스-스루를 제공함에 있어서, 시스템은 센서 이미지들 중 적어도 하나를 변경하여 이미지 센서(들)에 의해 캡처된 관점과 상이한 특정 관점을 부과할 수 있다. 추가적인 예로서, 물리적 설정의 표현은 그의 부분들을 그래픽적으로 모호하게 하거나 배제함으로써 변경될 수 있다.
혼합 현실의 다른 예는 증강 가상(augmented virtuality, AV)이다. AV 설정은 컴퓨터-생성 또는 가상 설정이 물리적 설정으로부터의 적어도 하나의 감각 입력을 포함시키는 시뮬레이션 설정을 지칭한다. 물리적 설정으로부터의 감각 입력(들)은 물리적 설정의 적어도 하나의 특성의 표현들일 수 있다. 예를 들어, 가상 객체는 이미지 센서(들)에 의해 캡처된 물리적 구성요소의 색상을 취할 수 있다. 다른 예에서, 가상 객체는 이미지, 날씨-관련 센서, 및/또는 온라인 날씨 데이터를 통해 식별되는 바와 같이, 물리적 설정의 실제 날씨 조건들에 일치하는 특성들을 나타낼 수 있다. 또 다른 예에서, 증강 현실 숲은 가상 나무들 및 구조물들을 가질 수 있지만, 동물들은 물리적 동물들의 촬영된 이미지들로부터 정확하게 재현되는 특징들을 가질 수 있다.
많은 전자 시스템들은 개인이 다양한 SR 설정들과 상호작용하고/하거나 이들을 감지할 수 있게 한다. 일례는 헤드 장착형 시스템들을 포함한다. 헤드 장착형 시스템은 불투명 디스플레이 및 스피커(들)를 가질 수 있다. 대안적으로, 헤드 장착형 시스템은 외부 디스플레이(예를 들어, 스마트폰)를 수용하도록 설계될 수 있다. 헤드 장착형 시스템은 각각 이미지들/비디오를 촬영하고/하거나 물리적 설정의 오디오를 캡처하기 위한 이미징 센서(들) 및/또는 마이크로폰들을 가질 수 있다. 헤드 장착형 시스템은 또한 투명 또는 반투명 디스플레이를 가질 수 있다. 투명 또는 반투명 디스플레이는 이미지들을 표현하는 광이 그를 통해 사람의 눈으로 지향되는 기판을 포함할 수 있다. 디스플레이는 LED, OLED, 디지털 광 프로젝터, 레이저 스캐닝 광원, 실리콘 액정표시장치, 또는 이 기술들의 임의의 조합을 포함할 수 있다. 광이 통과해서 전송될 수 있는 기판은 도광체, 광학 조합기, 광학 반사기, 홀로그래픽 기판, 또는 이 기판들의 임의의 조합일 수 있다. 일례에서, 투명 또는 반투명 디스플레이는 불투명 상태와 투명 또는 반투명 상태 사이에서 선택적으로 전이될 수 있다. 다른 예에서, 전자 시스템은 투사-기반 시스템일 수 있다. 투사-기반 시스템은 이미지들을 개인의 망막 상으로 투사하기 위해 망막 투사를 사용할 수 있다. 대안적으로, 투사 시스템은 또한 가상 객체들을 물리적 설정 안에(예를 들어, 물리적 표면 상에 또는 홀로그래프로서) 투사할 수 있다. SR 시스템들의 다른 예들은 헤드 업 디스플레이들, 그래픽들을 디스플레이하는 능력을 갖는 자동차 앞유리들, 그래픽들을 디스플레이하는 능력을 갖는 창들, 그래픽들을 디스플레이하는 능력을 갖는 렌즈들, 헤드폰들 또는 이어폰들, 스피커 배열들, 입력 메커니즘들(예를 들어, 햅틱 피드백을 갖거나 갖지 않는 제어기들), 태블릿들, 스마트폰들, 및 데스크톱 또는 랩톱 컴퓨터들을 포함한다.
도 1a 및 도 1b는 다양한 시뮬레이션 현실 기술들에 사용하기 위한 예시적인 시스템(100)을 나타낸다.
일부 예들에서, 도 1a에 예시된 바와 같이, 시스템(100)은 디바이스(100a)를 포함한다. 디바이스(100a)는 다양한 컴포넌트들, 예컨대, 프로세서(들)(102), RF 회로부(들)(104), 메모리(들)(106), 이미지 센서(들)(108), 배향 센서(들)(110), 마이크로폰(들)(112), 위치 센서(들)(116), 스피커(들)(118), 디스플레이(들)(120), 및 터치-감응형 표면(들)(122)을 포함한다. 이러한 컴포넌트들은 옵션적으로 디바이스(100a)의 통신 버스(들)(150)를 통해 통신한다.
일부 예들에서, 시스템(100)의 구성요소들이 기지국 디바이스(예컨대, 원격 서버, 모바일 디바이스, 또는 랩톱과 같은 컴퓨팅 디바이스)에서 구현되고, 시스템(100)의 기타 구성요소들이 제2 디바이스(예컨대, 헤드 장착형 디바이스)에서 구현된다. 일부 예들에서, 디바이스(100a)는 기지국 디바이스 또는 제2 디바이스에서 구현된다.
도 1b에 예시된 바와 같이, 일부 예들에서, 시스템(100)은, 예컨대, 유선 연결 또는 무선 연결을 통해 통신하는 2 개의(또는 그 이상의) 디바이스들을 포함한다. 제1 디바이스(100b)(예컨대, 기지국 디바이스)는 프로세서(들)(102), RF 회로부(들)(104), 및 메모리(들)(106)를 포함한다. 이러한 컴포넌트들은 옵션적으로 디바이스(100b)의 통신 버스(들)(150)를 통해 통신한다. 제2 디바이스(100c)(예컨대, 헤드 장착형 디바이스)는 다양한 컴포넌트들, 예컨대, 프로세서(들)(102), RF 회로부(들)(104), 메모리(들)(106), 이미지 센서(들)(108), 배향 센서(들)(110), 마이크로폰(들)(112), 위치 센서(들)(116), 스피커(들)(118), 디스플레이(들)(120), 및 터치-감응형 표면(들)(122)을 포함한다. 이러한 컴포넌트들은 옵션적으로 디바이스(100c)의 통신 버스(들)(150)를 통해 통신한다.
시스템(100)은 프로세서(들)(102) 및 메모리(들)(106)를 포함한다. 프로세서(들)(102)는 하나 이상의 일반 프로세서들, 하나 이상의 그래픽 프로세서들, 및/또는 하나 이상의 디지털 신호 프로세서들을 포함한다. 일부 예들에서, 메모리(들)(106)는 아래에 기재된 기술들을 수행하기 위하여 프로세서(들)(102)에 의해 실행되도록 구성된 컴퓨터-판독가능 명령어들을 저장하는 하나 이상의 비일시적 컴퓨터-판독가능 저장 매체들(예컨대, 플래시 메모리, 랜덤 액세스 메모리)이다.
시스템(100)은 RF 회로부(들)(104)를 포함한다. RF 회로부(들)(104)는 옵션적으로 전자 디바이스들과 통신하기 위한 회로부, 인터넷, 인트라넷과 같은 네트워크들, 및/또는 셀룰러 네트워크들 및 무선 로컬 영역 네트워크들(LAN)과 같은 무선 네트워크를 포함한다. RF 회로부(들)(104)는 옵션적으로 블루투스®와 같은 근거리 통신 및/또는 단거리 통신을 이용하여 통신하기 위한 회로부를 포함한다.
시스템(100)은 디스플레이(들)(120)를 포함한다. 디스플레이(들)(120)는 불투명 디스플레이를 가질 수 있다. 디스플레이(들)(120)는 이미지들을 표현하는 광이 그를 통해 사람의 눈으로 지향되는 기판을 포함할 수 있는 투명 또는 반투명 디스플레이를 가질 수 있다. 디스플레이(들)(120)는 LED, OLED, 디지털 광 프로젝터, 레이저 스캐닝 광원, 실리콘 액정표시장치, 또는 이 기술들의 임의의 조합을 포함할 수 있다. 광이 통과해서 전송될 수 있는 기판은 도광체, 광학 조합기, 광학 반사기, 홀로그래픽 기판, 또는 이 기판들의 임의의 조합일 수 있다. 일례에서, 투명 또는 반투명 디스플레이는 불투명 상태와 투명 또는 반투명 상태 사이에서 선택적으로 전이될 수 있다. 디스플레이(들)(120)의 다른 예들은 헤드업 디스플레이, 그래픽을 디스플레이할 수 있는 자동차 앞유리, 그래픽을 디스플레이할 수 있는 창, 그래픽을 디스플레이할 수 있는 렌즈, 태블릿, 스마트폰, 및 데스크톱 또는 랩톱 컴퓨터를 포함한다. 대안적으로, 시스템(100)은 외부 디스플레이(예컨대, 스마트폰)를 수용하도록 설계될 수 있다. 일부 예들에서, 시스템(100)은 망막 투사를 이용하여 이미지들을 사람의 망막 상에 투사하거나 또는 가상 객체들을 물리적 설정 안에(예컨대, 물리적 표면 상에 또는 홀로그래프로서) 투사하는 투사-기반 시스템이다.
일부 예들에서, 시스템(100)은 탭 입력 및 스와이프 입력과 같은 사용자 입력들을 수신하기 위한 터치-감응형 표면(들)(122)을 포함한다. 일부 예들에서, 디스플레이(들)(120) 및 터치-감응형 표면(들)(122)은 터치-감응형 디스플레이(들)를 형성한다.
시스템(100)은 이미지 센서(들)(108)를 포함한다. 이미지 센서(들)(108)는 옵션적으로 물리적 설정으로부터의 물리적 구성요소들의 이미지들을 획득하도록 동작가능한 전하 결합 소자(CCD) 센서들, 및/또는 상보성 금속-산화물-반도체(CMOS) 센서들과 같은 하나 이상의 가시광 이미지 센서를 포함한다. 이미지 센서(들)는 또한 옵션적으로 물리적 설정으로부터 적외선 광을 검출하기 위한 수동형 IR 센서 또는 능동형 IR 센서와 같은 하나 이상의 적외선(IR) 센서(들)를 포함한다. 예를 들어, 능동형 IR 센서는 적외선 광을 물리적 설정으로 방출하기 위한 IR 도트 방출기와 같은 IR 방출기를 포함한다. 이미지 센서(들)(108)는 또한 옵션적으로 물리적 설정에서 물리적 구성요소들의 움직임을 캡처하도록 구성된 하나 이상의 이벤트 카메라(들)를 포함한다. 이미지 센서(들)(108)는 또한 옵션적으로 시스템(100)으로부터 물리적 구성요소들의 거리를 검출하도록 구성된 하나 이상의 깊이 센서(들)를 포함한다. 일부 예들에서, 시스템(100)은 CCD 센서, 이벤트 카메라, 및 깊이 센서를 조합하여 사용하여 시스템(100) 주위의 물리적 설정을 검출한다. 일부 예들에서, 이미지 센서(들)(108)는 제1 이미지 센서 및 제2 이미지 센서를 포함한다. 제1 이미지 센서 및 제2 이미지 센서는 옵션적으로 2 개의 별개의 시야로부터 물리적 설정에서의 물리적 구성요소들의 이미지들을 캡처하도록 구성된다. 일부 예들에서, 시스템(100)은 이미지 센서(들)(108)를 사용하여 손 제스처들과 같은 사용자 입력들을 수신한다. 일부 예들에서, 시스템(100)은 이미지 센서(들)(108)를 사용하여 물리적 설정에서의 시스템(100) 및/또는 디스플레이(들)(120)의 위치 및 배향을 검출한다. 예를 들어, 시스템(100)은 이미지 센서(들)(108)를 사용하여 물리적 설정에서의 하나 이상의 고정된 구성요소들에 대한 디스플레이(들)(120)의 위치 및 배향을 추적한다.
일부 예들에서, 시스템(100)은 마이크로폰(들)(112)을 포함한다. 시스템(100)은 마이크로폰(들)(112)을 사용하여 사용자 및/또는 사용자의 물리적 설정으로부터의 소리를 검출한다. 일부 예들에서, 마이크로폰(들)(112)은, 예컨대, 주변 소음을 식별하거나 또는 물리적 설정의 공간에서 음원을 위치파악하기 위하여 옵션적으로 나란히 동작하는 마이크로폰들의 어레이(복수의 마이크로폰들을 포함)를 포함한다.
시스템(100)은 시스템(100) 및/또는 디스플레이(들)(120)의 배향 및/또는 이동을 검출하기 위하여 배향 센서(들)(110)를 포함한다. 예를 들어, 시스템(100)은 배향 센서(들)(110)를 사용하여, 예컨대, 물리적 설정에서의 물리적 구성요소들에 대한 시스템(100) 및/또는 디스플레이(들)(120)의 위치 및/또는 배향의 변화를 추적한다. 배향 센서(들)(110)는 옵션적으로 하나 이상의 자이로스코프들 및/또는 하나 이상의 가속도계들을 포함한다.
이제 도 2a 내지 도 2h 및 도 3a 및 도 3b를 참조하여, 컴퓨터 시뮬레이션된 현실(CSR) 설정을 중심으로 이동시키기 위한 예시적인 기법들이 기술된다.
도 2a는 사용자와 연관된 디바이스(200) 상에 디스플레이된 CSR 설정(예컨대, 집)의 현재 뷰(202)(예컨대, 시야)를 예시한다. 일부 실시예들에서, 디바이스(200)는 전술된 디바이스(100a, 100b, 또는 100c)와 동일하거나 유사하다. 사용자는 CSR 설정에 존재하는 것으로 간주되며, 따라서 CSR 설정의 뷰(202)가 제공된다. 뷰(202)는 사용자 인터페이스 요소(204)를 포함한다. 사용자 인터페이스 요소(204)는 목적지 뷰(206)(예컨대, 임베디드 뷰)를 나타낸다.
일부 실시예들에서, 사용자는 아바타와 연관된다. 아바타는 CSR 설정에서 사용자의 존재를 표현할 수 있는 가상 객체이다. 따라서, 일부 실시예들에서, CSR 설정의 사용자의 뷰는 사용자와 연관된 아바타의 뷰일 수 있다. 예를 들어, 뷰(202)는 사용자와 연관된 아바타의 뷰일 수 있다.
일부 실시예들에서, CSR 설정의 하나 이상의 뷰들은 CSR 설정의 각자의 위치를 나타낸다. 예를 들어, 도 2a에 도시된 바와 같이, 뷰(202)는 사용자가 위치되는 CSR 설정에서의 현재 위치(예컨대, 의자(214)를 갖는 집의 거실 내의 위치)를 나타내고, CSR 설정의 목적지 뷰(206)는 CSR 설정에서 목적지 위치(예컨대, 집의 백야드의 위치)를 나타낸다. 현재 위치(예컨대, 거실 위치) 및 목적지 위치(예컨대, 백야드 위치)가 동일한 CSR 설정 내의 2개의 위치들로서 기술되지만, 일부 실시예들에서, 현재 위치 및 목적지 위치는 상이한 CSR 설정들에서의 각자의 위치들이다. 다시 말하면, 일부 실시예들에서, 집의 거실은 집의 백야드와는 상이한 CSR 설정과 연관된다.
일부 실시예들에서, 사용자 인터페이스 요소(204)는 CSR 설정의 현재 위치로부터 가시적이 아닌 CSR 설정의 목적지 위치(예컨대, 부재 사용자 인터페이스 요소(204)가 가시적이 아님)를 나타낸다. 예를 들어, 사용자 인터페이스 요소(204)가 없는 경우, 뷰(206)에 의해 나타낸 집의 백야드의 목적지 위치는 뷰(202)에 의해 나타낸 현재 위치로부터 가시적이 아닐 것이다.
일부 실시예들에서, CSR 설정의 각각의 뷰는 각자의 관점으로부터 CSR 설정의 위치를 나타낸다. 예를 들어, 뷰(202)는 제1 관점으로부터의 현재 위치를 나타내고, 뷰(206)는 제2 관점으로부터 목적지 위치를 나타낸다.
일부 실시예들에서, 각각의 관점은 각자의 결정된 방향에 대응한다. 결정된 방향은 사용자의 시야와 연관된 방향을 표현한다. 일부 실시예들에서, 사용자의 시야와 연관된 방향은 사용자의 포즈(예컨대, 디바이스(200)를 사용하여 결정된 사용자의 머리의 위치 및 배향)에 기초하여 결정된다. 일부 실시예들에서, 디바이스(200)에 의해 결정된 위치들 및 배향들은, 예를 들어 디바이스(200)의 하나 이상의 센서들(예컨대, 카메라)에 의해 결정되는 바와 같이, 물리적 설정에서의 객체에 대해 결정된다. 일부 실시예들에서, 위치들 및 배향들은, 예를 들어 디바이스(200)의 하나 이상의 센서들(예컨대, 가속도계, 카메라)에 의해 결정되는 바와 같이, 디바이스(200)의 이동에 기초하여 결정된다. 일부 실시예들에서, 사용자의 시야와 연관된 방향은 추가적으로 또는 대안적으로 (예컨대, 디바이스(200)를 사용하여 결정된) 사용자의 시선 방향에 기초하여 결정된다.
일부 실시예들에서, 시선 방향은 머리-대면 센서를 사용하여 획득된 눈 시선 데이터를 사용하여 결정된다. 특히, 일부 실시예들에서, 디바이스(200)는 헤드 장착형 디스플레이를 포함하고, 디바이스(200)의 사용자를 향해 지향되는 머리-대면 센서를 포함하고, 디바이스(200)는 머리-대면 센서를 사용하여 눈 시선 데이터를 획득한다. 디바이스(200)는 사용자의 시선 방향 및/또는 시선 깊이(예를 들어, 결정된 시선 방향과 연관된 시선 깊이)를 결정하기 위해 눈 시선 데이터를 사용한다. 일부 실시예들에서, 눈 시선 데이터를 사용하여 사용자의 시선 방향 및/또는 시선 깊이를 결정하는 것은 눈 시선 데이터로부터 사용자의 동공 및/또는 각막 위치 및/또는 사용자의 눈의 회전을 결정하는 것을 포함한다. 당업자는 눈 시선 데이터를 사용하여 사용자의 시선 방향 및/또는 시선 깊이를 결정하기 위한 임의의 적합한 기법이 이용될 수 있다는 것을 인식할 것이다.
일부 실시예들에서, 각각의 뷰는 결정된 방향에 대응하는 각자의 관점으로부터 CSR 설정의 각자의 위치를 나타낸다. 예를 들어, 뷰(202)는 제1 결정된 방향에 대응하는 제1 관점으로부터 현재 위치를 나타낸다. 뷰(206)는 제2 결정된 방향에 대응하는 제2 관점(예컨대, 제1 결정된 방향과 동일하거나 상이함)으로부터의 목적지 위치를 나타낸다. 따라서, 뷰(206)는 사용자가 목적지 위치에 위치된 경우 사용자의 관점의 일부분을 표현한다.
일부 실시예들에서, 디바이스(200)는 각자의 CSR 위치들을 나타내는 뷰들을 결정 및 디스플레이하기 위해 결정된 방향 및 CSR 위치를 사용하도록 구성된다. 예를 들어, CSR 설정의 제1 방향 및 현재 위치를 사용하여, 디바이스(200)는 제1 방향에 대응하는 제1 관점으로부터 거실 위치를 나타내는 현재 뷰(202)를 결정한다. 일부 실시예들에서, 결정된 방향 및 목적지 위치(예컨대, 백야드 위치)를 사용하여, 디바이스(200)는 백야드 위치를 나타내는 뷰(206)를 결정한다.
일부 실시예들에서, 사용자 인터페이스 요소(204)는 CSR 설정(또는 다른 CSR 설정) 내의 목적지 위치에 대한 포털로서 이용될 수 있다. 따라서, 사용자 인터페이스 요소는 뷰에 의해 나타낸 목적지 위치로 사용자를 전송하는 데 사용될 수 있다. 예로서, 사용자는 사용자 인터페이스 요소(204)와 상호작용하여 뷰(202)에 의해 나타낸 거실 위치로부터 뷰(206)에 의해 도시된 백야드 위치로 사용자를 텔레포트할 수 있다. 일부 실시예들에서, CSR 설정의 위치들 사이에서 사용자를 텔레포트하는 것은 위치들 사이에서 사용자와 연관된 아바타를 텔레포트하는 것을 포함한다.
일부 실시예들에서, 사용자 인터페이스 요소에 의해 나타낸 뷰는 목적지 위치의 라이브 프리뷰를 포함하여, 사용자가 실시간으로 목적지 위치를 볼 수 있게 한다. 뷰는, 예를 들어, 목적지 위치에 위치된 하나 이상의 가상 객체들의 이동(예컨대, 뷰(206) 내의 꽃(208)이 바람에 날리는 것)을 보여줄 수 있다.
도 2a에 도시된 바와 같이, 일부 실시예들에서, 사용자 인터페이스 요소(204)는 구형(예컨대, 버블)이다. 그러나, 다른 실시예들에서, 사용자 인터페이스 요소(204)는 임의의 2차원 또는 3차원 형상(예컨대, 입방체, 디스크, 다각형, 다면체 등)일 수 있다는 것이 이해되어야 한다. 일부 실시예들에서, 사용자 인터페이스 요소(204)의 경계 및/또는 사용자 인터페이스 요소에 디스플레이된 뷰는, 사용자 인터페이스 요소(204)가 3차원적으로 보이고/보이거나 더 쉽게 인지가능하도록 루스터(luster)를 갖고/갖거나 홀로그래픽이다.
도 2b 내지 도 2h는 뷰(예컨대, 뷰의 디스플레이)가 수정될 수 있는 다양한 방식들을 도시한다. 뷰는, 예를 들어, 뷰를 축소시키고, 뷰를 확대하고, 뷰를 이동시키고, 그리고/또는 뷰를 다른 뷰로 대체함으로써 수정될 수 있다. 일부 실시예들에서, 뷰의 대체는, 예를 들어, 디바이스의 사용자에 의해 인지되는 바와 같이, CSR 설정의 2개의 위치들 사이에서 사용자의 텔레포테이션을 구성한다.
일부 예들에서, 뷰를 수정하는 것은 뷰와 연관된 사용자 인터페이스 요소를 수정하는 것을 포함한다. 예로서, 사용자 인터페이스 요소를 확대, 축소, 또는 이동(예컨대, 변위)시키는 것은 이어서 사용자 인터페이스 요소에 의해 나타낸 뷰를 대응하는 방식으로 각각 확대, 축소, 또는 이동시킬 수 있다.
일부 실시예들에서, 뷰는, 예를 들어 사용자로부터 수신된 사용자 인터페이스 요소의 선택을 표현하는 입력에 응답하여 수정된다. 그러한 입력을 제공함으로써, 사용자는 CSR 설정을 탐색하기 위해 사용자 인터페이스 요소와 상호작용할 수 있다. 일부 실시예들에서, 입력은 손 제스처 입력, 주변 디바이스 입력(예컨대, 키보드 입력, 마우스 입력), 음성 입력, 시선 입력, 모션 입력(예컨대, 하나 이상의 가속도계들에 의해 검출된 바와 같음), 또는 이들의 임의의 조합이다. 일부 실시예들에서, 디바이스(200)의 디스플레이는 터치 감응형이고, 입력은 터치 입력이다. 일부 실시예들에서, 입력은 디바이스(200)를 향한 그리고/또는 그로부터 멀어지는 객체(예컨대, 사용자 손, 외부 전자 디바이스)의 이동을 표현하고, 디바이스(200)는 입력이 그러한 이동을 표현한다고 결정한다. 일부 실시예들에서, 디바이스(200)는 그러한 이동의 크기(예컨대, 거리, 속도, 가속도)를 결정한다.
일부 실시예들에서, 뷰의 크기가 증가될 수 있다. 예를 들어, 도 2a 및 도 2b를 참조하면, 사용자 인터페이스 요소(204)는, 예를 들어 사용자 인터페이스 요소(204)가 크기에서 증가되어야 한다는 요청을 나타내는 사용자 입력에 응답하여 확대될 수 있다. 일부 실시예들에서, 사용자 인터페이스 요소(204)는 디바이스(200)를 향한 객체의 이동의 크기에 따라 비례적으로 확대된다. 예를 들어, 디바이스(200)를 향한 비교적 짧은 거리의 객체의 이동은 사용자 인터페이스 요소(204)(도 2b)의 비교적 작은 확대를 야기할 수 있는 반면, 디바이스(200)를 향한 비교적 큰 거리의 객체의 이동은 사용자 인터페이스 요소(204)의 비교적 큰 확대를 야기할 수 있다(도 2f).
사용자 인터페이스 요소(204)를 확대하는 동안, 뷰(206)가 또한 확대될 수 있다(예컨대, 비례적으로 확대됨). 사용자 인터페이스 요소들 및 뷰들의 크기들은, 적어도 일부 예들에서, 사용자 인터페이스 요소들 및 뷰들의 디스플레이된 크기를 지칭하는 것으로 인식될 것이다. 따라서, 더 큰 사용자 인터페이스 요소를 제공함으로써, 다른 CSR 위치(예컨대, 목적지 위치)의 더 큰 뷰가 사용자에게 제공된다. 일부 실시예들에서, 사용자 인터페이스 요소를 확대하는 것은 뷰의 디스플레이를 확대하지만, 뷰를 변경하지 않는다. 오히려, 확대된 사용자 인터페이스 요소에 뷰의 더 큰 부분이 디스플레이된다. 예를 들어, 도 2b에 도시된 바와 같이, 목적지 뷰(206)는 확대된 사용자 인터페이스 요소(204)에 디스플레이된다. 도 2b의 뷰(206)는 도 2a에 도시된 뷰(206)의 적어도 일부분을 포함한다. 특히, 뷰(206)는 이제 꽃(208)을 포함하고, 추가적으로 고양이(210)를 포함한다(이전에 도 2a의 뷰(206)에는 아님).
일부 실시예들에서, 뷰의 크기가 감소될 수 있다. 예를 들어, 도 2b 및 도 2c를 참조하면, 도 2b의 사용자 인터페이스 요소(204)는, 예를 들어 사용자 인터페이스 요소(204)가 크기에서 감소되어야 한다는 요청을 나타내는 사용자 입력에 응답하여 축소될 수 있다. 일부 실시예들에서, 사용자 인터페이스 요소(204)는 디바이스(200)로부터 멀어지는 객체의 이동의 크기에 따라 비례적으로 축소된다. 따라서, 더 작은 사용자 인터페이스 요소를 제공함으로써, 다른 CSR 위치의 더 작은 뷰가 사용자에게 제공된다. 일부 실시예들에서, 사용자 인터페이스 요소를 축소하는 것은 뷰의 디스플레이를 축소하지만, 뷰를 변경하지 않는다. 오히려, 축소된 사용자 인터페이스 요소에 뷰의 더 작은 부분이 디스플레이될 수 있다. 예를 들어, 도 2c에서, 뷰(206)는 축소된 사용자 인터페이스 요소(204)에 디스플레이된다. 도 2c의 뷰(206)는 도 2b의 뷰(206)의 적어도 일부분을 포함한다. 특히, 뷰(206)는 꽃(208)을 포함한다.
일부 실시예들에서, 뷰의 디스플레이를 수정하는 것은 방향을 결정하는 것을 포함한다. 예를 들어, 제2 방향(예컨대, 좌측으로 이동되는 방향)이 디바이스(200)에 의해 결정된다. 사용자 인터페이스 요소(204)의 디스플레이는 제2 방향으로부터 결정된 제2 관점으로부터 목적지 위치를 나타내도록 수정된다. 일부 실시예들에서, 제2 관점은 현재 관점(예컨대, 도 2a 및 도 2b의 뷰(202)의 제1 관점)과는 상이하다. 예를 들어, 도 2b 및 도 2d에 도시된 바와 같이, 도 2b의 사용자 인터페이스 요소(204)의 디스플레이는 도 2d의 뷰(206) 내의 제2 관점(예컨대, 좌측으로 이동되는 방향에 대응함)으로부터 백야드 위치를 나타내도록 수정된다.
일부 실시예들에서, 목적지 위치가 제2 관점으로부터 (예컨대, 사용자 인터페이스 요소(204)에) 나타나는 동안, 현재 위치를 나타내는 현재 뷰는 제1 관점으로부터 계속 디스플레이된다. 예를 들어, 백야드 위치가 제2 관점(예컨대, 도 2d의 뷰(206))으로부터 나타나는 동안, 거실 위치의 현재 뷰는 제1 관점으로부터 계속 디스플레이된다(예컨대, 도 2b의 뷰(202)).
일부 실시예들에서, 사용자 인터페이스 요소(204)의 디스플레이를 수정하여 제2 관점으로부터 목적지 위치를 나타내는 동안, 현재 뷰가 수정된다. 예를 들어, 현재 뷰는 (예컨대, 제2 방향을 사용하여 결정된) 제3 관점으로부터 현재 위치를 나타내도록 수정된다. 예를 들어, 도 2b 및 도 2d를 참조하면, 사용자 인터페이스 요소(204)의 디스플레이가 도 2b로부터 도 2d로 수정되고 있는 동안, 뷰(202)는 도 2b로부터 도 2d로 수정된다(제3 관점으로부터 거실 위치를 나타냄).
일부 실시예들에서, 사용자 인터페이스 요소의 위치(예컨대, 디바이스(202)의 디스플레이 상의 위치)가 일정하게 유지되는 동안, 하나 이상의 뷰들은 수정된다. 구체적으로, 일부 실시예들에서, 사용자 인터페이스 요소(204)는 전자 디바이스(200)의 복수의 픽셀들을 사용하여 디스플레이된다. 예를 들어, 제1 관점으로부터 현재 위치를 나타내는 도 2b의 사용자 인터페이스 요소(204)가 복수의 픽셀들을 사용하여 디스플레이된다. 현재 뷰(예컨대, 도 2b의 뷰(202))가 제3 관점으로부터 현재 위치를 나타내도록 수정되는 동안(예컨대, 도 2d의 뷰(202)로 수정되는 동안), 사용자 인터페이스 요소(204)는 복수의 픽셀들을 사용하여 계속 디스플레이된다. 예를 들어, 도 2b 및 도 2d에 도시된 바와 같이, 사용자 인터페이스 요소(204)의 위치는 변경되지 않는다.
일부 예들에서, 사용자 인터페이스 요소의 현재 뷰 및 콘텐츠(예컨대, 디스플레이된 콘텐츠) 둘 모두가 결정된 방향에 기초하여 패닝된다(panned). 일부 예들에서, 그러한 패닝은 사용자 인터페이스 요소의 디스플레이를 수정(예컨대, 확대)하는 동안 발생한다. 예를 들어, 도 2a 및 도 2d에 도시된 바와 같이, 디바이스(200)는 도 2d의 뷰들(202, 206)에 대응하는 제2 방향을 결정한다. 도 2a의 현재 뷰(202)가 도 2d의 뷰(202)를 디스플레이하도록 수정되는 동안(예컨대, 사용자 인터페이스 요소(204)를 확대하는 것을 포함함), 도 2a의 현재 뷰(202) 및 사용자 인터페이스 요소(204)의 콘텐츠 둘 모두는 도 2d의 뷰들(202, 206)을 디스플레이하기 위한 결정된 방향에 기초하여 패닝된다. 이러한 방식으로, 사용자 인터페이스 요소의 현재 뷰 및 콘텐츠는 변화하는 방향과 일관되게 수정(예컨대, 동시 수정)될 수 있다. 그러한 수정은 CSR 설정들을 탐색할 때 사용자 편안함을 개선할 수 있다.
일부 실시예들에서, 사용자 인터페이스 요소들은 CSR 설정에서 변위될 수 있다(예를 들어, 이동할 수 있음). 사용자 인터페이스 요소들의 변위는 사용자 인터페이스 요소가 디스플레이되는 뷰에 대한 사용자 인터페이스 요소의 디스플레이의 변위를 지칭한다는 것이 인식될 것이다. 따라서, 일부 실시예들에서, 사용자 인터페이스 요소는 변위될 수 있지만, 디스플레이 상의 동일한 또는 상이한 위치에 유지될 수 있다(예를 들어, 동일하거나 상이한 복수의 픽셀들을 사용하여 디스플레이됨). 예를 들어, 도 2c 및 도 2d를 참조하면, 사용자 인터페이스 요소(204)는, 예를 들어 사용자 인터페이스 요소가 좌측으로 이동하라는 요청을 나타내는 사용자 입력에 응답하여 좌측으로 이동될 수 있다. 이동된 사용자 인터페이스 요소(204)는 제2 방향을 사용하여 결정된 제2 관점으로부터 목적지 위치(예컨대, 도 2d의 뷰(206))를 나타낸다. 따라서, 사용자 인터페이스 요소를 이동시킴으로써, 사용자는 목적지 위치를 둘러볼 수 있다(예컨대, 뷰(206)에 의해 나타낸 제2 백야드 위치의 상이한 부분들을 뷰잉함). 일부 실시예들에서, 사용자 인터페이스 요소를 변위시키는 것은 뷰를 변경하지 않는다. 오히려, 변위된 사용자 인터페이스 요소에 뷰의 상이한 부분이 디스플레이될 수 있다. 예를 들어, 도 2d에 도시된 바와 같이, 좌측 이동된 사용자 인터페이스 요소(204)는 목적지 백야드 위치를 나타내는 뷰(206)를 디스플레이한다. 뷰(206)는 고양이(210)의 좌측에 나무(212)를 포함한다. 뷰(206)는 변위의 결과로서 꽃(208) 또는 고양이(210)를 포함하지 않는다.
논의된 바와 같이, 일부 실시예들에서, 사용자 인터페이스 요소의 변위는 사용자 인터페이스 요소가 이전에 디스플레이되었던 뷰의 동시 변위를 야기한다. 일부 실시예들에서, 이는 사용자의 방향(예컨대, 사용자의 시야를 나타냄)이 이동된 사용자 인터페이스 요소를 따르고, 따라서 사용자 인터페이스 요소가 이전에 디스플레이되었던 뷰가 이동 방향에 대응하도록 수정되기 때문이다. 다른 실시예들에서, 이는 사용자 인터페이스 요소가 사용자의 이동 방향을 따르고(예컨대, 사용자가 사용자 인터페이스 요소가 이동하도록 요청하는 입력을 제공함), 따라서 사용자 인터페이스 요소가 이전에 디스플레이되었던 뷰가 이동 방향에 대응하도록 유사하게 수정되기 때문이다. 예를 들어, 도 2c 및 도 2d에 도시된 바와 같이, 뷰(202)는 좌측으로 이동된 사용자 인터페이스 요소(204)에 대응하는 좌측 이동 방향에 대응하도록 수정된다. 예를 들어, 도 2d의 뷰(202)는 의자(214) 전체를 포함하는 반면, 도 2c의 뷰(202)는 의자(214)의 일부분만을 포함한다.
도 2d에서, 사용자가 도 2c에서 뷰(202)에 의해 나타낸 위치로부터 이동하지 않았음이 이해되어야 한다. 오히려, 논의된 바와 같이, 사용자의 방향이 변화하였고(예컨대, 사용자가 자신의 머리를 돌리고/돌거나 자신의 눈을 이동시켰음), 따라서 뷰들(202, 206)은 도 2d에서의 이동 방향에 대응하도록 수정된다. 그러나, 일부 실시예들에서, 사용자는 CSR 설정 내에서 이동하고, 사용자 인터페이스 요소에 나타난 현재 뷰 및 목적지 뷰는 대응하는 방식으로 동시에 수정된다. 예를 들어, 사용자가 뷰(202)에 의해 나타난 현재 위치로부터 전방으로 이동하는 경우, 의자(214) 및 나무(212)가 사용자에게 더 가깝게 보이도록 뷰들(202, 206)이 수정된다.
기술된 바와 같이, 사용자 인터페이스 요소의 이동을 제공하는 것은 현재 위치의 사용자가 목적지 위치에서 둘러볼 수 있게 한다. 특히, 사용자 인터페이스 요소(204)가 이동함에 따라, 이동된 사용자 인터페이스 요소(204)에 대응하는 이동 방향이 결정되고, 사용자 인터페이스 요소(204)에 의해 디스플레이되는 목적지 뷰(206)는 이동 방향에 대응하도록 업데이트된다. 일부 실시예들에서, 사용자 인터페이스 요소가 이전에 디스플레이되었던 뷰(예컨대, 이동되기 전에 사용자 인터페이스 요소(204)를 포함하는 현재 뷰(202))는 이동 방향에 대응하도록 동시에 수정된다. 따라서, 사용자가 둘러볼 때, 목적지 위치를 나타내는 사용자 인터페이스 요소의 현재 뷰 및 콘텐츠는 사용자의 변경 방향에 따라 동기화된다(예컨대, 패닝됨)(도 2c 및 도 2d). 이는 CSR 설정들을 탐색하기 위한 끊김없고 자연적인 사용자 인터페이스를 생성할 수 있다.
일부 실시예들에서, 현재 뷰가 목적지 뷰로 대체된다. 일부 실시예들에서, 디바이스(200)를 향한 객체의 이동이 임계 거리를 초과한다고 디바이스(200)가 결정하는 것에 응답하여 현재 뷰가 목적지 뷰로 대체된다. 일부 실시예들에서, 목적지 뷰는 현재 뷰에서 사용자 인터페이스 요소에 의해 나타난 목적지 뷰의 일부분을 포함한다. 예를 들어, 도 2e 내지 도 2h를 참조하면, 현재 뷰(202)는 목적지 뷰(206)로 대체될 수 있다. 도시된 바와 같이, 그러한 교체는 CSR 설정에서 현재 위치와 목적지 위치 사이에서 사용자를 텔레포트한다.
일부 실시예들에서, 텔레포테이션은 점진적으로 발생한다. 예를 들어, 도 2e 내지 도 2h에 도시된 바와 같이, 사용자 인터페이스 요소(204)는 뷰(206)가 뷰(202)를 대체할 때까지 확대된다. 도 2h의 뷰(206)는 더 이상 사용자 인터페이스 요소(204)를 포함하지 않고, 따라서 사용자는 현재 거실 위치로부터 목적지 백야드 위치로 텔레포트하였다.
일부 실시예들에서, 텔레포테이션은 실질적으로 순간적으로(예를 들어, 사용자에 의해 인지되는 바와 같이 순간적으로) 발생한다. 예를 들어, 일부 실시예들에서, 도 2e의 뷰(202)는 사용자 인터페이스 요소(204)의 확대를 디스플레이함이 없이(예컨대, 도 2f 및 도 2g에 도시된 뷰들을 디스플레이함이 없이) 도 2h의 뷰(206)로 대체된다.
일부 실시예들에서, 현재 뷰가 목적지 뷰를 디스플레이하도록 수정되고 있는 동안, 2개의 뷰들은 서로에 대해 유지된다. 예를 들어, 뷰(202)(도 2e)가 확대된 사용자 인터페이스 요소(204) 내에 뷰(206)를 디스플레이하도록 수정됨에 따라(도 2f), 뷰(202)와 뷰(206) 사이에 상대적 이동이 없어서 뷰들은 서로에 대해 정적이다. 예를 들어, 의자(214)도 트리(212)도 사용자를 향해 또는 사용자로부터 멀어지게 이동하고 있지 않다. 또한, 트리(212)가 의자(214)로부터 더 가까이 또는 더 멀리 이동하는 것도 아니다. 위의 논의는 2개의 뷰들 사이에서의 정적 가상 객체들의 상대적 이동에 초점을 맞추는데, 그 이유는 일부 실시예들에서, 뷰 내의 비-정적 가상 객체들(예컨대, 고양이(210))이 다른 뷰 내의 객체들(예컨대, 의자(214))에 대해 이동하여 수정 동안 사용자에게 위치들 둘 모두의 라이브 뷰를 제공하기 때문이다. 일부 실시예들에서, 뷰들 둘 모두에서 모든 가상 객체들(예컨대, 정적 또는 비-정적)의 이동은 수정 동안 중단된다.
이러한 방식으로 사용자 텔레포테이션을 제공하는 것은 사용자의 편안함을 개선할 수 있다. 때때로, 물리적 설정에서의 대응하는 사용자 이동 없이(예컨대, 사용자가 자신의 물리적 설정에서 전방으로 또는 후방으로 이동하지 않음) 가상 설정에서의 인지된 이동(예컨대, 가상 설정의 뷰가 사용자를 향해 향하거나 사용자로부터 멀어지게 이동하고 있음)은 사용자의 감각적 불편함을 야기한다. 전술된 기법들이 현재 뷰를 수정하여 목적지 뷰를 디스플레이하는 동안 현재 뷰 및 목적지 뷰를 서로에 대해 유지시키기 때문에, 사용자는 대응하는 물리적 이동 없이 가상 설정 내에서 그러한 이동을 인지하지 않으며, 따라서 CSR 설정의 위치들 사이에서 텔레포트할 때 사용자 편안함을 개선한다. 따라서, 본 명세서에 기술된 시스템들 및 기법들은 CSR 설정들을 탐색하기 위한 끊김없고 자연적인 인터페이스를 제공할 수 있을 뿐만 아니라, CSR 시스템들의 유용성을 개선할 수 있다.
이제 도 2h를 참조하면, 사용자는 이제 도 2e 내지 도 2h를 참조하여 기술된 바와 같이 거실 위치로부터 백야드 위치로 텔레포트된다. 일부 실시예들에서, 현재 위치로부터 목적지 위치로 텔레포트한 후에, 사용자는 원래의(예컨대, 현재) 위치로 다시 텔레포트한다. 일부 실시예들에서, 사용자는 원래의 위치를 나타내는 디스플레이된 사용자 인터페이스 요소와 상호작용함으로써 원래의 위치로 다시 텔레포트한다. 예를 들어, 도 2h에 도시된 바와 같이, 사용자 인터페이스 요소(216)는 거실 위치의 일부분의 뷰(202)를 나타낸다. 뷰(202)는 거실 위치의 사용자의 이전 뷰의 일부분을 포함한다(예컨대, 뷰(202)는 의자(214)를 포함함). 사용자 인터페이스 요소(216)와 상호작용함으로써, 사용자는 위에서 논의된 기법들 중 임의의 것에 따라 거실 위치로 텔레포트할 수 있다(그리고/또는 뷰(206)를 수정함).
이제 도 3a 및 도 3b를 참조하면, 다수의 사용자들이 서로의 CSR 설정들 사이에서 텔레포트할 수 있게 하는 예시적인 기법들이 논의된다.
도 3a는 디바이스(300a) 상에 디스플레이된 현재 CSR 설정(예컨대, 백야드)의 예시적인 뷰(302)를 나타낸다. 일부 실시예들에서, 디바이스(300a)는 위에서 논의된 디바이스(200)를 구현하는 데 사용된다. 디바이스(300a)는 현재 CSR 설정에 존재하는 것으로 간주되는 제1 사용자와 연관된다. 따라서, 제1 사용자는 제1(예컨대, 현재) CSR 설정의 뷰(302)(예컨대, 시야)를 제공받는다. 뷰(302)는 제2 CSR 설정(예컨대, 오리 연못)의 뷰(306)(예컨대, 임베디드 뷰)를 디스플레이하는 사용자 인터페이스 요소(304)를 포함한다.
일부 실시예들에서, 디스플레이된 뷰에 대응하는 방향(예컨대, 뷰가 디스플레이되는 관점에 대응하는 방향)은 사용자 인터페이스 요소에 디스플레이된 뷰에 대응하는 방향이 아니다. 예를 들어, 도 3a를 참조하면, 뷰(302)에 대응하는 방향은 뷰(306)에 대응하는 방향이 아니다. 뷰(306)에 대응하는 방향은 고정될 수 있거나 다른 사용자에 대응할 수 있다. 예를 들어, 뷰(302)에 대응하는 방향은 제1 사용자에 대응하고, 뷰(306)에 대응하는 방향은 제2 CSR 설정에 위치되는 제2 사용자에 대응한다. 따라서, 뷰(306)는 일부 예들에서 제2 사용자의 뷰의 일부분을 표현한다. (제2 사용자의 방향에 대응하는 관점으로부터) 제2 사용자의 전체 뷰(306)가 도 3b에 도시된다. 전체 뷰(306)는 제2 사용자와 연관된 외부 전자 디바이스(300b) 상에 디스플레이된다. 일부 예들에서, 디바이스(300b)는 위에서 논의된 디바이스(200)를 구현하는 데 사용된다.
일부 실시예들에서, 제1 사용자는 제2 사용자의 위치로 텔레포트한다. 예를 들어, 도 3a 및 도 3b를 참조하면, 제1 사용자는 (예컨대, 전술된 바와 같은 입력을 제공함으로써) 사용자 인터페이스 요소(304)와 상호작용하여, 위에서 논의된 기술들 중 임의의 것에 따라 제1 사용자를 백야드 위치로부터 오리 연못 위치로 텔레포트한다. 예를 들어, 디바이스(300a) 상에 디스플레이된 뷰(302)는 뷰(306)로 대체된다. 따라서, 전술된 기법들은 다수의 사용자들이 사용자 인터페이스 요소를 통해 그들 각자의 뷰들을 서로 공유하게 한다. 사용자 인터페이스 요소와 상호작용함으로써, 사용자들은 서로의 CSR 설정들을 프리뷰하고/하거나 서로의 CSR 설정들 사이에서 텔레포트할 수 있다.
일부 실시예들에서, 방향에 대응하는 뷰를 디스플레이하기 위해, 외부 디바이스로부터 방향이 획득되고, 획득된 방향을 사용하여 뷰가 결정된다. 예를 들어, 디바이스(300a)는 디바이스(300b)로부터 뷰(306)에 대응하는 방향을 획득하고, 획득된 방향을 사용하여 뷰(306)를 결정한다.
이제 도 4a 내지 도 4e를 참조하여, CSR 설정을 중심으로 이동시키기 위한 예시적인 기법들이 기술된다.
도 4a는 사용자와 연관된 디바이스(400) 상에 디스플레이된 CSR 설정의 현재 뷰(402)를 예시한다. 일부 실시예들에서, 디바이스(400)는 전술된 디바이스(100a, 100b, 또는 100c)와 동일하거나 유사하다. 현재 뷰는 CSR 설정의 현재 위치(예컨대, 해변 상의 위치)를 도시한다. 사용자는 CSR 설정에 존재하는 것으로 간주되며, 따라서 CSR 설정의 현재 뷰(402)를 제공받는다. 뷰(402)는 사용자 인터페이스 요소(404)를 포함한다. 사용자 인터페이스 요소(404)는 CSR 설정의 목적지 위치를 나타낸다. 예를 들어, 사용자 인터페이스 요소는 현재 위치로부터(예컨대, 앞에서) 짧은 거리에 목적지 위치를 나타내는 뷰(406)를 디스플레이한다.
일부 실시예들에서, 사용자 인터페이스 요소(404)에 (예컨대, 뷰(406)로서) 나타낸 목적지 위치는 더 큰 스케일로 디스플레이된다. 예를 들어, 뷰(406)로서 디스플레이된 목적지 위치는 현재 뷰(예컨대, 뷰(402))에서 현재 위치의 디스플레이에 대해 더 큰 스케일로 디스플레이된다. 예를 들어, 뷰(406) 내의 불가사리(408)는 뷰(402) 내의 조개의 디스플레이에 대해 더 큰 스케일로 디스플레이된다.
일부 실시예들에서, 사용자 인터페이스 요소(404)에 디스플레이된 콘텐츠의 스케일(예컨대, 배율 스케일)은 시선 깊이를 사용하여 결정된다. 예를 들어, 디바이스(400)는 뷰에 대응하는 방향을 결정하고, 방향에 대응하는 시선 깊이를 결정한다. 도 4a에서, 뷰(406)에 대응하는 결정된 시선 깊이는 (예를 들어, 사용자가 불가사리(408)에서 지면을 향해 보고 있기 때문에) 상대적으로 얕다. 일부 실시예들에서, 상대적으로 얕은 시선 깊이에 기초하여, 디바이스(400)는 사용자 인터페이스 요소(404)에 디스플레이된 콘텐츠에 대한 상대적으로 작은 배율 스케일을 결정한다. 일부 실시예들에서, 상대적으로 깊은 시선 깊이에 기초하여, 디바이스(400)는 사용자 인터페이스 요소(404)에 디스플레이된 콘텐츠에 대한 상대적으로 큰 배율 스케일을 결정한다. 예를 들어, 도 4c를 참조하면, 뷰(406)에 대응하는 시선 깊이는 (예컨대, 사용자가 수평선 상의 보트(412)를 보고 있기 때문에) 비교적 깊으며, 따라서 디바이스(400)는 도 4c의 뷰(406)에 대해 비교적 큰 배율 스케일을 결정한다. 따라서, 일부 실시예들에서, 사용자 인터페이스 요소(404)에 디스플레이된 콘텐츠에 대한 스케일은 증가하는 시선 깊이에 비례하여 증가한다. 일부 실시예들에서, 사용자 인터페이스 요소(404)에 디스플레이된 콘텐츠에 대한 스케일은 증가하는 시선 깊이에 비례하여 감소한다.
일부 실시예들에서, 사용자 인터페이스 요소(404)에 디스플레이된 콘텐츠의 스케일(예컨대, 배율 스케일)은 콘텐츠 및 현재 위치에 의해 표현되는 하나 이상의 가상 객체들 사이의 거리에 기초한다. 예를 들어, 도 4a 및 도 4c를 참조하면, 도 4a와 도 4c 사이의 뷰(406)에서 배율의 차이는 현재 위치와 불가사리(408) 사이의 거리가 현재 위치와 보트(412) 사이의 거리보다 작기 때문이다. 이는 사용자로부터 더 멀리 떨어진 가상 객체들이 사용자에 더 가까운 가상 객체들에 비해 더 확대되도록 허용한다.
도 4a에서, 사용자는 CSR 설정에서 현재 위치에 있고, 제1 결정된 방향을 갖는다. 따라서, 뷰(402)는 제1 결정된 방향에 대응하는 제1 관점으로부터 CSR 설정의 현재 위치를 나타낸다. 일부 실시예들에서, 디바이스(400)는 제1 결정된 방향을 사용하여 제2 관점을 결정하고, 제2 관점으로부터 뷰(406)를 디스플레이한다. 따라서, 일부 실시예들에서, 뷰(406)는 사용자가 목적지 위치에 있었고 제1 결정된 방향을 가졌다면 사용자에게 디스플레이될 것의 일부분을 표현한다.
논의된 바와 같이, 뷰는 뷰를 확대하고, 뷰를 축소시키고, 뷰를 이동시킴으로써, 그리고/또는 뷰를 다른 뷰로 대체함(예컨대, 텔레포트)으로써 수정될 수 있다. 일부 실시예들에서, 그러한 수정은 뷰와 연관된 사용자 인터페이스 요소의 선택을 표현하는 입력을 수신하는 것에 응답하여 발생한다. 아래에서 논의되는 도 4a 내지 도 4e에 도시된 뷰들의 디스플레이를 수정하기 위한 기법들은 도 2a 내지 도 2h 및 도 3a와 도 3b에 도시된 뷰들을 수정하기 위해 위에서 논의된 기법들과 유사하다.
논의된 바와 같이, 일부 실시예들에서, 뷰를 수정하는 것은 뷰와 연관된 사용자 인터페이스 요소를 수정하는 것을 포함할 수 있다. 일부 실시예들에서, 사용자 인터페이스 요소가 수정되고 있는 동안, 사용자 인터페이스 요소의 콘텐츠는 일정한 스케일로 디스플레이된다. 예를 들어, 도 4a의 사용자 인터페이스 요소(404)가 축소되거나 확대되는 동안, 사용자 인터페이스 요소(404)의 콘텐츠(예컨대, 불가사리(408))는 동일한 스케일로 디스플레이되는 채로 유지된다.
도 4b는 뷰(402)(도 4a)의 예시적인 수정을 도시한다. 특히, 현재 뷰(402)는 뷰(402)를 도 4b의 목적지 뷰(406)로 대체함으로써, 예를 들어, 뷰(402)가 교체되도록 요청하는 사용자 입력에 응답하여 수정된다. 도시된 바와 같이, 일부 실시예들에서, 사용자 인터페이스 요소(404)(예컨대, 도 4a의 뷰(406))에 디스플레이된 목적지 위치 및 도 4b의 목적지 뷰(406)는 공통 결정된 방향으로부터 결정된 관점들로부터 디스플레이된다. 추가로 도시된 바와 같이, 일부 실시예들에서, 도 4a의 뷰(406)는 도 4b의 뷰(406)와 동일한 스케일이다. 따라서, 도 4b는 사용자가 현재 위치로부터 목적지 위치로 텔레포트한 것을 도시한다(예를 들어, 사용자는 불가사리(408) 및 조개(410)를 더 근접하게 보기 위해 현재 위치로부터 짧은 거리를 텔레포트하였음).
도 4c는 뷰(402)(도 4a)의 예시적인 수정을 도시한다. 도 4c에서, 사용자 인터페이스 요소(404) 및 사용자의 방향은 상향으로 이동하였지만, 사용자는 현재 위치로부터 이동하지 않았다. 도 4c에서, 사용자 인터페이스 요소(404)에 나타난 목적지 위치는 제3 관점으로부터 디스플레이된다. 예를 들어, 디바이스(400)는 제1 결정된 방향과는 상이한 제2 방향(예컨대, 상향 이동 방향)을 결정하고, 결정된 제2 방향을 사용하여 제3 관점을 결정한다. 따라서, 사용자 인터페이스 요소(404)는 제3 관점으로부터 목적지 위치를 디스플레이한다. 예를 들어, 도 4c의 뷰(406)는 보트(412)를 포함한다.
추가적으로, 도 4c에 도시된 바와 같이, 현재 뷰(예컨대, 뷰(402))는 제2 방향을 사용하여 결정된 제4 관점으로부터 현재 위치를 디스플레이하도록 수정된다. 특히, 뷰(402)는 더 많은 하늘을 포함하도록 수정되었다. 일부 실시예들에서, 뷰(402)(및 뷰(406))는 사용자의 방향이 상향으로 이동했기 때문에 수정된다(예컨대, 사용자는 상향을 보고/보거나 자신의 머리를 상향으로 기울임). 따라서, 도 4c의 뷰(406)는 사용자가 목적지 위치에 있었고 상향 이동 방향을 가졌다면 사용자에게 디스플레이될 것의 일부분을 표현한다.
또한, 도 4c에 도시된 바와 같이, 뷰(406)의 스케일은 도 4a로부터 증가하였다. 논의된 바와 같이, 일부 실시예들에서, 스케일에서의 이러한 차이는, 도 4a의 뷰(406)가 비교적 얕은 시선 깊이에 대응하는 반면, 도 4c의 뷰(406)는 비교적 깊은 시선 깊이에 대응하기 때문이다. 따라서, 일부 실시예들에서, (더 멀리 떨어진 가상 객체들에 대응하는) 보다 확대된 뷰의 선택을 표현하는 입력은, 도 4b 및 도 4e에 관하여 이제 논의되는 바와 같이 더 먼 텔레포테이션을 야기한다.
일부 실시예들에서, 도 4c의 사용자 인터페이스 요소(404)와 상호작용하는 것은 도 4a의 사용자 인터페이스 요소(404)와 상호작용하는 것보다 사용자를 더 멀리 텔레포트시킨다. 특히, 도 4a의 사용자 인터페이스 요소(404)와 상호작용하는 것은 불가사리(408) 및 조개(410)를 더 가깝게 보기 위해 도 4b의 뷰(406)에 의해 나타난 목적지 위치까지 짧은 거리(도 4b)로 사용자를 텔레포트시킬 수 있다. 반대로, 도 4c의 사용자 인터페이스 요소(404)와 상호작용하는 것은 보트(412)를 더 가깝게 보기 위해 도 4e의 뷰(406)에 의해 나타난 목적지 위치까지 먼 거리로 사용자를 텔레포트시킬 수 있다. 따라서, 도 4a 및 도 4c는 사용자로부터 더 멀리 있는 객체들을 나타내기 위해 사용자 인터페이스 요소(404)를 (예컨대, 상향으로 보는 것에 의해) 이동시키는 것은 사용자가 현재 위치로부터 더 멀리 텔레포트할 수 있게 함을 보여준다.
도 4d는 도 4c의 뷰(402)의 예시적인 수정을 도시한다. 특히, 도 4d의 뷰(402)는 도 4c의 뷰(402)에 대응하는 방향과는 상이한 방향에 대응하는 관점으로부터 현재 위치를 나타낸다. 도시된 바와 같이, 도 4c로부터 도 4d로, 사용자의 방향은 상향으로 이동하였고, 도 4c의 뷰들(402, 406) 둘 모두는 상향 이동 방향에 대응하도록 업데이트되었다. 일부 실시예들에서, 도 4c의 뷰(402)가 도 4d의 뷰(402)로 수정되고 있는 동안, 사용자 인터페이스 요소의 (예컨대, 디바이스(400)의 디스플레이 상의) 위치는 일정하게 유지된다(404). 예를 들어, 도 4c와 도 4d 사이에서 사용자 인터페이스 요소(404)를 디스플레이하기 위해 디바이스(400)의 디스플레이의 동일한 픽셀들이 사용된다.
일부 실시예들에서, 결정된 방향에 기초하여 사용자 인터페이스 요소의 현재 뷰 및 콘텐츠가 패닝된다. 예를 들어, 도 4c의 뷰(402, 406)는 도 4d의 뷰(402)에 대응하는 상향 이동 방향에 기초하여 패닝된다. 일부 실시예들에서, 그러한 패닝은 도 4c의 사용자 인터페이스 요소(404)의 디스플레이가 확대되는 동안 발생한다(예컨대, 도 4c와 도 4d 사이에서, 사용자 인터페이스 요소(404)가 그 선택을 표현하는 입력을 수신하는 것에 응답하여 확대됨).
일부 실시예들에서, 사용자 인터페이스 요소와 연관된 표시자가 디스플레이된다. 일부 실시예들에서, 표시자는 라인, 2차원 또는 3차원 형상, 아이콘, 또는 이들의 임의의 조합을 포함한다. 일부 실시예들에서, 표시자는 사용자 인터페이스 요소에 인접하게(예를 들어, 위, 아래, 좌측/우측 등에) 디스플레이된다. 일부 실시예들에서, 표시자는 사용자 인터페이스 요소 내에 디스플레이된다. 예를 들어, 도 4a는 라인이 사용자 인터페이스 요소(예컨대, 도 4a의 라인(414)) 위에 디스플레이된 것을 도시한다.
일부 실시예들에서, 표시자는 치수(예컨대, 길이, 폭, 높이, 체적, 면적, 색상)를 갖는다. 아래에서 논의되는 바와 같이, 일부 실시예들에서, 표시자의 치수(예컨대, 라인(414)의 길이)는 사용자의 결정된 방향, 시선 깊이, 및/또는 사용자 인터페이스 요소에 디스플레이된 뷰의 스케일에 대응한다. 일부 실시예들에서, 표시자의 치수는 사용자의 현재 위치와 사용자 인터페이스 요소에 의해 나타난 목적지 위치 사이의 거리를 표현한다. 따라서, 표시자는 가상 설정 내에서 내비게이팅하기 위한 도움이 되는 시각적 안내부를 제공할 수 있다.
일부 실시예들에서, 표시자의 치수는 결정된 시선 깊이 및/또는 결정된 방향에 기초한다. 예를 들어, 도 4a에서, 라인(414)은 상대적으로 짧은데, 그 이유는 사용자의 시선 깊이가 비교적 얕고/얕거나 사용자의 방향이 지면을 향하고 있기 때문이다(예컨대, 사용자는 해변의 모래에서 하향으로 보고 있음). 대조적으로, 도 4c에서, 라인(414)은 상대적으로 긴데, 그 이유는 사용자의 시선 깊이가 비교적 깊고/깊거나 사용자의 방향이 수평선을 향하고 있기 때문이다(예컨대, 사용자는 바다 및 하늘에 의해 형성된 수평선 내로 전방으로 보고 있음).
일부 실시예들에서, 표시자의 치수는 사용자 인터페이스 요소에 디스플레이된 뷰의 스케일에 기초한다. 예를 들어, 도 4a에서, 라인(414)은 비교적 짧은데, 그 이유는 뷰(406)의 스케일이 비교적 작기 때문이다. 대조적으로, 도 4c에서, 라인(414)은 비교적 긴데, 그 이유는 뷰(406)의 스케일이 비교적 크기 때문이다.
일부 실시예들에서, 표시자의 치수는 현재 위치와 목적지 위치 사이의 거리에 기초한다. 예를 들어, 도 4a에서, 라인(414)의 길이는 비교적 짧은데, 그 이유는 논의된 바와 같이, 현재 위치와 목적지 위치(예컨대, 도 4b에 의해 나타난 위치) 사이의 거리가 비교적 짧기 때문이다. 대조적으로, 도 4c에서, 라인(414)의 길이는 비교적 긴데, 그 이유는 논의된 바와 같이, 현재 위치와 목적지 위치(예컨대, 도 4e에 의해 나타난 위치) 사이의 거리가 비교적 크기 때문이다.
일부 실시예들에서, 치수의 값(예컨대, 길이, 폭, 높이, 또는 이들의 임의의 조합에 대한 값)은 최대값을 가지며, 최대값은 현재 위치와 목적지 위치 사이의 최대 가상 거리에 대응한다. 따라서, 최대값은 CSR 설정 내에서 허용되는 최대 텔레포테이션 거리에 대응한다. 최대 텔레포테이션 거리를 갖는 것은 사용자가 수평선(또는 하늘)을 보고 효과적으로 무한한 거리를 텔레포트하는 것(즉, 유한한 거리가 떨어져 위치된 가상 객체와 연관된 목적지 포인트가 없음)을 방지한다. 최대값(예컨대, 라인의 최대 길이)은, 예를 들어, 도 4c의 라인(414)의 길이에 의해 도시된다. 일부 실시예들에서, 라인(414)의 길이는 사용자 인터페이스 요소에 디스플레이된 목적지 위치의 스케일을 표현하기 때문에, 최대 길이 라인 길이는 최대 정도의 배율에 대응하여 도 4c의 뷰(406)가 최대 스케일로 디스플레이된다.
도 4d는 치수의 최대값에 대응하는 최대 스케일을 추가로 나타낸다. 특히, 논의된 바와 같이, 도 4d는 사용자의 방향이 상향으로 이동했다고 디바이스(400)가 결정하는 것에 응답하여 디바이스(400) 상에 디스플레이된 뷰(402)를 나타낸다. 사용자의 방향이 상향으로 이동했기 때문에(그리고/또는 사용자의 시선 깊이가 증가했기 때문에), 일부 실시예들에서, 도 4d의 뷰(406)의 스케일은 도 4c의 뷰(406)의 스케일에 비해 증가해야 한다. 그러나, 일부 예들에서, 도 4c의 뷰(406)가 최대로 확대되기 때문에, 뷰(406)의 배율은 동일하게 유지된다. 유사하게, 라인(414)의 길이는 도 4c와 도 4d 사이에서 동일하게 유지된다.
뷰(406)의 배율이 도 4c와 도 4d 사이에서 동일하게 유지되기 때문에, 뷰(406)는 도 4c 및 도 4d에서 동일한 위치(즉, 목적지 위치)를 나타낸다. 따라서, 일부 실시예들에서, 도 4c 및 도 4d 둘 모두에서 뷰(406)를 디스플레이하는 사용자 인터페이스 요소(404)와 상호작용하는 것은 사용자를 동일한 최대 가상 거리로 텔레포트시킨다. 이러한 방식으로, 최대 텔레포테이션 거리가 2개의 위치들 사이에 설정되어, 사용자가 효과적으로 무한한 거리를 텔레포트하는 것(예컨대, 바다 및 하늘에 의해 한정되는 수평선 내로 무한히 텔레포트함)을 방지한다. 논의된 바와 같이, 이러한 최대 텔레포테이션 거리는 시각적 표시자의 치수의 값에 의해 나타날 수 있다(예를 들어, 사용자가 상향으로 응시하고 라인 길이가 더 이상 증가하지 않으면, 최대 텔레포테이션 거리가 설정되었다는 것이 사용자에게 표시됨).
이제 도 4e를 참조하면, 사용자는 이제 사용자 인터페이스 요소(404)와 상호작용하는 것에 응답하여 CSR 설정 내의 최대 거리로 텔레포트하였다. 특히, 도 4e는 사용자가 예를 들어 도 4d의 사용자 인터페이스 요소(404)와 상호작용하는 것에 응답하여 디바이스(400) 상에 디스플레이된 뷰(406)를 나타낸다. 도 4e의 뷰(406)는 도 4d의 뷰(406)의 방향 및 스케일에 대응한다. 예를 들어, 도 4d 및 도 4e 둘 모두는 보트(412)를 포함하고, 보트(412)는 2개의 뷰들 사이에서 동일한 스케일을 갖는다. 논의된 바와 같이, 일부 실시예들에서, 뷰(402)가 뷰(406)를 디스플레이하도록 수정되고 있는 동안(예컨대, 사용자 인터페이스 요소(404)가 뷰(402) 내에서 확장되어 뷰(406)의 더 많은 부분을 디스플레이함), 뷰(402)는 뷰(406)에 대해 유지된다. 예를 들어, 뷰(402)가 수정되고 있는 동안, 뷰(406) 내의 보트(412)는 뷰(402) 내의 임의의 정적 가상 객체(예컨대, 우산)에 대해 이동하고 있지 않다. 논의된 바와 같이, 2개의 뷰들의 그러한 유지는 CSR 설정을 중심으로 이동할 때 사용자 편안함을 개선할 수 있다.
도 2 내지 도 4에 관하여 전술된 실시예들은 예시이고 제한하도록 의도되지 않는다는 것이 인식되어야 한다. 예를 들어, 도 2 내지 도 4의 실시예들이 하나 이상의 가상 설정들에 관하여 기술되어 있지만, 기법들은 증강 현실 또는 혼합 현실 애플리케이션들과 유사하게 적용될 수 있다. 예를 들어, 일부 실시예들에서, 디스플레이된 뷰(예컨대, 202)는 물리적 위치를 나타내고(예컨대, 비디오 패스스루를 사용하여 디스플레이됨), 디스플레이된 뷰는 가상 객체로서 사용자 인터페이스 요소(예컨대, 204)를 포함한다. 사용자 인터페이스 요소는 가상 위치(예컨대, 206)를 나타낼 수 있다. 따라서, 일부 실시예들에서, 사용자는 사용자를 물리적 설정으로부터 가상 설정으로 텔레포트시키는 사용자 인터페이스 요소와 상호작용한다. 다른 실시예들에서, 사용자는 사용자를 가상 설정으로부터 물리적 설정으로 텔레포트시키는 사용자 인터페이스 요소와 상호작용한다. 예를 들어, 일부 실시예들에서, 뷰(202)는 가상 위치를 나타내고, 뷰(206)는 물리적 위치를 나타낸다.
이제 도 5를 참조하면, CSR 설정을 중심으로 이동하기 위한 예시적인 프로세스(500)의 흐름도가 나타난다. 일부 실시예들에서, 프로세스(500)는 사용자 디바이스(예컨대, 100a, 100b, 100c, 200, 300a, 300b, 또는 400)를 사용하여 수행된다. 사용자 디바이스는, 예를 들어, 핸드헬드 모바일 디바이스, 헤드 장착형 디바이스, 또는 헤드-업 디바이스이다. 다른 실시예들에서, 프로세스(500)는 둘 이상의 전자 디바이스들(예컨대, 디바이스(100b) 및 디바이스(100c))을 사용하여 수행되는 것으로 인식되어야 한다. 이 실시예들에서, 프로세스(500)의 동작들은 임의의 방식으로 2개 이상의 디바이스들 사이에 분배된다. 또한, 사용자 디바이스의 디스플레이는 투명하거나 또는 불투명할 수 있음이 이해되어야 한다. 프로세스(500)는 가상 현실, 증강 현실, 또는 혼합 현실 애플리케이션들 및 가시적 특징부들 뿐만 아니라 오디오, 햅틱 등과 같은 비가시적 특징부들을 포함하는 효과들에 적용될 수 있다는 것이 또한 인식되어야 한다. 프로세스(500)의 블록들이 도 5의 특정 순서대로 도시되어 있지만, 이 블록들은 다른 순서대로 수행될 수 있음이 인식되어야 한다. 추가로, 프로세스(500)의 하나 이상의 블록들은 옵션적일 수 있고/있거나 추가 블록들이 수행될 수 있다.
블록(502)에서, CSR 설정의 현재 뷰(예컨대, 도 2a의 뷰(202))가 (예컨대, 전자 디바이스에서) 디스플레이된다. 현재 뷰는 제1 결정된 방향에 대응하는 제1 관점으로부터 CSR 설정의 현재 위치를 나타낸다. 일부 실시예들에서, 전자 디바이스는 머리-대면 센서를 갖는 헤드 장착형 디스플레이를 포함한다. 일부 실시예들에서, 눈 시선을 표현하는 시선 데이터는 머리-대면 센서를 사용하여 획득된다. 일부 실시예들에서, 제1 결정된 방향은 획득된 시선 데이터를 사용하여 결정된다.
블록(504)에서, 사용자 인터페이스 요소(예컨대, 204)가 디스플레이된다. 사용자 인터페이스 요소는 현재 위치로부터 가시적이 아닌 목적지 위치를 나타낸다(예컨대, 사용자 인터페이스 요소는 도 2a의 뷰(206)를 디스플레이함). 일부 실시예들에서, 사용자 인터페이스 요소는 구형이다. 일부 실시예들에서, 목적지 위치를 나타내는 것은, 사용자 인터페이스 요소에, 목적지 위치에 위치된 하나 이상의 가상 객체들의 이동을 디스플레이하는 것을 포함한다.
블록(506)에서, 사용자 인터페이스 요소의 선택을 표현하는 입력을 수신하는 것에 응답하여, 현재 뷰의 디스플레이는 목적지 위치를 나타내는 목적지 뷰(예컨대, 도 2b의 뷰(206))를 디스플레이하도록 수정된다. 일부 실시예들에서, 목적지 뷰를 디스플레이하기 위해 현재 뷰의 디스플레이를 수정하는 것은 사용자 인터페이스 요소를 확대하는 것을 포함한다. 일부 실시예들에서, 사용자 인터페이스 요소의 디스플레이가 확대되는 동안, 결정된 방향에 기초하여 사용자 인터페이스 요소의 현재 뷰 및 콘텐츠가 패닝된다(예컨대, 도 2a와 도 2d 사이에서 뷰들(202, 206)이 패닝됨).
일부 실시예들에서, 제1 결정된 방향은 제1 사용자에 대응하는 방향이고, 목적지 뷰는 제1 사용자와는 상이한 제2 사용자에 대응하는 결정된 방향에 대응하는 제4 관점으로부터 목적지 위치를 나타내며, 제2 사용자는 목적지 위치에 위치된다.
일부 실시예들에서, 목적지 뷰를 디스플레이하기 위해 현재 뷰의 디스플레이를 수정하는 것은 수신된 입력이 전자 디바이스를 향한 객체의 이동을 표현하는지 여부를 결정하는 것을 포함한다. 일부 실시예들에서, 수신된 입력이 전자 디바이스를 향한 객체의 이동을 표현한다고 결정하는 것에 응답하여, 사용자 인터페이스 요소는 이동의 크기에 따라 비례적으로 확대된다. 일부 실시예들에서, 목적지 뷰를 디스플레이하기 위해 현재 뷰의 디스플레이를 수정하는 것은 객체의 이동이 임계 거리를 초과하는지 여부를 결정하는 것을 포함한다. 일부 실시예들에서, 객체의 이동이 임계 거리를 초과한다고 결정하는 것에 응답하여, 현재 뷰의 디스플레이는 목적지 뷰의 디스플레이로 대체된다(예컨대, 도 2e의 뷰(202)는 도 2h의 뷰(206)에 의해 대체됨).
일부 실시예들에서, 현재 뷰의 디스플레이를 목적지 뷰의 디스플레이로 대체한 후에, 제2 사용자 인터페이스 요소(예컨대, 214)가 디스플레이된다. 제2 사용자 인터페이스 요소는 현재 위치를 나타낸다. 일부 실시예들에서, 제2 사용자 인터페이스 요소의 선택을 표현하는 입력을 수신하는 것에 응답하여, 현재 위치의 뷰(예컨대, 도 2h의 뷰(202))를 디스플레이하기 위해 목적지 뷰의 디스플레이가 수정된다. 일부 실시예들에서, 현재 위치의 뷰를 디스플레이하기 위해 목적지 뷰의 디스플레이를 수정하는 것은 목적지 뷰의 디스플레이를 현재 위치의 뷰의 디스플레이로 대체하는 것을 포함한다.
일부 실시예들에서, 사용자 인터페이스 요소의 선택을 표현하는 입력을 수신하기 전에, 제1 결정된 방향과는 상이한 제2 방향이 결정된다. 일부 실시예들에서, 사용자 인터페이스 요소의 디스플레이는 제2 방향을 사용하여 결정된 제2 관점으로부터 목적지 위치를 나타내도록 수정된다(예컨대, 도 2b의 뷰(206)는 도 2d의 뷰(206)로 수정됨). 일부 실시예들에서, 사용자 인터페이스 요소의 디스플레이를 수정하는 것은 사용자 인터페이스 요소를 변위시키는 것을 포함하고, 변위된 사용자 인터페이스 요소는 제2 관점으로부터 목적지 위치를 나타낸다. 일부 실시예들에서, 목적지 위치가 사용자 인터페이스 요소 내의 제2 관점으로부터 나타나 있지만, 제1 관점으로부터 CSR 설정의 현재 위치를 나타내는 현재 뷰(예컨대, 도 2b의 뷰(202))가 계속 디스플레이된다.
일부 실시예들에서, 제2 관점으로부터 목적지 위치를 나타내기 위해 사용자 인터페이스 요소의 디스플레이를 수정하는 동안, 현재 뷰는 제2 방향을 사용하여 결정된 제3 관점으로부터 CSR 설정의 현재 위치를 나타내도록 수정된다(예컨대, 뷰(202)는 도 2a와 도 2d 사이에서 수정됨).
일부 실시예들에서, 사용자 인터페이스 요소를 디스플레이하는 것은 전자 디바이스의 디스플레이의 복수의 픽셀들을 사용하여 사용자 인터페이스 요소를 디스플레이하는 것을 포함한다. 일부 실시예들에서, 제3 관점으로부터 CSR 설정의 현재 위치를 나타내도록 현재 뷰를 수정하는 동안, 사용자 인터페이스 요소는, 현재 뷰가 제1 관점으로부터 CSR 설정의 현재 위치를 나타냈을 때 사용자 인터페이스 요소를 디스플레이하는 데 사용된 복수의 픽셀들을 사용하여 계속해서 디스플레이된다(예컨대, 도 2a(및/또는 2b)에서 사용자 인터페이스 요소(204)를 디스플레이하는 데 사용된 픽셀들이 또한 도 2d의 사용자 인터페이스 요소(204)를 디스플레이하는 데 사용됨).
이제 도 6을 참조하면, CSR 설정을 중심으로 이동하기 위한 예시적인 프로세스(600)의 흐름도가 나타난다. 일부 실시예들에서, 프로세스(600)는 사용자 디바이스(예컨대, 100a, 100b, 100c, 200, 300a, 300b, 또는 400)를 사용하여 수행된다. 사용자 디바이스는, 예를 들어, 핸드헬드 모바일 디바이스, 헤드 장착형 디바이스, 또는 헤드-업 디바이스이다. 다른 실시예들에서, 프로세스(600)는 둘 이상의 전자 디바이스들(예컨대, 디바이스들(100b 및 100c))을 사용하여 수행되는 것으로 인식되어야 한다. 이 실시예들에서, 프로세스(600)의 동작들은 임의의 방식으로 2개 이상의 디바이스들 사이에 분배된다. 또한, 사용자 디바이스의 디스플레이는 투명하거나 또는 불투명할 수 있음이 이해되어야 한다. 프로세스(600)는 가상 현실, 증강 현실, 또는 혼합 현실 애플리케이션들 및 가시적 특징부들 뿐만 아니라 오디오, 햅틱 등과 같은 비가시적 특징부들을 포함하는 효과들에 적용될 수 있다는 것이 또한 인식되어야 한다. 프로세스(600)의 블록들이 도 6의 특정 순서대로 도시되어 있지만, 이 블록들은 다른 순서대로 수행될 수 있음이 인식되어야 한다. 추가로, 프로세스(600)의 하나 이상의 블록들은 옵션적일 수 있고/있거나 추가 블록들이 수행될 수 있다. 추가적으로, 도 5와 관련하여 전술된 실시예들 중 임의의 것이 프로세스(600)에 포함될 수 있다. 유사하게, 도 6와 관련하여 아래에 설명되는 실시예들 중 임의의 것이 프로세스(500)에 포함될 수 있다.
블록(602)에서, CSR 설정의 현재 뷰가 디스플레이된다(예컨대, 도 4a 또는 도 4c의 뷰(402)). 현재 뷰는 제1 결정된 방향에 대응하는 제1 관점으로부터 CSR 설정의 현재 위치를 나타낸다. 일부 실시예들에서, 현재 뷰는 전자 디바이스에 의해 디스플레이된다. 일부 실시예들에서, 전자 디바이스는 머리-대면 센서를 갖는 헤드 장착형 디스플레이를 포함한다. 일부 실시예들에서, 눈 시선을 표현하는 시선 데이터는 머리-대면 센서를 사용하여 획득되고, 제1 결정된 방향은 획득된 시선 데이터를 사용하여 결정된다.
블록(604)에서, 사용자 인터페이스 요소(예컨대, 404)가 디스플레이된다. 사용자 인터페이스 요소는 CSR 설정의 목적지 위치를 나타낸다. 목적지 위치는, 사용자 인터페이스 요소에 디스플레이될 때(예컨대, 도 4a의 뷰(406)), 현재 뷰에서 현재 위치의 디스플레이에 대해 더 큰 스케일로 디스플레이된다. 일부 실시예들에서, 제1 결정된 방향과 연관된 제1 시선 깊이가 결정되고, 사용자 인터페이스 요소의 콘텐츠의 더 큰 스케일은 제1 결정된 시선 깊이를 사용하여 결정된다.
일부 실시예들에서, 제1 결정된 방향과 연관된 제2 시선 깊이가 결정된다. 제2 시선 깊이는 제1 시선 깊이와 동일하거나 상이할 수 있다. 일부 실시예들에서, 사용자 인터페이스 요소(예컨대, 414)와 연관된 표시자가 디스플레이되고, 표시자는 결정된 제2 시선 깊이에 대응하는 치수를 갖는다. 일부 실시예들에서, 사용자 인터페이스 요소와 연관된 표시자가 디스플레이되고, 표시자는 CSR 설정에서 현재 위치와 목적지 위치 사이의 거리를 표현하는 치수를 갖는다. 일부 실시예들에서, 현재 위치와 목적지 위치 사이의 거리를 표현하는 치수의 값이 현재 위치와 목적지 위치 사이의 최대 거리를 표현하는 최대값이다. 일부 실시예들에서, 사용자 인터페이스 요소에서 목적지 위치의 디스플레이는 최대 스케일로 디스플레이된다.
블록(606)에서, 사용자 인터페이스 요소의 선택을 표현하는 입력을 수신하는 것에 응답하여, 현재 뷰의 디스플레이는 CSR 설정의 목적지 뷰(예컨대, 도 4b 또는 도 4d의 뷰(406))를 디스플레이하도록 수정되고, 목적지 뷰는 사용자 인터페이스 요소에서 디스플레이되는 목적지 위치를 나타낸다. 목적지 위치는, 목적지 뷰에 디스플레이될 때, 사용자 인터페이스 요소에서 목적지 위치의 디스플레이와 동일한 스케일로 디스플레이된다.
일부 실시예들에서, 목적지 뷰를 디스플레이하기 위해 현재 뷰의 디스플레이를 수정하는 것은 사용자 인터페이스 요소의 디스플레이를 확대하는 것을 포함한다. 일부 실시예들에서, 사용자 인터페이스 요소의 디스플레이를 확대하는 동안, 사용자 인터페이스 요소의 현재 뷰 및 콘텐츠는 제1 결정된 방향과는 상이한 제4 방향에 기초하여 패닝된다(예컨대, 뷰들(402, 404)이 도 4c와 도 4d 사이에서 패닝됨).
일부 실시예들에서, 목적지 뷰를 디스플레이하기 위해 현재 뷰의 디스플레이를 수정하는 것은 수신된 입력이 전자 디바이스를 향한 객체의 이동을 표현하는지 여부를 결정하는 것을 포함한다. 일부 실시예들에서, 수신된 입력이 전자 디바이스를 향한 객체의 이동을 표현한다고 결정하는 것에 응답하여, 사용자 인터페이스 요소는 객체의 이동의 크기에 따라 비례적으로 확대된다. 일부 실시예들에서, 목적지 뷰를 디스플레이하기 위해 현재 뷰의 디스플레이를 수정하는 것은 객체의 이동이 임계 거리를 초과하는지 여부를 결정하는 것을 포함한다. 일부 실시예들에서, 객체의 이동이 임계 거리를 초과한다고 결정하는 것에 응답하여, 현재 뷰의 디스플레이는 목적지 뷰의 디스플레이로 대체된다(예컨대, 도 4a의 뷰(402)는 도 4b의 뷰(406)에 의해 대체됨).
일부 실시예들에서, 목적지 뷰를 디스플레이하기 위해 현재 뷰의 디스플레이를 수정하는 것은 사용자 인터페이스 요소의 디스플레이를 수정하는 것을 포함한다. 사용자 인터페이스 요소의 콘텐츠는 사용자 인터페이스 요소의 디스플레이가 수정되고 있을 때 더 큰 스케일로 디스플레이된다.
일부 실시예들에서, 사용자 인터페이스 요소에 그리고 목적지 뷰 내에 디스플레이된 목적지 위치는 공통 결정된 방향으로부터 결정된 관점들로부터의 것이다(예컨대, 도 4a 및 도 4b의 뷰(406)는 공통 방향으로부터 결정된 관점들로부터의 것임). 일부 실시예들에서, 제2 관점은 제1 결정된 방향을 사용하여 결정된다. 일부 실시예들에서, 사용자 인터페이스 요소를 디스플레이하는 것은, 사용자 인터페이스 요소에, 제2 관점으로부터의 목적지 위치를 디스플레이하는 것을 포함한다(예컨대, 도 4a의 뷰(406)는 제2 관점으로부터의 것임).
일부 실시예들에서, 제1 결정된 방향과는 상이한 제2 방향이 결정되고, 결정된 제2 방향을 사용하여 제3 관점이 결정된다. 일부 실시예들에서, 사용자 인터페이스 요소를 디스플레이하는 것은, 사용자 인터페이스 요소에, 제3 관점으로부터의 CSR 설정의 목적지 위치를 디스플레이하는 것을 포함한다(예컨대, 도 4d의 뷰(406)는 제3 관점으로부터 디스플레이됨). 일부 실시예들에서, 현재 뷰의 디스플레이는 결정된 제2 방향을 사용하여 결정된 제4 관점으로부터 CSR 설정의 현재 위치를 디스플레이하도록 수정된다(예컨대, 뷰(402)는 도 4c와 도 4d 사이에서 수정됨).
일부 실시예들에서, 사용자 인터페이스 요소를 디스플레이하는 것은 전자 디바이스의 디스플레이의 복수의 픽셀들에서 사용자 인터페이스 요소를 디스플레이하는 것을 포함한다. 일부 실시예들에서, 제4 관점으로부터의 CSR 설정의 현재 위치를 디스플레이하기 위해 현재 뷰의 디스플레이를 수정하는 동안(예컨대, 뷰(402)가 도 4c와 도 4d 사이에서 수정됨), 사용자 인터페이스 요소는 현재 뷰가 제1 관점으로부터의 CSR 설정의 현재 위치를 나타냈을 때 사용자 인터페이스 요소를 디스플레이하는 데 사용된 복수의 픽셀들을 사용하여 계속해서 디스플레이된다.
전술된 방법들(500 및/또는 600)의 특징부들을 수행하기 위한 실행가능 명령어들은, 옵션적으로, 일시적인 또는 비일시적 컴퓨터 판독가능 저장 매체(예컨대, 메모리(들)(106)) 또는 하나 이상의 프로세서들(예컨대, 프로세서(들)(102))에 의한 실행을 위해 구성된 기타 컴퓨터 프로그램 제품에 포함된다.
전술된 기법들의 양태들은 CSR 설정들을 중심으로 이동할 때 사용자 경험을 개선하기 위해 개인 정보를 수집 및 사용할 가능성을 고려한다. 그러한 정보는 사용자의 고지에 입각한 동의에 따라 수집되어야 한다.
그러한 개인 정보를 다루는 엔티티들은 (예컨대, 이들은 제3자에 의해 보증되는) 잘 확립된 프라이버시 관례들 및/또는 프라이버시 정책들을 준수할 것이며, 이는 (1) 일반적으로 산업 또는 정부 요건을 충족하거나 초과하는 것으로 인식되고, (2) 사용자-액세스가능하고, (3) 필요에 따라 업데이트되고, (4) 적용가능한 법률들에 부합하는 것이다. 그러한 개인 정보를 다루는 엔티티들은, 적법한 사용들을 벗어나 공유하거나 판매하지 않고, 합리적이고 적법한 사용들을 위해 정보를 사용할 것이다.
그러나, 사용자들은 개인 정보의 액세스/사용을 선택적으로 제한할 수 있다. 예를 들어, 사용자들은 그들의 개인 정보의 수집을 동의하거나 동의하지 않을 수 있다. 또한, 전술된 기술들의 양태들이 개인 정보의 사용을 고려하지만, 기술들의 양태들은 개인 정보를 요구하거나 사용하지 않고서 구현될 수 있다. 예를 들어, 위치 정보, 사용자명들, 및/또는 주소들이 수집되면, 이들은 개인을 고유하게 식별하지 않도록 일반화되고/되거나 마스킹될 수 있다.
전술한 설명은, 설명의 목적을 위해, 특정 실시예들을 참조하여 설명되었다. 그러나, 위의 예시적인 논의들은 본 발명을 개시된 정확한 형태들로 규명하거나 제한하려는 의도는 아니다. 많은 수정들 및 변형들이 위의 교시 내용들에 비추어 가능하다. 실시예들은 기술들의 원리 및 그것들의 실제적인 응용을 가장 잘 설명하기 위하여 선택되고 기술되었다. 따라서, 통상의 기술자들은 고려된 특정 사용에 적합한 바와 같이 다양한 수정을 이용하여 기술들 및 다양한 실시예들을 최상으로 활용하는 것이 가능하게 된다.
본 개시내용 및 예들이 첨부의 도면들을 참조하여 충분히 기술되었지만, 당업자들에게 다양한 변경들 및 수정들이 명백할 것이라는 것에 주목하여야 한다. 그러한 변경들 및 수정들은 청구항들에 의해 정의되는 바와 같은 개시내용 및 예들의 범주 내에 포함되는 것으로 이해되어야 한다.

Claims (43)

  1. 컴퓨터 시뮬레이션된 현실(CSR) 설정을 중심으로 이동시키기 위한 방법으로서,
    하나 이상의 프로세서들 및 메모리를 갖는 전자 디바이스에서,
    상기 CSR 설정의 현재 뷰를 디스플레이하는 단계 - 상기 현재 뷰는 제1 결정된 방향에 대응하는 제1 관점으로부터 상기 CSR 설정의 현재 위치를 나타냄 -;
    상기 현재 위치로부터 가시적이 아닌 목적지 위치를 나타내는 사용자 인터페이스 요소를 디스플레이하는 단계; 및
    상기 사용자 인터페이스 요소의 선택을 표현하는 입력을 수신하는 것에 응답하여, 상기 목적지 위치를 나타내는 목적지 뷰를 디스플레이하도록 상기 현재 뷰의 상기 디스플레이를 수정하는 단계를 포함하고,
    상기 목적지 뷰를 디스플레이하도록 상기 현재 뷰의 상기 디스플레이를 수정하는 단계는 상기 사용자 인터페이스 요소를 확대하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 사용자 인터페이스 요소의 선택을 표현하는 상기 입력을 수신하기 전에,
    상기 제1 결정된 방향과는 상이한 제2 방향을 결정하는 단계; 및
    상기 제2 방향을 사용하여 결정된 제2 관점으로부터 상기 목적지 위치를 나타내도록 상기 사용자 인터페이스 요소의 상기 디스플레이를 수정하는 단계를 추가로 포함하는, 방법.
  3. 제2항에 있어서, 상기 사용자 인터페이스 요소의 상기 디스플레이를 수정하는 단계는 상기 사용자 인터페이스 요소를 변위시키는 단계를 포함하고, 상기 변위된 사용자 인터페이스 요소는 상기 제2 관점으로부터 상기 목적지 위치를 나타내는, 방법.
  4. 제2항 또는 제3항에 있어서,
    상기 제2 관점으로부터 상기 목적지 위치를 나타내도록 상기 사용자 인터페이스 요소의 상기 디스플레이를 수정하는 동안,
    상기 제2 방향을 사용하여 결정된 제3 관점으로부터 상기 CSR 설정의 현재 위치를 나타내도록 상기 현재 뷰를 수정하는 단계를 추가로 포함하는, 방법.
  5. 제4항에 있어서, 상기 사용자 인터페이스 요소를 디스플레이하는 단계는 상기 전자 디바이스의 디스플레이의 복수의 픽셀들을 사용하여 상기 사용자 인터페이스 요소를 디스플레이하는 단계를 포함하고, 상기 방법은,
    상기 제3 관점으로부터 상기 CSR 설정의 상기 현재 위치를 나타내도록 상기 현재 뷰를 수정하는 동안,
    상기 현재 뷰가 상기 제1 관점으로부터 상기 CSR 설정의 상기 현재 위치를 나타냈을 때, 상기 사용자 인터페이스 요소를 디스플레이하는 데 사용되는 상기 복수의 픽셀들을 사용하여 상기 사용자 인터페이스 요소를 계속해서 디스플레이하는 단계를 추가로 포함하는, 방법.
  6. 제2항에 있어서,
    상기 사용자 인터페이스 요소에서, 상기 제2 관점으로부터 상기 목적지 위치를 나타내는 동안,
    상기 제1 관점으로부터 상기 CSR 설정의 상기 현재 위치를 나타내는 상기 현재 뷰를 계속해서 디스플레이하는 단계를 추가로 포함하는, 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 사용자 인터페이스 요소의 상기 디스플레이를 확대하는 동안, 결정된 방향에 기초하여 상기 현재 뷰 및 상기 사용자 인터페이스 요소의 상기 콘텐츠를 패닝(panning)하는 단계를 추가로 포함하는, 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 목적지 뷰를 디스플레이하기 위해 상기 현재 뷰의 상기 디스플레이를 수정하는 단계는,
    상기 수신된 입력이 상기 전자 디바이스를 향한 객체의 이동을 표현하는지 여부를 결정하는 단계; 및
    상기 수신된 입력이 상기 전자 디바이스를 향한 상기 객체의 이동을 표현한다고 결정하는 것에 응답하여, 상기 이동의 크기에 따라 상기 사용자 인터페이스 요소를 비례적으로 확대하는 단계를 포함하는, 방법.
  9. 제8항에 있어서, 상기 목적지 뷰를 디스플레이하기 위해 상기 현재 뷰의 상기 디스플레이를 수정하는 단계는,
    상기 객체의 이동이 임계 거리를 초과하는지 여부를 결정하는 단계;
    상기 객체의 이동이 상기 임계 거리를 초과한다고 결정하는 것에 응답하여, 상기 현재 뷰의 상기 디스플레이를 상기 목적지 뷰의 디스플레이로 대체하는 단계를 포함하는, 방법.
  10. 제9항에 있어서,
    상기 현재 뷰의 상기 디스플레이를 상기 목적지 뷰의 상기 디스플레이로 대체한 후에,
    상기 현재 위치를 나타내는 제2 사용자 인터페이스 요소를 디스플레이하는 단계; 및
    상기 제2 사용자 인터페이스 요소의 선택을 표현하는 입력을 수신하는 것에 응답하여, 상기 현재 위치의 뷰를 디스플레이하기 위해 상기 목적지 뷰의 상기 디스플레이를 수정하는 단계를 추가로 포함하는, 방법.
  11. 제10항에 있어서, 상기 현재 위치의 상기 뷰를 디스플레이하기 위해 상기 목적지 뷰의 상기 디스플레이를 수정하는 단계는,
    상기 목적지 뷰의 상기 디스플레이를 상기 현재 위치의 상기 뷰의 디스플레이로 대체하는 단계를 포함하는, 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서, 상기 전자 디바이스는 머리-대면 센서(head-facing sensor)를 갖는 헤드 장착형 디스플레이이고, 상기 방법은,
    상기 머리-대면 센서를 사용하여 눈 시선을 표현하는 시선 데이터를 획득하는 단계; 및
    상기 획득된 시선 데이터를 사용하여 상기 제1 결정된 방향을 결정하는 단계를 추가로 포함하는, 방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서, 상기 목적지 위치를 나타내는 단계는, 상기 사용자 인터페이스 요소에, 상기 목적지 위치에 위치된 하나 이상의 가상 객체들의 이동을 디스플레이하는 단계를 포함하는, 방법.
  14. 제1항 내지 제13항 중 어느 한 항에 있어서, 상기 사용자 인터페이스 요소는 구형인, 방법.
  15. 제1항 내지 제14항 중 어느 한 항에 있어서, 상기 제1 결정된 방향은 제1 사용자에 대응하는 방향이고, 상기 목적지 뷰는 상기 제1 사용자와는 상이한 제2 사용자에 대응하는 결정된 방향에 대응하는 제4 관점으로부터 상기 목적지 위치를 나타내며, 상기 제2 사용자는 상기 목적지 위치에 위치되는, 방법.
  16. 전자 디바이스의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은 제1항 내지 제15항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  17. 전자 디바이스로서,
    하나 이상의 프로세서들; 및
    상기 하나 이상의 프로세서들에 의해 실행되도록 구성되는 하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 제1항 내지 제15항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스.
  18. 제1항 내지 제15항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는 전자 디바이스.
  19. 전자 디바이스의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은,
    CSR 설정의 현재 뷰를 디스플레이하는 것 - 상기 현재 뷰는 제1 결정된 방향에 대응하는 제1 관점으로부터 상기 CSR 설정의 현재 위치를 나타냄 -;
    상기 현재 위치로부터 가시적이 아닌 목적지 위치를 나타내는 사용자 인터페이스 요소를 디스플레이하는 것; 및
    상기 사용자 인터페이스 요소의 선택을 표현하는 입력을 수신하는 것에 응답하여, 상기 목적지 위치를 나타내는 목적지 뷰를 디스플레이하도록 상기 현재 뷰의 상기 디스플레이를 수정하는 것을 위한 명령어들을 포함하고,
    상기 목적지 뷰를 디스플레이하도록 상기 현재 뷰의 상기 디스플레이를 수정하는 것은 상기 사용자 인터페이스 요소를 확대하는 것을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  20. 전자 디바이스로서,
    하나 이상의 프로세서들; 및
    상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램들은,
    CSR 설정의 현재 뷰를 디스플레이하는 것 - 상기 현재 뷰는 제1 결정된 방향에 대응하는 제1 관점으로부터 상기 CSR 설정의 현재 위치를 나타냄 -;
    상기 현재 위치로부터 가시적이 아닌 목적지 위치를 나타내는 사용자 인터페이스 요소를 디스플레이하는 것; 및
    상기 사용자 인터페이스 요소의 선택을 표현하는 입력을 수신하는 것에 응답하여, 상기 목적지 위치를 나타내는 목적지 뷰를 디스플레이하도록 상기 현재 뷰의 상기 디스플레이를 수정하는 것을 위한 명령어들을 포함하고,
    상기 목적지 뷰를 디스플레이하도록 상기 현재 뷰의 상기 디스플레이를 수정하는 것은 상기 사용자 인터페이스 요소를 확대하는 것을 포함하는, 전자 디바이스.
  21. 전자 디바이스로서,
    CSR 설정의 현재 뷰를 디스플레이하기 위한 수단 - 상기 현재 뷰는 제1 결정된 방향에 대응하는 제1 관점으로부터 상기 CSR 설정의 현재 위치를 나타냄 -;
    상기 현재 위치로부터 가시적이 아닌 목적지 위치를 나타내는 사용자 인터페이스 요소를 디스플레이하기 위한 수단; 및
    상기 사용자 인터페이스 요소의 선택을 표현하는 입력을 수신하는 것에 응답하여, 상기 목적지 위치를 나타내는 목적지 뷰를 디스플레이하도록 상기 현재 뷰의 상기 디스플레이를 수정하기 위한 수단을 포함하고,
    상기 목적지 뷰를 디스플레이하도록 상기 현재 뷰의 상기 디스플레이를 수정하는 것은 상기 사용자 인터페이스 요소를 확대하는 것을 포함하는, 전자 디바이스.
  22. 컴퓨터 시뮬레이션된 현실(CSR) 설정을 중심으로 이동시키기 위한 방법으로서,
    하나 이상의 프로세서들 및 메모리를 갖는 전자 디바이스에서,
    CSR 설정의 현재 뷰를 디스플레이하는 단계 - 상기 현재 뷰는 제1 결정된 방향에 대응하는 제1 관점으로부터 상기 CSR 설정의 현재 위치를 나타냄 -;
    상기 CSR 설정의 목적지 위치를 나타내는 사용자 인터페이스 요소를 디스플레이하는 단계 - 상기 목적지 위치는 상기 사용자 인터페이스 요소에 디스플레이될 때, 상기 현재 뷰에서 상기 현재 위치의 상기 디스플레이에 대해 더 큰 스케일로 디스플레이됨 -; 및
    상기 사용자 인터페이스 요소의 선택을 표현하는 입력을 수신하는 것에 응답하여, 상기 CSR 설정의 목적지 뷰를 디스플레이하도록 상기 현재 뷰의 상기 디스플레이를 수정하는 단계 - 상기 목적지 뷰는 상기 사용자 인터페이스 요소에서 디스플레이되는 상기 목적지 위치를 나타냄 - 를 포함하고,
    상기 목적지 위치는, 상기 목적지 뷰에 디스플레이될 때, 상기 사용자 인터페이스 요소에서 상기 목적지 위치의 상기 디스플레이와 동일한 스케일로 디스플레이되는, 방법.
  23. 제22항에 있어서, 상기 사용자 인터페이스 요소 및 상기 목적지 뷰에서 디스플레이되는 상기 목적지 위치는, 공통 결정된 방향으로부터 결정된 관점들로부터의 것인, 방법.
  24. 제22항 또는 제23항에 있어서,
    상기 제1 결정된 방향을 사용하여 제2 관점을 결정하는 단계를 추가로 포함하고,
    상기 사용자 인터페이스 요소를 디스플레이하는 단계는,
    상기 사용자 인터페이스 요소에서, 상기 제2 관점으로부터 상기 목적지 위치를 디스플레이하는 단계를 포함하는, 방법.
  25. 제22항 내지 제24항 중 어느 한 항에 있어서,
    상기 제1 결정된 방향과는 상이한 제2 방향을 결정하는 단계; 및
    상기 결정된 제2 방향을 사용하여 제3 관점을 결정하는 단계를 추가로 포함하고,
    상기 사용자 인터페이스 요소를 디스플레이하는 단계는, 상기 사용자 인터페이스 요소에, 상기 제3 관점으로부터 상기 CSR 설정의 상기 목적지 위치를 디스플레이하는 단계를 포함하는, 방법.
  26. 제25항에 있어서,
    상기 결정된 제2 방향을 사용하여 결정된 제4 관점으로부터 상기 CSR 설정의 상기 현재 위치를 디스플레이하도록 상기 현재 뷰의 상기 디스플레이를 수정하는 단계를 추가로 포함하는, 방법.
  27. 제26항에 있어서, 상기 사용자 인터페이스 요소를 디스플레이하는 단계는 상기 전자 디바이스의 디스플레이의 복수의 픽셀들에서 상기 사용자 인터페이스 요소를 디스플레이하는 단계를 포함하고, 상기 방법은,
    상기 제4 관점으로부터 상기 CSR 설정의 상기 현재 위치를 디스플레이하도록 상기 현재 뷰의 상기 디스플레이를 수정하는 동안,
    상기 현재 뷰가 상기 제1 관점으로부터 상기 CSR 설정의 상기 현재 위치를 나타냈을 때, 상기 사용자 인터페이스 요소를 디스플레이하는 데 사용되는 상기 복수의 픽셀들을 사용하여 상기 사용자 인터페이스 요소를 계속해서 디스플레이하는 단계를 추가로 포함하는, 방법.
  28. 제22항 내지 제27항 중 어느 한 항에 있어서, 상기 목적지 뷰를 디스플레이하기 위해 상기 현재 뷰의 상기 디스플레이를 수정하는 단계는,
    상기 사용자 인터페이스 요소의 상기 디스플레이를 확대하는 단계; 및
    상기 사용자 인터페이스 요소의 상기 디스플레이를 확대하는 동안, 상기 제1 결정된 방향과는 상이한 제4 방향에 기초하여 상기 현재 뷰 및 상기 사용자 인터페이스 요소의 상기 콘텐츠를 패닝하는 단계를 포함하는, 방법.
  29. 제22항 내지 제28항 중 어느 한 항에 있어서, 상기 목적지 뷰를 디스플레이하기 위해 상기 현재 뷰의 상기 디스플레이를 수정하는 단계는,
    상기 수신된 입력이 상기 전자 디바이스를 향한 객체의 이동을 표현하는지 여부를 결정하는 단계; 및
    상기 수신된 입력이 상기 전자 디바이스를 향한 상기 객체의 이동을 표현한다고 결정하는 것에 응답하여, 상기 객체의 이동의 크기에 따라 상기 사용자 인터페이스 요소를 비례적으로 확대하는 단계를 포함하는, 방법.
  30. 제29항에 있어서, 상기 목적지 뷰를 디스플레이하기 위해 상기 현재 뷰의 디스플레이를 수정하는 단계는,
    상기 객체의 이동이 임계 거리를 초과하는지 여부를 결정하는 단계; 및
    상기 객체의 이동이 상기 임계 거리를 초과한다고 결정하는 것에 응답하여, 상기 현재 뷰의 상기 디스플레이를 상기 목적지 뷰의 디스플레이로 대체하는 단계를 포함하는, 방법.
  31. 제22항 내지 제30항 중 어느 한 항에 있어서, 상기 목적지 뷰를 디스플레이하기 위해 상기 현재 뷰의 디스플레이를 수정하는 단계는 상기 사용자 인터페이스 요소의 상기 디스플레이를 수정하는 단계를 포함하고, 상기 사용자 인터페이스 요소의 상기 콘텐츠는 상기 사용자 인터페이스 요소의 상기 디스플레이가 수정되고 있는 동안 더 큰 스케일로 디스플레이되는, 방법.
  32. 제22항 내지 제31항 중 어느 한 항에 있어서, 상기 전자 디바이스는 머리-대면 센서를 갖는 헤드 장착형 디스플레이이고, 상기 방법은,
    상기 머리-대면 센서를 사용하여 눈 시선을 표현하는 시선 데이터를 획득하는 단계; 및
    상기 획득된 시선 데이터를 사용하여 상기 제1 결정된 방향을 결정하는 단계를 추가로 포함하는, 방법.
  33. 제22항 내지 제32항 중 어느 한 항에 있어서,
    상기 제1 결정된 방향과 연관된 제1 시선 깊이를 결정하는 단계; 및
    상기 제1 결정된 시선 깊이를 사용하여 상기 사용자 인터페이스 요소의 상기 콘텐츠의 더 큰 스케일을 결정하는 단계를 추가로 포함하는, 방법.
  34. 제22항 내지 제33항 중 어느 한 항에 있어서,
    상기 제1 결정된 방향과 연관된 제2 시선 깊이를 결정하는 단계; 및
    상기 사용자 인터페이스 요소와 연관된 표시자를 디스플레이하는 단계를 추가로 포함하고, 상기 표시자는 상기 제2 결정된 시선 깊이에 대응하는 치수를 갖는, 방법.
  35. 제22항 내지 제34항 중 어느 한 항에 있어서,
    상기 사용자 인터페이스 요소와 연관된 표시자를 디스플레이하는 단계를 추가로 포함하고, 상기 표시자는 상기 CSR 설정에서 상기 현재 위치와 상기 목적지 위치 사이의 거리를 표현하는 치수를 갖는, 방법.
  36. 제35항에 있어서, 상기 현재 위치와 상기 목적지 위치 사이의 상기 거리를 표현하는 상기 치수의 값은 상기 현재 위치와 상기 목적지 위치 사이의 최대 거리를 표현하는 최대값인, 방법.
  37. 제36항에 있어서, 상기 사용자 인터페이스 요소에서 상기 목적지 위치의 상기 디스플레이는 최대 스케일로 디스플레이되는, 방법.
  38. 전자 디바이스의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은 제22항 내지 제37항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  39. 전자 디바이스로서,
    하나 이상의 프로세서들; 및
    상기 하나 이상의 프로세서들에 의해 실행되도록 구성되는 하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 제22항 내지 제37항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스.
  40. 제22항 내지 제37항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는 전자 디바이스.
  41. 전자 디바이스의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은,
    CSR 설정의 현재 뷰를 디스플레이하는 것 - 상기 현재 뷰는 제1 결정된 방향에 대응하는 제1 관점으로부터 상기 CSR 설정의 현재 위치를 나타냄 -;
    상기 CSR 설정의 목적지 위치를 나타내는 사용자 인터페이스 요소를 디스플레이하는 것 - 상기 목적지 위치는 상기 사용자 인터페이스 요소에 디스플레이될 때, 상기 현재 뷰에서 상기 현재 위치의 상기 디스플레이에 대해 더 큰 스케일로 디스플레이됨 -; 및
    상기 사용자 인터페이스 요소의 선택을 표현하는 입력을 수신하는 것에 응답하여, 상기 CSR 설정의 목적지 뷰를 디스플레이하도록 상기 현재 뷰의 상기 디스플레이를 수정하는 것을 위한 명령어들 - 상기 목적지 뷰는 상기 사용자 인터페이스 요소에서 디스플레이되는 상기 목적지 위치를 나타냄 - 을 포함하고,
    상기 목적지 위치는, 상기 목적지 뷰에 디스플레이될 때, 상기 사용자 인터페이스 요소에서 상기 목적지 위치의 상기 디스플레이와 동일한 스케일로 디스플레이되는, 비일시적 컴퓨터 판독가능 저장 매체.
  42. 전자 디바이스로서,
    하나 이상의 프로세서들; 및
    상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램들은,
    CSR 설정의 현재 뷰를 디스플레이하는 것 - 상기 현재 뷰는 제1 결정된 방향에 대응하는 제1 관점으로부터 상기 CSR 설정의 현재 위치를 나타냄 -;
    상기 CSR 설정의 목적지 위치를 나타내는 사용자 인터페이스 요소를 디스플레이하는 것 - 상기 목적지 위치는 상기 사용자 인터페이스 요소에 디스플레이될 때, 상기 현재 뷰에서 상기 현재 위치의 상기 디스플레이에 대해 더 큰 스케일로 디스플레이됨 -; 및
    상기 사용자 인터페이스 요소의 선택을 표현하는 입력을 수신하는 것에 응답하여, 상기 CSR 설정의 목적지 뷰를 디스플레이하도록 상기 현재 뷰의 상기 디스플레이를 수정하는 것을 위한 명령어들 - 상기 목적지 뷰는 상기 사용자 인터페이스 요소에서 디스플레이되는 상기 목적지 위치를 나타냄 - 을 포함하고,
    상기 목적지 위치는, 상기 목적지 뷰에 디스플레이될 때, 상기 사용자 인터페이스 요소에서 상기 목적지 위치의 상기 디스플레이와 동일한 스케일로 디스플레이되는, 전자 디바이스.
  43. 전자 디바이스로서,
    CSR 설정의 현재 뷰를 디스플레이하기 위한 수단 - 상기 현재 뷰는 제1 결정된 방향에 대응하는 제1 관점으로부터 상기 CSR 설정의 현재 위치를 나타냄 -;
    상기 CSR 설정의 목적지 위치를 나타내는 사용자 인터페이스 요소를 디스플레이하기 위한 수단 - 상기 목적지 위치는 상기 사용자 인터페이스 요소에 디스플레이될 때, 상기 현재 뷰에서 상기 현재 위치의 상기 디스플레이에 대해 더 큰 스케일로 디스플레이됨 -; 및
    상기 사용자 인터페이스 요소의 선택을 표현하는 입력을 수신하는 것에 응답하여, 상기 CSR 설정의 목적지 뷰를 디스플레이하도록 상기 현재 뷰의 상기 디스플레이를 수정하기 위한 수단 - 상기 목적지 뷰는 상기 사용자 인터페이스 요소에서 디스플레이되는 상기 목적지 위치를 나타냄 - 을 포함하고,
    상기 목적지 위치는, 상기 목적지 뷰에 디스플레이될 때, 상기 사용자 인터페이스 요소에서 상기 목적지 위치의 상기 디스플레이와 동일한 스케일로 디스플레이되는, 전자 디바이스.
KR1020207031568A 2018-05-02 2019-05-01 설정을 중심으로 한 이동 KR102546535B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862666015P 2018-05-02 2018-05-02
US62/666,015 2018-05-02
US201962831012P 2019-04-08 2019-04-08
US62/831,012 2019-04-08
PCT/US2019/030120 WO2019213200A1 (en) 2018-05-02 2019-05-01 Moving about a computer simulated reality setting

Publications (2)

Publication Number Publication Date
KR20200138376A true KR20200138376A (ko) 2020-12-09
KR102546535B1 KR102546535B1 (ko) 2023-06-23

Family

ID=66530485

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207031568A KR102546535B1 (ko) 2018-05-02 2019-05-01 설정을 중심으로 한 이동

Country Status (6)

Country Link
US (2) US11320958B2 (ko)
EP (1) EP3788464B1 (ko)
JP (1) JP7155291B2 (ko)
KR (1) KR102546535B1 (ko)
CN (1) CN112292657A (ko)
WO (1) WO2019213200A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11320958B2 (en) 2018-05-02 2022-05-03 Apple Inc. Moving about a setting
KR102508286B1 (ko) * 2018-08-27 2023-03-09 삼성전자 주식회사 가상 현실에서 정보를 제공하는 전자 장치 및 방법
DE102020104415A1 (de) * 2019-02-22 2020-08-27 Apple Inc. Bewegung in einer umgebung
JP6989199B1 (ja) 2021-10-06 2022-01-05 クラスター株式会社 情報処理装置
US11995232B1 (en) 2022-12-09 2024-05-28 Shopify Inc. Systems and methods for responsive user interface based on gaze depth

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160350972A1 (en) * 2015-05-26 2016-12-01 Google Inc. Multidimensional graphical method for entering and exiting applications and activities in immersive media
US20170160815A1 (en) * 2015-12-03 2017-06-08 Google Inc. Teleportation in an augmented and/or virtual reality environment

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060119598A1 (en) 2004-12-08 2006-06-08 Evil Twin Studios, Inc. System and method for communicating travel progress within a virtual environment
JP2007292713A (ja) * 2006-03-30 2007-11-08 Denso Corp ナビゲーション装置
US7889212B2 (en) 2006-09-07 2011-02-15 Apple Inc. Magnifying visual information using a center-based loupe
US8560224B2 (en) * 2008-04-14 2013-10-15 Alpine Electronics, Inc. Method and apparatus for establishing optimum route to intersection destination for navigation system
US20090286598A1 (en) 2008-05-16 2009-11-19 International Business Machines Corporation System And Method Of Deterministic Teleportation Within A Virtual World
JP5171386B2 (ja) * 2008-05-19 2013-03-27 キヤノン株式会社 コンテンツ管理装置、コンテンツ管理方法、プログラム及び記録媒体
US20100079413A1 (en) * 2008-09-29 2010-04-01 Denso Corporation Control device
US8407613B2 (en) * 2009-07-13 2013-03-26 Apple Inc. Directory management on a portable multifunction device
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
JP5762944B2 (ja) * 2011-12-28 2015-08-12 京セラ株式会社 装置、方法、及びプログラム
JP6124517B2 (ja) 2012-06-01 2017-05-10 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
US10176633B2 (en) * 2012-06-05 2019-01-08 Apple Inc. Integrated mapping and navigation application
JP6060536B2 (ja) * 2012-06-27 2017-01-18 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
KR102005315B1 (ko) * 2012-07-23 2019-07-30 삼성전자 주식회사 클라우드 서비스 지원 방법과 시스템 및 이를 지원하는 단말기
DE102013016732A1 (de) * 2012-10-09 2014-04-10 Htc Corp. Verfahren zum zoomen auf einem bildschirm und elektronische vorrichtung und computerlesbares medium, die selbiges verwenden
CN105474189B (zh) * 2013-09-03 2019-07-12 飞力凯网路股份有限公司 信息处理终端和信息处理方法
JP2015148991A (ja) * 2014-02-07 2015-08-20 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
EP4206870A1 (en) * 2014-06-14 2023-07-05 Magic Leap, Inc. Method for updating a virtual world
US10365807B2 (en) * 2015-03-02 2019-07-30 Apple Inc. Control of system zoom magnification using a rotatable input mechanism
CN107912061B (zh) 2015-03-06 2021-06-01 伊利诺斯工具制品有限公司 用于焊接的传感器辅助头戴式显示器
US20160353012A1 (en) 2015-05-25 2016-12-01 Htc Corporation Zooming control method for camera and electronic apparatus with camera
EP3101629B1 (en) 2015-06-04 2021-03-17 Nokia Technologies Oy Mediated reality
US20170228931A1 (en) * 2016-02-08 2017-08-10 Google Inc. Limited field of view in virtual reality
WO2017147909A1 (zh) * 2016-03-04 2017-09-08 华为技术有限公司 目标设备的控制方法和装置
US10567739B2 (en) 2016-04-22 2020-02-18 Intel Corporation Synthesis of transformed image views
JP6929361B2 (ja) 2016-11-15 2021-09-01 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ 仮想現実システムのための入力コントローラ安定化技術
JP6350695B2 (ja) 2017-02-10 2018-07-04 株式会社リコー 装置、方法、およびプログラム
KR20180099182A (ko) 2017-02-28 2018-09-05 엘지전자 주식회사 헤드 마운티드 디스플레이를 포함하는 시스템 및 그 제어 방법
US20190188893A1 (en) * 2017-12-18 2019-06-20 Dataview Vr, Llc Simulated reality data representation system and method
US11320958B2 (en) 2018-05-02 2022-05-03 Apple Inc. Moving about a setting
DE102020104415A1 (de) 2019-02-22 2020-08-27 Apple Inc. Bewegung in einer umgebung

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160350972A1 (en) * 2015-05-26 2016-12-01 Google Inc. Multidimensional graphical method for entering and exiting applications and activities in immersive media
US20170160815A1 (en) * 2015-12-03 2017-06-08 Google Inc. Teleportation in an augmented and/or virtual reality environment

Also Published As

Publication number Publication date
KR102546535B1 (ko) 2023-06-23
US11320958B2 (en) 2022-05-03
US11714519B2 (en) 2023-08-01
EP3788464B1 (en) 2023-08-16
EP3788464A1 (en) 2021-03-10
CN112292657A (zh) 2021-01-29
JP2021520573A (ja) 2021-08-19
US20220179542A1 (en) 2022-06-09
US20210232288A1 (en) 2021-07-29
JP7155291B2 (ja) 2022-10-18
WO2019213200A1 (en) 2019-11-07

Similar Documents

Publication Publication Date Title
US11756269B2 (en) Tangibility visualization of virtual objects within a computer-generated reality environment
KR102552403B1 (ko) 물리적 경계 검출
KR102546535B1 (ko) 설정을 중심으로 한 이동
KR20200016798A (ko) 2d/3d 혼합 콘텐츠의 검출 및 디스플레이
JP2020042802A (ja) ３次元コンテンツ内の場所に基づく仮想要素モダリティ
JP7081052B2 (ja) 模擬現実（ｓｒ）におけるデバイス共有及び対話性の表示
CN112041788B (zh) 使用眼睛注视来选择文本输入字段
KR20230003154A (ko) 3차원 환경들에서 아바타들의 제시
US11900520B1 (en) Specifying effects for entering or exiting a computer-generated reality environment
CN116778368A (zh) 使用语义分割的平面检测
US10984607B1 (en) Displaying 3D content shared from other devices
US20230215079A1 (en) Method and Device for Tailoring a Synthesized Reality Experience to a Physical Setting
US11430198B1 (en) Method and device for orientation-based view switching
US11315215B2 (en) Movement within an environment
CN112987914A (zh) 用于内容放置的方法和设备
CN117043722A (zh) 用于地图的设备、方法和图形用户界面
KR20230116765A (ko) 다중 카메라 홀 충전을 위한 방법 및 디바이스
CN113678173A (zh) 用于虚拟对象的基于图绘的放置的方法和设备
US11308716B1 (en) Tailoring a computer-generated reality experience based on a recognized object
US10964056B1 (en) Dense-based object tracking using multiple reference images
CN112581628A (zh) 用于解决焦点冲突的方法和设备

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant