KR20220032653A - 증강 및 가상 현실 환경들과 상호작용하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들 - Google Patents

증강 및 가상 현실 환경들과 상호작용하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들 Download PDF

Info

Publication number
KR20220032653A
KR20220032653A KR1020227007567A KR20227007567A KR20220032653A KR 20220032653 A KR20220032653 A KR 20220032653A KR 1020227007567 A KR1020227007567 A KR 1020227007567A KR 20227007567 A KR20227007567 A KR 20227007567A KR 20220032653 A KR20220032653 A KR 20220032653A
Authority
KR
South Korea
Prior art keywords
virtual
input
cameras
view
user interface
Prior art date
Application number
KR1020227007567A
Other languages
English (en)
Other versions
KR102540163B1 (ko
Inventor
마크 케이. 하웬스타인
조셉 에이. 말리아
줄리안 미시그
마테우스 크렌
루카스 로버트 톰 걸링
아미르 호프눙
마탄 스타우버
제프리 티. 번스타인
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Priority to KR1020237018429A priority Critical patent/KR102606618B1/ko
Priority claimed from PCT/US2018/048884 external-priority patent/WO2019046597A1/en
Publication of KR20220032653A publication Critical patent/KR20220032653A/ko
Application granted granted Critical
Publication of KR102540163B1 publication Critical patent/KR102540163B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

컴퓨터 시스템은, 증강 현실 환경을 디스플레이하는 동안, 물리적 객체를 포함하는 하나 이상의 카메라들의 시야 내의 적어도 일부분의 표현 및 가상 사용자 인터페이스 객체를 시야 내의 각자의 물리적 객체의 위치에 기초하여 결정된 시야 내의 표현에서의 위치에 동시에 디스플레이한다. 증강 현실 환경을 디스플레이하는 동안, 증강 현실 환경에 대한 가상 환경 설정을 변경하는 입력을 검출한 것에 응답하여, 컴퓨터 시스템은 가상 환경 설정에 가해진 변경에 따라 가상 사용자 인터페이스 객체의 외관을 조정하고, 시야의 표현의 적어도 일부분에, 가상 환경 설정에 가해진 변경에 기초하여 선택된 필터를 적용한다.

Description

증강 및 가상 현실 환경들과 상호작용하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들{SYSTEMS, METHODS, AND GRAPHICAL USER INTERFACES FOR INTERACTING WITH AUGMENTED AND VIRTUAL REALITY ENVIRONMENTS}
본 발명은 일반적으로 증강 및 가상 현실 환경들과 상호작용하기 위한 전자 디바이스들을 포함하지만 이로 제한되지 않는 가상/증강 현실을 위한 컴퓨터 시스템들에 관한 것이다.
가상/증강 현실을 위한 컴퓨터 시스템들의 개발은 최근에 상당히 증가하였다. 예시적인 가상/증강 현실 환경들은 물리적 세계를 대체하거나 증강시키는 적어도 일부 가상 요소들을 포함한다. 컴퓨터 시스템들 및 다른 전자 컴퓨팅 디바이스들에 대한, 터치 감응형 표면들과 같은 입력 디바이스들은 가상/증강 현실 환경들과 상호작용하는 데 사용된다. 예시적인 터치 감응형 표면들은 터치패드들, 터치 감응형 원격 제어부들 및 터치 스크린 디스플레이들을 포함한다. 그러한 표면들은 디스플레이 상의 사용자 인터페이스들 및 그 내부의 객체들을 조작하는 데 사용된다. 예시적인 사용자 인터페이스 객체들은 디지털 이미지들, 비디오, 텍스트, 아이콘들, 버튼들과 같은 제어 요소들, 및 기타 그래픽들을 포함한다.
그러나, 적어도 일부 가상 요소들(예를 들어, 증강 현실 환경들, 혼합 현실 환경들, 및 가상 현실 환경들)을 포함하는 환경들과 상호작용하기 위한 방법들 및 인터페이스들은 번거롭고, 비효율적이고, 제한된다. 예를 들어, 입력들의 시퀀스를 사용하여 하나 이상의 사용자 인터페이스 객체들(예를 들어, 가상/증강 현실 환경 내의 하나 이상의 가상 요소들)를 선택하고 선택된 사용자 인터페이스 객체들 상에서 하나 이상의 동작들을 수행하는 것은 지루하고, 사용자에 대한 상당한 인지적 부담을 생성하고, 가상/증강 현실 환경 내에서의 경험을 감쇄시킨다. 게다가, 이러한 방법들은 필요 이상으로 오래 걸려서, 에너지가 낭비된다. 이러한 후자의 고려사항은 배터리-작동형 디바이스들에서 특히 중요하다.
따라서, 증강 및 가상 현실 환경들과 상호작용하기 위한 개선된 방법들 및 인터페이스들을 갖는 컴퓨터 시스템들이 필요하다. 이러한 방법들 및 인터페이스들은 옵션적으로 증강 및 가상 현실 환경들과 상호 작용하기 위한 종래의 방법들을 보완하거나 대체한다. 이러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 줄이고 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 디바이스들의 경우, 그러한 방법들 및 인터페이스들은 전력을 절약하고 배터리 충전들 사이의 시간을 증가시킨다.
가상/증강 현실을 위한 사용자 인터페이스들과 연관된 상기의 결함들 및 다른 문제들은 개시된 컴퓨터 시스템들에 의해 감소되거나 제거된다. 일부 실시예들에서, 컴퓨터 시스템은 데스크톱 컴퓨터를 포함한다. 일부 실시예들에서, 컴퓨터 시스템은 휴대용(예를 들어, 노트북 컴퓨터, 태블릿 컴퓨터, 또는 핸드헬드 디바이스)이다. 일부 실시예들에서, 컴퓨터 시스템은 개인용 전자 디바이스(예를 들어, 워치와 같은 웨어러블 전자 디바이스)를 포함한다. 일부 실시예들에서, 컴퓨터 시스템은 터치패드를 갖는다(그리고/또는 터치패드와 통신함). 일부 실시예들에서, 컴퓨터 시스템은 터치 감응형 디스플레이("터치 스크린" 또는 "터치 스크린 디스플레이"로도 알려짐)를 갖는다(그리고/또는 터치 감응형 디스플레이와 통신함). 일부 실시예들에서, 컴퓨터 시스템은 그래픽 사용자 인터페이스(GUI), 하나 이상의 프로세서들, 메모리, 및 다수의 기능들을 수행하기 위해 메모리에 저장되는 하나 이상의 모듈들, 프로그램들 또는 명령어들의 세트들을 갖는다. 일부 실시예들에서, 사용자는 부분적으로 터치 감응형 표면 상의 스타일러스 및/또는 손가락 접촉들 및 제스처들을 통해 GUI와 상호작용한다. 일부 실시예들에서, 기능들은 옵션적으로 게임 하기, 이미지 편집, 그리기, 프레젠팅(presenting), 워드 프로세싱, 스프레드시트 작성, 전화 걸기, 화상 회의, 이메일 보내기, 인스턴트 메시징(instant messaging), 운동 지원, 디지털 사진촬영, 디지털 비디오 녹화, 웹 브라우징, 디지털 음악 재생, 메모하기(note taking), 및/또는 디지털 비디오 재생을 포함한다. 이러한 기능들을 수행하기 위한 실행가능한 명령어들은 옵션적으로 하나 이상의 프로세서들에 의한 실행을 위해 구성된 비일시적 컴퓨터 판독가능 저장 매체 또는 다른 컴퓨터 프로그램 제품에 포함된다.
일부 실시예들에 따르면, 디스플레이 생성 컴포넌트, 하나 이상의 카메라들 및 입력 디바이스를 갖는 컴퓨터 시스템에서 방법이 수행된다. 방법은 디스플레이 생성 컴포넌트를 통해 증강 현실 환경을 디스플레이하는 단계를 포함한다. 증강 현실 환경을 디스플레이하는 단계는, 각자의 물리적 객체를 포함하는, 하나 이상의 카메라들의 시야의 적어도 일부분의 표현 - 표현은 하나 이상의 카메라들의 시야의 콘텐츠들이 변경됨에 따라 업데이트됨 -; 및 하나 이상의 카메라들의 시야의 표현 내의 각자의 위치에 각자의 가상 사용자 인터페이스 객체를 동시에 디스플레이하는 단계를 포함하고, 각자의 가상 사용자 인터페이스 객체는 하나 이상의 카메라들의 시야 내의 각자의 물리적 객체에 기초하여 결정되는 위치를 갖는다. 방법은 또한, 증강 현실 환경을 디스플레이하는 동안, 각자의 가상 사용자 인터페이스 객체에 대응하는 위치에서 입력을 검출하는 단계를 포함한다. 방법은 입력을 계속해서 검출하는 동안, 하나 이상의 카메라들의 시야 내의 각자의 물리적 객체에 대한 입력의 이동을 검출하는 단계; 및 하나 이상의 카메라들의 시야 내의 각자의 물리적 객체에 대한 입력의 이동을 검출한 것에 응답하여, 각자의 물리적 객체에 대한 입력의 이동의 크기에 따라 각자의 가상 사용자 인터페이스 객체의 외관을 조정하는 단계를 더 포함한다.
일부 실시예들에 따르면, 디스플레이 생성 컴포넌트, 하나 이상의 카메라들 및 입력 디바이스를 갖는 컴퓨터 시스템에서 방법이 수행된다. 방법은 디스플레이 생성 컴포넌트를 통해 증강 현실 환경을 디스플레이하는 단계를 포함한다. 증강 현실 환경을 디스플레이하는 단계는, 각자의 물리적 객체를 포함하는, 하나 이상의 카메라들의 시야의 적어도 일부분의 표현 - 표현은 하나 이상의 카메라들의 시야의 콘텐츠들이 변경됨에 따라 업데이트됨 -; 및 하나 이상의 카메라들의 시야의 표현 내의 각자의 위치에 각자의 가상 사용자 인터페이스 객체를 동시에 디스플레이하는 단계를 포함하고, 각자의 가상 사용자 인터페이스 객체는 하나 이상의 카메라들의 시야 내의 각자의 물리적 객체에 기초하여 결정되는 위치를 갖는다. 방법은 또한, 증강 현실 환경을 디스플레이하는 동안, 증강 현실 환경에 대한 가상 환경 설정을 변경하는 입력을 검출하는 단계를 포함한다. 방법은 가상 환경 설정을 변경하는 입력을 검출한 것에 응답하여, 증강 현실 환경에 대한 가상 환경 설정에 가해진 변경에 따라 각자의 가상 사용자 인터페이스 객체의 외관을 조정하는 단계; 및 하나 이상의 카메라들의 시야의 표현의 적어도 일부분에 필터를 적용하는 단계를 더 포함하고, 필터는 가상 환경 설정에 가해진 변경에 기초하여 선택된다.
일부 실시예들에 따르면, 디스플레이 생성 컴포넌트, 하나 이상의 카메라들 및 입력 디바이스를 갖는 컴퓨터 시스템에서 방법이 수행된다. 방법은 디스플레이 생성 컴포넌트를 통해 증강 현실 환경을 디스플레이하는 단계를 포함한다. 증강 현실 환경을 디스플레이하는 단계는, 각자의 물리적 객체를 포함하는, 하나 이상의 카메라들의 시야의 적어도 일부분의 표현 - 표현은 하나 이상의 카메라들의 시야의 콘텐츠들이 변경됨에 따라 업데이트됨 -; 및 하나 이상의 카메라들의 시야의 표현 내의 각자의 위치에 디스플레이되는 가상 모델 내의 제1 가상 사용자 인터페이스 객체를 동시에 디스플레이하는 단계를 포함하고, 제1 가상 사용자 인터페이스 객체는 하나 이상의 카메라들의 시야 내의 각자의 물리적 객체에 기초하여 결정되는 위치를 갖는다. 방법은 또한, 증강 현실 환경을 디스플레이하는 동안, 제1 가상 사용자 인터페이스 객체의 선택에 대응하는 제1 입력을 검출하는 단계; 및 제1 가상 사용자 인터페이스 객체의 선택에 대응하는 제1 입력을 검출한 것에 응답하여, 가상 모델 내의 제1 가상 사용자 인터페이스 객체의 관점에서 본(from a perspective of) 가상 모델의 시뮬레이션된 시야를 디스플레이하는 단계를 포함한다.
일부 실시예들에 따르면, 디스플레이 생성 컴포넌트 및 입력 디바이스를 갖는 컴퓨터 시스템에서 방법이 수행된다. 방법은, 디스플레이 생성 컴포넌트를 통해, 가상 3차원 공간 내의 제1 가상 사용자 인터페이스 객체를 디스플레이하는 단계를 포함한다. 방법은 또한, 가상 3차원 공간 내의 제1 가상 사용자 인터페이스 객체를 디스플레이하는 동안, 입력 디바이스를 통해, 제1 가상 사용자 인터페이스 객체의 각자의 부분의 선택 및 2차원에서의 제1 입력의 이동을 포함하는 제1 입력을 검출하는 단계를 포함한다. 방법은, 2차원에서의 제1 입력의 이동을 포함하는 제1 입력을 검출한 것에 응답하여: 제1 가상 사용자 인터페이스 객체의 각자의 부분이 제1 가상 사용자 인터페이스 객체의 제1 부분이라는 결정에 따라, 2차원에서의 제1 입력의 이동 및 선택된 제1 가상 사용자 인터페이스 객체의 제1 부분에 기초하여 결정되는 제1 방향으로 제1 가상 사용자 인터페이스 객체의 외관을 조정하는 단계 - 제1 방향으로의 제1 가상 사용자 인터페이스 객체의 조정은 가상 3차원 공간의 2차원들의 제1 세트에서의 이동으로 제약됨 -; 및 제1 가상 사용자 인터페이스 객체의 각자의 부분이 제1 가상 사용자 인터페이스 객체의 제1 부분과 구별되는 제1 가상 사용자 인터페이스 객체의 제2 부분이라는 결정에 따라, 제1 방향과 상이한 제2 방향으로 제1 가상 사용자 인터페이스 객체의 외관을 조정하는 단계를 더 포함하며, 제2 방향은 2차원에서의 제1 입력의 이동 및 선택된 제1 가상 사용자 인터페이스 객체의 제2 부분에 기초하여 결정되고, 제2 방향으로의 제1 가상 사용자 인터페이스 객체의 조정은 가상 3차원 공간의 2차원들의 제1 세트와 상이한 가상 3차원 공간의 2차원들의 제2 세트에서의 이동으로 제약된다.
일부 실시예들에 따르면, 디스플레이 생성 컴포넌트, 하나 이상의 자세 센서들 및 입력 디바이스를 갖는 컴퓨터 시스템에서 방법이 수행된다. 방법은, 제1 관찰 모드에서, 디스플레이 생성 컴포넌트를 통해, 컴퓨터 시스템의 물리적 환경에 대해 배향되는 시뮬레이션된 환경을 디스플레이하는 단계를 포함하며, 시뮬레이션된 환경을 제1 관찰 모드에서 디스플레이하는 단계는 컴퓨터 시스템의 물리적 환경과 연관된 시뮬레이션된 환경의 제1 각자의 위치에 디스플레이되는 가상 모델 내의 제1 가상 사용자 인터페이스 객체를 디스플레이하는 것을 포함한다. 방법은 또한, 시뮬레이션된 환경을 디스플레이하는 동안, 하나 이상의 자세 센서들을 통해, 물리적 환경에 대한 컴퓨터 시스템의 적어도 일부분의 자세의 제1 변경을 검출하는 단계; 및 컴퓨터 시스템의 일부분의 자세의 제1 변경을 검출한 것에 응답하여, 제1 가상 사용자 인터페이스 객체와 물리적 환경 사이의 고정된 공간적 관계를 유지하도록 가상 모델 내의 제1 가상 사용자 인터페이스 객체의 외관을 변경하는 단계를 포함한다. 방법은, 컴퓨터 시스템의 일부분의 자세의 제1 변경에 기초하여 제1 가상 사용자 인터페이스 객체의 외관을 변경한 후에, 입력 디바이스를 통해, 시뮬레이션된 환경과의 상호작용에 대응하는 제1 제스처를 검출하는 단계; 및 시뮬레이션된 환경과의 상호작용에 대응하는 제1 제스처를 검출한 것에 응답하여, 제1 제스처에 대응하는 시뮬레이션된 환경 내에서 동작을 수행하는 단계를 추가로 포함한다. 또한, 방법은, 제1 제스처에 대응하는 동작을 수행한 후에, 하나 이상의 자세 센서들을 통해, 물리적 환경에 대한 컴퓨터 시스템의 일부분의 자세의 제2 변경을 검출하는 단계; 및 컴퓨터 시스템의 일부분의 자세의 제2 변경을 검출한 것에 응답하여: 제1 제스처가 모드 변경 기준들을 충족했다는 결정에 따라 - 모드 변경 기준들은 제1 제스처가 물리적 환경에 대한 시뮬레이션된 환경의 공간 파라미터를 변경하는 입력에 대응한다는 요건을 포함함 -, 가상 모델을 포함하는 시뮬레이션된 환경을 제1 관찰 모드에서 디스플레이하는 것으로부터 가상 모델을 포함하는 시뮬레이션된 환경을 제2 관찰 모드에서 디스플레이하는 것으로 전이하는 단계 - 시뮬레이션된 환경 내의 가상 모델을 제2 관찰 모드에서 디스플레이하는 것은 제1 가상 사용자 인터페이스 객체와 물리적 환경 사이의 고정된 공간적 관계를 유지하기 위해 제1 가상 사용자 인터페이스 객체의 외관을 변경하는 것을 보류하는 것을 포함함 -; 및 제1 제스처가 모드 변경 기준들을 충족하지 않았다는 결정에 따라, 시뮬레이션된 환경 내의 제1 가상 모델을 제1 관찰 모드에서 계속해서 디스플레이하는 단계를 포함하며, 가상 모델을 제1 관찰 모드에서 디스플레이하는 것은 물리적 환경에 대한 컴퓨터 시스템의 일부분의 자세의 제2 변경에 응답하여, 제1 가상 사용자 인터페이스 객체와 물리적 환경 사이의 고정된 공간적 관계를 유지하도록 가상 모델 내의 제1 가상 사용자 인터페이스 객체의 외관을 변경하는 단계를 포함한다.
일부 실시예들에 따르면, 방법은 제1 디스플레이 생성 컴포넌트, 하나 이상의 제1 자세 센서들 및 제1 입력 디바이스를 갖는 제1 컴퓨터 시스템에서 수행된다. 방법은, 제1 컴퓨터 시스템의 제1 디스플레이 생성 컴포넌트를 통해, 제1 컴퓨터 시스템의 제1 물리적 환경에 대해 배향되는 시뮬레이션된 환경을 디스플레이하는 단계를 포함하고, 시뮬레이션된 환경을 디스플레이하는 단계는, 제1 컴퓨터 시스템의 제1 물리적 환경과 연관된 시뮬레이션된 환경 내의 각자의 위치에 디스플레이되는 가상 모델 내의 제1 가상 사용자 인터페이스 객체; 및 시뮬레이션된 환경의 제2 컴퓨터 시스템의 관찰 관점의 시각적 표시를 동시에 디스플레이하는 단계를 포함하고, 제2 컴퓨터 시스템은 제2 디스플레이 생성 컴포넌트, 하나 이상의 제2 자세 센서들, 및 제2 입력 디바이스를 가지고, 제2 컴퓨터 시스템의 제2 디스플레이 생성 컴포넌트를 통해, 제2 컴퓨터 시스템의 제2 물리적 환경에 대해 배향되는 시뮬레이션된 환경의 뷰를 디스플레이하는 컴퓨터 시스템이다. 방법은 또한, 제1 컴퓨터 시스템의 제1 디스플레이 생성 컴포넌트를 통해 시뮬레이션된 환경을 디스플레이하는 동안, 제2 컴퓨터 시스템의 제2 물리적 환경에 대한 제2 컴퓨터 시스템의 일부분의 자세의 변경에 기초하여 시뮬레이션된 환경의 제2 컴퓨터 시스템의 관찰 관점의 변경을 검출하는 단계를 포함한다. 방법은 제2 컴퓨터 시스템의 물리적 환경에 대한 제2 컴퓨터 시스템의 일부분의 자세의 변경에 기초하여 시뮬레이션된 환경의 제2 컴퓨터 시스템의 관찰 관점의 변경을 검출한 것에 응답하여, 시뮬레이션된 환경의 제2 컴퓨터 시스템의 관찰 관점의 변경에 따라, 제1 컴퓨터 시스템의 제1 디스플레이 생성 컴포넌트를 통해 디스플레이된 시뮬레이션된 환경의 제2 컴퓨터 시스템의 관찰 관점의 시각적 표시를 업데이트하하는 단계를 더 포함한다.
일부 실시예들에 따르면, 디스플레이 생성 컴포넌트, 하나 이상의 자세 센서들 및 입력 디바이스를 갖는 컴퓨터 시스템에서 방법이 수행된다. 방법은, 디스플레이 생성 컴포넌트를 통해, 시뮬레이션된 환경을 디스플레이하는 것을 포함한다. 방법은 또한, 시뮬레이션된 환경을 디스플레이하는 동안, 입력 디바이스를 통해, 시뮬레이션된 환경 내의 각자의 위치로 지향되는 제1 입력을 검출하는 단계를 포함한다. 방법은 또한, 시뮬레이션된 환경 내의 각자의 위치로 지향되는 제1 입력을 검출한 것에 응답하여: 제1 입력이 제1 입력 유형이고, 제1 입력이 시뮬레이션된 환경 내의 삽입 커서의 현재 위치 이외의 시뮬레이션된 환경의 제1 위치에서 검출되었다는 결정에 따라, 제1 위치에 삽입 커서를 디스플레이하는 단계; 및 제1 입력이 제1 입력 유형이고, 제1 입력이 삽입 커서의 현재 위치에 대응하는, 시뮬레이션된 환경 내의 제2 위치에서 검출되었다는 결정에 따라, 제2 위치에 제1 객체를 삽입하고, 삽입 커서를 제1 객체 상에 있는 제3 위치로 이동시키는 단계를 포함한다.
일부 실시예들에 따르면, 디스플레이 생성 컴포넌트, 하나 이상의 카메라들 및 하나 이상의 자세 센서들을 갖는 컴퓨터 시스템에서 방법이 수행된다. 방법은, 디스플레이 생성 컴포넌트를 통해, 증강 현실 환경을 디스플레이하는 단계를 포함하며, 증강 현실 환경을 디스플레이하는 단계는, 물리적 객체를 포함하고 하나 이상의 카메라들의 시야의 콘텐츠들이 변경됨에 따라 업데이트되는, 하나 이상의 카메라들의 시야의 적어도 일부분의 표현; 및 하나 이상의 카메라들의 시야의 표현 내의 각자의 위치에 가상 사용자 인터페이스 객체를 동시에 디스플레이하는 단계를 포함하고, 하나 이상의 카메라들의 시야의 표현 내의 가상 사용자 인터페이스 객체의 각자의 위치는 가상 사용자 인터페이스 객체와 하나 이상의 카메라들의 시야의 표현에 포함된 물리적 객체 사이의 고정된 공간적 관계에 기초하여 결정된다. 방법은 또한, 증강 현실 환경을 디스플레이하는 동안, 하나 이상의 자세 센서들을 통해, 컴퓨터 시스템의 물리적 환경에 대한 컴퓨터 시스템의 적어도 일부분의 자세의 제1 변경을 검출하는 단계를 포함한다. 방법은 또한, 컴퓨터 시스템의 물리적 환경에 대한 컴퓨터 시스템의 일부분의 자세의 제1 변경을 검출한 것에 응답하여, 컴퓨터 시스템의 일부분의 자세의 제1 변경에 따라 증강 현실 환경을 업데이트하는 단계를 포함하며, 증강 현실 환경이 비안정화된 동작 모드에서 디스플레이된다는 결정에 따라, 컴퓨터 시스템의 일부분의 자세의 제1 변경에 따라 증강 현실 환경을 업데이트하는 단계는, 컴퓨터 시스템의 물리적 환경에 대한 컴퓨터 시스템의 일부분의 자세의 제1 변경에 기초하는 제1 조정의 양만큼 하나 이상의 카메라들의 시야의 일부분의 표현을 업데이트하는 단계; 및 가상 사용자 인터페이스 객체의 각자의 위치를 가상 사용자 인터페이스 객체와 하나 이상의 카메라들의 시야의 표현에 포함된 물리적 객체 사이의 고정된 공간을 유지하도록 선택되는 위치로 업데이트하는 단계를 포함하고, 증강 현실 환경이 안정화된 동작 모드에서 디스플레이된다는 결정에 따라, 컴퓨터 시스템의 일부분의 자세의 제1 변경에 따라 증강 현실 환경을 업데이트하는 단계는, 컴퓨터 시스템의 물리적 환경에 대한 컴퓨터 시스템의 일부분의 자세의 제1 변경에 기초하고 제1 조정의 양보다 작은 제2 조정의 양만큼 하나 이상의 카메라들의 시야의 일부분의 표현을 업데이트하는 단계; 및 가상 사용자 인터페이스 객체의 각자의 위치를 가상 사용자 인터페이스 객체와 하나 이상의 카메라들의 시야의 표현에 포함된 물리적 객체 사이의 고정된 공간적 관계를 유지하도록 선택되는 위치로 업데이트하는 단계를 포함한다.
일부 실시예들에 따르면, 컴퓨터 시스템은 디스플레이 생성 컴포넌트(예를 들어, 디스플레이, 프로젝터, 헤드-업 디스플레이 등), 하나 이상의 카메라들(예를 들어, 카메라들의 시야 내에 있는 콘텐츠들의 적어도 일부분의 라이브 프리뷰를 연속적으로 제공하고, 옵션적으로,카메라들의 시야 내의 콘텐츠들을 캡처하는 이미지 프레임들의 하나 이상의 스트림들을 포함하는 비디오 출력들을 생성하는 비디오 카메라들), 및 하나 이상의 입력 디바이스들(예를 들어, 터치 감응형 원격 제어부와 같은 터치 감응형 표면, 또는 디스플레이 생성 컴포넌트로서 또한 기능하는 터치 스크린 디스플레이, 마우스, 조이스틱, 완드(wand) 제어기, 및/또는 사용자의 손들과 같은 사용자의 하나 이상의 특징부들의 포지션을 추적하는 카메라들), 옵션적으로, 하나 이상의 자세 센서들, 옵션적으로 터치 감응형 표면과의 접촉들의 세기들을 검출하는 하나 이상의 센서들, 및 옵션적으로 하나 이상의 촉각적 출력 생성기들, 하나 이상의 프로세서들, 및 하나 이상의 프로그램들을 저장하는 메모리를 포함하고(그리고/또는 이와 통신하고), 하나 이상의 프로그램들은 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 하나 이상의 프로그램들은 본 명세서에 기술되는 방법들 중 임의의 방법의 동작들을 수행하거나 또는 그의 수행을 야기하기 위한 명령어들을 포함한다. 일부 실시예들에 따르면, 컴퓨터 판독가능 저장 매체는, 디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 하나 이상의 입력 디바이스들, 옵션적으로, 하나 이상의 자세 센서들, 옵션적으로, 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들, 및 옵션적으로, 하나 이상의 촉각적 출력 생성기들을 포함하는(그리고/또는 그와 통신하는) 컴퓨터 시스템에 의해 실행될 때, 컴퓨터 시스템으로 하여금, 본 명세서에 기술되는 방법들 중 임의의 방법의 동작들을 수행하게 하거나 또는 그의 수행을 야기하는 명령어들을 저장하고 있다. 일부 실시예들에 따르면, 디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 하나 이상의 입력 디바이스들, 옵션적으로, 하나 이상의 자세 센서들, 옵션적으로, 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들, 옵션적으로, 하나 이상의 촉각적 출력 생성기들, 메모리, 및 메모리에 저장된 하나 이상의 프로그램들을 실행하기 위한 하나 이상의 프로세서들을 포함하는(그리고/또는 그와 통신하는) 컴퓨터 시스템 상의 그래픽 사용자 인터페이스는 본 명세서에 기술되는 방법들 중 임의의 방법에서 기술되는 바와 같이, 입력들에 응답하여 업데이트되는, 본 명세서에 기술되는 방법들 중 임의의 방법에서 디스플레이되는 요소들 중 하나 이상을 포함한다. 일부 실시예들에 따르면, 컴퓨터 시스템은, 디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 하나 이상의 입력 디바이스들, 옵션적으로, 하나 이상의 자세 센서들, 옵션적으로, 터치 감응형 표면과의 접촉들의 세기들을 검출하기 위한 하나 이상의 센서들, 및 옵션적으로, 하나 이상의 촉각적 출력 생성기들, 및 본 명세서에 기술되는 방법들 중 임의의 것의 동작들을 수행하거나 그들의 수행을 야기하기 위한 수단을 포함한다(그리고/또는 그와 통신한다). 일부 실시예들에 따르면, 디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 하나 이상의 입력 디바이스들, 옵션적으로, 하나 이상의 자세 센서들, 옵션적으로 터치 감응형 표면과의 접촉의 세기들을 검출하기 위한 하나 이상의 센서들, 및 옵션적으로, 하나 이상의 촉각적 출력 생성기들을 포함하는(그리고/또는 이와 통신하는) 컴퓨터 시스템에 사용하기 위한 정보 프로세싱 장치는, 본 명세서에 기술되는 방법들 중 임의의 방법의 동작들을 수행하거나 또는 그의 수행을 야기하기 위한 수단을 포함한다.
따라서, 디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 하나 이상의 입력 디바이스들, 옵션적으로, 하나 이상의 자세 센서들, 옵션적으로, 터치 감응형 표면과의 접촉들의 세기들을 검출하는 하나 이상의 센서들, 및 옵션적으로, 하나 이상의 촉각적 출력 생성기들을 갖는(그리고/또는 그와 통신하는) 컴퓨터 시스템들은 증강 및 가상 현실 환경들과 상호작용하기 위한 개선된 방법들 및 인터페이스들을 제공하여서, 그러한 컴퓨터 시스템들에 의해 유효성, 효율성 및 사용자 만족도를 증가시킨다. 이러한 방법들 및 인터페이스들은 증강 및 가상 현실 환경들과 상호 작용하기 위한 종래의 방법들을 보완하거나 대체할 수 있다.
다양하게 기술된 실시예들의 보다 양호한 이해를 위해, 유사한 도면 부호들이 도면 전체에 걸쳐서 대응 부분들을 나타내는 하기의 도면들과 관련하여 하기의 발명을 실시하기 위한 구체적인 내용이 참조되어야 한다.
도 1a는 일부 실시예들에 따른, 터치 감응형 디스플레이를 갖는 휴대용 다기능 디바이스를 예시하는 블록도이다.
도 1b는 일부 실시예들에 따른, 이벤트 처리를 위한 예시적인 컴포넌트들을 예시하는 블록도이다.
도 2는 일부 실시예들에 따른, 터치 스크린을 갖는 휴대용 다기능 디바이스를 예시한다.
도 3a는 일부 실시예들에 따른, 디스플레이 및 터치 감응형 표면을 갖는 예시적인 다기능 디바이스의 블록도이다.
도 3b 및 도 3c는 일부 실시예들에 따른 예시적인 컴퓨터 시스템들의 블록도들이다.
도 4a는 일부 실시예들에 따른, 휴대용 다기능 디바이스 상의 애플리케이션들의 메뉴에 대한 예시적인 사용자 인터페이스를 예시한다.
도 4b는 일부 실시예들에 따른, 디스플레이와는 별개인 터치 감응형 표면을 갖는 다기능 디바이스에 대한 예시적인 사용자 인터페이스를 예시한다.
도 4c 내지 도 4e는 일부 실시예들에 따른 동적 세기 임계치들의 예들을 예시한다.
도 511 내지 도 5140은 증강 현실 환경을 디스플레이하고, 상이한 입력들에 응답하여, 증강 현실 환경의 외관 및/또는 증강 현실 환경 내의 객체들의 외관을 조정할 뿐만 아니라, 일부 실시예들에 따라, 증강 현실 환경 내의 가상 모델을 관찰하는 것과 가상 모델 내의 객체들의 관점들에서 본 가상 모델의 시뮬레이션된 뷰들을 관찰하는 것 사이에서 전이하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 521 내지 도 5241은 일부 실시예들에 따른, 가상 사용자 인터페이스 객체들의 3차원 조작을 위한 시스템들 및 사용자 인터페이스들의 예들을 예시한다.
도 531 내지 도 5330은 일부 실시예들에 따른, 디스플레이된 시뮬레이션된 환경의 관찰 모드들 간에 전이하기 위한 시스템들 및 사용자 인터페이스들의 예들을 예시한다.
도 541 내지 도 5414c는 일부 실시예들에 따른, 디스플레이된 시뮬레이션된 환경 내의 가상 사용자 인터페이스 객체들과 다수의 사용자들이 상호작용하기 위한 시스템들 및 사용자 인터페이스들의 예들을 예시한다.
도 551 내지 도 5532는 일부 실시예들에 따른, 삽입 커서의 배치를 위한 시스템들 및 사용자 인터페이스들의 예들을 예시한다.
도 561 내지 도 5617b는 일부 실시예들에 따른, 안정화된 동작 모드에서 증강 현실 환경을 디스플레이하기 위한 시스템들 및 사용자 인터페이스들의 예들을 예시한다.
도 6a 내지 도 6d는 일부 실시예들에 따른, 증강 현실 환경 내의 가상 사용자 인터페이스 객체의 외관을 조정하기 위한 프로세스의 흐름도들이다.
도 7a 내지 도 7c는 일부 실시예들에 따른, 증강 현실 환경 내의 컴퓨터 시스템의 하나 이상의 카메라들에 의해 캡처된 라이브 이미지 상에 필터를 적용하기 위한 프로세스의 흐름도들이다.
도 8a 내지 도 8c은 일부 실시예들에 따른, 증강 현실 환경 내의 가상 모델을 관찰하는 것과 가상 모델 내의 객체들의 관점들에서 본 가상 모델의 시뮬레이션된 뷰들을 관찰하는 것 사이에서 전이하기 위한 프로세스의 흐름도들이다.
도 9a 내지 도 9e는 일부 실시예들에 따른, 가상 사용자 인터페이스 객체들의 3차원 조작을 위한 프로세스의 흐름도들이다.
도 10a 내지 도 10e는 일부 실시예들에 따른, 디스플레이된 시뮬레이션된 환경의 관찰 모드들 사이에서 전이하기 위한 프로세스의 흐름도들이다.
도 11a 내지 도 11c는 일부 실시예들에 따른, 제1 컴퓨터 시스템에 의해 디스플레이되는 시뮬레이션된 환경 내의 제2 컴퓨터 시스템의 관찰 관점의 표시를 업데이트하기 위한 프로세스의 흐름도들이다.
도 12a 내지 도 12d는 일부 실시예들에 따른, 삽입 커서의 배치를 위한 프로세스의 흐름도들이다.
도 13a 내지 도 13e는 일부 실시예들에 따른, 안정화된 동작 모드에서 증강 현실 환경을 디스플레이하기 위한 프로세스의 흐름도들이다.
증강 현실 환경은, 물리적 세계에서 이용가능하지 않은 추가 정보를 사용자에게 제공하는 보충 정보를 이용해 현실이 증강된 환경이다. (예를 들어, 보충 정보에 액세스하기 위해) 증강 현실 환경들과 상호작용하는 종래의 방법들은 종종 의도된 결과를 달성하기 위해 다수의 별개의 입력들(예를 들어, 제스처들 및 버튼 누름들의 시퀀스 등)을 요구한다. 또한, 종래의 입력 방법들은 종종 (예를 들어, 컴퓨터 시스템의 터치 감응형 디스플레이의 크기에 의해) 범위가 제한된다. 본 명세서의 실시예들은 사용자가 (예를 들어, 컴퓨터 시스템의 이동 및 컴퓨터 시스템의 입력 디바이스(예를 들어, 터치 스크린 디스플레이) 상의 접촉의 이동의 조합에 기초하여 가상 사용자 인터페이스 객체의 외관을 조정하고, 컴퓨터 시스템의 하나 이상의 카메라들에 의해 캡처된 라이브 이미지 상에 실시간으로 증강 현실 환경에 대한 가상 환경 설정에 기초하여 선택되는 필터를 적용함으로써) 증강 현실 환경과 상호작용하도록 하는 직관적인 방식을 제공한다.
추가적으로, 가상/증강 현실 환경들과의 종래의 상호작용들은 일반적으로 (예를 들어, 디바이스를 착용/보유하고 있는 사용자의 관점의) 단일 관점으로 제한된다. 본 발명의 실시예들은 가상 사용자 인터페이스 객체들의 관점들의(예를 들어, 증강 현실 환경 내의 자동차 또는 사람의 관점들의) 가상 현실 환경 내의 (예를 들어, 물리적 객체의) 가상 모델의 시뮬레이션된 뷰들을 제공함으로써 가상/증강 현실 환경을 경험하는 보다 몰입적이고 직관적인 방법을 제공한다.
본 명세서에 기술된 시스템들, 방법들, 및 GUI들은 다수의 방식들로 가상/증강 현실 환경들과의 사용자 인터페이스 상호작용들을 개선한다. 예를 들어, 그들은: 증강 현실 환경을 디스플레이하고, 상이한 입력들에 응답하여, 증강 현실 환경 및/또는 그 안의 객체들의 외관을 조정하는 것; 증강 현실 환경 내의 가상 모델을 관찰하는 것과 가상 모델 내의 객체들의 관점들에서 본 가상 모델의 시뮬레이션된 뷰들을 관찰하는 것 사이에서 전이하는 것; 및 가상 사용자 인터페이스 객체들의 3차원 조작을 용이하게 할 수 있다.
이하에서, 도 1a 및 도 1b, 도 2, 및 도 3a 내지 도 3c는 예시적인 디바이스들의 설명을 제공한다. 도 4a 및 도 4b, 도 511 내지 도 5140, 도 521 내지 도 5241, 도 531 내지 도 5330, 도 541 내지 도 5414, 도 551 내지 도 5532, 및 도 561 내지 도 5617은 일부 실시예들에 따른, 디스플레이된 시뮬레이션된 환경 내의 가상 사용자 인터페이스 객체들과 다수의 사용자들이 상호작용하기 위한 시스템들 및 사용자 인터페이스들의 예들을 예시하며, 일부 실시예들에 따른, 증강 현실 환경을 디스플레이하고, 상이한 입력들에 응답하여 증강 현실 환경의 외관 및/또는 증강 현실 환경 내의 객체들의 외관을 조정하고, 증강 현실 환경 내의 가상 모델을 관찰하는 것과 가상 모델 내의 객체들의 관점들에서 본 가상 모델의 시뮬레이션된 뷰들을 관찰하는 것 사이에서 전이하는 것, 및 가상 사용자 인터페이스 객체들의 3차원 조작을 포함하는, 증강 및 가상 현실 환경들과 상호작용하기 위한 사용자 인터페이스들을 예시한다. 도 6a 내지 도 6d는 일부 실시예들에 따른, 증강 현실 환경 내의 가상 사용자 인터페이스 객체의 외관을 조정하는 방법의 흐름도를 예시한다. 도 7a 내지 도 7c는 일부 실시예들에 따른, 증강 현실 환경 내의 컴퓨터 시스템의 하나 이상의 카메라들에 의해 캡처된 라이브 이미지 상에 필터를 적용하는 방법의 흐름도를 예시한다. 도 8a 내지 도 8c는 일부 실시예들에 따른, 증강 현실 환경 내의 가상 모델을 관찰하는 것과 가상 모델 내의 객체들의 관점들에서 본 가상 모델의 시뮬레이션된 뷰들을 관찰하는 것 사이에서 전이하는 방법의 흐름도를 예시한다. 도 9a 내지 도 9e는 일부 실시예들에 따른, 가상 사용자 인터페이스 객체들의 3차원 조작 방법의 흐름도를 예시한다. 도 10a 내지 도 10e는 일부 실시예들에 따른, 디스플레이된 시뮬레이션된 환경의 관찰 모드들 사이에서 전이하는 방법의 흐름도를 예시한다. 도 11a 내지 도 11c는 일부 실시예들에 따른, 제1 컴퓨터 시스템에 의해 디스플레이되는 시뮬레이션된 환경 내의 제2 컴퓨터 시스템의 관찰 관점의 표시를 업데이트하는 방법의 흐름도를 예시한다. 도 12a 내지 도 12d는 일부 실시예들에 따른, 삽입 커서의 배치 방법의 흐름도를 예시한다. 도 13a 내지 도 13e는 일부 실시예들에 따른, 안정화된 동작 모드에서 증강 현실 환경을 디스플레이하는 방법의 흐름도를 예시한다.
도 511 내지 도 5140, 도 521 내지 도 5241, 도 531 내지 도 5330, 도 541 내지 도 5414, 도 551 내지 도 5532, 및 도 561 내지 도 5617에서의 사용자 인터페이스들은 도 6a 내지 도 6d, 도 7a 내지 도 7c, 도 8a 내지 도 8c, 도 9a 내지 도 9e, 도 10a 내지 도 10e, 도 11a 내지 도 11c, 도 12a 내지 도 12d, 도 13a 내지 도 13e에서의 프로세스들을 예시하는 데 사용된다.
예시적인 디바이스들
이제, 실시예들이 상세하게 참조될 것이며, 그 실시예들의 예들이 첨부 도면들에 예시된다. 하기의 상세한 설명에서, 많은 구체적인 세부사항들이 다양하게 기술된 실시예들의 완전한 이해를 제공하기 위해 기재된다. 그러나, 다양하게 기술된 실시예들이 이들 구체적인 세부사항들 없이 실시될 수 있다는 것은 당업자에게 명백할 것이다. 다른 예들에서, 잘 알려진 방법들, 절차들, 컴포넌트들, 회로들, 및 네트워크들은 실시예들의 양태들을 불필요하게 모호하게 하지 않기 위해 상세히 기술되지 않았다.
일부 예들에서, 용어들, 제1, 제2 등이 본 명세서에서 다양한 요소들을 기술하는 데 사용되지만, 이들 요소들은 이들 용어들에 의해 제한되어서는 안 된다는 것이 또한 이해될 것이다. 이러한 용어들은 하나의 요소를 다른 요소와 구별하는 데에만 사용된다. 예를 들어, 다양하게 기술된 실시예들의 범주로부터 벗어남이 없이, 제1 접촉이 제2 접촉으로 지칭될 수 있고, 유사하게, 제2 접촉이 제1 접촉으로 지칭될 수 있다. 제1 접촉 및 제2 접촉은 둘 모두 접촉이지만, 문맥상 명백히 달리 표시하지 않는 한, 이들이 동일한 접촉인 것은 아니다.
본 명세서에서 다양하게 기술된 실시예들의 설명에 사용되는 용어는 특정 실시예들을 기술하는 목적만을 위한 것이고, 제한하려는 의도는 아니다. 다양한 기술된 실시예들의 설명 및 첨부된 청구범위에 사용되는 바와 같이, 단수의 형태("a", "an", 및 "the")는 문맥상 명백히 달리 표시하지 않는 한 복수의 형태도 마찬가지로 포함하려는 것으로 의도된다. 또한, 본 명세서에서 사용되는 바와 같은 용어 "및/또는"은 열거되는 연관된 항목들 중 하나 이상의 항목들의 임의의 그리고 모든 가능한 조합들을 나타내고 그들을 포괄하는 것임이 이해될 것이다. 용어들 "포함한다(include)", "포함하는(including)", "포함한다(comprise)", 및/또는 "포함하는(comprising)"은, 본 명세서에서 사용될 때, 언급된 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 컴포넌트들, 및/또는 이들의 그룹들의 존재 또는 추가를 배제하지 않음이 추가로 이해될 것이다.
본 명세서에서 사용되는 바와 같이, "~는 경우(if)"라는 용어는 옵션적으로 문맥에 따라 "~할 때(when)" 또는 "~ 시(upon)" 또는 "결정한 것에 응답하여(in response to determining)" 또는 "검출한 것에 응답하여(in response to detecting)"를 의미하는 것으로 해석된다. 유사하게, 어구 "~라고 결정된 경우" 또는 "[언급된 조건 또는 이벤트가] 검출된 경우"는 옵션적으로 문맥에 따라 "~라고 결정할 시" 또는 "~라고 결정한 것에 응답하여" 또는 "[언급된 조건 또는 이벤트]를 검출할 시" 또는 "[언급된 조건 또는 이벤트]를 검출한 것에 응답하여"를 의미하는 것으로 해석된다.
가상/증강 현실을 위한 컴퓨터 시스템들은 가상/증강 현실 환경들을 생성하는 전자 디바이스들을 포함한다. 전자 디바이스들, 그러한 디바이스들에 대한 사용자 인터페이스들, 및 그러한 디바이스들을 사용하기 위한 연관된 프로세스들의 실시예들이 기술된다. 일부 실시예들에서, 디바이스는 PDA 및/또는 음악 재생기 기능들과 같은 다른 기능들을 또한 포함하는 휴대용 통신 디바이스, 예컨대 모바일 전화기이다. 휴대용 다기능 디바이스들의 예시적인 실시예들은 미국 캘리포니아주 쿠퍼티노 소재의 애플 인크.(Apple Inc.)로부터의 아이폰(iPhone)®, 아이팟 터치(iPod Touch)®, 및 아이패드(iPad)® 디바이스들을 제한 없이 포함한다. 터치 감응형 표면들(예를 들어, 터치 스크린 디스플레이들 및/또는 터치패드들)을 갖는 랩톱 또는 태블릿 컴퓨터들과 같은 다른 휴대용 전자 디바이스들이 옵션적으로 사용된다. 일부 실시예들에서, 디바이스는 휴대용 통신 디바이스가 아니라 하나 이상의 카메라들을 또한 포함하거나 이들과 통신하는 터치 감응형 표면(예를 들어, 터치 스크린 디스플레이 및/또는 터치패드)을 갖는 데스크톱 컴퓨터임이 또한 이해되어야 한다.
하기의 논의에서, 디스플레이 및 터치 감응형 표면을 갖는 (그리고/또는 그들과 통신하는) 전자 디바이스를 포함하는 컴퓨터 시스템이 기술된다. 그러나, 컴퓨터 시스템은 옵션적으로 사용자의 손들과 같은 사용자의 하나 이상의 특징부들의 포지션을 추적하는 하나 이상의 다른 물리적 사용자 인터페이스 디바이스들, 예컨대 물리적 키보드, 마우스, 조이스틱, 완드 제어기, 및/또는 카메라들을 포함하는 것이 이해되어야 한다.
디바이스는 전형적으로 다음 중 하나 이상과 같은 다양한 애플리케이션들을 지원한다: 게이밍 애플리케이션, 메모하기 애플리케이션, 그리기 애플리케이션, 프레젠테이션 애플리케이션, 워드 프로세싱 애플리케이션, 스프레드시트 애플리케이션, 전화 애플리케이션, 화상 회의 애플리케이션, 이메일 애플리케이션, 인스턴트 메시징 애플리케이션, 운동 지원 애플리케이션, 사진 관리 애플리케이션, 디지털 카메라 애플리케이션, 디지털 비디오 카메라 애플리케이션, 웹 브라우징 애플리케이션, 디지털 음악 재생기 애플리케이션, 및/또는 디지털 비디오 재생기 애플리케이션.
디바이스 상에서 실행되는 다양한 애플리케이션들은 옵션적으로 터치 감응형 표면과 같은 적어도 하나의 보편적인 물리적 사용자 인터페이스 디바이스를 사용한다. 터치 감응형 표면의 하나 이상의 기능들뿐만 아니라 디바이스에 의해 디스플레이되는 대응하는 정보는 옵션적으로 하나의 애플리케이션으로부터 다음 애플리케이션으로 그리고/또는 각자의 애플리케이션 내에서 조정되고/되거나 변경된다. 이러한 방식으로, 디바이스의 (터치 감응형 표면과 같은) 보편적인 물리적 아키텍처는 옵션적으로 사용자에게 직관적이고 투명한 사용자 인터페이스들을 이용하여 다양한 애플리케이션들을 지원한다.
이제, 터치 감응형 디스플레이들을 갖는 휴대용 디바이스들의 실시예들에 주목한다. 도 1a는 일부 실시예들에 따른, 터치 감응형 디스플레이 시스템(112)을 갖는 휴대용 다기능 디바이스(100)를 예시하는 블록도이다. 터치 감응형 디스플레이 시스템(112)은 때때로 편의상 "터치 스크린"이라고 지칭되고, 때때로 터치 감응형 디스플레이로 단순히 지칭된다. 디바이스(100)는 메모리(102)(옵션적으로, 하나 이상의 컴퓨터 판독가능 저장 매체들을 포함함), 메모리 제어기(122), 하나 이상의 프로세싱 유닛(CPU)들(120), 주변기기 인터페이스(118), RF 회로부(108), 오디오 회로부(110), 스피커(111), 마이크로폰(113), 입/출력(I/O) 서브시스템(106), 다른 입력 또는 제어 디바이스들(116), 및 외부 포트(124)를 포함한다. 디바이스(100)는 옵션적으로 (예를 들어, 하나 이상의 카메라들의 일부로서) 하나 이상의 광 센서들(164)을 포함한다. 디바이스(100)는 옵션적으로 디바이스(100) 상의 접촉들의 세기들을 검출하기 위한 하나 이상의 세기 센서들(165)(예를 들어, 디바이스(100)의 터치 감응형 디스플레이 시스템(112)과 같은 터치 감응형 표면)을 포함한다. 디바이스(100)는 옵션적으로 디바이스(100) 상에 촉각적 출력들을 생성하기 위한(예를 들어, 디바이스(100)의 터치 감응형 디스플레이 시스템(112) 또는 디바이스(300)의 터치패드(355)와 같은 터치 감응형 표면 상에 촉각적 출력들을 생성하기 위한) 하나 이상의 촉각적 출력 생성기들(163)을 포함한다. 이들 컴포넌트들은 옵션적으로 하나 이상의 통신 버스들 또는 신호 라인들(103)을 통해 통신한다.
명세서 및 청구범위에 사용되는 바와 같이, "촉각적 출력"이라는 용어는 디바이스의 이전 포지션에 대한 디바이스의 물리적 변위, 디바이스의 다른 컴포넌트(예를 들어, 하우징)에 대한 디바이스의 컴포넌트(예를 들어, 터치 감응형 표면)의 물리적 변위, 또는 사용자의 촉각을 이용하여 사용자에 의해 검출될 디바이스의 질량 중심에 대한 컴포넌트의 변위를 지칭한다. 예컨대, 디바이스 또는 디바이스의 컴포넌트가 터치에 민감한 사용자의 표면(예를 들어, 사용자의 손의 손가락, 손바닥, 또는 다른 부위)과 접촉하는 상황에서, 물리적 변위에 의해 생성된 촉각적 출력은 사용자에 의해 디바이스 또는 디바이스의 컴포넌트의 물리적 특성들의 인지된 변경에 대응하는 촉감(tactile sensation)으로서 해석될 것이다. 예컨대, 터치 감응형 표면(예를 들어, 터치 감응형 디스플레이 또는 트랙패드)의 이동은 옵션적으로 사용자에 의해 물리적 액추에이터 버튼의 "다운 클릭" 또는 "업 클릭"으로서 해석된다. 일부 경우들에서, 사용자는 사용자의 이동에 의해 물리적으로 눌리는(예를 들어, 변위되는) 터치 감응형 표면과 연관된 물리적 액추에이터 버튼의 이동이 없는 경우에도 "다운 클릭" 또는 "업 클릭"과 같은 촉감을 느낄 것이다. 다른 예로서, 터치 감응형 표면의 이동은, 터치 감응형 표면의 평탄성의 변경이 없는 경우에도 옵션적으로 사용자에 의해 터치 감응형 표면의 "거칠기(roughness)"로서 해석 또는 감지된다. 사용자에 의한 터치의 이러한 해석들이 사용자의 개별화된 감각 인지(sensory perception)에 영향을 받기 쉬울 것이지만, 대다수의 사용자들에게 보편적인 많은 터치 감각 인지가 있다. 따라서, 촉각적 출력이 사용자의 특정 감각 인지(예를 들어, "업 클릭", "다운 클릭", "거칠기")에 대응하는 것으로서 기술될 때, 달리 언급되지 않는다면, 생성된 촉각적 출력은 전형적인(또는 평균적인) 사용자에 대한 기술된 감각 인지를 생성할 디바이스 또는 그의 컴포넌트의 물리적 변위에 대응한다. 촉각적 출력들을 사용하여 사용자에게 햅틱 피드백을 제공하는 것은, (예를 들어, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하도록 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
디바이스(100)는 휴대용 다기능 디바이스의 일례일 뿐이고, 디바이스(100)는 옵션적으로 도시된 것보다 더 많거나 더 적은 컴포넌트들을 갖거나 옵션적으로 둘 이상의 컴포넌트들을 조합하거나, 또는 옵션적으로 컴포넌트들의 상이한 구성 또는 배열을 갖는다는 것이 이해되어야 한다. 도 1a에 도시된 다양한 컴포넌트들은, 하나 이상의 신호 프로세싱 및/또는 주문형 집적 회로(application specific integrated circuit)들을 비롯한, 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합으로 구현된다.
메모리(102)는 옵션적으로 고속 랜덤 액세스 메모리를 포함하고, 또한 옵션적으로, 하나 이상의 자기 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드 스테이트 메모리 디바이스(non-volatile solid-state memory device)들과 같은 비휘발성 메모리를 포함한다. CPU(들)(120) 및 주변기기 인터페이스(118)와 같은 디바이스(100)의 다른 컴포넌트들에 의한 메모리(102)에 대한 액세스는 옵션적으로 메모리 제어기(122)에 의해 제어된다.
주변기기 인터페이스(118)는 디바이스의 입력 및 출력 주변기기들을 CPU(들)(120) 및 메모리(102)에 결합하는 데 사용될 수 있다. 하나 이상의 프로세서들(120)은 디바이스(100)에 대한 다양한 기능들을 수행하기 위해 그리고 데이터를 프로세싱하기 위해 메모리(102)에 저장된 다양한 소프트웨어 프로그램들 및/또는 명령어들의 세트들을 구동 또는 실행시킨다.
일부 실시예들에서, 주변기기 인터페이스(118), CPU(들)(120) 및 메모리 제어기(122)는 옵션적으로 칩(104)과 같은 단일 칩 상에서 구현된다. 일부 다른 실시예들에서, 이들은 옵션적으로 별개의 칩들 상에서 구현된다.
RF(radio frequency) 회로부(108)는 전자기 신호들이라고도 지칭되는 RF 신호들을 수신 및 전송한다. RF 회로부(108)는 전기 신호들을 전자기 신호들로/로부터 변환하고, 전자기 신호들을 통해 통신 네트워크들 및 다른 통신 디바이스들과 통신한다. RF 회로부(108)는 옵션적으로 안테나 시스템, RF 송수신기, 하나 이상의 증폭기들, 튜너, 하나 이상의 발진기들, 디지털 신호 프로세서, CODEC 칩셋, SIM(subscriber identity module) 카드, 메모리 등을 포함하지만 이들로 제한되지 않는, 이러한 기능들을 수행하기 위한 잘 알려진 회로부를 포함한다. RF 회로부(108)는 옵션적으로 네트워크들, 예컨대 월드 와이드 웹(WWW)으로도 지칭되는 인터넷, 인트라넷, 및/또는 무선 네트워크, 예컨대 셀룰러 전화 네트워크, 무선 LAN(local area network) 및/또는 MAN(metropolitan area network), 및 다른 디바이스들과 무선 통신에 의해 통신한다. 무선 통신은 옵션적으로 GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), HSDPA(high-speed downlink packet access), HSUPA(high-speed uplink packet access), EV-DO(Evolution, Data-Only), HSPA, HSPA+, DC-HSPA(Dual-Cell HSPA), LTE(long term evolution), NFC(near field communication), W-CDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스(Bluetooth), Wi-Fi(Wireless Fidelity)(예를 들어, IEEE 802.11a, IEEE 802.11ac, IEEE 802.11ax, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n), VoIP(voice over Internet Protocol), Wi-MAX, 이메일용 프로토콜(예를 들어, IMAP(Internet message access protocol) 및/또는 POP(post office protocol)), 인스턴트 메시징(예를 들어, XMPP(extensible messaging and presence protocol), SIMPLE(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions), IMPS(Instant Messaging and Presence Service)), 및/또는 SMS(Short Message Service), 또는 본 문헌의 출원일 현재 아직 개발되지 않은 통신 프로토콜들을 포함한 임의의 다른 적합한 통신 프로토콜을 포함하지만 이들로 제한되지는 않는 복수의 통신 표준들, 프로토콜들 및 기술들 중 임의의 것을 이용한다.
오디오 회로부(110), 스피커(111), 및 마이크로폰(113)은 사용자와 디바이스(100) 사이에서 오디오 인터페이스를 제공한다. 오디오 회로부(110)는 주변기기 인터페이스(118)로부터 오디오 데이터를 수신하고, 그 오디오 데이터를 전기 신호로 변환하고, 그 전기 신호를 스피커(111)로 송신한다. 스피커(111)는 전기 신호를 사람이 들을 수 있는 음파로 변환한다. 오디오 회로부(110)는 또한 마이크로폰(113)에 의해 음파로부터 변환된 전기 신호들을 수신한다. 오디오 회로부(110)는 전기 신호를 오디오 데이터로 변환하고, 프로세싱을 위해 오디오 데이터를 주변기기 인터페이스(118)에 송신한다. 오디오 데이터는 옵션적으로 주변기기 인터페이스(118)에 의해 메모리(102) 및/또는 RF 회로부(108)로부터 인출되고/되거나 메모리(102) 및/또는 RF 회로부(108)로 송신된다. 일부 실시예들에서, 오디오 회로부(110)는 또한 헤드셋 잭(예를 들어, 도 2의 212)을 포함한다. 헤드셋 잭은 출력-전용 헤드폰들, 또는 출력부(예를 들어, 한쪽 또는 양쪽 귀용 헤드폰) 및 입력부(예를 들어, 마이크로폰) 양쪽 모두를 갖는 헤드셋과 같은 착탈가능한 오디오 입출력 주변기기들과 오디오 회로부(110) 사이의 인터페이스를 제공한다.
I/O 서브시스템(106)은 터치 감응형 디스플레이 시스템(112) 및 다른 입력 또는 제어 디바이스들(116)과 같은, 디바이스(100) 상의 입/출력 주변기기들을 주변기기 인터페이스(118)와 결합시킨다. I/O 서브시스템(106)은 옵션적으로 디스플레이 제어기(156), 광 센서 제어기(158), 세기 센서 제어기(159), 햅틱 피드백 제어기(161), 및 다른 입력 또는 제어 디바이스들을 위한 하나 이상의 입력 제어기들(160)을 포함한다. 하나 이상의 입력 제어기들(160)은 다른 입력 또는 제어 디바이스들(116)로부터/로 전기 신호들을 수신/전송한다. 다른 입력 또는 제어 디바이스들(116)은 옵션적으로 물리적 버튼들(예컨대, 푸시 버튼, 로커 버튼(rocker button) 등), 다이얼, 슬라이더 스위치, 조이스틱, 클릭 휠 등을 포함한다. 일부 다른 실시예들에서, 입력 제어기(들)(160)는 옵션적으로 키보드, 적외선 포트, USB 포트, 스타일러스, 및/또는 마우스와 같은 포인터 디바이스 중 임의의 것과 결합된다(또는 어떤 것에도 결합되지 않는다). 하나 이상의 버튼들(예를 들어, 도 2의 208)은 옵션적으로 스피커(111) 및/또는 마이크로폰(113)의 음량 제어를 위한 업/다운 버튼을 포함한다. 하나 이상의 버튼들은 옵션적으로 푸시 버튼(예를 들어, 도 2의 206)을 포함한다.
터치 감응형 디스플레이 시스템(112)은 디바이스와 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 제공한다. 디스플레이 제어기(156)는 터치 감응형 디스플레이 시스템(112)으로부터/으로 전기 신호들을 수신 및/또는 전송한다. 터치 감응형 디스플레이 시스템(112)은 사용자에게 시각적 출력을 디스플레이한다. 시각적 출력은 옵션적으로 그래픽들, 텍스트, 아이콘들, 비디오 및 이들의 임의의 조합(총칭하여 "그래픽들"로 지칭됨)을 포함한다. 일부 실시예들에서, 시각적 출력의 일부 또는 전부가 사용자 인터페이스 객체들에 대응된다. 본 명세서에 사용된 바와 같이, "어포던스(affordance)"라는 용어는 사용자 상호작용 그래픽 사용자 인터페이스 객체(예컨대, 그래픽 사용자 인터페이스 객체쪽으로 향하는 입력들에 응답하도록 구성되는 그래픽 사용자 인터페이스 객체)를 지칭한다. 사용자 상호작용형 그래픽 사용자 인터페이스 객체들의 예들은, 제한 없이, 버튼, 슬라이더, 아이콘, 선택가능한 메뉴 항목, 스위치, 하이퍼링크, 또는 다른 사용자 인터페이스 제어부를 포함한다.
터치 감응형 디스플레이 시스템(112)은 햅틱 및/또는 촉각적 접촉에 기초하여 사용자로부터의 입력을 수용하는 터치 감응형 표면, 센서 또는 센서들의 세트를 갖는다. 터치 감응형 디스플레이 시스템(112) 및 디스플레이 제어기(156)는 (메모리(102) 내의 임의의 연관된 모듈들 및/또는 명령어들의 세트들과 함께) 터치 감응형 디스플레이 시스템(112) 상의 접촉(및 접촉의 임의의 이동 또는 중단)을 검출하고, 검출된 접촉을 터치 감응형 디스플레이 시스템(112) 상에 디스플레이된 사용자 인터페이스 객체들(예를 들어, 하나 이상의 소프트 키들, 아이콘들, 웹 페이지들 또는 이미지들)과의 상호작용으로 변환한다. 일부 실시예들에서, 터치 감응형 디스플레이 시스템(112)과 사용자 사이의 접촉 지점은 사용자의 손가락 또는 스타일러스에 대응된다.
터치 감응형 디스플레이 시스템(112)은 옵션적으로 LCD(액정 디스플레이) 기술, LPD(발광 중합체 디스플레이) 기술, 또는 LED(발광 다이오드) 기술을 이용하지만, 다른 실시예들에서는 다른 디스플레이 기술들이 이용된다. 터치 감응형 디스플레이 시스템(112) 및 디스플레이 제어기(156)는 옵션적으로 용량성, 저항성, 적외선 및 표면 음향파 기술들뿐만 아니라, 다른 근접 센서 어레이들 또는 터치 감응형 디스플레이 시스템(112)과의 하나 이상의 접촉 지점들을 결정하기 위한 다른 요소들을 포함하지만 이들로 한정되지 않는, 현재 알려져 있거나 추후에 개발될 복수의 터치 감지 기술들 중 임의의 것을 이용하여, 접촉 및 그의 임의의 이동 또는 중단을 검출한다. 일부 실시예들에서, 미국 캘리포니아주 쿠퍼티노 소재의 애플 인크.로부터의 아이폰®, 아이팟 터치®, 및 아이패드®에서 발견되는 것과 같은 투영형 상호 용량 감지 기술(projected mutual capacitance sensing technology)이 이용된다.
터치 감응형 디스플레이 시스템(112)은 옵션적으로 100 dpi를 초과하는 비디오 해상도를 갖는다. 일부 실시예들에서, 터치 스크린 비디오 해상도는 400 dpi를 초과한다(예를 들어, 500 dpi, 800 dpi, 또는 그 이상). 사용자는 옵션적으로 스타일러스, 손가락 등과 같은 임의의 적합한 객체 또는 부속물을 이용하여 터치 감응형 디스플레이 시스템(112)과 접촉한다. 일부 실시예들에서, 사용자 인터페이스는 손가락 기반 접촉 및 제스처를 이용하여 작업하도록 설계되는데, 이는 터치 스크린 상의 손가락의 더 넓은 접촉 면적으로 인해 스타일러스 기반 입력보다 덜 정밀할 수 있다. 일부 실시예들에서, 디바이스는 대략적인 손가락 기반 입력을 사용자가 원하는 액션들을 수행하기 위한 정밀한 포인터/커서 포지션 또는 커맨드로 변환한다.
일부 실시예들에서, 터치 스크린 이외에, 디바이스(100)는 옵션적으로 특정 기능들을 활성화 또는 비활성화시키기 위한 터치패드(도시되지 않음)를 포함한다. 일부 실시예들에서, 터치패드는, 터치 스크린과는 달리, 시각적 출력을 디스플레이하지 않는 디바이스의 터치 감응형 영역이다. 터치패드는 옵션적으로 터치 감응형 디스플레이 시스템(112)과는 별개인 터치 감응형 표면, 또는 터치 스크린에 의해 형성된 터치 감응형 표면의 연장부이다.
디바이스(100)는 또한 다양한 컴포넌트에 전력을 공급하기 위한 전력 시스템(162)을 포함한다. 전력 시스템(162)은 옵션적으로 전력 관리 시스템, 하나 이상의 전원들(예를 들어, 배터리, 교류 전류(alternating current, AC)), 재충전 시스템, 전력 고장 검출 회로, 전력 변환기 또는 인버터, 전력 상태 표시자(예를 들어, 발광 다이오드(LED)), 및 휴대용 디바이스들 내에서의 전력의 생성, 관리 및 분배와 연관된 임의의 다른 컴포넌트들을 포함한다.
디바이스(100)는 또한 옵션적으로 (예를 들어, 하나 이상의 카메라들의 일부로서) 하나 이상의 광 센서들(164)을 포함한다. 도 1a는 I/O 서브시스템(106) 내의 광 센서 제어기(158)와 결합된 광 센서를 도시한다. 광 센서(들)(164)는 옵션적으로 CCD(charge-coupled device) 또는 CMOS(complementary metal-oxide semiconductor) 포토트랜지스터들을 포함한다. 광 센서(들)(164)는 하나 이상의 렌즈들을 통해 투영된 주변환경으로부터의 광을 수신하고, 그 광을 이미지를 나타내는 데이터로 변환한다. 이미징 모듈(143)(카메라 모듈이라고도 지칭됨)과 함께, 광 센서(들)(164)는 옵션적으로, 정지 이미지 및/또는 비디오를 캡처한다. 일부 실시예들에서, 광 센서는 디바이스(100)의 전면 상의 터치 감응형 디스플레이 시스템(112)의 반대편인 디바이스의 배면 상에 위치되어, 터치 스크린이 정지 및/또는 비디오 이미지 획득을 위한 뷰파인더로서 사용될 수 있게 한다. 일부 실시예들에서, 다른 광 센서가 (예를 들어, 셀카를 위해, 사용자가 터치 스크린 상에서 다른 화상 회의 참가자들을 보면서 화상 회의를 하기 위해, 등등을 위해) 사용자의 이미지가 획득되도록 디바이스의 전면 상에 위치된다.
디바이스(100)는 또한 옵션적으로 하나 이상의 접촉 세기 센서들(165)을 포함한다. 도 1a는 I/O 서브시스템(106) 내의 세기 센서 제어기(159)와 결합된 접촉 세기 센서를 도시한다. 접촉 세기 센서(들)(165)는 옵션적으로 하나 이상의 압전 저항 스트레인 게이지들, 용량성 힘 센서들, 전기적 힘 센서들, 압전 힘 센서들, 광학적 힘 센서들, 용량성 터치 감응형 표면들, 또는 다른 세기 센서들(예를 들어, 터치 감응형 표면 상의 접촉 힘(또는 압력)을 측정하는 데 사용되는 센서들)을 포함한다. 접촉 세기 센서(들)(165)는 주변환경으로부터 접촉 세기 정보(예를 들어, 압력 정보 또는 압력 정보에 대한 대용물(proxy))를 수신한다. 일부 실시예들에서, 적어도 하나의 접촉 세기 센서는 터치 감응형 표면(예컨대, 터치 감응형 디스플레이 시스템(112))과 함께 위치(collocate)되거나 그에 근접한다. 일부 실시예들에서, 적어도 하나의 접촉 세기 센서는 디바이스(100)의 전면 상에 위치된 터치 스크린 디스플레이 시스템(112)의 반대편인 디바이스(100)의 배면 상에 위치된다.
디바이스(100)는 또한 옵션적으로 하나 이상의 근접 센서들(166)을 포함한다. 도 1a는 주변기기 인터페이스(118)와 결합된 근접 센서(166)를 도시한다. 대안적으로, 근접 센서(166)는 I/O 서브시스템(106) 내의 입력 제어기(160)와 결합된다. 일부 실시예들에서, 근접 센서는 다기능 디바이스가 사용자의 귀 근처에 위치될 때(예를 들어, 사용자가 전화 통화를 하고 있을 때), 터치 감응형 디스플레이 시스템(112)을 끄고 디스에이블시킨다.
디바이스(100)는 또한 옵션적으로 하나 이상의 촉각적 출력 생성기들(163)을 포함한다. 도 1a는 I/O 서브시스템(106) 내의 햅틱 피드백 제어기(161)와 결합된 촉각적 출력 생성기를 도시한다. 일부 실시예들에서, 촉각적 출력 생성기(들)(163)는 스피커들 또는 다른 오디오 컴포넌트들과 같은 하나 이상의 전자음향 디바이스들 및/또는 모터, 솔레노이드, 전기활성 중합체, 압전 액추에이터, 정전 액추에이터, 또는 다른 촉각적 출력 생성 컴포넌트(예를 들어, 전기 신호들을 디바이스 상의 촉각적 출력들로 변환하는 컴포넌트)와 같이 에너지를 선형 모션(linear motion)으로 변환하는 전자기계 디바이스들을 포함한다. 촉각적 출력 생성기(들)(163)는 햅틱 피드백 모듈(133)로부터 촉각적 피드백 생성 명령어들을 수신하고, 디바이스(100)의 사용자에 의해 감지될 수 있는 디바이스(100) 상의 촉각적 출력들을 생성한다. 일부 실시예들에서, 적어도 하나의 촉각적 출력 생성기는 터치 감응형 표면(예를 들어, 터치 감응형 디스플레이 시스템(112))과 함께 위치되거나 그에 근접하며 옵션적으로 터치 감응형 표면을 수직으로(예를 들어, 디바이스(100)의 표면 내/외로) 또는 측방향으로(예를 들어, 디바이스(100)의 표면과 동일한 평면에서 전후로) 이동시킴으로써 촉각적 출력을 생성한다. 일부 실시예들에서, 적어도 하나의 촉각적 출력 생성기 센서는 디바이스(100)의 전면 상에 위치된 터치 감응형 디스플레이 시스템(112)의 반대편인 디바이스(100)의 배면 상에 위치된다.
디바이스(100)는 또한 옵션적으로 디바이스의 포지션(예를 들어, 자세)에 관한 정보를 획득하기 위한(예를 들어, 관성 측정 유닛(IMU)의 일부로서) 하나 이상의 가속도계들(167), 자이로스코프들(168), 및/또는 자력계들(169)을 포함한다. 도 1a는 주변기기 인터페이스(118)와 연결된 센서들(167, 168, 169)을 도시한다. 대안적으로, 센서들(167, 168, 169)은 옵션적으로 I/O 서브시스템(106) 내의 입력 제어기(160)와 결합된다. 일부 실시예들에서, 하나 이상의 가속도계들로부터 수신된 데이터의 분석에 기초하여 터치 스크린 디스플레이 상에 세로 뷰(portrait view) 또는 가로 뷰(landscape view)로 정보가 디스플레이된다. 디바이스(100)는 옵션적으로 디바이스(100)의 위치에 관한 정보를 획득하기 위한 GPS(또는 GLONASS 또는 다른 글로벌 내비게이션 시스템) 수신기(도시되지 않음)를 포함한다.
일부 실시예들에서, 메모리(102)에 저장된 소프트웨어 컴포넌트들은 운영 체제(126), 통신 모듈(또는 명령어들의 세트)(128), 접촉/모션 모듈(또는 명령어들의 세트)(130), 그래픽 모듈(또는 명령어들의 세트)(132), 햅틱 피드백 모듈(또는 명령어들의 세트)(133), 텍스트 입력 모듈(또는 명령어들의 세트)(134), GPS 모듈(또는 명령어들의 세트)(135), 및 애플리케이션들(또는 명령어들의 세트들)(136)을 포함한다. 게다가, 일부 실시예들에서, 메모리(102)는 도 1a 및 도 3에 도시된 바와 같이 디바이스/글로벌 내부 상태(157)를 저장한다. 디바이스/글로벌 내부 상태(157)는, 존재하는 경우, 어느 애플리케이션들이 현재 활성 상태인지를 표시하는 활성 애플리케이션 상태; 어떤 애플리케이션들, 뷰들 또는 다른 정보가 터치 감응형 디스플레이 시스템(112)의 다양한 영역들을 점유하는지를 표시하는 디스플레이 상태; 디바이스의 다양한 센서들 및 다른 입력 또는 제어 디바이스들(116)로부터 획득된 정보를 포함하는 센서 상태; 및 디바이스의 위치 및/또는 자세에 관한 위치 및/또는 포지션 정보 중 하나 이상을 포함한다.
운영 체제(126)(예를 들어, iOS, 안드로이드(Android), 다윈(Darwin), RTXC, 리눅스(LINUX), 유닉스(UNIX), OS X, 윈도우(WINDOWS), 또는 VxWorks와 같은 내장형 운영 체제)는 일반적인 시스템 태스크들(예를 들어, 메모리 관리, 저장 디바이스 제어, 전력 관리 등)을 제어 및 관리하기 위한 다양한 소프트웨어 컴포넌트들 및/또는 드라이버들을 포함하고, 다양한 하드웨어 및 소프트웨어 컴포넌트들 사이의 통신을 용이하게 한다.
통신 모듈(128)은 하나 이상의 외부 포트들(124)을 통한 다른 디바이스들과의 통신을 가능하게 하고, 또한 RF 회로부(108) 및/또는 외부 포트(124)에 의해 수신되는 데이터를 처리하기 위한 다양한 소프트웨어 컴포넌트들을 포함한다. 외부 포트(124)(예를 들어, USB, 파이어와이어(FIREWIRE) 등)는 다른 디바이스들에 직접적으로 또는 네트워크(예를 들어, 인터넷, 무선 LAN 등)를 통해 간접적으로 결합하도록 구성된다. 일부 실시예들에서, 외부 포트는 미국 캘리포니아주 쿠퍼티노 소재의 애플 인크.로부터의 일부 아이폰®, 아이팟 터치®, 및 아이패드® 디바이스들에서 사용되는 30-핀 커넥터와 동일하거나 유사하고/하거나 호환가능한 멀티-핀(예를 들어, 30-핀) 커넥터이다. 일부 실시예들에서, 외부 포트는 미국 캘리포니아 주 쿠퍼티노 소재의 애플 인크.로부터의 일부 아이폰®, 아이팟 터치®, 및 아이패드® 디바이스들에서 사용되는 라이트닝 커넥터(Lightning connector)와 동일하거나 유사하고/하거나 호환가능한 라이트닝 커넥터이다. 일부 실시예들에서, 외부 포트는 미국 캘리포니아주 쿠퍼티노 소재의 애플 인크.로부터의 일부 전자 디바이스들에서 사용되는 USB Type-C 커넥터와 동일하거나 유사하고/하거나 호환가능한 USB Type-C 커넥터이다.
접촉/모션 모듈(130)은 옵션적으로 (디스플레이 제어기(156)와 함께) 터치 감응형 디스플레이 시스템(112), 및 다른 터치 감응형 디바이스들(예를 들어, 터치패드 또는 물리적 클릭 휠)과의 접촉을 검출한다. 접촉/모션 모듈(130)은 접촉이 발생했는지 결정하는 것(예를 들어, 손가락-다운 이벤트(finger-down event)를 검출하는 것), 접촉의 세기(예를 들어, 접촉의 힘 또는 압력, 또는 접촉의 힘 또는 압력의 대체물)를 결정하는 것, 접촉의 이동이 있는지 결정하고 터치 감응형 표면을 가로지르는 이동을 추적하는 것(예를 들어, 하나 이상의 손가락-드래그 이벤트(finger-dragging event)들을 검출하는 것), 및 접촉이 중지되었는지 결정하는 것(예를 들어, 손가락-업 이벤트(finger-up event) 또는 접촉 중단을 검출하는 것)과 같은, (예를 들어, 손가락에 의한, 또는 스타일러스에 의한) 접촉의 검출에 관련된 다양한 동작들을 수행하기 위한 다양한 소프트웨어 컴포넌트들을 포함한다. 접촉/모션 모듈(130)은 터치 감응형 표면으로부터 접촉 데이터를 수신한다. 일련의 접촉 데이터에 의해 표현되는 접촉 지점의 이동을 결정하는 것은 옵션적으로 접촉 지점의 속력(크기), 속도(크기 및 방향), 및/또는 가속도(크기 및/또는 방향의 변경)를 결정하는 것을 포함한다. 이들 동작들은 옵션적으로 단일 접촉들(예컨대, 한 손가락 접촉들 또는 스타일러스 접촉들)에 또는 복수의 동시 접촉들(예컨대, "멀티터치"/다수의 손가락 접촉들)에 적용된다. 일부 실시예들에서, 접촉/모션 모듈(130) 및 디스플레이 제어기(156)는 터치패드 상의 접촉을 검출한다.
접촉/모션 모듈(130)은 옵션적으로 사용자에 의한 제스처 입력을 검출한다. 터치 감응형 표면 상에서의 상이한 제스처들은 상이한 접촉 패턴들(예를 들어, 검출된 접촉들의 상이한 모션들, 타이밍들, 및/또는 세기들)을 갖는다. 따라서, 제스처는 옵션적으로 특정 접촉 패턴을 검출함으로써 검출된다. 예를 들어, 손가락 탭 제스처(finger tap gesture)를 검출하는 것은 손가락-다운 이벤트를 검출한 다음에 손가락-다운 이벤트와 동일한 포지션(또는 실질적으로 동일한 포지션)에서(예를 들어, 아이콘의 포지션에서) 손가락-업(리프트오프) 이벤트를 검출하는 것을 포함한다. 다른 예로서, 터치 감응형 표면 상에서 손가락 스와이프 제스처(finger swipe gesture)를 검출하는 것은 손가락-다운 이벤트를 검출한 다음에 하나 이상의 손가락-드래그 이벤트들을 검출하고, 그에 후속하여 손가락-업(리프트오프) 이벤트를 검출하는 것을 포함한다. 유사하게, 탭, 스와이프, 드래그, 및 다른 제스처들은 옵션적으로 스타일러스를 위한 특정 접촉 패턴을 검출함으로써 스타일러스를 위해 검출된다.
일부 실시예들에서, 손가락 탭 제스처를 검출하는 것은, 손가락-다운 이벤트와 손가락-업 이벤트를 검출하는 것 사이의 시간의 길이에 좌우되지만, 손가락-다운 이벤트와 손가락-업 이벤트를 검출하는 것 사이의 손가락 접촉의 세기에 독립적이다. 일부 실시예들에서, 탭 제스처는, 탭 동안의 손가락 접촉의 세기가 (공칭 접촉-검출 세기 임계치보다 큰) 주어진 세기 임계치, 예컨대 가볍게 누르기 또는 깊게 누르기 세기 임계치를 충족하는지 여부에 독립적으로, 손가락-다운 이벤트와 손가락-업 이벤트 사이의 시간의 길이가 미리결정된 값 미만(예컨대, 0.1, 0.2, 0.3, 0.4 또는 0.5초 미만)이라는 결정에 따라 검출된다. 따라서, 손가락 탭 제스처는, 특정 입력 기준들이 충족되기 위하여 접촉의 특성 세기가 주어진 세기 임계치를 충족할 것을 요구하지 않는 특정 입력 기준들을 충족할 수 있다. 명확화를 위해, 탭 제스처에서의 손가락 접촉은 전형적으로, 손가락-다운 이벤트가 검출되기 위하여 공칭 접촉-검출 세기 임계치(이 미만에서는 접촉이 검출되지 않음)를 충족할 필요가 있다. 스타일러스 또는 다른 접촉에 의한 탭 제스처를 검출하는 것에 유사한 분석이 적용된다. 디바이스가 터치 감응형 표면 위에 호버링(hovering)하는 손가락 또는 스타일러스 접촉을 검출할 수 있는 경우에, 공칭 접촉-검출 세기 임계치는 옵션적으로 손가락 또는 스타일러스와 터치 감응형 표면 사이의 물리적 접촉에 대응하지 않는다.
동일한 개념들이 다른 유형의 제스처들에 유사한 방식으로 적용된다. 예를 들어, 스와이프 제스처, 핀치 제스처, 디핀치 제스처, 및/또는 길게 누르기 제스처는 옵션적으로 그 제스처에 포함되는 접촉들의 세기들에 독립적이거나, 또는 그 제스처를 수행하는 접촉(들)이 인식되기 위하여 세기 임계치들에 도달할 것을 요구하지 않는 기준들의 만족에 기초하여 검출된다. 예를 들어, 스와이프 제스처는 하나 이상의 접촉들의 이동량에 기초하여 검출되고; 핀치 제스처는 2개 이상의 접촉들의 서로를 향하는 이동에 기초하여 검출되고; 디핀치 제스처는 2개 이상의 접촉들의 서로로부터 멀어지는 이동에 기초하여 검출되고; 길게 누르기 제스처는 임계량 미만의 이동을 갖는 터치 감응형 표면 상의 접촉의 지속기간에 기초하여 검출된다. 이와 같이, 특정 제스처 인식 기준들이 충족되기 위하여 접촉(들)의 세기가 각자의 세기 임계치를 충족할 것을 특정 제스처 인식 기준들이 요구하지 않는다는 진술은, 특정 제스처 인식 기준들이, 그 제스처에서의 접촉(들)이 각자의 세기 임계치에 도달하지 않는 경우 충족될 수 있고, 그 제스처에서의 접촉들 중 하나 이상이 각자의 세기 임계치에 도달하거나 그를 초과하는 상황들에서도 또한 충족될 수 있다는 것을 의미한다. 일부 실시예들에서, 탭 제스처는, 접촉이 미리정의된 기간 동안 각자의 세기 임계치 초과인지 미만인지 여부에 무관하게, 손가락-다운 및 손가락-업 이벤트가 미리정의된 기간 내에서 검출된다는 결정에 기초하여 검출되고, 스와이프 제스처는, 접촉이 접촉 이동의 끝에서 각자의 세기 임계치 초과이더라도, 접촉 이동이 미리정의된 크기보다 더 크다는 결정에 기초하여 검출된다. 제스처의 검출이 제스처를 수행하는 접촉들의 세기에 의해 영향을 받는 구현예들(예를 들어, 디바이스는 접촉의 세기가 세기 임계치 초과일 때 길게 누르기를 더 신속하게 검출하거나, 또는 접촉의 세기가 더 높을 때 탭 입력의 검출을 지연시킴)에서도, 그러한 제스처들의 검출은, 접촉이 특정 세기 임계치에 도달하지 않는 상황들에서 제스처를 인식하기 위한 기준들이 충족될 수 있는 한(예를 들어, 제스처를 인식하는 데 걸리는 시간량이 변경되더라도) 접촉들이 특정 세기 임계치에 도달할 것을 요구하지 않는다.
접촉 세기 임계치들, 지속기간 임계치들, 및 이동 임계치들은, 일부 상황들에서, 동일한 입력 요소와의 다수의 상이한 상호작용들이 보다 풍부한 세트의 사용자 상호작용들 및 응답들을 제공할 수 있도록 동일한 입력 요소 또는 영역으로 향하는 2개 이상의 상이한 제스처들을 구별하기 위한 휴리스틱(heuristic)들을 생성하기 위해 다양한 상이한 조합들로 조합된다. 특정 제스처 인식 기준들이 충족되기 위하여 접촉(들)의 세기가 각자의 세기 임계치를 충족할 것을 특정 세트의 제스처 인식 기준들이 요구하지 않는다는 진술은, 제스처가 각자의 세기 임계치 초과의 세기를 갖는 접촉을 포함할 때 충족되는 기준들을 갖는 다른 제스처들을 식별하기 위한 다른 세기 의존적 제스처 인식 기준들의 동시 평가를 배제하지 않는다. 예를 들어, 일부 상황들에서, 제1 제스처에 대한 제1 제스처 인식 기준들 - 이는 제1 제스처 인식 기준들이 충족되기 위하여 접촉(들)의 세기가 각자의 세기 임계치를 충족할 것을 요구하지 않음 - 은 제2 제스처에 대한 제2 제스처 인식 기준들 - 이는 각자의 세기 임계치에 도달하는 접촉(들)에 의존함 - 과 경쟁 관계에 있다. 그러한 경쟁들에서, 제스처는 옵션적으로 제2 제스처에 대한 제2 제스처 인식 기준들이 먼저 충족되는 경우 제1 제스처에 대한 제1 제스처 인식 기준들을 충족하는 것으로 인식되지 않는다. 예를 들어, 접촉이 미리정의된 이동량만큼 이동하기 전에 접촉이 각자의 세기 임계치에 도달하는 경우, 스와이프 제스처보다는 오히려 깊게 누르기 제스처가 검출된다. 역으로, 접촉이 각자의 세기 임계치에 도달하기 전에 접촉이 미리정의된 이동량만큼 이동하는 경우, 깊게 누르기 제스처보다는 오히려 스와이프 제스처가 검출된다. 그러한 상황들에서도, 제1 제스처에 대한 제1 제스처 인식 기준들은 여전히, 제1 제스처 인식 기준들이 충족되기 위하여 접촉(들)의 세기가 각자의 세기 임계치를 충족할 것을 요구하지 않는데, 이는 접촉이 제스처(예를 들어, 각자의 세기 임계치 초과의 세기로 증가하지 않은 접촉을 갖는 스와이프 제스처)의 끝까지 각자의 세기 임계치 미만으로 머무른 경우, 제스처가 제1 제스처 인식 기준들에 의해 스와이프 제스처로서 인식되었을 것이기 때문이다. 이와 같이, 특정 제스처 인식 기준들이 충족되기 위하여 접촉(들)의 세기가 각자의 세기 임계치를 충족할 것을 요구하지 않는 특정 제스처 인식 기준들은, (A) 일부 상황들에서 (예를 들어, 탭 제스처의 경우) 세기 임계치와 관련한 접촉의 세기를 무시하고/하거나 (B) 일부 상황들에서 (예를 들어, 인식을 위해 깊게 누르기 제스처와 경쟁하는 길게 누르기 제스처의 경우) (예를 들어, 길게 누르기 제스처에 대한) 특정 제스처 인식 기준들이 입력에 대응하는 제스처를 인식하기 전에 (예를 들어, 깊게 누르기 제스처에 대한) 세기 의존적 제스처 인식 기준들의 경쟁 세트가 입력을 세기 의존적 제스처에 대응하는 것으로서 인식하는 경우 특정 제스처 인식 기준들이 실패할 것이라는 의미에서 세기 임계치와 관련한 접촉의 세기에 여전히 의존할 것이다.
자세 모듈(131)은, 가속도계(167), 자이로스코프(168), 및/또는 자력계(169)와 함께, 옵션적으로 참조의 특정 프레임에서 디바이스의 자세(예를 들어, 롤, 피치 및/또는 요(yaw))와 같은 디바이스에 관한 자세 정보를 검출한다. 자세 모듈(131)은 디바이스의 포지션을 검출하고 디바이스의 자세 변경을 검출하는 것과 관련된 다양한 동작들을 수행하기 위한 소프트웨어 컴포넌트들을 포함한다.
그래픽 모듈(132)은 디스플레이되는 그래픽의 시각적 효과(예를 들어, 밝기, 투명도, 채도, 콘트라스트 또는 다른 시각적 속성)를 변경하기 위한 컴포넌트들을 포함하는, 터치 감응형 디스플레이 시스템(112) 또는 다른 디스플레이 상에서 그래픽을 렌더링 및 디스플레이하기 위한 다양한 공지된 소프트웨어 컴포넌트들을 포함한다. 본 명세서에서 사용되는 바와 같이, "그래픽"이라는 용어는, 텍스트, 웹 페이지들, 아이콘들(예를 들어, 소프트 키들을 포함하는 사용자 인터페이스 객체들), 디지털 이미지들, 비디오들, 애니메이션들 등을 제한 없이 포함하는, 사용자에게 디스플레이될 수 있는 임의의 객체를 포함한다.
일부 실시예들에서, 그래픽 모듈(132)은 사용될 그래픽을 표현하는 데이터를 저장한다. 각각의 그래픽에는 옵션적으로 대응하는 코드가 할당된다. 그래픽 모듈(132)은, 필요한 경우, 좌표 데이터 및 다른 그래픽 속성 데이터와 함께, 디스플레이될 그래픽을 특정하는 하나 이상의 코드들을 애플리케이션들 등으로부터 수신하며, 이어서 스크린 이미지 데이터를 생성하여 디스플레이 제어기(156)에 출력한다.
햅틱 피드백 모듈(133)은 디바이스(100)와의 사용자 상호작용들에 응답하여 디바이스(100) 상의 하나 이상의 위치들에서 촉각적 출력 생성기(들)(163)를 사용하여 촉각적 출력들을 생성하기 위하여 명령어들(예를 들어, 햅틱 피드백 제어기(161)에 의해 사용되는 명령어들)을 생성하기 위한 다양한 소프트웨어 컴포넌트들을 포함한다.
옵션적으로 그래픽 모듈(132)의 컴포넌트인 텍스트 입력 모듈(134)은 다양한 애플리케이션들(예를 들어, 연락처(137), 이메일(140), IM(141), 브라우저(147), 및 텍스트 입력을 필요로 하는 임의의 다른 애플리케이션)에 텍스트를 입력하기 위한 소프트 키보드들을 제공한다.
GPS 모듈(135)은 디바이스의 위치를 결정하고, 이 정보를 다양한 애플리케이션들에서의 사용을 위해 (예를 들어, 위치 기반 다이얼링에서 사용하기 위해 전화(138)에, 사진/비디오 메타데이터로서 카메라(143)에, 그리고 날씨 위젯들, 지역 옐로 페이지 위젯들 및 지도/내비게이션 위젯들과 같은 위치 기반 서비스들을 제공하는 애플리케이션들에) 제공한다.
가상/증강 현실 모듈(145)은 증강 현실, 및 일부 실시예들에서 가상 현실 특징들을 구현하는 애플리케이션들(136)에 가상 및/또는 증강 현실 로직을 제공한다. 가상/증강 현실 모듈(145)은 하나 이상의 카메라들의 시야의 적어도 일부분의 표현 상의 가상 사용자 인터페이스 객체와 같은 가상 콘텐츠의 중첩을 용이하게 한다. 예를 들어, 가상/증강 현실 모듈(145)로부터의 도움으로, 하나 이상의 카메라들의 시야의 적어도 일부분의 표현은 각자의 물리적 객체를 포함할 수 있고, 가상 사용자 인터페이스 객체는, 하나 이상의 카메라들의 시야 내의 각자의 물리적 객체에 기초하여 결정되는 디스플레이된 증강 현실 환경, 또는 컴퓨터 시스템의 적어도 일부분의 자세(예를 들어, 사용자 인터페이스를 컴퓨터 시스템의 사용자에게 디스플레이하는 데 사용되는 디스플레이 디바이스의 자세)에 기초하여 결정되는 가상 현실 환경 내의 위치에 디스플레이될 수 있다.
애플리케이션들(136)은 옵션적으로 다음의 모듈들(또는 명령어들의 세트들), 또는 이들의 서브세트 또는 수퍼세트(superset)를 포함한다:
Figure pat00001
연락처 모듈(137)(때때로 주소록 또는 연락처 목록으로 지칭됨);
Figure pat00002
전화 모듈(138);
Figure pat00003
화상 회의 모듈(139);
Figure pat00004
이메일 클라이언트 모듈(140);
Figure pat00005
인스턴트 메시징(IM) 모듈(141);
Figure pat00006
운동 지원 모듈(142);
Figure pat00007
정지 및/또는 비디오 이미지들을 위한 카메라 모듈(143);
Figure pat00008
이미지 관리 모듈(144);
Figure pat00009
브라우저 모듈(147);
Figure pat00010
캘린더 모듈(148);
Figure pat00011
옵션적으로 날씨 위젯(149-1), 주식 위젯(149-2), 계산기 위젯(149-3), 알람 시계 위젯(149-4), 사전 위젯(149-5), 및 사용자에 의해 획득되는 다른 위젯들뿐 아니라 사용자-생성 위젯들(149-6) 중 하나 이상을 포함하는 위젯 모듈들(149);
Figure pat00012
사용자-생성 위젯들(149-6)을 만들기 위한 위젯 생성기 모듈(150);
Figure pat00013
검색 모듈(151);
Figure pat00014
옵션적으로 비디오 재생기 모듈 및 음악 재생기 모듈로 구성된 비디오 및 음악 재생기 모듈(152);
Figure pat00015
메모 모듈(153);
Figure pat00016
지도 모듈(154); 및/또는
Figure pat00017
온라인 비디오 모듈(155).
옵션적으로 메모리(102) 내에 저장되는 다른 애플리케이션들(136)의 예들은 다른 워드 프로세싱 애플리케이션들, 다른 이미지 편집 애플리케이션들, 그리기 애플리케이션들, 프레젠테이션 애플리케이션들, JAVA-인에이블형 애플리케이션들, 암호화, 디지털 저작권 관리, 음성 인식 및 음성 복제를 포함한다.
터치 감응형 디스플레이 시스템(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 연락처 모듈(137)은, 하기를 비롯한, 주소록 또는 연락처 목록(예를 들어, 메모리(102) 또는 메모리(370) 내의 연락처 모듈(137)의 애플리케이션 내부 상태(192)에 저장됨)을 관리하도록 하는 실행가능한 명령어들을 포함한다: 이름(들)을 주소록에 추가하는 것; 주소록으로부터 이름(들)을 삭제하는 것; 전화번호(들), 이메일 주소(들), 물리적 주소(들) 또는 다른 정보를 이름과 연관시키는 것; 이미지를 이름과 연관시키는 것; 이름들을 분류 및 정렬하는 것; 전화(138), 화상 회의(139), 이메일(140) 또는 IM(141)에 의한 통신을 개시하고/하거나 용이하게 하기 위해 전화번호들 및/또는 이메일 주소들을 제공하는 것 등.
RF 회로부(108), 오디오 회로부(110), 스피커(111), 마이크로폰(113), 터치 감응형 디스플레이 시스템(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 및 텍스트 입력 모듈(134)과 함께, 전화 모듈(138)은, 전화번호에 대응하는 문자들의 시퀀스를 입력하고, 주소록(137) 내의 하나 이상의 전화번호에 액세스하고, 입력된 전화번호를 수정하고, 각자의 전화번호를 다이얼링하고, 대화를 하고, 대화가 완료된 때 접속해제하거나 끊도록 하는 실행가능한 명령어들을 포함한다. 전술한 바와 같이, 무선 통신은 옵션적으로 복수의 통신 표준들, 프로토콜들 및 기술들 중 임의의 것을 사용한다.
RF 회로부(108), 오디오 회로부(110), 스피커(111), 마이크로폰(113), 터치 감응형 디스플레이 시스템(112), 디스플레이 제어기(156), 광 센서(들)(164), 광 센서 제어기(158), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), 연락처 목록(137) 및 전화 모듈(138)과 함께, 화상 회의 모듈(139)은 사용자 지시들에 따라 사용자와 한 명 이상의 다른 참여자들 사이의 화상 회의를 개시, 시행 및 종료하도록 하는 실행가능한 명령어들을 포함한다.
RF 회로부(108), 터치 감응형 디스플레이 시스템 (112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 이메일 클라이언트 모듈(140)은 사용자 지시들에 응답하여 이메일을 작성, 전송, 수신, 및 관리하도록 하는 실행가능한 명령어들을 포함한다. 이미지 관리 모듈(144)과 함께, 이메일 클라이언트 모듈(140)은 카메라 모듈(143)로 촬영된 정지 또는 비디오 이미지들을 갖는 이메일을 생성 및 전송하는 것을 매우 용이하게 한다.
RF 회로부(108), 터치 감응형 디스플레이 시스템(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 인스턴트 메시징 모듈(141)은, 인스턴트 메시지에 대응하는 문자들의 시퀀스를 입력하고, 이전에 입력된 문자들을 수정하고, (예를 들어, 전화 기반 인스턴트 메시지들을 위한 단문자 메시지 서비스(SMS) 또는 멀티미디어 메시지 서비스(Multimedia Message Service, MMS) 프로토콜을 이용하거나 인터넷 기반 인스턴트 메시지들을 위한 XMPP, SIMPLE, APNs(Apple Push Notification Service) 또는 IMPS를 이용하여) 각자의 인스턴트 메시지를 송신하고, 인스턴트 메시지들을 수신하고, 수신된 인스턴트 메시지들을 보도록 하는 실행가능한 명령어들을 포함한다. 일부 실시예들에서, 송신 및/또는 수신된 인스턴트 메시지들은 옵션적으로 그래픽, 사진, 오디오 파일, 비디오 파일 및/또는 MMS 및/또는 EMS(Enhanced Messaging Service)에서 지원되는 다른 첨부물들을 포함한다. 본 명세서에서 사용되는 바와 같이, "인스턴트 메시징"은 전화 기반 메시지들(예를 들어, SMS 또는 MMS를 이용하여 전송된 메시지들) 및 인터넷 기반 메시지들(예를 들어, XMPP, SIMPLE, APNs, 또는 IMPS를 이용하여 전송된 메시지들) 둘 모두를 지칭한다.
RF 회로부(108), 터치 감응형 디스플레이 시스템(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), GPS 모듈(135), 지도 모듈(154), 및 비디오 및 음악 재생기 모듈(152)과 함께, 운동 지원 모듈(142)은 (예를 들어, 시간, 거리, 및/또는 열량 소비 목표와 함께) 운동들을 고안하고; (스포츠 디바이스들 및 스마트 워치들 내의) 운동 센서들과 통신하고; 운동 센서 데이터를 수신하고; 운동을 모니터링하는데 사용되는 센서들을 교정하고; 운동을 위한 음악을 선택 및 재생하고; 운동 데이터를 디스플레이, 저장 및 송신하도록 하는 실행가능한 명령어들을 포함한다.
터치 감응형 디스플레이 시스템(112), 디스플레이 제어기(156), 광 센서(들)(164), 광 센서 제어기(158), 접촉 모듈(130), 그래픽 모듈(132) 및 이미지 관리 모듈(144)과 함께, 카메라 모듈(143)은 정지 이미지들 또는 비디오(비디오 스트림을 포함함)를 캡처하여 이들을 메모리(102)에 저장하고/하거나, 정지 이미지 또는 비디오의 특성을 수정하고/하거나, 메모리(102)로부터 정지 이미지 또는 비디오를 삭제하도록 하는 실행가능한 명령어들을 포함한다.
터치 감응형 디스플레이 시스템(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134) 및 카메라 모듈(143)과 함께, 이미지 관리 모듈(144)은 정지 및/또는 비디오 이미지들을 배열하거나, 수정(예를 들어, 편집)하거나, 그렇지 않으면 조작하고, 라벨링하고, 삭제하고, (예를 들어, 디지털 슬라이드 쇼 또는 앨범에) 제시하고, 저장하도록 하는 실행가능한 명령어들을 포함한다.
RF 회로부(108), 터치 감응형 디스플레이 시스템(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 브라우저 모듈(147)은 웹 페이지들 또는 이들의 일부분들은 물론 웹 페이지들에 링크된 첨부물들 및 다른 파일들을 검색하고, 그에 링크하고, 수신하고, 디스플레이하는 것을 비롯한, 사용자 지시들에 따라 인터넷을 브라우징하도록 하는 실행가능한 명령어들을 포함한다.
RF 회로부(108), 터치 감응형 디스플레이 시스템(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), 이메일 클라이언트 모듈(140), 및 브라우저 모듈(147)과 함께, 캘린더 모듈(148)은 사용자 지시들에 따라 캘린더들 및 캘린더들과 연관된 데이터(예를 들어, 캘린더 엔트리들, 할 일 목록들 등)를 생성, 디스플레이, 수정, 및 저장하도록 하는 실행가능한 명령어들을 포함한다.
RF 회로부(108), 터치 감응형 디스플레이 시스템(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134) 및 브라우저 모듈(147)과 함께, 위젯 모듈들(149)은, 옵션적으로 사용자에 의해 다운로드 및 사용되거나(예를 들어, 날씨 위젯(149-1), 주식 위젯(149-2), 계산기 위젯(149-3), 알람 시계 위젯(149-4) 및 사전 위젯(149-5)) 또는 사용자에 의해 생성되는 (예를 들어, 사용자-생성 위젯(149-6)) 미니-애플리케이션들이다. 일부 실시예들에서, 위젯은 HTML(Hypertext Markup Language) 파일, CSS(Cascading Style Sheets) 파일 및 자바스크립트(JavaScript) 파일을 포함한다. 일부 실시예들에서, 위젯은 XML(Extensible Markup Language) 파일 및 자바스크립트 파일(예를 들어, 야후(Yahoo)! 위젯들)을 포함한다.
RF 회로부(108), 터치 감응형 디스플레이 시스템(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134) 및 브라우저 모듈(147)과 함께, 위젯 생성기 모듈(150)은 위젯들을 생성(예를 들어, 웹 페이지의 사용자-지정 일부분을 위젯으로 변경)하도록 하는 실행가능한 명령어들을 포함한다.
터치 감응형 디스플레이 시스템(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 검색 모듈(151)은 사용자 지시들에 따라 하나 이상의 검색 기준들(예를 들어, 하나 이상의 사용자-지정 검색어)에 매칭되는 메모리(102) 내의 텍스트, 음악, 사운드, 이미지, 비디오, 및/또는 다른 파일들을 검색하도록 하는 실행가능한 명령어들을 포함한다.
터치 감응형 디스플레이 시스템(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 오디오 회로부(110), 스피커(111), RF 회로부(108), 및 브라우저 모듈(147)과 함께, 비디오 및 음악 재생기 모듈(152)은 사용자가 MP3 또는 AAC 파일들과 같은 하나 이상의 파일 포맷으로 저장된 녹음된 음악 및 다른 사운드 파일들을 다운로드 및 재생하도록 허용하는 실행가능한 명령어들, 및 비디오들을 (예를 들어, 터치 감응형 디스플레이 시스템(112) 상에서, 또는 무선으로 또는 외부 포트(124)를 통해 접속된 외부 디스플레이 상에서) 디스플레이하거나, 제시하거나, 그렇지 않으면 재생하도록 하는 실행가능한 명령어들을 포함한다. 일부 실시예들에서, 디바이스(100)는 옵션적으로 아이팟(애플 인크.의 상표)과 같은 MP3 재생기의 기능을 포함한다.
터치 감응형 디스플레이 시스템(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 메모 모듈(153)은 사용자 지시들에 따라 메모들, 할 일 목록들 등을 생성 및 관리하도록 하는 실행가능한 명령어들을 포함한다.
RF 회로부(108), 터치 감응형 디스플레이 시스템(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), GPS 모듈(135), 및 브라우저 모듈(147)과 함께, 지도 모듈(154)은 사용자 지시들에 따라 지도들 및 지도들과 연관된 데이터(예를 들어, 운전 길 안내; 특정 위치에서의 또는 그 인근의 상점들 및 다른 관심 지점들에 관한 데이터; 및 다른 위치 기반 데이터)를 수신, 디스플레이, 수정, 및 저장하도록 하는 실행가능한 명령어들을 포함한다.
터치 감응형 디스플레이 시스템(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 오디오 회로부(110), 스피커(111), RF 회로부(108), 텍스트 입력 모듈(134), 이메일 클라이언트 모듈(140), 및 브라우저 모듈(147)과 함께, 온라인 비디오 모듈(155)은 사용자가 H.264와 같은 하나 이상의 파일 포맷의 온라인 비디오들에 액세스하고, 그들을 브라우징하고, (예를 들어, 스트리밍 및/또는 다운로드에 의해) 수신하고, (예를 들어, 터치 스크린(112) 상에서, 또는 무선으로 또는 외부 포트(124)를 통해 접속된 외부 디스플레이 상에서) 재생하고, 특정 온라인 비디오로의 링크와 함께 이메일을 전송하고, 달리 관리하도록 허용하는 실행가능한 명령어들을 포함한다. 일부 실시예들에서, 이메일 클라이언트 모듈(140)보다는 오히려 인스턴트 메시징 모듈(141)이 특정 온라인 비디오로의 링크를 전송하는데 사용된다.
앞서 식별된 모듈들 및 애플리케이션들 각각은 전술된 하나 이상의 기능들 및 본 출원에서 기술되는 방법들(예를 들어, 컴퓨터 구현 방법들 및 본 명세서에서 기술되는 다른 정보 프로세싱 방법들)을 수행하기 위한 실행가능 명령어들의 세트에 대응한다. 이러한 모듈들(즉, 명령어들의 세트들)은 개별적인 소프트웨어 프로그램들, 절차들 또는 모듈들로서 구현될 필요가 없으며, 이에 따라 이러한 모듈들의 다양한 서브세트들은 옵션적으로 다양한 실시예들에서 조합되거나 다른 방식으로 재배열된다. 일부 실시예들에서, 메모리(102)는 옵션적으로 앞서 식별된 모듈들 및 데이터 구조들의 서브세트를 저장한다. 또한, 메모리(102)는 옵션적으로 전술되지 않은 추가의 모듈들 및 데이터 구조들을 저장한다.
일부 실시예들에서, 디바이스(100)는 디바이스 상의 미리정의된 세트의 기능들의 동작이 터치 스크린 및/또는 터치패드를 통해 전용으로 수행되는 디바이스이다. 터치 스크린 및/또는 터치패드를 디바이스(100)의 동작을 위한 주 입력 제어 디바이스로서 사용함으로써, 디바이스(100) 상의 (푸시 버튼들, 다이얼들 등과 같은) 물리적 입력 제어 디바이스들의 수가 옵션적으로 감소된다.
전적으로 터치 스크린 및/또는 터치패드를 통해 수행되는 미리정의된 세트의 기능들은 옵션적으로 사용자 인터페이스들 간의 내비게이션을 포함한다. 일부 실시예들에서, 터치패드는, 사용자에 의해 터치될 때, 디바이스(100)를 디바이스(100) 상에 디스플레이되는 임의의 사용자 인터페이스로부터 메인, 홈 또는 루트 메뉴로 내비게이팅한다. 이러한 실시예들에서, "메뉴 버튼"이 터치 감응형 표면을 이용하여 구현된다. 일부 다른 실시예들에서, 메뉴 버튼은 터치 감응형 표면 대신에 물리적 푸시 버튼 또는 다른 물리적 입력 제어 디바이스이다.
도 1b는 일부 실시예들에 따른, 이벤트 처리를 위한 예시적인 컴포넌트들을 예시하는 블록도이다. 일부 실시예들에서, 메모리(102(도 1a) 또는 370(도 3a))는 (예를 들어, 운영 체제(126)에서의) 이벤트 분류기(170) 및 각자의 애플리케이션(136-1)(예를 들어, 전술한 애플리케이션들(136, 137 내지 155, 380 내지 390) 중 임의의 것)을 포함한다.
이벤트 분류기(170)는 이벤트 정보를 수신하고, 이벤트 정보를 전달할 애플리케이션(136-1), 및 애플리케이션(136-1)의 애플리케이션 뷰(191)를 결정한다. 이벤트 분류기(170)는 이벤트 모니터(171) 및 이벤트 디스패처 모듈(174)을 포함한다. 일부 실시예들에서, 애플리케이션(136-1)은 애플리케이션이 활성 상태이거나 실행 중일 때 터치 감응형 디스플레이 시스템(112) 상에 디스플레이되는 현재 애플리케이션 뷰(들)를 표시하는 애플리케이션 내부 상태(192)를 포함한다. 일부 실시예들에서, 디바이스/글로벌 내부 상태(157)는 이벤트 분류기(170)에 의해 어느 애플리케이션(들)이 현재 활성인지 결정하는데 이용되며, 애플리케이션 내부 상태(192)는 이벤트 분류기(170)에 의해 이벤트 정보를 전달할 애플리케이션 뷰들(191)을 결정하는데 이용된다.
일부 실시예들에서, 애플리케이션 내부 상태(192)는 애플리케이션(136-1)이 실행을 재개할 때 이용될 재개 정보, 애플리케이션(136-1)에 의해 디스플레이되고 있거나 디스플레이될 준비가 된 정보를 표시하는 사용자 인터페이스 상태 정보, 사용자가 애플리케이션(136-1)의 이전 상태 또는 뷰로 되돌아가는 것을 가능하게 하기 위한 상태 큐(queue), 및 사용자에 의해 취해진 이전 액션들의 재실행(redo)/실행취소(undo) 큐 중 하나 이상과 같은 추가 정보를 포함한다.
이벤트 모니터(171)는 주변기기 인터페이스(118)로부터 이벤트 정보를 수신한다. 이벤트 정보는 서브-이벤트(예를 들어, 멀티-터치 제스처의 일부로서 터치 감응형 디스플레이 시스템(112) 상의 사용자 터치)에 대한 정보를 포함한다. 주변기기 인터페이스(118)는 I/O 서브시스템(106) 또는 센서, 예컨대, 근접 센서(166), 가속도계(들)(167), 및/또는 (오디오 회로부(110)를 통한) 마이크로폰(113)으로부터 수신하는 정보를 송신한다. 주변기기 인터페이스(118)가 I/O 서브시스템(106)으로부터 수신하는 정보는 터치 감응형 디스플레이 시스템(112) 또는 터치 감응형 표면으로부터의 정보를 포함한다.
일부 실시예들에서, 이벤트 모니터(171)는 요청들을 미리결정된 간격으로 주변기기 인터페이스(118)에 전송한다. 이에 응답하여, 주변기기 인터페이스(118)는 이벤트 정보를 송신한다. 다른 실시예들에서, 주변기기 인터페이스(118)는 중요한 이벤트(예를 들어, 미리결정된 잡음 임계치를 초과하는 입력 및/또는 미리결정된 지속기간 초과 동안의 입력을 수신하는 것)가 있을 때에만 이벤트 정보를 송신한다.
일부 실시예들에서, 이벤트 분류기(170)는 또한 히트 뷰(hit view) 결정 모듈(172) 및/또는 활성 이벤트 인식기 결정 모듈(173)을 포함한다.
히트 뷰 결정 모듈(172)은 터치 감응형 디스플레이 시스템(112)이 하나 초과의 뷰를 디스플레이할 때 하나 이상의 뷰들 내에서 서브-이벤트가 발생한 장소를 결정하기 위한 소프트웨어 절차들을 제공한다. 뷰들은 사용자가 디스플레이 상에서 볼 수 있는 제어들 및 다른 요소들로 구성된다.
애플리케이션과 연관된 사용자 인터페이스의 다른 양태는 본 명세서에서 때때로 애플리케이션 뷰들 또는 사용자 인터페이스 창(user interface window)들로 지칭되는 한 세트의 뷰들인데, 여기서 정보가 디스플레이되고 터치 기반 제스처가 발생한다. 터치가 검출되는 (각자의 애플리케이션의) 애플리케이션 뷰들은 옵션적으로 애플리케이션의 프로그램 또는 뷰 계층구조 내의 프로그램 레벨들에 대응한다. 예를 들어, 터치가 검출되는 최하위 레벨의 뷰는 옵션적으로 히트 뷰로 지칭되고, 적절한 입력들로서 인식되는 이벤트들의 세트는 옵션적으로 터치 기반 제스처를 시작하는 초기 터치의 히트 뷰에 적어도 부분적으로 기초하여 결정된다.
히트 뷰 결정 모듈(172)은 터치 기반 제스처의 서브-이벤트들과 관련된 정보를 수신한다. 애플리케이션이 계층구조에서 조직화된 다수의 뷰들을 갖는 경우, 히트 뷰 결정 모듈(172)은 히트 뷰를, 서브-이벤트를 처리해야 하는 계층구조 내의 최하위 뷰로서 식별한다. 대부분의 상황들에서, 히트 뷰는 개시되는 서브-이벤트가 발생하는 최하위 레벨 뷰이다(즉, 이벤트 또는 잠재적 이벤트를 형성하는 서브-이벤트들의 시퀀스에서의 제1 서브-이벤트임). 일단 히트 뷰가 히트 뷰 결정 모듈에 의해 식별되면, 히트 뷰는 전형적으로 그것이 히트 뷰로서 식별되게 하는 것과 동일한 터치 또는 입력 소스에 관련된 모든 서브-이벤트들을 수신한다.
활성 이벤트 인식기 결정 모듈(173)은 뷰 계층구조 내에서 어느 뷰 또는 뷰들이 서브-이벤트들의 특정 시퀀스를 수신해야 하는지를 결정한다. 일부 실시예들에서, 활성 이벤트 인식기 결정 모듈(173)은 히트 뷰만이 서브-이벤트들의 특정 시퀀스를 수신해야 하는 것으로 결정한다. 다른 실시예들에서, 활성 이벤트 인식기 결정 모듈(173)은 서브-이벤트의 물리적 위치를 포함하는 모든 뷰들이 적극 참여 뷰(actively involved view)들인 것으로 결정하고, 그에 따라 모든 적극 참여 뷰들이 서브-이벤트들의 특정 시퀀스를 수신해야 하는 것으로 결정한다. 다른 실시예들에서, 터치 서브-이벤트들이 전적으로 하나의 특정 뷰와 연관된 영역으로 한정되었더라도, 계층구조 내의 상위 뷰들은 여전히 적극 참여 뷰들로서 유지될 것이다.
이벤트 디스패처 모듈(174)은 이벤트 정보를 이벤트 인식기(예컨대, 이벤트 인식기(180))에 디스패치한다. 활성 이벤트 인식기 결정 모듈(173)을 포함하는 실시예들에서, 이벤트 디스패처 모듈(174)은 이벤트 정보를 활성 이벤트 인식기 결정 모듈(173)에 의해 결정된 이벤트 인식기에 전달한다. 일부 실시예들에서, 이벤트 디스패처 모듈(174)은 이벤트 큐 내에 이벤트 정보를 저장하는데, 이벤트 정보는 각자의 이벤트 수신기 모듈(182)에 의해 인출된다.
일부 실시예들에서, 운영 체제(126)는 이벤트 분류기(170)를 포함한다. 대안적으로, 애플리케이션(136-1)은 이벤트 분류기(170)를 포함한다. 또 다른 실시예들에서, 이벤트 분류기(170)는 독립형 모듈이거나, 또는 접촉/모션 모듈(130)과 같이 메모리(102)에 저장되는 다른 모듈의 일부이다.
일부 실시예들에서, 애플리케이션(136-1)은 복수의 이벤트 핸들러들(190) 및 하나 이상의 애플리케이션 뷰들(191)을 포함하며, 이들의 각각은 애플리케이션의 사용자 인터페이스의 각각의 뷰 내에 발생하는 터치 이벤트들을 처리하기 위한 명령어들을 포함한다. 애플리케이션(136-1)의 각각의 애플리케이션 뷰(191)는 하나 이상의 이벤트 인식기들(180)을 포함한다. 전형적으로, 각자의 애플리케이션 뷰(191)는 복수의 이벤트 인식기들(180)을 포함한다. 다른 실시예들에서, 이벤트 인식기들(180) 중 하나 이상은 사용자 인터페이스 키트(도시되지 않음) 또는 애플리케이션(136-1)이 방법들 및 다른 속성들을 물려받는 상위 레벨 객체와 같은 별개의 모듈의 일부이다. 일부 실시예들에서, 각자의 이벤트 핸들러(190)는 데이터 업데이터(176), 객체 업데이터(177), GUI 업데이터(178), 및/또는 이벤트 분류기(170)로부터 수신된 이벤트 데이터(179) 중 하나 이상을 포함한다. 이벤트 핸들러(190)는 옵션적으로 데이터 업데이터(176), 객체 업데이터(177) 또는 GUI 업데이터(178)를 이용하거나 호출하여 애플리케이션 내부 상태(192)를 업데이트한다. 대안적으로, 애플리케이션 뷰들(191) 중 하나 이상은 하나 이상의 각자의 이벤트 핸들러들(190)을 포함한다. 또한, 일부 실시예들에서, 데이터 업데이터(176), 객체 업데이터(177), 및 GUI 업데이터(178) 중 하나 이상은 각자의 애플리케이션 뷰(191) 내에 포함된다.
각자의 이벤트 인식기(180)는 이벤트 분류기(170)로부터 이벤트 정보(예컨대, 이벤트 데이터(179))를 수신하고 그 이벤트 정보로부터 이벤트를 식별한다. 이벤트 인식기(180)는 이벤트 수신기(182) 및 이벤트 비교기(184)를 포함한다. 일부 실시예들에서, 이벤트 인식기(180)는 또한 적어도 메타데이터(183) 및 이벤트 전달 명령어들(188)(옵션적으로 서브-이벤트 전달 명령어들을 포함함)의 서브세트를 포함한다.
이벤트 수신기(182)는 이벤트 분류기(170)로부터 이벤트 정보를 수신한다. 이벤트 정보는 서브-이벤트, 예를 들어 터치 또는 터치 이동에 관한 정보를 포함한다. 서브-이벤트에 따라서, 이벤트 정보는 또한 서브-이벤트의 위치와 같은 추가 정보를 포함한다. 서브-이벤트가 터치의 모션과 관련되는 경우, 이벤트 정보는 또한 옵션적으로 서브-이벤트의 속력 및 방향을 포함한다. 일부 실시예들에서, 이벤트들은 하나의 배향으로부터 다른 배향으로(예컨대, 세로 배향으로부터 가로 배향으로, 또는 그 반대로)의 디바이스의 회전을 포함하며, 이벤트 정보는 디바이스의 현재 배향(디바이스 자세로도 지칭됨)에 관한 대응하는 정보를 포함한다.
이벤트 비교기(184)는 이벤트 정보를 미리정의된 이벤트 또는 서브-이벤트 정의들과 비교하고, 그 비교에 기초하여, 이벤트 또는 서브-이벤트를 결정하거나, 이벤트 또는 서브-이벤트의 상태를 결정 또는 업데이트한다. 일부 실시예들에서, 이벤트 비교기(184)는 이벤트 정의들(186)을 포함한다. 이벤트 정의들(186)은 이벤트들(예를 들어, 서브-이벤트들의 미리정의된 시퀀스들), 예를 들어 이벤트 1(187-1), 이벤트 2(187-2) 등의 정의들을 포함한다. 일부 실시예들에서, 이벤트(187) 내의 서브-이벤트들은, 예를 들면 터치 시작, 터치 종료, 터치 이동, 터치 취소, 및 다중 터치를 포함한다. 일례에서, 이벤트 1(187-1)에 대한 정의는 디스플레이된 객체 상에의 더블 탭이다. 더블 탭은, 예를 들어 미리결정된 단계 동안의 디스플레이된 객체 상의 제1 터치(터치 시작), 미리결정된 단계 동안의 제1 리프트오프(터치 종료), 미리결정된 단계 동안의 디스플레이된 객체 상의 제2 터치(터치 시작), 및 미리결정된 단계 동안의 제2 리프트오프(터치 종료)를 포함한다. 다른 예에서, 이벤트 2(187-2)에 대한 정의는 디스플레이된 객체 상의 드래깅이다. 드래그는, 예를 들어, 미리결정된 단계 동안의 디스플레이된 객체 상의 터치(또는 접촉), 터치 감응형 디스플레이 시스템(112)을 가로지르는 터치의 이동, 및 터치의 리프트오프(터치 종료)를 포함한다. 일부 실시예들에서, 이벤트는 또한 하나 이상의 연관된 이벤트 핸들러들(190)에 대한 정보를 포함한다.
일부 실시예들에서, 이벤트 정의(187)는 각자의 사용자 인터페이스 객체에 대한 이벤트의 정의를 포함한다. 일부 실시예들에서, 이벤트 비교기(184)는 어느 사용자 인터페이스 객체가 서브-이벤트와 연관되어 있는지 결정하도록 히트 테스트(hit test)를 수행한다. 예를 들어, 3개의 사용자 인터페이스 객체들이 터치 감응형 디스플레이 시스템(112) 상에 디스플레이된 애플리케이션 뷰에서, 터치 감응형 디스플레이 시스템(112) 상에서 터치가 검출되는 경우에, 이벤트 비교기(184)는 3개의 사용자 인터페이스 객체들 중 어느 것이 터치(서브-이벤트)와 연관되는지 결정하도록 히트 테스트를 수행한다. 각각의 디스플레이된 객체가 각자의 이벤트 핸들러(190)와 연관되는 경우, 이벤트 비교기는 어느 이벤트 핸들러(190)가 활성화되어야 하는지 결정하는데 히트 테스트의 결과를 이용한다. 예를 들어, 이벤트 비교기(184)는 히트 테스트를 트리거하는 객체 및 서브-이벤트와 연관된 이벤트 핸들러를 선택한다.
일부 실시예들에서, 각자의 이벤트(187)에 대한 정의는 또한 서브-이벤트들의 시퀀스가 이벤트 인식기의 이벤트 유형에 대응하는지 대응하지 않는지 여부가 결정된 후까지 이벤트 정보의 전달을 지연하는 지연된 액션들을 포함한다.
각자의 이벤트 인식기(180)가, 일련의 서브-이벤트들이 이벤트 정의들(186) 내의 이벤트들 중 어떠한 것과도 매칭되지 않는 것으로 결정하는 경우, 각자의 이벤트 인식기(180)는 이벤트 불가능, 이벤트 실패, 또는 이벤트 종료 상태에 진입하고, 그 후 각자의 이벤트 인식기는 터치 기반 제스처의 후속 서브-이벤트들을 무시한다. 이러한 상황에서, 만일 있다면, 히트 뷰에 대해 활성 상태로 유지되는 다른 이벤트 인식기들이 진행 중인 터치 기반 제스처의 서브-이벤트들을 계속해서 추적 및 프로세싱한다.
일부 실시예들에서, 각자의 이벤트 인식기(180)는 이벤트 전달 시스템이 어떻게 적극 참여 이벤트 인식기들에 대한 서브-이벤트 전달을 수행해야 하는지를 표시하는 구성가능한 속성들, 플래그(flag)들, 및/또는 목록들을 갖는 메타데이터(183)를 포함한다. 일부 실시예들에서, 메타데이터(183)는 이벤트 인식기들이 어떻게 서로 상호작용하는지, 또는 상호작용 가능하게 되는지를 표시하는 구성가능한 속성들, 플래그들, 및/또는 목록들을 포함한다. 일부 실시예들에서, 메타데이터(183)는, 서브-이벤트들이 뷰 또는 프로그램 계층구조에서의 다양한 레벨들에 전달되는지 여부를 표시하는 구성가능한 속성들, 플래그들, 및/또는 목록들을 포함한다.
일부 실시예들에서, 각자의 이벤트 인식기(180)는 이벤트의 하나 이상의 특정 서브-이벤트들이 인식될 때 이벤트와 연관된 이벤트 핸들러(190)를 활성화한다. 일부 실시예들에서, 각자의 이벤트 인식기(180)는 이벤트와 연관된 이벤트 정보를 이벤트 핸들러(190)에 전달한다. 이벤트 핸들러(190)를 활성화시키는 것은 각자의 히트 뷰에 서브-이벤트들을 전송(및 지연 전송)하는 것과는 구별된다. 일부 실시예들에서, 이벤트 인식기(180)는 인식된 이벤트와 연관된 플래그를 보내고, 그 플래그와 연관된 이벤트 핸들러(190)는 그 플래그를 캐치하고 미리정의된 프로세스를 수행한다.
일부 실시예들에서, 이벤트 전달 명령어들(188)은 이벤트 핸들러를 활성화하지 않으면서 서브-이벤트에 관한 이벤트 정보를 전달하는 서브-이벤트 전달 명령어들을 포함한다. 대신에, 서브-이벤트 전달 명령어들은 일련의 서브-이벤트들과 연관된 이벤트 핸들러들에 또는 적극 참여 뷰들에 이벤트 정보를 전달한다. 일련의 서브-이벤트들 또는 적극 참여 뷰들과 연관된 이벤트 핸들러들은 이벤트 정보를 수신하고 미리결정된 프로세스를 수행한다.
일부 실시예들에서, 데이터 업데이터(176)는 애플리케이션(136-1)에서 이용되는 데이터를 생성 및 업데이트한다. 예를 들어, 데이터 업데이터(176)는 연락처 모듈(137)에서 이용되는 전화번호를 업데이트하거나, 비디오 및 음악 재생기 모듈(152)에서 이용되는 비디오 파일을 저장한다. 일부 실시예들에서, 객체 업데이터(177)는 애플리케이션(136-1)에서 이용되는 객체들을 생성 및 업데이트한다. 예를 들어, 객체 업데이터(177)는 새로운 사용자 인터페이스 객체를 생성하거나, 또는 사용자 인터페이스 객체의 포지션을 업데이트한다. GUI 업데이터(178)는 GUI를 업데이트한다. 예를 들어, GUI 업데이터(178)는 터치 감응형 디스플레이 상의 디스플레이를 위해 디스플레이 정보를 준비하고 이를 그래픽 모듈(132)에 전송한다.
일부 실시예들에서, 이벤트 핸들러(들)(190)는 데이터 업데이터(176), 객체 업데이터(177), 및 GUI 업데이터(178)를 포함하거나 이들에 액세스한다. 일부 실시예들에서, 데이터 업데이터(176), 객체 업데이터(177), 및 GUI 업데이터(178)는 각자의 애플리케이션(136-1) 또는 애플리케이션 뷰(191)의 단일 모듈 내에 포함된다. 다른 실시예들에서, 이들은 2개 이상의 소프트웨어 모듈들 내에 포함된다.
터치 감응형 디스플레이 상의 사용자 터치들의 이벤트 처리에 관하여 전술한 논의는 또한 입력 디바이스들을 갖는 다기능 디바이스들(100)을 동작시키기 위한 다른 형태들의 사용자 입력들에도 적용되지만, 그 모두가 터치 스크린들 상에서 개시되는 것이 아니라는 것을 이해해야 한다. 예를 들어, 단일 또는 다수의 키보드 누르기 또는 유지(hold)와 옵션적으로 조화된 마우스 이동 및 마우스 버튼 누르기; 터치패드 상에서의, 탭, 드래그, 스크롤 등과 같은 접촉 이동들; 펜 스타일러스 입력들; 하나 이상의 카메라들에 의해 획득된 비디오 이미지들의 실시간 분석에 기초한 입력들; 디바이스의 이동; 구두 명령어들; 검출된 눈 이동들; 생체측정 입력들; 및/또는 이들의 임의의 조합은, 인식될 이벤트를 정의하는 서브-이벤트들에 대응하는 입력들로서 옵션적으로 이용된다.
도 2는 일부 실시예들에 따른, 터치 스크린(예를 들어, 터치 감응형 디스플레이 시스템(112), 도 1a)을 갖는 휴대용 다기능 디바이스(100)를 예시한다. 터치 스크린은 옵션적으로 사용자 인터페이스(UI)(200) 내에서 하나 이상의 그래픽들을 디스플레이한다. 이러한 실시예들은 물론 아래에 설명되는 다른 실시예들에서, 사용자는, 예를 들어, 하나 이상의 손가락들(202)(도면에서 축척대로 도시되지 않음) 또는 하나 이상의 스타일러스들(203)(도면에서 축척대로 도시되지 않음)을 이용하여 그래픽들 상에 제스처를 행함으로써 그래픽들 중 하나 이상을 선택할 수 있다. 일부 실시예들에서, 하나 이상의 그래픽들의 선택은 사용자가 하나 이상의 그래픽들과의 접촉을 중단할 때 발생한다. 일부 실시예들에서, 제스처는 옵션적으로 디바이스(100)와 접촉한 손가락의 하나 이상의 탭들, (좌측에서 우측으로의, 우측에서 좌측으로의, 상측으로의 그리고/또는 하측으로의) 하나 이상의 스와이프들, 및/또는 (우측에서 좌측으로의, 좌측에서 우측으로의, 상측으로의 그리고/또는 하측으로의) 롤링을 포함한다. 일부 구현예들 또는 상황들에서, 그래픽과 부주의하여 접촉되면 그 그래픽은 선택되지 않는다. 예를 들어, 선택에 대응하는 제스처가 탭일 때, 애플리케이션 아이콘 위를 스윕(sweep)하는 스와이프 제스처는 옵션적으로, 대응하는 애플리케이션을 선택하지 않는다.
디바이스(100)는 또한 옵션적으로 "홈" 또는 메뉴 버튼(204)과 같은 하나 이상의 물리적 버튼들을 포함한다. 전술된 바와 같이, 메뉴 버튼(204)은 옵션적으로, 디바이스(100) 상에서 옵션적으로 실행되는 애플리케이션들의 세트 내의 임의의 애플리케이션(136)으로 내비게이팅하는 데 사용된다. 대안적으로, 일부 실시예들에서, 메뉴 버튼은 터치 스크린 디스플레이 상에 디스플레이된 GUI에서 소프트 키로서 구현된다.
일부 실시예들에서, 디바이스(100)는 터치 스크린 디스플레이, 메뉴 버튼(204)(때때로, 홈 버튼(204)으로 불림), 디바이스의 전원을 켜거나/끄고 디바이스를 잠그기 위한 푸시 버튼(206), 음량 조정 버튼(들)(208), 가입자 식별 모듈(SIM) 카드 슬롯(210), 헤드셋 잭(212), 및 도킹/충전 외부 포트(124)를 포함한다. 푸시 버튼(206)은 옵션적으로 버튼을 누르고 버튼을 미리정의된 시간 간격 동안 누른 상태로 유지함으로써 디바이스의 전원을 온/오프시키고/시키거나; 버튼을 누르고 미리정의된 시간 간격이 경과하기 전에 버튼을 누름해제함으로써 디바이스를 잠그고/잠그거나; 디바이스를 잠금해제하거나 잠금해제 프로세스를 개시하는데 사용된다. 일부 실시예들에서, 디바이스(100)는 또한 마이크로폰(113)을 통해 일부 기능들의 활성화 또는 비활성화를 위한 구두 입력을 수신한다. 디바이스(100)는 또한 옵션적으로 터치 감응형 디스플레이 시스템(112) 상의 접촉들의 세기들을 검출하기 위한 하나 이상의 접촉 세기 센서들(165) 및/또는 디바이스(100)의 사용자를 위해 촉각적 출력들을 생성하기 위한 하나 이상의 촉각적 출력 생성기들(163)을 포함한다.
도 3a는 일부 실시예들에 따른, 디스플레이 및 터치 감응형 표면을 갖는 예시적인 다기능 디바이스의 블록도이다. 디바이스(300)가 휴대용일 필요는 없다. 일부 실시예들에서, 디바이스(300)는, 게이밍 시스템, 랩톱 컴퓨터, 데스크톱 컴퓨터, 태블릿 컴퓨터, 멀티미디어 플레이어 디바이스, 내비게이션 디바이스, (어린이 학습 장난감과 같은) 교육용 디바이스, 게이밍 시스템, 또는 제어 디바이스(예를 들어, 가정용 또는 산업용 제어기)이다. 디바이스(300)는 전형적으로 하나 이상의 프로세싱 유닛(CPU)들(310), 하나 이상의 네트워크 또는 다른 통신 인터페이스들(360), 메모리(370), 및 이들 컴포넌트들을 상호접속시키기 위한 하나 이상의 통신 버스들(320)을 포함한다. 통신 버스들(320)은 옵션적으로 시스템 컴포넌트들을 상호접속하고 이들 사이의 통신을 제어하는 회로부(때때로 칩셋이라고 지칭됨)를 포함한다. 디바이스(300)는 옵션적으로 터치 스크린 디스플레이인 디스플레이(340)를 포함하는 입/출력(I/O) 인터페이스(330)를 포함한다. I/O 인터페이스(330)는 또한 옵션적으로 키보드 및/또는 마우스(또는 다른 포인팅 디바이스)(350) 및 터치패드(355), 디바이스(300) 상에 촉각적 출력들을 생성하기 위한 촉각적 출력 생성기(357)(예를 들어, 도 1a를 참조하여 전술된 촉각적 출력 생성기(들)(163)와 유사함), 및 센서들(359)(예를 들어, 도 1a를 참조하여 전술된 접촉 세기 센서(들)(165)와 유사한 광 센서, 가속도 센서, 근접 센서, 터치 감응형 센서, 및/또는 접촉 세기 센서)을 포함한다. 메모리(370)는 DRAM, SRAM, DDR RAM 또는 다른 랜덤 액세스 솔리드 스테이트 메모리 디바이스들과 같은 고속 랜덤 액세스 메모리를 포함하며; 옵션적으로 하나 이상의 자기 디스크 저장 디바이스, 광 디스크 저장 디바이스, 플래시 메모리 디바이스, 또는 다른 비휘발성 솔리드 스테이트 저장 디바이스와 같은 비휘발성 메모리를 포함한다. 메모리(370)는 옵션적으로 CPU(들)(310)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 일부 실시예들에서, 메모리(370)는 휴대용 다기능 디바이스(100)(도 1a)의 메모리(102)에 저장된 프로그램들, 모듈들, 및 데이터 구조들과 유사한 프로그램들, 모듈들, 및 데이터 구조들 또는 이들의 서브세트를 저장한다. 또한, 메모리(370)는 옵션적으로 휴대용 다기능 디바이스(100)의 메모리(102) 내에 존재하지 않는 추가의 프로그램들, 모듈들 및 데이터 구조들을 저장한다. 예를 들어, 디바이스(300)의 메모리(370)는 옵션적으로 그리기 모듈(380), 프레젠테이션 모듈(382), 워드 프로세싱 모듈(384), 웹사이트 제작 모듈(386), 디스크 저작 모듈(388), 및/또는 스프레드시트 모듈(390)을 저장하는 한편, 휴대용 다기능 디바이스(100)(도 1a)의 메모리(102)는 옵션적으로 이러한 모듈들을 저장하지 않는다.
도 3a에서의 앞서 식별된 요소들 각각은 옵션적으로 전술된 메모리 디바이스들 중 하나 이상에 저장된다. 앞서 식별된 모듈들 각각은 앞서 기술된 기능을 수행하기 위한 명령어들의 세트에 대응한다. 상기의 식별된 모듈들 또는 프로그램들(예를 들어, 소정 세트들의 명령어들)은 별개의 소프트웨어 프로그램들, 절차들 또는 모듈들로서 구현될 필요는 없으며, 따라서 다양한 실시예들에서 이들 모듈들의 다양한 서브세트들이 옵션적으로 조합되거나 다른 방식으로 재배열된다. 일부 실시예들에서, 메모리(370)는 옵션적으로, 앞서 식별된 모듈들 및 데이터 구조들의 서브세트를 저장한다. 또한, 메모리(370)는 옵션적으로 전술되지 않은 추가의 모듈들 및 데이터 구조들을 저장한다.
도 3b 내지 도 3d는 일부 실시예들에 따른 예시적인 컴퓨터 시스템들(301)의 기능 블록도들이다.
일부 실시예들에서, 컴퓨터 시스템(301)은:
Figure pat00018
입력 디바이스(들)(302 및/또는 307, 예를 들어, 터치 감응형 원격 제어부와 같은 터치 감응형 표면, 또는 디스플레이 생성 컴포넌트로서 또한 기능하는 터치 스크린 디스플레이, 마우스, 조이스틱, 완드 제어기, 및/또는 사용자의 손들과 같은 사용자의 하나 이상의 특징부들의 포지션을 추적하는 카메라들);
Figure pat00019
가상/증강 현실 로직(303)(예를 들어, 가상/증강 현실 모듈(145));
Figure pat00020
가상 사용자 인터페이스 요소들을 사용자에게 디스플레이하기 위한 디스플레이 생성 컴포넌트(들)(304 및/또는 308, 예를 들어, 디스플레이, 프로젝터, 헤드-업 디스플레이 등);
Figure pat00021
디바이스의 시야의 이미지들, 예를 들어, 가상 사용자 인터페이스 요소들의 배치를 결정하고, 디바이스의 자세를 결정하고/하거나, 카메라(들)가 위치되는 물리적 환경의 일부분을 디스플레이하는 데 사용되는 이미지들을 캡처하기 위한 카메라(들)(예를 들어, 305 및/또는 311); 및
Figure pat00022
물리적 환경에 대한 디바이스의 자세 및/또는 디바이스의 자세 변경을 결정하기 위한 자세 센서(들)(예를 들어, 306 및/또는 311)를 포함하고/하거나 그와 통신한다.
일부 컴퓨터 시스템들(예를 들어, 도 3b의 301-a)에서, 입력 디바이스(들)(302), 가상/증강 현실 로직(303), 디스플레이 생성 컴포넌트(들)(304), 카메라(들)(305); 및 자세 센서(들)(306)는 모두 컴퓨터 시스템(예를 들어, 도 1a 및 도 1b의 휴대용 다기능 디바이스(100) 또는 스마트폰 또는 태블릿과 같은 도 3의 디바이스(300))에 통합된다.
일부 컴퓨터 시스템들(예를 들어, 301-b)에서, 통합된 입력 디바이스(들)(302), 가상/증강 현실 로직(303), 디스플레이 생성 컴포넌트(들)(304), 카메라(들)(305); 및 자세 센서(들)(306)에 더하여, 컴퓨터 시스템은 또한 컴퓨터 시스템과 별개인 추가적인 디바이스들, 예컨대 터치 감응형 표면, 완드, 원격 제어부 등과 같은 별개의 입력 디바이스(들)(307) 및/또는 별개의 디스플레이 생성 컴포넌트(들)(308), 예컨대 물리적 환경 상의 가상 객체들을 오버레이하는 가상 현실 헤드셋 또는 증강 현실 안경과 통신한다.
일부 컴퓨터 시스템들(예를 들어, 도 3c의 301-c)에서, 입력 디바이스(들)(307), 디스플레이 생성 컴포넌트(들)(309), 카메라(들)(311); 및/또는 자세 센서(들)(312)는 컴퓨터 시스템과 별개이고 컴퓨터 시스템과 통신한다. 일부 실시예들에서, 컴퓨터 시스템(301) 내에 있고 컴퓨터 시스템과 통신하는 컴포넌트들의 다른 조합들이 사용된다. 예를 들어, 일부 실시예들에서, 디스플레이 생성 컴포넌트(들)(309), 카메라(들)(311), 및 자세 센서(들)(312)는 컴퓨터 시스템과 통합되거나 그와 통신하는 헤드셋 내에 통합된다.
일부 실시예들에서, 도 511 내지 도 5140, 및 도 521 내지 도 5241을 참조하여 아래에 설명되는 모든 동작들은 가상/증강 현실 로직(303)을 갖는 단일 컴퓨팅 디바이스(예를 들어, 도 3b를 참조하여 아래에 설명되는 컴퓨터 시스템(301-a)) 상에서 수행된다. 그러나, 종종 다수의 상이한 컴퓨팅 디바이스들이 도 511 내지 도 5140 및 도 521 내지 도 5241을 참조하여 아래에 설명되는 동작들을 수행하도록 함께 링크된다는 것을 이해해야 한다(예를 들어, 가상/증강 현실 로직(303)을 갖는 컴퓨팅 디바이스가 디스플레이(450)를 갖는 별개의 컴퓨팅 디바이스 및/또는 터치 감응형 표면(451)을 갖는 별개의 컴퓨팅 디바이스와 통신함). 이들 실시예들 중 어느 하나에서, 도 511 내지 도 5140 및 도 521 내지 도 5241를 참조하여 아래에 설명되는 컴퓨팅 디바이스는 가상/증강 현실 로직(303)을 포함하는 컴퓨팅 디바이스(또는 디바이스들)이다. 추가적으로, 가상/증강 현실 로직(303)은 다양한 실시예들에서 복수의 구별되는 모듈들 또는 컴퓨팅 디바이스들 사이에서 분할될 수 있지만; 그러나, 본 명세서의 설명을 위해, 가상/증강 현실 로직(303)은 실시예들의 다른 양태들을 불필요하게 모호하게 하지 않도록 주로 단일 컴퓨팅 디바이스에 존재하는 것으로 지칭될 것이라는 것이 이해되어야 한다.
일부 실시예들에서, 가상/증강 현실 로직(303)은 해석된 입력들을 수신하는 하나 이상의 모듈들(예를 들어, 도 1b를 참조하여 위에서 상세히 설명된 바와 같이, 하나 이상의 객체 업데이터들(177) 및 하나 이상의 GUI 업데이터들(178)을 포함하는 하나 이상의 이벤트 핸들러들(190))을 포함하고, 이들 해석된 입력들에 응답하여, 해석된 입력들에 따라 그래픽 사용자 인터페이스를 업데이트하기 위한 명령어들을 생성하며, 이들은 추후에 디스플레이 상의 그래픽 사용자 인터페이스를 업데이트하는 데 사용된다. 일부 실시예들에서, (예를 들어, 도 1a 및 도 3의 접촉 모션 모듈(130)에 의해) 검출되고, (예를 들어, 도 1b의 이벤트 인식기(180)에 의해) 인식되고/되거나, (예를 들어, 도 1b의 이벤트 분류기(170)에 의해) 분배된 입력에 대한 해석된 입력은 디스플레이 상의 그래픽 사용자 인터페이스를 업데이트하는 데 사용된다. 일부 실시예들에서, 해석된 입력들은 컴퓨팅 디바이스에서 모듈들에 의해 생성된다(예를 들어, 컴퓨팅 디바이스는 원시 접촉 입력 데이터로부터 제스처들을 식별하기 위해 원시 접촉 입력 데이터를 수신함). 일부 실시예들에서, 해석된 입력들의 일부 또는 전부는 해석된 입력들로서 컴퓨팅 디바이스에 의해 수신된다(예를 들어, 터치 감응형 표면(451)을 포함하는 컴퓨팅 디바이스는 원시 접촉 입력 데이터로부터 제스처들을 식별하기 위해 원시 접촉 입력 데이터를 처리하고, 제스처를 표시하는 정보를 가상/증강 현실 로직(303)을 포함하는 컴퓨팅 디바이스에 전송함).
일부 실시예들에서, 디스플레이 및 터치 감응형 표면 둘 모두는 가상/증강 현실 로직(303)을 포함하는 컴퓨터 시스템(예를 들어, 도 3b의 301-a)과 통합된다. 예를 들어, 컴퓨터 시스템은 통합된 디스플레이(예를 들어, 도 3의 340) 및 터치패드(예를 들어, 도 3의 355)를 갖는 데스크톱 컴퓨터 또는 랩톱 컴퓨터일 수 있다. 다른 예로서, 컴퓨팅 디바이스는 터치 스크린(예를 들어, 도 2의 112)을 갖는 휴대용 다기능 디바이스(100)(예를 들어, 스마트폰, PDA, 태블릿 컴퓨터 등)일 수 있다.
일부 실시예들에서, 터치 감응형 표면이 컴퓨터 시스템과 통합되는 한편, 디스플레이는 가상/증강 현실 로직(303)을 포함하는 컴퓨터 시스템과 통합되지 않는다. 예를 들어, 컴퓨터 시스템은 별개의 디스플레이(예를 들어, 컴퓨터 모니터, 텔레비전 등)에 (유선 또는 무선 연결을 통해) 연결된 통합된 터치패드(도 3의 355)를 갖는 디바이스(300)(예를 들어, 데스크톱 컴퓨터 또는 랩톱 컴퓨터)일 수 있다. 또 다른 예로서, 컴퓨터 시스템은 별개의 디스플레이(예를 들어, 컴퓨터 모니터, 텔레비전 등)에 (유선 또는 무선 연결을 통해) 연결된 터치 스크린(예를 들어, 도 2의 112)을 갖는 휴대용 다기능 디바이스(100)(예를 들어, 스마트폰, PDA, 태블릿 컴퓨터 등)일 수 있다.
일부 실시예들에서, 디스플레이가 컴퓨터 시스템과 통합되는 한편, 터치 감응형 표면은 가상/증강 현실 로직(303)을 포함하는 컴퓨터 시스템과 통합되지 않는다. 예를 들어, 컴퓨터 시스템은 별개의 터치 감응형 표면(예를 들어, 원격 터치패드, 휴대용 다기능 디바이스 등)에 (유선 또는 무선 연결을 통해) 연결된 통합된 디스플레이(예를 들어, 도 3의 340)를 갖는 디바이스(300)(예를 들어, 데스크톱 컴퓨터, 랩톱 컴퓨터, 통합된 셋톱 박스를 갖는 텔레비젼)일 수 있다. 다른 예로서, 컴퓨터 시스템은 별개의 터치 감응형 표면(예를 들어, 원격 터치패드, 원격 터치패드로 기능하는 터치 스크린을 갖는 다른 휴대용 다기능 디바이스 등)에 (유선 또는 무선 연결을 통해) 연결된 터치 스크린(예를 들어, 도 2의 112)을 갖는 휴대용 다기능 디바이스(100)(예를 들어, 스마트폰, PDA, 태블릿 컴퓨터 등)일 수 있다.
일부 실시예들에서, 디스플레이 또는 터치 감응형 표면 중 어느 것도 가상/증강 현실 로직(303)을 포함하는 컴퓨터 시스템(예를 들어, 도 3c의 301-c)과 통합되지 않는다. 예를 들어, 컴퓨터 시스템은 별개의 터치 감응형 표면(예를 들어, 원격 터치패드, 휴대용 다기능 디바이스 등) 및 별개의 디스플레이(예를 들어, 컴퓨터 모니터, 텔레비전 등)에 (유선 또는 무선 연결을 통해) 연결되는 독립형 컴퓨팅 디바이스(300)(예를 들어, 셋톱 박스, 게이밍 콘솔, 등)일 수 있다.
일부 실시예들에서, 컴퓨터 시스템은 통합형 오디오 시스템(예를 들어, 휴대용 다기능 디바이스(100) 내의 오디오 회로부(110) 및 스피커(111))을 갖는다. 일부 실시예들에서, 컴퓨팅 디바이스는 컴퓨팅 디바이스와는 별개인 오디오 시스템과 통신 상태에 있다. 일부 실시예들에서, 오디오 시스템(예를 들어, 텔레비전 유닛 내에 통합된 오디오 시스템)은 별개의 디스플레이와 통합된다. 일부 실시예들에서, 오디오 시스템(예를 들어, 스테레오 시스템)은 컴퓨터 시스템 및 디스플레이와는 별개인 독립형 시스템이다.
이제 휴대용 다기능 디바이스(100) 상에서 옵션적으로 구현되는 사용자 인터페이스들("UI")의 실시예들에 주목한다.
도 4a는 일부 실시예들에 따른, 휴대용 다기능 디바이스(100) 상의 애플리케이션들의 메뉴에 대한 예시적인 사용자 인터페이스를 예시한다. 유사한 사용자 인터페이스들이 옵션적으로 디바이스(300) 상에 구현된다. 일부 실시예들에서, 사용자 인터페이스(400)는 하기의 요소들, 또는 그들의 서브세트나 수퍼세트를 포함한다:
Figure pat00023
셀룰러 및 Wi-Fi 신호들과 같은 무선 통신(들)에 대한 신호 강도 표시자(들);
Figure pat00024
시간;
Figure pat00025
블루투스 표시자;
Figure pat00026
배터리 상태 표시자;
Figure pat00027
다음과 같은, 빈번하게 사용되는 애플리케이션들에 대한 아이콘들을 갖는 트레이(408):
o 옵션적으로, 부재 중 전화들 또는 음성메일 메시지들의 개수의 표시자(414)를 포함하는 "전화"라고 라벨링된 전화 모듈(138)에 대한 아이콘(416);
o 옵션적으로, 읽지 않은 이메일들의 개수의 표시자(410)를 포함하는 "메일"이라고 라벨링된 이메일 클라이언트 모듈(140)에 대한 아이콘(418);
o "브라우저"라고 라벨링된 브라우저 모듈(147)에 대한 아이콘(420); 및
o "음악"이라고 라벨링된 비디오 및 음악 재생기 모듈(152)에 대한 아이콘(422); 및
Figure pat00028
다음과 같은, 다른 애플리케이션들에 대한 아이콘들:
o "메시지"라고 라벨링된 IM 모듈(141)에 대한 아이콘(424);
o "캘린더"라고 라벨링된 캘린더 모듈(148)에 대한 아이콘(426);
o "사진"이라고 라벨링된 이미지 관리 모듈(144)에 대한 아이콘(42 8);
o "카메라"라고 라벨링된 카메라 모듈(143)에 대한 아이콘(430);
o "온라인 비디오"라고 라벨링된 온라인 비디오 모듈(155)에 대한 아이콘(432);
o "주식"이라고 라벨링된 주식 위젯(149-2)에 대한 아이콘(434);
o "지도"라고 라벨링된 지도 모듈(154)에 대한 아이콘(436);
o "날씨"라고 라벨링된 날씨 위젯(149-1)에 대한 아이콘(438);
o "시계"라고 라벨링된 알람 시계 위젯(149-4)에 대한 아이콘(440);
o "운동 지원"이라고 라벨링된 운동 지원 모듈(142)에 대한 아이콘(442);
o "메모"라고 라벨링된 메모 모듈(153)에 대한 아이콘(444); 및
o 디바이스(100) 및 그의 다양한 애플리케이션들(136)에 대한 설정으로의 액세스를 제공하는, "설정"이라고 라벨링된, 설정 애플리케이션 또는 모듈에 대한 아이콘(446).
도 4a에 예시된 아이콘 라벨들은 단지 예시일 뿐이라는 것에 주목해야 한다. 예를 들어, 다른 라벨들이 옵션적으로 다양한 애플리케이션 아이콘들에 대해 사용된다. 일부 실시예들에서, 각자의 애플리케이션 아이콘에 대한 라벨은 각자의 애플리케이션 아이콘에 대응하는 애플리케이션의 이름을 포함한다. 일부 실시예들에서, 특정 애플리케이션 아이콘에 대한 라벨은 특정 애플리케이션 아이콘에 대응하는 애플리케이션의 이름과는 구별된다.
도 4b는 디스플레이(450)와는 별개인 터치 감응형 표면(451)(예를 들어, 태블릿 또는 터치패드(355), 도 3a)을 갖는 디바이스(예를 들어, 디바이스(300), 도 3a) 상의 예시적인 사용자 인터페이스를 예시한다. 후속하는 예들 중 많은 것들이 (터치 감응형 표면과 디스플레이가 조합된) 터치 스크린 디스플레이(112) 상의 입력들을 참조하여 제공될 것이지만, 일부 실시예들에서, 디바이스는 도 4b에 도시된 바와 같이 디스플레이와는 별개인 터치 감응형 표면 상의 입력들을 검출한다. 일부 실시예들에서, 터치 감응형 표면(예를 들어, 도 4b의 451)은 디스플레이(예를 들어, 450) 상의 주축(예를 들어, 도 4b의 453)에 대응하는 주축(예를 들어, 도 4b의 452)을 갖는다. 이들 실시예들에 따르면, 디바이스는 디스플레이 상의 각자의 위치들에 대응하는 위치들(예를 들어, 도 4b에서, 460은 468에 대응하고, 462는 470에 대응함)에서 터치 감응형 표면(451)과의 접촉들(예를 들어, 도 4b의 460, 462)을 검출한다. 이러한 방식으로, 터치 감응형 표면(예를 들어, 도 4b의 451) 상에서 디바이스에 의해 검출된 사용자 입력들(예를 들어, 접촉들(460, 462) 및 그 이동들)은 터치 감응형 표면이 디스플레이와 별개인 경우 디바이스에 의해 다기능 디바이스의 디스플레이(예를 들어, 도 4b의 450) 상의 사용자 인터페이스를 조작하는 데 사용된다. 유사한 방법들이 옵션적으로 본 명세서에 기술된 다른 사용자 인터페이스들에 이용된다는 것이 이해되어야 한다.
추가적으로, 하기의 예들이 주로 손가락 입력들(예를 들어, 손가락 접촉들, 손가락 탭 제스처들, 손가락 스와이프 제스처들 등)과 관련하여 주어지는 한편, 일부 실시예들에서, 손가락 입력들 중 하나 이상은 다른 입력 디바이스로부터의 입력(예를 들어, 마우스 기반 입력 또는 스타일러스 입력)으로 대체되는 것이 이해되어야 한다. 예를 들어, 스와이프 제스처는 옵션적으로 마우스 클릭(예를 들어, 접촉 대신) 및 뒤이은 스와이프의 경로를 따른 커서의 이동(예를 들어, 접촉의 이동 대신)으로 대체된다. 다른 예로서, (예를 들어, 접촉의 검출에 이어 접촉을 검출하는 것을 중지하는 것 대신에) 커서가 탭 제스처의 위치 위에 위치되어 있는 동안에 탭 제스처가 옵션적으로 마우스 클릭으로 대체된다. 유사하게, 다수의 사용자 입력들이 동시에 검출되는 경우, 다수의 컴퓨터 마우스들이 옵션적으로 동시에 사용되거나, 또는 마우스와 손가락 접촉들이 옵션적으로 동시에 사용되는 것으로 이해하여야 한다.
본 명세서에 사용되는 바와 같이, "포커스 선택자(focus selector)"라는 용어는 사용자와 상호작용하고 있는 사용자 인터페이스의 현재 부분을 표시하는 입력 요소를 지칭한다. 커서 또는 다른 위치 마커를 포함하는 일부 구현예들에서, 커서가 특정 사용자 인터페이스 요소(예컨대, 버튼, 윈도우, 슬라이더 또는 다른 사용자 인터페이스 요소) 위에 있는 동안에 입력(예컨대, 누르기 입력)이 터치 감응형 표면(예컨대, 도 3A에서의 터치패드(355) 또는 도 4b에서의 터치 감응형 표면(451)) 상에서 검출될 때 특정 사용자 인터페이스 요소가 검출된 입력에 따라 조정되도록, 커서는 "포커스 선택자"로서의 역할을 한다. 터치 스크린 디스플레이 상의 사용자 인터페이스 요소들과의 직접적인 상호작용을 가능하게 하는 터치 스크린 디스플레이(예를 들어, 도 1a의 터치 감응형 디스플레이 시스템(112) 또는 도 4a의 터치 스크린)를 포함하는 일부 구현예들에서, 입력(예를 들어, 접촉에 의한 누르기 입력)이 특정 사용자 인터페이스 요소(예를 들어, 버튼, 윈도우, 슬라이더 또는 다른 사용자 인터페이스 요소)의 위치에 있는 터치 스크린 디스플레이 상에서 검출될 때 특정 사용자 인터페이스 요소가 검출된 입력에 따라 조정되도록, 터치 스크린 상의 검출된 접촉은 "포커스 선택자"로서의 역할을 한다. 일부 구현예들에서, (예를 들어, 포커스를 하나의 버튼으로부터 다른 버튼으로 이동시키도록 탭 키 또는 화살표 키를 사용함으로써) 터치 스크린 디스플레이 상의 대응하는 커서의 이동 또는 접촉의 이동 없이 포커스가 사용자 인터페이스의 하나의 영역으로부터 사용자 인터페이스의 다른 영역으로 이동되며; 이러한 구현예들에서, 포커스 선택자는 사용자 인터페이스의 상이한 영역들 사이에서의 포커스의 이동에 따라 움직인다. 포커스 선택자가 갖는 특정 형태와 무관하게, 포커스 선택자는 일반적으로 (예를 들어, 사용자가 상호작용하려고 하는 사용자 인터페이스의 요소를 디바이스에 표시하는 것에 의해) 사용자 인터페이스와의 사용자의 의도된 상호작용을 전달하는 데 사용자에 의해 제어되는 사용자 인터페이스 요소(또는 터치 스크린 디스플레이 상의 접촉)이다. 예를 들어, 터치 감응형 표면(예를 들어, 터치패드 또는 터치 스크린) 상에서 누르기 입력이 검출되는 동안 각자의 버튼 위의 포커스 선택자(예를 들어, 커서, 접촉 또는 선택 박스)의 위치는 (디바이스의 디스플레이 상에 보여지는 다른 사용자 인터페이스 요소들과 달리) 사용자가 각자의 버튼을 활성화시키려고 하고 있다는 것을 나타낼 것이다. 일부 실시예들에서, 포커스 표시자(예를 들어, 커서 또는 선택 표시자)는 디스플레이 디바이스를 통해 디스플레이되어, 하나 이상의 입력 디바이스들로부터 수신된 입력들에 의해 영향을 받을 사용자 인터페이스의 현재 부분을 표시한다.
일부 실시예들에서, 디바이스에 의해 검출된 입력들에 대한 디바이스의 응답은 입력 동안 접촉 세기에 기초한 기준들에 따라 달라진다. 예를 들어, 일부 "가볍게 누르기" 입력의 경우, 입력 동안 제1 세기 임계치를 초과하는 접촉의 세기는 제1 응답을 트리거한다. 일부 실시예들에서, 디바이스에 의해 검출된 입력들에 대한 디바이스의 응답은 입력 동안의 접촉 세기 및 시간 기반 기준들 둘 모두를 포함하는 기준들에 따라 달라진다. 예를 들어, 일부 "깊게 누르기" 입력의 경우, 가볍게 누르기에 대한 제1 세기 임계치보다 큰, 입력 동안 제2 세기 임계치를 초과하는 접촉의 세기는, 제1 세기 임계치를 충족하는 것과 제2 세기 임계치를 충족하는 것 사이에서 지연 시간이 경과한 경우에만, 제2 응답을 트리거한다. 이 지연 시간은 전형적으로 200 ms(밀리초) 미만의 지속기간(예컨대, 제2 세기 임계치의 크기에 따라 40, 100, 또는 120 ms이고, 이때 제2 세기 임계치가 증가함에 따라 지연 시간이 증가함)이다. 이 지연 시간은 깊게 누르기 입력의 우발적 인식의 방지를 돕는다. 다른 예로서, 일부 "깊게 누르기" 입력의 경우, 제1 세기 임계치가 충족되는 시간 이후에 발생하는 민감도 감소 기간이 있다. 민감도 감소 기간 동안, 제2 세기 임계치가 증가된다. 제2 세기 임계치의 이러한 일시적인 증가는 또한 우발적 깊게 누르기 입력의 방지를 돕는다. 다른 깊게 누르기 입력의 경우, 깊게 누르기 입력의 검출에 대한 응답은 시간 기반 기준들에 따라 달라지지 않는다.
일부 실시예들에서, 입력 세기 임계치들 및/또는 대응하는 출력들 중 하나 이상은 하나 이상의 요인, 예컨대 사용자 설정, 접촉 모션, 입력 타이밍, 애플리케이션 실행, 세기가 적용되는 속도, 동시 입력의 수, 사용자 이력, 환경적 요인(예를 들어, 주변 노이즈), 포커스 선택자 포지션 등에 기초하여 달라진다. 예시적인 요인들이 미국 특허 출원 번호 제14/399,606호 및 제14/624,296호에 기술되어 있으며, 이들은 본 명세서에 전체적으로 참조로서 포함된다.
예를 들어, 도 4c는 시간 경과에 따른 터치 입력(476)의 세기에 부분적으로 기초하여 시간 경과에 따라 변경되는 동적 세기 임계치(480)를 예시한다. 동적 세기 임계치(480)는 2개의 컴포넌트들, 즉 터치 입력(476)이 초기에 검출된 때부터 미리정의된 지연 시간(p1) 이후에 시간 경과에 따라 감쇠하는 제1 컴포넌트(474), 및 시간 경과에 따라 터치 입력(476)의 세기를 따라가는 제2 컴포넌트(478)의 합산이다. 제1 컴포넌트(474)의 초기 높은 세기 임계치는 "깊게 누르기" 응답의 우발적 트리거링을 감소시키지만, 터치 입력(476)이 충분한 세기를 제공하는 경우 즉각적인 "깊게 누르기" 응답을 여전히 허용한다. 제2 컴포넌트(478)는 터치 입력의 점진적인 세기 변동에 의한 "깊게 누르기" 응답의 의도하지 않은 트리거링을 감소시킨다. 일부 실시예들에서, 터치 입력(476)이 (예를 들어, 도 4c의 지점(481)에서) 동적 세기 임계치(480)를 충족할 때, "깊게 누르기" 응답이 트리거된다.
도 4d는 다른 동적 세기 임계치(486)(예를 들어, 세기 임계치(ITD))를 예시한다. 도 4d는 또한 2개의 다른 세기 임계치들, 즉, 제1 세기 임계치(ITH) 및 제2 세기 임계치(ITL)를 예시한다. 도 4d에서, 터치 입력(484)은 시간(p2) 이전에 제1 세기 임계치(ITH) 및 제2 세기 임계치(ITL)를 충족하고 있으나, 지연 시간(p2)이 시간(482)을 경과할 때까지 어떠한 응답도 제공되지 않는다. 또한 도 4d에서, 동적 세기 임계치(486)는 시간 경과에 따라 감쇠하는데, 감쇠는 시간(482)(제2 세기 임계치(ITL)와 연관된 응답이 트리거된 때)으로부터 미리정의된 지연 시간(p1)이 경과한 후에 시간(488)에서 시작한다. 이러한 타입의 동적 세기 임계치는 더 낮은 세기 임계치, 예를 들어 제1 세기 임계치(ITH) 또는 제2 세기 임계치(ITL)와 연관된 응답을 트리거한 직후, 또는 그와 동시에 동적 세기 임계치(ITD)와 연관된 응답의 우발적 트리거링을 감소시킨다.
도 4e는 또 다른 동적 세기 임계치(492)(예를 들어, 세기 임계치(ITD))를 예시한다. 도 4e에서, 세기 임계치(ITL)와 연관된 응답은 터치 입력(490)이 초기에 검출된 때부터 지연 시간(p2)이 경과한 후에 트리거된다. 동시에, 동적 세기 임계치(492)는 터치 입력(490)이 초기에 검출된 때부터 미리정의된 지연 시간(p1)이 경과한 후에 감쇠한다. 따라서, 세기 임계치(ITL)와 연관된 응답을 트리거한 후에 터치 입력(490)의 세기가 감소하고, 뒤이어 터치 입력(490)의 해제 없이 터치 입력(490)의 세기가 증가하면, 터치 입력(490)의 세기가 다른 세기 임계치, 예를 들어, 세기 임계치(ITL) 미만인 때에도 (예를 들어, 시간(494)에서) 세기 임계치(ITD)와 연관된 응답을 트리거할 수 있다.
사용자 인터페이스들 및 연관된 프로세스들
이제, 다음을 포함하는(그리고/또는 다음과 통신하는) 컴퓨터 시스템(예를 들어, 휴대용 다기능 디바이스(100) 또는 디바이스(300)) 상에서 구현될 수 있는 사용자 인터페이스들(UI) 및 연관된 프로세스들의 실시예들이 주목된다: 디스플레이 생성 컴포넌트(예를 들어, 디스플레이, 프로젝터, 헤드-업 디스플레이, 등), 하나 이상의 카메라들(예를 들어, 카메라들의 시야 내의 콘텐츠들의 적어도 일부분의 라이브 프리뷰를 연속적으로 제공하고, 옵션적으로 카메라들의 시야 내의 콘텐츠들을 캡처하는 이미지 프레임들의 하나 이상의 스트림들을 포함하는 비디오 출력들을 생성하는 비디오 카메라들), 및 하나 이상의 입력 디바이스들(예를 들어, 터치 감응형 원격 제어부와 같은 터치 감응형 표면, 또는 디스플레이 생성 컴포넌트로서 또한 기능하는 터치 스크린 디스플레이, 마우스, 조이스틱, 완드 제어기, 및/또는 사용자의 손들과 같은 사용자의 하나 이상의 특징부들의 포지션을 추적하는 카메라들), 옵션적으로 하나 이상의 자세 센서들, 옵션적으로 터치 감응형 표면과의 접촉들의 세기들을 검출하는 하나 이상의 센서들, 및 옵션적으로 하나 이상의 촉각적 출력 생성기들.
도 511 내지 도 5140은 증강 현실 환경을 디스플레이하고, 상이한 입력들에 응답하여, 증강 현실 환경의 외관 및/또는 증강 현실 환경 내의 객체들의 외관을 조정할 뿐만 아니라, 일부 실시예들에 따라, 증강 현실 환경 내의 가상 모델을 관찰하는 것과 가상 모델 내의 객체들의 관점들에서 본 가상 모델의 시뮬레이션된 뷰들을 관찰하는 것 사이에서 전이하기 위한 예시적인 사용자 인터페이스들을 예시한다. 이들 도면들에서의 사용자 인터페이스들은 도 6a 내지 도 6d, 도 7a 내지 도 7c, 및 도 8a 내지 도 8c에서의 프로세스들을 포함하는 아래에 설명되는 프로세스들을 예시하는 데 사용된다. 용이한 설명을 위해, 실시예들의 일부는 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에서 수행되는 동작들을 참조하여 논의될 것이다. 유사하게, 유사한 동작들이, 옵션적으로, 도면들에 도시된 사용자 인터페이스들을 헤드셋(5008)의 디스플레이 상에 포커스 표시자와 함께 디스플레이하면서, 입력 디바이스(5010)의 터치 감응형 표면 상에서의 접촉들을 검출한 것에 응답하여 헤드셋(5008) 및 터치 감응형 표면을 갖는 별개의 입력 디바이스(5010)를 갖는 컴퓨터 시스템(예를 들어, 도 512에 도시된 바와 같음) 상에서 수행된다.
도 511 내지 도 5127은 일부 실시예들에 따른, 증강 현실 환경을 디스플레이하기 위한 그리고 일부 실시예들에 따라, 상이한 입력들에 응답하여 증강 현실 환경의 외관 및/또는 증강 현실 환경 내의 객체들의 외관을 조정하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 511 및 도 512는 도 513 내지 도 5140에 관해 기술된 사용자 인터페이스들이 사용되는 컨텍스트를 예시한다.
도 511은 사용자(5002), 테이블(5004), 및 물리적 빌딩 모델(physical building model)(5006)이 위치되는 물리적 공간을 예시한다. 사용자(5002)는 디바이스(100)를 들어 디바이스(100)의 디스플레이를 통해(예를 들어, 도 1a, 도 4a, 및 도 514에 도시된 바와 같이, 디바이스(100)의 "터치 스크린 디스플레이(112)", "터치 스크린(112)", "디스플레이(112)" 또는 "터치 감응형 디스플레이(112)"로 때때로 지칭되는 터치 감응형 디스플레이 시스템(112) 상의) 물리적 빌딩 모델(5006)을 본다. 디바이스(100)의 하나 이상의 카메라들(때때로 디바이스(100)의 "카메라"로 지칭됨)은 물리적 공간 내의 하나 이상의 물리적 객체들(예를 들어, 물리적 공간의 실내의 벽지(5007), 테이블(5004) 등)을 포함하는, 카메라들의 시야 내에 있는 콘텐츠들의 라이브 프리뷰를 연속적으로 제공한다. 디바이스(100)는 물리적 객체(예를 들어, 물리적 빌딩 모델(5006)) 및 하나 이상의 가상 객체들(예를 들어, 물리적 빌딩 모델(5006), 가상 나무들 등을 커버하는 빌딩의 가상 모델)을 포함하는 카메라들의 시야의 적어도 일부분의 표현을 포함하는 증강 현실 환경을 디스플레이하며, 사용자(5002)는 디바이스(100)의 터치 스크린 디스플레이를 사용하여 증강 현실 환경과 상호작용한다.
도 512는 사용자(5002)가 헤드셋(5008) 및 터치 감응형 표면을 갖는 별개의 입력 디바이스(5010)를 포함하는 컴퓨터 시스템을 사용하여 물리적 빌딩 모델(5006)을 보는 대안적인 방법을 예시한다. 이러한 예에서, 헤드셋(5008)은 증강 현실 환경을 디스플레이하고, 사용자(5002)는 별개의 입력 디바이스(5010)를 사용하여 증강 현실 환경과 상호작용한다. 일부 실시예들에서, 디바이스(100)는 별개의 입력 디바이스(5010)로서 사용된다. 일부 실시예들에서, 별개의 입력 디바이스(5010)는 터치 감응형 원격 제어부, 마우스, 조이스틱, 완드 제어기 등이다. 일부 실시예들에서, 별개의 입력 디바이스(5010)는 사용자의 손들 및 움직임과 같은 사용자(5002)의 하나 이상의 특징들의 포지션을 추적하는 하나 이상의 카메라들을 포함한다.
도 513 및 도 514는 디바이스(100)의 터치 스크린(112) 상에 디스플레이된 증강 현실 환경의 도면을 예시한다. 도 513은 테이블(5004) 및 물리적 빌딩 모델(5006)에 대해 사용자(5002)의 관점에서 본 디바이스(100)의 포지션을 예시한다. 도 514는 도 513으로부터 디바이스(100)에 더 근접한 뷰를 도시한다. 디바이스(100)는 디바이스(100)의 카메라에 의해 캡처된 바와 같은 물리적 공간의 라이브 뷰 및 가상 사용자 인터페이스 객체(가상 빌딩 모델(5012))를 포함하는 증강 현실 환경을 디스플레이한다. 본 명세서에서, 가상 빌딩 모델(5012)은 카메라의 시야 내의 물리적 빌딩 모델(5006)에 부착되거나 이를 커버(예를 들어, 증강 현실 환경 내에서 물리적 빌딩 모델(5006)을 대체)하는 것으로 보여지는 물리적 빌딩 모델(5006)의 3D 가상 모델이다. 디스플레이된 증강 현실 환경은 또한 카메라의 시야 내의 물리적 객체들에 대응하지 않는 가상 객체들(예를 들어, 가상 나무들, 가상 덤불들, 가상 사람, 및 가상 자동차) 및 카메라의 시야 내에 있는 물리적 객체들(예를 들어, 벽지(5007))을 포함한다. 일부 실시예들에서, 디바이스(100)는 (예를 들어, 도 5125 내지 도 5127과 관련하여 아래에서 논의되는 바와 같이) 증강 현실 환경과 상호작용하기 위한 하나 이상의 버튼들(예를 들어, 때때로 가상 버튼들 또는 디스플레이된 버튼들로 지칭되는 버튼(5014), 버튼(5016), 및 버튼(5018))을 디스플레이한다.
도 515 및 도 516은 사용자(5002)가 테이블(5004)의 전면(예를 들어, 도 513에 도시된 바와 같음)으로부터 테이블(5004)의 측면(예를 들어, 도 515에 도시된 바와 같음)으로 이동한 후의 디바이스(100)의 터치 스크린(112) 상에 디스플레이된 증강 현실 환경의 상이한 뷰를 예시한다. 도 515는 테이블(5004) 및 물리적 빌딩 모델(5006)에 대해 사용자(5002)의 관점에서 본 디바이스(100)의 포지션을 예시한다. 도 516은 도 515로부터 디바이스(100)에 더 근접한 뷰를 도시한다. 도 515 및 도 516에 도시된 바와 같이, 가상 빌딩 모델(5012)은 물리적 빌딩 모델(5006)에 앵커링된(anchored) 상태로 유지되고, 가상 빌딩 모델(5012)의 뷰는 물리적 빌딩 모델(5006)의 위치, 형상, 및/또는 배향이 카메라의 시야 내에서 변경됨에 따라 변경된다.
도 517 내지 도 5114는 터치 스크린(112) 상의 접촉의 이동 및 디바이스(100)의 이동의 조합에 기초하여 증강 현실 환경 내의 가상 빌딩 모델(5012)의 외관을 조정하는 것을 예시한다. 참조 박스(5019)는 테이블(5004) 및 물리적 빌딩 모델(5006)에 대해 사용자(5002)의 관점에서 본 디바이스(100)의 포지션을 예시한다.
도 517에서, 디바이스(100)는 디바이스(100)가 테이블(5004) 및 물리적 빌딩 모델(5006)에 대해 제1 포지션에 있을 때(예를 들어, 참조 박스(5019)에 도시된 바와 같음) 증강 현실 환경을 디스플레이한다. 도 518에서, 디바이스(100)는 (예를 들어, 가상 빌딩 모델(5012)의 지붕 상의 접촉(5020-a)에 의한 터치 입력을 검출함으로써) 가상 빌딩 모델(5012) 상의 입력을 검출한다. 도 519 내지 도 5111에서, 입력을 계속해서 검출하는 동안(예를 들어, 접촉(5020)이 터치 스크린(112) 상에서 유지되는 동안), 디바이스(100)는 물리적 빌딩 모델(5006)에 대한 입력의 이동(예를 들어, 접촉(5020)에 의한 드래그 제스처)을 검출하고, 물리적 빌딩 모델(5006)에 대한 입력의 이동의 크기에 따라 가상 빌딩 모델(5012)의 외관을 조정한다(예를 들어, 가상 빌딩 모델로부터 가상 지붕(5012-a)을 위로 들어올림). 도 519에서, 접촉(5020-b)이 비교적 소량으로 이동했을 때, 가상 지붕(5012-a)은 대응하는 소량만큼 위로 들려진다. 도 5110에서, 접촉(5020-c)이 더 큰 양으로 이동했을 때, 가상 지붕(5012-a)은 대응하는 더 큰 양만큼 위로 들려진다. 일부 실시예들에서, 도 5111에 도시된 바와 같이, 가상 지붕(5012-a)이 계속 위로 들려짐에 따라, 가상 빌딩 모델(5012)의 바닥들이 위로 들려지고 확장된다(예를 들어, 가상 제1 바닥(5012-d), 가상 제2 바닥(5012-c), 및 가상 제3 바닥(5012-b)을 도시하게 됨). 도 519 내지 도 5111에 도시된 바와 같이, 접촉(5020)이 위로 이동함에 따라, 디바이스(100)는 접촉(5020)의 위치에서 가상 지붕(5012-a) 상의 초기 접촉점의 디스플레이를 유지하도록 가상 빌딩 모델(5012)의 디스플레이를 업데이트한다.
도 5112 및 도 5113에서, 접촉(5020-d)이 터치 스크린(112) 상에서 유지되고 정지된 상태로 지속되는 동안, 디바이스(100)는 물리적 공간 내의 디바이스(100)의 이동(예를 들어, 도 5112의 참조 박스(5019)에 도시된 바와 같이, 물리적 빌딩 모델(5006)에 대해 더 낮은 제1 포지션으로부터, 도 5113의 참조 박스(5019)에 도시된 바와 같이, 물리적 빌딩 모델(5006)에 대해 더 높은 제2 포지션으로의 이동(5022))을 검출한다. (물리적 공간 내의 디바이스(100)의 이동으로부터의) 입력의 이동에 응답하여, 디바이스(100)는 가상 지붕(5012-a)을 이동의 크기에 따라 추가로 위로 들어올림으로써 가상 빌딩 모델(5012)의 외관을 조정한다. 일부 실시예들에서, 도 5113에 도시된 바와 같이, 가상 지붕(5012-a)은, 가상 모델(5012)의 외관이 이동의 크기에 따라 조정될 때 가상 지붕(5012-a)의 휴지 상태(resting state)의 최대 한계를 넘는 위치에 디스플레이된다.
도 5114에서, 디바이스(100)는 입력을 검출하는 것을 중단하고(예를 들어, 접촉(5020)이 리프트오프됨), 휴지 상태의 최대 한계에 대응하는 위치에 가상 지붕(5012-a)을 디스플레이한다. 일부 실시예들에서, 디바이스(100)는 휴지 상태의 최대 한계를 넘는 위치(예를 들어, 도 5113에서)에서의 가상 지붕(5012-a)으로부터 휴지 상태의 최대 한계에 대응하는 위치(예를 들어, 도 5114에서)로의 (예를 들어, 도 5113으로부터 도 5114로의) 애니메이션화된 전이를 디스플레이한다.
도 5115 및 도 5116은 터치 스크린(112) 상에서 어떠한 입력도 검출되지 않을 때(예를 들어, 접촉에 의한 어떠한 터치 입력도 터치 스크린(112) 상에서 검출되지 않음) 물리적 공간 내의 디바이스(100)의 이동(예를 들어, 이동(5024))을 예시한다. 어떠한 입력도 검출되지 않기 때문에, 디바이스(100)의 이동은 가상 빌딩 모델(5012)의 외관을 조정함이 없이, 물리적 빌딩 모델(5006)에 대해 더 낮은 제1 포지션(예를 들어, 도 5115의 참조 박스(5019)에 도시된 바와 같음)으로부터 물리적 빌딩 모델(5006)에 대해 더 높은 제2 포지션(예를 들어, 도 5116의 참조 박스(5019)에 도시된 바와 같음)으로 디바이스(100)의 카메라의 시야를 변경한다.
도 515 및 도 5116과는 대조적으로, 도 5117 및 도 5118은 입력이 터치 스크린(112) 상에서 검출될 때(예를 들어, 접촉(5026-a)에 의한 터치 입력이 터치 스크린(112) 상에서 검출됨) 물리적 공간 내의 디바이스(100)의 이동(예를 들어, 이동(5028))을 예시한다. 입력을 계속해서 검출하는 동안(예를 들어, 접촉(5026-a)이 터치 스크린(112) 상에서 유지되고 정지된 상태로 지속되는 동안), 디바이스(100)는 물리적 공간 내의 (도 5117의 참조 박스(5019)에 도시된 바와 같이, 물리적 빌딩 모델(5006)에 대해 더 낮은 제1 포지션으로부터, 도 5118의 참조 박스(5019)에 도시된 바와 같이 물리적 빌딩 모델(5006)에 대해 더 높은 제2 포지션으로의) 디바이스(100)의 이동을 검출한다. (물리적 공간 내의 디바이스(100)의 이동으로부터의) 입력의 이동에 응답하여, 디바이스(100)는 가상 지붕(5012-a)을 이동의 크기에 따라 위로 들어올림으로써 가상 빌딩 모델(5012)의 외관을 조정한다.
도 5119 및 도 5120에서, 입력을 계속해서 검출하는 동안(예를 들어, 접촉(5026)이 터치 스크린(112) 상에서 유지되는 동안), 디바이스(100)는 물리적 빌딩 모델(5006)에 대한 입력의 이동(예를 들어, 접촉(5026)에 의한 드래그 제스처)을 검출하고, 물리적 빌딩 모델(5006)에 대한 입력의 이동의 크기에 따라 가상 빌딩 모델(5012)의 외관을 조정한다(예를 들어, 가상 빌딩 모델(5012)로부터 가상 지붕(5012-a)을 추가로 위로 들어올림). 일부 실시예들에서, 도 5120에 도시된 바와 같이, 가상 지붕(5012-a)이 계속 위로 들려짐에 따라, 가상 빌딩 모델(5012)의 바닥들이 위로 들려지고 확장된다(예를 들어, 제1 바닥(5012-d), 제2 바닥(5012-c), 및 제3 바닥(5012-b)을 도시함).
도 5117 내지 도 5120에 도시된 바와 같이, (입력의 이동이, 접촉(예를 들어, 접촉(5026-a))이 터치 스크린(112) 상에서 유지되고 정지된 상태로 지속되는 동안 디바이스(100)의 이동으로 인한 것이거나, 또는 입력의 이동이, 디바이스(100)가 물리적 공간 내에서 실질적으로 정지된 상태로 유지되는 동안 터치 스크린(112)을 가로지르는 접촉의 이동으로 인한 것이거나 어떤 것이든) 입력이 위로 이동함에 따라, 디바이스(100)는 접촉(5026)의 위치에 가상 지붕(5012-a) 상의 초기 접촉점의 디스플레이를 유지하도록 가상 빌딩 모델(5012)의 디스플레이를 업데이트한다.
도 5121 내지 도 5124는 증강 현실 환경 내에서 시간을 통해 내비게이팅하기 위한 입력에 응답하여 증강 현실 환경에 대한 가상 환경 설정(예를 들어, 하루 중 시간)을 변경하는 것을 예시한다. 도 5121 내지 도 5124에서, 디바이스(100)는 가상 환경 설정을 변경하는 입력(예를 들어, 접촉(5030)에 의한 좌측으로부터 우측으로의 스와이프 제스처)을 검출하고, 이에 응답하여, 디바이스(100)는 (예를 들어, 가상 빌딩 모델(5012)의 외관을 조정하고, 가상 빌딩 모델(5012)에 의해 가려지지 않는 카메라의 시야의 표현의 일부분에 필터를 적용함으로써) 증강 현실 환경 내의 하루 중 시간을 변경한다. 도 5121에서, 증강 현실 환경 내의 하루 중 시간은 아침이며, 가상 빌딩 모델(5012)의 그림자 및 가상 객체들(예를 들어, 가상 나무들, 가상 덤불들, 가상 사람, 및 가상 자동차)의 그림자들이 객체들의 우측에 있다. 접촉(5030)이 좌측으로부터 우측으로 이동함에 따라, 증강 현실 환경 내의 하루 중 시간은 (예를 들어, 입력 이동의 속도 및/또는 거리에 따라) 아침으로부터 밤으로 변경된다(예를 들어, 도 5121의 아침에서, 도 5122의 정오로, 도 5123의 오후로, 도 5124의 밤으로 변경됨). 일부 실시예들에서, 디바이스(100)는 가상 장면의 외관을 조정하는 것에 더하여 가상 장면에 의해 가려지지 않는 라이브 뷰의 일부분들에 대해(예를 들어, 벽지(5007)에 대해) 필터를 적용한다. 예를 들어, 도 5124에서(예를 들어, 가상 환경 설정이 야간 모드로 변경될 때), 야간 모드에 대한 가상 장면의 외관을 조정하는 것에 더하여(예를 들어, 제2 음영 패턴에 의해 예시됨), 상이한 필터가 벽지(5007)에 적용된다(예를 들어, 제1 그림자 패턴에 의해 예시됨).
도 5125 내지 도 5127은 가상 사용자 인터페이스 객체(예를 들어, 가상 빌딩 모델(5012))에 대한 상이한 가상 환경들 간에 전환하는 입력(예를 들어, 디스플레이된 버튼 상의 탭 입력)에 응답하여 증강 현실 환경에 대한 가상 환경 설정을 변경하는 것을 예시하며, 상이한 가상 환경들은 가상 사용자 인터페이스 객체를 탐색하기 위한 상이한 상호작용들과 연관된다(예를 들어, 가로 뷰, 내부 뷰, 주간/야간 뷰와 같은 미리정의된 가상 환경들). 도 5125에서, 가로 버튼(5014)이 선택되고, 가상 빌딩 모델(5012)에 대한 가로 뷰가 (예를 들어, 가상 나무들, 가상 덤불들, 가상 사람, 및 가상 자동차와 함께) 디스플레이된다. 도 5126 및 도 5127에서, 디바이스(100)는 접촉(5032)에 의한 탭 제스처와 같은 내부 버튼(5016) 상의 입력을 검출하고, 이에 응답하여, 가상 빌딩 모델(5012)에 대한 내부 뷰를 디스플레이한다(예를 들어, 가상 나무들, 가상 덤불들, 가상 사람, 및 가상 자동차는 없으나, 대신에 가상 제1 바닥(5012-d), 가상 제2 바닥(5012-c), 가상 제3 바닥(5012-b), 및 가상 지붕(5012-a)을 갖는 가상 빌딩 모델(5012)의 확장도를 도시함). 일부 실시예들에서, 가상 환경 설정이 (예를 들어, 내부 뷰로) 변경될 때, 주위 물리적 환경은 (예를 들어, 필터를 사용하여) 블러링된다. 예를 들어, 도 5127에 도시되지 않았지만, 일부 실시예들에서, 벽지(5007)는 가상 환경 설정이 내부 뷰로 변경될 때 블러링된다.
도 5128 내지 도 5140은 일부 실시예들에 따른, 증강 현실 환경 내의 가상 모델을 관찰하는 것과 가상 모델 내의 객체들의 관점들에서 본 가상 모델의 시뮬레이션된 뷰들을 관찰하는 것 사이에서 전이하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 5128은, 도 514와 같이, 디바이스(100)의 카메라에 의해 캡처된 바와 같은 물리적 공간의 라이브 뷰, 가상 빌딩 모델(5012), 가상 차량(5050), 및 가상 사람(5060)을 포함하는, 디바이스(100)의 터치 스크린(112) 상에 디스플레이된 증강 현실 환경의 뷰를 예시한다. 또한, 도 5128의 참조 박스(5019)는 테이블(5004) 및 물리적 빌딩 모델(5006)에 대해 사용자(5002)의 관점(예를 들어, 도 511 및 도 512에 도시된 바와 같음)에서 본 디바이스(100)의 포지션을 예시한다.
도 5129 내지 도 5131은 도 5128로부터의 전이를 예시한다. 특히, 도 5129 내지 도 5131은 증강 현실 환경의 뷰(예를 들어, 도 5128에 예시됨)로부터 가상 모델 내의 가상 차량(5050)의 관점에서 본 가상 모델의 시뮬레이션된 뷰로의 전이를 예시한다.
도 5129는 차량(5050)에 대응하는 위치에서 검출된 입력(5052)(예를 들어, 디바이스(100)의 터치 스크린(112) 상의 탭 제스처, 또는 포커스 표시자와 함께 별개의 입력 디바이스를 사용한 선택)을 도시한다.
도 5130 및 도 5131은 입력(5052)을 검출한 것에 응답하여 디스플레이되는, 증강 현실 환경의 뷰로부터 차량(5050)의 관점에서 본 가상 모델의 시뮬레이션된 뷰로의 전이를 예시한다. 특히, 도 5130은 도 5129에 도시된 뷰로부터, 차량(5050)에서 본(예를 들어, 차량(5050) 내부의 운전자 또는 승객과 같은 사람의 관점에서 본) 시뮬레이션된 관점 뷰로의 애니메이션화된 전이 동안 디바이스(100) 상에 도시되는 뷰를 예시하며, 도 5131은 차량(5050)에서 본 시뮬레이션된 관점 뷰를 예시한다.
일부 실시예들에서, 증강 현실 환경의 뷰로부터 시뮬레이션된 관점 뷰로의 전이는 애니메이션화된 전이를 포함한다. 옵션적으로, 전이는 증강 현실 환경을 관찰하는 포지션으로부터 차량(5050)의 포지션(예를 들어, 차량(5050) 내부의 사람의 포지션)으로 비행하는 애니메이션을 포함한다. 예를 들어, 도 5130은 비록 사용자가 디바이스 (100)를 이동시키지 않았으나(예를 들어, 도 5130의 참조 박스(5019)에 도시된 바와 같은 물리적 빌딩 모델(5006)에 대한 디바이스(100)의 포지션은 도 5129에서와 동일함), 도 5129의 사용자의 포지션과 차량(5050)의 포지션 사이의 포지션으로부터의 가상 모델의 뷰(예를 들어, 애니메이션화된 전이 도중임)를 도시한다.
일부 실시예들에서, 디바이스(100)의 시야의 일부분들(예를 들어, 디바이스(100)의 카메라들)은 차량(5050)에서 본 관점 뷰로의 애니메이션화된 전이 동안 계속해서 디스플레이된다. 예를 들어, 도 5130에 도시된 바와 같이, 시뮬레이션된 관점 뷰로의 애니메이션화된 전이 동안 벽지(5007) 및 테이블(5004)의 에지가 디스플레이된다(예를 들어, 마치 도 5129의 사용자의 포지션과 차량(5050)의 포지션 사이에서, 도 5130에 도시된 뷰에 대응하는 포지션에서 관찰되는 것과 같음). 일부 실시예들에서, 카메라들의 시야는 차량(5050)의 관점으로의 애니메이션화된 전이 동안 디스플레이되는 것을 중지한다(예를 들어, 벽지(5007) 및 테이블(5004)의 에지는 애니메이션화된 전이 동안 디스플레이되지 않고 옵션적으로 가상 모델의 대응하는 일부분들이 대신 디스플레이됨).
도 5131에서, 차량(5050)에서 본 시뮬레이션된 관점 뷰는 또한 차량(5050)(예를 들어, 시뮬레이션된 관점 뷰가 디스플레이되는 가상 객체)의 이동(예를 들어, 이동 방향)을 제어하기 위한 방향 화살표들(상향, 하향, 좌측 및 우측)을 포함하는 제어부(5054)를 도시한다. 도 5131에 도시된 예에서, 상향 화살표(5056)는 차량(5050)의 전방 이동을 제어한다. 따라서, 일부 실시예들에서, 사용자는 각자의 가상 객체(예를 들어, 차량(5050))의 관점으로 본 시뮬레이션된 뷰가 디스플레이되는 동안 그 가상 객체의 이동을 제어할 수 있다. 일부 실시예들에서, 사용자는 증강 현실 환경의 뷰가 디스플레이되는 동안 가상 모델 내의 각자의 가상 객체(예를 들어, 가상 차량(5050) 및/또는 가상 사람(5060))의 이동을 제어할 수 없다. 예를 들어, 일부 실시예들에서, 사용자는 도 5128의 증강 현실 환경의 뷰 내에서 차량(5050)의 이동을 제어할 수 없다. 일부 실시예들에서, 차량(5050)은 증강 현실 환경의 뷰(예를 들어, 도 5128)가 디스플레이되는 동안 가상 모델 내에서 자율적으로 이동한다.
도 5132 및 도 5133은 도 5131로부터의 전이를 예시한다. 특히, 도 5132 및 도 5133은 가상 모델 내의 차량(5050)의 사용자-제어식 이동을 예시한다. 도 5132는 제어부(5054)의 상향 화살표(5056)(도 5131에 도시됨)에 대응하는 위치에서 검출된 입력(5058)을 도시한다. 상향 화살표(5056) 상의 입력(5058)에 응답하여, 차량(5050)은 가상 모델 내에서 전방으로 이동한다. 따라서, 도 5133은 가상 모델 내의 차량(5050)의 전방 이동에 대응하는, 가상 모델의 업데이트된 시뮬레이션된 관점 뷰가 디스플레이되는 것을 예시한다. 예를 들어, 도 5133의 업데이트된 시뮬레이션된 관점 뷰에서, 가상 빌딩 모델(5012)이 덜 가시적이고(visible), 사람(5060)이 도 5132에서보다 더 가깝게 보인다.
도 5134 및 도 5135는 도 5133으로부터의 전이를 예시한다. 특히, 도 5134 및 도 5135는 차량(5050)의 관점에서 본 가상 모델의 시뮬레이션된 뷰로부터 가상 사람(5060)의 관점에서 본 가상 모델의 시뮬레이션된 뷰로의 전이를 예시한다. 도 5134는 사람(5060)에 대응하는 위치에서 검출된 입력(5062)을 도시한다. 도 5135는 입력(5062)을 검출한 것에 응답하여 디스플레이되는, 사람(5060)의 관점에서 본 가상 모델의 시뮬레이션된 뷰를 예시한다. 일부 실시예들에서, 디바이스(100)는 (예를 들어, 마치 사용자가 (예를 들어, 차량(5050) 내의) 차량(5050)의 포지션으로부터 사람(5060)의 포지션으로 이동한 것처럼) 차량(5050)에서 본 시뮬레이션된 관점 뷰와 사람(5060)에서 본 시뮬레이션된 관점 뷰 사이의 애니메이션화된 전이를 디스플레이한다.
도 5136 및 도 5137은 도 5135로부터의 전이를 예시한다. 특히, 도 5136 및 도 5137은 (예를 들어, 물리적 공간 내의) 디바이스(100)의 이동에 응답하여 사람(5060)(예를 들어, 선택된 가상 객체)의 관점에서 본 가상 모델의 뷰를 변경하는 것을 예시한다.
도 5136은 (예를 들어, 디바이스(100)의 우측 에지가 사용자에게 더 가깝게 이동하고, 디바이스(100)의 좌측 에지가 사용자로부터 더 멀리 이동하도록) 좌측을 향한 디바이스(100)의 이동, 및 z-축을 중심으로 한 디바이스(100)의 회전을 표시하는 화살표(5064)를 도시한다. 도 5137은 디바이스(100)의 이동을 검출한 것에 응답하여 디스플레이되는, 사람(5060)의 관점에서 본 가상 모델의 업데이트된 시뮬레이션된 관점 뷰를 도시한다. 도 5137의 업데이트된 시뮬레이션된 관점 뷰는 마치 사람(5060)이 도 5136의 그의 포지션에 대해 좌측을 향해 이동하고 그의 머리를 오른쪽으로 약간 돌리는 것과 같은 가상 모델의 뷰에 대응한다. 도 5137의 참조 박스(5019)는 디바이스(100)가 화살표(5064)로 표시된 바와 같이 이동된 후의 물리적 빌딩 모델(5006)에 대한 디바이스(100)의 새로운 포지션을 도시한다.
일부 실시예들에서, 제어부(5054)(예를 들어, 도 5131에 도시되지만 도 5135, 도 5136에 도시되지 않음)는 사람(5060)의 관점에서 본 시뮬레이션된 뷰를 디스플레이하는 동안 디스플레이되어, 사람(5060)의 관점에서 본 시뮬레이션된 뷰가 디스플레이되는 동안(예를 들어, 도 5135), 사용자는 제어부(5054) 상의 화살표를 사용하여 가상 모델 내의 사람(5060)의 이동을 제어할 수 있다.
도 5138 내지 도 5140은 도 5137로부터의 전이를 예시한다. 특히, 도 5138 내지 도 5140은 도 5137에 도시된 시뮬레이션된 관점 뷰로부터 원래의 증강 현실 환경의 뷰로의 전이를 예시한다.
도 5138은 입력(5066)을 도시한다. 도 5138에 도시된 예에서, 입력(5066)은 (예를 들어, 가상 모델의 시뮬레이션된 관점 뷰에 대한 최소 줌 레벨로부터의) 핀치 제스처이다. 일부 실시예들에서, 입력(5066)은 가상 모델 내의 "빈" 위치(예를 들어, 잔디밭과 같은, 시뮬레이션된 관점 뷰가 이용가능하지 않은 위치) 상의 제스처(예를 들어, 탭)이다. 일부 실시예들에서, 입력(5066)은 증강 현실 환경을 디스플레이하거나 재디스플레이하기 위한 어포던스(예를 들어, 시뮬레이션된 관점 뷰를 종료하기 위한 "X"와 같은 아이콘) 상의 제스처(예를 들어, 탭)이다.
도 5139 및 도 5140은 입력(5066)을 검출한 것에 응답하여 디스플레이되는, 사람(5060)의 관점에서 본 가상 모델의 시뮬레이션된 뷰로부터 증강 현실 환경의 뷰로의 전이를 예시한다. 특히, 도 5139는 도 5138에 도시된 뷰로부터 증강 현실 환경의 뷰로의 애니메이션화된 전이 동안 디바이스(100) 상에 도시된 뷰를 예시하고, 도 5140은 증강 현실 환경의 뷰를 예시한다. 일부 실시예들에서, 시뮬레이션된 관점 뷰로부터 증강 현실 환경의 뷰로의 전이는, 가상 객체의 포지션(여기서 본 시뮬레이션된 관점 뷰가 도시됨)으로부터 증강 현실 환경을 관찰하는 포지션으로 비행하는 애니메이션을 옵션적으로 포함하는 애니메이션화된 전이를 포함한다.
디바이스(100)가 도 5128 내지 도 5130에서보다 도 5138 내지 도 5140의 물리적 빌딩 모델(5006)에 대해 상이한 포지션에 있기 때문에, 도 5140에 도시된 바와 같은 증강 현실의 뷰는 디바이스(100)의 새로운 포지션에 대응하고, 도 5128에 도시된 것과 상이하다. 유사하게, 도 5139는 비록 사용자가 디바이스(100)를 이동시키지 않았더라도(예를 들어, 참조 박스(5019)에 도시된 바와 같은 물리적 빌딩 모델(5006)에 대한 디바이스(100)의 포지션은 도 5138 내지 도 5140의 각각에서 동일함), 도 5138의 사람(5060)의 포지션과 도 5140의 사용자의 포지션 사이의 포지션으로부터의(예를 들어, 애니메이션화된 전이 도중의) 가상 모델의 뷰를 도시한다.
도 5129 내지 도 5131을 참조하여 전술된 시뮬레이션된 관점 뷰로의 애니메이션화된 전이와 유사하게, 일부 실시예들에서, 디바이스(100)의 시야의 일부분들(예를 들어, 디바이스(100)의 카메라들)은 시뮬레이션된 관점 뷰로부터 증강 현실 환경의 뷰로의 애니메이션화된 전이 동안 가시적이다. 예를 들어, 도 5139에 도시된 바와 같이, 벽지(5007)는 시뮬레이션된 관점 뷰로부터 애니메이션화된 전이 동안 디스플레이된다(예를 들어, 마치 도 5140의 사람(5060)의 포지션과 사용자의 포지션 사이에서, 도 5139에 도시된 뷰에 대응하는 포지션에서 관찰되는 것과 같음). 일부 실시예들에서, 카메라들의 시야는 증강 현실 환경의 뷰로의 애니메이션화된 전이 동안 디스플레이되는 것을 중지한다(예를 들어, 벽지(5007)는 애니메이션화된 전이 동안 디스플레이되지 않고 옵션적으로 가상 모델의 대응하는 일부분들이 대신 디스플레이됨).
도 521 내지 도 5241은 일부 실시예들에 따른, 가상 사용자 인터페이스 객체들의 3차원 조작을 위한 시스템들 및 사용자 인터페이스들의 예들을 예시한다. 이들 도면들에서의 사용자 인터페이스들은 도 6a 내지 도 6d, 도 7a 내지 도 7c, 및 도 8a 내지 도 8c에서의 프로세스들을 포함하는 아래에 설명되는 프로세스들을 예시하는 데 사용된다. 용이한 설명을 위해, 실시예들의 일부는 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에서 수행되는 동작들을 참조하여 논의될 것이다. 유사하게, 유사한 동작들이, 옵션적으로, 도면들에 도시된 사용자 인터페이스들을 헤드셋(5008)의 디스플레이 상에 포커스 표시자와 함께 디스플레이하면서, 입력 디바이스(5010)의 터치 감응형 표면 상에서의 접촉들을 검출한 것에 응답하여 헤드셋(5008) 및 터치 감응형 표면을 갖는 별개의 입력 디바이스(5010)를 갖는 컴퓨터 시스템(예를 들어, 도 522에 도시된 바와 같음) 상에서 수행된다.
도 521 내지 도 524는 도 525 내지 도 5241에 관해 기술된 사용자 인터페이스들이 사용되는 컨텍스트를 예시한다.
도 521은 사용자(5202) 및 테이블(5204)이 위치되는 물리적 공간(5200)을 예시한다. 디바이스(100)는 사용자(5202)에 의해 사용자의 손(5206) 안에 들려 있다. 기준 매트(5208)가 테이블(5204) 상에 위치된다.
도 522는 디바이스(100)의 디스플레이(112) 상에 디스플레이된 가상 3차원 공간의 뷰를 도시한다. 기준 매트(5208)는 디바이스(100)의 하나 이상의 카메라들(이하, "카메라"로 지칭되며, 이는 디바이스(100)의 하나 이상의 카메라들을 표시함)(예를 들어, 광 센서들(164))의 시야 내에 있다. 디스플레이(112)는 물리적 기준 매트(5208a)의 디스플레이된 버전(5208b)을 포함하는, 카메라에 의해 캡처된 바와 같은 물리적 공간(5200)의 라이브 뷰를 도시한다. 디스플레이(112) 상에 디스플레이된 가상 3차원 공간 내에 가상 사용자 인터페이스 객체(가상 박스(5210))가 디스플레이된다. 일부 실시예들에서, 가상 박스(5210)는 기준 매트(5208b)에 앵커링되어, 물리적 공간(5200) 내의 기준 매트(5208a)의 이동에 응답하여 기준 매트의 디스플레이된 뷰(5208b)가 변경됨에 따라 가상 박스(5210)의 뷰가 변경될 것이다(예를 들어, 도 522 및 도 523에 도시된 바와 같음). 유사하게, 가상 박스(5210)의 뷰는 디스플레이된 버전(5208b)의 뷰가 기준 매트(5208a)에 대한 디바이스(100)의 이동에 응답하여 변경됨에 따라 변경될 것이다.
도 523에서, 기준 매트(5208)는 기준 매트의 더 긴 면(5208a)이 디바이스(100)에 인접하도록 회전되었다(반면, 도 522에서, 기준 매트의 더 짧은 면(5208a)이 디바이스(100)에 인접함). 기준 매트의 디스플레이된 버전(5208b)의 도 522으로부터 도 523으로의 회전은 물리적 공간(5200) 내의 기준 매트(5208a)의 회전의 결과로서 발생한다.
도 523 및 도 524에서, 디바이스(100)는 기준 매트(5208a)에 더 가깝게 이동하였다. 그 결과, 기준 매트 및 가상 박스(5210)의 디스플레이된 버전(5208b)의 크기들이 증가하였다.
도 525 내지 도 5241은 디바이스(100)의 더 큰 뷰를 도시하고, 디스플레이(112) 상에 디스플레이된 사용자 인터페이스의 전체 뷰를 제공하기 위해, 사용자의 손들(5206)을 도시하지 않는다.
도 525는 가상 사용자 인터페이스 객체들을 생성 및 조정하기 위한, 디스플레이(112) 상에 디스플레이된 사용자 인터페이스를 예시한다. 사용자 인터페이스는 아바타(5212), (예를 들어, 가상 현실 디스플레이 모드와 증강 현실 디스플레이 모드 사이에서 토글링하기 위한) 토글(5214), (예를 들어, 디스플레이(112)에 의해 디스플레이되는 가상 3차원 공간에 새로운 객체(5216)를 추가하기 위한) 새로운 객체 제어부(5216), (예를 들어, 가상 객체에 대한 색상을 선택하기 위한) 이용가능한 색상들에 대응하는 다수의 제어부들을 포함하는 색상 선택 팔레트(5218), 및 (예를 들어, 가상 3차원 공간으로부터 가상 사용자 인터페이스 객체를 제거하기 위한) 삭제 제어부(5220)를 포함한다. 도 525에서, 토글(5214)은 현재 디스플레이 모드가 증강 현실 디스플레이 모드임을 표시한다(예를 들어, 디스플레이(112)는 가상 박스(5210) 및 디바이스(100)의 카메라에 의해 캡처된 바와 같은 물리적 공간(5200)의 뷰를 디스플레이하고 있음). 도 5237 내지 도 5239는 가상 현실 디스플레이 모드를 예시한다. 도 5237 내지 도 5239에서, 토글(5214)의 외관은 가상 현실 디스플레이 모드가 활성임을(그리고 토글(5214)에서의 입력이 가상 현실 디스플레이 모드로부터 증강 현실 디스플레이 모드로의 전이를 야기할 것임을) 표시하도록 변한다.
도 526 내지 도 5217은 가상 박스(5210)의 이동을 야기하는 입력들을 예시한다.
도 526에서, 접촉(5222)(예를 들어, 터치 감응형 디스플레이(112)와의 접촉)에 의한 입력(예를 들어, 선택 및 이동 입력)이 가상 박스(5210)의 제1 표면(5224) 상에서 검출된다. 가상 박스(5210)의 표면이 선택될 때, 가상 박스(5210)의 이동은 선택된 표면에 평행한 평면 내의 이동으로 제한된다. 가상 박스(5210)의 제1 표면(5224)을 선택하는 접촉(5222)의 검출에 응답하여, 가상 박스(5210)의 이동 평면(예를 들어, 가상 박스(5210)의 선택된 제1 표면(5224)에 평행한 이동 평면)을 표시하기 위해 가상 박스(5210)로부터 연장되는 이동 돌출부들(5226)이 도시된다.
도 526 및 도 527에서, 접촉(5222)은 화살표(5228)로 표시된 방향으로 터치 감응형 디스플레이(112)의 표면을 따라 이동하였다. 접촉(5222)의 이동에 응답하여, 가상 박스(5210)는 화살표(5228)로 표시된 방향으로 이동 돌출부들(5226)에 의해 표시된 평면 내에서 이동하였다. 도 527 및 도 528에서, 접촉(5222)은 화살표(5230)로 표시된 방향으로 터치 감응형 디스플레이(112)의 표면을 따라 이동하였다. 접촉(5222)의 이동에 응답하여, 가상 박스(5210)는 화살표(5230)로 표시된 방향으로 이동 돌출부들(5226)에 의해 표시된 평면 내에서 이동하였다. 도 529에서, 접촉(5222)은 터치 감응형 디스플레이(112)로부터 리프트오프되었고, 이동 돌출부들(5226)은 더 이상 디스플레이되지 않는다.
도 5210에서, 접촉(5232)에 의한 입력(예를 들어, 선택 및 이동 입력)이 가상 박스(5210)의 제2 표면(5234) 상에서 검출된다. 가상 박스(5210)의 제2 표면(5234)을 선택하는 접촉(5232)의 검출에 응답하여, 가상 박스(5210)의 이동 평면(예를 들어, 가상 박스(5210)의 선택된 제2 표면(5234)에 평행한 이동 평면)을 표시하기 위해 가상 박스(5210)로부터 연장되는 이동 돌출부들(5236)이 도시된다.
도 5210 및 도 5211에서, 접촉(5232)은 화살표(5238)로 표시된 방향으로 터치 감응형 디스플레이(112)의 표면을 따라 이동하였다. 접촉(5232)의 이동에 응답하여, 가상 박스(5210)는 화살표(5238)로 표시된 방향으로 이동 돌출부들(5236)에 의해 표시된 평면 내에서 이동하였다. 가상 박스(5210)가 상방으로 이동하여 디스플레이된 기준 매트(5208b) 위로 호버링하고 있기 때문에, 가상 박스(5210)가 호버링하고 있음을 표시하도록 가상 박스(5210)의 그림자(5240)가 디스플레이된다.
도 5211 및 도 5212에서, 접촉(5232)은 화살표(5242)로 표시된 방향으로 터치 감응형 디스플레이(112)의 표면을 따라 이동하였다. 접촉(5232)의 이동에 응답하여, 가상 박스(5210)는 화살표(5242)로 표시된 방향으로 이동 돌출부들(5236)에 의해 표시된 평면 내에서 이동하였다. 도 5213에서, 접촉(5232)은 터치 감응형 디스플레이(112)로부터 리프트오프되었고, 이동 돌출부들(5236)은 더 이상 디스플레이되지 않는다.
도 5214에서, 접촉(5233)에 의한 입력(예를 들어, 선택 및 이동 입력)이 가상 박스(5210)의 제1 표면(5224) 상에서 검출된다. 가상 박스(5210)의 제1 표면(5224)을 선택하는 접촉(5233)의 검출에 응답하여, 가상 박스(5210)의 이동 평면(예를 들어, 가상 박스(5210)의 선택된 제1 표면(5224)에 평행한 이동 평면)을 표시하기 위해 가상 박스(5210)로부터 연장되는 이동 돌출부들(5237)이 도시된다.
도 5214 및 도 5215에서, 접촉(5233)은 화살표(5239)로 표시된 방향으로 터치 감응형 디스플레이(112)의 표면을 따라 이동하였다. 접촉(5233)의 이동에 응답하여, 가상 박스(5210)는 화살표(5238)로 표시된 방향으로 이동 돌출부들(5237)에 의해 표시된 평면 내에서 이동하였다. 도 5210 및 도 5211에 예시된 접촉(5232)의 이동은 도 5214 및 도 5215에 예시된 접촉(5233)의 이동과 동일한 방향에 있다. 접촉(5232)의 이동은 가상 박스(5210)의 제2 표면(5234)이 선택되는 동안 발생하기 때문에, 도 5210 및 도 5211의 가상 박스(5210)의 이동 평면은 접촉(5233)의 이동이 가상 박스(5210)의 제1 표면(5224)이 선택되는 동안 발생하는 도 5214 및 도 5215의 가상 박스(5210)의 이동 평면과 상이하다. 이러한 방식으로, 입력의 동일한 이동 방향을 갖는 선택 및 이동 입력은 선택되는 가상 박스(5210)의 표면에 따라 가상 박스(5210)의 상이한 이동을 야기한다.
도 5215 및 도 5216에서, 접촉(5233)은 화살표(5243)로 표시된 방향으로 터치 감응형 디스플레이(112)의 표면을 따라 이동하였다. 접촉(5233)의 이동에 응답하여, 가상 박스(5210)는 화살표(5243)로 표시된 방향으로 이동 돌출부들(5237)에 의해 표시된 평면 내에서 이동하였다. 도 5217에서, 접촉(5233)은 터치 감응형 디스플레이(112)로부터 리프트오프되었고, 이동 돌출부들(5237)은 더 이상 디스플레이되지 않는다.
도 5218 내지 도 5221은 가상 박스(5210)의 크기조정을 야기하는 입력들을 예시한다.
도 5218에서, 접촉(5244)에 의한 입력(예를 들어, 크기조정 입력)이 가상 박스(5210)의 제1 표면(5224) 상에서 검출된다. 일부 실시예들에서, 접촉이 크기조정 시간 임계치를 초과하여 증가하는 기간 동안 가상 객체의 표면에 대응하는 위치에 유지될 때, 접촉의 후속 이동(및/또는 디바이스(100)의 이동)은 가상 객체의 크기조정을 야기한다. 도 5219에서, 접촉(5244)은 크기조정 시간 임계치를 초과하여 증가된 기간 동안 가상 박스(5210)의 제1 표면(5224)과 접촉 상태로 유지되었으며, 크기조정 돌출부들(5246)은, 가상 박스(5210)는 접촉(5244)의 후속 이동에 응답하여 크기조정될 축(선택된 제1 표면(5224)에 수직임)을 표시하는 것으로 도시되어 있다.
도 5219 및 도 5220에서, 접촉(5244)은 화살표(5248)로 표시된 경로를 따라 이동하였다. 접촉(5244)의 이동에 응답하여, 가상 박스(5210)의 크기는 화살표(5248)에 의해 표시된 방향으로 크기조정 돌출부들(5246)에 의해 표시된 축을 따라 증가하였다. 도 5221에서, 접촉(5244)은 터치 감응형 디스플레이(112)로부터 리프트오프되었고, 돌출부들(5246)은 더 이상 디스플레이되지 않는다.
도 5222 내지 도 5227은 객체 삽입 커서의 배치 및 삽입 커서를 사용한 가상 박스의 배치를 예시한다.
도 5222에서, 접촉(5250)에 의한 입력(예를 들어, 탭 입력)이 물리적 기준 매트(5208a)의 디스플레이된 버전(5208b)에 대응하는 위치에서 검출된다. 접촉(5250)의 검출에 응답하여, 접촉(5250)에 대응하는 디스플레이(112) 상의 위치에 삽입 커서(5252)가 디스플레이되고; 도 5223에서, 접촉(5250)은 터치 감응형 디스플레이(112)로부터 리프트오프되고 삽입 커서(5252)가 도시되어 있다. 일부 실시예들에서, 삽입 커서(5252)는 미리결정된 기간 이후에 디스플레이되는 것이 중지된다. 도 5224에서, 삽입 커서(5252)가 디스플레이되는 것이 중지되고, 접촉(5254)에 의한 입력(예를 들어, 탭 입력)이 (도 5223에 표시된 바와 같이) 삽입 커서(5252)가 도시된 위치와 상이한 위치에서 검출된다. 접촉(5254)의 검출에 응답하여, 접촉(5254)에 대응하는 디스플레이(112) 상의 위치에 새로운 삽입 커서(5256)가 디스플레이된다. 도 5225에서, 접촉(5254)은 터치 감응형 디스플레이(112)로부터 리프트오프되고 삽입 커서(5256)가 도시되어 있다.
도 5226에서, 삽입 커서(5256)가 디스플레이되는 것이 중지되고, 접촉(5258)에 의한 입력(예를 들어, 탭 입력)이 (도 5225에 표시된 바와 같이) 삽입 커서(5256)가 도시된 위치에 대응하는 위치에서 검출된다. 삽입 커서가 배치된 위치에서의 접촉(5258)의 검출에 응답하여, 새로운 가상 사용자 인터페이스 객체(가상 박스(5260))가 접촉(5258)에 대응하는 위치에서 디스플레이(112) 상에 디스플레이된다. 도 5227에서, 접촉(5258)은 터치 감응형 디스플레이(112)로부터 리프트오프되었다.
도 5228 내지 도 5231은 디바이스(100)의 이동에 의한 가상 박스(5260)의 크기조정을 예시한다.
도 5228에서, 터치 감응형 디스플레이(112)와의 접촉(5262)에 의한 입력(예를 들어, 크기조정 입력)이 가상 박스(5260)의 표면(5264) 상에서 검출된다. 도 5229에서, 접촉(5262)은 크기조정 시간 임계치를 초과하여 증가된 기간 동안 가상 박스(5260)의 표면(5264)과 접촉 상태로 유지되었으며, 크기조정 돌출부들(5266)은, 가상 박스(5260)가 디바이스(100)의 후속 이동에 응답하여 크기조정될 축(선택된 표면(5264)에 수직임)을 표시하는 것으로 도시되어 있다. 도 5229 및 도 5230에서, 디바이스(100)는 화살표(5268)로 표시된 경로를 따라 이동하는 한편, 접촉(5262)은 터치 감응형 디스플레이(112)와의 접촉을 유지한다. 디바이스(100)의 이동에 응답하여, 가상 박스(5260)의 크기는 도 5230에 도시된 바와 같이 크기조정 돌출부들(5266)에 의해 표시된 축을 따라 증가한다. 도 5231에서, 접촉(5262)은 터치 감응형 디스플레이(112)로부터 리프트오프되었고, 크기조정 돌출부들(5266)은 더 이상 디스플레이되지 않는다.
도 5232 내지 도 5235는 새로운 객체 제어부(5216)를 사용한 새로운 가상 객체의 삽입을 예시한다.
도 5232에서, 접촉(5270)에 의한 입력(예를 들어, 탭 입력)이 물리적 기준 매트(5208a)의 디스플레이된 버전(5208b) 상의 위치에서 검출된다. 접촉(5270)의 검출에 응답하여, 삽입 커서(5272)는 접촉(5270)에 대응하는 디스플레이(112) 상의 위치에 디스플레이된다. 도 5233에서, 접촉(5270)은 터치 감응형 디스플레이(112)로부터 리프트오프되고 삽입 커서(5272)가 도시되어 있다. 도 5234에서, 삽입 커서(5272)가 디스플레이되는 것이 중지되고, 터치 감응형 디스플레이(112)와의 접촉(5274)에 의한 입력(예를 들어, 탭 입력)이 새로운 객체 제어부(5216)에 대응하는 위치에서 검출된다. 도 5235에서, (예를 들어, 삽입 커서(5272)의 배치 이후) 새로운 객체 제어부(5216)에서의 입력에 응답하여, 새로운 가상 사용자 인터페이스 객체(가상 박스(5276))가 삽입 커서(5272)가 도시되었던 위치에 대응하는 위치에서 디스플레이(112) 상에 디스플레이된다.
도 5236 및 도 5237은 증강 현실 디스플레이 모드로부터 가상 현실 디스플레이 모드로의 전이를 야기하는 핀치-투-줌(pinch-to-zoom) 입력을 예시한다. 도 5239 및 도 5240은 가상 현실 디스플레이 모드로부터 증강 현실 디스플레이 모드로 복귀하기 위한 토글(5214)에서의 입력을 예시한다.
도 5236에서, 터치 감응형 디스플레이(112)와의 접촉들(5278, 5280)이 동시에 검출된다. 도 5236 및 도 5237에 표시된 바와 같이, 접촉들(5278, 5280)이 화살표들(5282, 5284)에 의해 각각 표시된 경로들을 따라 동시에 이동되는 핀치 제스처가 검출된다. 핀치 제스처를 검출한 것에 응답하여, 가상 박스들(5210, 5260, 5276)의 디스플레이는 줌된다(예를 들어, 가상 박스들(5210, 5260, 5276)의 디스플레이된 크기들이 더 작아지도록 줌 아웃됨). 일부 실시예들에서, 줌을 위한 제스처는 증강 현실 디스플레이 모드로부터 가상 현실 디스플레이 모드로의 전이를 야기한다(예를 들어, 박스들의 줌된 뷰가 디바이스(100)의 카메라의 시야와 더 이상 정렬되지 않기 때문임). 일부 실시예들에서, 가상 현실 디스플레이 모드에서, 디바이스(100)의 카메라의 시야 내의 물리적 객체들(예를 들어, 기준 매트(5208))이 디스플레이되는 것을 중지하거나, 하나 이상의 물리적 객체들의 가상(렌더링된) 버전이 디스플레이된다.
일부 실시예들에서, 가상 현실 디스플레이 모드에서, 디바이스(100)에 의해 디스플레이되는 가상 객체들은 디바이스(100)의 기준 프레임에 잠금된다(locked). 도 5237 및 도 5238에서, 디바이스(100)의 포지션이 변경되었다. 디바이스(100)가 가상 현실 디스플레이 모드에 있기 때문에, 가상 박스들(5210, 5260, 5276)의 포지션들은 디바이스(100)의 변경된 포지션에 응답하여 변경되지 않았다.
도 5239에서, 접촉(5286)에 의한 입력(예를 들어, 탭 입력)이 토글(5214)에 대응하는 위치에서 검출된다. 접촉(5286)에 의한 입력에 응답하여, 가상 현실 디스플레이 모드로부터 증강 현실 디스플레이 모드로의 전이가 발생한다. 도 5240은 접촉(5286)에 의한 입력에 응답하여 증강 현실 디스플레이 모드로의 전이 이후에 디스플레이(112) 상에 디스플레이되는 사용자 인터페이스를 예시한다. 전이는 디바이스(100)의 카메라의 시야를 재디스플레이하는 것(예를 들어, 기준 매트의 디스플레이된 뷰(5208b)를 재디스플레이하는 것)을 포함한다. 일부 실시예들에서, 전이는 (예를 들어, 박스들을 디바이스(100)의 카메라의 시야에 재정렬하기 위해) 가상 박스들(5210, 5260, 5276)의 디스플레이를 줌(예를 들어, 줌 인)하는 것을 포함한다.
일부 실시예들에서, 증강 현실 디스플레이 모드에서, 디바이스(100)에 의해 디스플레이된 가상 객체들은 물리적 공간(5200) 및/또는 물리적 공간(5200) 내의 물리적 객체(예를 들어, 기준 매트(5208))에 잠금된다. 도 5240 및 도 5241에서, 디바이스(100)의 포지션이 변경되었다. 디바이스(100)가 증강 현실 디스플레이 모드에 있기 때문에, 가상 박스들(5210, 5260, 5276)은 기준 매트(5208a)에 잠금되고, 디스플레이(112) 상의 가상 박스들의 포지션들은 디바이스(100)의 변경된 포지션에 응답하여 변경된다.
도 531 내지 도 5330은 일부 실시예들에 따른, 디스플레이된 시뮬레이션된 환경의 관찰 모드들 간에 전이하기 위한 시스템들 및 사용자 인터페이스들의 예들을 예시한다. 이 도면들에서의 사용자 인터페이스들은 도 10a 내지 도 10e에서의 프로세스들을 비롯한, 아래에 설명되는 프로세스들을 설명하는 데 사용된다. 용이한 설명을 위해, 실시예들의 일부는 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에서 수행되는 동작들을 참조하여 논의될 것이다. 유사하게, 유사한 동작들이, 옵션적으로, 도면들에 도시된 사용자 인터페이스들을 헤드셋(5008)의 디스플레이 상에 포커스 표시자와 함께 디스플레이하면서, 입력 디바이스(5010)의 터치 감응형 표면 상에서의 접촉들을 검출한 것에 응답하여 헤드셋(5008) 및 터치 감응형 표면을 갖는 별개의 입력 디바이스(5010)를 갖는 컴퓨터 시스템(예를 들어, 도 512에 도시된 바와 같음) 상에서 수행된다.
도 531 및 도 532는 도 533 내지 도 5330에 관해 기술된 사용자 인터페이스들이 사용되는 컨텍스트를 예시한다.
도 531은 사용자 및 테이블(5204)이 위치되는 물리적 공간(5200)을 예시한다. 디바이스(100)는 사용자에 의해 사용자의 손(5206) 안에 들려 있다. 기준 매트(5208)가 테이블(5204) 상에 위치된다. 시뮬레이션된 환경의 뷰가 디바이스(100)의 디스플레이(112) 상에 디스플레이된다. 기준 매트(5208)는 디바이스(100)의 하나 이상의 카메라들(이하, "카메라"로 지칭되며, 이는 디바이스(100)의 하나 이상의 카메라들을 표시함)(예를 들어, 광 센서들(164))의 시야 내에 있다. 디스플레이(112)는 물리적 기준 매트(5208a)의 디스플레이된 버전(5208b)을 포함하는, 카메라에 의해 캡처된 바와 같은 물리적 공간(5200)의 라이브 뷰를 도시한다. 2개의 가상 사용자 인터페이스 객체들(제1 가상 박스(5302) 및 제2 가상 박스(5304))가 디스플레이(112) 상에 디스플레이된 시뮬레이션된 환경 내에 디스플레이된다. 제1 관찰 모드(예를 들어, 증강 현실 관찰 모드)에서, 가상 박스들(5302, 5304)은 기준 매트(5208b)에 앵커링되어, 기준 매트의 디스플레이된 뷰(5208a)가 물리적 공간(5200) 내의 기준 매트(5208a)의 이동에 응답하여 변경됨에 따라 가상 박스들(5302, 5304)의 뷰가 변경될 것이다(예를 들어, 가상 박스들(5302, 5304)과 기준 매트(5208a)를 포함하는 물리적 환경 사이에 고정된 공간적 관계가 유지됨). 유사하게, 제1 관찰 모드에서, 가상 박스들(5302, 5304)의 뷰가 기준 매트(5208a)에 대한 디바이스(100)의 이동에 응답하여 변경된다.
도 532에서, 디바이스(100)는 기준 매트(5208a)에 더 가깝게 이동하였다. 그 결과, 기준 매트 및 가상 박스들(5302, 5304)의 디스플레이된 버전(5208b)의 크기들이 증가하였다.
도 533 내지 도 5330은 디바이스(100)의 더 큰 뷰를 도시하고, 디스플레이(112) 상에 디스플레이된 사용자 인터페이스의 전체 뷰를 제공하기 위해, 사용자의 손들(5206)을 도시하지 않는다. 사용자 인터페이스의 특징들이 도 525와 관련하여 위에서 더 상세히 기술된다.
도 534 내지 도 536은 가상 박스가 증강 현실 관찰 모드에서 디스플레이되는 동안 가상 박스(5302)를 이동시키기 위한 입력 제스처(상향 스와이프 및 하향 스와이프를 포함함)를 예시한다. 도 534 내지 도 536과 관련하여 기술된 입력 제스처는 (예를 들어, 관찰 모드를 증강 현실 관찰 모드로부터 가상 현실 관찰 모드로 변경하기 위한) 모드 변경 기준들을 충족하는 제스처가 아니기 때문에, 도 537 및 538에 예시된 바와 같이, 가상 박스들(5302, 5304)의 뷰는 (예를 들어, 가상 박스들(5302, 5304)과 기준 매트(5208a)를 포함하는 물리적 환경 사이에 고정된 공간적 관계가 유지되도록) 디바이스(100)의 후속 이동에 응답하여 변경된다.
모드 변경 기준들을 충족하지 않는 제스처들의 다른 예는 (예를 들어, 도 5218 내지 도 5221에 관해 전술된 바와 같은) 크기조정 제스처이다.
도 534에서, 접촉(5306)에 의한 입력(예를 들어, 선택 및 이동 입력)은 가상 박스(5302)의 표면(5308) 상에서 검출된다. 가상 박스(5302)의 표면(5308)을 선택하는 접촉(5306)의 검출에 응답하여, 가상 박스(5302)의 이동 평면(예를 들어, 가상 박스(5302)의 선택된 표면(5308)에 평행한 이동 평면)을 표시하기 위해 가상 박스(5302)로부터 연장되는 이동 돌출부들(5310)이 도시된다.
도 534 및 도 535에서, 접촉(5306)은 화살표(5312)로 표시된 방향으로 터치 감응형 디스플레이(112)의 표면을 따라 이동한다. 접촉(5306)의 이동에 응답하여, 가상 박스(5302)는 화살표(5312)로 표시된 방향으로 이동 돌출부들(5310)에 의해 표시된 평면 내에서 이동하였다. 가상 박스(5302)가 상방으로 이동하여 디스플레이된 기준 매트(5208b) 위로 호버링하고 있기 때문에, 가상 박스(5302)가 호버링하고 있음을 표시하기 위해 가상 박스(5210)의 그림자(5314)가 디스플레이된다.
도 535 및 도 536에서, 접촉(5306)은 화살표(5316)로 표시된 방향으로 터치 감응형 디스플레이(112)의 표면을 따라 이동한다. 접촉(5306)의 이동에 응답하여, 가상 박스(5302)는 화살표(5316)로 표시된 방향으로 이동 돌출부들(5310)에 의해 표시된 평면 내에서 이동하였다. 도 537에서, 접촉(5306)은 터치 감응형 디스플레이(112)로부터 리프트오프되었고, 이동 돌출부들(5310)은 더 이상 디스플레이되지 않는다.
도 537 및 도 538은 화살표(5318)로 표시된 경로를 따른 디바이스(100)의 이동을 예시한다. 디바이스(100)가 이동함에 따라, 디스플레이된 가상 박스들(5302, 5304)의 포지션들은 (예를 들어, 가상 박스들(5302, 5304)과 디바이스(100)의 물리적 환경 내의 기준 매트(5208a) 사이에 고정된 공간적 관계가 유지되도록) 디스플레이(112) 상에서 디바이스(100)가 변경될 수 있다.
도 539 및 도 5310은 모드 변경 기준들을 충족하는 입력 제스처(핀치 제스처)를 예시한다(예를 들어, 증강 현실 관찰 모드로부터 가상 현실 관찰 모드로의 관찰 모드의 변경을 야기함).
도 539에서, 접촉들(5320, 5324)이 터치 감응형 디스플레이(112)에서 검출된다. 도 539 내지 도 5311에서, 접촉(5320)은 화살표(5322)로 표시된 경로를 따라 이동하고, 접촉(5324)은 화살표(5324)로 표시된 경로를 따라 이동한다. 접촉들(5320, 5324) 사이의 거리를 감소시키는 접촉들(5320, 5324)의 동시 이동에 응답하여, (예를 들어, 가상 박스들(5302, 5304)의 크기들이 디스플레이(112) 상에서 증가하도록) 가상 박스들(5302, 5304)을 포함한 시뮬레이션된 환경의 디스플레이된 뷰가 줌 아웃된다. 줌 입력이 수신됨에 따라, 증강 현실 관찰 모드로부터 가상 현실 관찰 모드로의 전이가 발생한다. 전이 중에 발생하는 전이 애니메이션에는 물리적 환경의 디스플레이된 뷰로부터의 점차적인 페이드 아웃(fade out)이 포함된다. 예를 들어, 디바이스(100)의 하나 이상의 카메라들에 의해 캡처된 바와 같이, 테이블(5204)의 디스플레이된 뷰 및 기준 매트(5208a)의 디스플레이된 뷰(5208b)는 점차적으로 페이드 아웃된다(예를 들어, 도 5310 및 도 5311에 도시된 바와 같음). 전이 애니메이션은 가상 기준 그리드(5328)의 가상 그리드 라인들의 점진적인 페이드 인(fade in)을 포함한다(예를 들어, 도 5311 및 도 5312에 도시된 바와 같음). 전이 동안, (5214)(예를 들어, 가상 현실 디스플레이 모드와 증강 현실 디스플레이 모드 사이를 토글하기 위한) 토글의 외관은 현재 관찰 모드를 표시하도록 변경된다(예를 들어, 도 5310 및 도 5311에 도시된 바와 같음). 접촉들(5320, 5324)의 리프트오프 이후에, 시뮬레이션된 환경 내의 가상 박스들(5302, 5304)은 계속해서 이동하고 크기가 감소한다(예를 들어, 시뮬레이션된 환경의 변화는 입력 제스처의 종료 이후에 이동을 유발하는 "운동량"을 계속해서 유지함).
도 5312 및 도 5313에서, 디바이스(100)는 화살표(5330)로 표시된 경로를 따라 이동된다. 도 539 내지 도 5311과 관련하여 설명된 핀치-투-줌 입력 제스처는 증강 현실 관찰 모드로부터 가상 현실 관찰 모드로의 변경을 야기하였기 때문에, 가상 박스들(5302, 5304)의 포지션들은 디바이스(100)의 이동에 응답하여 변경되지 않는다(예를 들어, 가상 현실 관찰 모드에서, 가상 박스들(5302, 5304)과 물리적 환경 간에 고정된 공간적 관계가 유지되지 않음).
도 5313 및 도 5314에서, 디바이스(100)는 화살표(5332)로 표시된 경로를 따라 이동된다.
도 5315 내지 도 5318은 시뮬레이션된 환경이 가상 현실 관찰 모드에서 디스플레이되는 동안 디바이스(100) 상에 디스플레이된 시뮬레이션된 환경에 가상 박스를 삽입하기 위한 입력을 예시한다.
도 5315에서, 접촉(5334)에 의한 입력(예를 들어, 탭 입력)이 터치 감응형 디스플레이(112) 상에서 검출된다. 접촉(5334)의 검출에 응답하여, 도 5316에 도시된 바와 같이, 접촉(5334)에 대응하는 디스플레이(112) 상의 위치에 삽입 커서(5336)가 디스플레이된다. 도 5317에서, 삽입 커서(5336)가 디스플레이되는 것이 중지되고, 접촉(5338)에 의한 입력(예를 들어, 탭 입력)이 새로운 객체 제어부(5216)에 대응하는 위치에서 검출된다. 도 5318에서, 새로운 객체 제어부(5216)에서의 입력에 응답하여(예를 들어, 삽입 커서(5336)의 배치 이후에), 삽입 커서(5336)가 도시되었던 위치에 대응하는 위치에 새로운 가상 사용자 인터페이스 객체(가상 박스(5340))가 디스플레이된다.
도 5319 및 도 5320은 시뮬레이션된 환경이 가상 현실 관찰 모드에서 디스플레이되는 동안 디바이스(100) 상에 디스플레이된 시뮬레이션된 환경 내에서 가상 사용자 인터페이스 객체를 조작하기 위한 입력을 예시한다.
도 5319에서, 접촉(5342)에 의한 입력(예를 들어, 선택 및 이동 입력)이 가상 박스(5340)의 표면(5344) 상에서 검출된다. 가상 박스(5340)의 표면(5344)을 선택하는 접촉(5342)의 검출에 응답하여, 가상 박스(5340)의 이동 평면(예를 들어, 가상 박스(5340)의 선택된 표면(5344)에 평행한 이동 평면)을 표시하기 위해 가상 박스(5340)로부터 연장되는 이동 돌출부들(5348)이 도시된다. 도 5319 및 도 5320에서, 접촉(5342)은 화살표(5346)로 표시된 방향으로 터치 감응형 디스플레이(112)의 표면을 따라 이동한다. 접촉(5342)의 이동에 응답하여, 가상 박스(5340)는 화살표(5346)로 표시된 방향으로 이동 돌출부들(5348)에 의해 표시된 평면 내에서 이동하였다.
도 5321에서, 접촉(5342)은 터치 감응형 디스플레이(112)로부터 리프트오프되었고, 이동 돌출부들(5384)은 더 이상 디스플레이되지 않는다.
도 5322 및 도 5323은 시뮬레이션된 환경의 관점을 변경하기 위한 입력 제스처(예를 들어, 회전 제스처)를 예시한다.
도 5322에서, 접촉(5350)은 터치 감응형 디스플레이(112)에서 검출된다. 도 5322 및 도 5323에서, 접촉(5350)은 화살표(5352)로 표시된 경로를 따라 이동한다. 접촉(5350)이 이동함에 따라 시뮬레이션된 환경이 회전한다. 도 5323에서, 가상 기준 그리드(5328) 및 가상 박스들(5302, 5304, 5340)의 포지션들은 접촉(5350)에 의한 입력에 응답하여 회전하였다.
도 5324 및 도 5325에서, 디바이스(100)는 화살표(5354)로 표시된 경로를 따라 이동된다. 도 5324 및 도 5325에서 디스플레이(112) 상에 디스플레이된 시뮬레이션된 환경은 가상 현실 관찰 모드에서 디스플레이되기 때문에, 디스플레이(112) 상의 가상 박스들(5302, 5304)의 포지션들은 디바이스(100)의 이동에 응답하여 변경되지 않는다.
도 5326 및 도 5327은 관찰 모드의 가상 현실 관찰 모드로부터 증강 현실 관찰 모드로의 변경을 야기하는 입력 제스처(디핀치 제스처)를 예시한다.
도 5326에서, 접촉들(5356, 5360)이 터치 감응형 디스플레이(112)에서 검출된다. 도 5326 및 도 5327에서, 접촉(5356)은 화살표(5358)로 표시된 경로를 따라 이동하고, 접촉(5360)은 화살표(5362)로 표시된 경로를 따라 이동한다. 접촉들(5356, 5360) 사이의 거리를 증가시키는 접촉들(5356, 5360)의 동시 이동에 응답하여, (예를 들어, 가상 박스들(5302, 5304, 5340)의 크기들이 디스플레이(112) 상에서 증가하도록) 가상 박스들(5302, 5304, 5340)을 포함한 시뮬레이션된 환경의 디스플레이된 뷰가 줌 인된다. 줌 입력이 수신됨에 따라, 가상 현실 관찰 모드로부터 증강 현실 관찰 모드로의 전이가 발생한다. 전이 동안 발생하는 전이 애니메이션은 가상 기준 그리드(5328)의 점진적인 페이드 아웃을 포함한다(예를 들어, 도 5326 및 도 5327에 도시된 바와 같음). 전이 애니메이션은 물리적 환경의 뷰의 점진적인 페이드 인을 포함한다. 예를 들어, 디바이스(100)의 하나 이상의 카메라들에 의해 캡처된 바와 같이, 테이블(5204) 및 기준 매트(5208a)는 디스플레이(112) 상에서 점차적으로 가시화된다(예를 들어, 도 5328 내지 도 5330에 도시된 바와 같음). 전이 동안, 토글(5214)의 외관이 현재 관찰 모드를 표시하도록 변경된다(예를 들어, 도 5327 및 도 5328에 도시된 바와 같음). 도 5328 내지 도 5330에 도시된 바와 같이, 접촉들(5356, 5360)의 리프트오프 이후에, (예를 들어, 가상 박스들(5302, 5304)과 기준 매트(5208a) 사이의 원래의 공간이 복원될 때까지) 시뮬레이션된 환경 내의 가상 박스들(5302, 5304, 5340)이 계속해서 크기가 증가하고, 이동하고 회전한다.
일부 실시예들에서, 가상 현실 관찰 모드가 활성이었던 동안 추가된 가상 박스(5340)는 도 5330에 도시된 바와 같이 대체 현실 관찰 모드에서 가시적이다.
일부 실시예들에서, 관찰 모드의 가상 현실 관찰 모드로부터 증강 현실 관찰 모드로의 변경은 토글(5214)에 대응하는 위치에서의 접촉에 의한 입력(예를 들어, 탭 입력)에 응답하여 발생한다. 예를 들어, 토글(5214)에 대응하는 위치에서 검출된 탭 입력에 응답하여, 가상 현실 관찰 모드를 디스플레이하는 것(예를 들어, 도 5326에 도시된 바와 같음)으로부터 증강 현실 관찰 모드(예를 들어, 도 5330에 도시된 바와 같음)로의 전이가 발생한다. 일부 실시예들에서, 전이 동안, 도 5326 내지 도 5330에 예시된 애니메이션과 동일하거나 유사한 전이 애니메이션이 디스플레이된다.
도 541 내지 도 5414는 일부 실시예들에 따른, 제1 컴퓨터 시스템에 의해 디스플레이되는 시뮬레이션된 환경 내의 제2 컴퓨터 시스템의 관찰 관점의 표시를 업데이트하기 위한 시스템들 및 사용자 인터페이스들의 예들을 예시한다. 이 도면들에서의 사용자 인터페이스들은 도 11a 내지 도 11c에서의 프로세스들을 비롯한, 아래에 설명되는 프로세스들을 설명하는 데 사용된다. 용이한 설명을 위해, 실시예들의 일부는 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에서 수행되는 동작들을 참조하여 논의될 것이다. 유사하게, 유사한 동작들이, 옵션적으로, 도면들에 도시된 사용자 인터페이스들을 헤드셋(5008)의 디스플레이 상에 포커스 표시자와 함께 디스플레이하면서, 입력 디바이스(5010)의 터치 감응형 표면 상에서의 접촉들을 검출한 것에 응답하여 헤드셋(5008) 및 터치 감응형 표면을 갖는 별개의 입력 디바이스(5010)를 갖는 컴퓨터 시스템(예를 들어, 도 512에 도시된 바와 같음) 상에서 수행된다.
도 541 및 도 542는 도 543 내지 도 5414에 관해 기술된 사용자 인터페이스들이 사용되는 컨텍스트를 예시한다.
도 541은 2명의 사용자들(5402, 5408) 및 테이블(5414)이 위치하는 물리적 공간(5400)을 예시한다. 제1 디바이스(5406)(예를 들어, 디바이스(100))는 제1 사용자(5402)에 의해 제1 사용자의 손(5404) 안에 들려 있다. 제2 디바이스(5412)(예를 들어, 디바이스(100))는 제2 사용자(5408)에 의해 제2 사용자의 손(5410) 안에 들려 있다. 기준 매트(5416a)가 테이블(5414) 상에 위치된다.
도 542는 디바이스(5406)의 디스플레이(5148)(예를 들어, 디스플레이(112)) 상에 디스플레이된 가상 3차원 공간의 뷰를 도시한다. 기준 매트(5416)는 디바이스(5406)의 하나 이상의 카메라들(이하, "카메라"로 지칭되며, 이는 디바이스(5406)의 하나 이상의 카메라들을 표시함)(예를 들어, 광 센서들(164))의 시야 내에 있다. 디스플레이(5148)는 물리적 기준 매트(5416a)의 디스플레이된 버전(5416b)을 포함하는, 카메라에 의해 캡처된 바와 같은 물리적 공간(5400)의 라이브 뷰를 도시한다. 디스플레이(5418) 상에 디스플레이된 시뮬레이션된 환경 내의 가상 사용자 인터페이스 객체(가상 박스(5420)). 일부 실시예들에서, 가상 박스(5420)는 기준 매트(5416b)에 앵커링되어, 기준 매트(5416a)에 대한 디바이스(100)의 이동에 응답하여 기준 매트의 디스플레이된 버전(5416b)의 뷰가 변경됨에 따라 가상 박스(5420)의 뷰가 변경될 것이다. 사용자 인터페이스의 특징들이 도 525와 관련하여 위에서 더 상세히 기술된다.
도 543 내지 도 5411은 테이블(5414)에 대한 제1 디바이스(5406) 및 제2 디바이스(5412)의 물리적 공간(5400) 내의 배향을 예시하는 하위도 "a"(예를 들어, 도 543a에 도시된 바와 같음), 제1 디바이스(5412)의 사용자 인터페이스를 예시하는 하위도 "b"(예를 들어, 도 543b에 도시된 바와 같음), 및 제2 디바이스(5412)의 사용자 인터페이스를 예시하는 하위도 "c"(예를 들어, 도 543c에 도시된 바와 같음)를 포함한다. 사용자 인터페이스의 전체 뷰를 제공하기 위해, 도 543 내지 도 5411의 사용자 인터페이스들은 디바이스들을 들고 있는 손들을 도시하지 않는다. 또한, 명료함을 위해, 도 543 내지 도 5411의 사용자 인터페이스들은 사용자들(5402, 5408)의 신체들을 도시하지 않는다. 디바이스(5406)의 카메라의 시야 내에 있는 사용자(5408)의 신체의 임의의 부분은 전형적으로 디바이스(5406) 상에 디스플레이되는 사용자 인터페이스에서 가시적일 것임이 이해되어야 한다(다만 사용자의 신체의 뷰는 가상 사용자 인터페이스 객체 또는 다른 사용자 인터페이스 요소에 의해 차단될 수 있다). 예를 들어, 도 542에서, 사용자(5408)의 신체 및 손은 디바이스(5409)에 의해 디스플레이되는 사용자 인터페이스에서 가시적이다.
도 543 및 도 544는 제2 디바이스(5412)의 이동을 예시한다.
도 543a에서, 제2 디바이스(5412)는 테이블(5414)에 대한 제1 포지션(예를 들어, 테이블의 먼 좌측에 인접한 포지션)에 디스플레이된다.
도 543b에서, 디바이스(5406)의 사용자 인터페이스는 디바이스(5406)에 대응하는 키 아바타(5424) 및 디바이스(5412)에 대응하는 키 아바타(5426)를 포함하는 아바타 키(5422)를 포함한다. 아바타 키(5422)는 키 아바타(5424)에 대응하는 이름("Me") 및 키 아바타(5426)에 대응하는 이름("Zoe")을 포함한다. 아바타 키에 도시된 키 아바타들은, 가시 환경 내에 도시되는 아바타들(예를 들어, 아바타(5428))에 대한 안내를 제공하여, 예를 들어, 디바이스(5406)의 사용자가 (예를 들어, 시뮬레이션된 환경 내의 아바타(5428)가 키 아바타(5426)와 매칭되는 고양이 아이콘이기 때문에) 시뮬레이션된 환경 내의 아바타(5428)가 사용자 "Zoe"의 디바이스(5412)에 대응한다는 것을 이해하도록 돕는다.
디바이스(5406)의 사용자 인터페이스 상에 디스플레이된 시뮬레이션된 환경은 디바이스(5406)의 관점에서 보아 도시된, 가상 박스(5420) 및 물리적 기준 매트(5416a)의 디스플레이된 뷰(5416b)를 포함한다. 디바이스(5412)의 관찰 관점이 관찰 관점 표시자(5432)에 의해 표시된다. 관찰 관점 표시자(5432)가 아바타(5428)로부터 나오는 것으로 도시되어 있다. 시뮬레이션된 환경 내에서, 디바이스(5412)의 표현(5430)(예를 들어, 디바이스(5406)의 카메라에 의해 캡처된 바와 같은 디바이스(5412)의 뷰 및/또는 디바이스(5412)의 렌더링된 버전)이 도시된다.
도 543c에서, 디바이스(5412)의 사용자 인터페이스는 디바이스(5412)에 대응하는 키 아바타(5436) 및 디바이스(5406)에 대응하는 키 아바타(5468)를 포함하는 아바타 키(5434)를 포함한다. 아바타 키(5434)는 키 아바타(5436)에 대응하는 이름("Me") 및 키 아바타(5438)에 대응하는 이름("Gabe")을 포함한다. 아바타 키에 도시된 키 아바타들은, 가시 환경 내에 도시되는 아바타들(예를 들어, 아바타(5440))에 대한 안내를 제공하여, 예를 들어, 디바이스(5412)의 사용자가 (예를 들어, 시뮬레이션된 환경 내의 아바타(5440)가 키 아바타(5438)와 매칭되는 스마일 얼굴 아이콘이기 때문에) 시뮬레이션된 환경 내의 아바타(5440)가 사용자 "Gabe"의 디바이스(5406)에 대응한다는 것을 이해하도록 돕는다.
도 544a에서, 제2 디바이스(5412)는 도 543a에 도시된 테이블(5414)에 대한 제1 포지션으로부터 테이블(5414)에 대한 제2 포지션(예를 들어, 테이블의 가까운 좌측에 인접한 포지션)으로 이동하였다. 도 544b에서, 디바이스(5406)의 사용자 인터페이스는 도 543b로부터 변경된 포지션에서 디바이스(5412)(디바이스의 아바타(5428) 및 표현(5430)에 의해 표시됨)를 도시한다. 디바이스(5412)의 관찰 관점의 변경은 도 543b로부터 도 544b으로의 관찰 관점 표시자(5432)의 상이한 각도들에 의해 표시된다. 디바이스(5412)의 이동은 또한 도 543c 내지 도 544c의 디바이스(5412)의 사용자 인터페이스에서 변경된 뷰가 디스플레이된 기준 매트(5416b) 및 가상 박스(5420)에 의해 예시된다.
도 545 내지 도 547은 디바이스(5412)에 의한 가상 박스(5420)의 선택 및 이동을 예시한다.
도 545c에서, 접촉(5446)에 의한 입력(예를 들어, 선택 및 이동 입력)은 가상 박스(5420)의 표면에 대응하는 위치에서 제2 디바이스(5412)의 터치 스크린 디스플레이 상에서 검출된다. 가상 박스(5420)의 표면을 선택하는 접촉(5446)의 검출에 응답하여, 가상 박스(5420)의 이동 평면(예를 들어, 가상 박스(5420)의 선택된 표면에 평행한 이동 평면)을 표시하기 위해 가상 박스(5420)로부터 연장되는 이동 돌출부들(5448)이 도시된다.
도 545b에서, 제2 디바이스(5412)가 가상 박스(5420)와 상호작용하고 있다는 것을 제1 디바이스(5406)의 사용자에게 표시하기 위해 상호작용 표시자(5452)가 도시되어 있다. 상호작용 표시자(5452)는 아바타(5428)에 대응하는 위치로부터 가상 박스(5420)에 대응하는 위치까지 연장된다. 표시 표시자(5452)가 가상 박스(5420)를 만나는 위치에 제어 핸들(5454)이 도시되어 있다.
도 545c 내지 도 546c에서, 접촉(5446)은 화살표(5450)로 표시된 방향으로 디바이스(5412)의 터치 감응형 디스플레이를 따라 이동한다. 접촉(5446)의 이동에 응답하여, 가상 박스(5420)는 화살표(5450)로 표시된 방향으로 이동 돌출부들(5448)에 의해 표시된 평면 내에서 이동하였다.
도 545b 내지 도 546b에서, 제1 디바이스(5406)의 사용자 인터페이스는 가상 박스(5420)가 제2 디바이스(5412)에서 검출된 이동 입력에 의해 이동됨에 따라 (예를 들어, 상호작용 표시자(5452)와 가상 박스(5420) 사이의 연결을 유지하기 위해) 상호작용 표시자(5452) 및 제어 핸들(5454)의 이동을 도시한다.
도 547c에서, 접촉(5446)은 디바이스(5412)의 터치 감응형 디스플레이로부터 리프트오프되었고, 이동 돌출부들(5448)은 더 이상 디스플레이되지 않는다. 도 547b에서, 상호작용 표시자(5452) 및 제어 핸들(5454)은 (디바이스(5412)가 가상 박스(5420)와 상호작용하지 않기 때문에) 더 이상 디스플레이되지 않는다.
도 548 내지 도 5411은 디바이스(5412)에 의한 가상 박스(5420)의 크기조정을 예시한다.
도 548c에서, 접촉(5456)에 의한 입력(예를 들어, 크기조정 입력)이 가상 박스(5420)의 표면에 대응하는 위치에서 제2 디바이스(5412)의 터치 스크린 디스플레이 상에서 검출된다.
도 548b에서, 제2 디바이스(5412)가 가상 박스(5420)와 상호작용하고 있음을 표시하기 위해 상호작용 표시자(5462) 및 제어 핸들(5464)이 제1 디바이스(5406)의 사용자 인터페이스 상에 도시되어 있다.
도 549c에서, 크기조정 시간 임계치를 초과하여 증가된 기간 동안 가상 박스(5420)의 표면에 대응하는 위치에 접촉(5456)이 유지된 후에, 크기조정 돌출부들(5458)은, 가상 박스(5420)가 접촉(5456)의 후속 이동에 응답하여 크기조정될 축(가상 박스(5420)의 선택된 표면에 수직임)을 표시하는 것으로 도시되어 있다.
도 549a 내지 도 5410a는 가상 박스(5420)를 크기조정하기 위해 (접촉(5456)이 제2 디바이스(5412)의 터치 스크린 디스플레이와 접촉하는 동안) 상향으로 이동하는 제2 디바이스(5412)를 도시한다. 디바이스(5412)의 이동에 응답하여, 가상 박스(5420)의 크기는 제2 디바이스(5412)가 이동되는 방향으로 크기조정 돌출부들(5458)에 의해 표시된 축을 따라 증가하였다.
도 5411c에서, 접촉(5456)은 터치 감응형 디스플레이(112)로부터 리프트오프되었고, 돌출부들(5458)은 더 이상 디스플레이되지 않는다.
도 5412 내지 도 5414에 예시된 바와 같이, 동일한 물리적 공간 내에 있지 않은 사용자들이 시뮬레이션된 환경 내의 객체들을 관찰하고 공동으로 조작할 수 있다. 예를 들어, 제1 물리적 공간 내의 사용자는 제1 물리적 기준 매트(예를 들어, 5416a)의 디스플레이된 버전에 앵커링되어 있는 가상 사용자 인터페이스 객체(예를 들어, 가상 박스(5420))를 관찰하고, 원격 위치에서의 상이한 사용자는 제2 물리적 기준 매트(예를 들어, 5476a)의 디스플레이된 버전에 앵커링되어 있는 동일한 가상 사용자 인터페이스 객체를 관찰한다.
도 5412a는 도 541에 예시된 바와 같이, 2명의 사용자들(5402, 5408) 및 테이블(5414)이 위치되는 제1 물리적 공간(5400)을 예시한다. 도 5412b는 제3 사용자(5472) 및 테이블(5474)이 위치되는, 제1 물리적 공간(5400)과는 별개인 제2 물리적 공간(5470)을 도시한다. 제3 디바이스(5478)(예를 들어, 디바이스(100))는 제3 사용자(5472)에 의해 들려 있다. 기준 매트(5476a)가 테이블(5474) 상에 위치된다. 제3 사용자(5472)의 디바이스(5478)는 제1 사용자(5408)의 디바이스(5412) 및 제2 사용자(5402)의 디바이스(5404)에 의해 디스플레이되는 동일한 시뮬레이션된 환경을 디스플레이한다.
도 5413a는 도 5412a에 관해 기술된 바와 같은 제1 물리적 공간(5400)을 도시하고, 도 5413b는 도 5412b에 관해 기술된 바와 같은 제2 물리적 공간(5470)을 도시한다.
도 5413c에서, 제1 디바이스(5406)의 사용자 인터페이스는 제3 디바이스(5478)에 대응하는 ("Stan"에 대한) 키 아바타(5480)를 포함하는 아바타 키(5422)를 포함한다. (키 아바타(5480)에 의해 표시된 바와 같은) 제3 디바이스(5478)에 대응하는 아바타(5482)가, 물리적 기준 매트(5476a)에 대한 디바이스(5478)의 포지션에 대응하는 물리적 기준 매트(5416a)의 디스플레이된 버전(5416b)에 대한 위치에서 5406에 의해 디스플레이된 시뮬레이션된 환경 내에 도시되어 있다. 디바이스(5478)의 관찰 관점이 관찰 관점 표시자(5486)에 의해 표시된다. 디바이스(5478)의 표현(5484)(예를 들어, 디바이스의 렌더링된 버전)이 디바이스(5406)에 의해 디스플레이된 시뮬레이션된 환경 내에 도시된다.
도 5413d에 도시된 바와 같이, 제2 디바이스(5412)의 사용자 인터페이스는 또한 제3 디바이스(5478)에 대응하는 아바타(5482), 디바이스(5478)의 관찰 관점을 표시하는 관찰 관점 표시자(5486), 및 디바이스(5478)의 표현(5484)을 디스플레이한다.
도 5414a는 도 5412a에 관해 기술된 바와 같은 제1 물리적 공간(5400)을 도시하고, 도 5414b는 도 5412b에 관해 기술된 바와 같은 제2 물리적 공간(5470)을 도시한다.
도 5414c는 제3 디바이스(5478)의 사용자 인터페이스를 도시한다. 도 5414c에서, 가상 박스(5420)는 물리적 기준 매트(5476a)의 디스플레이된 뷰(5476b)에 앵커링된 것으로 도시되어 있다. 제1 디바이스(5406)에 대응하는 아바타(5488)는 물리적 기준 매트(5416a)에 대한 제1 디바이스(5406)의 포지션에 대응하는 물리적 기준 매트(5476a)의 디스플레이된 버전(5476b)에 대한 위치에서 제3 디바이스(5478)에 의해 디스플레이된 시뮬레이션된 환경 내에 도시되어 있다. 제1 디바이스(5406)의 관찰 관점이 관찰 관점 표시자(5490)에 의해 표시된다. 제1 디바이스(5406)의 표현(5490)(예를 들어, 제1 디바이스의 렌더링된 버전)이 제3 디바이스(5476)에 의해 디스플레이된 시뮬레이션된 환경 내에 도시된다. 제2 디바이스(5412)에 대응하는 아바타(5494)는 물리적 기준 매트(5416a)에 대한 제2 디바이스(5412)의 포지션에 대응하는 물리적 기준 매트(5476a)의 디스플레이된 버전(5476b)에 대한 위치에서 시뮬레이션된 환경 내에 도시된다. 제2 디바이스(5412)의 관찰 관점이 관찰 관점 표시자(5498)에 의해 표시된다. 제2 디바이스(5412)의 표현(5496)(예를 들어, 제2 디바이스의 렌더링된 버전)이 제3 디바이스(5476)에 의해 디스플레이된 시뮬레이션된 환경 내에 도시된다.
도 551 내지 도 5532는 일부 실시예들에 따른, 삽입 커서의 배치를 위한 시스템들 및 사용자 인터페이스들의 예들을 예시한다. 이 도면들에서의 사용자 인터페이스들은 도 12a 내지 도 12d에서의 프로세스들을 비롯한, 아래에 설명되는 프로세스들을 설명하는 데 사용된다. 용이한 설명을 위해, 실시예들의 일부는 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에서 수행되는 동작들을 참조하여 논의될 것이다. 유사하게, 유사한 동작들이, 옵션적으로, 포커스 표시자와 함께, 헤드셋(5008)의 디스플레이 상의 도면들에 도시된 사용자 인터페이스들을 디스플레이하는 동안 입력 디바이스(5010)의 터치 감응형 표면 상의 접촉들을 검출한 것에 응답하여, 헤드셋(5008) 및 터치 감응형 표면을 갖는 별개의 입력 디바이스(5010)를 갖는 컴퓨터 시스템(예를 들어, 도 512에 도시된 바와 같음) 상에서 수행된다.
도 551 내지 도 553은 도 554 내지 도 5532에 관해 기술된 사용자 인터페이스들이 사용되는 컨텍스트를 예시한다.
도 551은 사용자(5202) 및 테이블(5204)이 위치되는 물리적 공간(5200)을 예시한다. 디바이스(100)는 사용자(5202)에 의해 사용자의 손(5206) 안에 들려 있다. 기준 매트(5208)가 테이블(5204) 상에 위치된다.
도 552는 디바이스(100)의 디스플레이(112) 상에 디스플레이된 가상 3차원 공간의 뷰를 도시한다. 기준 매트(5208)는 디바이스(100)의 하나 이상의 카메라들(이하, "카메라"로 지칭되며, 이는 디바이스(100)의 하나 이상의 카메라들을 표시함)(예를 들어, 광 센서들(164))의 시야 내에 있다. 디스플레이(112)는 물리적 기준 매트(5208a)의 디스플레이된 버전(5208b)을 포함하는, 카메라에 의해 캡처된 바와 같은 물리적 공간(5200)의 라이브 뷰를 도시한다.
도 553에서, 디바이스(100)는 기준 매트(5208a)에 더 가깝게 이동하였다. 그 결과, 기준 매트의 디스플레이된 버전(5208b)의 크기가 증가하였다.
도 554 내지 도 5532는 디바이스(100)의 더 큰 뷰를 도시하고, 디스플레이(112) 상에 디스플레이된 사용자 인터페이스의 전체 뷰를 제공하기 위해, 사용자의 손들(5206)을 도시하지 않는다.
도 555 및 도 556은 제1 위치에서의 삽입 커서의 배치를 야기하는 입력을 예시한다.
도 555에서, 접촉(5502)에 의한 입력(예를 들어, 탭 입력)이 물리적 기준 매트(5208a)의 디스플레이된 버전(5208b) 상의 제1 위치에서 검출된다. 도 556에서, 접촉(5502)은 터치 감응형 디스플레이(112)로부터 리프트오프되었고, 접촉(5502)이 검출된 위치에 삽입 커서(5504)가 도시되어 있다.
도 557 및 도 558은 제2 위치에서의 삽입 커서의 배치를 야기하는 입력을 예시한다. 도 557에서, 접촉(5506)에 의한 입력(예를 들어, 탭 입력)이 삽입 커서(5504)가 디스플레이된 위치와 상이한 위치에서 검출된다. 도 558에서, 접촉(5506)은 터치 감응형 디스플레이(112)로부터 리프트오프되었고, 접촉(5506)이 검출된 위치에 삽입 커서(5508)가 도시되어 있다.
도 559 및 도 5510은 가상 사용자 인터페이스 객체의 삽입을 야기하는 입력을 예시한다. 도 559에서, 접촉(5510)에 의한 입력(예를 들어, 탭 입력)이 삽입 커서(5508)의 위치에 대응하는 위치에서 검출된다. 삽입 커서가 배치된 위치에서의 접촉(5510)의 검출에 응답하여, 가상 사용자 인터페이스 객체(제1 가상 박스(5512))는 접촉(5510)에 대응하는 위치에서 디스플레이(112) 상에 디스플레이되고, 삽입 커서(5508)는 기준 매트(5208a)의 디스플레이된 뷰(5208b) 상의 그의 이전 포지션으로부터 제1 가상 박스(5512)의 표면(5514)으로 이동된다. 일부 실시예들에서, 그림자(5522)가 디스플레이된다(예를 들어, 시뮬레이션된 광은 제1 가상 박스(5512)에 의해 그림자가 드리워지게 한다).
도 5511 및 도 5512는 추가적인 가상 사용자 인터페이스 객체의 삽입을 야기하는, 가상 사용자 인터페이스 객체(제1 가상 박스(5512))의 표면에서 검출된 입력을 예시한다. 도 5511에서, 접촉(5516)에 의한 입력(예를 들어, 탭 입력)이 제1 가상 박스(5512)의 표면(5514) 상의 위치에서 검출되는 한편, 삽입 커서(5516)는 표면(5514) 상에 위치된다. 접촉(5516)에 의한 입력의 검출에 응답하여, 새로운 가상 사용자 인터페이스 객체(제2 가상 박스(5518))는 접촉(5510)에 대응하는 위치에 디스플레이(112) 상에 디스플레이되고, 삽입 커서(5508)는 제1 가상 박스(5512)의 표면(5514)으로부터 제2 가상 박스(5518)의 표면(5520)으로 이동된다. (그림자가 제1 가상 박스(5512)와 새로 추가된 제2 가상 박스(5518)에 의해 드리워진 것으로 보이도록) 그림자(5522)의 길이가 증가된다.
도 5512 및 도 5513은 물리적 기준 매트(5208)의 회전을 예시한다. 예를 들어, 사용자(5202)는 기준 매트(5208)의 포지션 및/또는 배향을 수동으로 변경한다. 물리적 기준 매트(5208a)가 회전함에 따라, 가상 박스들(5512, 5518) 및 그림자(5522)가 회전한다(가상 박스들(5512, 5518)이 물리적 기준 매트(5208a)의 디스플레이된 뷰(5208b)에 앵커링되기 때문임).
도 5514 내지 도 5516은 디바이스(100)의 이동을 예시한다. 예를 들어, 디바이스(100)를 들고 있는 사용자(5202)가 디바이스의 포지션 및/또는 배향을 변경한다. 도 5514 및 도 5515에서, 디바이스(100)가 이동함에 따라, 가상 박스들(5512, 5518) 및 그림자(5522)가 이동한다(가상 박스들(5512, 5518)이 물리적 기준 매트(5208a)의 디스플레이된 뷰(5208b)에 앵커링되기 때문임). 유사하게, 도 5515 및 도 5516에서, 디바이스(100)가 이동함에 따라, 가상 박스들(5512, 5518) 및 그림자(5522)가 이동한다.
도 5517 및 도 5518은 가상 박스(5518) 상의 삽입 커서(5526)의 위치를 변경하는 입력을 예시한다. 도 5517에서, 접촉(5524)에 의한 입력(예를 들어, 탭 입력)은 가상 박스(5518)의 표면(5528)에서 검출되는 한편, 삽입 커서(5526)는 가상 박스(55182)의 표면(5520) 상에 위치된다. 도 5518에서, 접촉(5524)은 터치 감응형 디스플레이(112)로부터 리프트오프되었고, 삽입 커서(5508)는 가상 박스(5518)의 표면(5520)으로부터 가상 박스(5518)의 표면(5528)으로 이동된다.
도 5519 및 도 5520은 제3 가상 박스(5532)의 삽입을 야기하는, 제2 가상 박스(5518)의 표면에서 검출된 입력을 예시한다. 도 5519에서, 접촉(5530)에 의한 입력(예를 들어, 탭 입력)이 제2 가상 박스(5518)의 표면(5528) 상의 위치에서 검출되는 한편, 삽입 커서(5526)는 표면(5268) 상에 위치된다. 접촉(5530)에 의한 입력의 검출에 응답하여, 제3 가상 박스(5532)는 접촉(5530)에 대응하는 위치에서 디스플레이(112) 상에 디스플레이되고, 삽입 커서(5526)는 제2 가상 박스(5518)의 표면(5528)으로부터 제3 가상 박스(5532)의 표면(5526)으로 이동된다. (그림자가 제1 가상 박스(5512), 제2 가상 박스(5518), 및 새롭게 추가된 제3 가상 박스(5532)에 의해 드리워진 것으로 보이도록) 그림자(5522)의 형상이 변경된다.
도 5521 및 도 5522는 가상 박스(5532) 상의 삽입 커서(5538)의 위치를 변경하는 입력을 예시한다. 도 5521에서, 접촉(5536)에 의한 입력(예를 들어, 탭 입력)은 가상 박스(5532)의 표면(5538)에서 검출되는 한편, 삽입 커서(5526)는 가상 박스(5532)의 표면(5534) 상에 위치된다. 도 5522에서, 접촉(5536)은 터치 감응형 디스플레이(112)로부터 리프트오프되었고, 삽입 커서(5526)는 가상 박스(5518)의 표면(5534)으로부터 가상 박스(5532)의 표면(5538)으로 이동된다.
도 5523 및 도 5524는 새로운 객체 제어부(5216)를 사용한 새로운 가상 사용자 인터페이스 객체의 삽입을 예시한다.
도 5523에서, 삽입 커서(5526)가 가상 박스(5532)의 표면(5538)에 있는 동안, 접촉(5542)에 의한 입력(예를 들어, 탭 입력)이 새로운 객체 제어부(5216)에 대응하는 디스플레이(112) 상의 위치에서 검출된다. 도 5524에서, 새로운 객체 제어부(5216)에 대응하는 위치에서의 입력에 응답하여, 제4 가상 박스(5546)가 삽입 커서(5526)가 도시되었던 위치에 대응하는 위치에서 디스플레이(112) 상에 디스플레이되고, 삽입 커서(5526)는 가상 박스(5532)의 표면(5538)으로부터 제4 가상 박스(5546)의 표면(5548)으로 이동된다.
도 5525 내지 도 5527은 제4 가상 박스(5546)의 이동을 야기하는 입력을 예시한다.
도 5525에서, 접촉(5550)에 의한 입력(예를 들어, 선택 및 이동 입력)이 제4 가상 박스(5546)의 표면(5556) 상에서 검출된다. 제4 가상 박스(5546)의 표면(5556)을 선택하는 접촉(5550)의 검출에 응답하여, 제4 가상 박스(5546)의 이동 평면(예를 들어, 가상 박스(5546)의 선택된 표면(5556)에 평행한 이동 평면)을 표시하기 위해 가상 박스(5546)로부터 연장되는 이동 돌출부들(5552)이 도시된다.
도 5525 및 도 5526에서, 접촉(5550)은 화살표(5554)로 표시된 방향으로 터치 감응형 디스플레이(112)의 표면을 따라 이동하였다. 접촉(5550)의 이동에 응답하여, 제4 가상 박스(5546)는 화살표(5554)로 표시된 방향으로 이동 돌출부들(5552)에 의해 표시된 평면 내에서 이동하였다. 도 5527에서, 접촉(5550)은 터치 감응형 디스플레이(112)로부터 리프트오프되었고, 이동 돌출부들(5552)은 더 이상 디스플레이되지 않는다.
도 5528 내지 도 5532는 제4 가상 박스(5546)의 크기조정을 야기하는 입력을 예시한다.
도 5528에서, 접촉(5258)에 의한 입력(예를 들어, 크기조정 입력)이 제4 가상 박스(5546)의 표면(5556)에 대응하는 위치에서 터치 스크린 디스플레이(112) 상에서 검출된다.
도 5529에서, 크기조정 시간 임계치를 초과하여 증가된 기간 동안 제4 가상 박스(5546)의 표면(5556)에 대응하는 위치에 접촉(5255)이 유지된 후에, 크기조정 돌출부들(5560)은, 가상 박스(5546)가 접촉(5558)의 후속 이동에 응답하여 크기조정될 축(가상 박스(5546)의 선택된 표면에 수직임)을 표시하는 것으로 도시되어 있다.
도 5530 및 도 5531에서, 접촉(5558)은 화살표(5562)로 표시된 경로를 따라 터치 스크린 디스플레이(112)를 가로질러 이동한다. 접촉(5558)의 이동에 응답하여, 가상 박스(5548)의 크기는 접촉(5558)의 이동 방향으로 크기조정 돌출부들(5560)에 의해 표시된 축을 따라 증가하였다.
도 5532에서, 접촉(5558)은 터치 감응형 디스플레이(112)로부터 리프트오프되었고, 돌출부들(5560)은 더 이상 디스플레이되지 않는다.
도 561 내지 도 5617은 일부 실시예들에 따른, 안정화된 동작 모드에서 증강 현실 환경을 디스플레이하기 위한 시스템들 및 사용자 인터페이스들의 예들을 예시한다. 이 도면들에서의 사용자 인터페이스들은 도 13a 내지 도 13e에서의 프로세스들을 비롯한, 아래에 설명되는 프로세스들을 설명하는 데 사용된다. 용이한 설명을 위해, 실시예들의 일부는 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에서 수행되는 동작들을 참조하여 논의될 것이다. 유사하게, 유사한 동작들이, 옵션적으로, 포커스 표시자와 함께, 헤드셋(5008)의 디스플레이 상의 도면들에 도시된 사용자 인터페이스들을 디스플레이하는 동안 입력 디바이스(5010)의 터치 감응형 표면 상의 접촉들을 검출한 것에 응답하여, 헤드셋(5008) 및 터치 감응형 표면을 갖는 별개의 입력 디바이스(5010)를 갖는 컴퓨터 시스템(예를 들어, 도 512에 도시된 바와 같음) 상에서 수행된다.
도 561 및 도 562는 도 563 내지 도 5617에 관해 기술된 사용자 인터페이스들이 사용되는 컨텍스트를 예시한다.
도 561은 사용자(5202) 및 테이블(5204)이 위치되는 물리적 공간(5200)을 예시한다. 디바이스(100)는 사용자(5202)에 의해 사용자의 손(5206) 안에 들려 있다. 객체(물리적 박스(5602))가 테이블(5204) 상에 위치된다.
도 562는 디바이스(100)의 디스플레이(112)에 의해 디스플레이되는 증강 현실 환경을 도시한다. 테이블(5204)(물리적 공간 내의 테이블을 지칭할 때 5204a로 참조됨) 및 물리적 박스(5602)는 디바이스(100)의 하나 이상의 카메라들(이하, 디바이스(100)의 하나 이상의 카메라들을 표시하는 "카메라"로 지칭됨)(예를 들어, 광 센서들(164))의 시야 내에 있다. 디스플레이(112)는, 테이블(5204a)의 디스플레이된 버전(5204b) 및 디바이스(100)의 카메라에 의해 검출된 바와 같은 물리적 박스(5602)에 대응하는 시뮬레이션된 환경 내의 위치에 디스플레이된 렌더링된 가상 박스(5604)를 포함하는, 카메라에 의해 캡처된 바와 같은 물리적 공간(5200)의 라이브 뷰를 도시한다.
도 563 내지 도 5617은 테이블(5204a) 및 물리적 박스(5602)에 대한 디바이스(100)의 물리적 공간(5200) 내의 배향을 예시하는 하위도 "a"(예를 들어, 도 563a에 도시된 바와 같음), 및 디바이스(100)의 사용자 인터페이스를 예시하는 하위도 "b"(예를 들어, 도 563b에 도시된 바와 같음)를 포함한다. 또한, 명료함을 위해, 도 563 내지 도 5618은 디바이스(100)의 더 큰 뷰를 도시하고, 디스플레이(112) 상에 디스플레이된 사용자 인터페이스의 전체 뷰를 제공하기 위해, 사용자의 손(5206)을 도시하지 않는다.
도 563a 내지 도 564a는 비안정화된 동작 모드에서 (도 563b 내지 도 564b에 예시된 바와 같이) 증강 현실 환경이 디바이스(100)에 의해 디스플레이되는 동안 발생하는 테이블(5204a) 및 물리적 박스(5602)에 대한 디바이스(100)의 이동을 예시한다. 도 563a에 도시된 바와 같이, 디바이스(100)가 테이블(5204a)에 대한 제1 포지션에 있을 때, 물리적 객체(5602)의 렌더링된 버전(5604)은 도 563b에 도시된 사용자 인터페이스에서 완전히 가시적이다. 도 564a에서, 디바이스(100)는 테이블(5204a)에 대해 제2 포지션으로 이동되었고, 물리적 객체(5602)의 렌더링된 버전(5604)은 도 564b에 도시된 사용자 인터페이스에서 단지 부분적으로 가시적이다. 비안정화된 동작 모드에서, 디바이스(100)가 이동함에 따라, 가상 박스(5604)의 뷰는 가상 박스(5604)와 물리적 박스(5602) 사이의 고정된 공간적 관계를 유지하도록 변경되며, 디바이스(100)의 카메라의 디스플레이된 시야의 표현(예를 들어, 디스플레이된 테이블(5204b)을 포함함)은 디바이스의 이동에 기초하여 업데이트된다.
도 565 내지 도 568은 디바이스가 안정화된 동작 모드에서 증강 현실 환경을 디스플레이하게 하는 입력(예를 들어, 디핀치-투-줌-아웃 입력)을 예시한다.
도 565에서, 디바이스(100)는 테이블(5204)에 대한 제1 포지션에 있다. 도 566에서, 접촉들(5606, 5608)이 터치 감응형 디스플레이(112)에서 검출된다(도 566b에 도시된 바와 같음). 도 566b 내지 도 567b에 도시된 바와 같이, 접촉(5606)은 화살표(5610)로 표시된 경로를 따라 이동하고, 접촉(5608)은 화살표(5612)로 표시된 경로를 따라 이동한다. 접촉들(5606, 5608) 사이의 거리를 증가시키는 접촉들(5606, 5608)의 동시 이동에 응답하여, 가상 박스(5604)를 포함하는 디스플레이된 증강 현실 환경은 (예를 들어, 가상 박스(5604)의 크기가 디스플레이(112) 상에서 증가하도록) 줌 인된다. 가상 박스(5604)는 줌 입력에 응답하여 재-렌더링된다(예를 들어, 도 568b의 더 큰 가상 박스(5604)는 도 565b의 더 작은 가상 박스(5604)와 동일한 해상도를 가짐). 일부 실시예들에서, 디스플레이(112) 상에 디스플레이된 디바이스(100)의 카메라의 시야(예를 들어, 테이블(5204a)의 디스플레이된 뷰(5204b))는 줌 입력에 응답하여 변경되지 않는다(도 565b 내지 도 568b에 도시된 바와 같음). 줌 입력이 수신됨에 따라, 비안정화된 동작 모드로부터 안정화된 동작 모드로의 전이가 일어난다. 도 568에서, 접촉들(5606, 5608)은 터치스크린 디스플레이(112)로부터 리프트오프되었다.
일부 실시예들에서, 디바이스가 안정화된 동작 모드에서 증강 현실 환경을 디스플레이하고 있는 동안, 디바이스의 이동이 가상 사용자 인터페이스 객체가 디바이스 카메라의 시야를 넘어 연장되게 함에 따라, 가상 사용자 인터페이스 객체의 일부분이 디스플레이되지 않는다. 도 568 및 도 569는 디바이스(100)가 안정화된 동작 모드에 있는 동안, 가상 사용자 인터페이스 객체(5304)의 일부분이 디스플레이되는 것을 중지하게 하는 디바이스(100)의 이동을 예시한다. 도 568a 내지 도 569a는 안정화된 동작 모드에서 (도 568b 내지 도 569b에 예시된 바와 같이) 증강 현실 환경이 디바이스(100)에 의해 디스플레이되는 동안 발생하는 테이블(5204a) 및 물리적 박스(5602)에 대한 디바이스(100)의 이동을 예시한다. 도 568a에 도시된 바와 같이 디바이스(100)가 테이블(5204a)에 대한 제1 포지션에 있을 때, 물리적 객체(5602)의 줌된 렌더링된 버전(5604)은 도 568b에 도시된 사용자 인터페이스에서 완전히 가시적이다. 도 569a에서, 디바이스(100)가 테이블(5204a)에 대해 제2 포지션으로 이동되어, 가상 박스(5604)와 물리적 박스(5602) 사이의 고정된 공간적 관계를 유지하기 위해 가상 박스(5604)의 뷰를 업데이트하는 것이 가상 박스(5604)가 디바이스(100)의 카메라의 시야를 넘어 연장되게 한다. 그 결과, 디바이스(100)의 카메라의 시야를 넘어 연장되는 가상 박스(5064)의 일부분은 디스플레이되지 않는다.
일부 실시예들에서, 디바이스가 안정화된 동작 모드에서 증강 현실 환경을 디스플레이하고 있는 동안, 디바이스의 이동이 가상 사용자 인터페이스 객체로 하여금 디바이스 카메라의 시야를 넘어 연장되게 하면, 증강 현실 환경은 가상 사용자 인터페이스 객체가 완전히 디스플레이되도록 줌 아웃된다. 예를 들어, 가상 박스(5604)를 포함하는 디스플레이된 증강 현실 환경은 가상 박스(5604)가 완전히 디스플레이되도록 도 569b로부터 도 5610b로 줌 아웃되었다.
일부 실시예들에서, 안정화된 동작 모드에서, 가상 박스(5604)와 물리적 박스(5602) 사이의 고정된 공간적 관계를 유지하기 위해 가상 박스(5604)의 뷰를 업데이트하는 것이 가상 박스(5604)가 디바이스(100)의 카메라의 시야를 넘어 연장되게 할 때, 가상 박스(5604)는 디바이스 카메라의 시야를 넘어 연장되는 가상 박스(5064)의 일부분에 대응하는 위치에서 플레이스홀더(placeholder) 이미지와 함께 디스플레이된다. 도 5610b에서, 물리적 객체(5602)의 렌더링된 버전(5604)은 디바이스 카메라의 시야를 넘어 연장되는 가상 박스(5064)의 일부분에 대응하는 위치에서 플레이스홀더 이미지(5614)(빈 공간(blank space))와 함께 디스플레이된다. 예를 들어, 플레이스홀더 이미지(5614)는 카메라의 시야를 넘는 증강 현실 환경 내의 위치에 디스플레이되어, 어떠한 카메라 데이터도 플레이스홀더 이미지(5614)에 의해 점유된 공간 내에 표시되도록 이용가능하지 않다.
도 5610 내지 도 5611은 디바이스(100)의 이동을 예시한다(도 568 및 도 563에 예시된 디바이스(100)의 포지션으로 되돌아 감).
도 5611a 내지 도 5612a는 디바이스(100)의 이동을 예시한다(예를 들어, 디바이스(100)가 더 크게 보이도록 테이블(5204a) 및 물리적 객체(5602)로부터 뒤로 멀어짐). 도 5612b에서, 도 5611a 내지 도 5612a에 예시된 이동의 결과로서, 가상 객체(5604)의 크기는 도 5611b의 가상 객체(5604)의 크기로부터 감소하였다. 안정화된 동작 모드와 비안정화된 동작 모드에서의 증강 현실 환경의 업데이트에 대한 간단한 비교를 제공하기 위해 (안정화된 모드에서의 도 5612b의 가상 객체(5604)의 크기가 비안정화된 모드에서의 도 563b의 가상 객체(5604)의 크기와 동일하도록) 예시적인 목적들을 위한 이동이 도 5611a 내지 도 5612a에 도시되어 있다.
도 5612a 내지 도 5613a는 증강 현실 환경이 디바이스(100)에 의해 안정화된 동작 모드에서 디스플레이되는 동안 발생하는 테이블(5204a) 및 물리적 박스(5602)에 대한 디바이스(100)의 이동을 예시한다. 도 5612a에 도시된 바와 같이 디바이스(100)가 테이블(5204a)에 대한 제1 포지션에 있을 때, 물리적 객체(5602)의 렌더링된 버전(5604)은 도 5612b에 도시된 사용자 인터페이스에서 완전히 가시적이다. 도 5613a에서, 디바이스(100)는 테이블(5204a)에 대해 제2 포지션으로 이동되었고, 물리적 객체(5602)의 렌더링된 버전(5604)은 도 5613b에 도시된 사용자 인터페이스에서 단지 부분적으로 가시적이다. 일부 실시예들에서, 안정화된 동작 모드에서, 디바이스(100)가 이동함에 따라, 가상 박스(5604)의 뷰는 가상 박스(5604)와 물리적 박스(5602) 사이의 고정된 공간적 관계를 유지하도록 변경되며, 디바이스(100)의 카메라의 시야의 디스플레이된 표현(예를 들어, 디스플레이된 테이블(5204b)을 포함함)은 비안정화된 모드에서 발생하는 변경의 양보다 작은 양만큼 변경된다(예를 들어, 디바이스(100)가 안정화된 동작 모드에 있는 동안 디스플레이된 테이블(5204b)의 도 5612b 내지 5613b로부터의 이동량은 디바이스(100)가 비안정화된 동작 모드에 있는 동안 디스플레이된 테이블(5204b)의 도 564b 내지 도 565b로부터의 이동량보다 적음).
도 5614 내지 도 5616은 비안정화된 동작 모드로부터 안정화된 동작 모드로 전이하기 위한 안정화 토글(5616)에서의 입력을 예시한다. 도 5615b에서, 접촉(5618)에 의한 입력(예를 들어, 탭 입력)이 안정화 토글(5616)에 대응하는 터치 스크린 디스플레이(112) 상의 위치에서 검출된다. 접촉(5618)에 의한 입력에 응답하여, 도 5616b에 도시된 바와 같이, 비안정화된 동작 모드로부터 안정화된 동작 모드로의 전이가 일어났음을 표시하기 위해 안정화 토글(5616)의 외관이 변경된다(예를 들어, 토글이 비음영(unshaded) 상태로부터 음영(shaded) 상태로 변경됨).
도 5616a 내지 도 5617a는 증강 현실 환경이 안정화된 동작 모드에서 (도 5616a 내지 도 5617a에 예시된 바와 같이) 디바이스(100)에 의해 디스플레이되는 동안 발생하는 테이블(5204a) 및 물리적 박스(5602)에 대한 디바이스(100)의 이동을 예시한다. 도 5616a에 도시된 바와 같이 디바이스(100)가 테이블(5204a)에 대한 제1 포지션에 있을 때, 물리적 객체(5602)의 렌더링된 버전(5604)은 도 5616b에 도시된 사용자 인터페이스에서 완전히 가시적이다. 도 5617a에서, 디바이스(100)는 테이블(5204a)에 대해 제2 포지션으로 이동되었고, 물리적 객체(5602)의 렌더링된 버전(5604)은 도 5617b에 도시된 사용자 인터페이스에서 단지 부분적으로 가시적이다. 안정화된 동작 모드에서, 디바이스(100)가 이동함에 따라, 가상 박스(5604)의 뷰는 가상 박스(5604)와 물리적 박스(5602) 사이의 고정된 공간적 관계를 유지하도록 변경되며, 디바이스(100)의 카메라의 시야의 디스플레이된 표현(예를 들어, 디스플레이된 테이블(5204b)을 포함함)은 비안정화된 모드에서 발생하는 변경의 양보다 작은 양만큼 변경된다(예를 들어, 디바이스(100)가 안정화된 동작 모드에 있는 동안 디스플레이된 테이블(5204b)의 도 5615b 내지 5616b로부터의 이동량은 디바이스(100)가 비안정화된 동작 모드에 있는 동안 디스플레이된 테이블(5204b)의 도 564b 내지 도 565b로부터의 이동량보다 적음).
도 6a 내지 도 6d는 일부 실시예들에 따른, 증강 현실 환경 내의 가상 사용자 인터페이스 객체의 외관을 조정하는 방법(600)을 예시하는 흐름도들이다. 방법(600)은, 디스플레이 생성 컴포넌트(예를 들어, 디스플레이, 프로젝터, 헤드-업 디스플레이, 등), 하나 이상의 카메라들(예를 들어, 카메라들의 시야 내에 있는 콘텐츠들의 적어도 일부분의 라이브 프리뷰를 연속적으로 제공하고, 옵션적으로, 카메라들의 시야 내의 콘텐츠들을 캡처하는 이미지 프레임들의 하나 이상의 스트림들을 포함하는 비디오 출력들을 생성하는 비디오 카메라들), 및 입력 디바이스(예를 들어, 터치 감응형 원격 제어부와 같은 터치 감응형 표면, 또는 디스플레이 생성 컴포넌트로서 또한 기능하는 터치 스크린 디스플레이, 마우스, 조이스틱, 완드 제어기, 및/또는 사용자의 손들과 같은 사용자의 하나 이상의 특징부들의 포지션을 추적하는 카메라들)을 포함하는 컴퓨터 시스템(예를 들어, 도 1a의 휴대용 다기능 디바이스(100), 도 3a의 디바이스(300), 또는 도 512의 헤드셋(5008) 및 입력 디바이스(5010)를 포함하는 다중-컴포넌트 컴퓨터 시스템)에서 수행된다. 일부 실시예들에서, (예를 들어, 터치 감응형 표면을 갖는) 입력 디바이스 및 디스플레이 생성 컴포넌트는 터치 감응형 디스플레이에 통합된다. 도 3b 내지 도 3d와 관련하여 전술된 바와 같이, 일부 실시예들에서, 방법(600)은 컴퓨터 시스템(301)(예를 들어, 컴퓨터 시스템(301-a, 301-b, 또는 301-c))에서 수행되며, 여기서 디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 하나 이상의 입력 디바이스들, 및 옵션적으로 하나 이상의 자세 센서들과 같은 각자의 컴포넌트들은 각각 컴퓨터 시스템(301) 내에 포함되거나 그와 통신한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트는 터치 스크린 디스플레이이고, (예를 들어, 터치 감응형 표면을 갖는) 입력 디바이스는 디스플레이 생성 컴포넌트 상에 있거나 그와 통합된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 입력 디바이스와 별개이다(예를 들어, 도 4b 및 도 512에 도시된 바와 같음). 방법(600)의 일부 동작들은 옵션적으로 조합되고/되거나 일부 동작들의 순서가 옵션적으로 변경된다.
설명의 편의를 위해, 실시예들의 일부는 (예를 들어, 터치 스크린(112)을 갖는 디바이스(100) 상의) 터치 감응형 디스플레이 시스템(112) 및 하나 이상의 통합된 카메라들을 갖는 컴퓨터 시스템 상에서 수행되는 동작들을 참조하여 논의될 것이다. 그러나, 유사한 동작들이, 옵션적으로, 헤드셋(5008)의 디스플레이 상의 도면들에 도시된 사용자 인터페이스들을 디스플레이하는 동안 입력 디바이스(5010)의 터치 감응형 표면 상의 접촉들을 검출한 것에 응답하여, 헤드셋(5008) 및 터치 감응형 표면을 갖는 별개의 입력 디바이스(5010)를 갖는 컴퓨터 시스템(예를 들어, 도 512에 도시된 바와 같음) 상에서 수행된다. 유사하게, 유사한 동작들이, 옵션적으로, 컴퓨터 시스템의 하나 이상의 다른 컴포넌트들(예를 들어, 입력 디바이스)로부터 별도로 구현되는 (예를 들어, 헤드셋 내의) 하나 이상의 카메라들을 갖는 컴퓨터 시스템 상에서 수행되며; 그리고 일부 그러한 실시예들에서, "컴퓨터 시스템의 이동"은 컴퓨터 시스템의 하나 이상의 카메라들의 이동, 또는 컴퓨터 시스템과 통신하는 하나 이상의 카메라들의 이동에 대응한다.
아래에 설명되는 바와 같이, 방법(600)은 증강 현실 환경(예를 들어, 물리적 세계에서 이용가능하지 않은 추가 정보를 사용자에게 제공하는 보충 정보를 이용해 현실이 증강됨) 내에서, 컴퓨터 시스템의 이동(예를 들어, 컴퓨터 시스템의 하나 이상의 카메라들의 이동)과 컴퓨터 시스템의 입력 디바이스(예를 들어, 터치 스크린 디스플레이) 상에서의 접촉의 이동의 조합에 기초하여 (컴퓨터 시스템의 디스플레이 상의) 가상 사용자 인터페이스 객체의 외관을 조정하는 것에 관한 것이다. 일부 실시예들에서, 가상 사용자 인터페이스 객체의 외관을 조정하는 것은 사용자가 증강 현실 환경 내의 보충 정보에 액세스하게 허용한다. 컴퓨터 시스템의 이동 및 컴퓨터 시스템의 입력 디바이스 상의 접촉의 이동의 조합에 기초하여 가상 사용자 인터페이스 객체의 외관을 조정하는 것은 (예를 들어, 사용자가, 컴퓨터 시스템의 이동만으로, 입력 디바이스 상의 접촉의 이동만으로, 또는 컴퓨터 시스템의 이동 및 접촉의 이동의 조합으로 가상 사용자 인터페이스 객체의 외관을 조정하게 허용함으로써) 사용자가 가상 사용자 인터페이스 객체의 외관을 조정하는 직관적인 방식을 제공하고, (예를 들어, 컴퓨터 시스템의 접촉 또는 하나 이상의 카메라들이 원하는 방향으로 더 이동할 수 없는 경우에도 사용자가 가상 사용자 인터페이스 객체의 외관을 계속 조정하게 허용함으로써) 사용자가 사용자에게 이용가능한 조정들의 범위를 확장하게 허용하여, (예를 들어, 디바이스를 작동할 때 의도된 결과를 달성하는데 필요한 단계들의 수를 감소시키고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
컴퓨터 시스템(예를 들어, 도 517의 디바이스(100))은 디스플레이 생성 컴포넌트(예를 들어, 도 517의 터치 스크린(112))를 통해, 증강 현실 환경을 디스플레이한다(602)(예를 들어, 도 517에 도시된 바와 같음). 증강 현실 환경을 디스플레이하는 것은, 각자의 물리적 객체(예를 들어, 빌딩의 3D 모델, 인쇄된 패턴을 갖는 종이 시트, 벽 또는 다른 물리적 객체 상의 포스터, 표면 상에 앉아 있는 조각상, 등)(예를 들어, 도 511의 물리적 빌딩 모델(5006))를 포함하는 하나 이상의 카메라들의 시야의 적어도 일부분의 표현 - 표현은 하나 이상의 카메라들의 시야의 콘텐츠들이 변경됨에 따라 업데이트되며(예를 들어, 표현은 하나 이상의 카메라들의 시야의 적어도 일부분의 라이브 프리뷰이고, 각자의 물리적 객체는 카메라들의 시야 내에 포함되고 가시적임) -; 및 하나 이상의 카메라들의 시야의 표현 내의 각자의 위치에서의 각자의 가상 사용자 인터페이스 객체(예를 들어, 빌딩의 3D 모델의 가상 지붕, 인쇄된 패턴을 갖는 종이 시트에 의해 표현되는 표면 상에 주차된 가상 자동차, 포스터 상에 오버레이된 상호작용형 로고, 조각상의 윤곽들을 덮는 가상 3D 마스크, 등)(예를 들어, 도 517의 가상 빌딩 모델(5012))를 동시에 디스플레이하는 것을 포함하며, 각자의 가상 사용자 인터페이스 객체(예를 들어, 도 517의 가상 빌딩 모델(5012))는 하나 이상의 카메라들의 시야 내의 각자의 물리적 객체(예를 들어, 물리적 빌딩 모델(5006))에 기초하여 결정되는 위치를 갖는다(604). 예를 들어, 일부 실시예들에서, 각자의 가상 사용자 인터페이스 객체는 하나 이상의 카메라들의 시야 내의 각자의 물리적 객체에 부착되거나 그를 커버하는 것으로 보이는 그래픽 객체 또는 2D 또는 3D 가상 객체이다(예를 들어, 가상 빌딩 모델(5012)은 도 517의 물리적 빌딩 모델(5006)을 커버하는 것으로 보이는 3D 가상 객체임). 각자의 가상 사용자 인터페이스 객체의 위치 및/또는 배향은 하나 이상의 카메라들의 시야 내의 물리적 객체의 위치, 형상, 및/또는 배향에 기초하여 결정된다(예를 들어, 도 513 및 도 515에 도시된 바와 같음). 증강 현실 환경을 디스플레이하는 동안, 컴퓨터 시스템은 각자의 가상 사용자 인터페이스 객체에 대응하는 위치(예를 들어, 터치 스크린 디스플레이 또는 터치 감응형 원격 제어부 상의 위치, 또는 커서가 각자의 가상 사용자 인터페이스 객체의 위치에 있는 동안 완드 또는 사용자의 손의 이동)에서 입력을 검출(예를 들어, 예컨대 터치 스크린 디스플레이 또는 터치 감응형 원격 제어부 상의 접촉에 의한 터치 입력을 검출함으로써 입력 디바이스의 입력을 검출)한다(606)(예를 들어, 디바이스(100)는 가상 빌딩 모델(5012)의 가상 지붕 상의 접촉(5020-a)을 검출함, 도 518).
입력을 계속해서 검출하는 동안(예를 들어, 접촉이 터치 스크린 디스플레이 상에서 또는 터치 감응형 원격 제어부 상에서 유지되는 동안과 같이 접촉이 입력 디바이스 상에서 유지되는 동안)(예를 들어, 접촉(5020)이 터치 스크린(112) 상에서 유지되는 동안, 도 519 내지 도 5113), 컴퓨터 시스템은 하나 이상의 카메라들의 시야 내의 각자의 물리적 객체에 대한 입력의 이동을 검출한다(608)(예를 들어, 도 519 내지 도 5113에 도시된 바와 같음). 일부 실예들에서, 입력의 이동은 옵션적으로 컴퓨터 시스템(예를 들어, 디바이스(100))이 물리적 공간 내에 실질적으로 정지된 상태로 유지되는 동안(예를 들어, 도 518 내지 도 5111에 도시된 바와 같음), 터치 감응형 원격 제어부의 터치 스크린 디스플레이 또는 터치 감응형 표면을 가로지르는 접촉의 이동을 포함한다. 일부 실시예들에서, 입력의 이동은, 옵션적으로, 접촉이 터치 스크린 디스플레이 또는 터치 감응형 원격 제어부 상에서 유지되고 정지된 상태로 지속되는 동안 카메라들을 포함하는 디바이스의 물리적 공간 내의 이동을 포함한다(예를 들어, 도 5117 및 도 5118에 도시된 바와 같음). 일부 실시예들에서, 입력의 이동은 옵션적으로 터치 스크린 디스플레이 또는 터치 감응형 원격 제어부를 가로지르는 접촉의 이동 및, 동시에, 카메라들을 포함하는 디바이스의 물리적 공간 내의 이동을 포함한다. 일부 실시예들에서, 컴퓨터 시스템의 이동은 가상 현실 디스플레이 헤드셋 등의 이동과 같은 다중-컴포넌트 컴퓨터 시스템의 컴포넌트의 이동을 포함한다(예를 들어, 도 512에 도시된 바와 같음). 또한, 입력을 계속해서 검출하는 동안, 그리고 하나 이상의 카메라들의 시야 내의 각자의 물리적 객체에 대한 입력의 이동을 검출한 것에 응답하여, 디바이스는 각자의 물리적 객체에 대한 입력의 이동의 크기에 따라, (예를 들어, 가상 사용자 인터페이스 객체의 전부 또는 일부(들)를 확장, 수축, 신장, 함께 압착, 전개(spread out) 및/또는 함께 밀어줌으로써) 각자의 가상 사용자 인터페이스 객체의 외관을 조정한다. 예를 들어, 접촉이 빌딩 모델의 가상 지붕 위에서 검출되고 이어서 터치 스크린 디스플레이를 가로질러 이동할 때, 가상 지붕은 카메라들의 시야의 라이브 프리뷰 내의 빌딩 모델로부터 들려지고(예를 들어, 도 518 내지 도 5111에 도시된 바와 같음); 접촉이 터치 스크린 디스플레이 상에서 유지되고, 디바이스가 전체적으로 물리적 공간 내의 빌딩 모델에 대해 이동되는 동안, 가상 지붕의 이동은 터치 스크린 디스플레이 상의 접촉의 위치, 및 물리적 공간 내의 각자의 물리적 객체에 대한 디바이스의 위치 및 배향 둘 모두에 기초하여 결정된다(예를 들어, 카메라들의 시야의 라이브 프리뷰에 도시된 각자의 물리적 객체의 위치에 기초하여 결정되는 바와 같음)(예를 들어, 도 5111 내지 도 5113에 도시된 바와 같음).
다른 예로서, 가상 모델이 각자의 물리적 객체(예를 들어, 테이블 상부 또는 인쇄된 패턴을 갖는 종이 시트) 상에 구축되는 블록 빌딩 애플리케이션에서(예를 들어, 도 521 내지 도 5241과 관련하여 더 상세히 기술되는 바와 같음), (예를 들어, 블록 상의 길게 누르기 입력에 응답하여) 접촉(예를 들어, 도 5228의 접촉(5262))이 블록 상에서 검출되고, 컴퓨터 시스템이 블록이 어떻게 확장될 것인지에 대한 안내를 디스플레이하는 경우(예를 들어, 도 5229의 크기 조정 돌출부들(5266)를 사용하여 도시된 바와 같음), 접촉이 블록 상에서 유지되고 디바이스 전체가 블록에 대해 이동하는 동안(예를 들어, 도 5228 내지 도 5230에 도시된 바와 같음), 블록의 스케일링(예를 들어, 안내 방향으로의 블록의 신장)은 터치 스크린 디스플레이 상의(예를 들어, 블록 큐브의 특정 측면 또는 면 상의) 접촉의 위치 및 물리적 공간 내의 각자의 물리적 객체에 대한 디바이스의 위치 및 배향 둘 모두에 기초하여 결정된다(예를 들어, 카메라들의 시야의 라이브 프리뷰에 도시된 각자의 물리적 객체의 위치에 기초하여 결정되는 바와 같음).
일부 실시예들에서, 각자의 물리적 객체에 대한 입력의 이동의 크기에 따라 각자의 가상 사용자 인터페이스 객체(예를 들어, 가상 빌딩 모델(5012), 도 518 내지 도 5113)의 외관을 조정하는 것은: 각자의 물리적 객체에 대한 입력의 이동의 크기가 제1 크기(예를 들어, 상대적으로 더 큰 이동의 크기)라는 결정에 따라, 제1 조정에 의해 각자의 가상 사용자 인터페이스 객체의 외관을 조정하는 것(예를 들어, 상대적 이동량이 많을수록 더 큰 조정을 야기함)(예를 들어, 도 519와 비교하여 도 5110에 도시된 바와 같음); 및 각자의 물리적 객체에 대한 입력의 이동의 크기가 제1 크기와 구별되는 제2 크기(예를 들어, 상대적으로 더 작은 이동의 크기)라는 결정에 따라, 제1 조정과 구별되는 제2 조정에 의해 각자의 가상 사용자 인터페이스 객체의 외관을 조정하는 것(예를 들어, 상대적 이동량이 적을수록 더 작은 조정을 야기함)(예를 들어, 도 5110와 비교하여 도 519에 도시된 바와 같음)을 포함한다(610). 입력의 이동의 크기가 제1 크기일 때 제1 조정에 의해 각자의 가상 사용자 인터페이스 객체를 조정하는 것(예를 들어, 상대적 이동량이 클수록 더 큰 조정을 야기함), 및 입력의 이동의 크기가 제2 크기일 때 제2 조정에 의해 각자의 가상 사용자 인터페이스 객체를 조정하는 것(예를 들어, 상대적 이동량이 적을수록 더 작은 조정을 야기함)은 (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 시각적 피드백을 개선하고, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 각자의 가상 사용자 인터페이스 객체(예를 들어, 가상 빌딩 모델(5012), 도 513 내지 도 516)는, 조정 전후에, 하나 이상의 카메라들의 시야 내의 각자의 물리적 객체(예를 들어, 물리적 빌딩 모델(5006))에 앵커링된다(612). 예를 들어, 일부 실시예들에서, 각자의 가상 사용자 인터페이스 객체는 하나 이상의 카메라들의 시야 내의 각자의 물리적 객체를 커버하는 것으로 보이고, 하나 이상의 카메라들의 시야 내의 물리적 객체의 위치 및/또는 배향이 변경될 때, 각자의 가상 사용자 인터페이스 객체의 위치 및/또는 배향이 따라서 변경된다(예를 들어, 도 513 내지 도 516에 도시된 바와 같음). 일부 실시예들에서, 각자의 가상 사용자 인터페이스 객체는 조정의 일부 또는 전부 동안(예를 들어, 도 513에서 도 515로의 전이 동안) 하나 이상의 카메라들의 시야 내의 각자의 물리적 객체에 앵커링된다. 각자의 가상 사용자 인터페이스 객체를 각자의 물리적 객체에 앵커링하는 것은 (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 시각적 피드백을 개선하고, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 각자의 가상 사용자 인터페이스 객체의 외관은, 입력의 이동이: 입력 디바이스 상의 입력의 이동(예를 들어, 입력 디바이스가 물리적 공간 내에서 실질적으로 정지된 상태로 유지되는 동안 입력 디바이스의 터치 스크린 디스플레이 또는 터치 감응형 표면을 가로지르는 접촉의 이동)(예를 들어, 도 519 내지 도 5111에 도시된 바와 같음), 각자의 물리적 객체에 대한 하나 이상의 카메라들의 이동(예를 들어, 접촉이 입력 디바이스의 터치 스크린 디스플레이 또는 터치 감응형 표면 상에서 유지되고 정지된 상태로 지속되는 동안 카메라들을 포함하는 컴퓨터 시스템의 물리적 공간 내의 이동)(예를 들어, 도 5111 내지 도 5113에 도시된 바와 같음), 또는 입력 디바이스 상의 입력의 이동 및 각자의 물리적 객체에 대한 하나 이상의 카메라들의 이동의 조합(예를 들어, 입력 디바이스의 터치 스크린 디스플레이 또는 터치 감응형 표면을 가로지르는 접촉의 이동 및, 동시에, 카메라들을 포함하는 컴퓨터 시스템의 물리적 공간 내의 이동)에 기인하는 것인지에 관계없이, 하나 이상의 카메라들의 시야 내의 각자의 물리적 객체에 대한 입력의 이동을 검출한 것에 응답하여 조정된다(614). (예를 들어, 사용자가 입력 디바이스 상의 입력의 이동만으로, 물리적 객체에 대한 카메라들의 이동만으로, 또는 입력 및 카메라들의 이동의 조합으로 가상 사용자 인터페이스 객체의 외관을 조정하게 허용함으로써) 입력의 이동 방식에 관계없이 가상 사용자 인터페이스 객체의 외관을 조정하는 것은 사용자가 가상 사용자 인터페이스 객체의 외관을 조정하는 직관적인 방법을 제공하며, (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 시각적 피드백을 개선하고, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 각자의 물리적 객체에 대한 입력의 이동은, 각자의 물리적 객체에 대한 하나 이상의 카메라들의 시야의 이동(예를 들어, 카메라들을 포함하는 컴퓨터 시스템의 물리적 공간 내의 이동의 결과로서임)(예를 들어, 도 5111 내지 도 5113에 도시된 바와 같음), 및 입력 디바이스 상에서의 입력의 이동(예를 들어, 입력 디바이스의 터치 스크린 디스플레이 또는 터치 감응형 표면을 가로지르는 접촉의 이동)(예를 들어, 도 518 내지 도 5111에 도시된 바와 같음)에 기초한다(616). 사용자가 컴퓨터 시스템의 이동 및 접촉의 이동에 의해 각자의 물리적 객체에 대해 입력을 이동시키게 허용하는 것은 사용자가 입력을 이동시키는 직관적인 방식을 제공하며, (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 피드백을 개선하고, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 각자의 물리적 객체에 대한 입력의 이동은 입력 디바이스 상에서의 입력의 이동(예를 들어, 입력 디바이스가 물리적 공간 내에서 실질적으로 정지된 상태로 유지되는 동안 입력 디바이스의 터치 스크린 디스플레이 또는 터치 감응형 표면을 가로지르는 접촉의 이동)(예를 들어, 도 518 내지 도 5111에 도시된 바와 같음)에 기초하며, 컴퓨터 시스템은, 각자의 물리적 객체에 대한 입력의 이동의 크기에 따라 각자의 가상 사용자 인터페이스 객체의 외관을 조정한 후에(예를 들어, 도 5111에 도시된 바와 같음), 각자의 물리적 객체에 대한 하나 이상의 카메라들의 시야의 이동(예를 들어, 이동(5022), 도 5112)을 검출하며; 각자의 물리적 객체에 대한 하나 이상의 카메라들의 시야의 이동을 검출한 것에 응답하여, 각자의 물리적 객체에 대한 하나 이상의 카메라들의 시야의 이동의 크기에 따라, (예를 들어, 동일한 방식으로) 각자의 가상 사용자 인터페이스 객체의 외관을 계속해서 조정한다(예를 들어, 도 5113에 도시된 바와 같음)(618). 일부 실시예들에서, 각자의 가상 사용자 인터페이스 객체의 외관을 조정하는 것은 각자의 가상 사용자 인터페이스 객체의 일부를 이동시키는 것을 포함하며, 이동은 가상 사용자 인터페이스 객체 상의 접촉 드래그에 의해 시작되고, 디바이스를 전체적으로 이동시킴으로써 이동이 계속된다(예를 들어, 도 518 내지 도 5113에 도시된 바와 같음). 예를 들어, 접촉이 빌딩의 3D 모델의 가상 지붕 위에서 검출되고 접촉이 터치 스크린 디스플레이를 가로질러(예를 들어, 상향 방향으로) 이동할 때, 가상 지붕은 디스플레이된 증강 현실 환경 내의 빌딩 모델로부터 위로 들려진다(예를 들어, 도 518 내지 도 5111에 도시된 바와 같음). 가상 지붕이 위로 들려진 후에, 전체적으로 디바이스가 물리적 공간 내의 빌딩 모델에 대해 (예를 들어, 상향 방향으로) 이동될 때, 가상 지붕은 계속해서 위로 들려진다(예를 들어, 도 5111 내지 도 5113에 도시된 바와 같음)(그리고 옵션적으로, 빌딩 모델의 바닥들이 위로 들려지고 확장됨). 일부 실시예들에서, 입력의 이동의 크기에 따라 각자의 가상 사용자 인터페이스 객체의 외관을 조정하고, 이어서 각자의 가상 사용자 인터페이스 객체의 외관을 하나 이상의 카메라들의 시야의 이동의 크기에 따라 계속해서 조정하는 것은 (예를 들어, 터치가 터치 스크린 디스플레이의 에지에 있거나 또는 그 근처에 있고, 터치의 추가 이동이 터치를 터치 스크린 디스플레이의 에지로부터 떨어지게 이동시킬 것이기 때문에) 접촉이 터치 스크린 디스플레이 상에서 원하는 방향으로 훨씬 더 멀리 이동할 수 없는 경우에도 사용자가 각자의 가상 사용자 인터페이스 객체의 외관을 계속해서 조정하게 허용한다. 예를 들어, 가상 지붕에서, 접촉이 터치 스크린 디스플레이의 상부 에지에 가까워지지만, 사용자가 여전히 지붕을 계속 위로 들어올리길 원할 때, 접촉이 터치 스크린 디스플레이 상에서 훨씬 더 높게 이동할 수 없더라도, 사용자는 디바이스 또는 카메라들을 이동시킴으로써 조정을 계속할 수 있다(예를 들어, 도 518 내지 도 5113에 도시된 바와 같음). 입력의 이동의 크기에 따라 각자의 가상 사용자 인터페이스 객체의 외관을 조정하고, 이어서 하나 이상의 카메라들의 시야의 이동의 크기에 따라 각자의 가상 사용자 인터페이스 객체의 외관을 계속해서 조정하는 것은 사용자가 사용자에게 이용가능한 조정들의 범위를 연장하게 하며(예를 들어, 터치 스크린 디스플레이 상에서 원하는 방향으로 접촉이 훨씬 더 멀리 이동할 수 없는 경우에도, 사용자가 컴퓨터 시스템의 이동을 이용해 각자의 가상 사용자 인터페이스 객체의 외관을 계속해서 조정하게 허용함), (예를 들어, 디바이스를 작동할 때 의도된 결과를 달성하는데 필요한 단계들의 수를 감소시키고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 각자의 물리적 객체에 대한 입력의 이동은 각자의 물리적 객체에 대한 하나 이상의 카메라들의 시야의 이동(예를 들어, 입력 디바이스의 터치 스크린 디스플레이 또는 터치 감응형 표면 상에서 접촉이 유지되고 정지된 상태로 지속되는 동안, 물리적 공간 내에서의, 컴퓨터 시스템의 하나 이상의 카메라들, 또는 컴퓨터 시스템과 통신하는 하나 이상의 카메라들의 이동의 결과로서임)(예를 들어, 도 5117 및 도 5118에 도시된 바와 같음)에 기초하며, 컴퓨터 시스템은, 각자의 물리적 객체에 대한 입력의 이동의 크기에 따라 각자의 가상 사용자 인터페이스 객체의 외관을 조정한 후에(예를 들어, 도 5118에 도시된 바와 같음), 입력 디바이스 상의 입력의 이동(예를 들어, 입력 디바이스가 물리적 공간 내에서 실질적으로 정지된 상태로 유지되는 동안 입력 디바이스의 터치 스크린 디스플레이 또는 터치 감응형 표면을 가로지르는 (이전의 정지되었던) 접촉의 이동)을 검출하고(예를 들어, 도 5119 및 도 5120에 도시된 바와 같음); 입력 디바이스 상의 입력의 이동을 검출한 것에 응답하여, 입력 디바이스 상의 입력의 이동의 크기에 따라 각자의 가상 사용자 인터페이스 객체의 외관을 (예를 들어, 동일한 방식으로) 계속해서 조정한다(예를 들어, 도 5120에 도시된 바와 같음)(620). 일부 실시예들에서, 각자의 가상 사용자 인터페이스 객체의 외관을 조정하는 것은 각자의 가상 사용자 인터페이스 객체의 일부를 이동시키는 것(예를 들어, 가상 지붕(5012-a)을 이동시키는 것, 도 5117 내지 도 5120)을 포함하며, 이동은 가상 사용자 인터페이스 객체 상의 (정지된) 접촉 터치 및 디바이스를 전체적으로 이동시키는 것에 의해 시작되고(예를 들어, 도 5117 및 도 5118에 도시된 바와 같음), 이동은 가상 사용자 인터페이스 객체 상의 접촉 드래그에 의해 계속된다(예를 들어, 도 5119 및 도 5120에 도시된 바와 같음). 예를 들어, 접촉이 빌딩의 3D 모델의 가상 지붕 위에서 검출될 때, 그리고 디바이스가 전체적으로 물리적 공간 내의 빌딩 모델에 대해 (예를 들어, 상향 방향으로) 이동될 때, 가상 지붕은 카메라의 시야의 라이브 프리뷰 내의 빌딩 모델로부터 위로 들려진다(예를 들어, 도 5117 및 도 5118에 도시된 바와 같음). 가상 지붕이 위로 들려진 후에, (이전에 정지되었던) 접촉이 (예를 들어, 상향 방향으로) 터치 스크린 디스플레이를 가로질러 이동할 때, 가상 지붕은 계속해서 위로 들려진다(그리고 옵션적으로, 빌딩 모델의 바닥들이 위로 들려지고 확장됨)(예를 들어, 도 5119 내지 도 5120에 도시된 바와 같음). 하나 이상의 카메라들의 시야의 이동의 크기에 따라 각자의 가상 사용자 인터페이스 객체의 외관을 조정하고, 이어서 입력 디바이스의 입력의 이동의 크기에 따라 각자의 가상 사용자 인터페이스 객체의 외관을 계속해서 조정하는 것은 사용자에게 이용가능한 조정들의 범위를 확장하게 허용하여(예를 들어, 컴퓨터 시스템(또는 컴퓨터 시스템의 하나 이상의 카메라들 또는 컴퓨터 시스템과 통신하는 하나 이상의 카메라들)이 원하는 방향으로 훨씬 더 멀리 이동할 수 없는 경우에도, 사용자가 입력 디바이스와 함께 각자의 가상 사용자 인터페이스 객체의 외관을 계속해서 조정하도록 허용함), (예를 들어, 디바이스를 작동할 때 의도된 결과를 달성하는데 필요한 단계들의 수를 감소시키고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 각자의 가상 사용자 인터페이스 객체에 대응하는 위치에서 입력을 검출하는 것은 각자의 가상 사용자 인터페이스 객체 상의 제1 접촉점에서의 입력을 검출하는 것을 포함하며; 컴퓨터 시스템(예를 들어, 디바이스(100))은 입력의 위치에 대응하는 위치에서 각자의 가상 사용자 인터페이스 객체 상의 제1 접촉점의 디스플레이를 유지하도록 각자의 가상 사용자 인터페이스 객체의 디스플레이를 업데이트한다 (예를 들어, 가상 사용자 인터페이스 객체가 터치 스크린 디바이스 상에 디스플레이되는 경우, 디바이스는 입력의 이동이, 입력 디바이스 상의 입력의 이동(예를 들어, 입력 디바이스가 물리적 공간 내에서 실질적으로 정지된 상태로 유지되는 동안 입력 디바이스의 터치 스크린 디스플레이 또는 터치 감응형 표면을 가로지르는 접촉의 이동)(예를 들어, 도 518 내지 도 5111에 도시된 바와 같음), 각자의 물리적 객체에 대한 하나 이상의 카메라들의 이동(예를 들어, 접촉이 입력 디바이스의 터치 스크린 디스플레이 또는 터치 감응형 표면 상에서 유지되고 정지된 상태로 지속되는 동안 카메라들을 포함하는 컴퓨터 시스템의 물리적 공간 내의 이동)(예를 들어, 도 5111 내지 도 5113에 도시된 바와 같음), 또는 입력 디바이스 상의 입력의 이동 및 각자의 물리적 객체에 대한 하나 이상의 카메라들의 이동의 조합(예를 들어, 입력 디바이스의 터치 스크린 디스플레이 또는 터치 감응형 표면을 가로지르는 접촉의 이동 및, 동시에, 카메라들을 포함하는 컴퓨터 시스템의 물리적 공간 내의 이동)에 기인하는 것인지에 관계없이, 가상 사용자 인터페이스 객체를 사용자의 손가락 아래에 지속시키도록 각자의 가상 사용자 인터페이스를 업데이트함)(622). 예를 들어, (예를 들어, 사용자의 손가락에 의한) 접촉이 빌딩의 3D 모델의 가상 지붕 "상에서" 검출되는 경우(예를 들어, 빌딩의 3D 모델의 가상 지붕이 디스플레이되는 위치에서 터치 스크린(112) 상에서 검출됨), 터치 스크린 디스플레이 상에서의 이동 및 컴퓨터 시스템의 이동은 가상 지붕 상의 동일한 지점에서 접촉을 지속하도록 동기화된다 (예를 들어, 접촉이 터치 스크린 디스플레이를 가로질러 상향 방향으로 이동함에 따라 가상 지붕이 위로 들려지고 사용자의 손가락 아래로 유지되고, 디바이스가 전체적으로 물리적 공간 내의 빌딩 모델에 대해 상향 방향으로 이동됨에 따라 가상 지붕이 위로 들려지고 사용자의 손가락 아래에 유지되며, 접촉의 이동 및 디바이스 전체의 이동의 조합에 기초하여 가상 지붕이 (예를 들어, 상향 또는 하향으로 이동하는) 사용자의 손가락 아래에 유지되는 등임)(예를 들어, 도 518 내지 도 5113에 도시된 바와 같음). 각자의 가상 사용자 인터페이스 객체 상의 접촉점의 디스플레이를 입력의 위치에 대응하는 위치에 유지하는 것은 (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 시각적 피드백을 개선하고, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 각자의 물리적 객체에 대한 입력의 이동은 컴퓨터 시스템의 이동(예를 들어, 하나 이상의 카메라들을 포함하는 컴퓨터 시스템의 물리적 공간 내의 이동)을 포함하고(예를 들어, 도 5117에 도시된 바와 같음); 컴퓨터 시스템의 이동은 하나 이상의 카메라들에 의해 캡처된 연속적인 이미지들 사이에서 변경된, 하나 이상의 카메라들의 시야 내의 하나 이상의 기준 지점들(예를 들어, 하나 이상의 카메라들의 시야 내의 변경된 위치 또는 포지션)을 표시하는 이미지 분석(예를 들어, 연속적인 이미지 프레임들의 비교 및 이미지들 내의 식별된 객체들을 추적함)으로부터 도출된다(624). 일부 실시예들에서, 이미지 분석은 컴퓨터 시스템에 의해 수행된다. 일부 실시예들에서, 이미지 분석은 카메라들의 시야 내에서 3개 이상의 기준점들을 추적하는 것을 포함한다. 일부 실시예들에서, 새로운 기준점들은 이전의 기준점들이 하나 이상의 카메라들의 시야로부터 벗어날 때 식별된다. 일부 실시예들에서, 컴퓨터 시스템의 이동은 컴퓨터 시스템의 관성 측정 유닛(IMU)을 사용하여 도출되는 대신에 이미지 분석으로부터 도출된다. 일부 실시예들에서, 컴퓨터 시스템의 이동은 컴퓨터 시스템의 IMU의 하나 이상의 요소들(예를 들어, 가속도계, 자이로스코프, 및/또는 자력계)을 사용하는 것에 더하여 이미지 분석으로부터 도출된다. 이미지 분석으로부터 컴퓨터 시스템의 움직임을 검출하는 것은 (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 피드백을 개선하고, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 각자의 가상 사용자 인터페이스 객체의 외관을 조정하는 것은 각자의 가상 사용자 인터페이스 객체의 적어도 일부분을 이동시키는 것을 포함하며, 각자의 가상 사용자 인터페이스 객체의 이동은 각자의 물리적 객체의 물리적 형상에 기초한다(예를 들어, 물리적 모델의 형상에 기초함)(626). 예를 들어, 일부 실시예들에서, 각자의 물리적 객체는 3D 고속도로 모델이고 각자의 가상 사용자 인터페이스 객체는 가상 자동차이다. 이 예에서, 가상 자동차의 외관을 조정하는 것은 3D 고속도로 모델 상에서 가상 자동차를 이동시키는 것을 포함하고, 가상 자동차의 이동은 3D 고속도로 모델의 물리적 형상에 기초한다(예를 들어, 가상 자동차는 3D 고속도로 모델의 진입로 상에서 이동함). 다른 예로서, 일부 실시예들에서, 각자의 물리적 객체는 물리적 빌딩 모델(예를 들어, 물리적 빌딩 모델(5006), 도 511)이고, 각자의 가상 사용자 인터페이스 객체는 가상 빌딩 모델(예를 들어, 가상 빌딩 모델(5012), 도 518)이며, 각자의 가상 사용자 인터페이스 객체의 외관을 조정하는 것은 각자의 가상 사용자 인터페이스 객체의 적어도 일부분(예를 들어, 가상 지붕(5012-a), 도 519)을 이동시키는 것을 포함한다. 각자의 가상 사용자 인터페이스 객체를 각자의 물리적 객체의 물리적 형상에 기초하여 이동시키는 것은 (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 피드백을 개선하고, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 각자의 가상 사용자 인터페이스 객체의 외관을 조정하는 것은 각자의 가상 사용자 인터페이스 객체의 적어도 일부분을 이동시키는 것을 포함하고, 각자의 가상 사용자 인터페이스 객체의 이동은 하나 이상의 터치 입력들(예를 들어, 입력 디바이스 상의 스와이프 입력들)의 이동 및, 동시에, 컴퓨터 시스템의 이동에 기초한다(628). 예를 들어, 일부 실시예들에서, 빌딩의 3D 모델의 가상 지붕의 외관을 조정하는 것은 가상 지붕의 적어도 일부분을 이동시키는 것을 포함하며, 가상 지붕의 이동은 (예를 들어, 상향 방향으로) 터치 스크린 디스플레이를 가로질러 이동하는 접촉의 이동 및, 동시에, 물리적 공간 내의 빌딩 모델에 대한 디바이스 전체의 (예를 들어, 상향 방향으로의) 이동에 기초한다(예를 들어, 도 5117 및 도 5118에서의 디바이스 이동(5028)이 도 5119 및 도 5120의 접촉(5026)의 이동과 동시에 일어난 경우임). 다른 예로서, 일부 실시예들에서, 가상 자동차의 이동은, 디바이스가 이동하고 있기 때문에, 3D 고속도로 모델의 진입로 상의 가상 자동차를 드래그하는 이동 및, 동시에, 디스플레이 상의 모델 자체의 이동에 기초한다. 사용자가 터치 입력들의 이동, 및, 동시에, 컴퓨터 시스템의 이동에 의해 각자의 가상 사용자 인터페이스 객체를 이동시키게 허용하는 것은 사용자가 각자의 가상 사용자 인터페이스 객체를 이동시키는 직관적인 방식을 제공하고, (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 피드백을 개선하고, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 각자의 가상 사용자 인터페이스 객체의 외관을 조정하는 것은 (예를 들어, 입력 디바이스의 터치 스크린 디스플레이 또는 터치 감응형 표면을 가로지르는 접촉의 이동, 각자의 물리적 객체에 대한 하나 이상의 카메라들의 이동, 또는 입력 디바이스 상의 접촉의 이동 및 각자의 물리적 객체에 대한 하나 이상의 카메라들의 이동의 조합에 기초하여) 각자의 가상 사용자 인터페이스 객체의 적어도 일부분을 각자의 가상 사용자 인터페이스 객체의 휴지 상태의 최대 한계를 넘어 이동시키는 것(예를 들어, 가상 지붕(5012-a)을 그의 휴지 상태의 최대 한계를 넘어서 이동시키는 것, 도 5113에 도시된 바와 같음)을 포함하며, 컴퓨터 시스템은, 입력을 계속해서 검출하는 동안, 각자의 물리적 객체에 대한 입력의 이동의 크기에 따라, 각자의 가상 사용자 인터페이스 객체의 휴지 상태의 최대 한계를 넘는 위치에서 각자의 가상 사용자 인터페이스 객체를 디스플레이하고(예를 들어, 도 5113에 도시된 바와 같음); 입력을 검출하는 것을 중지하고(예를 들어, 도 5113의 접촉(5020-d)의 리프트오프); 및 입력을 검출하는 것을 중지한 것에 응답하여, 각자의 가상 사용자 인터페이스 객체의 휴지 상태의 최대 한계에 대응하는 위치에 각자의 가상 사용자 인터페이스 객체를 디스플레이한다(예를 들어, 도 5114에 도시된 바와 같음)(630). 일부 실시예들에서, 이것은 휴지 상태의 최대 한계를 넘는 위치에서의 각자의 가상 사용자 인터페이스 객체로부터 휴지 상태의 최대 한계에 대응하는 위치에서의 각자의 가상 사용자 인터페이스 객체로의 애니메이션화된 전이를 디스플레이하는 것(예를 들어, 도 5113의 위치에서의 가상 지붕(5012-a)으로부터 도 5114의 위치에서의 가상 지붕(5012-a)으로의 애니메이션화된 전이를 디스플레이하는 것)을 포함한다. 일부 실시예들에서, 각자의 가상 사용자 인터페이스 객체가 입력의 이동에 기초하여 그의 최대 휴지 상태의 가장 먼 범위를 넘어 이동하는 경우, 각자의 가상 사용자 인터페이스 객체는 입력이 리프트오프될 때 (예를 들어, 애니메이션화된 전이에서의) 그의 최대 휴지 상태로 빠르게 되돌아간다(snap back). 예를 들어, 3D 빌딩 모델의 가상 지붕이 3D 빌딩 모델 상에 직접 놓여 있고 빌딩 모델 위로 최대 12인치로 호버링되는 것으로 디스플레이될 수 있으며(예를 들어, 가상 지붕의 휴지 상태는 빌딩 모델로부터 0 내지 12인치 사이임), 사용자가 가상 지붕을 빌딩 모델 위로 15인치 올리면, 사용자 입력이 리프트오프될 때, 가상 지붕은 빌딩 모델 위로 12인치까지 다시 빠르게 되돌아간다. (각자의 가상 사용자 인터페이스 객체의 휴지 상태의 최대 한계를 넘어서더라도) 입력의 이동의 크기에 따라 각자의 가상 사용자 인터페이스 객체를 이동시키고, 이어서 입력이 리프트오프될 때 각자의 가상 사용자 인터페이스 객체가 그의 최대 휴지 상태로 다시 빠르게 되돌아가는 것을 디스플레이하는 것은 (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 피드백을 개선하고, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 디스플레이된 증강 현실 환경은, 하나 이상의 카메라들의 시야 내의 물리적 객체들에 대응하지 않는 하나 이상의 가상 객체들(예를 들어, 빌딩의 물리적 모델에 대한 대체물인 가상 빌딩 앞으로 주행하는 가상 자동차들)(예를 들어, 도 514에 도시된 증강 현실 환경 내의 가상 나무들, 가상 덤불들, 가상 사람, 및 가상 자동차); 하나 이상의 카메라들의 시야 내의 하나 이상의 물리적 객체들(예를 들어, 빌딩의 물리적 모델이 놓여 있는 테이블)(예를 들어, 도 514의 테이블(5004) 및 벽지(5007)); 및 대응하는 하나 이상의 물리적 객체들의 적어도 일부분을 대체하는 하나 이상의 카메라들의 시야 내의 하나 이상의 물리적 객체들의 하나 이상의 3D 가상 모델들(예를 들어, 가상 빌딩 모델(5012), 도 514)(예를 들어, 빌딩의 물리적 모델에 대한 대체물)(예를 들어, 각자의 3D 가상 모델이 대응하는 각자의 물리적 마커 상에 투영됨)을 포함한다(632). 일부 실시예들에서, 하나 이상의 카메라들의 시야 내의 각자의 물리적 객체의 각자의 3D 가상 모델은 대응하는 각자의 물리적 객체의 일부분(전부는 아님)을 대체한다(예를 들어, 조각상 머리의 3D 가상 모델은 하나 이상의 카메라들의 시야 내의 물리적 조각상 머리의 일부분을 대체하여, 예를 들어, 머리의 1/4의 내부 단면을 도시함). 일부 실시예들에서, 하나 이상의 카메라들의 시야 내의 각자의 물리적 객체의 각자의 3D 가상 모델은 대응하는 각자의 물리적 객체의 전부를 대체한다(예를 들어, 빌딩의 3D 가상 모델은 하나 이상의 카메라들의 시야 내의 빌딩의 전체 물리적 모델을 대체함)(예를 들어, 가상 빌딩 모델(5012)은 증강 현실 환경 내의 전체 물리적 빌딩 모델(5006)을 대체함, 도 514). 일부 실시예들에서, 디스플레이된 증강 현실 환경은 3개 모두(예를 들어, 물리적 객체들의 순수 가상 객체들, 물리적 객체들, 및 3D 가상 모델들)를 상이한 층들에 포함한다. 예를 들어, 일부 실시예들에서, 디스플레이된 증강 현실 환경은, 이집트 피라미드가 있는 가상 환경(예를 들어, 조각상이 원래 디스플레이되었던 곳의 주변을 도시하는 순수 가상 객체들) 내에서 조각상 머리의 3D 가상 모델(예를 들어, 조각상의 내부 단면을 도시하는 조각상 머리의 3D 가상 모델)을 갖는 박물관 내의 조각상(예를 들어, 하나 이상의 카메라들의 시야 내의 물리적 객체)을 포함한다.
일부 실시예들에서, 디스플레이된 증강 현실 환경은 상기의 것의 서브세트(예를 들어, 하나 이상의 카메라들의 시야 내에 있는 하나 이상의 물리적 객체들 및 하나 이상의 물리적 객체들의 하나 이상의 3D 가상 모델들을 포함하지만, 하나 이상의 순수 가상 객체들은 포함하지 않음)를 포함한다. 예를 들어, 일부 실시예들에서, 박물관 내의 조각상의 전술된 예를 사용하면, 디스플레이된 증강 현실 환경은 조각상 머리의 3D 가상 모델을 갖는 박물관 내의 조각상을 포함하지만, 임의의 순수 가상 객체들은 포함하지 않는다. 다른 예로서, 일부 실시예들에서, 디스플레이된 증강 현실 환경은 (예를 들어, 빌딩 주변의 가상 나무들, 빌딩 앞을 주행하는 가상 자동차들 또는 빌딩 주변을 걷는 가상 사람들과 같은 가상 객체들을 갖는) 가상 실외 환경 내에서, 빌딩의 적어도 일부분의 3D 가상 모델(예를 들어, 빌딩의 내부 뷰를 도시하는 빌딩의 일부분의 3D 가상 모델)을 갖는, 테이블 또는 플랫폼 상의 빌딩의 물리적 3D 모델(예를 들어, 하나 이상의 카메라들의 시야 내의 물리적 객체들)을 포함한다. (예를 들어, 예를 들어 사용자가 물리적 빌딩 모델의 상이한 측면으로 걸음으로써 컴퓨터 시스템을 이동시킴에 따라, 빌딩 모델의 물리적 세계 내의 이동의 결과로서, 그리고/또는 컴퓨터 시스템의 이동의 결과로서) 빌딩의 물리적 3D 모델이 시야 내에서 이동함에 따라(예를 들어, 도 513 내지 도 516에 도시된 바와 같음), 빌딩의 물리적 3D 모델의 하나 이상의 3D 가상 모델들이 그에 따라 이동한다. 예를 들어, 사용자가 빌딩의 상이한 측면으로 이동할 때, 빌딩의 내부 뷰를 도시하는 빌딩의 일부분의 3D 가상 모델은 하나 이상의 카메라들의 시야 내의 물리적 객체들의 업데이트된 뷰에 대응하도록 변경된다. 가상 객체들, 물리적 객체들 및 물리적 객체들의 3D 가상 모델들을 갖는 증강 현실 환경을 디스플레이하는 것은, 사용자에게 정보를 제공하는 (하나 이상의 가상 객체들 및 하나 이상의 3D 가상 모델들을 갖는) 보충 정보와 함께 (하나 이상의 카메라들의 시야 내의 하나 이상의 물리적 객체들을 갖는) 현실적인 뷰를 제공하며, 이에 의해, (예를 들어, 사용자가 하나 이상의 카메라들의 시야 내의 하나 이상의 물리적 객체들에 관한 보충 정보에 용이하게 액세스하게 함으로써) 디바이스의 작동성을 향상시키고, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 각자의 물리적 객체는 상이한 각도들로부터 인식가능한 3D 마커이고, 각자의 가상 사용자 인터페이스 객체는 하나 이상의 카메라들의 카메라 각도에 기초하여 (예를 들어, 디스플레이된 증강 현실 환경 내의), 각자의 물리적 객체 상에 오버레이되는 3D 가상 모델이다(634). 일부 실시예들에서, 하나 이상의 카메라들의 카메라 각도는 각자의 물리적 객체에 대한 하나 이상의 카메라들의 배향에 대응한다. 예를 들어, 디스플레이된 증강 현실 환경이 조각상 머리의 3D 가상 모델을 갖는 박물관 내의 조각상을 포함하는 전술된 예를 사용하면, 하나 이상의 카메라들의 카메라 각도가 하나 이상의 카메라들의 시야 내의 조각상 전방을 포함하도록 포지셔닝되는 경우, 디스플레이된 증강 현실 환경은 조각상의 전방 및 조각상 머리의 전방의 3D 가상 모델을 포함한다. (예를 들어, 디바이스의 사용자가 하나 이상의 카메라들의 시야 내의 조각상을 관찰하면서 박물관 내의 조각상 둘레를 배회함에 따라) 카메라 각도가 변경되고, 하나 이상의 카메라들의 카메라 각도가 하나 이상의 카메라들의 시야 내의 조각상의 후방을 포함하도록 포지셔닝됨에 따라, 디스플레이된 증강 현실 환경은 조각상의 후방 및 조각상 머리의 후방의 3D 가상 모델을 포함한다. (예를 들어, 각자의 물리적 객체의 물리적 세계 내의 이동의 결과로서 그리고/또는 하나 이상의 카메라들의 시야 내의 각자의 물리적 객체의 이동을 야기하는 컴퓨터 시스템의 이동의 결과로서) 각자의 물리적 객체가 시야 내에서 이동함에 따라, 각자의 물리적 객체 상에 오버레이된 3D 가상 모델이 그에 따라 이동한다(예를 들어, 각자의 물리적 객체를 따르도록 변경됨). 예를 들어, 디스플레이된 증강 현실 환경이 빌딩 내부를 도시하는 빌딩의 일부분의 3D 가상 모델을 갖는 테이블 상의 물리적 3D 빌딩 모델(예를 들어, 도 511의 테이블(5004) 상의 물리적 빌딩 모델(5006))을 포함하는 전술된 예를 사용하면, (예를 들어, 사용자(5002)가 도 513에 도시된 포지션으로부터 도 515에 도시된 포지션으로 걸어감에 따라) (예를 들어, 하나 이상의 카메라들의 시야 내의) 물리적 3D 빌딩 모델이 이동할 때, 물리적 3D 빌딩 모델 상에 오버레이된 빌딩의 3D 가상 모델이 그에 따라 이동한다(예를 들어, 사용자가 하나 이상의 카메라들의 시야 내의 빌딩을 관찰하면서 물리적 3D 빌딩 모델 둘레로(예를 들어, 물리적 3D 빌딩 모델의 전방으로부터 물리적 3D 빌딩 모델의 측면으로) 배회하는 경우, 3D 가상 모델은 사용자의 새로운 위치로부터 하나 이상의 카메라들의 시야 내의 빌딩의 내부 부분을 디스플레이하도록(예를 들어, 물리적 3D 빌딩 모델의 전방의 내부를 디스플레이하는 것으로부터 물리적 3D 빌딩 모델의 측면의 내부를 디스플레이하는 것으로) 변경됨). 하나 이상의 카메라들의 카메라 각도에 기초하여 각자의 물리적 객체 상에 3D 가상 모델을 오버레이하는 것은 (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 피드백을 개선하고, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
도 6a 내지 도 6d에서의 동작들이 기술된 특정 순서는 단지 일례이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 표시하는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 기술분야의 통상의 기술자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 추가적으로, 본 명세서에 기술된 다른 방법들(예를 들어, 방법들(700, 800, 900, 1000, 1100, 1200, 1300))과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들이 도 6a 내지 도 6d와 관련하여 전술된 방법(600)과 유사한 방식으로 또한 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법들(600)과 관련하여 전술된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 표시자들, 및/또는 애니메이션들은, 옵션적으로, 본 명세서에 기술된 다른 방법들(예를 들어, 방법들(700, 800, 900, 1000, 1100, 1200, 1300))과 관련하여 본 명세서에 기술된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 표시자들, 및/또는 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들은 여기서 반복되지 않는다.
도 7a 내지 도 7c는 일부 실시예들에 따른, 증강 현실 환경 내의 컴퓨터 시스템의 하나 이상의 카메라들에 의해 캡처된 라이브 이미지 상에 필터를 적용하는 방법(700)을 예시한 흐름도들이다. 방법(700)은, 디스플레이 생성 컴포넌트(예를 들어, 디스플레이, 프로젝터, 헤드-업 디스플레이, 등), 하나 이상의 카메라들(예를 들어, 카메라들의 시야 내에 있는 콘텐츠들의 적어도 일부분의 라이브 프리뷰를 연속적으로 제공하고, 옵션적으로, 카메라들의 시야 내의 콘텐츠들을 캡처하는 이미지 프레임들의 하나 이상의 스트림들을 포함하는 비디오 출력들을 생성하는 비디오 카메라들), 및 입력 디바이스(예를 들어, 터치 감응형 원격 제어부와 같은 터치 감응형 표면, 또는 디스플레이 생성 컴포넌트로서 또한 기능하는 터치 스크린 디스플레이, 마우스, 조이스틱, 완드 제어기 및/또는 사용자의 손들과 같은 사용자의 하나 이상의 특징부들의 포지션을 추적하는 카메라들)을 갖는 컴퓨터 시스템(예를 들어, 도 1a의 휴대용 다기능 디바이스(100), 도 3a의 디바이스(300), 또는 도 512의 헤드셋(5008) 및 입력 디바이스(5010)를 포함하는 다중-컴포넌트 컴퓨터 시스템)에서 수행된다. 일부 실시예들에서, (예를 들어, 터치 감응형 표면을 갖는) 입력 디바이스 및 디스플레이 생성 컴포넌트는 터치 감응형 디스플레이에 통합된다. 도 3b 내지 도 3d와 관련하여 전술된 바와 같이, 일부 실시예들에서, 방법(700)은 컴퓨터 시스템(301) 상에서 수행되며, 여기서 디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 하나 이상의 입력 디바이스들, 및 옵션적으로 하나 이상의 자세 센서들과 같은 각자의 컴포넌트들은 각각 컴퓨터 시스템(301) 내에 포함되거나 그와 통신한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트는 터치 스크린 디스플레이이고, (예를 들어, 터치 감응형 표면을 갖는) 입력 디바이스는 디스플레이 생성 컴포넌트 상에 있거나 그와 통합된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 입력 디바이스와 별개이다(예를 들어, 도 4b 및 도 512에 도시된 바와 같음). 방법(700)에서의 일부 동작들이 옵션적으로 조합되고/되거나, 일부 동작들의 순서는 옵션적으로 변경된다.
설명의 편의를 위해, 실시예들의 일부는 (예를 들어, 터치 스크린(112)을 갖는 디바이스(100) 상의) 터치 감응형 디스플레이 시스템(112)을 갖는 컴퓨터 시스템 상에서 수행되는 동작들을 참조하여 논의될 것이다. 그러나, 유사한 동작들이, 옵션적으로, 헤드셋(5008)의 디스플레이 상의 도면들에 도시된 사용자 인터페이스들을 디스플레이하는 동안 입력 디바이스(5010)의 터치 감응형 표면 상의 접촉들을 검출한 것에 응답하여, 헤드셋(5008) 및 터치 감응형 표면을 갖는 별개의 입력 디바이스(5010)를 갖는 컴퓨터 시스템(예를 들어, 도 512에 도시된 바와 같음) 상에서 수행된다.
아래에 설명되는 바와 같이, 방법(700)은 (예를 들어, 물리적 세계에서 이용가능하지 않은 추가 정보를 사용자에게 제공하는 보충 정보를 이용해 현실이 증강되는) 증강 현실 환경 내에서, 컴퓨터 시스템의 하나 이상의 카메라들의 시야의 표현(예를 들어, 하나 이상의 카메라들의 시야의 라이브 프리뷰)에 필터를 적용하는 것과 관련되며, 필터는 증강 현실 환경에 대한 가상 환경 설정에 기초하여 선택된다. 하나 이상의 카메라들에 의해 캡처된 라이브 이미지 상에 실시간으로 필터를 적용하는 것은 (예를 들어, 증강 현실 환경에 대해 사용자가 가상 환경 설정(예를 들어, 하루 중 시간, 장면/환경 등)을 용이하게 변경하게 허용함으로써) 사용자가 증강 현실 환경과 상호작용하도록 하는 직관적인 방식을 제공하고, 사용자가 가상 환경 설정에 대한 변경 사항을 실시간으로 볼 수 있도록 하여, 이에 의해 (예를 들어, 디바이스를 작동할 때 의도된 결과를 달성하는데 필요한 단계들의 수를 감소시키고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다. 추가적으로, 물리적 환경의 뷰의 외관을 변경하는 것은 가상 모델이 배치된 물리적 환경에 관한 정보를 사용자에게 여전히 제공하면서, 가상 모델을 (예를 들어, 매우 밝은 배경 상의 어두운 모델과 비교하여) 더 가시적이게 한다.
컴퓨터 시스템(예를 들어, 도 5121의 디바이스(100))은 디스플레이 생성 컴포넌트(예를 들어, 도 5121의 터치 스크린(112))를 통해, 증강 현실 환경을 디스플레이한다(702)(예를 들어, 도 5121에 도시된 바와 같음). 증강 현실 환경을 디스플레이하는 것은, 각자의 물리적 객체(예를 들어, 빌딩의 3D 모델, 인쇄된 패턴을 갖는 종이 시트, 벽 또는 다른 물리적 객체 상의 포스터, 표면 상에 앉아 있는 조각상, 등)(예를 들어, 도 511의 물리적 빌딩 모델(5006))를 포함하는 하나 이상의 카메라들의 시야의 적어도 일부분의 표현 - 표현은 하나 이상의 카메라들의 시야 내의 콘텐츠들이 변경됨에 따라 업데이트되며(예를 들어, 표현은 하나 이상의 카메라들의 시야의 적어도 일부분의 라이브 프리뷰이고, 각자의 물리적 객체는 카메라들의 시야 내에 포함되고 가시적임) -; 및 하나 이상의 카메라들의 시야의 표현 내의 각자의 위치에 각자의 가상 사용자 인터페이스 객체(예를 들어, 빌딩의 3D 모델의 가상 지붕, 인쇄된 패턴을 갖는 종이 시트에 의해 표현되는 표면 상에 주차된 가상 자동차, 포스터 상에 오버레이된 상호작용형 로고, 조각상의 윤곽들을 덮는 가상 3D 마스크, 등)(예를 들어, 도 5121의 가상 빌딩 모델(5012))을 동시에 디스플레이하는 것을 포함하며, 각자의 가상 사용자 인터페이스 객체는 하나 이상의 카메라들의 시야 내의 각자의 물리적 객체에 기초하여 결정되는 위치를 갖는다(704). 예를 들어, 일부 실시예들에서, 각자의 가상 사용자 인터페이스 객체는 하나 이상의 카메라들의 시야 내의 각자의 물리적 객체에 부착되거나 그를 커버하는 것으로 보이는 그래픽 객체 또는 2D 또는 3D 가상 객체이다(예를 들어, 가상 빌딩 모델(5012)은 도 5121의 물리적 빌딩 모델(5006)을 커버하는 것으로 보이는 3D 가상 객체임). 각자의 가상 사용자 인터페이스 객체의 위치 및/또는 배향은 하나 이상의 카메라들의 시야 내의 물리적 객체의 위치, 형상, 및/또는 배향에 기초하여 결정된다(예를 들어, 도 513 및 도 515에 도시된 바와 같음). 증강 현실 환경을 디스플레이하는 동안, 컴퓨터 시스템은 증강 현실 환경에 대한 가상 환경 설정(예를 들어, 하루 중의 시간, 조명 각도, 스토리 등)을 변경하는(예를 들어, 하나 이상의 카메라들의 시야 내에 있는 각자의 물리적 객체에 대응하는 복수의 디스플레이 설정들 중에서 상이한 디스플레이 설정을 선택함, 도 5125 내지 도 5127에 도시된 바와 같음) 입력(예를 들어, 증강 현실 환경 내의 시간을 통해 내비게이팅하는 스와이프 입력, 도 5121 내지 도 5124에 도시된 바와 같음)을 검출한다(706). 가상 환경 설정을 변경하는 입력을 검출한 것에 응답하여, 컴퓨터 시스템은, 증강 현실 환경에 대한 가상 환경 설정에 가해진 변경에 따라 각자의 가상 사용자 인터페이스 객체의 외관을 조정하고; 하나 이상의 카메라들의 시야의 표현의 적어도 일부분(예를 들어, 각자의 가상 사용자 인터페이스 객체에 의해 가려지지 않는 하나 이상의 카메라들의 시야의 표현의 일부분)에 필터를 적용하며, 여기서 필터는 가상 환경 설정에 가해진 변경에 기초하여 선택된다(708)(예를 들어, 전체 컬러 필터를 적용하여 장면을 어둡게 하고(예를 들어, 도 5124에 도시된 바와 같음), 가상 태양의 방향에 기초하여 각자의 물리적 객체 및 가상 객체들 모두에 그림자들을 부가하고(예를 들어,도 5121 내지 도 5123에 도시된 바와 같음), 선택된 스토리(예를 들어, 이력 뷰, 건설, 일상 생활 뷰(day in the life of view) 등)에 기초하여 부가적인 가상 객체들을 장면에 부가하며(그리고/또는 장면에서 가상 객체들을 제거함)(예를 들어, 도 5125 내지 도 5127에 도시된 바와 같음), 이미지 출력이 카메라 시야의 라이브 프리뷰에 디스플레이되기 전에 카메라들의 이미지 출력의 색 온도, 밝기, 대비, 선명도, 투명도 등을 변경함).
일부 실시예들에서, 하나 이상의 카메라들의 시야의 표현의 적어도 일부분에 필터를 적용하는 것은 각자의 가상 사용자 인터페이스 객체의 외관 조정에 더하여 증강 현실 환경의 외관 조정을 야기한다(710). 일부 실시예들에서, 필터는 각자의 가상 사용자 인터페이스 객체에 의해 가려지지 않은 하나 이상의 카메라들의 시야의 표현의 일부분에 적용된다(예를 들어, 도 5124에서, 필터는 가상 장면에 의해 가려지지 않은 벽지(5007)에 적용됨). 예를 들어, 건설 뷰가 선택될 때, 가상 지붕은 물리적 빌딩 모델의 내측을 보여주기 위해 제거될 수 있고(예를 들어, 각자의 가상 사용자 인터페이스 객체의 외관을 조정함)(예를 들어, 도 5127에 도시된 바와 같음), 건설 중인 빌딩의 내부를 보여주는 가상 장면이 물리적 빌딩 모델의 라이브 프리뷰 상에 오버레이되는 한편, 주변 물리적 환경은 (예를 들어, 필터를 사용하여) 블러링된다. 여러 날의 기간에 걸친 건설을 도시하는 시간-경과 애니메이션이 디스플레이되는 경우, 가상 장면에 의해 가려지지 않은 라이브 프리뷰의 일부분들에 광 필터들이 적용되어, 그러한 날들 동안의 조명 변경들이, 라이브 프리뷰에 또한 포함되는 빌딩 모델을 둘러싼 물리적 객체들에 적용된다(예를 들어, 벽지(5007)가 또한 야간 모드에서 어두워짐, 도 5124). 일부 실시예들에서, 필터는 각자의 가상 사용자 인터페이스 객체를 포함하는 증강 현실 환경에 적용된다. 예를 들어, 일부 실시예들에서, 전체 컬러 필터는 각자의 가상 사용자 인터페이스 객체에 의해 점유되는 일부분을 포함하는, 하나 이상의 카메라들의 시야의 전체 표현에 적용된다. 각자의 가상 사용자 인터페이스 객체의 외관을 조정하는 것에 더하여 증강 현실 환경의 외관을 조정하는 것은 (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 시각적 피드백을 개선하고, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 가상 환경 설정은 야간 모드로 변경되고; 하나 이상의 카메라들의 시야의 표현의 적어도 일부분에 필터를 적용하는 것은, 하나 이상의 카메라들에 의해 캡처된 이미지(또는 이미지들의 시퀀스)의 밝기를 감소시키는 것; 및 하나 이상의 카메라들에 의해 캡처된 이미지(또는 이미지들의 시퀀스)에 컬러 필터를 적용하는 것을 포함한다(712)(예를 들어, 도 5124에 도시된 바와 같음). 일부 실시예들에서, 하나 이상의 카메라들에 의해 캡처된 이미지에 적용되는 필터들은, 이미지 출력이 하나 이상의 카메라들의 시야의 라이브 프리뷰에 디스플레이되기 전에(예를 들어, 하나 이상의 카메라들에 의해 캡처된 이미지가 증강 현실 환경 내에 디스플레이되기 전에) 적용되며, 이는 동작(726)에 대해 하기에 논의되는 바와 같다. (밝기를 감소시키고 컬러 필터를 적용함으로써) 야간 모드용 필터를 적용하는 것은 (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 시각적 피드백을 개선하고, (예를 들어, 디바이스를 작동할 때 의도한 결과를 달성하는 데 필요한 단계들의 수를 감소시키고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 가상 환경 설정을 변경하는 입력은 증강 현실 환경 내의 시간을 통해 (예를 들어, 좌측에서 우측으로 또는 우측에서 좌측으로) 내비게이팅하는 스와이프 입력이다(714). 예를 들어, 일부 실시예들에서, 사용자가 입력 디바이스 상에서 좌측에서 우측으로 스와이프할 때, 증강 현실 환경 내의 하루 중 시간은 (예를 들어, 스와이프 입력 이동의 속도 및/또는 거리에 따라) 주간에서 야간으로 바뀐다(예를 들어, 도 5121 내지 도 5124에 도시된 바와 같음). 사용자가 스와이프 입력을 사용하여 증강 현실 환경 내의 시간을 통해 내비게이팅하게 허용하는 것은 사용자가 가상 환경 설정을 변경하는 직관적인 방법을 제공하고, (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 피드백을 개선하고, (예를 들어, 디바이스를 작동할 때 의도한 결과를 달성하는 데 필요한 단계들의 수를 감소시키고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 가상 환경 설정을 변경하는 입력을 검출하는 것은 가상 환경 설정을 변경하기 위한 입력의 이동을 검출하는 것을 포함하고; 증강 현실 환경에 대한 가상 환경 설정에 가해진 변경에 따라 각자의 가상 사용자 인터페이스 객체의 외관을 조정하는 것은, 가상 환경 설정을 변경하기 위한 입력의 이동에 따라 각자의 가상 사용자 인터페이스 객체의 외관을 점진적으로 조정하는 것을 포함하며; 하나 이상의 카메라들의 시야의 표현의 적어도 일부분에 필터를 적용하는 것은 가상 환경 설정을 변경하기 위한 입력의 이동에 따라 필터를 점진적으로 적용하는 것을 포함한다(716)(예를 들어, 도 5121 내지 도 5124에 도시된 바와 같음). 예를 들어, 일부 실시예들에서, 필터는 입력의 이동에 기초하여 점진적으로 적용되고, 각자의 가상 사용자 인터페이스 객체의 외관은 입력의 이동(예를 들어, 터치 감응형 표면 상에서의 접촉의 이동, 완드의 이동, 또는 컴퓨터 시스템의 카메라의 시야 내의 사용자의 손의 이동)(예를 들어, 도 5121 내지 도 5124에서의 터치 스크린(112) 상의 접촉(5030)의 이동)의 속도 및/또는 거리에 기초하여 점진적으로 조정된다. 가상 사용자 인터페이스 객체의 외관을 점진적으로 조정하고 가상 환경 설정을 변경하기 위한 입력의 이동에 따라 필터를 점진적으로 적용하는 것은 (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 시각적 피드백을 개선하고, (예를 들어, 디바이스를 작동할 때 의도한 결과를 달성하는 데 필요한 단계들의 수를 감소시키고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 각자의 가상 사용자 인터페이스 객체는 증강 현실 환경 내의 각자의 물리적 객체 상에 그림자를 드리운다(718). 예를 들어, 일부 실시예들에서, 빌딩의 3D 모델의 가상 지붕은 빌딩의 3D 모델 상에 그림자를 드리운다. (예를 들어, 가상 환경 설정을 변경함으로써) 하루 중 시간 또는 조명 각도가 변경됨에 따라, 각자의 물리적 객체 상에 각자의 가상 사용자 인터페이스 객체에 의해 드리워진 그림자가 그에 따라 변경된다. 예를 들어, 도 5121 내지 도 5123에 도시된 바와 같이, 하루 중 시간이 변경됨에 따라, 가상 빌딩 모델(5012)에 의해 드리워진 그림자가 그에 따라 변경된다. 증강 현실 환경 내의 (예를 들어, 물리적 객체 상에 드리워진) 그림자를 갖는 가상 사용자 인터페이스 객체를 디스플레이하는 것은 (예를 들어, 증강 현실 환경을 보다 현실적으로 만들고, 사용자가 가상 환경 설정을 변경함에 따라 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 시각적 피드백을 개선하고, (예를 들어, 디바이스를 작동시키고/그와 상호작용할 때 사용자의 실수들을 줄임으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 각자의 물리적 객체는 증강 현실 환경 내의 각자의 가상 사용자 인터페이스 객체 상에 그림자를 드리운다(720). 예를 들어, 일부 실시예들에서, 빌딩의 3D 모델은 빌딩 옆에 주차된 가상 자동차 상에 그림자를 드리운다. (예를 들어, 가상 환경 설정을 변경함으로써 또는 물리적 객체의 이동으로 인해) 하루 중 시간 또는 조명 각도가 변경됨에 따라, 각자의 물리적 객체에 의해 각자의 가상 사용자 인터페이스 객체 상에 드리워진 그림자가 그에 따라 변경된다. 예를 들어, 일부 실시예들에서, 증강 현실 환경 내의 하루 중 시간이 (예를 들어, 증강 현실 환경 내의 객체들의 각자의 그림자들이 비교적 작을 때인) 정오로부터, (예를 들어, 증강 현실 환경 내의 객체들의 각자의 그림자들이 더 긴 때인) 오전 또는 오후로 변경됨에 따라, 각자의 물리적 객체에 의해 각자의 가상 사용자 인터페이스 객체 상에 드리워진 그림자가 그에 따라 변경된다(예를 들어, 그림자는 하루 중 시간이 아침에서 정오로 변경됨에 따라 더 작아지거나/짧아지고, 그림자는 하루 중 시간이 정오에서 오후로 변경됨에 따라 더 커지거나/길어짐). 일부 실시예들에서, 각자의 물리적 객체의 3D 가상 모델은 각자의 물리적 객체의 그림자가 증강 현실 환경 내의 어느 곳에 있어야 하는지를 결정하는 데 사용된다. 도 5121 내지 도 5124에서 가상 빌딩 모델(5012)이 물리적 빌딩 모델(5006)을 완전히 커버하지만, 물리적 빌딩 모델(5006)의 일부분이 노출되는 경우, 물리적 빌딩 모델(5006)의 그 일부분은 증강 현실 환경 내의 하루 중 시간이 변경됨에 따라 유사한 그림자를 드리울 것이다. 증강 현실 환경 내의 (예를 들어, 가상 사용자 인터페이스 객체 상에 드리워진) 그림자를 갖는 물리적 객체를 디스플레이하는 것은 (예를 들어, 증강 현실 환경을 보다 현실적으로 만들고, 사용자가 가상 환경 설정을 변경함에 따라 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 시각적 피드백을 개선하고, (예를 들어, 디바이스를 작동시키고/그와 상호작용할 때 사용자의 실수들을 줄임으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 각자의 물리적 객체의 이동(예를 들어, 각자의 물리적 객체의 물리적 세계 내의 이동의 결과로서 그리고/또는 하나 이상의 카메라들의 시야 내의 각자의 물리적 객체의 이동을 야기하는 컴퓨터 시스템의 이동의 결과로서임)(예를 들어, 제1 위치로부터(예를 들어, 도 513에 도시된 바와 같음) 제2 위치(예를 들어, 도 515에 도시된 바와 같음)로의 사용자(5002)의 이동)은 증강 현실 환경 내의 각자의 가상 사용자 인터페이스 객체의 외관에 하나 이상의 변경들을 야기한다(722)(예를 들어, 가상 빌딩 모델(5012)의 뷰를 정면 뷰에서 측면 뷰로 변경함, 도 513 내지 도 516). 일부 실시예들에서, 각자의 물리적 객체가 이동함에 따라 주변 광원이 각자의 물리적 객체에 대해 상이한 각도에 있게 되므로, 각자의 물리적 객체의 이동은 각자의 물리적 객체가 각자의 가상 사용자 인터페이스 객체 상에 그림자들을 상이하게 드리우게 한다(예를 들어, 도 513 내지 도 516에 도시된 바와 같음). 물리적 객체의 이동에 응답하여 증강 현실 환경 내의 가상 사용자 인터페이스 객체의 외관을 변경하는 것은 (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 시각적 피드백을 개선하고, (예를 들어, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 컴퓨터 시스템의 이동은 하나 이상의 카메라들의 시야의 적어도 일부분의 표현(예를 들어, 라이브 프리뷰)에 적용되는 시각적 효과 및 각자의 가상 사용자 인터페이스 객체의 외관의 하나 이상의 변경들을 야기한다(724). 예를 들어, 각자의 물리적 객체가 물리적 3D 빌딩 모델인 경우, 사용자가 물리적 3D 빌딩 모델을 돌아 상이한 측면을 향해 걸음으로써 컴퓨터 시스템을 이동시킴에 따라, 조명의 각도가 변경되고, 이는 라이브 프리뷰 및 임의의 가상 사용자 인터페이스 객체들에 적용되는 시각적 효과의 변경을 야기한다(예를 들어, 물리적 3D 빌딩 모델 및 하나 이상의 가상 객체들에 의해 드리워진 그림자들이 변경됨)(예를 들어, 도 513 내지 도 516에 도시된 바와 같음). 컴퓨터 시스템의 이동에 응답하여 라이브 프리뷰에 적용되는 시각적 효과를 변경하고 가상 사용자 인터페이스 객체의 외관을 변경하는 것은 (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 시각적 피드백을 개선하고, (예를 들어, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수를 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 하나 이상의 카메라들의 시야의 표현의 적어도 일부분에 필터를 적용하는 것은, 이미지가 디스플레이 생성 컴포넌트로 송신되기 전에 하나 이상의 카메라들에 의해 캡처된 이미지(또는 이미지들의 시퀀스)(예를 들어, 하나 이상의 카메라들의 시야 내에 있는 콘텐츠들의 적어도 일부분의 라이브 프리뷰)에 필터를 적용하는 것을 포함한다(726)(예를 들어, 도 5121 내지 도 5124에 도시된 바와 같음). 이미지가 디스플레이로 송신되기 전에 카메라들에 의해 캡처된 이미지에 필터를 적용하는 것은 가상 환경 설정에 가해진 변경들의 실시간 뷰를 제공하고, (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 시각적 피드백을 개선하고, (예를 들어, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수를 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 가상 환경 설정을 변경하는 입력은 가상 사용자 인터페이스 객체에 대한 상이한 가상 환경들 사이에서 전환하는 입력(예를 들어, 버튼 상의 스와이프 입력 또는 탭 입력)(예를 들어, 버튼(5016) 상의 접촉(5032)에 의한 탭 입력, 도 5126)이며, 상이한 가상 환경들은 가상 사용자 인터페이스 객체를 (예를 들어, 제1 가상 환경으로부터 제2 가상 환경으로)(예를 들어, 도 5125 내지 도 5127에 도시된 바와 같이, 가로 뷰로부터 내부 뷰로) 탐색하기 위한 상이한 상호작용들과 연관된다(728). 일부 실시예들에서, 동일한 가상 사용자 인터페이스 객체에 대한 상이한 가상 환경들은 미리정의된 가상 환경들이다(예를 들어, 도 5125 내지 도 5127에 도시된 바와 같이, 가로, 내부, 및 주간/야간). 예를 들어, 상이한 가상 환경 스토리들은 이력 뷰, 건설 뷰, 일상 생활 뷰, 빌딩 탐색 뷰 등을 포함하고, 건설 뷰는 빌딩의 구성의 상이한 스테이지들을 도시하기 위해 좌측에서 우측으로의 스와이프를 이용해 시간을 통해 진행하는 한편, 빌딩 탐색 뷰는 상향 스와이프 입력에 응답하여 빌딩의 건축 설계의 상세 뷰를 디스플레이한다. 사용자가 (예를 들어, 스와이프 입력 또는 버튼 상의 탭 입력을 이용하여) 상이한 가상 환경들 사이에서 전환하게 허용하는 것은 사용자가 가상 환경 설정을 변경하는 쉽고 직관적인 방법을 제공하고, (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 피드백을 개선하고, (예를 들어, 디바이스를 작동할 때 의도한 결과를 달성하는 데 필요한 단계들의 수를 감소시키고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 가상 환경 설정이 선택된다는 결정에 따라(예를 들어, 건설 뷰와 같은 제1 가상 환경 스토리), 컴퓨터 시스템은 증강 현실 환경 내의 가상 객체들의 제1 세트를 디스플레이하고; 제2 가상 환경 설정이 선택된다는 결정에 따라(예를 들어, 일상 생활 뷰와 같은 제2 가상 환경 스토리), 컴퓨터 시스템은 증강 현실 환경 내의 가상 객체들의 제1 세트와는 구별되는 가상 객체들의 제2 세트를 디스플레이한다(730). 일부 실시예들에서, 가상 객체들의 상이한 세트들이 가상 환경 설정의 선택에 기초하여 디스플레이된다. 예를 들어, 일부 실시예들에서, 나무들 또는 사람들은 건설 뷰에 디스플레이되지 않고, 나무들 및 사람들은 일상 생활 뷰에 디스플레이된다. 도 5125 내지 도 5127에 도시된 바와 같이, 예를 들어, (예를 들어, 도 5125에서) 가상 나무들, 가상 사람, 및 가상 자동차가 가로 뷰 내에 디스플레이되고, (예를 들어, 도 5127에서) 나무들 또는 사람들 또는 자동차들이 내부 뷰 내에 디스플레이되지 않는다. 가상 환경 설정의 선택에 기초하여 가상 객체들의 상이한 세트들을 디스플레이하는 것은 (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 피드백을 개선하고, (예를 들어, 디바이스를 작동할 때 의도한 결과를 달성하는 데 필요한 단계들의 수를 감소시키고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
도 7a 내지 도 7c에서의 동작들이 기술된 특정 순서는 단지 일례이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 표시하는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 기술분야의 통상의 기술자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 추가적으로, 본 명세서에 기술된 다른 방법들(예를 들어, 방법들(600, 800, 900, 1000, 1100, 1200, 1300))과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들이 도 7a 내지 도 7c와 관련하여 전술된 방법(700)과 유사한 방식으로 또한 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법들(700)과 관련하여 전술된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 표시자들, 및/또는 애니메이션들은 옵션적으로 본 명세서에 기술된 다른 방법들(예를 들어, 방법들(600, 800, 900, 1000, 1100, 1200, 1300))과 관련하여 본 명세서에 기술된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 표시자들, 및/또는 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들은 여기서 반복되지 않는다.
도 8a 내지 도 8c는 일부 실시예들에 따른, 증강 현실 환경 내의 가상 모델을 관찰하는 것과 가상 모델 내의 객체들의 관점들에서 본 가상 모델의 시뮬레이션된 뷰들을 관찰하는 것 사이에서 전이하는 방법(800)을 예시하는 흐름도들이다. 방법(800)은, 디스플레이 생성 컴포넌트(예를 들어, 디스플레이, 프로젝터, 헤드-업 디스플레이, 등), 하나 이상의 카메라들(예를 들어, 카메라들의 시야 내에 있는 콘텐츠들의 적어도 일부분의 라이브 프리뷰를 연속적으로 제공하고, 옵션적으로, 카메라들의 시야 내의 콘텐츠들을 캡처하는 이미지 프레임들의 하나 이상의 스트림들을 포함하는 비디오 출력들을 생성하는 비디오 카메라들), 및 입력 디바이스(예를 들어, 터치 감응형 원격 제어부와 같은 터치 감응형 표면, 또는 디스플레이 생성 컴포넌트로서 또한 기능하는 터치 스크린 디스플레이, 마우스, 조이스틱, 완드 제어기 및/또는 사용자의 손들과 같은 사용자의 하나 이상의 특징부들의 포지션을 추적하는 카메라들)을 포함하는 컴퓨터 시스템(예를 들어, 도 1a의 휴대용 다기능 디바이스(100), 도 3의 디바이스(300), 또는 도 512의 헤드셋(5008) 및 입력 디바이스(5010)를 포함하는 다중-컴포넌트 컴퓨터 시스템)에서 수행된다. 일부 실시예들에서, (예를 들어, 터치 감응형 표면을 갖는) 입력 디바이스 및 디스플레이 생성 컴포넌트는 터치 감응형 디스플레이에 통합된다. 도 3b 내지 도 3d와 관련하여 전술된 바와 같이, 일부 실시예들에서, 방법(800)은 컴퓨터 시스템(301) 상에서 수행되며, 여기서 디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 하나 이상의 입력 디바이스들, 및 옵션적으로 하나 이상의 자세 센서들과 같은 각자의 컴포넌트들은 각각 컴퓨터 시스템(301) 내에 포함되거나 그와 통신한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트는 터치 스크린 디스플레이이고, (예를 들어, 터치 감응형 표면을 갖는) 입력 디바이스는 디스플레이 생성 컴포넌트 상에 있거나 그와 통합된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 입력 디바이스와 별개이다(예를 들어, 도 4b 및 도 512에 도시된 바와 같음). 방법(800)에서의 일부 동작들이 옵션적으로 조합되고/되거나, 일부 동작들의 순서는 옵션적으로 변경된다.
설명의 편의를 위해, 실시예들의 일부는 (예를 들어, 터치 스크린(112)을 갖는 디바이스(100) 상의) 터치 감응형 디스플레이 시스템(112)을 갖는 컴퓨터 시스템 상에서 수행되는 동작들을 참조하여 논의될 것이다. 그러나, 유사한 동작들이, 옵션적으로, 헤드셋(5008)의 디스플레이 상의 도면들에 도시된 사용자 인터페이스들을 디스플레이하는 동안 입력 디바이스(5010)의 터치 감응형 표면 상의 접촉들을 검출한 것에 응답하여, 헤드셋(5008) 및 터치 감응형 표면을 갖는 별개의 입력 디바이스(5010)를 갖는 컴퓨터 시스템(예를 들어, 도 512에 도시된 바와 같음) 상에서 수행된다.
아래에 설명되는 바와 같이, 방법(800)은 (도 5128의 디바이스(100)와 같은 컴퓨터 시스템의 디스플레이 상에) (예를 들어, 물리적 세계에서 이용가능하지 않은 추가 정보를 사용자에게 제공하는 보충 정보를 이용해 현실이 증강되는) 증강 현실 환경 내의 가상 사용자 인터페이스 객체들을 갖는, (예를 들어, 물리적 객체의) 가상 모델을 제시하는 것, 및 컴퓨터 시스템의 이동 및/또는 컴퓨터 시스템으로의 검출된 입력들(예를 들어, 터치 감응형 표면 상에서의 접촉)에 응답하여, 가상 사용자 인터페이스 객체들의 관점들에서 본 (예를 들어, 가상 현실 환경 내의) 가상 모델의 시뮬레이션된 뷰들을 제시하는 것에 관한 것이다. 일부 실시예들에서, 사용자가 증강 현실 환경 내의 가상 모델을 관찰하게 허용하는 것은 사용자에게 가상 모델에 관한 보충 정보에 대한 액세스를 제공한다. 일부 실시예들에서, 사용자가 가상 현실 환경 내의 상이한 관점들에서 본 가상 모델을 가시화하게 허용하는 것은 사용자에게 가상 모델을 경험하기 위한 더 몰입적이고 직관적인 방식을 제공한다. 사용자가 물리적 객체에 대한 보충 정보에 액세스하게 허용할 뿐만 아니라, 몰입적이고 직관적인 관찰 경험을 제공하는 것은 (예를 들어, 디바이스를 작동시키고/그와 상호작용할 때 사용자의 주의 산만 및 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
컴퓨터 시스템(예를 들어, 도 5128의 디바이스(100))은 디스플레이 생성 컴포넌트를 통해 증강 현실 환경(예를 들어, 도 5128 및 도 5129에 도시된 증강 현실 환경)을 디스플레이한다(802). 증강 현실 환경을 디스플레이하는 것은, 각자의 물리적 객체(예를 들어, 빌딩의 3D 모델, 인쇄된 패턴을 갖는 종이 시트, 벽 또는 다른 물리적 객체 상의 포스터, 표면 상에 앉아 있는 조각상, 등)를 포함하는 하나 이상의 카메라들의 시야의 적어도 일부분의 표현 - 표현은 하나 이상의 카메라들의 시야 내의 콘텐츠들이 변경됨에 따라 업데이트되며(예를 들어, 표현은 하나 이상의 카메라들의 시야의 적어도 일부분의 라이브 프리뷰이고, 각자의 물리적 객체는 카메라들의 시야 내에 포함되고 가시적임) -; 및 하나 이상의 카메라들의 시야의 표현 내의 각자의 위치에 디스플레이되는 가상 모델(예를 들어, 3D 빌딩 모델의 렌더링된 3D 모델, 인쇄된 패턴을 갖는 종이의 시트에 의해 표현되는 표면 상에 배치된 빌딩의 가상 3D 모델, 포스터를 갖는 벽 또는 물리적 객체의 반대편의 다른 벽 또는 물리적 객체의 렌더링된 가상 모델에 부착된 가상 카메라, 가상 모델 근처에(예를 들어, 빌딩의 가상 모델 옆에, 또는 표면 상에 앉아 있는 조각상의 가상 모델 옆에) 서 있는 가상 사람 등) 내의 제1 가상 사용자 인터페이스 객체를 동시에 디스플레이하는 것을 포함하며, 제1 가상 사용자 인터페이스 객체는 하나 이상의 카메라들의 시야 내의 각자의 물리적 객체에 기초하여 결정되는 위치를 갖는다(804). 예를 들어, 일부 실시예들에서, 제1 가상 사용자 인터페이스 객체는 하나 이상의 카메라들의 시야 내의 각자의 물리적 객체에 부착되거나 그를 커버하는 것으로 보이는 그래픽 객체 또는 2D 또는 3D 가상 객체이다. 각자의 가상 사용자 인터페이스 객체의 위치 및/또는 배향은 하나 이상의 카메라들의 시야 내의 물리적 객체의 위치, 형상, 및/또는 배향에 기초하여 결정된다. 예를 들어, 도 5128을 참조하여 전술된 바와 같이, 증강 현실 환경을 디스플레이하는 것은, 벽지(5007) 및 테이블(5004)의 에지(들) 뿐만 아니라, 그 또한 카메라들의 시야 내에 있는 물리적 빌딩 모델(5006)을 포함하는 카메라들의 시야 내의 일부분의 표현(도 512에 도시된 바와 같음); 및 제1 가상 사용자 인터페이스 객체는 가상 차량(5050)을 동시에 디스플레이하는 것을 포함한다. (예를 들어, 제1 가상 사용자 인터페이스 객체가 하나 이상의 카메라들의 시야의 적어도 일부분 상에 오버레이된 상태로) 증강 현실 환경을 디스플레이하는 동안, 컴퓨터 시스템은 제1 가상 사용자 인터페이스 객체의 선택에 대응하는 제1 입력(예를 들어, 제1 가상 사용자 인터페이스 객체 상의 탭 또는 커서를 갖는 제1 가상 사용자 인터페이스 객체의 선택 등)을 검출한다(806). 예를 들어, 도 5129를 참조하여 전술된 바와 같이, 디바이스(100)는 차량(5050)의 선택에 대응하는 입력(5052)을 검출한다. 제1 가상 사용자 인터페이스 객체(예를 들어, 차량(5050), 도 5129)의 선택에 대응하는 제1 입력(예를 들어, 입력(5052), 도 5129)을 검출한 것에 응답하여, 컴퓨터 시스템은 가상 모델 내의 제1 가상 사용자 인터페이스 객체의 관점에서 본 가상 모델의 시뮬레이션된 시야를 디스플레이한다(808)(예를 들어, 도 5131에 도시되고, 이를 참조하여 전술된 바와 같음)(그리고 옵션적으로, 동작(810)을 참조하여 본 명세서에 기술된 바와 같이, 하나 이상의 카메라들의 시야의 표현을 디스플레이하는 것을 중지한다). 예를 들어, 사용자가 물리적 3D 모델(예를 들어, 물리적 빌딩 모델(5006), 도 511)의 렌더링된 3D 빌딩 모델(예를 들어, 도 5129에 도시된 가상 모델) 내의 가상 자동차(예를 들어, 차량(5050), 도 5129)를 선택하는 경우에, 디바이스는, (예를 들어, 사용자가 마치 가상 자동차 내의 사람(예를 들어, 운전자)의 관점에서 본 빌딩 모델을 보고 있는 것처럼) 가상 자동차의 관점에서 본 렌더링된 3D 빌딩 모델의 뷰를 디스플레이한다. 일부 실시예들에서, 컴퓨터 시스템은 또한 카메라들의 시야의 표현 및 제1 가상 사용자 인터페이스 객체를 디스플레이하는 것을 중지하는 것을 포함하여, 증강 현실 환경을 디스플레이하는 것을 중지한다. 다른 예에서, 표면 상에 앉아 있는 조각상의 가상 모델 옆에 서 있는 가상 사람 상에 탭하는 경우, 디바이스는 가상 사람을 디스플레이하는 것을 중지하고, 조각상의 가상 모델 옆에 서 있는 가상 사람의 관점에서 본 조각상의 가상 모델을 디스플레이한다.
일부 실시예들에서, 제1 가상 사용자 인터페이스 객체의 선택에 대응하는 제1 입력을 검출한 것에 응답하여, 컴퓨터 시스템은 하나 이상의 카메라들의 시야의 표현(예를 들어, 컴퓨터 시스템이 제1 가상 객체의 관점에서 본 가상 모델의 뷰를 디스플레이하는 것으로 전환할 때, 제1 입력을 검출하기 전에 디스플레이되던 하나 이상의 카메라들의 시야 내의 콘텐츠)을 디스플레이하는 것을 중지한다(810)(예를 들어, 도 5130을 참조하여 전술된 바와 같이, 벽지(5007) 및/또는 테이블(5004)의 에지를 디스플레이하는 것을 중지함). (예를 들어, 가상 현실 환경 내의) 선택된 가상 사용자 인터페이스 객체의 관점에서 본 가상 모델을 관찰하는 것으로 전이할 때 카메라(들)의 시야 내에 있는 것을 디스플레이하는 것을 중지하는 것은 사용자가 더 이상 AR 모드에 있지 않고 사용자가 가상 모델 및 가상 환경에 집중하게 허용하는 더 몰입적인 관찰 경험을 사용자에게 제공함을 표시한다. 가상 모델의 더 몰입적이고 직관적인 관찰 경험을 사용자에게 제공하는 것은 (예를 들어, 디바이스를 작동시키고/그와 상호작용할 때 사용자의 주의 산만 및 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킬 뿐만 아니라, 배경 사용자 인터페이스를 캡처하고 시뮬레이션하는 데 필요할 수 있는 에너지 및 처리 자원들을 감소시킨다.
일부 실시예들에서, 증강 현실 환경을 디스플레이하는 동안 하나 이상의 카메라들의 시야를 변경하는 컴퓨터 시스템의 적어도 일부분의 이동(예를 들어, 하나 이상의 카메라들 또는 입력 디바이스와 같은 컴퓨터 시스템의 하나 이상의 컴포넌트들의 이동)을 검출한 것에 응답하여, 컴퓨터 시스템은 하나 이상의 카메라들의 시야의 표현을 업데이트한다(812). 예를 들어, 도 5115 및 도 5116을 참조하여 전술된 바와 같이, 디바이스(100)는 디바이스(100)의 이동에 응답하여 디바이스(100)의 카메라의 시야를 변경한다. 카메라(들)의 시야를 변경하는 이동에 응답하여 증강 현실 환경 내에 디스플레이되는 것을 업데이트하는 것은 디스플레이되는 것과 사용자가 물리적 세계 내의 컴퓨터 시스템(또는 보다 구체적으로, 카메라(들))의 포지셔닝에 기초하여 볼 것으로 예상하는 것 사이에 일관성을 제공함으로써, (예를 들어, 컴퓨터 시스템이 사용자 입력 및 카메라 포지션/방향에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 시각적 피드백을 개선한다. 더 직관적인 관찰 경험을 사용자에게 제공하는 것은 (예를 들어, 디바이스를 작동시키고/그와 상호작용할 때 사용자의 주의 산만 및 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 증강 현실 환경을 디스플레이하는 동안, 하나 이상의 카메라들의 시야의 콘텐츠들의 관점을 변경하는 컴퓨터 시스템의 적어도 일부분의 이동(예를 들어, 하나 이상의 카메라들 또는 입력 디바이스와 같은 컴퓨터 시스템의 컴포넌트의 이동)을 검출한 것에 응답하여, 컴퓨터 시스템은 시야의 콘텐츠들의 관점들의 변경들에 따라 하나 이상의 카메라들의 시야의 표현 및 가상 모델을 업데이트한다(814)(예를 들어, 컴퓨터 시스템은 이미지 분석을 사용하여 물리적 객체에 대한 하나 이상의 카메라들의 업데이트된 배향을 결정하고, 결정된 배향을 사용하여 표현을 업데이트함). 예를 들어, 도 513 내지 도 516을 참조하여 전술된 바와 같이, 디바이스(100)는 사용자(5002)가 제1 관점을 갖는 제1 포지션으로부터(예를 들어,도 513 및 도 514에 도시된 바와 같이, 테이블(5004)의 정면으로부터) 제2 관점을 갖는 제2 포지션으로(예를 들어,도 515 및 도 516에 도시된 바와 같이, 테이블(5004)의 측면으로부터) 이동할 때 증강 현실의 상이한 뷰들을 디스플레이한다. 카메라(들)의 관점들을 변경하는 이동에 응답하여 증강 현실 환경 내에 디스플레이되는 것을 업데이트하는 것은 디스플레이되는 것, 그리고 물리적 세계 내의 컴퓨터 시스템(또는 보다 구체적으로, 카메라(들))의 포지셔닝에 기초하여 사용자가 볼 것으로 예상하는 것 사이에 일관성을 제공하고, (예를 들어, 컴퓨터 시스템이 사용자 입력 및 카메라 포지션/방향에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 시각적 피드백을 개선한다. 더 직관적인 관찰 경험을 사용자에게 제공하는 것은 (예를 들어, 디바이스를 작동시키고/그와 상호작용할 때 사용자의 주의 산만 및 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 가상 사용자 인터페이스 객체의 선택에 대응하는 제1 입력을 검출한 것에 응답하여, 컴퓨터 시스템은 증강 현실 환경으로부터 가상 모델 내의 제1 가상 사용자 인터페이스 객체의 관점에서 본 가상 모델의 시뮬레이션된 시야로의 애니메이션화된 전이(예를 들어, 디스플레이된 증강 현실 환경의 뷰를 갖는 초기 포지션으로부터 시뮬레이션된 시야를 갖는 가상 모델 내의 제1 사용자 인터페이스 객체의 포지션으로 이동하는(예를 들어, 비행하는) 관찰자의 관점에서 본 애니메이션)를 디스플레이한다(816). 예를 들어, 도 5129 내지 도 5131을 참조하여 전술된 바와 같이, 디바이스(100)는 증강 현실 환경(도 5129)으로부터 차량(505)의 관점에서의 가상 모델의 시뮬레이션된 시야(도 5131)로의 애니메이션화된 전이를 디스플레이한다. (예를 들어, 가상 현실 환경 내의) 증강 현실 환경의 뷰와 가상 사용자 인터페이스 객체의 관점에서 본 가상 모델의 시뮬레이션된 뷰 사이의 애니메이션화된 전이(예를 들어, 비행하는 애니메이션)를 디스플레이하는 것은 사용자에게 뷰들 사이의 더 매끄러운 전이를 제공하고, 사용자에게 물리적 세계(또는 물리적 세계에 대응하는 증강 현실 환경)로부터 가상 현실 환경으로 진입하는 느낌을 제공하는 한편, 사용자가 컨텍스트를 유지하는 것을 돕는다. 사용자에게 그러한 관찰 경험의 안과 밖으로의 더 매끄러운 전이들을 갖는 더 몰입적인 관찰 경험을 제공하는 것, 및 사용자가 관찰 경험 동안 컨텍스트를 유지하는 것을 돕는 것은 (예를 들어, 디바이스를 작동시키고/그와 상호작용할 때 사용자의 주의 산만 및 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 가상 모델 내의 제1 가상 사용자 인터페이스 객체의 관점에서 본 가상 모델의 시뮬레이션된 시야를 디스플레이하는 동안, 컴퓨터 시스템은 증강 현실 환경을 디스플레이하라는 요청(예를 들어, 증강 현실 환경으로 복귀하기 위한 어포던스의 선택, 또는 가상 모델의 연관된 관점을 갖지 않는 가상 모델 내의 위치의 선택과 같은, 가상 현실 환경을 나가라는 요청)에 대응하는 제2 입력을 검출하고; 증강 현실 환경을 디스플레이하라는 요청에 대응하는 제2 입력에 응답하여, 컴퓨터 시스템은 가상 모델의 시뮬레이션된 시야로부터 증강 현실 환경으로의 애니메이션화된 전이(예를 들어, 시뮬레이션된 시야를 갖는 가상 모델 내의 제1 사용자 인터페이스 객체의 포지션으로부터 증강 현실 환경의 뷰를 갖는 포지션으로 이동하는(예를 들어, 비행하는) 관찰자의 관점에서 본 애니메이션)를 디스플레이하고; 증강 현실 환경을 디스플레이한다(818). 예를 들어, 도 5137 내지 도 5140을 참조하여 전술된 바와 같이, 사람(5060)(도 5137)의 관점에서 본 시뮬레이션된 시야를 디스플레이하는 동안, 디바이스(100)는 증강 현실 환경을 디스플레이하라는 요청에 대응하는 입력(5066)을 검출하고(도 5138), 이에 응답하여 증강 현실 환경으로의 애니메이션화된 전이를 디스플레이한다(도 5139 및 도 5140). (예를 들어, 가상 현실 환경 내의) 가상 사용자 인터페이스 객체의 관점에서 본 가상 모델의 시뮬레이션된 뷰와 증강 현실 환경의 뷰 사이의 애니메이션화된 전이(예를 들어, 비행하는 애니메이션)을 디스플레이하는 것은 사용자에게 뷰들 사이의 더 매끄러운 전이를 제공하고 사용자에게 가상 현실 환경을 나가 물리적 세계(또는 물리적 세계에 대응하는 증강 현실 환경)로 복귀하는 느낌을 제공하는 한편, 사용자가 컨텍스트를 유지하는 것을 돕는다. 사용자에게 그러한 관찰 경험의 안과 밖으로의 더 매끄러운 전이들을 갖는 더 몰입적이고 직관적인 관찰 경험을 제공하는 것, 및 사용자가 관찰 경험 동안 컨텍스트를 유지하는 것을 돕는 것은 (예를 들어, 디바이스를 작동시키고/그와 상호작용할 때 사용자의 주의 산만 및 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제2 입력에 응답하여 증강 현실 환경을 디스플레이하는 것은 제2 입력을 검출한 후 하나 이상의 카메라들의 시야에 따라 증강 현실 환경을 디스플레이하는 것을 포함한다(820)(예를 들어, 하나 이상의 카메라들의 시야가 제1 입력을 검출한 이후에 변경되었다면, 디스플레이된 증강 현실 환경이 제2 입력에 응답하여 상이한 뷰로부터 도시됨). 예를 들어, 도 5139 및 도 5140을 참조하여 전술된 바와 같이, (시뮬레이션된 관점 뷰로 전환하기 위한) 입력(5050)이 검출된 경우, 도 40의 카메라들의 시야가 도 28의 카메라들의 시야로부터 변경되었으며; 따라서, 도 40의 증강 현실 환경은 (증강 현실 환경의 뷰로 복귀하기 위한) 입력(5066)에 응답하여 상이한 뷰로부터 도시된다. 가상 현실 환경으로부터 증강 현실 환경으로 복귀할 때 증강 현실 환경 내에 디스플레이되는 것을 업데이트하는 것은 디스플레이되는 것, 그리고 사용자가 증강 현실 뷰로 복귀하는 시점에 물리적 세계 내의 컴퓨터 시스템(또는 보다 구체적으로, 카메라(들))의 포지셔닝에 기초하여 사용자가 볼 것으로 예상하는 것 사이에 일관성을 제공함으로써, (예를 들어, 컴퓨터 시스템이 사용자 입력 및 카메라 포지션/방향에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 시각적 피드백을 개선한다. 더 직관적인 관찰 경험을 사용자에게 제공하는 것은 (예를 들어, 디바이스를 작동시키고/그와 상호작용할 때 사용자의 주의 산만 및 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제2 입력을 검출한 후의 하나 이상의 카메라들의 시야는, 제1 입력이 검출될 때의 하나 이상의 카메라들의 시야와 상이하다(822)(예를 들어, 도 5128 및 도 5140, 그리고 동작(820)을 참조하여 본 명세서에 기술된 바와 같이, 하나 이상의 카메라들의 시야는 가상 현실 환경으로 전환하기 직전에 디스플레이되던(또는 그 표현이 디스플레이되던) 시야로부터 변경됨). 가상 현실 환경으로부터 증강 현실 환경으로 복귀할 때 증강 현실 환경 내에 디스플레이되는 것을 업데이트하는 것은 디스플레이되는 것, 그리고 사용자가 증강 현실 뷰로 복귀하는 시점에 물리적 세계 내의 컴퓨터 시스템(또는 보다 구체적으로, 카메라(들))의 포지셔닝에 기초하여 사용자가 볼 것으로 예상하는 것 사이에 일관성을 제공한다. 특히, 증강 현실 환경으로 복귀할 때의 카메라(들)의 시야가, 사용자가 증강 현실 환경을 떠나고 가상 현실 환경에 진입하기 직전의 카메라(들)의 이전 시야와 상이하다면, 사용자는 증강 현실 환경으로 복귀할 때 상이한 시야가 디스플레이되는 것을 볼 것으로 자연스럽게 예상할 수 있다. 이와 같이, 복귀시 증강 현실 환경의 상이한 뷰를 제시하는 것은 (예를 들어, 컴퓨터 시스템이 사용자 입력 및 카메라 포지션/방향에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 시각적 피드백을 개선한다. 더 직관적인 관찰 경험을 사용자에게 제공하는 것은 (예를 들어, 디바이스를 작동시키고/그와 상호작용할 때 사용자의 주의 산만 및 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 가상 사용자 인터페이스 객체는 컴퓨터 시스템의 사용자로부터의 입력들과는 독립적으로 가상 모델 내에서 이동한다(824). 일부 실시예들에서, 제1 가상 사용자 인터페이스 객체는 증강 현실 환경 내에서 독립적으로 이동한다. 예를 들어, 가상 사람이 (예를 들어, 증강 현실 환경 내의) 가상 모델 내에서 자율적으로 배회하는 경우; 컴퓨터 시스템의 사용자는 가상 모델 내의 가상 사람의 이동에 대한 제어를 갖지 않는다(예를 들어, 도 5131을 참조하여 본 명세서에 기술된 바와 같음). 사용자 입력들과는 무관하게 (예를 들어, 증강 현실 환경 내의) 가상 모델 내의 가상 사용자 인터페이스 객체의 이동을 디스플레이하는 것은 가상 사용자 인터페이스 객체들이 증강 현실 환경 내에서 자율적으로 이동하는 것으로 보이는 더 직관적인 관찰 경험을 사용자에게 제시한다. 더 직관적인 관찰 경험을 사용자에게 제공하는 것은 (예를 들어, 디바이스를 작동시키고/그와 상호작용할 때 사용자의 주의 산만 및 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 가상 모델 내의 제1 가상 사용자 인터페이스 객체의 관점에서 본 가상 모델의 시뮬레이션된 시야를 디스플레이하는 동안, 제1 가상 사용자 인터페이스 객체는 컴퓨터 시스템의 사용자로부터의 하나 이상의 입력들에 응답하여 가상 모델 내에서 이동한다(826). 일부 실시예들에서, 가상 모델 내의 가상 사람 또는 가상 차량의 관점에서 가상 모델을 관찰하는 동안, 사용자는 가상 모델 내의 가상 사람 또는 차량의 이동(예를 들어, 이동 방향 및/또는 속도)을 제어한다. 예를 들어, 가상 모델의 환경 내에서, 사용자는 가상 사람이 어디로 걷는지(예를 들어, 도 5135 내지 도 5137을 참조하여 본 명세서에 기술된 바와 같음), 또는 가상 차량이 어디로 주행하는지(예를 들어, 도 5131 내지 도 5133을 참조하여 본 명세서에 기술된 바와 같음)를 제어할 수 있다. 사용자가 (예를 들어, 가상 현실 환경 내의) 가상 모델 내의 가상 사용자 인터페이스 객체를 이동시키게 하는 것은 마치 사용자가 가상 모델 내에 존재하는 것처럼 가상 모델에 관한 추가 정보에 사용자가 액세스하게 허용하는 더 몰입적인 관찰 경험을 사용자에게 제공하며, (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 시각적 피드백을 개선한다. 더 몰입적인 관찰 경험 및 개선된 시각적 피드백을 사용자에게 제공하는 것은 (예를 들어, 디바이스를 작동시키고/그와 상호작용할 때 사용자의 주의 산만 및 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 시뮬레이션된 시야를 디스플레이하는 동안, 컴퓨터 시스템은 컴퓨터 시스템의 적어도 일부분의 이동(예를 들어, 하나 이상의 카메라들 또는 입력 디바이스와 같은 컴퓨터 시스템의 하나 이상의 컴포넌트들의 이동)을 검출하며, 컴퓨터 시스템의 이동을 검출한 것에 응답하여, 컴퓨터 시스템의 이동에 따라 제1 가상 사용자 인터페이스 객체의 관점에서 본 가상 모델의 시뮬레이션된 시야를 변경한다(828). 일부 실시예들에서, 가상 현실 환경 내의 시뮬레이션된 시야는 컴퓨터 시스템의, 또는 컴퓨터 시스템의 하나 이상의 컴포넌트들의 자세(예를 들어, 배향 및/또는 포지션)의 변경들에 따라 업데이트된다. 예를 들어, 사용자가 컴퓨터 시스템을 상향으로 올리면, 시뮬레이션된 시야는 마치 가상 모델 내의 가상 사람이 그들의 머리를 들어 상향으로 보는 것처럼 업데이트된다. 컴퓨터 시스템의 자세의 변경은, 옵션적으로, 하나 이상의 카메라들의 시야 내의 객체들에 기초하여 디바이스의 이동을 검출하는, 디바이스의 자이로스코프, 자력계, 관성 측정 유닛, 및/또는 하나 이상의 카메라들에 기초하여 결정된다. 예를 들어, 도 5135 내지 도 5137을 참조하여 전술된 바와 같이, 좌측을 향한 디바이스(100)의 이동 및 디바이스(100)의 회전에 응답하여, 사람(5060)의 관점에서 본, 가상 모델의 디스플레이된 시뮬레이션된 관점 뷰가 업데이트된다. 컴퓨터 시스템의 이동에 응답하여, 가상 사용자 인터페이스 객체의 관점에서 본 가상 현실 환경 내에 디스플레이되는 것을 변경하는 것은 마치 사용자가 가상 모델 내에 존재하는 것처럼 가상 모델에 관한 추가 정보에 사용자가 액세스하게 허용하는 더 몰입적인 관찰 경험을 사용자에게 제공하며, (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 시각적 피드백을 개선한다. 더 몰입적인 관찰 경험 및 개선된 시각적 피드백을 사용자에게 제공하는 것은 (예를 들어, 디바이스를 작동시키고/그와 상호작용할 때 사용자의 주의 산만 및 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 가상 모델 내의 제1 가상 사용자 인터페이스 객체의 관점에서 본 가상 모델의 시뮬레이션된 시야(예를 들어, 도 5133에 도시된 바와 같은 차량(5050)의 관점에서 본 시뮬레이션된 뷰)를 디스플레이하는 동안, 컴퓨터 시스템은 가상 모델 내의 제2 가상 사용자 인터페이스 객체(예를 들어, 가상 모델 내의 가상 사람 또는 가상 차량)(예를 들어, 도 5134의 사람(5060))의 선택에 대응하는 제3 입력(예를 들어, 입력(5062), 도 5134)을 검출하고; 제2 가상 사용자 인터페이스 객체의 선택에 대응하는 제3 입력을 검출한 것에 응답하여, 가상 모델의 제2 가상 사용자 인터페이스 객체의 관점에서 본 가상 모델의 제2 시뮬레이션된 시야(예를 들어, 도 5135에 도시된 바와 같은, 사람(5060)의 관점에서 본 시뮬레이션된 뷰)를 디스플레이한다(830)(그리고, 예를 들어, 가상 모델 내의 제1 가상 사용자 인터페이스 객체의 관점에서 본 가상 모델의 시뮬레이션된 시야를 디스플레이하는 것을 중지한다). 사용자가 가상 모델 내의 다수의 가상 사용자 인터페이스 객체들의 관점에서 가상 모델을 관찰할 수 있게 하고, 사용자가 그 뷰에 대한 대응하는 가상 사용자 인터페이스 객체를 선택함으로써 다양한 관점 뷰들 사이에서 전환하게 허용하는 것은 마치 사용자가 가상 모델 내에 존재하는 것처럼 다수의 관점들에서 본 가상 모델에 관한 추가 정보에 사용자가 액세스하게 허용하는 더 몰입적인 관찰 경험을 사용자에게 제공하며, (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 시각적 피드백을 개선한다. 더 몰입적인 관찰 경험 및 개선된 시각적 피드백을 사용자에게 제공하는 것은 (예를 들어, 디바이스를 작동시키고/그와 상호작용할 때 사용자의 주의 산만 및 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 가상 모델 내의 제1 가상 사용자 인터페이스 객체의 관점에서 본 가상 모델의 시뮬레이션된 시야(예를 들어, 도 5137에 도시된 바와 같은 사람(5060)의 관점에서 본 시뮬레이션된 뷰)를 디스플레이하는 동안, 컴퓨터 시스템은 연관된 시뮬레이션된 시야가 디스플레이될 수 있는 가상 사용자 인터페이스 객체 이외의 가상 모델 내의 위치의 선택에 대응하는 제4 입력을 검출하고(예를 들어, 입력(5066)을 참조하여 본 명세서에 기술된 바와 같음, 도 5138); 제4 입력을 검출한 것에 응답하여, 증강 현실 환경(예를 들어, 도 5140에 도시된 바와 같은 증강 현실 환경의 뷰)을 재디스플레이한다(832)(그리고, 예를 들어, 가상 모델 내의 제1 가상 사용자 인터페이스 객체의 관점에서 본 가상 모델의 시뮬레이션된 시야를 디스플레이하는 것을 중지한다). 일부 실시예들에서, 가상 모델 내의 일부 가상 사용자 인터페이스 객체들은 그러한 객체들의 관점들에서 본 시뮬레이션된 시야들이 디스플레이될 수 있는 것들이다. 일부 실시예들에서, 일부 가상 사용자 인터페이스 객체들을 포함하는 가상 모델 내의 다른 위치들은 연관된 시뮬레이션된 시야들을 갖지 않거나, 그들의 관점에서 본 시뮬레이션된 시야의 디스플레이를 허용하지 않으며, 일부 실시예들에서, 사용자는 그러한 위치들 또는 객체들을 선택하여 가상 현실 환경을 나가고 증강 현실 환경을 재디스플레이할 수 있다. 예를 들어, 가상 사람의 선택이 가상 사람의 관점에서 본 시뮬레이션된 시야의 디스플레이를 초래하지만, 잔디밭의 선택은 가상 현실 환경의 나오기 및 증강 현실 환경의 재디스플레이를 초래한다. 일부 실시예들에서, 디바이스는 "나오기" 버튼 또는 어포던스의 선택에 응답하여, 또는 터치 감응형 표면의 에지로부터 시작되는 에지 스와이프 제스처 또는 둘 이상의 접촉들의 서로를 향한 적어도 미리결정된 양만큼의 이동을 포함하는 핀치 제스처와 같은 제스처에 응답하여 증강 현실 환경을 재디스플레이하고 가상 모델 내의 제1 가상 사용자 인터페이스 객체의 관점에서 본 가상 모델의 시뮬레이션된 시야를 디스플레이하는 것을 중지한다. 사용자가 대응하는 관점 뷰가 디스플레이되지 않은 가상 모델 내의 위치를 선택함으로써 가상 현실 환경으로부터 증강 현실 환경으로 복귀하게 허용하는 것은 사용자에게 더 많은 입력들 또는 추가적인 디스플레이된 제어들을 요구함이 없이 증강 현실 환경으로 다시 전이하기 위한 직관적이고 간단한 방법을 제공한다. 작업을 수행하는 데 필요한 입력들의 수를 감소시키는 것, 및 추가의 디스플레이된 제어들로 사용자 인터페이스를 복잡하게 하지 않으면서 추가 제어 옵션들을 제공하는 것은 (예를 들어, 디바이스를 작동시키고/그와 상호작용할 때 사용자의 주의 산만 및 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
도 8a 내지 도 8c에서의 동작들이 기술된 특정 순서는 단지 일례이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 표시하는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 기술분야의 통상의 기술자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 추가적으로, 본 명세서에 기술된 다른 방법들(예를 들어, 방법들(600, 700, 900, 1000, 1100, 1200, 1300))과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들이 도 8a 내지 도 8c와 관련하여 전술된 방법(800)과 유사한 방식으로 또한 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법들(800)과 관련하여 전술된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 표시자들, 및/또는 애니메이션들은 옵션적으로 본 명세서에 기술된 다른 방법들(예를 들어, 방법들(600, 700, 900, 1000, 1100, 1200, 1300))과 관련하여 본 명세서에 기술된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 표시자들, 및/또는 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들은 여기서 반복되지 않는다.
도 9a 내지 도 9e는 일부 실시예들에 따른, 가상 사용자 인터페이스 객체들의 3차원 조작 방법(900)을 예시한 흐름도들이다. 방법(900)은, 디스플레이 생성 컴포넌트(예를 들어, 디스플레이, 프로젝터, 헤드-업 디스플레이 등) 및 입력 디바이스(예를 들어, 터치 감응형 원격 제어부와 같은 터치 감응형 표면, 또는 디스플레이 생성 컴포넌트로서 또한 기능하는 터치 스크린 디스플레이, 마우스, 조이스틱, 완드 제어기, 및/또는 사용자의 손들과 같은 사용자의 하나 이상의 특징들의 포지션을 추적하는 카메라들), 옵션적으로 하나 이상의 카메라들(예를 들어, 카메라들의 시야 내에 있고 옵션적으로 카메라들의 시야 내의 콘텐츠들을 캡처하는 하나 이상의 이미지 프레임들의 스트림들을 포함하는 비디오 출력들을 생성하는 콘텐츠들의 적어도 일부분의 라이브 프리뷰를 연속적으로 제공하는 비디오 카메라들), 옵션적으로 하나 이상의 자세 센서들, 옵션적으로 터치 감응형 표면과의 접촉들의 세기를 검출하는 하나 이상의 센서들, 및 옵션적으로 하나 이상의 촉각적 출력 생성기들을 포함하는(그리고/또는 이와 통신하는) 컴퓨터 시스템(예를 들어, 휴대용 다기능 디바이스(100)(도 1a), 디바이스(300)(도 3a), 또는 헤드셋(5008) 및 입력 디바이스(5010)(도 512)를 포함하는 다중-컴포넌트 컴퓨터 시스템)에서 수행된다. 일부 실시예들에서, (예를 들어, 터치 감응형 표면을 갖는) 입력 디바이스 및 디스플레이 생성 컴포넌트는 터치 감응형 디스플레이에 통합된다. 도 3b 내지 도 3d와 관련하여 전술된 바와 같이, 일부 실시예들에서, 방법(900)은 컴퓨터 시스템(301)(예를 들어, 컴퓨터 시스템(301-a, 301-b, 또는 301-c))에서 수행되며, 여기서 디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 하나 이상의 입력 디바이스들, 및 옵션적으로 하나 이상의 자세 센서들과 같은 각자의 컴포넌트들은 각각 컴퓨터 시스템(301) 내에 포함되거나 그와 통신한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트는 터치 스크린 디스플레이이고, (예를 들어, 터치 감응형 표면을 갖는) 입력 디바이스는 디스플레이 생성 컴포넌트 상에 있거나 그와 통합된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 입력 디바이스와 별개이다(예를 들어, 도 4b 및 도 512에 도시된 바와 같음). 방법(900)에서의 일부 동작들이 옵션적으로 조합되고/되거나, 일부 동작들의 순서는 옵션적으로 변경된다.
설명의 편의를 위해, 실시예들의 일부는 (예를 들어, 터치 스크린(112)을 갖는 디바이스(100) 상의) 터치 감응형 디스플레이 시스템(112) 및 하나 이상의 통합된 카메라들을 갖는 컴퓨터 시스템 상에서 수행되는 동작들을 참조하여 논의될 것이다. 그러나, 유사한 동작들이, 옵션적으로, 헤드셋(5008)의 디스플레이 상의 도면들에 도시된 사용자 인터페이스들을 디스플레이하는 동안 입력 디바이스(5010)의 터치 감응형 표면 상의 접촉들을 검출한 것에 응답하여, 헤드셋(5008) 및 터치 감응형 표면을 갖는 별개의 입력 디바이스(5010)를 갖는 컴퓨터 시스템(예를 들어, 도 512에 도시된 바와 같음) 상에서 수행된다. 유사하게, 유사한 동작들이, 옵션적으로, 컴퓨터 시스템의 하나 이상의 다른 컴포넌트들(예를 들어, 입력 디바이스)로부터 별도로 구현되는 (예를 들어, 헤드셋 내의) 하나 이상의 카메라들을 갖는 컴퓨터 시스템 상에서 수행되며; 그리고 일부 그러한 실시예들에서, "컴퓨터 시스템의 이동"은 컴퓨터 시스템의 하나 이상의 카메라들의 이동, 또는 컴퓨터 시스템과 통신하는 하나 이상의 카메라들의 이동에 대응한다.
아래에 설명되는 바와 같이, 방법(900)은 (예를 들어, 물리적 세계에서는 이용가능하지 않은 추가 정보를 사용자에게 제공하는 보충 정보를 이용해 현실이 증강되는) 증강 현실 환경 내에서, 가상 사용자 인터페이스 객체의 일부분의 선택 및 2차원에서의 입력의 이동에 기초하여 본 명세서에서 가상 객체로도 지칭되는 가상 사용자 인터페이스 객체의 외관을 (컴퓨터 시스템의 디스플레이 상에서) 조정하는 것에 관한 것이다. 가상 사용자 인터페이스 객체의 일부분의 선택 및 2차원에서의 입력의 이동에 기초하여 가상 사용자 인터페이스 객체의 외관을 조정하는 것(예를 들어, 가상 사용자 인터페이스 객체를 이동시키거나 가상 사용자 인터페이스 객체의 크기를 조정하는 것)은 (예를 들어, 입력 디바이스 상의 접촉의 이동 또는 원격 제어부의 이동을 통해) 사용자가 가상 사용자 인터페이스 객체의 외관을 조정하는 직관적인 방식을 제공하며, 이에 의해 (예를 들어, 사용자가 디스플레이된 사용자 인터페이스를 추가 제어들로 복잡하게 하기보다는 오히려 사용자가 가상 사용자 인터페이스 객체와 직접 상호작용하게 허용함으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
컴퓨터 시스템(예를 들어, 디바이스(100), 도 522)은, 디스플레이 생성 컴포넌트(예를 들어, 디스플레이(112), 도 522)를 통해, 가상 3차원 공간 내에 제1 가상 사용자 인터페이스 객체(예를 들어, 사용자 인터페이스 객체(5210), 도 522)를 디스플레이한다(902). 예를 들어, 일부 실시예들에서, 제1 가상 사용자 인터페이스 객체는 컴퓨터 시스템에 결합된 하나 이상의 카메라들의 시야 내의 물리적 객체(예를 들어, 기준 매트(5208a), 도 522)에 부착되거나 그를 커버하는 것으로 보이는 2D 또는 3D 가상 객체이다. 제1 가상 사용자 인터페이스 객체(5210)의 위치 및/또는 배향은, 옵션적으로, 하나 이상의 카메라들의 시야 내의 물리적 객체(5208a)의 위치, 형상, 및/또는 배향에 기초하여 결정된다.
가상 3차원 공간 내의 제1 가상 사용자 인터페이스 객체(5210)를 디스플레이하는 동안, 컴퓨터 시스템은, 입력 디바이스를 통해, 제1 가상 사용자 인터페이스 객체(5210)의 각자의 부분의 선택 및 2차원에서의 제1 입력의 이동(예를 들어, 평면 터치 감응형 표면을 가로지르는 접촉의 이동, 또는 원격 제어부 둘레의 3차원 물리적 공간의 직교하는 2차원에서의 이동 컴포넌트들을 포함하는 원격 제어부의 이동)을 포함하는 제1 입력을 검출한다(904).
예를 들어, 도 526에 예시된 바와 같이, 접촉(5222)에 의한 입력은 가상 사용자 인터페이스 객체(5210)의 상부 표면을 선택하고(가상 박스(5210)의 이동 평면을 표시하는 이동 돌출부들(5226)에 의해 표시된 바와 같음), 접촉(5222)은 화살표(5228)에 의해 표시된 바와 같이 터치 감응형 표면(112)을 가로질러 2차원으로 이동한다.
도 5210에 예시된 다른 예에서, 접촉(5232)에 의한 입력은 가상 사용자 인터페이스 객체(5210)의 전방 표면을 선택하고(이동 돌출부들(5236)에 의해 표시된 바와 같음), 접촉(5232)은 화살표(5238)에 의해 표시된 바와 같이 터치 감응형 표면(112)을 가로질러 2차원으로 이동한다.
도 5218 내지 도 5220에 예시된 다른 예에서, 접촉(5244)에 의한 입력은 가상 사용자 인터페이스 객체(5210)의 상부 표면을 선택하고(가상 박스(5210)가 접촉의 후속 이동에 응답하여 크기조정될 축을 표시하는 크기조정 돌출부들(5246)에 의해 표시된 바와 같음), 접촉(5244)은 화살표(5248)로 표시된 바와 같이 터치 감응형 표면(112)을 가로질러 2차원으로 이동한다.
도 5228 내지 도 5230에 예시된 다른 예에서, 접촉(5262)에 의한 입력은 가상 사용자 인터페이스 객체(5260)의 전방 표면을 선택하고(가상 박스(5260)가 크기조정될 축을 표시하는 크기조정 돌출부들(5266)에 의해 표시되는 바와 같음), 디바이스(100)는 화살표(5268)로 표시된 바와 같이 2차원으로 이동한다.
2차원에서의 제1 입력의 이동을 포함하는 제1 입력을 검출한 것에 응답하여: 제1 가상 사용자 인터페이스 객체의 각자의 부분이 제1 가상 사용자 인터페이스 객체의 제1 부분(예를 들어, 도 526에 표시된 바와 같이 가상 사용자 인터페이스 객체(5210)의 상부 면과 같은, 큐브형 객체의 제1 측면)이라는 결정에 따라, 컴퓨터 시스템은 2차원에서의 제1 입력의 이동에 기초하여 결정된 제1 방향으로(예를 들어, 화살표(5228)로 표시된 바와 같음, 도 526), (예를 들어, 크기조정, 병진, 및/또는 스큐잉(skewing)에 의해) 제1 가상 사용자 인터페이스 객체의 외관 및 선택된 제1 가상 사용자 인터페이스 객체의 제1 부분을 조정한다(906). 제1 가상 사용자 인터페이스 객체의 제1 방향으로의 조정은 (예를 들어, 이동 돌출부들(5226)에 의해 표시된 바와 같이) 가상 3차원 공간의 2차원들의 제1 세트에서의 이동으로 제약된다. 제1 가상 사용자 인터페이스 객체(5210)의 각자의 부분이 제1 가상 사용자 인터페이스 객체의 제1 부분과 구별되는 제1 가상 사용자 인터페이스 객체의 제2 부분(예를 들어, 도 5210에 표시된 바와 같은 가상 사용자 인터페이스 객체(5210)의 전방 면과 같은, 큐브형 객체의 제1 측면 옆에 또는 그 반대편에 있는 큐브형 객체의 제2 측면)이라는 결정에 따라, 컴퓨터 시스템은 제1 방향과 상이한 제2 방향으로 제1 가상 사용자 인터페이스 객체의 외관을 (예를 들어, 크기조정, 병진, 및/또는 스큐잉에 의해) 조정한다. 제2 방향은 (예를 들어, 도 5210의 화살표(5238)에 의해 표시된 바와 같은) 2차원에서의 제1 입력의 이동 및 선택된 제1 가상 사용자 인터페이스 객체의 제2 부분에 기초하여 결정된다. 제2 방향으로의 제1 가상 사용자 인터페이스 객체(5210)의 조정은 (예를 들어, 이동 돌출부들(5236)에 의해 표시된 바와 같이) 가상 3차원 공간의 2차원들의 제1 세트와 상이한 가상 3차원 공간의 2차원들의 제2 세트에서의 이동으로 제약된다. 예를 들어, 제1 방향 및 제2 방향의 각자의 방향으로 제1 가상 사용자 인터페이스 객체(5210)의 외관에 가해진 조정의 양은 선택된 제1 가상 사용자 인터페이스 객체의 각자의 부분에 따라 선택되는 가상 3차원 공간의 적어도 한 차원으로(예를 들어, 이동 돌출부들에 의해 나타내어지는 바와 같음) 제약된다. 일부 실시예들에서, 가상 3차원 공간 내의 큐브형 객체의 이동은 (예를 들어, 도 526 내지 도 528 및 도 5210 및 도 5211에 의해 예시된 바와 같이) 큐브형 객체의 선택된 측면의 평면으로 제약된다. 일부 실시예들에서, 큐브형 객체의 돌출(extrusion)은 큐브형 객체의 선택된 측면의 평면에 수직인 방향으로 제약된다(예를 들어, 도 5219 및 도 5220 및 도 5229 및 도 5230에 예시된 바와 같음). 일부 실시예들에서, 제1 가상 사용자 인터페이스 객체가 선택되는 동안, 제1 가상 사용자 인터페이스 객체의 선택의 시각적 표시가 디스플레이된다. 예를 들어, 제1 가상 사용자 인터페이스 객체의 에지들을 따르는 하나 이상의 라인들이 하이라이트되고/되거나(예를 들어, 이동 돌출부들(5226, 5236)에 의해 예시된 바와 같음) 제1 가상 사용자 인터페이스 객체가 하이라이트된다. 일부 실시예들에서, 컴퓨터 시스템은 제1 가상 사용자 인터페이스 객체의 각자의 부분의 선택 및 2차원에서의 제1 입력의 이동을 포함하는 복수의 입력들을 검출하며, 복수의 입력들은 제1 가상 사용자 인터페이스 객체의 각자의 부분이 제1 가상 사용자 인터페이스 객체의 제1 부분인 적어도 하나의 입력 및 제1 가상 사용자 인터페이스 객체의 각자의 부분이 제1 가상 사용자 인터페이스 객체의 제2 부분인 적어도 하나의 입력을 포함한다.
일부 실시예들에서, 제1 부분은 제1 가상 사용자 인터페이스 객체의 제1 측면(예를 들어, 도 526의 상부 면(5224))이고, 제2 부분은 제1 가상 사용자 인터페이스 객체의 제2 측면(예를 들어, 도 5210의 전방 면(5234))이고, 제1 측면은 제2 측면에 평행하지 않다(908)(예를 들어, 제1 측면은 제2 측면에 수직임). 가상 사용자 인터페이스 객체의 선택된 부분이 객체의 제1 측면인지 또는 (객체의 제1 측면에 평행하지 않은) 객체의 제2 측면인지 여부에 따라 가상 사용자 인터페이스의 외관을 상이하게 조정하는 것은 (예를 들어, 사용자가 특정 평면 내에서 또는 특정 축을 따라 제1 가상 사용자 인터페이스 객체의 외관을 조정하게 허용함으로써) 사용자가 제1 가상 사용자 인터페이스 객체의 외관을 조정하는 직관적인 방식을 제공한다. 사용자가 제1 가상 사용자 인터페이스 객체를 (예를 들어, 제1 가상 사용자 인터페이스 객체의 선택된 부분과의 직접적인 상호작용을 통해) 조정하게 허용하는 것은 사용자 인터페이스를 추가의 디스플레이된 제어들로 복잡하게 하는 것을 회피하게 하며, 이에 의해 디바이스의 작동성을 향상시키고 사용자 디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 가상 사용자 인터페이스 객체의 외관을 조정하는 것은 (예를 들어, 가상 사용자 인터페이스 객체의 선택된 각자의 부분에 평행한 평면에 제1 가상 사용자 인터페이스 객체의 포지션을 잠금으로써) 제1 가상 사용자 인터페이스 객체의 포지션이 가상 사용자 인터페이스 객체의 선택된 각자의 부분에 평행한 평면에 잠금되도록 제1 가상 사용자 인터페이스 객체의 외관을 조정하는 것(예를 들어, 제1 가상 사용자 인터페이스 객체를 이동시키거나 크기조정하는 것)을 포함한다(910). 예를 들어, 도 526 내지 도 528에서, 가상 사용자 인터페이스 객체(5210)의 포지션은 가상 사용자 인터페이스 객체(5210)의 선택된 상부 면(5224)에 평행한, 이동 돌출부들(5226)에 의해 표시된 평면에 잠금된다. 일부 실시예들에서, 평행한 평면은 선택된 각자의 부분의 표면에 수직인 라인에 수직이고 그 표면과 접촉한다. 제1 입력의 2차원 이동은 (예를 들어, 제1 입력의 2차원 이동을 가상 사용자 인터페이스 객체의 선택된 각자의 부분에 평행한 평면 상의 제1 가상 사용자 인터페이스 객체의 2차원 이동으로 매핑함으로써) 가상 사용자 인터페이스 객체의 선택된 각자의 부분에 평행한 평면 상의 제1 가상 사용자 인터페이스 객체의 2차원 이동에 대응한다. 예를 들어, 화살표들(5228, 5230)로 표시된 바와 같이, 접촉(5222)에 의한 입력의 이동은 가상 객체(5210)를 이동 돌출부들(5226)에 의해 표시된 평면 상에서 이동하게 한다. 일부 실시예들에서, 제1 가상 인터페이스 객체의 외관을 제1 방향으로 조정하는 것은 제1 평면을 따라 제1 가상 인터페이스 객체의 외관을 조정하는 것을 포함한다(예를 들어, 제2 방향으로 조정하는 것은 제1 평면에 평행하지 않은(예를 들어, 이에 수직인) 제2 평면을 따라 조정하는 것을 포함함). 예를 들어, 도 526 내지 도 528에서, 가상 사용자 인터페이스 객체(5210)는 이동 돌출부들(5226)에 의해 예시된 바와 같이 제1 평면을 따라 이동되고, 도 5210 및 도 5211에서, 가상 사용자 인터페이스 객체(5210)는 이동 돌출부들(5236)에 의해 예시된 바와 같이 제2 평면을 따라 이동된다. 제1 가상 사용자 인터페이스 객체의 포지션이 가상 사용자 인터페이스의 선택된 각자의 부분에 평행한 평면에 잠금되고, 제1 가상 사용자 인터페이스 객체의 이동이 평면 상에 있도록 제1 가상 사용자 인터페이스 객체의 외관을 조정하는 것은 2차원 표면(예를 들어, 터치 감응형 표면(112)) 상의 입력들을 사용하여 3차원 공간 내에서 객체가 조작될 수 있게 한다. 2차원 표면 상의 입력들을 사용하여 3차원 공간 내에서 객체가 조작될 수 있게 하는 것은 (예를 들어, 사용자가 제1 가상 사용자 인터페이스 객체의 외관이 2차원의 입력에 응답하여 어떻게 조정될지를 예측하고 이해할 수 있도록 제1 가상 사용자 인터페이스 객체의 이동을 평면으로 제한함으로써) 사용자가 제1 가상 사용자 인터페이스 객체의 외관을 조정하는 직관적인 방법을 제공하며, 이에 의해 디바이스의 작동성을 향상시키고 사용자 디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 가상 사용자 인터페이스 객체의 외관을 조정하는 것은 (예를 들어, 제1 입력이 검출되는 동안) 가상 사용자 인터페이스 객체의 선택된 각자의 부분에 평행한 평면의 시각적 표시를 포함하는 이동 평면 표시자(예를 들어, 객체의 에지들로부터 연장되는 하나 이상의 라인들(예를 들어, 이동 돌출부들(5226)), 평면에 디스플레이되는 형상 윤곽, 및/또는 평면에 디스플레이되는 그리드)를 디스플레이하는 것을 포함한다(912). 가상 사용자 인터페이스 객체의 선택된 각자의 부분에 평행한 평면의 시각적 표시를 디스플레이하는 것은 (예를 들어, 2차원 상의 입력에 응답하여 제1 가상 사용자 인터페이스 객체의 외관이 어떻게 조정될 것인지의 표시를 제공함으로써) 사용자에게 제공되는 시각적 피드백을 개선하고, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 이동 평면 표시자는 가상 사용자 인터페이스 객체의 선택된 각자의 부분에 평행한 평면(예를 들어, 이동 돌출부들(5226))을 따라 제1 가상 사용자 인터페이스 객체로부터(예를 들어, 가상 사용자 인터페이스 객체의 표면 및/또는 측면으로부터) 연장되는 하나 이상의 돌출부들(예를 들어, 라인들)을 포함한다(914). (예를 들어, 제1 가상 사용자 인터페이스 객체가 2차원에서의 입력에 응답하여 이동할 평면을 표시하기 위해) 제1 가상 사용자 인터페이스 객체로부터 연장되는 돌출부들을 디스플레이하는 것은 (예를 들어, 사용자가 필요한 입력으로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수를 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 입력의 이동을 포함하는 제1 입력을 검출한 것에 응답하여, 컴퓨터 시스템은 제1 입력이 크기 조정 기준들을 충족하는지 여부를 결정한다(916). 일부 실시예들에서, 제1 입력이 크기 조정 기준들을 충족하는지 여부를 결정하는 것은 제1 입력이 지속기간 임계치를 초과하여 증가하는 지속기간을 갖는지(예를 들어, 제1 입력은 길게 누르기 입력임) 여부를 결정하는 것을 포함한다. 일부 실시예들에서, 컴퓨터 시스템은 터치 감응형 표면과의 접촉들의 세기들을 검출하도록 구성된 하나 이상의 센서들을 포함하며, 제1 입력이 크기 조정 기준들을 충족하는지 여부를 결정하는 것은 제1 입력이 세기 임계치(예를 들어, 가볍게 누르기 세기 임계치(ITL) 및/또는 깊게 누르기 세기 임계치(ITD))를 초과하여 증가하는 (예를 들어, 도 4d 및 도 4e와 관련하여 기술된 바와 같은) 특성 세기를 갖는지 여부를 결정하는 것을 포함한다. 제1 입력이 크기 조정 기준들을 충족한다는 결정에 따라, 컴퓨터 시스템은 제1 가상 사용자 인터페이스 객체의 포지션이 가상 3차원 공간 내의 앵커 지점에 잠금되도록(예를 들어, 제1 가상 사용자 인터페이스 객체의 포지션이 가상 3차원 공간 내의 앵커 지점에 잠금됨) 제1 가상 사용자 인터페이스 객체의 외관을 조정하며, 제1 가상 사용자 인터페이스 객체의 크기는 선택된 각자의 부분에 수직인 축(예를 들어, 축은 제1 가상 사용자 인터페이스 객체의 선택된 각자의 부분(또는 선택된 각자의 부분의 중심)의 표면에 수직임)을 따라 조정된다. 예를 들어, 도 5218 및 도 5219에서, 접촉(5244)에 의한 입력이 지속기간 기준들을 충족한다는 결정에 따라, (예를 들어, 접촉(5244)에 의해 선택되는 가상 사용자 인터페이스 객체(5210)의 상부 면(5224)에 수직인 크기조정 돌출부들(5246)의 디스플레이에 의해 표시되는 바와 같이) 입력이 크기 조정 기준들을 충족하는 것으로 결정되며, 도 5219 및 도 5220에서, 가상 사용자 인터페이스 객체(5210)의 크기는 크기조정 돌출부들(5246)에 의해 표시되는 축을 따라 조정된다. 사용자가 2차원으로 입력의 이동을 포함하는 입력에 응답하여 가상 사용자 인터페이스 객체의 크기를 조정하게 허용하는 것은 사용자가 가상 사용자 인터페이스 객체의 크기를 조정하는 직관적인 방식을 제공하고, (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 피드백을 개선하고, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 앵커 지점은 제1 가상 사용자 인터페이스 객체의 선택된 각자의 부분의 반대편인 제1 가상 사용자 인터페이스 객체의 일부분 상에 위치된다(918)(예를 들어, 앵커 지점은 가상 사용자 인터페이스 객체의 선택된 측면의 반대편인 제1 가상 사용자 인터페이스 객체의 측면 상에 위치됨). 예를 들어, 도 5219에서, 가상 사용자 인터페이스 객체(5210)의 선택된 측면은 상부 면(5224)이고(예를 들어, 상부 면(5224)에 수직인 크기조정 돌출부들(5246)의 디스플레이에 의해 표시된 바와 같음), 앵커 지점은 상부 면(5224)의 반대편에 있는 가상 사용자 인터페이스 객체(5210)의 측면(예를 들어, 기준 매트(5208)의 디스플레이된 버전(5208b)에 인접한 가상 사용자 인터페이스 객체(5210)의 측면) 상에 위치된다. 일부 실시예들에서, 앵커 지점은 가상 사용자 인터페이스 객체의 선택된 각자의 부분 상에 위치된다. 제1 가상 사용자 인터페이스 객체의 일부분을 선택된 부분의 반대편인 제1 가상 사용자 인터페이스 객체의 일부분 상의 지점에 앵커링하는 것은 (예를 들어, 특히 제1 가상 사용자 인터페이스 객체가 평면에 대해 도시된 경우, 선택된 표면으로부터 외향으로 당김으로써 객체를 연장시키는 감각을 사용자에게 제공함으로써) 사용자가 가상 사용자 인터페이스 객체의 외관을 조정하는 직관적인 방식을 제공하고, (예를 들어, 사용자가 필요한 입력으로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수를 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 앵커 지점은 제1 가상 사용자 인터페이스 객체의 중심(예를 들어, 제1 가상 사용자 인터페이스 객체의 포지션이 잠금될 때의 제1 가상 사용자 인터페이스 객체의 중심)이다(920). 예를 들어, 앵커 지점은 가상 사용자 인터페이스 객체(5210)의 중심이다. 제1 가상 사용자 인터페이스 객체의 일부분을 선택된 부분의 반대편인 제1 가상 사용자 인터페이스 객체의 중심에서의 지점에 앵커링하는 것은 (예를 들어, 특히 제1 가상 사용자 인터페이스 객체가 공간 내에 떠 있을 때(suspended), 선택된 표면으로부터 외향으로 당김으로써 객체를 연장시키는 감각을 사용자에게 제공함으로써) 사용자가 가상 사용자 인터페이스 객체의 외관을 조정하는 직관적인 방식을 제공하고, (예를 들어, 사용자가 필요한 입력으로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수를 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 가상 사용자 인터페이스 객체의 외관을 조정하는 것은 (예를 들어, 제1 입력이 검출되는 동안) 이동 축 표시자를 디스플레이하는 것을 포함하며, 이동 축 표시자는 제1 가상 사용자 인터페이스 객체의 선택된 각자의 부분에 수직인 축의 시각적 표시(예를 들어, 객체의 에지들로부터 연장되는 하나 이상의 라인들, 평면에 디스플레이되는 형상 윤곽, 및/또는 평면에 디스플레이되는 그리드)를 포함한다(922). 예를 들어, 이동 축 표시자는 도 5219에서 접촉(5244)에 의해 선택된 가상 사용자 인터페이스 객체의 상부 면(5224)에 수직인 크기조정 돌출부들(5246)를 포함한다. 제1 가상 사용자 인터페이스 객체의 선택된 각자의 부분에 수직인 축의 이동 축 표시자를 디스플레이하는 것은 (예를 들어, 2차원 상의 입력에 응답하여 제1 가상 사용자 인터페이스 객체의 외관이 어떻게 조정될 것인지의 표시를 제공함으로써) 사용자에게 제공되는 시각적 피드백을 개선하고, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 이동 축 표시자는 제1 가상 사용자 인터페이스 객체의 각자의 부분(예를 들어, 가상 사용자 인터페이스 객체(5210)의 상부 면(5224))에 수직인 축에 평행한 하나 이상의 돌출부들(예를 들어, 도 5219의 크기조정 돌출부들(5246))을 포함하며, 하나 이상의 돌출부들은 제1 가상 사용자 인터페이스 객체(의 표면 및/또는 그의 측면)으로부터 연장된다(924). 제1 가상 사용자 인터페이스 객체로부터 연장되는 돌출부들을 디스플레이하는 것은 (예를 들어, 제1 가상 사용자 인터페이스 객체에 대해 배치된 표시자들을 사용하여, 입력이 제1 가상 사용자 인터페이스 객체의 외관을 어떻게 변경할 것인지를 도시함으로써) 사용자에게 제공되는 시각적 피드백을 개선하고, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 컴퓨터 시스템은 촉각적 출력들을 생성하기 위한 하나 이상의 촉각적 출력 생성기들(163)을 포함한다(926). 각자의 방향으로 제1 가상 사용자 인터페이스 객체의 외관을 조정하는 동안, 컴퓨터 시스템은 제1 입력의 이동이 제1 가상 사용자 인터페이스 객체의 각자의 부분을 가상 3차원 공간 내에 존재하는 가상 요소(예를 들어, 다른 가상 사용자 인터페이스 객체와 같은, 가상 3차원 공간 내에 디스플레이되거나 디스플레이되지 않은 가상 요소 및/또는 기준 매트(5208)의 디스플레이된 버전(5208b)의 그리드 라인과 같은 가상 그리드 라인)와 충돌하도록 야기한다고 결정한다. 제1 입력의 이동이 제1 가상 사용자 인터페이스 객체의 각자의 부분을 가상 요소와 충돌하도록 야기한다는 결정에 따라, 컴퓨터 시스템은 하나 이상의 촉각적 출력 생성기들(163)을 이용하여 촉각적 출력을 생성한다. 제1 가상 사용자 인터페이스 객체의 일부분이 가상 요소와 충돌하도록 야기되었다는 결정에 따라 촉각적 출력을 생성하는 것은 (예를 들어, (제1 가상 사용자 인터페이스 객체가 가상 그리드 라인들을 가로질러 이동함에 따라) 제1 가상 사용자 인터페이스 객체가 이동한 거리 및 방향을 표시함으로써 그리고/또는 가상 사용자 인터페이스 객체 및 가상 요소들의 그의 환경 내의 상대 포지션들의 직관적인 이해를 사용자에게 제공함으로써) 사용자에게 제공되는 피드백을 개선한다. 이는, (예를 들어, 사용자가 객체를 원하는 위치로 이동하도록 도움으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 가상 3차원 공간을 디스플레이하는 동안(예를 들어, 가상 3차원 공간 내의 제1 가상 사용자 인터페이스 객체의 생성 및/또는 디스플레이 이전에), 컴퓨터 시스템은, 입력 디바이스를 통해, 가상 3차원 공간 내의 제1 위치(예를 들어, 제1 가상 사용자 인터페이스 객체의 각자의 부분에 대응하는 위치 또는 제1 가상 사용자 인터페이스 객체에 대응하지 않는 위치)에 지향되는 제2 입력을 검출한다(928). 예를 들어, 도 5224에 표시된 바와 같이, 접촉(5254)에 의한 입력이 검출된다. 제2 입력을 검출한 것에 응답하여, 제2 입력이 제1 입력 유형을 갖는다는(예를 들어, 제2 입력은 탭 입력임) 결정에 따라, 컴퓨터 시스템은 가상 3차원 공간 내의 제1 위치에, 삽입 커서(예를 들어, 도 5225의 삽입 커서(5256))를 디스플레이한다. 삽입 커서가 제1 위치에 디스플레이되는 동안, 컴퓨터 시스템은, 입력 디바이스를 통해, 제3 입력을 검출한다(예를 들어, 도 5226의 접촉(5258)에 의해 표시된 바와 같음). 제3 입력을 검출한 것에 응답하여, 컴퓨터 시스템은, 제3 입력이 제1 입력 유형을 가지며(예를 들어, 제3 입력은 탭 입력임), 디스플레이된 삽입 커서에 대응하는 제1 위치로 지향된다는 결정에 따라, 제1 위치에서 제2 가상 사용자 인터페이스 객체(예를 들어, 도 5226의 가상 사용자 인터페이스 객체(5260))를 삽입한다. 제3 입력이 제1 입력 유형을 가지며 디스플레이된 삽입 커서에 대응하지 않는 제2 위치로 지향된다는 결정에 따라(예를 들어, 도 5222 내지 도 5225에 도시된 바와 같음), 컴퓨터 시스템은 삽입 커서를 제2 위치에 디스플레이한다. 예를 들어, 도 5222에서, 도 5223에 표시된 바와 같이, 접촉(5250)에 의한 입력은 삽입 커서(5252)가 접촉(5250)의 위치에 대응하는 위치에 배치되게 한다. 접촉(5254)에 의한 후속 입력이 삽입 커서(5252)의 위치에 대응하지 않는 위치에서 검출된다. 도 5225에서, 접촉(5254)의 위치가 삽입 커서(5252)의 위치에 대응하지 않기 때문에, 삽입 커서(5256)는 접촉(5254)의 위치에 대응하는 위치에 디스플레이된다(그리고 접촉(5254)에 의한 입력에 응답하여 새로운 가상 사용자 인터페이스 객체가 생성되지 않음). 일부 실시예들에서, 컴퓨터 시스템은 복수의 입력들을 검출하며, 복수의 입력들은, 제1 입력 유형을 갖고, 디스플레이된 삽입 커서에 대응하는 제1 위치로 지향되는 적어도 하나의 입력, 및 제1 입력 유형을 갖고, 디스플레이된 삽입 커서에 대응하지 않는 제2 위치로 지향되는 적어도 하나의 입력을 포함한다. 제1 유형의 입력의 위치가 디스플레이된 삽입 커서의 위치에 대응하는지, 또는 디스플레이된 삽입 커서를 포함하지 않는 위치에 대응하는지 여부에 따라, 새로운 가상 사용자 인터페이스 객체를 삽입할지 또는 삽입 커서를 이동시킬지 여부를 결정하는 것은 제1 유형의 입력을 이용한 다수의 상이한 유형들의 동작들의 수행을 가능하게 한다. 제1 유형의 입력을 이용하여 다수의 상이한 유형들의 동작들의 수행을 가능하게 하는 것은 사용자가 이들 동작들을 수행할 수 있는 효율을 증가시키며, 이에 의해 디바이스의 작동성을 향상시키며, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 가상 3차원 공간을 디스플레이하는 동안, 컴퓨터 시스템은, 입력 디바이스를 통해, 가상 3차원 공간 내의 제3 위치로 지향되는 제4 입력(예를 들어, 도 5232에 도시된 바와 같은 접촉(5270)에 의한 입력)을 검출한다(930). 가상 3차원 공간 내의 제3 위치로 지향되는 제4 입력을 검출한 것에 응답하여, 제4 입력이 제1 입력 유형을 갖는다는(예를 들어, 제4 입력은 탭 입력임) 결정에 따라, 컴퓨터 시스템은 제3 위치에서의 삽입 커서(예를 들어, 도 5233의 삽입 커서(5272))를 디스플레이한다(예를 들어, 기존의 삽입 커서를 제2 위치로부터 각자의 위치로 이동시키거나, 또는 제1 입력 이전에 시뮬레이션된 환경 내에서 삽입 커서가 디스플레이되지 않았다면 각자의 위치에 새로운 삽입 커서를 디스플레이함). 삽입 커서가 제3 위치에 디스플레이되는 동안, 컴퓨터 시스템은, 입력 디바이스를 통해, 활성화될 때, 제3 위치에서의 새로운 가상 사용자 인터페이스 객체의 삽입을 야기하는 새로운 객체 제어부(예를 들어, 새로운 객체 제어부(5216))에 대응하는 위치에서 제5 입력(예를 들어, 접촉(5276)에 의한 입력, 도 5234))를 검출한다. 제5 입력을 검출한 것에 응답하여, 컴퓨터 시스템은 제3 위치에서 새로운 가상 사용자 인터페이스 객체(예를 들어, 가상 사용자 인터페이스 객체(5276), 도 5236)를 삽입한다. 활성화될 때, 삽입 커서의 위치에서의 새로운 가상 사용자 인터페이스 객체의 삽입을 야기하는 새로운 객체 제어부를 제공하는 것은, (예를 들어, 사용자가 새로운 객체 제어부의 위치에 반복된 입력들을 제공함으로써 일련의 새로운 가상 사용자 인터페이스 객체들을 삽입하게 허용함으로써) 사용자가 새로운 가상 사용자 인터페이스 객체를 생성할 수 있는 효율을 증가시킨다. 사용자가 새로운 가상 사용자 인터페이스 객체를 생성할 수 있는 효율을 증가시키는 것은 디바이스의 작동성을 향상시키고 사용자 디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 컴퓨터 시스템은, 입력 디바이스를 통해, 가상 3차원 공간과의 상호작용에 대응하는 제스처(예를 들어, 터치 감응형 표면 상의 핀치 또는 스와이프 제스처)를 검출한다(932). 예를 들어, 도 5236 및 도 5237은 접촉들(5278, 5280)에 의한 핀치 제스처를 예시한다. 가상 3차원 공간과의 상호작용에 대응하는 제스처를 검출한 것에 응답하여, 컴퓨터 시스템은 제스처에 대응하는 가상 3차원 공간 내의 동작(예를 들어, 객체를 줌, 회전, 이동시킴 등)을 수행한다. 예를 들어, 도 5236 및 도 5237에 예시된 핀치 제스처에 응답하여, 줌 동작이 수행된다(예를 들어, 줌 아웃 동작이 발생함에 따라 가상 사용자 인터페이스 객체(5210, 5260, 5276)는 크기가 감소된다). 가상 3차원 공간과 상호작용하는 핀치 또는 스와이프와 같은 제스처에 응답하여 가상 3차원 공간 내의 동작을 수행하는 것은 (예를 들어, 사용자가 가상 3차원 공간의 조정에 대응하는, 핀치 또는 스와이프와 같은 모션을 갖는 단일 입력을 사용하여 가상 3차원 공간의 뷰를 조정하게 허용함으로써) 사용자가 가상 3차원 공간을 제어하는 효율적이고 직관적인 방법을 제공한다. 가상 3차원 공간의 제스처 기반 제어를 사용자에게 제공하는 것은 사용자 인터페이스를 추가의 디스플레이된 제어부들로 복잡하게 하는 것을 회피하게 하고, 이에 의해 디바이스의 작동성을 향상시키고 사용자 디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 카메라들을 포함하고, 디스플레이된 가상 3차원 공간은 하나 이상의 카메라들의 시야 내에 있는 하나 이상의 물리적 객체들(예를 들어, 도 522의 기준 매트(5208a)) 및 하나 이상의 카메라들의 시야 내에 있는 하나 이상의 물리적 객체들의 하나 이상의 가상 3차원 모델들(예를 들어, 기준 매트(5208a)의 디스플레이 된 버전(5208b))을 포함한다(934). 물리적 객체의 가상 3차원 모델을 디스플레이하는 것은 디스플레이된 가상 3차원 공간에 대한 물리적 세계 내의 기준 프레임을 제공한다. 이러한 기준 프레임을 제공하는 것은 사용자가 물리적 객체(예컨대, 기준 매트, 예를 들어, 기준 매트를 회전시킴으로써)를 조작함으로써 가상 3차원 공간 내의 가상 객체들의 뷰를 변경하게 허용하며, 이에 의해 사용자가 제1 가상 사용자 인터페이스 객체의 뷰를 조정하는 직관적인 방식을 제공하고, 디바이스의 작동성을 향상시키고 사용자 디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 가상 사용자 인터페이스 객체의 외관은, 제1 입력의 이동이: 입력 디바이스 상의 제1 입력의 이동(예를 들어, 입력 디바이스가 물리적 공간 내에서 실질적으로 정지된 상태로 유지되는 동안 입력 디바이스의 터치 스크린 디스플레이 또는 터치 감응형 표면을 가로지르는 접촉의 이동), 각자의 물리적 객체에 대한 하나 이상의 카메라들의 이동(예를 들어, 접촉이 입력 디바이스의 터치 스크린 디스플레이 또는 터치 감응형 표면 상에서 유지되고 정지된 상태로 지속되는 동안 카메라들을 포함하는 컴퓨터 시스템의 물리적 공간 내의 이동), 또는 입력 디바이스 상의 제1 입력의 이동과 각자의 물리적 객체에 대한 하나 이상의 카메라들의 이동의 조합(예를 들어, 입력 디바이스의 터치 스크린 디스플레이 또는 터치 감응형 표면을 통한 접촉의 이동과, 동시에, 물리적 공간의 카메라들을 포함하는 컴퓨터 시스템의 이동)에 기인하는 것인지에 관계없이, 하나 이상의 카메라들의 시야 내의 각자의 물리적 객체에 대한 제1 입력의 이동을 검출한 것에 응답하여 조정된다(936). 예를 들어, 도 5229 및 도 5230에 도시된 바와 같이, 디바이스(100)(예를 들어, 하나 이상의 카메라들을 포함하는 컴퓨팅 디바이스)는 접촉(5262)이 터치 스크린 디스플레이(112) 상에서 유지되고 정지된 상태로 지속되는 동안 기준 매트(5208a)에 대해 이동된다. 디바이스(100)의 이동에 응답하여, 가상 객체(5260)의 크기가 조정된다. (예를 들어, 사용자가 입력 디바이스 상의 입력의 이동만으로, 물리적 객체에 대한 카메라들의 이동만으로, 또는 입력 및 카메라들의 이동의 조합으로 가상 사용자 인터페이스 객체의 외관을 조정하게 허용함으로써) 입력의 이동 방식에 관계없이 가상 사용자 인터페이스 객체의 외관을 조정하는 것은 사용자가 가상 사용자 인터페이스 객체의 외관을 조정하는 직관적인 방법을 제공하며, (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 시각적 피드백을 개선하고, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
도 9a 내지 도 9e에서의 동작들이 기술된 특정 순서는 단지 일례이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 표시하는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 기술분야의 통상의 기술자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 추가적으로, 본 명세서에 기술된 다른 방법들(예를 들어, 방법들(600, 700, 800, 1000, 1100, 1200, 1300))과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들이 도 9a 내지 도 9e와 관련하여 전술된 방법(900)과 유사한 방식으로 또한 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법들(900)과 관련하여 전술된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 표시자들, 및/또는 애니메이션들은 옵션적으로 본 명세서에 기술된 다른 방법들(예를 들어, 방법들(600, 700, 800, 1000, 1100, 1200, 1300))과 관련하여 본 명세서에 기술된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 표시자들, 및/또는 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들은 여기서 반복되지 않는다.
도 10a 내지 도 10e는 일부 실시예들에 따른, 디스플레이된 시뮬레이션된 환경의 관찰 모드들 간에 전이하는 방법(1000)을 예시한 흐름도들이다. 방법(1000)은, 디스플레이 생성 컴포넌트(예를 들어, 디스플레이, 프로젝터, 헤드-업 디스플레이 등) 및 입력 디바이스(예를 들어, 터치 감응형 원격 제어부와 같은 터치 감응형 표면, 또는 디스플레이 생성 컴포넌트로서 또한 기능하는 터치 스크린 디스플레이, 마우스, 조이스틱, 완드 제어기, 및/또는 사용자의 손들과 같은 사용자의 하나 이상의 특징들의 포지션을 추적하는 카메라들), 옵션적으로 하나 이상의 카메라들(예를 들어, 카메라들의 시야 내에 있고 옵션적으로 카메라들의 시야 내의 콘텐츠들을 캡처하는 하나 이상의 이미지 프레임들의 스트림들을 포함하는 비디오 출력들을 생성하는 콘텐츠들의 적어도 일부분의 라이브 프리뷰를 연속적으로 제공하는 비디오 카메라들), 옵션적으로 하나 이상의 자세 센서들, 옵션적으로 터치 감응형 표면과의 접촉들의 세기를 검출하는 하나 이상의 센서들, 및 옵션적으로 하나 이상의 촉각적 출력 생성기들을 포함하는(그리고/또는 이와 통신하는) 컴퓨터 시스템(예를 들어, 휴대용 다기능 디바이스(100)(도 1a), 디바이스(300)(도 3a), 또는 헤드셋(5008) 및 입력 디바이스(5010)를 포함하는 다중-컴포넌트 컴퓨터 시스템(도 512))에서 수행된다. 일부 실시예들에서, (예를 들어, 터치 감응형 표면을 갖는) 입력 디바이스 및 디스플레이 생성 컴포넌트는 터치 감응형 디스플레이에 통합된다. 도 3b 내지 도 3d와 관련하여 전술된 바와 같이, 일부 실시예들에서, 방법(1000)은 컴퓨터 시스템(301)(예를 들어, 컴퓨터 시스템(301-a, 301-b, 또는 301-c))에서 수행되며, 여기서 디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 하나 이상의 입력 디바이스들, 및 옵션적으로 하나 이상의 자세 센서들과 같은 각자의 컴포넌트들은 각각 컴퓨터 시스템(301) 내에 포함되거나 그와 통신한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트는 터치 스크린 디스플레이이고, (예를 들어, 터치 감응형 표면을 갖는) 입력 디바이스는 디스플레이 생성 컴포넌트 상에 있거나 그와 통합된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 입력 디바이스와 별개이다(예를 들어, 도 4b 및 도 512에 도시된 바와 같음). 방법(1000)에서의 일부 동작들이 옵션적으로 조합되고/되거나, 일부 동작들의 순서는 옵션적으로 변경된다.
설명의 편의를 위해, 실시예들의 일부는 (예를 들어, 터치 스크린(112)을 갖는 디바이스(100) 상의) 터치 감응형 디스플레이 시스템(112) 및 하나 이상의 통합된 카메라들을 갖는 컴퓨터 시스템 상에서 수행되는 동작들을 참조하여 논의될 것이다. 그러나, 유사한 동작들이, 옵션적으로, 헤드셋(5008)의 디스플레이 상의 도면들에 도시된 사용자 인터페이스들을 디스플레이하는 동안 입력 디바이스(5010)의 터치 감응형 표면 상의 접촉들을 검출한 것에 응답하여, 헤드셋(5008) 및 터치 감응형 표면을 갖는 별개의 입력 디바이스(5010)를 갖는 컴퓨터 시스템(예를 들어, 도 512에 도시된 바와 같음) 상에서 수행된다. 유사하게, 유사한 동작들이, 옵션적으로, 컴퓨터 시스템의 하나 이상의 다른 컴포넌트들(예를 들어, 입력 디바이스)로부터 별도로 구현되는 (예를 들어, 헤드셋 내의) 하나 이상의 카메라들을 갖는 컴퓨터 시스템 상에서 수행되며; 그리고 일부 그러한 실시예들에서, "컴퓨터 시스템의 이동"은 컴퓨터 시스템의 하나 이상의 카메라들의 이동, 또는 컴퓨터 시스템과 통신하는 하나 이상의 카메라들의 이동에 대응한다.
아래에 설명되는 바와 같이, 방법(1000)은 컴퓨터 시스템의 입력 디바이스에서 제스처를 검출하는 것에 관한 것이다. 제스처가 모드 변경 기준들을 충족하는지 여부에 따라, 물리적 환경에 대한 컴퓨터 시스템의 적어도 일부분의 자세(예를 들어, 배향 및/또는 포지션)의 후속 변경은 제1 관찰 모드(가상 사용자 인터페이스 객체와 물리적 환경 사이의 고정된 공간적 관계가 유지됨)에서 시뮬레이션된 환경을 디스플레이하는 것으로부터 제2 관찰 모드(가상 사용자 인터페이스 객체와 물리적 환경 사이의 고정된 공간적 관계가 유지되지 않음)로의 전이, 또는 자세의 변경에 응답하여 제1 가상 사용자 인터페이스 객체의 외관을 변경하는 것을 야기한다. 제1 관찰 모드로부터 제2 관찰 모드로 전이할지 또는 제1 관찰 모드에서 제1 가상 사용자 인터페이스 객체의 외관을 변경할지 여부를 결정하는 것은 컴퓨터 시스템의 적어도 일부분의 자세의 변경에 응답하여 다수의 상이한 유형들의 동작들의 수행을 가능하게 한다. 자세의 변경에 응답하여 다수의 상이한 유형들의 동작들의 수행을 가능하게 하는 것은 사용자가 이들 동작들을 수행할 수 있는 효율을 증가시키며, 이에 의해 디바이스의 작동성을 향상시키며, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
제1 관찰 모드에서, 컴퓨터 시스템(예를 들어, 도 531의 디바이스(100))은 컴퓨터 시스템의 디스플레이 생성 컴포넌트(예를 들어, 터치 스크린 디스플레이(112))를 통해, 컴퓨터 시스템의 물리적 환경에 대해 배향되는 시뮬레이션된 환경(예를 들어, 가상 현실(VR) 환경 또는 증강 현실(AR) 환경)을 디스플레이한다(1002). 시뮬레이션된 환경을 제1 관찰 모드에서 디스플레이하는 것은 컴퓨터 시스템의 물리적 환경과 연관된 시뮬레이션된 환경 내의 제1 각자의 위치에 디스플레이되는 가상 모델(예를 들어, 렌더링된 3D 모델) 내에서 제1 가상 사용자 인터페이스 객체(예를 들어, 가상 박스(5302))를 디스플레이하는 것을 포함한다. 예를 들어, 렌더링된 3D 모델의 시각적 외관(예를 들어, 크기, 위치, 및 배향에 반영된 바와 같음)은 컴퓨터 시스템이 물리적 환경 내의 테이블 상부 또는 다른 표면에 대해 위치 및 배향되는 방식에 따라 변경된다.
시뮬레이션된 환경을 디스플레이하는 동안, 컴퓨터 시스템은, 하나 이상의 자세 센서들을 통해, 물리적 환경에 대한 컴퓨터 시스템의 적어도 일부분의 자세(예를 들어, 배향 및/또는 포지션)의 제1 변경(예를 들어, 물리적 환경의 표현을 생성하는 데 사용되는 하나 이상의 카메라들을 포함하는 컴퓨터 시스템의 컴포넌트와 같은 컴퓨터 시스템의 컴포넌트의 자세의 변경)(예를 들어, 터치 스크린 디스플레이, 가상 현실 헤드셋, 또는 터치 감응형 원격 제어부의 제1 이동에 의해 야기된 변경)을 검출한다(1004). 예를 들어, 도 531 및 도 532는 디바이스(100)의 자세의 제1 변경을 예시한다.
컴퓨터 시스템의 일부분의 자세의 제1 변경을 검출한 것에 응답하여, 컴퓨터 시스템은 제1 가상 사용자 인터페이스 객체와 물리적 환경 사이의 고정된 공간적 관계(예를 들어, 배향, 크기 및/또는 포지션)를 유지하기 위해 가상 모델 내의 제1 가상 사용자 인터페이스 객체의 외관을 변경한다(1006)(예를 들어, 렌더링된 3D 모델은 테이블 상부 또는 컴퓨터 시스템의 카메라의 시야 내에 있는 다른 표면의 위치에 직접 배치되고, 컴퓨터 시스템의 이동으로 카메라의 시야 내의 테이블 상부 또는 다른 표면의 위치가 변경될 때 테이블 상부 또는 다른 표면과 동일 평면 상에서 유지되고 그에 고정됨). 예를 들어, 도 531 내지 532로부터, 가상 박스(5302)와 물리적 기준 매트(5208a) 사이의 고정된 공간적 관계를 유지하기 위해 디스플레이(112) 상의 가상 박스(5302)의 크기 및 포지션이 변경된다.
컴퓨터 시스템의 일부분의 자세의 제1 변경에 기초하여 제1 가상 사용자 인터페이스 객체의 외관을 변경한 후에, 컴퓨터 시스템은, 입력 디바이스를 통해, 시뮬레이션된 환경과의 상호작용에 대응하는 제1 제스처(예를 들어, 터치 감응형 표면 상의 핀치 또는 스와이프 제스처)를 검출한다(1008). 도 534 내지 도 536은 (디바이스(100)에 의해 디스플레이된 시뮬레이션된 환경 내의 가상 박스(5302)를 이동시키기 위한) 상향 스와이프 및 하향 스와이프를 포함하는 입력의 예를 제공한다. 도 539 내지 도 5311은 (디바이스(100)에 의해 디스플레이된 시뮬레이션된 환경을 줌하기 위한) 핀치 제스처의 예를 제공한다.
시뮬레이션된 환경과의 상호작용에 대응하는 제1 제스처(1010)를 검출한 것에 응답하여, 컴퓨터 시스템은 제1 제스처에 대응하는 시뮬레이션된 환경 내의 동작을 수행한다(예를 들어, 객체를 줌, 회전, 이동시킴 등). 도 534 내지 도 536은 검출된 스와이프 제스처에 응답하여 가상 박스(5302)의 이동을 예시한다. 도 539 내지 도 5311은 검출된 핀치 제스처에 응답하여 시뮬레이션된 환경을 줌하는 것을 예시한다.
제1 제스처에 대응하는 동작을 수행한 후에, 컴퓨터 시스템은, 하나 이상의 자세 센서들을 통해, 물리적 환경에 대한 컴퓨터 시스템의 일부분의 자세(예를 들어, 배향 및/또는 포지션)의 제2 변경을 검출한다(1012). 예를 들어, 도 5312 및 도 5313은 물리적 환경(5200) 내의 물리적 기준 매트(5208a)에 대한 디바이스(100)의 이동을 포함하는 자세 변경을 예시한다.
컴퓨터 시스템의 일부분의 자세의 제2 변경을 검출한 것에 응답하여, 컴퓨터 시스템은, 제1 제스처가 모드 변경 기준들을 충족한다는 결정에 따라, 제1 관찰 모드에서 가상 모델을 포함하는 시뮬레이션된 환경을 디스플레이하는 것으로부터 제2 관찰 모드에서 가상 모델을 포함하는 시뮬레이션된 환경을 디스플레이하는 것으로 전이한다(1014). 모드 변경 기준들은 제1 제스처가 물리적 환경에 대한 시뮬레이션된 환경의 공간 파라미터(예를 들어, 배향, 크기 및/또는 포지션)를 변경하는 입력(예를 들어, 시뮬레이션된 환경을 줌 아웃하기 위한 핀치-투-줌 제스처, 시뮬레이션된 환경을 확대하기 위한 디핀치-투-줌-아웃 제스처, 시뮬레이션된 환경을 회전 또는 변환하기 위한 스와이프 제스처, 및/또는 시뮬레이션된 환경을 관찰하는 다른 디바이스의 시점(point of view, POV) 또는 환경 내의 가상 객체의 POV를 디스플레이하기 위한 입력)에 대응한다는 요건을 포함한다. 예를 들어, 도 539 내지 도 5311에 예시된 핀치-투-줌 입력에 응답하여, 디바이스(100)는 제1 관찰 모드(증강 현실 관찰 모드)에서 시뮬레이션된 환경을 디스플레이하는 것으로부터 제2 관찰 모드(가상 현실 관찰 모드)에서 시뮬레이션된 환경을 디스플레이하는 것으로 전이한다. 예를 들어, 증강 현실 모드 내의 디바이스(100)의 디스플레이(112)에 의해 디스플레이되는 물리적 기준 매트(5208a) 및 테이블(5204)과 같은 디바이스(100)의 카메라의 시야 내의 물리적 객체들(예를 들어, 도 539)은 가상 현실 관찰 모드에서 디스플레이되는 것을 중지한다(예를 들어, 도 5312에 도시된 바와 같음). 가상 현실 관찰 모드에서, 가상 그리드(5328)가 디스플레이된다(예를 들어, 도 5312에 도시된 바와 같음). 제2 관찰 모드에서 가상 모델을 시뮬레이션된 환경 내에서 디스플레이하는 것은 제1 가상 사용자 인터페이스 객체와 물리적 환경 사이의 고정된 공간적 관계(예를 들어, 배향, 크기 및/또는 포지션)를 유지하기 위해 제1 가상 사용자 인터페이스 객체의 외관을 변경하는 것을 보류하는 것을 포함한다(예를 들어, 제1 가상 사용자 인터페이스 객체를, 컴퓨터 시스템의 일부분의 자세의 제2 변경을 검출하기 전에 디스플레이되던 것과 동일한 배향, 크기 및/또는 포지션으로 유지함). 예를 들어, 도 5312 및 도 5313에 도시된 바와 같이, 디스플레이(112)에 대한 가상 박스(5302)의 포지션은 디바이스가 가상 현실 관찰 모드에서 시뮬레이션된 환경을 디스플레이하고 있는 동안 디바이스(100)의 이동에 응답하여 변경되지 않는다. 제1 제스처가 모드 변경 기준들을 충족하지 않았다는 결정에 따라, 컴퓨터 시스템은 제1 관찰 모드에서 시뮬레이션된 환경 내의 제1 가상 모델을 계속해서 디스플레이한다. 예를 들어, 도 534 내지 도 536에서, 가상 박스(5302)를 이동시키기 위한 스와이프 제스처는 모드 변경 기준들을 충족하지 않고, 디바이스(100)는 증강 현실 관찰 모드에서 시뮬레이션된 환경을 계속해서 디스플레이한다. 제1 관찰 모드에서 가상 모델을 디스플레이하는 것은, 제1 가상 사용자 인터페이스 객체와 물리적 환경 사이의 고정된 공간적 관계(예를 들어, 배향, 크기 및/또는 포지션)를 유지하도록 물리적 환경에 대한 컴퓨터 시스템의 일부분의 자세의 제2 변경(예를 들어, 물리적 환경의 표현을 생성하는 데 사용되는 하나 이상의 카메라들을 포함하는 컴퓨터 시스템의 컴포넌트와 같은 컴퓨터 시스템의 컴포넌트의 자세 변경)에 응답하여 가상 모델 내의 제1 가상 사용자 인터페이스 객체의 외관을 변경하는 것을 포함한다. 예를 들어, 도 537 및 도 538에 도시된 바와 같이, 디스플레이(112)에 대한 가상 박스(5302)의 포지션은 디바이스가 증강 현실 관찰 모드에서 시뮬레이션된 환경을 디스플레이하고 있는 동안 디바이스(100)의 이동에 응답하여 변경된다. 일부 실시예들에서, 고정된 공간적 관계는, 자세의 제1 변경와 자세의 제2 변경 사이의 시간 동안, 일부 실시예들에서, 컴퓨터 시스템의 이동 또는 테이블 상부 또는 다른 표면의 이동과 같은 물리적 환경의 변경들에 기인하여, 다른 입력들에 응답하여 동일하게 유지되거나 상이하게 될 수 있다). 일부 실시예들에서, 컴퓨터 시스템은 시뮬레이션된 환경과의 각자의 상호작용들에 대응하는 복수의 제스처들을 검출하며, 각각의 제스처는 물리적 환경에 대한 컴퓨터 시스템의 일부분의 자세를 변경한다. 일부 그러한 실시예들에서, 복수의 제스처들 및 자세 변경들은 자세의 후속 변경을 검출한 것에 응답하여 컴퓨터 시스템이 시뮬레이션된 환경을 제1 모드에서 디스플레이하는 것으로부터 시뮬레이션된 환경을 제2 모드에서 디스플레이하는 것으로 전이하는 모드 변경 기준들을 충족하는 적어도 하나의 제스처를 포함한다. 또한, 복수의 제스처들 및 자세 변경들은 모드 변경 기준들을 충족하지 않는 적어도 하나의 제스처를 포함하며, 이 경우 컴퓨터 시스템이 제1 관찰 모드에서 시뮬레이션된 환경 내의 제1 가상 모델을 계속해서 디스플레이한다.
일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 카메라들(예를 들어, 카메라들의 시야 내에 있는 콘텐츠들의 적어도 일부분의 라이브 프리뷰를 연속적으로 제공하고 옵션적으로 카메라들의 시야 내에서 콘텐츠들을 캡처하는 이미지 프레임들의 하나 이상의 스트림들을 포함하는 비디오 출력들을 생성하는 하나 이상의 비디오 카메라들)을 포함하며, 시뮬레이션된 환경을 제1 관찰 모드에서 디스플레이하는 것은 하나 이상의 카메라들의 시야의 적어도 일부분의 표현을 디스플레이하는 것을 포함한다(1016). 하나 이상의 카메라들의 시야는 물리적 환경 내의 물리적 객체의 표현을 포함한다(예를 들어, 표현은 하나 이상의 카메라들의 시야의 적어도 일부분의 라이브 뷰임). 예를 들어, 도 531에 도시된 바와 같이, 디바이스(100)의 하나 이상의 카메라들이 기준 매트(5208a)의 라이브 이미지를 캡처하고, 이는 (5208b)에서 표시된 바와 같이 디스플레이(112) 상에 디스플레이된다. 일부 실시예들에서, 물리적 객체의 뷰는 하나 이상의 카메라들이 이동됨에 따라, 그리고/또는 가상 모델에 대한 변경들에 응답하여 업데이트된다. 예를 들어, 도 531 및 532로부터, 디바이스(100)의 이동은 기준 매트(5208a)의 뷰(5208b)가 변경되게 한다(예를 들어, 디바이스(100)가 기준 매트(5208a)에 더 가깝게 이동함에 따라, 도 531에 도시된 바와 같이, 디바이스(112) 상에 디스플레이된 시뮬레이션된 환경은 전체 기준 매트(5208a)의 뷰(5208b)를 디스플레이하는 것으로부터 도 532에 도시된 바와 같이, 기준 매트(5208a)의 일부분의 뷰(5208b)를 디스플레이하는 것으로 업데이트됨). 시뮬레이션된 환경 내의 물리적 객체의 표현을 디스플레이하는 것은 물리적 환경 및 시뮬레이션된 환경에 관한 동시 정보를 사용자에게 제공한다. 물리적 환경 및 시뮬레이션된 환경에 관한 동시 정보를 제공하는 것은 (예를 들어, 사용자가 디바이스에 제공된 입력, 가상 사용자 인터페이스 객체 및 물리적 환경 간의 관계를 이해하고 입력 실수들을 피하도록 도움으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 시뮬레이션된 환경과의 상호작용에 대응하는 제1 제스처를 검출하는 것은 복수의 접촉들(예를 들어, 도 539에 표시된 바와 같이, 입력 디바이스의 터치 감응형 표면(예를 들어, 디바이스(100)의 터치 감응형 디스플레이(112))과의 접촉들(5324, 5320)을 검출하는 것을 포함한다(1018). 터치 감응형 표면과의 복수의 접촉들이 검출되는 동안, 컴퓨터 시스템은 복수의 접촉들 중의 제2 접촉의 이동에 대한 복수의 접촉들 중의 제1 접촉의 이동(예를 들어, 도 539 내지 도 5311에 표시된 바와 같이, 화살표들(5326, 5322)로 표시된 경로들을 따른 접촉들(5324, 5320)의 이동)을 검출한다. 예를 들어, 복수의 접촉들 중의 제2 접촉의 이동에 대한 복수의 접촉들 중의 제1 접촉의 이동은 적어도 제1 접촉과 제2 접촉 사이의 거리를 감소시키는 복수의 접촉들의 이동을 포함하는 핀치 제스처이거나(예를 들어, 도 539 내지 도 5311에 도시된 바와 같음), 또는 적어도 제1 접촉과 제2 접촉 사이의 거리를 증가시키는 복수의 접촉들의 이동을 포함하는 디핀치 제스처이다. 또한, 일부 실시예들에서, 제1 제스처에 대응하는 시뮬레이션된 환경 내의 동작을 수행하는 것은 제1 가상 사용자 인터페이스 객체(예를 들어, 도 539의 가상 박스(5302))의 크기를 제2 접촉의 이동에 대한 제1 접촉의 이동에 대응하는 양만큼 변화시키는 것(예를 들어, 제스처가 서로 멀어지는 접촉들의 이동을 포함하는 디핀치 제스처라는 결정에 따라, 제1 가상 사용자 인터페이스 객체의 크기를 증가시키는 것, 제스처가 서로를 향한 접촉들의 이동을 포함하는 핀치 제스처라는 결정에 따라, 제1 가상 사용자 인터페이스 객체의 크기를 감소시키는 것)을 포함한다 예를 들어, 도 539 내지 도 5311에서, 접촉들(5324, 5320)이 이동하여 접촉들 사이의 거리가 감소함에 따라, 가상 박스(5302)의 크기가 감소한다. 시뮬레이션된 환경과 상호작용하는 디핀치 제스처와 같은 제스처에 응답하여 시뮬레이션된 환경 내의 동작을 수행하는 것은 (예를 들어, 사용자가 단일 입력 제스처를 사용하여 시뮬레이션된 환경 내의 가상 사용자 인터페이스 객체를 줌하게 허용함으로써) 사용자가 제1 가상 사용자 인터페이스 객체의 크기를 변화시키는 효율적이고 직관적인 방식을 제공한다. 시뮬레이션된 환경의 제스처 기반 제어를 사용자에게 제공하는 것은 사용자 인터페이스를 추가의 디스플레이된 제어부들로 복잡하게 하는 것을 회피하게 하고, 이에 의해 디바이스의 작동성을 향상시키고 사용자 디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제2 관찰 모드(예를 들어, VR 모드)에서 시뮬레이션된 환경 내의 제1 가상 사용자 인터페이스 객체를 디스플레이하는 동안, 컴퓨터 시스템은, 입력 디바이스를 통해, 시뮬레이션된 환경과의 상호작용에 대응하는 제2 제스처를 검출한다(1020). 제2 제스처는 시뮬레이션된 환경의 관점을 변화시키기 위한 입력을 포함한다. 예를 들어, 컴퓨터 시스템은 스와이프 또는 회전 제스처와 같은 제스처를 검출한다(예를 들어, 입력 디바이스는 터치 스크린 디스플레이를 포함하고, 제스처는 터치 스크린 디스플레이를 가로지르는 접촉의 이동을 포함함). 또한, 시뮬레이션된 환경과의 상호작용에 대응하는 제2 제스처를 검출한 것에 응답하여, 컴퓨터 시스템은 시뮬레이션된 환경의 관점을 변화시키기 위한 입력에 따라 시뮬레이션된 환경의 디스플레이된 관점을 업데이트한다. 예를 들어, 컴퓨터 시스템은, 스와이프 또는 회전 제스처와 같은 제2 제스처의 이동 방향 및 양에 대응하는 방향 및 양으로 시뮬레이션된 환경의 디스플레이된 관점을 변경한다. 도 5322 및 도 5323은 화살표(5352)로 표시된 경로를 따라 이동하는 접촉(5350)에 의한 회전 제스처를 포함하는 입력을 예시한다. 접촉(5350)에 의한 입력이 수신됨에 따라, 디바이스(100)의 디스플레이(112)에 의해 디스플레이된 시뮬레이션된 환경은 입력에 따라 회전된다(예를 들어, 가상 박스들(5302, 5304, 5340) 및 가상 그리드(5328)가 시계방향으로 회전됨). 시뮬레이션된 환경과의 상호작용에 대응하는 제스처를 검출한 것에 응답하여 시뮬레이션된 환경의 디스플레이된 관점을 업데이트하는 것은 (예를 들어, 사용자가 단일 입력 제스처를 사용하여 시뮬레이션된 환경의 관점을 변경하게 허용함으로써) 사용자가 시뮬레이션된 환경의 관점을 변화시키는 효율적이고 직관적인 방식을 제공한다. 시뮬레이션된 환경의 관점의 제스처 기반 제어를 사용자에게 제공하는 것은 사용자 인터페이스를 추가의 디스플레이된 제어부들로 복잡하게 하는 것을 회피하게 하고, 이에 의해 디바이스의 작동성을 향상시키고 사용자 디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제2 관찰 모드(예를 들어, VR 모드)(1022)에서 시뮬레이션된 환경을 디스플레이하는 동안, 컴퓨터 시스템은, 입력 디바이스를 통해, 시뮬레이션된 환경 내의 제2 각자의 위치에서 제2 가상 사용자 인터페이스 객체를 삽입하기 위한 삽입 입력(예를 들어, (이전 입력에 의해 생성된) 삽입 커서에 대응하는 시뮬레이션된 환경의 위치로 지향되는 탭 입력과 같은 입력 및/또는 활성화될 때, 시뮬레이션된 환경 내의 이전에 배치되던 삽입 커서의 위치에 새로운 가상 사용자 인터페이스 객체를 삽입을 야기하는 제어부로 지향되는 입력)을 검출한다(1022). 제2 가상 사용자 인터페이스 객체를 삽입하기 위한 삽입 입력을 검출한 것에 응답하여, 컴퓨터 시스템은 제1 가상 사용자 인터페이스 객체와 물리적 환경 사이의 고정된 공간적 관계(예를 들어, 배향, 크기 및/또는 포지션)를 유지하는 동안 시뮬레이션된 환경 내의 제2 각자의 위치에 제2 가상 사용자 인터페이스 객체를 디스플레이한다. 예를 들어, 도 5315 및 도 5316에 도시된 바와 같이, 접촉(5334)에 의한 입력(예를 들어, 탭 입력)은 삽입 커서(5536)를 배치한다. 삽입 커서(5536)가 배치된 후에, 도 5317에 도시된 바와 같이, 새로운 객체 제어(5216)에 대응하는 위치에서의 접촉(5338)에 의한 입력(예를 들어, 탭 입력)이 검출된다. 삽입 커서(5536)의 배치 후의 새로운 객체 제어(5216)에 대응하는 위치에서의 입력에 응답하여, 가상 박스(5340)가 삽입 커서(5536)에 대응하는 포지션에 디스플레이된다. 가상 사용자 인터페이스 객체를 삽입하기 위한 입력은 방법(900)과 관련하여 추가로 설명된다. 일부 실시예들에서, 각자의 관찰 모드는 제2 가상 사용자 인터페이스 객체의 시뮬레이션된 환경 내로의 삽입에 응답하여 변화되지 않는다(예를 들어, 가상 사용자 인터페이스 객체가 VR 모드에서 관찰되는 경우, 제2 가상 사용자 인터페이스 객체의 삽입에 응답하여 AR 모드로의 전이가 발생하지 않음). 삽입 입력에 응답하여 새로운 가상 사용자 인터페이스 객체를 삽입하는 것은 (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 피드백을 개선하고, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제2 관찰 모드(예를 들어, VR 모드)에서 시뮬레이션된 환경을 디스플레이하는 동안, 컴퓨터 시스템은, 입력 디바이스를 통해, 가상 모델의 각자의 가상 사용자 인터페이스 객체의 각자의 측면(예를 들어, 가상 객체(5340)의 측면(5344))의 선택 및 2차원에서의 입력의 이동(예를 들어, 화살표(5346)에 의해 표시된 바와 같음)을 포함하는 이동 입력(예를 들어, 접촉(5342)에 의한 이동 입력, 도 5319)을 검출한다(1024). 이동을 검출한 것에 응답하여, 컴퓨터 시스템은 제1 가상 사용자 인터페이스 객체 및 물리적 환경 사이의 고정된 공간적 관계(예를 들어, 배향, 크기 및/또는 포지션)를 유지하는 동안, 제2 입력의 이동에 기초하여 결정된 제1 방향으로, 각자의 가상 사용자 인터페이스 객체의 선택된 각자의 측면에 평행한 평면(예를 들어, 이동 돌출부들(5348)에 의해 표시된 바와 같음) 내에서 각자의 가상 사용자 인터페이스 객체(5340)를 이동시킨다. 일부 실시예들에서, 각자의 가상 사용자 인터페이스 객체의 이동의 방향은 이동 입력의 방향에 기초하여 결정된다(예를 들어, 제1 방향으로의 이동 입력에 대해, 가상 사용자 인터페이스 객체는 대응하는 방향으로 이동하고, 제1 방향과 상이한 제2 방향으로의 이동 입력에 대해, 가상 사용자 인터페이스 객체는 상이한 대응하는 방향으로 이동함). 일부 실시예들에서, 각자의 가상 사용자 인터페이스 객체의 이동의 크기는 이동 입력의 크기에 기초하여 결정된다(예를 들어, 더 큰 크기의 이동 입력에 대해, 각자의 가상 사용자 인터페이스 객체는 더 멀리 이동함). 가상 사용자 인터페이스 객체를 이동시키기 위한 입력은 방법(900)과 관련하여 추가로 설명된다. 일부 실시예들에서, 각자의 관찰 모드는 제2 가상 사용자 인터페이스 객체의 시뮬레이션된 환경 내로의 삽입에 응답하여 변화되지 않는다(예를 들어, 가상 사용자 인터페이스 객체가 VR 모드에서 관찰되는 경우, 각자의 가상 사용자 인터페이스 객체의 이동에 응답하여 AR 모드로의 전이가 발생하지 않음). 이동 입력에 응답하여 가상 사용자 인터페이스 객체를 이동시키는 것은 (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 피드백을 개선하고, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 시뮬레이션된 환경을 제1 관찰 모드에서 디스플레이하는 것으로부터 시뮬레이션된 환경을 제2 관찰 모드에서 디스플레이하는 것으로 전이하는 동안, 컴퓨터 시스템은 전이의 시각적 표시를 제공하기 위해 전이 애니메이션을 디스플레이한다(1026)(예를 들어, 도 539 내지 도 5312에 예시된 바와 같음). 시뮬레이션된 환경을 제1 관찰 모드(예를 들어, AR 모드)에서 디스플레이하는 것으로부터 시뮬레이션된 환경을 제2 관찰 모드(예를 들어, VR 모드)에서 디스플레이하는 것으로 전이하는 동안 전이 애니메이션을 디스플레이하는 것은 (예를 들어, AR 모드로부터 VR 모드로의 전이가 일어나고 있다는 표시를 사용자에게 제공함으로써) 사용자에게 제공되는 피드백을 개선하며, (예를 들어, 사용자가 관찰 모드 전이를 야기하는 입력을 이해하도록 돕고, 원하는 경우 관찰 모드 전이를 달성하도록 도움으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 전이 애니메이션을 디스플레이하는 것은 제1 관찰 모드에서 디스플레이되고 제2 관찰 모드에서 디스플레이되지 않은 적어도 하나의 시각적 요소(예를 들어, 컴퓨터 시스템의 하나 이상의 카메라들에 의해 캡처된 라이브 배경 뷰 및/또는 하나 이상의 물리적 기준 객체들(또는 물리적 환경의 임의의 다른 양태))를 디스플레이하는 것을 점진적으로 중지하는 것을 포함한다(1028). 예를 들어, 도 539 내지 도 5311에서, 테이블(5204) 및 물리적 기준 매트(5208a)의 디스플레이된 뷰(5208b)는 디스플레이(112) 상에 표시되는 것을 점진적으로 중지한다. 시뮬레이션된 환경을 제1 관찰 모드에서 디스플레이하는 것으로부터 시뮬레이션된 환경을 제2 관찰 모드에서 디스플레이하는 것으로 전이하는 동안 제1 관찰 모드에서 디스플레이되고 제2 관찰 모드에서 디스플레이되지 않는 적어도 하나의 시각적 요소를 디스플레이하는 것을 점진적으로 중지하는 것은 (예를 들어, 제1 가상 사용자 인터페이스 객체와 물리적 환경 사이의 고정된 공간적 관계가 유지되고 있지 않다는 시각적 큐(visual cue)를 사용자에게 제공하기 위해 물리적 환경의 양태들을 제거함으로써) 사용자에게 제공되는 피드백을 개선하고, (예를 들어, 사용자가 전이의 효과를 이해하도록 도움으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 전이 애니메이션을 디스플레이하는 것은 제1 관찰 모드에서 디스플레이되지 않은 제2 관찰 모드의 적어도 하나의 시각적 요소(예를 들어, 렌더링된 배경)를 점진적으로 디스플레이하는 것을 포함한다(1030). 예를 들어, 도 5311 및 도 5312에서, 가상 기준 그리드(5328)는 디스플레이(112) 상에 점진적으로 디스플레이된다.
시뮬레이션된 환경을 제1 관찰 모드에서 디스플레이하는 것으로부터 시뮬레이션된 환경을 제2 관찰 모드에서 디스플레이하는 것으로 전이하는 동안 제1 관찰 모드에서 디스플레이되지 않은 제2 관찰 모드의 적어도 하나의 시각적 요소를 점진적으로 디스플레이하는 것은 (예를 들어, 증강 현실 관찰 모드로부터 가상 현실 관찰 모드로의 전이가 발생하고 있다는 시각적 큐를 사용자에게 제공하기 위해 가상 현실 환경의 양태들을 추가함으로써) 사용자에게 제공되는 피드백을 개선하고, (예를 들어, 사용자가 전이의 효과를 이해하도록 도움으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, (예를 들어, 모드 변경 입력 제스처에 응답하여) 시뮬레이션된 환경을 제2 관찰 모드에서 디스플레이하는 것으로부터 시뮬레이션된 환경을 제1 관찰 모드에서 디스플레이하는 것으로 전이하는 동안, 전이의 시각적 표시를 제공하기 위해 전이 애니메이션이 디스플레이된다(예를 들어, 도 5326 내지 도 5330에 예시된 바와 같음). 일부 실시예들에서, 전이는 제2 관찰 모드의 적어도 하나의 시각적 요소(예를 들어, 렌더링된 배경)를 디스플레이하는 것을 점진적으로 중지하고, 제1 관찰 모드에서 디스플레이되는 적어도 하나의 시각적 요소(예를 들어, 컴퓨터 시스템의 하나 이상의 카메라들에 의해 캡처된 라이브 배경 뷰 및/또는 하나 이상의 물리적 기준 객체들(또는 물리적 환경의 임의의 다른 양태))를 점진적으로 디스플레이하는 것을 포함한다. 예를 들어, 도 5326 및 도 5327에서, 가상 기준 그리드(5328)는 점진적으로 디스플레이되는 것을 중지하고, 도 5328 내지 도 5330에서, 테이블(5204) 및 물리적 기준 그리드(5208a)의 디스플레이된 뷰(5208b)가 점진적으로 재디스플레이된다.
일부 실시예들에서, 시뮬레이션된 환경과의 상호작용에 대응하는 제1 제스처를 검출한 것에 응답하여, 컴퓨터 시스템은 제1 제스처에 대응하는 입력에 의한 공간 파라미터의 변경에 따라, 시뮬레이션된 환경 내의 가상 모델이 디스플레이되는 관점을 변화시킨다(1032). 예를 들어, 도 539 내지 도 5311에 예시된 핀치-투-줌 제스처에 응답하여, 가상 박스들(5302, 5304)의 디스플레이된 크기들이 감소한다. 일부 실시예들에서, 제1 제스처가 가상 모델을 줌하는 제스처(예를 들어, 디핀치 제스처)인 경우, 가상 모델의 디스플레이된 크기가 증가하도록 시뮬레이션된 환경 내의 가상 모델의 디스플레이되는 관점이 변경된다. 일부 실시예들에서, 제1 제스처가 디스플레이된 가상 모델을 패닝(pan)하거나 달리 이동시키는 제스처(예를 들어, 스와이프 제스처)인 경우, 시뮬레이션된 환경 내의 가상 모델의 디스플레이되는 관점은 가상 모델이 입력 제스처에 따라 패닝되거나 달리 이동되도록 변경된다. 제1 제스처를 검출한 것에 응답하여 시뮬레이션된 환경의 관점을 변화시키는 것은 (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 피드백을 개선하고, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 제스처의 종료를 검출한 후에, 컴퓨터 시스템은 시뮬레이션된 환경을 제1 관찰 모드에서 디스플레이하는 것으로부터 시뮬레이션된 환경을 제2 관찰 모드에서 디스플레이하는 것으로 전이하는 것을 표시하기 위해 시뮬레이션된 환경 내의 가상 모델이 디스플레이되는 관점을 계속해서 변화시킨다(1034). 예를 들어, 도 539 내지 도 5311의 가상 박스들(5302, 5304)의 크기를 감소시키는 핀치-투-줌 입력을 제공하는 접촉들(5320, 5324)의 리프트오프 이후에, 도 5312 및 도 5313에서 가상 박스들(5302, 5304)의 디스플레이된 크기가 계속해서 감소한다. 일부 실시예들에서, 시뮬레이션된 환경 내의 가상 모델이 디스플레이되는 관점은 컴퓨터 시스템의 일부분의 자세의 제2 변경에 응답하여 계속해서 변화된다. 일부 실시예들에서, 관점은, 예를 들어, 미리결정된 양만큼 관점을 변화시키기 위해 그리고/또는 시뮬레이션된 환경의 미리결정된 뷰를 제2 관찰 모드에서 디스플레이하기 위해, 컴퓨터 시스템(또는 다른 입력)의 일부분의 자세의 변경 없이 계속해서 변화된다. 제1 제스처가 종료된 후에 시뮬레이션된 환경의 관점을 계속해서 변화시키는 것은 (예를 들어, 포커스 선택자(들)(예를 들어, 하나 이상의 접촉들)의 이동에 대응하는 관점으로의 변화의 양을 증가시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 시뮬레이션된 환경을 제2 관찰 모드에서 디스플레이하는 동안, 컴퓨터 시스템은, 입력 디바이스를 통해, 제2 관찰 모드로부터 제1 관찰 모드로 전이하기 위한 입력에 대응하는 제3 제스처를 검출한다(1036). 예를 들어, 제3 제스처는 도 5326 및 도 5327에 도시된 바와 같이, 접촉들(5360, 5356)에 의한 디핀치 제스처를 포함하는 입력이다. 제3 제스처를 검출한 것에 응답하여, 컴퓨터 시스템은 시뮬레이션된 환경을 제2 관찰 모드에서 디스플레이하는 것으로부터 시뮬레이션된 환경을 제1 관찰 모드에서 디스플레이하는 것으로 전이한다(예를 들어, 컴퓨터 시스템의 일부분의 자세의 후속 변경에 응답하여, 제1 가상 사용자 인터페이스 객체의 외관은 제1 사용자 인터페이스 객체와 물리적 환경 사이의 고정된 공간적 관계를 유지하기 위해 물리적 환경에 대해 변경될 것임). 일부 실시예들에서, 시뮬레이션된 환경의 제1 관찰 모드에서 제1 가상 사용자 인터페이스 객체를 디스플레이하는 것은 시뮬레이션된 환경 내의 가상 모델의 배경에서 컴퓨터 시스템의 하나 이상의 카메라들로부터의 라이브 피드(live feed)를 디스플레이하는 것을 포함한다. 제스처 입력에 응답하여 제2 관찰 모드(예를 들어, VR 모드)로부터 제1 관찰 모드(예를 들어, AR 모드)로 전이하는 것은 사용자에게 VR 모드와 AR 모드 사이에서의 토글링을 제어하는 능력을 제공한다. 사용자에게 관찰 모드의 제스처 기반 제어를 제공하는 것은 (예를 들어, 사용자가 제공하기를 원하는 입력 유형에 가장 효율적인 관찰 모드를 선택할 수 있게 허용하고, 사용자 인터페이스를 추가의 디스플레이되는 제어부들로 복잡하게 하지 않으면서 추가 제어 옵션들을 제공함으로써) 디바이스의 작동성을 향상시키며, 사용자 디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다
일부 실시예들에서, 입력 디바이스는 터치 감응형 표면(예를 들어, 디바이스(100)의 터치 감응형 디스플레이(112))을 포함하고, 제2 관찰 모드로부터 제1 관찰 모드로 전이하기 위한 입력에 대응하는 제3 제스처를 검출하는 것은 입력 디바이스의 터치 감응형 표면과의 복수의 접촉들(예를 들어, 접촉들(5356, 5360))을 검출하는 것을 포함한다(1038). 터치 감응형 표면과의 복수의 접촉들이 검출되는 동안, 입력 디바이스는 복수의 접촉들 중의 제2 접촉의 이동에 대한 복수의 접촉들 중의 제1 접촉의 이동(예를 들어, 화살표(5358)로 표시된 경로를 따른 접촉(5356)에 의한 이동 및 화살표(5362)로 표시된 경로를 따른 접촉(5360)에 의한 이동)을 검출한다. 일부 실시예들에서, 제3 제스처는 제1 접촉과 제2 접촉 사이의 거리를 감소시키는 복수의 접촉들의 이동을 포함하는 핀치 제스처이다. 일부 실시예들에서, 시뮬레이션된 환경을 제2 관찰 모드에서 디스플레이하는 것으로부터 시뮬레이션된 환경을 제1 관찰 모드에서 디스플레이하는 것으로 전이하는 것은 제1 관찰 모드로부터 제2 관찰 모드로의 전이 이전의 가상 모델의 크기로 복귀하기 위해 시뮬레이션된 환경 내의 가상 모델의 크기를 변화시키는 것을 포함한다. 예를 들어, 도 5326 내지 도 5330에 도시된 바와 같이, 접촉들(5356, 5360)에 의한 제스처에 응답하여, 가상 박스들(5302, 5304)은 물리적 기준 매트(5208a)에 대한 그들의 원래 포지션들 및 크기들로 다시 변경된다. 입력 제스처(예를 들어, 핀치 제스처)에 응답하여 시뮬레이션된 환경을 제2 관찰 모드(예를 들어, VR 모드)로 디스플레이하는 것으로부터 시뮬레이션된 환경을 제1 관찰 모드(예를 들어, AR 모드)로 디스플레이하는 것으로 전이하는 것은 사용자가 원하는 관찰 모드를 선택하는 효율적이고 직관적인 방식을 제공한다. 사용자에게 관찰 모드의 제스처 기반 제어를 제공하는 것은 (예를 들어, 사용자 인터페이스를 추가의 디스플레이되는 제어부들로 복잡하게 하지 않으면서 추가 제어 옵션들을 제공함으로써) 디바이스의 작동성을 향상시키고 사용자 디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제3 제스처는, 활성화될 때, 제2 관찰 모드로부터 제1 관찰 모드로의 전이를 야기하는 제어부에 대응하는 입력 디바이스 상의 포지션(예를 들어, 가상 모델에 대응하지 않는 시뮬레이션된 환경 내의 포지션 및/또는 AR 모드와 연관된 이미지 및/또는 텍스트를 갖는 제어부)에서의 입력(예를 들어, 탭 입력)을 포함한다(1040). 예를 들어, 제3 제스처는 도 5328의 (예를 들어, 가상 현실 디스플레이 모드와 증강 현실 디스플레이 모드 사이의 토글링을 위한) 토글(5214)에 대응하는 위치에서의 입력을 포함한다. 제어부에서의 입력에 응답하여 시뮬레이션된 환경을 제2 관찰 모드(예를 들어, VR 모드)로 디스플레이하는 것으로부터 시뮬레이션된 환경을 제1 관찰 모드(예를 들어, AR 모드)로 디스플레이하는 것으로 전이하는 것은 사용자가 원하는 관찰 모드를 선택하는 효율적이고 직관적인 방식을 제공한다. 관찰 모드의 전이를 야기하기 위한 제어부를 사용자에게 제공하는 것은 디바이스의 작동성을 향상시키고 사용자 디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제3 제스처를 검출한 것에 응답하여, 컴퓨터 시스템은 (예를 들어, 제1 가상 사용자 인터페이스 객체 및 가상 모델을 회전, 크기조정, 및/또는 이동시킴으로써) 제1 가상 사용자 인터페이스 객체의 포지션을 물리적 환경에 대한 현재 포지션으로부터 물리적 환경에 대한 이전 포지션으로 전이하여 제1 가상 사용자 인터페이스 객체와 물리적 환경 사이의 고정된 공간적 관계로 복귀한다(1042). 예를 들어, 도 5326 내지 도 5330에 도시된 바와 같이, 접촉(5356, 5360)에 의한 제스처에 응답하여, 가상 박스들(5302, 5304)이 회전되고, 크기조정되고, 이동되어, 도 5330에서, 가상 객체들(5302, 5304)은 가상 박스들(5302, 5304)이 도 533에서 물리적 기준 매트(5208a)에 대해 가졌던 포지션들(이때 디바이스(100)는 가상 객체들(5302, 5304)을 증강 현실 모드에서 디스플레이함)로 복귀된다. (예를 들어, 제1 관찰 모드로부터 제2 관찰 모드로 전이한 이후로 물리적 환경 내에서 디바이스가 이동된) 일부 상황들에서, 제2 관찰 모드로부터 제1 관찰 모드로 다시 전이한 후의 디스플레이 상의 제1 가상 사용자 인터페이스 객체의 포지션은 제1 관찰 모드로부터 제2 관찰 모드로 전이하기 전의 디스플레이 상의 제1 가상 사용자 인터페이스 객체의 포지션과 상이하다(예를 들어, 디바이스가 이동하여 제1 가상 사용자 인터페이스 객체에 대한 목적지 위치가 제1 관찰 모드로부터 제2 관찰 모드로 전이하기 이전보다 디스플레이 상의 상이한 포지션에 있기 때문임). 예를 들어, 도 5330에서의 디바이스(110)의 배향이 도 533에서의 디바이스(100)의 배향과 상이하기 때문에, 도 5330에서의 디스플레이(112) 상의 가상 박스들(5302, 5304)의 포지션은 도 533에서의 디스플레이(112) 상의 가상 박스들(5302, 5304)의 포지션과는 상이하다(다만 물리적 기준 매트(5208a)에 대한 가상 박스들(5302, 5304)의 포지션들은 도 533 및 도 5330에서 동일함). 객체를 물리적 환경과의 고정된 공간적 관계로 복귀시키기 위해 가상 사용자 인터페이스 객체의 포지션을 전이하는 것은 (예를 들어, 컴퓨터 시스템을 사용자 입력에 더 반응적으로 나타나게 함으로써) 사용자에게 제공되는 피드백을 개선하고, (예를 들어, 가상 사용자 인터페이스 객체가 물리적 환경과 고정된 공간적 관계를 갖는 관찰 모드로의 전이가 발생하고 있음을 사용자가 이해하는 것을 돕기 위해 시각적 큐를 제공함으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제3 제스처의 종료를 검출한 후에, 컴퓨터 시스템은 시뮬레이션된 환경을 제2 관찰 모드에서 디스플레이하는 것으로부터 시뮬레이션된 환경을 제1 관찰 모드에서 디스플레이하는 것으로 전이하는 것을 표시하기 위해 시뮬레이션된 환경 내의 가상 모델이 디스플레이되는 관점을 계속해서 변화시킨다(1044). 예를 들어, 도 5326 및 도 5327에서 가상 박스들(5302, 5304)의 크기를 증가시키는 디핀치-투-줌 아웃 입력을 제공한 접촉들(5356, 5360)의 리프트오프 이후에, 도 5328 내지 도 5330에서 가상 박스들(5302, 5304)의 디스플레이된 크기는 계속해서 증가한다. 일부 실시예들에서, 관점은, 예를 들어, 미리결정된 양만큼 관점을 변화시키기 위해 그리고/또는 시뮬레이션된 환경의 미리결정된 뷰를 제2 관찰 모드에서 디스플레이하기 위해, 컴퓨터 시스템(또는 다른 입력)의 일부분의 자세의 변경 없이 계속해서 변화된다. 제1 제스처가 종료된 후에 시뮬레이션된 환경의 관점을 계속해서 변화시키는 것은 (예를 들어, 포커스 선택자(들)(예를 들어, 하나 이상의 접촉들)의 이동에 대응하는 관점으로의 변화의 양을 증가시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
도 10a 내지 도 10e에서의 동작들이 기술된 특정 순서는 단지 일례이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 표시하는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 기술분야의 통상의 기술자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 추가적으로, 본 명세서에 기술된 다른 방법들(예를 들어, 방법들(600, 700, 800, 900, 1100, 1200, 1300))과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들이 도 10a 내지 도 10e와 관련하여 전술된 방법(1000)과 유사한 방식으로 또한 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법들(1000)과 관련하여 전술된 접촉들, 제스처들, 사용자 인터페이스 객체들, 포커스 표시자들, 및/또는 애니메이션들은 옵션적으로 본 명세서에 기술된 다른 방법들(예를 들어, 방법들(600, 700, 800, 900, 1100, 1200, 1300))과 관련하여 본 명세서에 기술된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 표시자들, 및/또는 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들은 여기서 반복되지 않는다.
도 11a 내지 도 11c는 일부 실시예들에 따른, 일부 실시예들에 따른, 제1 컴퓨터 시스템에 의해 디스플레이되는 시뮬레이션된 환경 내의 제2 컴퓨터 시스템의 관찰 관점의 표시를 업데이트하기 위한 방법(1100)을 예시한 흐름도들이다. 방법(1100)은, 디스플레이 생성 컴포넌트(예를 들어, 디스플레이, 프로젝터, 헤드-업 디스플레이 등) 및 입력 디바이스(예를 들어, 터치 감응형 원격 제어부와 같은 터치 감응형 표면, 또는 디스플레이 생성 컴포넌트로서 또한 기능하는 터치 스크린 디스플레이, 마우스, 조이스틱, 완드 제어기, 및/또는 사용자의 손들과 같은 사용자의 하나 이상의 특징들의 포지션을 추적하는 카메라들), 옵션적으로 하나 이상의 카메라들(예를 들어, 카메라들의 시야 내에 있고 옵션적으로 카메라들의 시야 내의 콘텐츠들을 캡처하는 하나 이상의 이미지 프레임들의 스트림들을 포함하는 비디오 출력들을 생성하는 콘텐츠들의 적어도 일부분의 라이브 프리뷰를 연속적으로 제공하는 비디오 카메라들), 옵션적으로 하나 이상의 자세 센서들, 옵션적으로 터치 감응형 표면과의 접촉들의 세기를 검출하는 하나 이상의 센서들, 및 옵션적으로 하나 이상의 촉각적 출력 생성기들을 포함하는(그리고/또는 이와 통신하는) 컴퓨터 시스템(예를 들어, 휴대용 다기능 디바이스(100)(도 1a), 디바이스(300)(도 3a), 또는 헤드셋(5008) 및 입력 디바이스(5010)를 포함하는 다중-컴포넌트 컴퓨터 시스템(도 512))에서 수행된다. 일부 실시예들에서, (예를 들어, 터치 감응형 표면을 갖는) 입력 디바이스 및 디스플레이 생성 컴포넌트는 터치 감응형 디스플레이에 통합된다. 도 3b 내지 도 3d와 관련하여 전술된 바와 같이, 일부 실시예들에서, 방법(1100)은 컴퓨터 시스템(301)(예를 들어, 컴퓨터 시스템(301-a, 301-b, 또는 301-c))에서 수행되며, 여기서 디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 하나 이상의 입력 디바이스들, 및 옵션적으로 하나 이상의 자세 센서들과 같은 각자의 컴포넌트들은 각각 컴퓨터 시스템(301) 내에 포함되거나 그와 통신한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트는 터치 스크린 디스플레이이고, (예를 들어, 터치 감응형 표면을 갖는) 입력 디바이스는 디스플레이 생성 컴포넌트 상에 있거나 그와 통합된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 입력 디바이스와 별개이다(예를 들어, 도 4b 및 도 512에 도시된 바와 같음). 방법(1100)에서의 일부 동작들이 옵션적으로 조합되고/되거나, 일부 동작들의 순서는 옵션적으로 변경된다.
설명의 편의를 위해, 실시예들의 일부는 (예를 들어, 터치 스크린(112)을 갖는 디바이스(100) 상의) 터치 감응형 디스플레이 시스템(112) 및 하나 이상의 통합된 카메라들을 갖는 컴퓨터 시스템 상에서 수행되는 동작들을 참조하여 논의될 것이다. 그러나, 유사한 동작들이, 옵션적으로, 헤드셋(5008)의 디스플레이 상의 도면들에 도시된 사용자 인터페이스들을 디스플레이하는 동안 입력 디바이스(5010)의 터치 감응형 표면 상의 접촉들을 검출한 것에 응답하여, 헤드셋(5008) 및 터치 감응형 표면을 갖는 별개의 입력 디바이스(5010)를 갖는 컴퓨터 시스템(예를 들어, 도 512에 도시된 바와 같음) 상에서 수행된다. 유사하게, 유사한 동작들이, 옵션적으로, 컴퓨터 시스템의 하나 이상의 다른 컴포넌트들(예를 들어, 입력 디바이스)로부터 별도로 구현되는 (예를 들어, 헤드셋 내의) 하나 이상의 카메라들을 갖는 컴퓨터 시스템 상에서 수행되며; 그리고 일부 그러한 실시예들에서, "컴퓨터 시스템의 이동"은 컴퓨터 시스템의 하나 이상의 카메라들의 이동, 또는 컴퓨터 시스템과 통신하는 하나 이상의 카메라들의 이동에 대응한다.
아래에 설명되는 바와 같이, 방법(1100)은 제2 사용자의 제2 컴퓨터 시스템의 관찰 관점의 시각적 표시를 디스플레이하는 제1 사용자의 제1 컴퓨터 시스템에 관한 것이다. 시각적 표시는 제1 사용자의 물리적 환경에 대해 배향되는 시뮬레이션된 환경 내에 디스플레이된다. 제2 컴퓨터 시스템의 관찰 관점이 변경될 때, 관찰 관점의 시각적 표시가 업데이트된다. 제1 컴퓨터 시스템들에 의해 디스플레이되는 시뮬레이션된 환경 내의 제2 컴퓨터 시스템의 관찰 관점의 시각적 표시를 업데이트하는 것은 다수의 컴퓨터 시스템들의 사용자들 사이의 협업을 가능하게 한다. 다수의 디바이스들의 사용자들 사이에서의 협업을 가능하게 하는 것은 (예를 들어, 제2 컴퓨터 시스템의 제2 사용자가 태스크에 기여할 수 있게 하여 제1 컴퓨터 시스템의 제1 사용자에 의해 요구되는 태스크에 대한 기여의 양을 감소시킴으로써) 제1 사용자가 시뮬레이션된 환경 내의 동작들을 수행할 수 있는 효율을 증가시키며, 이에 의해 컴퓨터 시스템의 작동성을 향상시키는데, 이는 추가적으로, 사용자가 컴퓨터 시스템을 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
제1 컴퓨터 시스템(예를 들어, 도 541의 디바이스(5406))은, 제1 컴퓨터 시스템의 제1 디스플레이 생성 컴포넌트를 통해, 제1 컴퓨터 시스템의 제1 물리적 환경에 대해 배향되는 시뮬레이션된 환경(예를 들어, 가상 현실 환경 또는 증강 현실 환경)을 디스플레이한다(1102)(예를 들어, 도 542의 디바이스(5406)의 디스플레이(5418)에 도시된 바와 같음). 시뮬레이션된 환경을 디스플레이하는 것은, 제1 컴퓨터 시스템(5406)의 제1 물리적 환경과 연관된 시뮬레이션된 환경 내의 각자의 위치에 디스플레이되는 가상 모델(예를 들어, 렌더링된 3D 모델) 내의 제1 가상 사용자 인터페이스 객체(예를 들어, 가상 박스(5420), 도 543b)(예를 들어, 렌더링된 3D 모델의 시각적 외관(예를 들어, 크기, 위치 및 배향에 반영된 바와 같음)은 컴퓨터 시스템이 물리적 환경 내에서 테이블 상부 또는 다른 표면에 대해 위치되고 배향되는 방식에 따라 변경됨) 및 시뮬레이션된 환경의 제2 컴퓨터 시스템(5412)의 관찰 관점의 시각적 표시(예를 들어, 관찰 관점 표시자(5432), 도 543b)를 동시에 디스플레이하는 것을 포함한다(1104). 제2 컴퓨터 시스템(5412)은 제2 디스플레이 생성 컴포넌트(예를 들어, 디스플레이, 프로젝터, 헤드-업 디스플레이 등), 하나 이상의 제2 자세 센서들(예를 들어, 하나 이상의 카메라들, 자이로스코프들, 관성 측정 유닛들, 또는 컴퓨터 시스템이 컴퓨터 시스템의 물리적 환경에 대한 컴퓨터 시스템의 배향 및/또는 포지션의 변경들을 검출할 수 있게 하는 다른 센서들), 및 제2 컴퓨터 시스템의 제2 디스플레이 생성 컴포넌트를 통해(예를 들어, 도 543c에 도시된 바와 같음), 제2 컴퓨터 시스템(5412)의 제2 물리적 환경에 대해 배향되는 시뮬레이션된 환경의 뷰(예를 들어, 제2 컴퓨터 시스템의 카메라로부터 출력된 라이브 이미지의 적어도 일부분 상에 오버레이된 제1 가상 사용자 인터페이스 객체(5402)를 포함하는 증강 현실 뷰)를 디스플레이하는 제2 입력 디바이스(예를 들어, 터치 감응형 표면)를 갖는 컴퓨터 시스템이다.
제1 컴퓨터 시스템의 제1 디스플레이 생성 컴포넌트를 통해 시뮬레이션된 환경을 디스플레이하는 동안, 제1 컴퓨터 시스템(5406)은 제2 컴퓨터 시스템의 제2 물리적 환경에 대한 제2 컴퓨터 시스템의 일부분의 자세의 변경(예를 들어, 제2 컴퓨터 시스템의 일부분의 자세의 변경 및/또는 물리적 환경의 적어도 일부분의 자세의 변경, 예컨대 제2 컴퓨터 시스템에 의해 마커로서 사용되는 물리적 객체의 자세의 변경)에 기초하여, 시뮬레이션된 환경의 제2 컴퓨터 시스템(5412)의 관찰 관점의 변경을 검출한다(1106)(예를 들어, 도 543 및 도 544에 예시된 바와 같음).
제2 컴퓨터 시스템의 물리적 환경에 대한 제2 컴퓨터 시스템(5412)의 일부분의 자세의 변경에 기초한 시뮬레이션된 환경의 제2 컴퓨터 시스템의 관찰 관점의 변경을 검출한 것에 응답하여, 제1 컴퓨터 시스템(5406)은 시뮬레이션된 환경의 제2 컴퓨터 시스템(5412)의 관찰 관점의 변경에 따라 제1 컴퓨터 시스템(5406)의 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 시뮬레이션된 환경의 제2 컴퓨터 시스템(5412)의 관찰 관점의 시각적 표시를 업데이트한다(1108). 예를 들어, 도 543b에 도시된 바와 같이, 제1 컴퓨터 시스템(5406)의 디스플레이는 제2 컴퓨터 시스템(5412)에 대응하는 관찰 관점 표시자(5432)를 디스플레이한다. 관찰 관점 표시자(5432)는 제2 컴퓨터 시스템(5412)의 포지션의 변경에 기초하여 도 543b로부터 도 544b로 업데이트된다(도 543a 내지 도 544a에 도시된 바와 같음).
일부 실시예들에서, 제2 컴퓨터 시스템의 관찰 관점의 시각적 표시는 제2 컴퓨터 시스템에 대응하는 시뮬레이션된 환경 내의 포지션에 디스플레이되는 제2 컴퓨터 시스템의 표현(예를 들어, 제1 컴퓨터 시스템의 하나 이상의 카메라들 및/또는 제2 컴퓨터 시스템의 가상 표현에 의해 검출된 제2 컴퓨터 시스템의 뷰)을 포함한다(1110). 예를 들어, 도 543b에 도시된 바와 같이, 제1 컴퓨터 시스템(5406)의 디스플레이는 제2 컴퓨터 시스템(5412)에 대응하는 아바타(5428)를 디스플레이한다. 제2 컴퓨터 시스템에 대응하는 포지션에서 제2 컴퓨터 시스템의 표현을 디스플레이하는 것은 (예를 들어, 관찰 관점의 시각적 표시가 원격 컴퓨터 시스템에 대응한다는 것을 사용자가 이해하도록 돕기 위해) 제2 컴퓨터 시스템에 대한, 제1 사용자에게 이용가능한 정보를 개선한다. 제2 컴퓨터 시스템에 대한, 제1 사용자에게 이용가능한 정보를 개선하는 것은 (예를 들어, 사용자가 다른 사용자들과 더 효과적으로 협업하게 허용함으로써) 디바이스의 작동성을 향상시키며, 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하게 허용함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제2 컴퓨터 시스템의 표현은 제2 컴퓨터 시스템에 대응하는 식별 표시자(예를 들어, 텍스트, 2D 이미지(예를 들어, 이모지 또는 사진), 및/또는 3D 모델)를 포함한다(1112). 예를 들어, 도 543b에 도시된 바와 같은 아바타(5428)는 제2 컴퓨터 시스템(5412)에 대응하는 식별 표시자이다. 제2 컴퓨터 시스템에 대응하는 포지션에서 제2 컴퓨터 시스템에 대한 식별 표시자를 디스플레이하는 것은 제2 컴퓨터 시스템에 대한, 제1 사용자에게 이용가능한 정보를 개선한다. 제2 컴퓨터 시스템들에 대해 제1 사용자에게 이용가능한 정보를 개선하는 것은 (예를 들어, 제1 사용자가 제2 사용자의 관찰 관점의 시각적 표시자와 원격 컴퓨팅 시스템들의 다른 사용자들의 관찰 관점들의 시각적 표시자들 사이를 구별하도록 도움으로써) 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제2 컴퓨터 시스템(5412)의 관찰 관점의 시각적 표시는 제2 컴퓨터 시스템의 시선(line of sight)을 표시하기 위해, 제2 컴퓨터 시스템(5412)에 대응하는 시뮬레이션된 환경 내의 포지션으로부터 (예를 들어, 입자들의 원뿔과 같은 원뿔 또는 하나 이상의 광선들로서) 나오는 표시자(5432)를 포함한다(1114). 일부 실시예들에서, 하나 이상의 광선들은 가상 모델 내의 (임의의) 사용자 인터페이스 객체들까지 연장되지 않은 적어도 하나의 광선을 포함한다. 예를 들어, 하나 이상의 광선들은 제1 가상 사용자 인터페이스 객체(5420)에 연결되지 않는다. 일부 실시예들에서, 시각적 표시자(5432)는 제2 컴퓨터 시스템(5412)의 시야를 더 정확하게 표시하기 위해, 제2 컴퓨터 시스템(5412)의 표현으로부터 더 멀리 연장될수록 더 넓어진다. 제2 컴퓨터 시스템의 시선을 표시하기 위한 표시자를 디스플레이하는 것은 (예를 들어, 제1 사용자가 제2 컴퓨터 시스템의 디스플레이상에서 제2 사용자가 관찰하고 있는 것이 무엇인지와, 그 뷰 내에서 제2 사용자가 잠재적으로 상호작용할 객체를 이해하도록 돕기 위한 큐를 제공함으로써) 제2 컴퓨터 시스템에 대한, 제1 사용자에게 이용가능한 정보를 개선한다. 제2 컴퓨터 시스템에 대한, 제1 사용자에게 이용가능한 정보를 개선하는 것은 (예를 들어, 사용자가 다른 사용자들과 보다 효과적으로 협력하게 허용함으로써) 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 제1 사용자가 디바이스를 더 신속하고 효율적으로 사용하게 허용함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 시뮬레이션된 환경을 디스플레이하는 것은, 시뮬레이션된 환경 내의 제2 컴퓨터 시스템(5412)이 제1 가상 사용자 인터페이스 객체(5420)와 상호작용하고 있다는 결정에 따라(예를 들어, 제2 컴퓨터 시스템이 제1 사용자 인터페이스 객체(5420)를 선택했고, 제1 사용자 인터페이스 객체(5420)를 이동시키고/시키거나 제1 사용자 인터페이스 객체(5420)의 크기 및/또는 형상을 변경하고 있음), 제1 컴퓨터 시스템(5406)의 제1 디스플레이 생성 컴포넌트를 통해, 제1 가상 사용자 인터페이스 객체(5420)와 시각적으로 연관된 상호작용 표시자(예를 들어, 도 545b에 도시된 바와 같은 상호작용 표시자(5452))를 디스플레이하는 것을 포함한다(1116). 일부 실시예들에서, 시뮬레이션된 환경 내의 제2 컴퓨터 시스템(5412)이 제2 가상 사용자 인터페이스 객체와 상호작용하고 있다는 결정에 따라(예를 들어, 제2 컴퓨터 시스템(5412)이 제2 사용자 인터페이스 객체를 선택했고, 제2 사용자 인터페이스 객체를 이동시키고/시키거나 제2 사용자 인터페이스 객체의 크기 및/또는 형상을 변경하고 있음), 제1 컴퓨터 시스템(5406)은 제1 컴퓨터 시스템의 제1 디스플레이 생성 컴포넌트를 통해, 제2 가상 사용자 인터페이스 객체와 시각적으로 연관된 상호작용 표시자를 디스플레이한다. 제2 컴퓨터 시스템(5412)이 상호작용하고 있는 가상 사용자 인터페이스 객체를 표시하는 상호작용 표시자(5452)를 디스플레이하는 것은 다수의 컴퓨터 시스템들의 사용자들 사이의 협업을 개선한다. 다수의 컴퓨터 시스템들의 사용자들 사이의 협업을 개선하는 것은 (예를 들어, 제2 컴퓨터 시스템의 제2 사용자가 가상 사용자 인터페이스 객체를 수반하는 태스크들에 기여할 수 있게 하여 제1 컴퓨터 시스템의 제1 사용자에 의해 요구되는 태스크에 대한 기여의 양을 감소시킴으로써) 사용자가 시뮬레이션된 환경 내에서 동작들을 수행하는 효율을 증가시키며, 이에 의해 컴퓨터 시스템의 작동성을 향상시키는데, 이는 추가적으로, 사용자가 컴퓨터 시스템을 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 시뮬레이션된 환경을 디스플레이하는 것은, 제2 컴퓨터 시스템(5412)과 제1 가상 사용자 인터페이스 객체(5420)의 상호작용이 객체 조작 입력을 포함한다는 결정에 따라, 객체 조작 입력에 따라 (예를 들어, 제1 가상 사용자 인터페이스 객체(5420)의 크기, 형상, 및/또는 포지션을 이동, 확장, 수축, 및/또는 달리 변경함으로써) 제1 가상 사용자 인터페이스 객체의 외관을 변경하는 것을 포함한다(1118). 예를 들어, 도 545b 내지 도 546b에서, 가상 사용자 인터페이스 객체(5420)는 도 545c 내지 도 546c에 예시된 이동 입력에 응답하여 이동된다. 도 549b 내지 도 5410b에서, 가상 사용자 인터페이스 객체(5420)의 크기는 도 549c 내지 도 5410c에 예시된 크기조정 입력에 응답하여 변경된다. 가상 사용자 인터페이스 객체를 조작하는 제2 컴퓨터 시스템에 의한 입력에 따라 가상 사용자 인터페이스 객체의 외관을 변경하는 것은 다수의 컴퓨터 시스템들의 사용자들 사이의 협업을 개선한다. 다수의 컴퓨터 시스템들의 사용자들 사이의 협업을 개선하는 것은 (예를 들어, 제1 사용자에게 가상 사용자 인터페이스 객체를 수반하는 태스크에 대한 제2 사용자에 의한 기여도들을 공개하고, 제1 컴퓨터 시스템의 제1 사용자에 의해 요구되는 태스크에 대한 기여의 양을 감소시킴으로써) 사용자가 시뮬레이션된 환경 내의 동작들을 수행하는 효율을 증가시키며, 이에 의해 컴퓨터 시스템의 작동성을 향상시키는데, 이는 추가적으로, 사용자가 컴퓨터 시스템을 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 객체 조작 입력에 따라 제1 가상 사용자 인터페이스 객체(5420)의 외관을 변경하는 것은 제1 가상 사용자 인터페이스 객체(5420)와 시각적으로 연관된 상호작용 표시자(5452)의 이동 및 객체 조작 입력에 대응하는 상호작용 표시자의 이동을 디스플레이하는 것을 포함한다(1120)(예를 들어, 도 545b 내지 도 546b에 도시된 바와 같음). 예를 들어, 상호작용 표시자(5452)의 일부분(예를 들어, 상호작용 표시자(5452)의 종점)이 제1 가상 사용자 인터페이스 객체(5420) 상의 소정 지점에 대응하는 위치에 디스플레이되어, 그 일부분은, 제1 가상 사용자 인터페이스 객체 상의 소정 지점이 제1 가상 사용자 인터페이스 객체의 포지션 및/또는 크기의 변경에 기인하여 변경됨에 따라 이동한다. 가상 사용자 인터페이스 객체를 조작하는 제2 컴퓨터 시스템의 입력에 따라 상호작용 표시자를 이동시키는 것은 (예를 들어, 가상 사용자 인터페이스 객체의 변경과 제2 컴퓨터 시스템의 사이의 연결에 관한 시각적 큐를 제1 사용자에게 제공하여 가상 사용자 인터페이스 객체가 제2 컴퓨터 시스템에서 수신된 입력의 결과로서 변경된다는 것을 사용자가 이해하도록 도움으로써) 제2 컴퓨터 시스템에 대한, 제1 사용자에게 이용가능한 정보를 개선한다. 제1 사용자에게 이용가능한 정보를 개선하는 것은 (예를 들어, 제1 사용자가 다른 사용자들과 보다 효과적으로 협력하게 함으로써) 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 상호작용 표시자(5452)는 시뮬레이션된 환경 내의 제2 컴퓨터 시스템에 대응하는 포지션과 제1 가상 사용자 인터페이스 객체 사이의 연결의 시각적 표시(예를 들어, 라인)를 포함한다(1122). 예를 들어, 도 545b에서, 상호작용 표시자(5452)는 아바타(5428)(제2 컴퓨터 시스템(5412)을 식별함)와 가상 박스(5420) 사이의 라인으로서 도시된다. 제2 컴퓨터 시스템의 디스플레이된 포지션과 가상 사용자 인터페이스 객체 사이의 연결의 시각적 표시를 포함하는 상호작용 표시자를 디스플레이하는 것은 (예를 들어, 가상 사용자 인터페이스 객체와 상호작용하는 제2 컴퓨터 시스템과 가상 사용자 인터페이스 객체사이의 연결에 관한 시각적 큐를 제1 사용자에게 제공하여 제2 컴퓨터 시스템이 가상 사용자 인터페이스 객체와 상호작용하고 있다는 것을 사용자가 이해하도록 도움으로써) 제2 컴퓨터 시스템에 대한, 제1 사용자에게 이용가능한 정보를 개선한다. 제1 사용자에게 이용가능한 정보를 개선하는 것은 (예를 들어, 제1 사용자가 다른 사용자들과 보다 효과적으로 협력하게 함으로써) 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 상호작용 표시자(5452)는 제1 사용자 인터페이스 객체(5420)와의 상호작용의 지점(예를 들어, 도 545b의 제어 핸들(5454))의 시각적 표시를 포함한다(1124). 예를 들어, 연결의 시각적 표시가 제1 사용자 인터페이스 객체(5420)와 만나는 지점에서 연결 지점(예를 들어, 도트)이 디스플레이된다. 일부 실시예들에서, 연결 지점은 점, 측면, 제어 핸들, 또는 사용자가 상호작용하는 객체의 다른 일부분을 나타낸다. 일부 실시예들에서, 제2 컴퓨터 시스템이 제1 사용자 인터페이스 객체의 상이한 부분과 상호작용하기 시작할 때, 상호작용 표시자는 제1 사용자 인터페이스 객체와 제2 컴퓨터 시스템 사이의 상호작용 지점을 표시하도록 변경된다. 가상 사용자 인터페이스 객체와의 상호작용 지점의 시각적 표시를 포함하는 상호작용 표시자를 디스플레이하는 것은 (예를 들어, 제2 컴퓨터 시스템이 가상 사용자 인터페이스 객체와 상호작용하는 방식에 관한 시각적 큐를 제1 사용자에게 제공하여 사용자가 제2 컴퓨터 시스템이 가상 사용자 인터페이스 객체와 상호작용하는 방식을 이해하고 제2 컴퓨터 시스템에 의해 이루어질 변경들을 예측하도록 도움으로써) 제2 컴퓨터 시스템에 대한, 제1 사용자에게 이용가능한 정보를 개선한다. 제1 사용자에게 이용가능한 정보를 개선하는 것은 (예를 들어, 제1 사용자가 다른 사용자들과 보다 효과적으로 협력하게 함으로써) 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 시뮬레이션된 환경을 디스플레이하는 것은, (예를 들어, 제1 컴퓨터 시스템의 하나 이상의 센서들, 예컨대, 하나 이상의 카메라들(예를 들어, 카메라들의 시야 내에 있는 콘텐츠들의 적어도 일부분의 라이브 프리뷰를 연속적으로 제공하고 옵션적으로 카메라들의 시야 내의 콘텐츠들을 캡처하는 이미지 프레임들의 하나 이상의 스트림들을 포함하는 비디오 출력들을 생성하는 비디오 카메라들)을 사용하여) 제1 컴퓨터 시스템(5406)을 통해, 제1 물리적 환경 내의 제1 물리적 기준 객체(예를 들어, 제1 기준 매트(5416a), 도 544a)를 검출하는 것을 포함한다(1126). 일부 실시예들에서, 물리적 기준 객체는 포지션을 검출하기 위한 하나 이상의 센서들 및 포지션 정보를 전송하도록 구성된 하나 이상의 통신 컴포넌트들을 포함하는 디바이스이다. 일부 실시예들에서, 물리적 기준 객체의 포지션은 제1 물리적 기준 객체 및 제1 컴퓨터 시스템으로부터 원격에 있는 디바이스에 의해 검출된다. 일부 실시예들에서, 시뮬레이션된 환경을 디스플레이하는 것은 또한, 제1 컴퓨터 시스템의 제1 디스플레이 생성 컴포넌트를 통해 디스플레이된 시뮬레이션된 환경 내에서, 제1 물리적 기준 객체에 대한 포지션에서 제1 가상 사용자 인터페이스 객체(5420)(예를 들어, 제1 물리적 기준 객체의 라이브 카메라 뷰 및/또는 제1 물리적 기준 객체에 대응하는 가상 모델과 같은 제1 물리적 기준 객체의 시각적 표현)를 디스플레이하는 것을 포함한다. 제2 컴퓨터 시스템(5412)의 관찰 관점의 변경을 검출한 것에 응답하여, 제1 컴퓨터 시스템은 제1 물리적 기준 객체(5416a)에 대한 상호작용 표시자(5462)의 포지션을 업데이트한다(예를 들어, 도 549a 내지 도 5410a 및 도 549b 내지 도 5410b에 도시된 바와 같이, 포지션 상호작용 표시자(5462)는 디바이스(5412)의 포지션이 변경됨에 따라 변경됨. 일부 실시예들에서, 제2 컴퓨터 시스템(5412)의 관찰 관점의 시각적 표시(5432)가 또한 제2 컴퓨터 시스템의 관찰 관점의 변경을 표시하도록 업데이트된다. 제2 컴퓨터 시스템의 관찰 관점이 변경됨에 따라 물리적 기준 객체에 대한 상호작용 표시자의 포지션을 업데이트하는 것은 (예를 들어, 제2 컴퓨터 시스템과 물리적 환경의 상대적인 포지셔닝에 대한 시각적 큐를 제1 사용자에게 제공하여 제2 컴퓨터 시스템의 제2 사용자가 시뮬레이션된 환경을 관찰하는 방식을 제1 사용자가 이해하도록 도움으로써) 제2 컴퓨터 시스템에 대한, 제1 사용자에게 이용가능한 정보를 개선한다. 제1 사용자에게 이용가능한 정보를 개선하는 것은 (예를 들어, 제1 사용자가 다른 사용자들과 보다 효과적으로 협력하게 함으로써) 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제2 컴퓨터 시스템의 제2 물리적 환경은 제1 컴퓨터 시스템의 제1 물리적 환경과 구별된다(1128). 예를 들어, 도 5412b는 제1 물리적 환경(5400)과 구별되는 제2 물리적 환경(5470)을 예시한다. 제2 컴퓨터 시스템(예를 들어, 도 5412b의 디바이스(5478))은 제2 물리적 환경(5470) 내의 제2 물리적 기준 객체(예를 들어, 제2 기준 매트(5476a))를 (예를 들어, 하나 이상의 카메라들과 같은 제2 컴퓨터 시스템의 하나 이상의 센서들을 사용하여) 검출한다. 일부 실시예들에서, 제1 물리적 기준 객체(예를 들어, 물리적 기준 매트(5416a), 도 5412a) 및 제2 물리적 기준 객체(예를 들어, 물리적 기준 매트(5476a), 도 5412b)는 하나 이상의 공유된 특성들(예를 들어, 동일한 영역, 형상, 및/또는 기준 패턴)을 갖는다. 일부 실시예들에서, 제2 컴퓨터 시스템의 제2 디스플레이 생성 컴포넌트를 통해 디스플레이되는 시뮬레이션된 환경 내에서(예를 들어, 도 5414c에 도시된 바와 같음), 제1 가상 사용자 인터페이스 객체(5420)는 제2 물리적 기준 객체에 대한 위치에서 디스플레이된다(예를 들어, 제2 물리적 기준 객체(5476a)의 라이브 카메라 뷰(5476b) 및/또는 제2 물리적 기준 객체에 대응하는(예를 들어, 그의 라이브 카메라 뷰에 앵커링되는) 가상 모델과 같은, 제2 물리적 기준 객체(5476a)의 시각적 표현(5476b))이 제1 물리적 기준 객체(5416a)에 대한 제1 가상 사용자 인터페이스 객체(5420)의 위치. 예를 들어, 제2 앵커링 포지션은, 제1 기준 객체(5146a)의 경계에 대한 제1 앵커링 포지션의 포지션과 같이, 제2 물리적 기준 객체(5476a)의 경계에 대한 동일한 포지션에 있다(예를 들어, 제1 앵커링 포지션이 제1 물리적 기준 객체(5146a)의 중심에 있는 경우, 제2 앵커링 포지션은 제2 물리적 기준 객체(5476a)의 중심에 있고/있거나, 역도 또한 같음). 이동 입력이 제1 가상 사용자 인터페이스 객체의 포지션을 제1 물리적 기준 객체에 대한 제1 경로를 따라 이동하게 하는 경우, 제2 디스플레이 생성 컴포넌트를 통해 디스플레이된 시뮬레이션된 환경 내의 제1 가상 사용자 인터페이스 객체의 포지션은 제1 물리적 기준 객체에 대한 제1 경로와 동일한 궤적을 갖는 제2 물리적 기준 객체에 대한 제2 경로를 따라 이동한다. 제1 컴퓨터 시스템에 의해 디스플레이되는 시뮬레이션된 환경 내의 제1 물리적 기준 객체에 대한 위치에 가상 사용자 인터페이스 객체를 디스플레이하고, 제2 컴퓨터 시스템에 의해 디스플레이되는 시뮬레이션된 환경 내의 제2 물리적 기준 객체에 대한 위치에 동일한 가상 사용자 인터페이스 객체를 디스플레이하는 것은 제1 사용자 및 제2 사용자가 동일한 물리적 위치에 있지 않은 동안 공유된 시뮬레이션된 환경 내에서 제1 사용자 및 제2 사용자가 협력할 수 있게 한다. 제1 사용자 및 제2 사용자가 동일한 물리적 위치에 있지 않은 동안 공유된 시뮬레이션된 환경 내에서 제1 사용자 및 제2 사용자가 협업할 수 있게 하는 것은 다수의 컴퓨터 시스템들의 사용자들 사이의 협업을 개선하며, 이는 (예를 들어, 제1 사용자에게 가상 사용자 인터페이스 객체를 수반하는 태스크에 대한 제2 사용자에 의한 기여도들을 공개하고, 제1 컴퓨터 시스템의 제1 사용자에 의해 요구되는 태스크에 대한 기여의 양을 감소시킴으로써) 사용자가 시뮬레이션된 환경 내의 동작들을 수행하는 효율을 증가시키며, 이에 의해 컴퓨터 시스템의 작동성을 향상시키는데, 이는 추가적으로, 사용자가 컴퓨터 시스템을 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 컴퓨터 시스템의 제1 물리적 환경(5400)은 제2 컴퓨터 시스템의 제2 물리적 환경의 적어도 일부분을 포함하며(예를 들어, 도 541에 도시된 바와 같이, 제1 컴퓨터 시스템(5408) 및 제2 컴퓨터 시스템(5412)은 동일한 (로컬) 물리적 공간 내에 있음), 제2 컴퓨터 시스템(예를 들어, 제2 컴퓨터 시스템의 라이브 이미지 및/또는 제2 컴퓨터 시스템의 가상 버전(예를 들어, 제2 컴퓨터 시스템의 라이브 이미지 위에 오버레이됨))은 제1 디스플레이 생성 컴포넌트를 통해 디스플레이되는 시뮬레이션된 환경 내에서 가시적이다(1130). 예를 들어, 도 544b에서, 디바이스(5412)의 표현(5430)(예를 들어, 디바이스(5406)의 카메라에 의해 캡처된 바와 같은 디바이스(5412)의 뷰 및/또는 디바이스(5412)의 렌더링된 버전)이 도시된다. 제1 컴퓨터 시스템과 제2 컴퓨터 시스템이 적어도 부분적으로 동일한 물리적 환경 내에 있을 때 제1 컴퓨터 시스템에 의해 디스플레이된 시뮬레이션된 환경 내에 제2 컴퓨터 시스템을 디스플레이하는 것은 (예를 들어, 제1 사용자가 제1 컴퓨터 시스템에 대한 제2 컴퓨터 시스템의 위치를 이해하도록 도움으로써) 제1 컴퓨터 시스템의 제1 사용자와 제2 컴퓨터 시스템의 제2 사용자 사이의 협업을 개선한다. 제1 컴퓨터 시스템의 제1 사용자와 제2 컴퓨터 시스템의 제2 사용자 사이의 협업을 개선하는 것은 제1 사용자가 시뮬레이션된 환경 내의 동작들을 수행하는 효율을 증가시키며, 이에 의해 컴퓨터 시스템의 작동성을 향상시키는데, 이는 추가적으로, 사용자가 컴퓨터 시스템을 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 컴퓨터 시스템은, 제1 입력 디바이스(5406)에 의해, 원격 디바이스 관점 입력(예를 들어, 버튼 및/또는 메뉴 항목과 같은 사용자 인터페이스 제어부에서 검출된 입력, 또는 스와이프 제스처와 같은 제스처 입력)을 검출하고, 원격 디바이스 관점 입력을 검출한 것에 응답하여, 제1 컴퓨터 시스템은 제1 컴퓨터 시스템의 제1 물리적 환경에 대해 배향되는 시뮬레이션된 환경의 디스플레이를 제2 컴퓨터 시스템의 제2 물리적 환경에 대해 배향되는 시뮬레이션된 환경의 디스플레이로 대체한다(1132). 예를 들어, 입력에 응답하여, 디바이스(5406)는 디바이스(5412)의 뷰, 예컨대 도 544c에 예시된 뷰를 디스플레이한다. 제1 컴퓨터 시스템의 제1 입력 디바이스에서의 입력에 응답하여 제1 컴퓨터 시스템의 시뮬레이션된 환경의 디스플레이를 제2 컴퓨터 시스템의 시뮬레이션된 환경의 디스플레이로 대체하는 것은 (예를 들어, 제1 사용자가 다른 사용자의 관점을 정확하게 가시화할 수 있게 함으로써) 제1 컴퓨터 시스템의 제1 사용자와 제2 컴퓨터 시스템의 제2 사용자 사이의 협업을 개선한다. 제1 컴퓨터 시스템의 제1 사용자와 제2 컴퓨터 시스템의 제2 사용자 사이의 협업을 개선하는 것은 (예를 들어, 제1 사용자가 관찰된 사용자 인터페이스 객체에 대해 정확하게 통신하기 위해 제2 사용자의 관점에 대한 정보를 사용하게 허용함으로써) 제1 사용자가 시뮬레이션된 환경 내의 동작들을 수행하는 효율을 증가시키며, 이에 의해 컴퓨터 시스템의 작동성을 향상시키는데, 이는 추가적으로, 사용자가 컴퓨터 시스템을 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
도 11a 내지 도 11c에서의 동작들이 기술된 특정 순서는 단지 일례이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 표시하는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 기술분야의 통상의 기술자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 추가적으로, 본 명세서에 기술된 다른 방법들(예를 들어, 방법들(600, 700, 800, 900, 1000, 1200, 1300))과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들이 도 11a 내지 도 11c와 관련하여 전술된 방법(1100)과 유사한 방식으로 또한 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법들(1100)과 관련하여 전술된 접촉들, 제스처들, 사용자 인터페이스 객체들, 포커스 표시자들, 및/또는 애니메이션들은 옵션적으로 본 명세서에 기술된 다른 방법들(예를 들어, 방법들(600, 700, 800, 900, 1000, 1200, 1300))과 관련하여 본 명세서에 기술된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 표시자들, 및/또는 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들은 여기서 반복되지 않는다.
도 12a 내지 도 12d는, 일부 실시예들에 따른, 삽입 커서의 배치를 위한 방법(1200)을 예시하는 흐름도들이다. 방법(1200)은, 디스플레이 생성 컴포넌트(예를 들어, 디스플레이, 프로젝터, 헤드-업 디스플레이 등) 및 입력 디바이스(예를 들어, 터치 감응형 원격 제어부와 같은 터치 감응형 표면, 또는 디스플레이 생성 컴포넌트로서 또한 기능하는 터치 스크린 디스플레이, 마우스, 조이스틱, 완드 제어기, 및/또는 사용자의 손들과 같은 사용자의 하나 이상의 특징들의 포지션을 추적하는 카메라들), 옵션적으로 하나 이상의 카메라들(예를 들어, 카메라들의 시야 내에 있고 옵션적으로 카메라들의 시야 내의 콘텐츠들을 캡처하는 하나 이상의 이미지 프레임들의 스트림들을 포함하는 비디오 출력들을 생성하는 콘텐츠들의 적어도 일부분의 라이브 프리뷰를 연속적으로 제공하는 비디오 카메라들), 옵션적으로 하나 이상의 자세 센서들, 옵션적으로 터치 감응형 표면과의 접촉들의 세기를 검출하는 하나 이상의 센서들, 및 옵션적으로 하나 이상의 촉각적 출력 생성기들을 포함하는(그리고/또는 이와 통신하는) 컴퓨터 시스템(예를 들어, 휴대용 다기능 디바이스(100)(도 1a), 디바이스(300)(도 3a), 또는 헤드셋(5008) 및 입력 디바이스(5010)를 포함하는 다중-컴포넌트 컴퓨터 시스템(도 512))에서 수행된다. 일부 실시예들에서, (예를 들어, 터치 감응형 표면을 갖는) 입력 디바이스 및 디스플레이 생성 컴포넌트는 터치 감응형 디스플레이에 통합된다. 도 3b 내지 도 3d와 관련하여 전술된 바와 같이, 일부 실시예들에서, 방법(1200)은 컴퓨터 시스템(301)(예를 들어, 컴퓨터 시스템(301-a, 301-b, 또는 301-c))에서 수행되며, 여기서 디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 하나 이상의 입력 디바이스들, 및 옵션적으로 하나 이상의 자세 센서들과 같은 각자의 컴포넌트들은 각각 컴퓨터 시스템(301) 내에 포함되거나 그와 통신한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트는 터치 스크린 디스플레이이고, (예를 들어, 터치 감응형 표면을 갖는) 입력 디바이스는 디스플레이 생성 컴포넌트 상에 있거나 그와 통합된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 입력 디바이스와 별개이다(예를 들어, 도 4b 및 도 512에 도시된 바와 같음). 방법(1200)에서의 일부 동작들이 옵션적으로 조합되고/되거나, 일부 동작들의 순서는 옵션적으로 변경된다.
설명의 편의를 위해, 실시예들의 일부는 (예를 들어, 터치 스크린(112)을 갖는 디바이스(100) 상의) 터치 감응형 디스플레이 시스템(112) 및 하나 이상의 통합된 카메라들을 갖는 컴퓨터 시스템 상에서 수행되는 동작들을 참조하여 논의될 것이다. 그러나, 유사한 동작들이, 옵션적으로, 헤드셋(5008)의 디스플레이 상의 도면들에 도시된 사용자 인터페이스들을 디스플레이하는 동안 입력 디바이스(5010)의 터치 감응형 표면 상의 접촉들을 검출한 것에 응답하여, 헤드셋(5008) 및 터치 감응형 표면을 갖는 별개의 입력 디바이스(5010)를 갖는 컴퓨터 시스템(예를 들어, 도 512에 도시된 바와 같음) 상에서 수행된다. 유사하게, 유사한 동작들이, 옵션적으로, 컴퓨터 시스템의 하나 이상의 다른 컴포넌트들(예를 들어, 입력 디바이스)로부터 별도로 구현되는 (예를 들어, 헤드셋 내의) 하나 이상의 카메라들을 갖는 컴퓨터 시스템 상에서 수행되며; 그리고 일부 그러한 실시예들에서, "컴퓨터 시스템의 이동"은 컴퓨터 시스템의 하나 이상의 카메라들의 이동, 또는 컴퓨터 시스템과 통신하는 하나 이상의 카메라들의 이동에 대응한다.
아래에 설명되는 바와 같이, 방법(1200)은 (예를 들어, 객체의 배치를 위한 시뮬레이션된 환경 내의 위치를 표시하기 위한) 삽입 커서의 배치를 위한 입력에 관한 것이다. (예를 들어, 디스플레이된 삽입 커서의 위치에 대응하는 위치에서 입력이 수신될 때) 시뮬레이션된 환경 내에서 객체를 삽입하는 데 동일한 유형의 입력이 사용될 수 있다. 포커스 선택자의 위치가 디스플레이된 삽입 커서의 위치에 대응하는지 여부에 따라 제1 유형의 입력을 검출한 것에 응답하여 포커스 선택자의 위치에 삽입 커서를 디스플레이할지 또는 포커스 선택자의 위치에 제1 객체를 삽입할지 여부를 결정하는 것은 제1 유형의 입력을 이용한 다수의 상이한 유형들의 동작들의 수행을 가능하게 한다. 제1 유형의 입력을 이용하여 다수의 상이한 유형들의 동작들의 수행을 가능하게 하는 것은 사용자가 이들 동작들을 수행할 수 있는 효율을 증가시키며, 이에 의해 디바이스의 작동성을 향상시키며, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
컴퓨터 시스템(예를 들어, 도 551의 디바이스(100))은 제1 컴퓨터 시스템의 디스플레이 생성 컴포넌트를 통해, 시뮬레이션된 환경(예를 들어, 가상 현실 환경 또는 증강 현실 환경)을 디스플레이한다(1202). 예를 들어, 증강 현실 환경은 도 552에 도시된 바와 같이 디바이스(100)의 디스플레이(112) 상에 디스플레이된다.
시뮬레이션된 환경을 디스플레이하는 동안, 컴퓨터 시스템은, 입력 디바이스(예를 들어, 디바이스(100)의 터치 스크린 디스플레이(112))를 통해, 시뮬레이션된 환경 내의 각자의 위치로 지향되는 제1 입력을 검출한다(1204). 예를 들어, 도 557에서, 터치 스크린 디스플레이(112)와의 접촉(5506)에 의한 입력이 삽입 커서(예를 들어, 삽입 커서(5504))의 위치에 대응하지 않는 위치에서 검출된다. 도 559에서, 터치 스크린 디스플레이(112)와의 접촉(5510)에 의한 입력이 삽입 커서(예를 들어, 삽입 커서(5508))의 위치에 대응하는 위치에서 검출된다.
시뮬레이션된 환경 내의 각자의 위치로 지향되는 제1 입력을 검출한 것에 응답하여, 제1 입력이 제1 입력 유형(예를 들어, 시뮬레이션된 환경 내의 위치에서 검출된 탭 입력)이고, 제1 입력이 시뮬레이션된 환경 내의 삽입 커서의 현재 위치가 아닌, 시뮬레이션된 환경 내의 제1 위치에서 검출되었다는 결정(예를 들어, 삽입 커서(5504)의 현재 위치에 대응하지 않는 위치에서의 접촉(5506)에 의한 입력, 도 557에 도시된 바와 같음)에 따라, 컴퓨터 시스템은 삽입 커서를 제1 위치에 디스플레이한다(1206)(예를 들어, 기존의 삽입 커서를 이전 위치로부터 제1 위치로 이동시키거나, 또는 제1 입력 이전에 시뮬레이션된 환경 내에 삽입 커서가 디스플레이되고 있지 않았다면, 제1 위치에 새로운 삽입 커서를 디스플레이함). 예를 들어, 도 557에 도시된 바와 같이 접촉(5506)에 의한 입력에 응답하여, 삽입 커서(5504)는 도 557에 도시된 위치로부터 도 558의 삽입 커서(5508)에 의해 표시된 바와 같이 접촉(5506)이 수신된 위치로 이동된다. 제1 입력이 제1 입력 유형이고, 제1 입력이 삽입 커서의 현재 위치에 대응하는, 시뮬레이션된 환경 내의 제2 위치에서 검출되었다는 결정(예를 들어, 삽입 커서(5508)의 현재 위치에 대응하는 위치에서의 접촉(5510)에 의한 입력, 도 559에 도시된 바와 같음)에 따라, 컴퓨터 시스템은 제2 위치에서 제1 객체(예를 들어, 가상 박스(5512))를 삽입하고, 삽입 커서를 제1 객체 상에 있는 제3 위치로 이동시킨다(예를 들어, 삽입 커서(5508)는 가상 박스(5512)의 표면(5514)으로 이동됨).
일부 실시예들에서, 디바이스는 복수의 연속적인 반복들에 걸쳐 방법(1200)을 반복적으로 수행하며, 연속적인 반복들의 제1 반복에서, 제1 입력은 제1 유형이고, 시뮬레이션된 환경 내의 제1 위치에서 검출되며, 이에 응답하여 삽입 커서가 제1 위치에 디스플레이되고; 연속적인 반복들의 제2 반복에서, 제1 입력은 제1 유형이고, 삽입 지점들의 현재 위치에 대응하는 시뮬레이션된 환경 내의 제2 위치에서 검출되며, 이에 응답하여 제1 객체가 제2 위치에 삽입되고, 삽입 커서가 제1 객체 상에 있는 제3 위치로 이동된다(1208). 포커스 선택자의 위치가 디스플레이된 삽입 커서의 위치에 대응하는지 여부에 따라 제1 유형의 입력을 검출한 것에 응답하여 포커스 선택자의 위치에 삽입 커서를 디스플레이할지 또는 포커스 선택자의 위치에 제1 객체를 삽입할지 여부를 결정하는 것은 제1 유형의 입력을 이용한 다수의 상이한 유형들의 동작들의 수행을 가능하게 한다. 제1 유형의 입력을 이용하여 다수의 상이한 유형들의 동작들의 수행을 가능하게 하는 것은 사용자가 이들 동작들을 수행할 수 있는 효율을 증가시키며, 이에 의해 디바이스의 작동성을 향상시키며, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 객체는 삽입 커서의 현재 위치에 대응하는 제2 위치(예를 들어, 도 559의 삽입 커서(5508)의 위치)에 인접하지 않은 복수의 비인접(non-adjacent) 측면들(예를 들어, 복수의 비인접 측면들의 각각의 각자의 비인접 측면이 제2 위치에 인접하지 않음)을 가지며, 제1 객체 상의 제3 위치는 제2 위치에 인접하지 않은 복수의 비인접 측면들의 각자의 비인접 측면 상에 있다(1210)(예를 들어, 제3 위치는 가상 객체(5512)의 측면(5514)이고(도 5510에 도시된 바와 같음), 가상 객체(5512)의 측면(5514)은 삽입 커서(5508)의 포지션에 인접하지 않음). 삽입 커서를 제1 객체가 삽입된 위치에 인접하지 않은 제1 객체의 측면으로 이동시키는 것은 (예를 들어, 입력 커서의 위치를 변경하여 그것이 제1 객체의 측면 상에서 사용자에게 가시적이게 함으로써) 사용자에게 제공되는 피드백을 개선하며, (예를 들어, 새로운 객체를 제3 위치에 삽입하기 위해) 필요한 입력들의 수를 감소시킨다. 새로운 객체를 삽입하기 위해 필요한 입력들의 수를 감소시키는 것은 디바이스의 작동성을 향상시키고 사용자 디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 삽입 커서의 현재 위치가 이미 존재하는(preexisting) 객체의 각자의 측면 상에 위치된다는 결정에 따라, 제3 위치는 이미 존재하는 객체의 각자의 측면에 평행한 제1 객체의 제1 각자의 측면 상에 있다(1212)(예를 들어, 커서가 이미 존재하는 객체의 상부에 있는 경우, 커서는 제1 객체의 상부로 이동되고, 커서가 이미 존재하는 객체의 전방 면 상에 있는 경우, 커서는 제1 객체의 전방 면으로 이동됨). 예를 들어, 도 5511에서, 삽입 커서(5508)가 이미 존재하는 가상 박스(5512)의 상부 면(5514) 상에 위치되는 동안, 접촉(5516)에 의한 입력이 삽입 커서(5508)에 대응하는 위치에서 검출된다. 도 5512에서, 접촉(5516)에 의한 입력에 응답하여, 새로운 가상 박스(5518)가 디스플레이되고, 삽입 커서(5508)가 새로운 가상 박스(5518)의 상부 면(5520)으로 이동된다. 새로운 가상 박스(5518)의 상부 면(5520)은 이미 존재하는 가상 박스(5512)의 상부 면(5514)에 평행하다. 삽입 커서가 위치되던 이미 존재하는 객체의 측면에 평행한 제1 객체의 측면으로 삽입 커서를 이동시키는 것은 (예를 들어, 입력 커서를 동일한 축을 따른 이미 존재하는 객체의 계속되는 확장을 가능하게 할 위치에 배치함으로써) 사용자에게 제공되는 피드백을 개선하며, (예를 들어, 제3 위치에서 새로운 객체를 삽입하기 위해) 필요한 입력들의 수를 감소시킨다. 새로운 객체를 삽입하기 위해 필요한 입력들의 수를 감소시키는 것은 디바이스의 작동성을 향상시키고 사용자 디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 위치(이는 삽입 커서의 현재 위치가 아님)는 이미 존재하는 객체의 제1 측면 상에 있고, (삽입 커서의 현재 위치에 대응하는) 제2 위치는 이미 존재하는 객체의 제1 측면과 상이한 이미 존재하는 객체의 제2 측면 상에 있다(1214). 예를 들어, 삽입 커서(5508)가 이미 존재하는 객체(예를 들어, 도 5517의 가상 박스(5518))의 상부 면 상에 있는 동안, (예를 들어, 접촉(5524)에 의한) 선택 입력이 이미 존재하는 객체(5518)의 전면(5528) 상에서 검출되고, 이 경우에, 삽입 커서(5508)와 같은 디스플레이된 포커스 표시자가 이미 존재하는 객체(5518)의 전방 면(5528)에 새로운 객체를 추가함이 없이 이미 존재하는 객체의 전방 면(5528)으로 이동된다(도 5518에 도시된 바와 같음). 대안적으로, (예를 들어, 접촉(5516)에 의한) 선택 입력은 삽입 커서(5508)가 이미 존재하는 객체의 상부 면(예를 들어, 도 5511의 가상 박스(5512)의 상부 면(5514)) 상에 있는 동안 검출되며, 이 경우에 제1 객체(예를 들어, 가상 박스(5518))는 이미 존재하는 객체(예를 들어, 가상 박스(5512))의 상부에 추가되고, 삽입 커서(5508)와 같은 디스플레이된 포커스 표시자가 이제 제1 객체를 포함하는 이미 존재하는 객체의 상부로 이동된다(예를 들어, 도 5512에 도시된 바와 같음). 이미 존재하는 객체의 제1 측면에 삽입 커서를 디스플레이하는 것(예를 들어, 삽입 커서를 현재 위치로부터 이미 존재하는 객체의 제1 측면으로 이동시킴) 또는 이미 존재하는 객체의 제2 측면에 제1 객체를 삽입하는 것(예를 들어, 포커스 선택자가 이미 존재하는 객체의 제2 측면에 있는 삽입 커서에 대응하는 위치에 있는 동안 입력이 수신되는 경우)은 제1 유형의 입력을 이용하여 다수의 상이한 유형들의 동작들의 수행을 가능하게 한다. 제1 유형의 입력을 이용하여 다수의 상이한 유형들의 동작들의 수행을 가능하게 하는 것은 사용자가 이들 동작들을 수행할 수 있는 효율을 증가시키며, 이에 의해 디바이스의 작동성을 향상시키며, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 시뮬레이션된 환경(예를 들어, 도 553에서 디바이스(100)에 의해 디스플레이된 바와 같음)은 컴퓨터 시스템의 물리적 환경(5200)에 대해 배향되며(예를 들어, 물리적 환경에 대한 시뮬레이션된 환경의 배향은 컴퓨터 시스템의 하나 이상의 자세 센서들의 배향과 무관함), 제2 위치에 제1 객체(예를 들어, 가상 박스(5512))를 삽입하는 것은 시뮬레이션된 환경의 제1 객체(예를 들어, 랜더링된 3D 모델)를 컴퓨터 시스템의 물리적 환경(5200) 내의 각자의 물리적 기준 객체(예를 들어, 물리적 기준 매트(5208a))의 각자의 위치(및 옵션적으로, 배향)와 연관된 시뮬레이션된 환경의 위치에서(그리고 옵션적으로, 배향으로) 삽입하는 것을 포함한다(1216)(예를 들어, 제1 객체는 매트와 같은 물리적 기준 객체에 앵커링되고/되거나 물리적 기준 객체에 앵커링된 가상 객체와 연관됨). 일부 실시예들에서, 시뮬레이션된 환경은, (예를 들어, 배경에, 예컨대, 제1 가상 사용자 인터페이스 객체를 너머), 컴퓨터 시스템의 하나 이상의 카메라들(예를 들어, 카메라들의 시야 내에 있는 콘텐츠들의 적어도 일부분의 라이브 프리뷰를 연속적으로 제공하고, 옵션적으로 카메라들의 시야 내의 콘텐츠들을 캡처하는 이미지들 프레임들의 하나 이상의 스트림들을 포함하는 비디오 출력들을 생성하는 비디오 카메라들)에 의해 검출된 이미지들을 포함한다. 일부 실시예들에서, 시뮬레이션된 환경은 시뮬레이션된 광원을 포함한다. 일부 실시예들에서, 시뮬레이션된 광원은 제1 객체(5512)(및 디스플레이된 가상 모델 임의의 다른 객체)에 의해 그림자(예를 들어, 도 5510의 5522)가 드리워지게 한다. 일부 실시예들에서, 그림자는 제1 객체를 이동시키고/시키거나 제1 객체의 관찰 관점을 변경하는, 입력 디바이스에 의해 검출된 이동 입력에 응답하여 이동한다(예를 들어, 도 5512 내지 도 5514에 도시된 바와 같음). 물리적 기준과 연관된 위치에서 시뮬레이션된 환경 내에 제1 객체를 삽입하는 것은 (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 피드백을 개선하고, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 시뮬레이션된 환경 내의 각자의 위치로 지향되는 제1 입력을 검출한 것에 응답하여, 제1 입력이 제2 입력 유형이고(예를 들어, 입력은 삽입 커맨드를 포함하거나, 또는 객체를 추가하는 버튼 또는 메뉴 항목을 선택함), 삽입 커서가 시뮬레이션된 환경 내에서 제2 위치에 디스플레이된다는 결정에 따라, 컴퓨터 시스템은 시뮬레이션된 환경 내의 제2 위치에서 제1 객체를 삽입하고, 삽입 커서를 제1 객체 상의 제3 위치로 이동시킨다(1218). 예를 들어, 도 5523 및 도 5524에 도시된 바와 같이, 새로운 객체 제어부(5216)에 대응하는 위치에서의 접촉(5542)에 의한 입력은 가상 박스(5546)가 삽입 커서(5526)에 대응하는 위치에 디스플레이되게 한다. 삽입 커서(5526)는 가상 박스(5546)의 상부 면(5548)으로 이동된다. 일부 실시예들에서, 시뮬레이션된 환경 내의 각자의 위치로 지향되는 제1 입력을 검출한 것에 응답하여, 제1 입력이 제1 입력 유형(예를 들어, 탭 입력)이고, 제1 입력이 삽입 커서의 현재 위치에 대응하는 시뮬레이션된 환경 내의 제2 위치에서 검출되었다는 결정에 따라, 제1 객체가 제2 위치에 삽입된다. 제1 입력이 제3 입력 유형이라는 결정에 따라(예를 들어, 입력이 객체의 각자의 표면의 선택 및 입력의 이동을 포함함), 객체는 입력의 이동에 따라 조정된다(예를 들어, 객체의 크기는, 입력의 이동에 기초하여, 객체의 선택된 측면에 수직인 축을 따라 조정되고/되거나 객체는 입력의 이동에 기초한 방향으로 이동됨). 삽입 커서가 디스플레이되는 제2 위치에서 시뮬레이션된 환경 내에 제1 객체를 삽입하는 것은 (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 피드백을 개선하고, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 컴퓨터 시스템은 제1 객체의 제2 각자의 측면의 선택 및 2차원에서의 제2 입력의 이동(예를 들어, 평면 터치 감응형 표면을 가로지르는 접촉의 이동, 또는 원격 제어부 주위의 3차원 물리적 공간의 직교하는 2차원에서의 이동 컴포넌트들을 포함하는, 원격 제어의 이동)을 포함하는 제2 입력을 검출한다(1220). 예를 들어, 도 5525 및 도 5526에 표시된 바와 같이, 접촉(5550)에 의한 입력은 가상 박스(5546)의 측면(5556)을 선택하고 화살표(5554)로 표시된 경로를 따라 이동한다. 2차원에서의 제2 입력의 이동을 포함하는 제2 입력을 검출한 것에 응답하여, 제2 입력이 이동 기준들을 충족한다는 결정에 따라(예를 들어, 길게 누르기 지속기간보다 짧은 지속기간을 갖고/갖거나, 크기조정 세기 임계치(예를 들어, 도 4d 및 도 4e와 관련하여 위에서 논의된 가볍게 누르기 임계치(ITL))를 초과하여 증가하지 않는 터치 감응형 표면과의 접촉의 특성 세기를 가짐), 컴퓨터 시스템은 제2 입력의 이동에 기초하여 결정된 제1 방향으로 제1 객체의 선택된 제2 각자의 측면에 평행한 제1 평면 내에서 제1 객체를 이동시킨다(1222). 예를 들어, 도 5525 및 도 5526에서, 제2 입력은 이동 기준들을 충족하고, 가상 박스(5546)는 이동 돌출부들(5552)에 의해 표시된 평면 내에서 이동된다. 제2 입력이 이동 기준들을 충족하지 않는다는 결정에 따라, 컴퓨터 시스템은 제1 객체를 이동시키는 것을 보류한다. 일부 실시예들에서, 컴퓨터 시스템은 제1 객체의 제2 각자의 측면의 선택 및 2차원으로l 제2 입력의 이동을 포함하는 복수의 입력들을 검출하며, 복수의 입력들은 제2 입력이 이동 기준들을 충족하는 적어도 하나의 입력, 및 제2 입력이 이동 기준을 충족하지 않는 적어도 하나의 입력을 포함한다. 일부 실시예들에서, 제1 객체의 이동량은 제2 입력의 이동의 크기에 의존한다. 일부 실시예들에서, 제1 객체의 이동의 방향은 제2 입력의 이동의 방향에 의존한다(예를 들어, 방법(900)을 참조하여 본 명세서에서 더 상세히 설명되는 바와 같음). 2차원에서의 이동을 포함하는 입력에 응답하여 객체를 이동시키는 것은 (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 피드백을 개선하고, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 컴퓨터 시스템은 제1 객체의 제3 각자의 측면의 선택 및 2차원에서의 제3 입력의 이동을 포함하는 제3 입력을 검출한다(1224). 예를 들어, 도 5528 내지 도 5531에서, 접촉(5558)에 의한 입력은 가상 박스(5546)의 측면(5556)을 선택하고 화살표(5562)로 표시된 경로를 따라 이동한다. 2차원에서의 제3 입력의 이동을 포함하는 제3 입력을 검출한 것에 응답하여, 제3 입력이 크기 조정 기준들을 충족한다는 결정에 따라(예를 들어, 길게 누르기 지속시간 값을 초과하여 증가하는 지속시간을 갖고/갖거나 크기조정 임계치(예를 들어, 가볍게 누르기 임계치(ITL))를 초과하여 증가하는 터치 감응형 표면과 접촉의 세기 특성을 가짐), 컴퓨터 시스템은 제3 입력의 이동에 기초하여, 제1 객체의 선택된 제3 각자의 측면에 수직인 축을 따라 제1 객체의 크기를 조정한다(1226)(예를 들어, 축은 선택된 각자의 부분의 표면에 수직이고 그 표면과 접촉됨). 예를 들어, 도 5528 내지 도 5531에서, 제2 입력은 크기 조정 기준들을 충족하고, 가상 박스(5546)의 크기는 크기조정 돌출부들(5560)에 의해 표시된 축을 따라 증가된다. 제3 입력이 크기 조정 기준들을 충족하지 않는다는 결정에 따라, 컴퓨터 시스템은 제1 객체의 크기를 조정하는 것을 보류한다. 일부 실시예들에서, 컴퓨터 시스템은 제1 객체의 제3 각자의 측면의 선택 및 2차원에서의 제3 입력의 이동을 포함하는 복수의 입력들을 검출하며, 복수의 입력들은 제3 입력이 크기 조정 기준들을 충족하는 적어도 하나의 입력, 및 제2 입력이 크기 조정 기준들을 충족하지 않는 적어도 하나의 입력을 포함한다. 일부 실시예들에서, 2차원에서의 제3 입력의 이동을 포함하는 제3 입력을 검출한 것에 응답하여, 제3 입력이 크기 조정 기준들을 충족한다는 결정에 따라, 제1 객체의 포지션은 시뮬레이션된 환경 내의 앵커 지점에 잠금된다. 일부 실시예들에서, 제1 객체의 크기의 조정의 양은 제3 입력의 이동의 크기에 의존한다. 일부 실시예들에서, 제1 객체의 크기의 조정 방향은 제3 입력의 이동의 방향에 의존한다(예를 들어, 방법(900)을 참조하여 본 명세서에서 더 상세히 기술되는 바와 같음). 크기 조정 기준들을 충족하고 2차원에서의 이동을 포함하는 입력에 응답하여 객체의 크기를 조정하는 것은 (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 피드백을 개선하고, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 컴퓨터 시스템은 제1 객체의 제4 각자의 측면의 선택 및 2차원에서의 제4 입력의 이동을 포함하는 제4 입력을 검출한다(1228). 2차원에서의 제2 입력의 이동을 포함하는 제4 입력을 검출한 것에 응답하여, 접촉이 크기 조정 기준들을 충족한다는 결정에 따라(예를 들어, 길게 누르기 지속시간 값을 초과하여 증가하는 지속기간을 갖고/갖거나, 크기조정 임계치(예를 들어, 가볍게 누르기 임계치(ITL))를 초과하여 증가하는 터치 감응형 표면과의 접촉의 특성 세기를 가짐), 컴퓨터 시스템은 제4 입력의 이동에 기초하여 제1 객체의 크기를 조정한다(1230). 예를 들어, 도 5528 내지 도 5531에서, 가상 박스(5546)의 측면(5556)을 선택하고 화살표(5562)로 표시된 경로를 따라 이동하는 접촉(5558)에 의한 입력은 크기 조정 기준들을 충족하고, 가상 박스(5546)의 크기는 크기조정 돌출부들(5560)로 표시된 축을 따라 증가된다. 접촉이 크기 조정 기준들을 충족하지 않는다는 결정에 따라, 컴퓨터 시스템은 제4 입력의 이동에 기초하여 제1 객체를 이동시킨다. 예를 들어, 도 5525 및 도 5526에서, 가상 박스(5546)의 측면(5556)을 선택하고 화살표(5554)로 표시된 경로를 따라 이동하는 접촉(5550)에 의한 입력은 이동 기준들을 충족하고, 가상 박스(5546)는 이동 돌출부들(5552)로 표시된 평면 내에서 이동된다. 일부 실시예들에서, 컴퓨터 시스템은 제1 객체의 제4 각자의 측면의 선택 및 2차원으로 제4 입력의 이동을 포함하는 복수의 입력들을 검출하며, 복수의 입력들은 접촉이 이동 기준들을 충족하는 적어도 하나의 입력, 및 접촉이 이동 기준들을 충족하지 않는 적어도 하나의 입력을 포함한다. 터치 감응형 표면 상의 접촉에 의한 입력을 검출한 것에 응답하여, 터치 감응형 표면을 가로지르는 접촉의 이동 이전에, 미리정의된 지연 시간이 경과하기 전에 접촉의 특성 세기가 세기 임계치를 초과하여 증가했는지 여부에 따라, 객체의 크기를 조정할지 객체를 이동시키는지 여부를 결정하는 것은 제1 유형의 입력을 이용한 다수의 상이한 유형들의 동작들의 수행을 가능하게 한다. 터치 감응형 표면 상의 접촉에 의한 입력을 이용한 다수의 상이한 유형들의 동작들의 수행을 가능하게 하는 것은 사용자가 이들 동작들을 수행할 수 있는 효율을 증가시키며, 이에 의해 디바이스의 작동성을 향상시키며, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제4 입력의 이동에 기초하여 제1 객체의 크기를 조정하는 것은 제1 객체의 선택된 제3 각자의 측면에 수직인 축을 따라 제1 객체의 크기를 조정하는 것을 포함한다(1232). 예를 들어, 도 5530 및 도 5531에서, 가상 박스(5546)의 크기는 가상 박스(5546)의 선택된 측면(5556)에 수직인 크기조정 돌출부들(5560)에 의해 표시된 축을 따라 조정된다.
일부 실시예들에서, 제4 입력의 이동에 기초하여 제1 객체를 이동시키는 것은 제2 입력의 이동에 기초하여 결정된 제1 방향으로, 제1 객체의 선택된 제2 각자의 측면에 평행한 제1 평면 내에서 제1 객체를 이동시키는 것을 포함한다(1234). 예를 들어, 도 5525 및 도 5526에 표시된 바와 같이, 입력 가상 박스(5546)가 가상 박스(5546)의 선택된 측면(5556)에 평행한 이동 돌출부들(5552)에 의해 표시된 평면 내에서 이동된다.
일부 실시예들에서, 제1 객체가 디스플레이되는 동안, 컴퓨터 시스템은 제1 객체 상에 있는 제3 위치에 대응하지 않는 제1 객체의 각자의 부분 상의 제5 입력을 검출한다(1236). 예를 들어, 도 5511 및 도 5512에서, 제1 객체는 입력에 응답하여 디스플레이되고(예를 들어, 접촉(5516)에 의한 입력에 응답하여 디스플레이되는 가상 박스(5518)), 삽입 커서(5508)는 제3 위치(예를 들어, 가상 박스(5518)의 표면(5520))로 이동된다. 도 5517에서, 접촉(5224)에 의한 입력이 제3 위치에 대응하지 않는 위치에서 검출된다(예를 들어, 접촉(5224)은 가상 박스(5518)의 표면(5528)에서 검출됨). 제5 입력을 검출한 것에 응답하여, 컴퓨터 시스템은 삽입 커서를 제3 위치로부터 제1 객체의 각자의 부분에 대응하는 위치로 이동시킨다(1238). 예를 들어, 도 5518에서, 접촉(5224)에 의한 입력에 응답하여, 삽입 커서는 가상 박스(5518)의 표면(5520)으로부터 가상 박스(5518)의 표면(5528)으로 이동된다. 입력에 응답하여 객체 상의 현재 위치로부터 객체 상의 상이한 위치로 삽입 커서를 이동시키는 것은 (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 피드백을 개선하고, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
도 12a 내지 도 12d에서의 동작들이 기술된 특정 순서는 단지 일례이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 기술분야의 통상의 기술자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 추가적으로, 본 명세서에 기술된 다른 방법들(예를 들어, 방법들(600, 700, 800, 900, 1000, 1100, 1300))과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들이 도 12a 내지 도 12d와 관련하여 전술된 방법(1100)과 유사한 방식으로 또한 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법들(1200)과 관련하여 전술된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 표시자들, 및/또는 애니메이션들은 옵션적으로 본 명세서에 기술된 다른 방법들(예를 들어, 방법들(600, 700, 800, 900, 1000, 1100, 1300))과 관련하여 본 명세서에 기술된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 표시자들, 및/또는 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들은 여기서 반복되지 않는다.
도 13a 내지 도 13e는 일부 실시예들에 따른, 안정화된 동작 모드에서 증강 현실 환경을 디스플레이하기 위한 방법(1300)을 예시하는 흐름도들이다. 방법(1300)은, 디스플레이 생성 컴포넌트(예를 들어, 디스플레이, 프로젝터, 헤드-업 디스플레이 등) 및 입력 디바이스(예를 들어, 터치 감응형 원격 제어부와 같은 터치 감응형 표면, 또는 디스플레이 생성 컴포넌트로서 또한 기능하는 터치 스크린 디스플레이, 마우스, 조이스틱, 완드 제어기, 및/또는 사용자의 손들과 같은 사용자의 하나 이상의 특징들의 포지션을 추적하는 카메라들), 옵션적으로 하나 이상의 카메라들(예를 들어, 카메라들의 시야 내에 있고 옵션적으로 카메라들의 시야 내의 콘텐츠들을 캡처하는 하나 이상의 이미지 프레임들의 스트림들을 포함하는 비디오 출력들을 생성하는 콘텐츠들의 적어도 일부분의 라이브 프리뷰를 연속적으로 제공하는 비디오 카메라들), 옵션적으로 하나 이상의 자세 센서들, 옵션적으로 터치 감응형 표면과의 접촉들의 세기를 검출하는 하나 이상의 센서들, 및 옵션적으로 하나 이상의 촉각적 출력 생성기들을 포함하는(그리고/또는 이와 통신하는) 컴퓨터 시스템(예를 들어, 휴대용 다기능 디바이스(100)(도 1a), 디바이스(300)(도 3a), 또는 헤드셋(5008) 및 입력 디바이스(5010)를 포함하는 다중-컴포넌트 컴퓨터 시스템(도 512))에서 수행된다. 일부 실시예들에서, (예를 들어, 터치 감응형 표면을 갖는) 입력 디바이스 및 디스플레이 생성 컴포넌트는 터치 감응형 디스플레이에 통합된다. 도 3b 내지 도 3d와 관련하여 전술된 바와 같이, 일부 실시예들에서, 방법(1300)은 컴퓨터 시스템(301)(예를 들어, 컴퓨터 시스템(301-a, 301-b, 또는 301-c))에서 수행되며, 여기서 디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 하나 이상의 입력 디바이스들, 및 옵션적으로 하나 이상의 자세 센서들과 같은 각자의 컴포넌트들은 각각 컴퓨터 시스템(301) 내에 포함되거나 그와 통신한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트는 터치 스크린 디스플레이이고, (예를 들어, 터치 감응형 표면을 갖는) 입력 디바이스는 디스플레이 생성 컴포넌트 상에 있거나 그와 통합된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 입력 디바이스와 별개이다(예를 들어, 도 4b 및 도 512에 도시된 바와 같음). 방법(1300)에서의 일부 동작들이 옵션적으로 조합되고/되거나, 일부 동작들의 순서는 옵션적으로 변경된다.
설명의 편의를 위해, 실시예들의 일부는 (예를 들어, 터치 스크린(112)을 갖는 디바이스(100) 상의) 터치 감응형 디스플레이 시스템(112) 및 하나 이상의 통합된 카메라들을 갖는 컴퓨터 시스템 상에서 수행되는 동작들을 참조하여 논의될 것이다. 그러나, 유사한 동작들이, 옵션적으로, 헤드셋(5008)의 디스플레이 상의 도면들에 도시된 사용자 인터페이스들을 디스플레이하는 동안 입력 디바이스(5010)의 터치 감응형 표면 상의 접촉들을 검출한 것에 응답하여, 헤드셋(5008) 및 터치 감응형 표면을 갖는 별개의 입력 디바이스(5010)를 갖는 컴퓨터 시스템(예를 들어, 도 512에 도시된 바와 같음) 상에서 수행된다. 유사하게, 유사한 동작들이, 옵션적으로, 컴퓨터 시스템의 하나 이상의 다른 컴포넌트들(예를 들어, 입력 디바이스)로부터 별도로 구현되는 (예를 들어, 헤드셋 내의) 하나 이상의 카메라들을 갖는 컴퓨터 시스템 상에서 수행되며; 그리고 일부 그러한 실시예들에서, "컴퓨터 시스템의 이동"은 컴퓨터 시스템의 하나 이상의 카메라들의 이동, 또는 컴퓨터 시스템과 통신하는 하나 이상의 카메라들의 이동에 대응한다.
아래에 설명되는 바와 같이, 방법(1300)은 하나 이상의 카메라들의 시야와 동시에 디스플레이되는 가상 사용자 인터페이스 객체를 포함하는 증강 현실 환경을 디스플레이하는 것에 관한 것이다. 증강 현실 환경이 안정화 모드 또는 비안정화 모드에서 디스플레이되는지 여부에 따라, (그의 물리적 환경에 대한 컴퓨터 시스템의 적어도 일부분의 자세의 변경에 기인한) 검출된 이동에 응답하여 디스플레이된 증강 현실 환경을 업데이트하는 것은, 하나 이상의 카메라들의 디스플레이된 시야가 상이한 양만큼 변경되게 한다. 증강 현실 환경을 안정화된 모드 또는 비안정화 모드에서 디스플레이하는 것은 동일한 검출된 이동을 이용한 다수의 상이한 유형들의 동작들(예를 들어, 디스플레이된 뷰가 가상 사용자 인터페이스 객체에 중심을 둔 시야의 일부분에 잠금되어 있는지 여부에 따라 디스플레이된 시야를 상이한 양만큼 업데이트하는 것)의 수행을 가능하게 한다. 검출된 이동에 응답하여 다수의 상이한 유형들의 동작들의 수행을 가능하게 하는 것은, 사용자가 이들 동작들을 수행할 수 있는 효율을 증가시키며, 이에 의해 디바이스의 작동성을 향상시키며, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
컴퓨터 시스템(예를 들어, 도 562의 디바이스(100))은 제1 컴퓨터 시스템의 디스플레이 생성 컴포넌트(112)를 통해 증강 현실 환경을 디스플레이한다(1302). 증강 현실 환경을 디스플레이하는 것은 컴퓨터 시스템의 하나 이상의 카메라들의 시야의 적어도 일부분의 표현 및 가상 사용자 인터페이스 객체(5604)를 동시에 디스플레이하는 것을 포함한다. 하나 이상의 카메라들의 시야의 표현은 물리적 객체(5602)를 포함한다. 하나 이상의 카메라들의 시야의 콘텐츠들이 변경됨에 따라 하나 이상의 카메라들의 시야의 표현이 업데이트된다(예를 들어, 표현은 하나 이상의 카메라들의 시야의 적어도 일부분의 라이브 프리뷰임). 가상 사용자 인터페이스 객체(5604)는 하나 이상의 카메라들의 시야의 표현 내의 각자의 위치에 디스플레이되며, 하나 이상의 카메라들의 시야의 표현 내의 가상 사용자 인터페이스 객체(5604)의 각자의 위치는 가상 사용자 인터페이스 객체(5604)(예를 들어, 하나 이상의 카메라들의 시야 내의 물리적 객체에 부착되거나 또는 그를 커버하는 것으로 보이는 가상 사용자 인터페이스 객체)와 하나 이상의 카메라들의 시야의 표현에 포함된 물리적 객체(5602) 사이의 고정된 공간적 관계(예를 들어, 크기, 배향, 및/또는 포지션)에 기초하여 결정된다.
증강 현실 환경을 디스플레이하는 동안, 컴퓨터 시스템은 컴퓨터 시스템의 하나 이상의 자세 센서들을 통해, 컴퓨터 시스템의 물리적 환경에 대해 컴퓨터 시스템의 적어도 일부분의 자세(예를 들어, 배향 및/또는 포지션)의 제1 변경(예를 들어, 물리적 환경의 표현을 생성하는 데 사용되는 하나 이상의 카메라들을 포함하는 컴퓨터 시스템의 컴포넌트와 같은 컴퓨터 시스템의 컴포넌트의 자세의 변경)를 검출한다(1304). 예를 들어, 도 563a 내지 도 564a는 비안정화된 동작 모드에서의 디바이스(100)의 이동을 예시하고, 도 568a 내지 도 510a, 도 5612a 내지 도 5613a, 및 도 5616a 내지 도 5617a는 안정화된 동작 모드에서의 디바이스(100)의 이동을 예시한다.
컴퓨터 시스템의 물리적 환경에 대한 컴퓨터 시스템의 일부분의 자세의 제1 변경을 검출한 것에 응답하여, 컴퓨터 시스템은 컴퓨터 시스템의 일부분의 자세의 제1 변경에 따라 증강 현실 환경을 업데이트한다(1306). 증강 현실 환경이 비안정화된 동작 모드에서 디스플레이된다는 결정에 따라, 컴퓨터 시스템의 일부분의 자세의 제1 변경에 따라 증강 현실 환경을 업데이트하는 것은 컴퓨터 시스템의 물리적 환경에 대한 컴퓨터 시스템의 일부분의 자세의 제1 변경에 기초하는 제1 조정의 양만큼 하나 이상의 카메라들의 시야의 일부분의 표현을 업데이트하는 것(예를 들어,도 563b 내지 564b에 도시된 바와 같음), 및 가상 사용자 인터페이스 객체(5604)의 각자의 위치를 가상 사용자 인터페이스 객체(5604)와 하나 이상의 카메라들의 시야의 표현에 포함된 물리적 객체(5602) 사이의 고정된 공간적 관계(예를 들어, 배향, 크기 및/또는 포지션)를 유지하도록 선택된 위치로 업데이트하는 것을 포함한다. 증강 현실 환경이 안정화된 동작 모드에서 디스플레이된다는 결정에 따라, 컴퓨터 시스템의 일부분의 자세의 제1 변경에 따라 증강 현실 환경을 업데이트하는 것은, 컴퓨터 시스템의 물리적 환경에 대한 컴퓨터 시스템의 일부분의 자세의 제1 변경에 기초하고 제1 조정의 양 보다 작은 제2 조정의 양만큼 하나 이상의 카메라들의 시야의 일부분의 표현을 업데이트하는 것(예를 들어, 디스플레이된 뷰는 제1 가상 사용자 인터페이스 객체에 중심을 둔 시야의 서브-부분에 잠금됨), 및 가상 사용자 인터페이스 객체(5604)의 각자의 위치를 가상 사용자 인터페이스 객체(5604)와 하나 이상의 카메라들의 시야의 표현에 포함된 물리적 객체(5602) 사이의 고정된 공간적 관계(예를 들어, 배향, 크기 및/또는 포지션)를 유지하도록 선택된 위치로 업데이트하는 것을 포함한다. 예를 들어, 도 5616b 내지 도 5617b에서, 하나 이상의 카메라들의 시야의 일부분의 표현은 도 563b 내지 도 564b에서 발생하는 조정의 양보다 작은 조정의 양보다 작은 양만큼 업데이트된다. 일부 실시예들에서, 컴퓨터 시스템은 복수의 연속적인 반복들에 걸쳐 방법(1300)을 반복적으로 수행하며, 여기서 연속적인 반복들의 제1 반복에서, 증강 현실 환경은 비안정화된 동작 모드에서 디스플레이되고, 연속적인 반복들의 제2 반복에서, 증강 현실 환경은 안정화된 동작 모드에서 디스플레이된다.
일부 실시예들에서, 컴퓨터 시스템의 일부분의 자세의 제1 변경(예를 들어, 물리적 환경의 표현을 생성하는 데 사용되는 하나 이상의 카메라들을 포함하는 컴퓨터 시스템의 컴포넌트와 같은 컴퓨터 시스템의 컴포넌트의 자세 변경)이 검출될 때 증강 현실 환경이 비안정화된 동작 모드에서 디스플레이되고 있었다면(1308), 컴퓨터 시스템의 일부분의 자세의 제1 변경에 따라 증강 현실 환경을 업데이트한 후에, 컴퓨터 시스템은 디스플레이 상에서 가상 사용자 인터페이스 객체를 안정화하라는 요청(예를 들어, 안정화 제어부(5616)에서의 입력)을 수신한다(1308-a). 디스플레이 상에서의 가상 사용자 인터페이스 객체를 안정화하라는 요청에 응답하여, 컴퓨터 시스템은 증강 현실 환경에 대한 안정화된 동작 모드로 진입한다(1308-b). 증강 현실 환경에 대한 안정화된 동작 모드에 있는 동안, 컴퓨터 시스템은 하나 이상의 배향 센서들을 통해, (예를 들어, 도 5616a 내지 도 5617a에 예시된 바와 같이) 물리적 환경에 대한 컴퓨터 시스템의 일부분의 자세(예를 들어, 배향 및/또는 포지션)의 제2 변경을 검출하며, 물리적 환경에 대한 컴퓨터 시스템의 일부분의 자세의 제2 변경(예를 들어, 물리적 환경의 표현을 생성하는 데 사용되는 하나 이상의 카메라들을 포함하는 컴퓨터 시스템의 컴포넌트와 같은 컴퓨터 시스템의 컴포넌트의 자세의 변경)를 검출한 것에 응답하여, 컴퓨터 시스템은 컴퓨터 시스템의 일부분의 자세의 제2 변경에 따라 증강 현실 환경을 업데이트하며, 이는 물리적 환경에 대한 컴퓨터 시스템 일부분(또는 물리적 환경의 표현을 생성하는 데 사용되는 하나 이상의 카메라들을 포함하는 컴퓨터 시스템의 컴포넌트와 같은 컴퓨터 시스템의 컴포넌트)의 자세의 제2 변경의 양보다 작은 양으로 하나 이상의 카메라들의 시야의 일부분의 표현을 업데이트하는 것, 및 가상 사용자 인터페이스 객체(5604)를 가상 사용자 인터페이스 객체(5604)와 하나 이상의 카메라들의 시야에 포함된 물리적 객체(5602)의 표현 사이의 고정된 공간적 관계(예를 들어, 크기, 배향 및/또는 포지션)를 유지하도록 선택된 위치로 업데이트하는 것을 포함한다(1308-c). 예를 들어, 도 5616b 내지 도 5617b에서, 하나 이상의 카메라들의 시야의 일부분의 표현은 도 563b 내지 도 564b에서 발생하는 조정의 양보다 작은 조정의 양보다 작은 양만큼 업데이트된다. 디스플레이 상에서의 가상 사용자 인터페이스 객체를 안정화하라는 요청에 응답하여 증강 현실 환경에 대한 안정화된 동작 모드에 진입하는 것은 (예를 들어, 사용자가 하나 이상의 카메라들로부터 이용가능한 데이터에 관계없이 가상 사용자 인터페이스 객체를 관찰하게 허용함으로써) 디스플레이된 증강 현실 환경을 개선하며, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 컴퓨터 시스템은 입력 디바이스를 포함하고, 디스플레이 상에서의 가상 사용자 인터페이스 객체를 안정화하라는 요청은 증강 현실 환경의 적어도 일부분을 줌하기 위해 입력 디바이스를 통해 수신된 입력(예를 들어, 도 566b 내지 도 567b에 예시된 바와 같은 접촉들(5606, 5608)에 의한 디핀치-투-줌 입력)을 포함한다(1310). 일부 실시예들에서, 줌을 위한 입력은, 예를 들어, 핀치, 더블 탭, 또는 줌 어포던스의 선택/조작이다. 일부 실시예들에서, 증강 현실 환경의 적어도 일부분을 줌하기 위한 입력을 수신한 것에 응답하여, 디바이스는 증강 현실 환경을 줌한다(예를 들어, 도 566b 내지 도 567b에 도시된 바와 같이, 증강 현실 환경 내의 가상 사용자 인터페이스 객체(5604)의 크기는 디핀치-투-줌 입력에 응답하여 증가됨). 일부 실시예들에서, 줌은 미리결정된 양의 줌 또는 미리결정된 줌 레벨로의 줌이다. 일부 실시예들에서, 줌의 크기는 입력의 크기(예를 들어, 서로 떨어져 있는 2개의 접촉들의 이동량 또는 줌 제어부 상의 접촉의 이동량)에 기초한다. 줌 입력에 응답하여 증강 현실 환경에 대한 안정화된 동작 모드에 진입하는 것은 추가의 사용자 입력을 요구하지 않으면서 안정화 모드를 가능하게 한다. 추가 사용자 입력을 요구하지 않으면서 안정화 모드에 진입하는 것은 디바이스의 작동성을 향상시키고 사용자 디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 디스플레이 상에서의 가상 사용자 인터페이스 객체를 안정화하라는 요청에 응답하여 - 디스플레이 상에서의 가상 사용자 인터페이스 객체를 안정화하라는 요청은 디스플레이된 증강 현실 환경의 일부분을 줌하기 위한 입력을 포함함 -, 컴퓨터 시스템은 (예를 들어, 하나 이상의 카메라들의 시야의 일부분의 표현을 재-렌더링하지 않으면서) 디스플레이된 증강 현실 환경의 일부분을 줌하기 위한 입력의 크기에 따라 (예를 들어, 더 낮은 해상도에서 더 높은 해상도로) 가상 사용자 인터페이스 객체를 재-렌더링한다(1312). 예를 들어, 도 567b에서, 가상 객체(5604)는 566b 내지 도 567b에서 수신된 디핀치-투-줌 입력에 응답하여 재-렌더링된다. 일부 실시예들에서, 디스플레이 상에서의 가상 사용자 인터페이스 객체를 안정화하라는 요청에 응답하여 - 디스플레이 상에서의 가상 사용자 인터페이스 객체를 안정화하라는 요청은 디스플레이된 증강 현실 환경을 줌하기 위한 입력을 포함함 -, 하나 이상의 카메라들의 시야는 동일하게 유지된다. 일부 실시예들에서, 하나 이상의 카메라들의 카메라 줌이 활성화되고, 가상 사용자 인터페이스 객체가 줌되는 동안 하나 이상의 카메라들의 시야가 줌된다. 줌 입력의 크기에 따라 가상 사용자 인터페이스 객체를 재-렌더링하는 것은 (예를 들어, 컴퓨터 시스템을 사용자 입력에 보다 반응적으로 보이게 함으로써) 사용자에게 제공되는 피드백을 개선하고, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 물리적 객체(5602)는 디스플레이된 증강 현실 환경 내의 가상 사용자 인터페이스 객체(5604)에 의해 대체된다(1314)(예를 들어, 디스플레이된 뷰는 제1 가상 사용자 인터페이스 객체에 중심을 둔 시야의 서브-부분에 잠금됨). 물리적 객체를 디스플레이된 증강 현실 환경 내의 가상 사용자 인터페이스 객체로 대체하는 것은 (예를 들어, 물리적 객체로부터 이용가능하지 않은 가상 사용자 인터페이스 객체에 추가적인 또는 향상된 시각적 정보를 제공함으로써) 물리적 객체에 관한 시각적 정보를 사용자에게 제공하기 위한 옵션들의 범위를 증가시키며, (예를 들어, 물리적 객체의 추가 정보 및 카메라 뷰를 별도로 디스플레이할 필요 없이 물리적 객체와 연관된 추가 정보를 제공함으로써) 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 컴퓨터 시스템은 증강 현실 환경이 안정화된 동작 모드에서 디스플레이되는 동안 컴퓨터 시스템의 물리적 환경에 대한 컴퓨터 시스템의 일부분의 자세의 제1 각자의 변경을 검출한다(1316)(예를 들어, 디바이스(100)는 도 568a 내지 도 5610a에 예시된 바와 같이 이동됨). 증강 현실 환경이 안정화된 동작 모드에서 디스플레이되는 동안, 컴퓨터 시스템의 물리적 환경에 대한 컴퓨터 시스템의 일부분의 자세의 제1 각자의 변경을 검출한 것에 응답하여, 컴퓨터 시스템은 컴퓨터 시스템의 일부분의 자세의 각자의 변경에 따라 증강 현실 환경을 업데이트하며, 이는 가상 사용자 인터페이스 객체(5604)의 업데이트된 각자의 위치가 하나 이상의 카메라들의 시야를 넘어 연장된다는 결정에 따라, (가상 사용자 인터페이스 객체에 중심을 둔 시야의 서브-부분에 잠금된 가상 사용자 인터페이스 객체를 계속해서 디스플레이하는 것, 및) 하나 이상의 카메라들의 시야의 일부분의 표현을 업데이트하는 것을 포함하며, 이는 (예를 들어, 라이브 카메라 이미지가 더 이상 이용가능하지 않은 가상 사용자 인터페이스 객체 너머의 배경을 채우기 위해) 플레이스홀더 이미지(5614)(예를 들어, 빈 공간 또는 렌더링된 이미지)를 하나 이상의 카메라들의 시야를 넘어 연장하는 가상 사용자 인터페이스 객체의 일부분에 대응하는 증강 현실 환경 내의 각자의 위치에서 디스플레이하는 것을 포함한다(1318). 예를 들어, 가상 사용자 인터페이스 객체(5604)가 하나 이상의 카메라들의 시야를 넘어 연장될 때, 가상 사용자 인터페이스 객체(5604)를 포함하는 증강 현실 환경은 가상 사용자 인터페이스 객체(5604)가 완전히 디스플레이되도록 줌 아웃된다. 증강 현실 환경이 줌 아웃될 때, 라이브 카메라 이미지는 가상 사용자 인터페이스 객체 너머의 배경의 일부분에 대해 더 이상 이용가능하지 않다. 일부 실시예들에서, 컴퓨터 시스템의 물리적 환경에 대한 컴퓨터 시스템의 일부분의 자세의 제1 각자의 변경을 검출한 것에 응답하여 컴퓨터 시스템의 일부분의 자세의 제1 각자의 변경에 따라 증강 현실 환경을 업데이트하는 것은 가상 사용자 인터페이스 객체(5604)의 업데이트된 각자의 위치가 하나 이상의 카메라들의 시야를 넘어 연장되는지 여부를 결정하는 것을 포함한다. 카메라 뷰를 넘어 연장되는 가상 사용자 인터페이스 객체의 일부분에 대응하는 위치에서 증강 현실 환경 내의 플레이스홀더 이미지를 디스플레이하는 것은 (예를 들어, 가상 사용자 인터페이스 객체의 일부분이 카메라 뷰를 넘어 연장되는 것을 사용자가 이해하도록 돕기 위해 사용자에게 시각적 큐를 제공함으로써) 사용자에게 제공되는 피드백을 개선하고, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 컴퓨터 시스템은 증강 현실 환경이 안정화된 동작 모드에서 디스플레이되는 동안 컴퓨터 시스템의 물리적 환경에 대한 컴퓨터 시스템의 일부분의 자세의 제2 각자의 변경을 검출한다(1320)(예를 들어, 디바이스(100)는 도 568a 내지 도 569a에 예시된 바와 같이 또는 도 5616a 내지 도 5617a에 예시된 바와 같이 이동됨). 증강 현실 환경이 안정화된 동작 모드에서 디스플레이되는 동안, 컴퓨터 시스템의 물리적 환경에 대한 컴퓨터 시스템의 일부분의 자세의 제2 각자의 변경을 검출한 것에 응답하여, 컴퓨터 시스템은 컴퓨터 시스템의 일부분의 자세의 각자의 변경에 따라 증강 현실 환경을 업데이트하는데, 이는 가상 사용자 인터페이스 객체(5604)의 업데이트된 각자의 위치가 하나 이상의 카메라들의 시야를 넘어 연장된다는 결정에 따라, (예를 들어, 가상 사용자 인터페이스 객체에 중심을 둔 시야의 서브-부분에 잠금된 가상 사용자 인터페이스 객체(5604)를 계속해서 디스플레이하는 동안) 가상 사용자 인터페이스 객체(5604)의 적어도 일부분을 디스플레이하는 것을 중지하는 것을 포함한다(1322). 예를 들어, 도 569b에서, 그리고 도 5617b에서, 가상 사용자 인터페이스 객체(5604)는 하나 이상의 카메라들의 시야를 넘어 연장되고, 가상 사용자 인터페이스 객체(5604)의 일부분은 디스플레이되지 않는다. 일부 실시예들에서, 컴퓨터 시스템의 물리적 환경에 대한 컴퓨터 시스템의 일부분의 자세의 제2 각자의 변경을 검출한 것에 응답하여 컴퓨터 시스템의 일부분의 자세의 제2 각자의 변경에 따라 증강 현실 환경을 업데이트하는 것은 가상 사용자 인터페이스 객체의 업데이트된 각자의 위치가 하나 이상의 카메라들의 시야를 넘어 연장되는지 여부를 결정하는 것을 포함한다. 일부 실시예들에서, 물리적 환경에 대한 컴퓨터 시스템의 일부분의 자세의 각자의 변경이 가상 사용자 인터페이스 객체를 하나 이상의 카메라들의 시야를 넘는 위치로 이동하게 할 것이라는 결정에 따라, 가상 사용자 인터페이스 객체가 하나 이상의 카메라들의 시야에 대응하는 위치로 제약되는 제약된 안정화 모드가 활성화된다. 일부 실시예들에서, 가상 사용자 인터페이스 객체가 하나 이상의 카메라들의 시야에 대응하는 위치로 제약되는 동안, 물리적 환경에 대한 컴퓨터 시스템의 적어도 일부분의 자세의 제3 변경이 검출된다. 물리적 환경에 대한 컴퓨터 시스템의 일부분의 자세의 제3 변경에 응답하여, 물리적 환경에 대한 컴퓨터 시스템의 일부분의 자세의 제3 변경이 가상 사용자 인터페이스 객체를 하나 이상의 카메라들의 시야를 넘지 않는 위치로 이동하게 할 것이라는 결정에 따라, 제약 안정화 모드는 종료한다. 가상 사용자 인터페이스 객체의 가상 사용자 인터페이스 객체 부분의 적어도 일부분(예를 들어, 카메라 뷰를 넘어 연장되는 가상 사용자 인터페이스 객체의 일부분)을 표시하는 것을 중지하는 것은 (예를 들어, 가상 사용자 인터페이스 객체의 일부분이 카메라 뷰를 넘어 연장되는 것을 사용자가 이해하도록 돕기 위해 사용자에게 시각적 큐를 제공함으로써) 사용자에게 제공되는 피드백을 개선하고, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 증강 현실 환경이 안정화된 동작 모드에서 디스플레이되는 동안, 컴퓨터 시스템의 물리적 환경에 대한 컴퓨터 시스템의 일부분의 자세의 각자의 변경을 검출하는 것(예를 들어, 도 568a 내지 도 569a에 예시된 바와 같은 디바이스(100)의 이동을 검출하는 것)에 응답하여, 컴퓨터 시스템의 일부분의 자세의 각자의 변경에 따라 증강 현실 환경을 업데이트하는 것은, 가상 사용자 인터페이스 객체(5604)의 업데이트된 각자의 위치가 하나 이상의 카메라들의 시야를 넘어 연장된다는 결정에 따라, 디스플레이된 가상 사용자 인터페이스 객체의 일부분을 증가시키도록 디스플레이된 증강 현실 환경을 줌하는 것(예를 들어, 도 569b 내지 도 5610b에 예시된 바와 같음), 및 가상 사용자 인터페이스 객체의 업데이트된 각자의 위치가 하나 이상의 카메라들의 시야를 넘어 연장되지 않는다는 결정에 따라, 디스플레이된 증강 현실 환경을 줌하지 않으면서 가상 사용자 인터페이스 객체를 이동시키는 것을 포함한다(1324). 일부 실시예들에서, 컴퓨터 시스템은 증강 현실 환경이 안정화된 동작 모드에서 디스플레이되는 동안 컴퓨터 시스템의 물리적 환경에 대한 컴퓨터 시스템의 일부분의 복수의 자세의 변경들을 검출하며, 복수의 자세의 변경들은, 그에 응답하여 가상 사용자 인터페이스 객체의 업데이트된 각자의 위치가 하나 이상의 카메라들의 시야를 넘어 연장하는, 적어도 하나의 자세의 변경, 및 그에 응답하여 가상 사용자 인터페이스 객체의 업데이트된 각자의 위치가 하나 이상의 카메라들의 시야를 넘어 연장되지 않는, 적어도 하나의 자세의 변경을 포함한다. 컴퓨터 시스템의 이동이 가상 사용자 인터페이스 객체를 카메라 뷰를 넘어 연장되게 할 때, 안정화된 모드에서 디스플레이된 가상 사용자 인터페이스 객체의 일부분을 증가시키기 위해 디스플레이된 증강 현실 환경을 줌하는 것은 (예를 들어, 사용자가 디바이스의 이동에 관계없이 전체 가상 사용자 인터페이스 객체를 계속해서 관찰하게 허용함으로써) 사용자에게 제공되는 시각적 피드백을 개선하고, (예를 들어, 사용자가 필요한 입력들로 의도한 결과를 달성하도록 돕고, 디바이스를 작동시키고/그와 상호작용할 때 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 보다 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 보다 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
도 13a 내지 도 13e에서의 동작들이 기술된 특정 순서는 단지 일례이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 표시하는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 기술분야의 통상의 기술자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 추가적으로, 본 명세서에 기술된 다른 방법들(예를 들어, 방법들(600, 700, 800, 900, 1000, 1100, 1200))과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들이 도 13a 내지 도 13e와 관련하여 전술된 방법(1100)과 유사한 방식으로 또한 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법들(1300)과 관련하여 전술된 접촉들, 제스처들, 사용자 인터페이스 객체들, 포커스 표시자들, 및/또는 애니메이션들은 옵션적으로 본 명세서에 기술된 다른 방법들(예를 들어, 방법들(600, 700, 800, 900, 1000, 1100, 1200))과 관련하여 본 명세서에 기술된 접촉들, 제스처들, 사용자 인터페이스 객체들, 세기 임계치들, 포커스 표시자들, 및/또는 애니메이션들의 특성들 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들은 여기서 반복되지 않는다.
도 6a 내지 도 6d, 도 7a 내지 도 7c, 도 8a 내지 도 8c, 도 9a 내지 도 9e, 도 10a 내지 도 10e, 도 11a 내지 도 11c, 도 12a 내지 도 12d, 및 도 13a 내지 도 13e를 참조하여 전술된 동작들은 옵션적으로 도 1a 및 도 1b에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 디스플레이 동작들(602, 702, 802, 808, 902, 1002, 1014, 1102, 1202, 1206, 1302); 검출 동작들(606, 706, 806, 904, 1004, 1008, 1012, 1106, 1204, 1304); 검출 및 조정 동작들(608), 조정 및 적용 동작들(708); 조정 동작들(906); 변경 동작(1006); 수행 동작(1010); 전이 동작(1014); 업데이트 동작들(1108, 1306); 및 디스플레이 및 삽입 동작(1206)은, 옵션적으로, 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의들(186)과 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉(또는 디바이스의 회전)이 사용자 인터페이스 상의 객체의 선택, 또는 하나의 배향으로부터 다른 배향으로의 디바이스의 회전과 같은 미리정의된 이벤트 또는 서브-이벤트에 대응하는지 여부를 결정한다. 각자의 미리정의된 이벤트 또는 서브-이벤트가 검출될 때, 이벤트 인식기(180)는 이벤트 또는 서브-이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화시킨다. 이벤트 핸들러(190)는 옵션적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 사용하거나 호출하여, 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 당업자에게 자명할 것이다.
전술한 설명은, 설명의 목적을 위해, 특정 실시예들을 참조하여 설명되었다. 그러나, 상기의 예시적인 논의들은 본 발명을 개시된 정확한 형태들로 규명하거나 제한하려는 의도는 아니다. 많은 수정들 및 변형들이 상기 교시 내용들의 관점에서 가능하다. 본 발명의 원리들 및 그의 실제적인 응용들을 가장 잘 설명하여 당업자들이 본 발명 및 다양하게 기술된 실시예들을 고려되는 특정 용도에 적합한 바와 같은 다양한 변형들을 갖고서 가장 잘 이용하는 것을 가능하게 하도록, 실시예들이 선택 및 설명되었다.

Claims (22)

  1. 방법으로서,
    디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 입력 디바이스를 갖는 컴퓨터 시스템에서:
    상기 디스플레이 생성 컴포넌트를 통해, 증강 현실 환경을 디스플레이하는 단계 - 상기 증강 현실 환경을 디스플레이하는 단계는,
    각자의 물리적 객체를 포함하는, 상기 하나 이상의 카메라들의 시야의 적어도 일부분의 표현 - 상기 표현은 상기 하나 이상의 카메라들의 상기 시야의 콘텐츠들이 변경됨에 따라 업데이트됨 -; 및
    상기 하나 이상의 카메라들의 상기 시야의 상기 표현 내의 각자의 위치에 각자의 가상 사용자 인터페이스 객체를 동시에 디스플레이하는 단계를 포함하고, 상기 각자의 가상 사용자 인터페이스 객체는 상기 하나 이상의 카메라들의 상기 시야 내의 상기 각자의 물리적 객체에 기초하여 결정되는 위치를 가짐 -;
    상기 증강 현실 환경을 디스플레이하는 동안, 상기 증강 현실 환경에 대한 가상 환경 설정을 변경하는 입력을 검출하는 단계; 및
    상기 가상 환경 설정을 변경하는 상기 입력을 검출한 것에 응답하여:
    상기 증강 현실 환경에 대한 상기 가상 환경 설정에 가해진 상기 변경에 따라 상기 각자의 가상 사용자 인터페이스 객체의 외관을 조정하는 단계; 및
    상기 하나 이상의 카메라들의 상기 시야의 상기 표현의 적어도 일부분에 필터를 적용하는 단계를 포함하며, 상기 필터는 상기 가상 환경 설정에 가해진 상기 변경에 기초하여 선택되는, 방법.
  2. 제1항에 있어서, 상기 하나 이상의 카메라들의 상기 시야의 상기 표현의 적어도 일부분에 상기 필터를 적용하는 단계는 상기 각자의 가상 사용자 인터페이스 객체의 상기 외관 조정에 더하여 상기 증강 현실 환경의 외관 조정을 야기하는, 방법.
  3. 제1항에 있어서,
    상기 가상 환경 설정은 야간 모드로 변경되고;
    상기 하나 이상의 카메라들의 상기 시야의 상기 표현의 적어도 일부분에 상기 필터를 적용하는 단계는,
    상기 하나 이상의 카메라들에 의해 캡처된 이미지의 밝기를 감소시키는 단계; 및
    상기 하나 이상의 카메라들에 의해 캡처된 상기 이미지에 컬러 필터를 적용하는 단계를 포함하는, 방법.
  4. 제1항에 있어서, 상기 가상 환경 설정을 변경하는 상기 입력은 상기 증강 현실 환경 내의 시간을 통해 내비게이팅하는 스와이프 입력인, 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 가상 환경 설정을 변경하는 상기 입력을 검출하는 단계는 상기 가상 환경 설정을 변경하기 위한 상기 입력의 이동을 검출하는 단계를 포함하고;
    상기 증강 현실 환경에 대한 상기 가상 환경 설정에 가해진 상기 변경에 따라 상기 각자의 가상 사용자 인터페이스 객체의 상기 외관을 조정하는 단계는 상기 가상 환경 설정을 변경하기 위한 상기 입력의 상기 이동에 따라 상기 각자의 가상 사용자 인터페이스 객체의 상기 외관을 점진적으로 조정하는 단계를 포함하며;
    상기 하나 이상의 카메라들의 상기 시야의 상기 표현의 적어도 일부분에 상기 필터를 적용하는 단계는 상기 가상 환경 설정을 변경하기 위한 상기 입력의 상기 이동에 따라 상기 필터를 점진적으로 적용하는 단계를 포함하는, 방법.
  6. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 각자의 가상 사용자 인터페이스 객체는 상기 증강 현실 환경 내의 상기 각자의 물리적 객체 상에 그림자를 드리우는, 방법.
  7. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 각자의 물리적 객체는 상기 증강 현실 환경 내의 상기 각자의 가상 사용자 인터페이스 객체 상에 그림자를 드리우는, 방법.
  8. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 각자의 물리적 객체의 이동은 상기 증강 현실 환경 내의 상기 각자의 가상 사용자 인터페이스 객체의 상기 외관의 하나 이상의 변경들을 야기하는, 방법.
  9. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 컴퓨터 시스템의 이동은 상기 하나 이상의 카메라들의 상기 시야의 적어도 일부분의 상기 표현에 적용되는 시각적 효과 및 상기 각자의 가상 사용자 인터페이스 객체의 상기 외관의 하나 이상의 변경들을 야기하는, 방법.
  10. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 하나 이상의 카메라들의 상기 시야의 상기 표현의 적어도 일부분에 상기 필터를 적용하는 단계는,
    상기 하나 이상의 카메라들에 의해 캡처된 이미지에, 상기 이미지가 상기 디스플레이 생성 컴포넌트로 송신되기 전에, 상기 필터를 적용하는 단계를 포함하는, 방법.
  11. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 가상 환경 설정을 변경하는 상기 입력은 상기 가상 사용자 인터페이스 객체에 대한 상이한 가상 환경들 사이에서 전환하는 입력이고, 상이한 가상 환경들은 상기 가상 사용자 인터페이스 객체를 탐색하기 위한 상이한 상호작용들과 연관되는, 방법.
  12. 제1항 내지 제4항 중 어느 한 항에 있어서,
    제1 가상 환경 설정이 선택된다는 결정에 따라, 상기 증강 현실 환경 내의 가상 객체들의 제1 세트를 디스플레이하는 단계; 및
    제2 가상 환경 설정이 선택된다는 결정에 따라, 상기 증강 현실 환경 내의 상기 가상 객체들의 제1 세트와 구별되는 가상 객체들의 제2 세트를 디스플레이하는 단계를 포함하는, 방법.
  13. 컴퓨터 시스템으로서,
    디스플레이 생성 컴포넌트;
    하나 이상의 카메라들;
    입력 디바이스;
    하나 이상의 프로세서들; 및
    상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하며,
    상기 하나 이상의 프로그램들은,
    상기 디스플레이 생성 컴포넌트를 통해, 증강 현실 환경을 디스플레이하고 - 상기 증강 현실 환경을 디스플레이하는 것은,
    각자의 물리적 객체를 포함하는, 상기 하나 이상의 카메라들의 시야의 적어도 일부분의 표현 - 상기 표현은 상기 하나 이상의 카메라들의 상기 시야의 콘텐츠들이 변경됨에 따라 업데이트됨 -; 및
    상기 하나 이상의 카메라들의 상기 시야의 상기 표현 내의 각자의 위치에 각자의 가상 사용자 인터페이스 객체를 동시에 디스플레이하는 것을 포함하고, 상기 각자의 가상 사용자 인터페이스 객체는 상기 하나 이상의 카메라들의 상기 시야 내의 상기 각자의 물리적 객체에 기초하여 결정되는 위치를 가짐 -;
    상기 증강 현실 환경을 디스플레이하는 동안, 상기 증강 현실 환경에 대한 가상 환경 설정을 변경하는 입력을 검출하고;
    상기 가상 환경 설정을 변경하는 상기 입력을 검출한 것에 응답하여:
    상기 증강 현실 환경에 대한 상기 가상 환경 설정에 가해진 상기 변경에 따라 상기 각자의 가상 사용자 인터페이스 객체의 외관을 조정하고;
    상기 하나 이상의 카메라들의 상기 시야의 상기 표현의 적어도 일부분에 필터를 적용하기 위한 명령어들을 포함하며, 상기 필터는 상기 가상 환경 설정에 가해진 상기 변경에 기초하여 선택되는, 컴퓨터 시스템.
  14. 제13항에 있어서, 상기 하나 이상의 카메라들의 상기 시야의 상기 표현의 적어도 일부분에 상기 필터를 적용하는 것은 상기 각자의 가상 사용자 인터페이스 객체의 상기 외관 조정에 더하여 상기 증강 현실 환경의 외관 조정을 야기하는, 컴퓨터 시스템.
  15. 제13항에 있어서,
    상기 가상 환경 설정은 야간 모드로 변경되고;
    상기 하나 이상의 카메라들의 상기 시야의 상기 표현의 적어도 일부분에 상기 필터를 적용하는 것은,
    상기 하나 이상의 카메라들에 의해 캡처된 이미지의 밝기를 감소시키는 것; 및
    상기 하나 이상의 카메라들에 의해 캡처된 상기 이미지에 컬러 필터를 적용하는 것을 포함하는, 컴퓨터 시스템.
  16. 제13항에 있어서, 상기 가상 환경 설정을 변경하는 상기 입력은 상기 증강 현실 환경 내의 시간을 통해 내비게이팅하는 스와이프 입력인, 컴퓨터 시스템.
  17. 제13항 내지 제16항 중 어느 한 항에 있어서,
    상기 가상 환경 설정을 변경하는 상기 입력을 검출하는 것은 상기 가상 환경 설정을 변경하기 위한 상기 입력의 이동을 검출하는 것을 포함하고;
    상기 증강 현실 환경에 대한 상기 가상 환경 설정에 가해진 상기 변경에 따라 상기 각자의 가상 사용자 인터페이스 객체의 상기 외관을 조정하는 것은 상기 가상 환경 설정을 변경하기 위한 상기 입력의 상기 이동에 따라 상기 각자의 가상 사용자 인터페이스 객체의 상기 외관을 점진적으로 조정하는 것을 포함하며;
    상기 하나 이상의 카메라들의 상기 시야의 상기 표현의 적어도 일부분에 상기 필터를 적용하는 것은 상기 가상 환경 설정을 변경하기 위한 상기 입력의 상기 이동에 따라 상기 필터를 점진적으로 적용하는 것을 포함하는, 컴퓨터 시스템.
  18. 명령어들을 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 명령어들은, 디스플레이 생성 컴포넌트, 하나 이상의 카메라들, 및 입력 디바이스를 갖는 컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금,
    상기 디스플레이 생성 컴포넌트를 통해, 증강 현실 환경을 디스플레이하고 - 상기 증강 현실 환경을 디스플레이하는 것은,
    각자의 물리적 객체를 포함하는, 상기 하나 이상의 카메라들의 시야의 적어도 일부분의 표현 - 상기 표현은 상기 하나 이상의 카메라들의 상기 시야의 콘텐츠들이 변경됨에 따라 업데이트됨 -; 및
    상기 하나 이상의 카메라들의 상기 시야의 상기 표현 내의 각자의 위치에 각자의 가상 사용자 인터페이스 객체를 동시에 디스플레이하는 것을 포함하고, 상기 각자의 가상 사용자 인터페이스 객체는 상기 하나 이상의 카메라들의 상기 시야 내의 상기 각자의 물리적 객체에 기초하여 결정되는 위치를 가짐 -;
    상기 증강 현실 환경을 디스플레이하는 동안, 상기 증강 현실 환경에 대한 가상 환경 설정을 변경하는 입력을 검출하고;
    상기 가상 환경 설정을 변경하는 상기 입력을 검출한 것에 응답하여:
    상기 증강 현실 환경에 대한 상기 가상 환경 설정에 가해진 상기 변경에 따라 상기 각자의 가상 사용자 인터페이스 객체의 외관을 조정하고;
    상기 하나 이상의 카메라들의 상기 시야의 상기 표현의 적어도 일부분에 필터를 적용하게 하며, 상기 필터는 상기 가상 환경 설정에 가해진 상기 변경에 기초하여 선택되는, 컴퓨터 판독가능 저장 매체.
  19. 제18항에 있어서, 상기 하나 이상의 카메라들의 상기 시야의 상기 표현의 적어도 일부분에 상기 필터를 적용하는 것은 상기 각자의 가상 사용자 인터페이스 객체의 상기 외관 조정에 더하여 상기 증강 현실 환경의 외관 조정을 야기하는, 컴퓨터 판독가능 저장 매체.
  20. 제18항에 있어서,
    상기 가상 환경 설정은 야간 모드로 변경되고;
    상기 하나 이상의 카메라들의 상기 시야의 상기 표현의 적어도 일부분에 상기 필터를 적용하는 것은,
    상기 하나 이상의 카메라들에 의해 캡처된 이미지의 밝기를 감소시키는 것; 및
    상기 하나 이상의 카메라들에 의해 캡처된 상기 이미지에 컬러 필터를 적용하는 것을 포함하는, 컴퓨터 판독가능 저장 매체.
  21. 제18항에 있어서, 상기 가상 환경 설정을 변경하는 상기 입력은 상기 증강 현실 환경 내의 시간을 통해 내비게이팅하는 스와이프 입력인, 컴퓨터 판독가능 저장 매체.
  22. 제18항 내지 제21항 중 어느 한 항에 있어서,
    상기 가상 환경 설정을 변경하는 상기 입력을 검출하는 것은 상기 가상 환경 설정을 변경하기 위한 상기 입력의 이동을 검출하는 것을 포함하고;
    상기 증강 현실 환경에 대한 상기 가상 환경 설정에 가해진 상기 변경에 따라 상기 각자의 가상 사용자 인터페이스 객체의 상기 외관을 조정하는 것은 상기 가상 환경 설정을 변경하기 위한 상기 입력의 상기 이동에 따라 상기 각자의 가상 사용자 인터페이스 객체의 상기 외관을 점진적으로 조정하는 것을 포함하며;
    상기 하나 이상의 카메라들의 상기 시야의 상기 표현의 적어도 일부분에 상기 필터를 적용하는 것은 상기 가상 환경 설정을 변경하기 위한 상기 입력의 상기 이동에 따라 상기 필터를 점진적으로 적용하는 것을 포함하는, 컴퓨터 판독가능 저장 매체.
KR1020227007567A 2017-08-31 2018-08-30 증강 및 가상 현실 환경들과 상호작용하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들 KR102540163B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020237018429A KR102606618B1 (ko) 2017-08-31 2018-08-30 증강 및 가상 현실 환경들과 상호작용하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
US201762553063P 2017-08-31 2017-08-31
US62/553,063 2017-08-31
US201762564984P 2017-09-28 2017-09-28
US62/564,984 2017-09-28
DKPA201870548 2018-08-23
DKPA201870548A DK180470B1 (en) 2017-08-31 2018-08-23 Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
US16/116,276 2018-08-29
US16/116,276 US11163417B2 (en) 2017-08-31 2018-08-29 Systems, methods, and graphical user interfaces for interacting with augmented and virtual reality environments
KR1020207004652A KR102373116B1 (ko) 2017-08-31 2018-08-30 증강 및 가상 현실 환경들과 상호작용하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들
PCT/US2018/048884 WO2019046597A1 (en) 2017-08-31 2018-08-30 GRAPHIC USER SYSTEMS, METHODS AND INTERFACES FOR INTERACTING WITH ENHANCED AND VIRTUAL REALITY ENVIRONMENTS

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207004652A Division KR102373116B1 (ko) 2017-08-31 2018-08-30 증강 및 가상 현실 환경들과 상호작용하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020237018429A Division KR102606618B1 (ko) 2017-08-31 2018-08-30 증강 및 가상 현실 환경들과 상호작용하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들

Publications (2)

Publication Number Publication Date
KR20220032653A true KR20220032653A (ko) 2022-03-15
KR102540163B1 KR102540163B1 (ko) 2023-06-08

Family

ID=63586978

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020237018429A KR102606618B1 (ko) 2017-08-31 2018-08-30 증강 및 가상 현실 환경들과 상호작용하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들
KR1020207004652A KR102373116B1 (ko) 2017-08-31 2018-08-30 증강 및 가상 현실 환경들과 상호작용하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들
KR1020237040213A KR20230167134A (ko) 2017-08-31 2018-08-30 증강 및 가상 현실 환경들과 상호작용하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들
KR1020227007567A KR102540163B1 (ko) 2017-08-31 2018-08-30 증강 및 가상 현실 환경들과 상호작용하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020237018429A KR102606618B1 (ko) 2017-08-31 2018-08-30 증강 및 가상 현실 환경들과 상호작용하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들
KR1020207004652A KR102373116B1 (ko) 2017-08-31 2018-08-30 증강 및 가상 현실 환경들과 상호작용하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들
KR1020237040213A KR20230167134A (ko) 2017-08-31 2018-08-30 증강 및 가상 현실 환경들과 상호작용하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들

Country Status (7)

Country Link
US (3) US11163417B2 (ko)
EP (2) EP3635518B1 (ko)
JP (3) JP6952877B2 (ko)
KR (4) KR102606618B1 (ko)
CN (3) CN112034988B (ko)
AU (4) AU2018101226B4 (ko)
DK (1) DK180470B1 (ko)

Families Citing this family (144)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100146395A1 (en) * 2008-12-08 2010-06-10 Gustavo De Los Reyes Method and System for Exploiting Interactions Via A Virtual Environment
US20100306825A1 (en) * 2009-05-27 2010-12-02 Lucid Ventures, Inc. System and method for facilitating user interaction with a simulated object associated with a physical location
US20140067869A1 (en) * 2012-08-30 2014-03-06 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
ES2812851T3 (es) 2016-11-01 2021-03-18 Previble AB Dispositivo de previsualización
DK180470B1 (en) 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
US10300373B2 (en) * 2017-09-08 2019-05-28 Niantic, Inc. Methods and systems for generating detailed datasets of an environment via gameplay
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
WO2019117959A1 (en) * 2017-12-15 2019-06-20 Hewlett-Packard Development Company, L.P. Patterns for locations on three-dimensional objects
US11148046B2 (en) * 2018-01-16 2021-10-19 Vr Leo Usa, Inc. Chip structure of VR self-service game joy stick
DK201870349A1 (en) 2018-01-24 2019-10-23 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models
US10275919B1 (en) * 2018-02-06 2019-04-30 International Business Machines Corporation Preventing transition shocks during transitions between realities
JP6959529B2 (ja) * 2018-02-20 2021-11-02 富士通株式会社 入力情報管理プログラム、入力情報管理方法、および情報処理装置
US20190259198A1 (en) * 2018-02-21 2019-08-22 Tsunami VR, Inc. Systems and methods for generating visual representations of a virtual object for display by user devices
US10902680B2 (en) * 2018-04-03 2021-01-26 Saeed Eslami Augmented reality application system and method
US10837788B1 (en) 2018-05-03 2020-11-17 Zoox, Inc. Techniques for identifying vehicles and persons
US10809081B1 (en) 2018-05-03 2020-10-20 Zoox, Inc. User interface and augmented reality for identifying vehicles and persons
US11846514B1 (en) * 2018-05-03 2023-12-19 Zoox, Inc. User interface and augmented reality for representing vehicles and persons
DK201870350A1 (en) 2018-05-07 2019-12-05 Apple Inc. Devices and Methods for Measuring Using Augmented Reality
US10984600B2 (en) 2018-05-25 2021-04-20 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10818093B2 (en) 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
WO2019237085A1 (en) 2018-06-08 2019-12-12 Vulcan Inc. Session-based information exchange
US20190378334A1 (en) 2018-06-08 2019-12-12 Vulcan Inc. Augmented reality portal-based applications
KR20190140657A (ko) * 2018-06-12 2019-12-20 삼성전자주식회사 오브젝트를 생성하는 전자장치 및 시스템
US11086124B2 (en) 2018-06-13 2021-08-10 Reavire, Inc. Detecting velocity state of a device
US10919522B2 (en) * 2018-06-13 2021-02-16 Fujitsu Limited Automated exploitation of shade-giving structures
US10880533B2 (en) * 2018-06-25 2020-12-29 Canon Kabushiki Kaisha Image generation apparatus, image generation method, and storage medium, for generating a virtual viewpoint image
WO2020000406A1 (zh) * 2018-06-29 2020-01-02 深圳市汇顶科技股份有限公司 触摸屏调整方法、触控芯片及电子终端
US10996831B2 (en) * 2018-06-29 2021-05-04 Vulcan Inc. Augmented reality cursors
US10692299B2 (en) * 2018-07-31 2020-06-23 Splunk Inc. Precise manipulation of virtual object position in an extended reality environment
US10909772B2 (en) 2018-07-31 2021-02-02 Splunk Inc. Precise scaling of virtual objects in an extended reality environment
US10956613B2 (en) * 2018-09-12 2021-03-23 Lenovo (Singapore) Pte. Ltd. Sensitive information filter
US10748344B2 (en) * 2018-09-12 2020-08-18 Seiko Epson Corporation Methods and devices for user interaction in augmented reality
US11538205B2 (en) 2018-09-19 2022-12-27 Chegg, Inc. Augmented reality mathematics in learning platforms
US10785413B2 (en) * 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
KR102627014B1 (ko) * 2018-10-02 2024-01-19 삼성전자 주식회사 전자 장치 및 제스처 인식 방법
KR102620702B1 (ko) * 2018-10-12 2024-01-04 삼성전자주식회사 모바일 장치 및 모바일 장치의 제어 방법
US11120632B2 (en) * 2018-10-16 2021-09-14 Sony Interactive Entertainment Inc. Image generating apparatus, image generating system, image generating method, and program
USD950574S1 (en) * 2018-10-23 2022-05-03 Capital One Services, Llc Scanning device or portion thereof with a scanning user interface
JP2020086700A (ja) * 2018-11-20 2020-06-04 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び、表示装置
CN109782901A (zh) * 2018-12-06 2019-05-21 网易（杭州）网络有限公司 增强现实交互方法、装置、计算机设备及存储介质
US11610355B1 (en) * 2019-01-23 2023-03-21 Jennifer Francis Interactive augmented reality (AR) entertainment hub
US10783714B2 (en) 2019-01-29 2020-09-22 Verizon Patent And Licensing Inc. Methods and systems for automatically tailoring a form of an extended reality overlay object
US10909751B2 (en) 2019-01-31 2021-02-02 Intel Corporation Methods and apparatus to transition between 2D and 3D renderings of augmented reality content
US10890992B2 (en) 2019-03-14 2021-01-12 Ebay Inc. Synchronizing augmented or virtual reality (AR/VR) applications with companion device interfaces
US11150788B2 (en) 2019-03-14 2021-10-19 Ebay Inc. Augmented or virtual reality (AR/VR) companion device techniques
WO2020201998A1 (en) * 2019-04-03 2020-10-08 Purple Tambourine Limited Transitioning between an augmented reality scene and a virtual reality representation
US11055919B2 (en) * 2019-04-26 2021-07-06 Google Llc Managing content in augmented reality
US11151792B2 (en) 2019-04-26 2021-10-19 Google Llc System and method for creating persistent mappings in augmented reality
CN110109726B (zh) * 2019-04-30 2022-08-23 网易（杭州）网络有限公司 虚拟对象的接收处理方法及传输方法、装置和存储介质
US10762716B1 (en) * 2019-05-06 2020-09-01 Apple Inc. Devices, methods, and graphical user interfaces for displaying objects in 3D contexts
GB2583936B (en) * 2019-05-14 2023-08-30 Bentley Motors Ltd Virtual reality head mounted display system calibration methods and apparatus
US11030822B2 (en) 2019-05-15 2021-06-08 Microsoft Technology Licensing, Llc Content indicators in a 3D environment authoring application
US11287947B2 (en) 2019-05-15 2022-03-29 Microsoft Technology Licensing, Llc Contextual input in a three-dimensional environment
US11164395B2 (en) 2019-05-15 2021-11-02 Microsoft Technology Licensing, Llc Structure switching in a three-dimensional environment
US11087560B2 (en) 2019-05-15 2021-08-10 Microsoft Technology Licensing, Llc Normalization of objects for a 3D environment within an authoring application
US11039061B2 (en) * 2019-05-15 2021-06-15 Microsoft Technology Licensing, Llc Content assistance in a three-dimensional environment
US10726630B1 (en) * 2019-06-28 2020-07-28 Capital One Services, Llc Methods and systems for providing a tutorial for graphic manipulation of objects including real-time scanning in an augmented reality
US10885716B1 (en) * 2019-07-01 2021-01-05 Microsoft Technology Licensing, Llc Mixed reality system user interface placement
US11941762B2 (en) * 2019-07-15 2024-03-26 Samsung Electronics Co., Ltd. System and method for augmented reality scenes
JP2021018546A (ja) * 2019-07-18 2021-02-15 トヨタ自動車株式会社 車両用コミュニケーション装置および車両用コミュニケーションシステム
US11385789B1 (en) * 2019-07-23 2022-07-12 Facebook Technologies, Llc Systems and methods for interacting with displayed items
CN110658945A (zh) * 2019-08-08 2020-01-07 上海红星美凯龙设计云信息科技有限公司 多点触控设备的角度及位置获取驱动系统及方法
JP6726345B1 (ja) * 2019-08-30 2020-07-22 株式会社コロプラ プログラム、方法、および端末装置
WO2021046319A1 (en) * 2019-09-06 2021-03-11 Hernandez Rocio Elisa Bilateral stimulation method and apparatus
CN114207557A (zh) * 2019-09-09 2022-03-18 苹果公司 虚拟和物理相机的位置同步
US11340756B2 (en) 2019-09-27 2022-05-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11227446B2 (en) 2019-09-27 2022-01-18 Apple Inc. Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
US11175730B2 (en) * 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
TWI744737B (zh) * 2019-12-11 2021-11-01 中華電信股份有限公司 擴增實境之內容控制系統、方法及電腦可讀儲存媒介
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
US11481930B2 (en) * 2020-01-21 2022-10-25 Trimble Inc. Accurately positioning augmented reality models within images
KR20210098130A (ko) * 2020-01-31 2021-08-10 한국전자통신연구원 현실 객체와의 상호 작용을 이용한 다중 사용자 참여 기반의 증강현실 제공 방법 및 이를 위한 장치
US11003308B1 (en) 2020-02-03 2021-05-11 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US11263818B2 (en) * 2020-02-24 2022-03-01 Palo Alto Research Center Incorporated Augmented reality system using visual object recognition and stored geometry to create and render virtual objects
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11960651B2 (en) * 2020-03-30 2024-04-16 Snap Inc. Gesture-based shared AR session creation
US11176752B1 (en) * 2020-03-31 2021-11-16 Amazon Technologies, Inc. Visualization of a three-dimensional (3D) model in augmented reality (AR)
US20210326594A1 (en) * 2020-04-17 2021-10-21 James Patrick COSTELLO Computer-generated supplemental content for video
US11199940B1 (en) * 2020-04-21 2021-12-14 Corel Corporation Three-dimensional operations based on planar projections in graphic user interfaces
CN111429553B (zh) * 2020-04-22 2024-03-29 同济大学建筑设计研究院(集团)有限公司 动画预览方法、装置、计算机设备和存储介质
US11120639B1 (en) * 2020-04-24 2021-09-14 Microsoft Technology Licensing, Llc Projecting telemetry data to visualization models
KR20210137826A (ko) 2020-05-11 2021-11-18 삼성전자주식회사 증강현실 생성장치, 증강현실 표시장치 및 증강현실 시스템
KR102214338B1 (ko) * 2020-05-25 2021-02-10 조광희 증강현실 표시를 위한 전자 장치의 제어 방법, 장치 및 프로그램
CN111583421A (zh) * 2020-06-03 2020-08-25 浙江商汤科技开发有限公司 确定展示动画的方法、装置、电子设备及存储介质
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
KR20220008118A (ko) 2020-07-13 2022-01-20 삼성전자주식회사 가상 객체들의 밝기를 다르게 표시하는 방법 및 장치
JP6801138B1 (ja) * 2020-07-16 2020-12-16 株式会社バーチャルキャスト 端末装置、仮想オブジェクト操作方法、及び仮想オブジェクト操作プログラム
US11861798B2 (en) * 2020-07-24 2024-01-02 Stephen Wilkes Reactive augmented reality
US11527045B2 (en) 2020-07-27 2022-12-13 Shopify Inc. Systems and methods for generating multi-user augmented reality content
US11908159B2 (en) * 2020-07-27 2024-02-20 Shopify Inc. Systems and methods for representing user interactions in multi-user augmented reality
KR20220021757A (ko) * 2020-08-14 2022-02-22 삼성전자주식회사 무선 통신 시스템에서 증강 현실 서비스를 위한 방법 및 장치
CN112148120A (zh) * 2020-08-18 2020-12-29 华为技术有限公司 一种显示虚拟界面的方法、设备以及存储介质
US20220070240A1 (en) * 2020-08-28 2022-03-03 Tmrw Foundation Ip S. À R.L. Ad hoc virtual communication between approaching user graphical representations
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11670144B2 (en) * 2020-09-14 2023-06-06 Apple Inc. User interfaces for indicating distance
US11615596B2 (en) 2020-09-24 2023-03-28 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11567625B2 (en) 2020-09-24 2023-01-31 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
KR20220046356A (ko) * 2020-10-07 2022-04-14 삼성전자주식회사 이동 통신 시스템에서 컨텐츠를 렌더링하는 방법 및 장치
US11563813B1 (en) 2020-10-16 2023-01-24 Splunk Inc. Presentation of collaboration environments for a networked remote collaboration session
US11127223B1 (en) 2020-10-16 2021-09-21 Splunkinc. Mesh updates via mesh splitting
US11727643B1 (en) 2020-10-16 2023-08-15 Splunk Inc. Multi-environment networked remote collaboration system
US11546437B1 (en) 2020-10-16 2023-01-03 Splunk Inc. Playback of a stored networked remote collaboration session
US11544904B1 (en) 2020-10-16 2023-01-03 Splunk Inc. Mesh updates in an extended reality environment
US11776218B1 (en) 2020-10-16 2023-10-03 Splunk Inc. Networked remote collaboration system
US11544343B1 (en) * 2020-10-16 2023-01-03 Splunk Inc. Codeless anchor generation for detectable features in an environment
US11798235B1 (en) * 2020-10-16 2023-10-24 Splunk Inc. Interactions in networked remote collaboration environments
US11551421B1 (en) 2020-10-16 2023-01-10 Splunk Inc. Mesh updates via mesh frustum cutting
US11854230B2 (en) * 2020-12-01 2023-12-26 Meta Platforms Technologies, Llc Physical keyboard tracking
WO2022119759A1 (en) * 2020-12-04 2022-06-09 Magic Leap, Inc. Miscalibration detection for virtual reality and augmented reality systems
US20220198764A1 (en) * 2020-12-18 2022-06-23 Arkh, Inc. Spatially Aware Environment Relocalization
US11867904B2 (en) * 2020-12-18 2024-01-09 Samsung Electronics Co., Ltd. Method and electronic device for providing augmented reality environment
CN112684885B (zh) * 2020-12-25 2023-05-02 联想(北京)有限公司 一种显示控制方法及装置
KR20220094988A (ko) * 2020-12-29 2022-07-06 삼성전자주식회사 증강 현실, 가상 현실, 혼합 현실 및 확장 현실 서비스를 제공하기 위한 장치 및 방법
US11561669B2 (en) * 2021-01-08 2023-01-24 Ford Global Technologies, Llc Systems and methods of using a digital twin for interacting with a city model
US20220229535A1 (en) * 2021-01-19 2022-07-21 Samsung Electronics Company, Ltd. Systems and Methods for Manipulating Views and Shared Objects in XR Space
JP7082698B1 (ja) 2021-02-18 2022-06-08 Kddi株式会社 情報処理装置、情報処理方法、及びプログラム
JP7086242B1 (ja) 2021-02-18 2022-06-17 Kddi株式会社 情報処理装置、情報処理方法、及びプログラム
CN112967404A (zh) * 2021-02-24 2021-06-15 深圳市慧鲤科技有限公司 控制虚拟对象移动的方法、装置、电子设备及存储介质
US11523063B2 (en) * 2021-03-25 2022-12-06 Microsoft Technology Licensing, Llc Systems and methods for placing annotations in an augmented reality environment using a center-locked interface
US11810262B2 (en) 2021-04-09 2023-11-07 Carvana, LLC Systems and methods for rotating a 3D display
US11727657B2 (en) 2021-04-09 2023-08-15 Carvana, LLC Systems and methods for rendering a portion of a 3D display
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
CN113426117B (zh) * 2021-06-23 2024-03-01 网易（杭州）网络有限公司 虚拟相机拍摄参数获取方法、装置、电子设备和存储介质
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
US20230040610A1 (en) * 2021-08-06 2023-02-09 Apple Inc. Object placement for electronic devices
CN113721804A (zh) * 2021-08-20 2021-11-30 北京市商汤科技开发有限公司 一种显示方法、装置、电子设备及计算机可读存储介质
US20230087202A1 (en) * 2021-09-17 2023-03-23 Ford Global Technologies, Llc Augmented Reality And Touch-Based User Engagement Parking Assist
CN113867568B (zh) * 2021-09-29 2023-10-13 四川长虹教育科技有限公司 红外交互大屏动态检测修复红外触摸的方法
USD1021940S1 (en) * 2021-10-13 2024-04-09 Degussa Bank AG Display screen with financial institution communication interface
USD1018580S1 (en) * 2021-10-13 2024-03-19 Degussa Bank AG Display screen with financial institution graphical user interface
USD1021939S1 (en) * 2021-10-13 2024-04-09 Degussa Bank AG Display screen with financial institution navigation interface
US20230137265A1 (en) * 2021-10-31 2023-05-04 Zoom Video Communications, Inc. Dynamic camera views in a virtual environment
KR20230069433A (ko) * 2021-11-12 2023-05-19 삼성전자주식회사 Ar 이미지의 휘도를 제어하는 방법 및 장치
WO2023092375A1 (en) * 2021-11-25 2023-06-01 Citrix Systems, Inc. Computing device with live background and related method
CN114373064A (zh) * 2021-12-14 2022-04-19 聚好看科技股份有限公司 一种vrar内容编辑方法、装置、设备及介质
US20230199014A1 (en) * 2021-12-16 2023-06-22 International Business Machines Corporation Dark pattern detection and mitigation
WO2023153607A1 (ko) * 2022-02-10 2023-08-17 삼성전자주식회사 주변 조도에 기초한 ar 컨텐츠 표시 방법 및 전자 장치
US11775132B1 (en) 2022-05-18 2023-10-03 Environments by LE, Inc. System and method for the management and use of building systems, facilities, and amenities using internet of things devices and a metaverse representation
CN114839782B (zh) * 2022-06-07 2023-08-18 上汽大众汽车有限公司 一种用于车辆控制与信息显示的车载增强显示系统
CN114780012B (zh) * 2022-06-21 2023-06-20 荣耀终端有限公司 电子设备的锁屏壁纸的显示方法和相关装置
CN115421590B (zh) * 2022-08-15 2023-05-12 珠海视熙科技有限公司 一种手势控制方法、存储介质及摄像设备
CN115690375B (zh) * 2023-01-05 2023-04-07 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于虚拟现实技术的建筑模型修改交互方法、系统及终端
CN116303697B (zh) * 2023-05-18 2023-08-08 深圳鹏锐信息技术股份有限公司 一种基于人工智能的模型展示系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001290864A (ja) * 2000-02-04 2001-10-19 Sekisui Chem Co Ltd 環境表示装置、それを利用した建物の仮設計方法、建物設計装置及び建物の評価方法
JP2004021848A (ja) * 2002-06-19 2004-01-22 Mitsubishi Heavy Ind Ltd 建築物設計システム、プラント設計システム、及び３次元構造体観察システム。
JP2014115957A (ja) * 2012-12-12 2014-06-26 Hiroaki Ishihara 拡張現実型建物シミュレーション装置

Family Cites Families (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09106412A (ja) * 1995-10-12 1997-04-22 Sekisui House Ltd Ｃｇ画像による建築物の照明状態切換表示方法
JP3761106B2 (ja) 1996-03-04 2006-03-29 シャープ株式会社 倍率設定装置を備えた画像形成装置
US6426745B1 (en) 1997-04-28 2002-07-30 Computer Associates Think, Inc. Manipulating graphic objects in 3D scenes
US6448964B1 (en) 1999-03-15 2002-09-10 Computer Associates Think, Inc. Graphic object manipulating tool
US20020044152A1 (en) 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
JP2007047294A (ja) 2005-08-08 2007-02-22 Nippon Hoso Kyokai <Nhk> 立体画像表示装置
CA2621191C (en) 2005-08-29 2012-12-18 Evryx Technologies, Inc. Interactivity via mobile image recognition
IL174737A (en) * 2006-04-03 2014-12-31 Camero Tech Ltd Device and method for visualizing volume in broadband radar
US20080071559A1 (en) 2006-09-19 2008-03-20 Juha Arrasvuori Augmented reality assisted shopping
KR101390126B1 (ko) * 2007-08-14 2014-04-28 엘지전자 주식회사 화상 통화시 프리뷰 이미지 제공 방법 및 이동통신단말기
US8836645B2 (en) 2008-12-09 2014-09-16 Microsoft Corporation Touch input interpretation
US9740340B1 (en) 2009-07-31 2017-08-22 Amazon Technologies, Inc. Visually consistent arrays including conductive mesh
US10198854B2 (en) 2009-08-14 2019-02-05 Microsoft Technology Licensing, Llc Manipulation of 3-dimensional graphical objects for view in a multi-touch display
US8922583B2 (en) 2009-11-17 2014-12-30 Qualcomm Incorporated System and method of controlling three dimensional virtual objects on a portable computing device
JP5573238B2 (ja) 2010-03-04 2014-08-20 ソニー株式会社 情報処理装置、情報処理法方法およびプログラム
US20110296352A1 (en) 2010-05-27 2011-12-01 Microsoft Corporation Active calibration of a natural user interface
US9411413B2 (en) * 2010-08-04 2016-08-09 Apple Inc. Three dimensional user interface effects on a display
JP5745241B2 (ja) * 2010-09-08 2015-07-08 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、及び情報処理方法
JP2012089112A (ja) 2010-09-22 2012-05-10 Nikon Corp 画像表示装置
US8941603B2 (en) 2010-12-10 2015-01-27 Sony Corporation Touch sensitive display
JP5799521B2 (ja) 2011-02-15 2015-10-28 ソニー株式会社 情報処理装置、オーサリング方法及びプログラム
US8743244B2 (en) 2011-03-21 2014-06-03 HJ Laboratories, LLC Providing augmented reality based on third party information
EP2691935A1 (en) 2011-03-29 2014-02-05 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
JP5724543B2 (ja) * 2011-03-31 2015-05-27 ソニー株式会社 端末装置、オブジェクト制御方法及びプログラム
EP2546806B1 (en) 2011-07-11 2019-05-08 Deutsche Telekom AG Image based rendering for ar - enabling user generation of 3d content
US8581901B2 (en) 2011-07-28 2013-11-12 Adobe Systems Incorporated Methods and apparatus for interactive rotation of 3D objects using multitouch gestures
US8687023B2 (en) * 2011-08-02 2014-04-01 Microsoft Corporation Cross-slide gesture to select and rearrange
US9542068B2 (en) 2011-10-27 2017-01-10 The Hong Kong University Of Science And Technology System and method for constrained manipulations of 3D objects by multitouch inputs
US8872853B2 (en) 2011-12-01 2014-10-28 Microsoft Corporation Virtual light in augmented reality
US20130178257A1 (en) 2012-01-06 2013-07-11 Augaroo, Inc. System and method for interacting with virtual objects in augmented realities
US9316513B2 (en) 2012-01-08 2016-04-19 Sensor Platforms, Inc. System and method for calibrating sensors for different operating environments
JP5942456B2 (ja) 2012-02-10 2016-06-29 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
CN104081307B (zh) * 2012-02-10 2018-02-23 索尼公司 图像处理装置、图像处理方法和程序
JP2013164697A (ja) 2012-02-10 2013-08-22 Sony Corp 画像処理装置、画像処理方法、プログラム及び画像処理システム
JP5966834B2 (ja) 2012-02-29 2016-08-10 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
US20130234926A1 (en) 2012-03-07 2013-09-12 Qualcomm Incorporated Visually guiding motion to be performed by a user
US20130257856A1 (en) 2012-04-03 2013-10-03 Google Inc. Determining a View of an Object in a Three-Dimensional Image Viewer
US9595137B2 (en) 2012-04-26 2017-03-14 Intel Corporation Augmented reality computing device, apparatus and system
JP5870958B2 (ja) * 2012-04-27 2016-03-01 キヤノンマーケティングジャパン株式会社 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム
US9383895B1 (en) * 2012-05-05 2016-07-05 F. Vinayak Methods and systems for interactively producing shapes in three-dimensional space
EP2847661A2 (en) 2012-05-09 2015-03-18 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
US9159153B2 (en) 2012-06-05 2015-10-13 Apple Inc. Method, system and apparatus for providing visual feedback of a map view change
US20130335405A1 (en) * 2012-06-18 2013-12-19 Michael J. Scavezze Virtual object generation within a virtual environment
KR101917695B1 (ko) 2012-08-09 2018-11-13 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
JP6214981B2 (ja) 2012-10-05 2017-10-18 株式会社ファイン 建築画像表示装置、建築画像表示方法及びコンピュータプログラム
US9552673B2 (en) * 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
US8997021B2 (en) 2012-11-06 2015-03-31 Lytro, Inc. Parallax and/or three-dimensional effects for thumbnail image displays
US9619911B2 (en) 2012-11-13 2017-04-11 Qualcomm Incorporated Modifying virtual object display properties
US10078384B2 (en) 2012-11-20 2018-09-18 Immersion Corporation Method and apparatus for providing haptic cues for guidance and alignment with electrostatic friction
KR101984915B1 (ko) 2012-12-03 2019-09-03 삼성전자주식회사 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템
US9407814B2 (en) * 2012-12-21 2016-08-02 Nvidia Corporation Approach for camera control
JP2016507119A (ja) 2013-02-08 2016-03-07 アップル インコーポレイテッド 容量感知に基づく力判定
US9679414B2 (en) 2013-03-01 2017-06-13 Apple Inc. Federated mobile device positioning
US20140282220A1 (en) 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
US10109075B2 (en) * 2013-03-15 2018-10-23 Elwha Llc Temporal element restoration in augmented reality systems
US10025486B2 (en) 2013-03-15 2018-07-17 Elwha Llc Cross-reality select, drag, and drop for augmented reality systems
US9286727B2 (en) 2013-03-25 2016-03-15 Qualcomm Incorporated System and method for presenting true product dimensions within an augmented real-world setting
US9245387B2 (en) 2013-04-12 2016-01-26 Microsoft Technology Licensing, Llc Holographic snap grid
US10168882B2 (en) * 2013-06-09 2019-01-01 Apple Inc. Device, method, and graphical user interface for switching between camera interfaces
US10282083B2 (en) 2013-06-09 2019-05-07 Apple Inc. Device, method, and graphical user interface for transitioning between user interfaces
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
KR101775591B1 (ko) 2013-06-11 2017-09-06 퀄컴 인코포레이티드 데이터베이스 생성의 목적을 위한 대화식 및 자동 3-d 오브젝트 스캐닝 방법
US10175483B2 (en) 2013-06-18 2019-01-08 Microsoft Technology Licensing, Llc Hybrid world/body locked HUD on an HMD
US9514574B2 (en) 2013-08-30 2016-12-06 Qualcomm Incorporated System and method for determining the extent of a plane in an augmented reality environment
CN105683878B (zh) 2013-09-03 2019-05-07 苹果公司 用户界面中的用户界面对象操作
US9256072B2 (en) * 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
US20150135115A1 (en) 2013-11-11 2015-05-14 Lenovo (Singapore) Pte. Ltd. Multi-touch input for changing text and image attributes
JP5968573B2 (ja) 2014-02-18 2016-08-10 三菱電機株式会社 移動体用ジェスチャ誘導装置、移動体用ジェスチャ誘導システムおよび移動体用ジェスチャ誘導方法
US9720934B1 (en) 2014-03-13 2017-08-01 A9.Com, Inc. Object recognition of feature-sparse or texture-limited subject matter
US20180033210A1 (en) * 2014-03-17 2018-02-01 Nitin Vats Interactive display system with screen cut-to-shape of displayed object for realistic visualization and user interaction
JP5937128B2 (ja) 2014-03-17 2016-06-22 富士フイルム株式会社 拡張現実感提供システム、方法及びプログラム
US9392212B1 (en) 2014-04-17 2016-07-12 Visionary Vr, Inc. System and method for presenting virtual reality content to a user
US9690370B2 (en) * 2014-05-05 2017-06-27 Immersion Corporation Systems and methods for viewport-based augmented reality haptic effects
US10296663B2 (en) 2014-05-13 2019-05-21 Atheer, Inc. Method for moving and aligning 3D objects in a plane within the 2D environment
US10579207B2 (en) * 2014-05-14 2020-03-03 Purdue Research Foundation Manipulating virtual environment using non-instrumented physical object
US9646418B1 (en) 2014-06-10 2017-05-09 Ripple Inc Biasing a rendering location of an augmented reality object
WO2015192117A1 (en) * 2014-06-14 2015-12-17 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9589354B2 (en) 2014-06-17 2017-03-07 Chief Architect Inc. Virtual model viewing methods and apparatus
US9495008B2 (en) 2014-06-27 2016-11-15 Amazon Technologies, Inc. Detecting a primary user of a device
US10518188B2 (en) * 2014-06-30 2019-12-31 Microsoft Technology Licensing, Llc Controlling physical toys using a physics engine
US10416760B2 (en) * 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
JP6451139B2 (ja) * 2014-08-11 2019-01-16 株式会社大林組 配置計画支援システム、配置計画支援方法及び配置計画支援プログラム
TWI600322B (zh) 2014-09-02 2017-09-21 蘋果公司 用於操作具有整合式相機之電子器件之方法及相關電子器件，以及非暫時性電腦可讀取儲存媒體
US10070120B2 (en) 2014-09-17 2018-09-04 Qualcomm Incorporated Optical see-through display calibration
US9436369B2 (en) 2014-09-26 2016-09-06 Disney Enterprises, Inc. Touch interface for precise rotation of an object
WO2016077798A1 (en) 2014-11-16 2016-05-19 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application
US10055892B2 (en) 2014-11-16 2018-08-21 Eonite Perception Inc. Active region determination for head mounted displays
US9728010B2 (en) 2014-12-30 2017-08-08 Microsoft Technology Licensing, Llc Virtual representations of real-world objects
JP6154543B2 (ja) 2015-01-30 2017-06-28 技術研究組合次世代３Ｄ積層造形技術総合開発機構 ３次元造形システム、情報処理装置、３次元造形モデル配置方法および３次元造形モデル配置プログラム
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US20160329006A1 (en) 2015-05-04 2016-11-10 Microsoft Technology Licensing, Llc Interactive integrated display and processing device
US10339382B2 (en) 2015-05-31 2019-07-02 Fieldbit Ltd. Feedback based remote maintenance operations
US10825049B2 (en) 2015-06-09 2020-11-03 Visa International Service Association Virtual reality and augmented reality systems and methods to generate mobile alerts
US9386230B1 (en) * 2015-06-12 2016-07-05 Google Inc. Day and night detection based on one or more of illuminant detection, lux level detection, and tiling
JP6629528B2 (ja) 2015-06-16 2020-01-15 株式会社ファイン 仮想現実表示システム、仮想現実表示方法及びコンピュータプログラム
US9652125B2 (en) 2015-06-18 2017-05-16 Apple Inc. Device, method, and graphical user interface for navigating media content
EP3116212B1 (en) 2015-07-06 2023-04-19 Nokia Technologies Oy Transition from display of first camera information to display of second camera information
US10482659B2 (en) 2015-07-15 2019-11-19 Oracle International Corporation System and method for superimposing spatially correlated data over live real-world images
JP2018526693A (ja) * 2015-08-04 2018-09-13 グーグル エルエルシー 仮想現実における注視対話のためのホバー挙動
US10134188B2 (en) 2015-12-21 2018-11-20 Intel Corporation Body-centric mobile point-of-view augmented and virtual reality
WO2017139509A1 (en) 2016-02-12 2017-08-17 Purdue Research Foundation Manipulating 3d virtual objects using hand-held controllers
TWI567691B (zh) 2016-03-07 2017-01-21 粉迷科技股份有限公司 立體空間的場景編輯方法與系統
CN111329553B (zh) 2016-03-12 2021-05-04 P·K·朗 用于手术的装置与方法
US10176641B2 (en) 2016-03-21 2019-01-08 Microsoft Technology Licensing, Llc Displaying three-dimensional virtual objects based on field of view
US10802695B2 (en) 2016-03-23 2020-10-13 Youar Inc. Augmented reality for the internet of things
US10088898B2 (en) * 2016-03-31 2018-10-02 Verizon Patent And Licensing Inc. Methods and systems for determining an effectiveness of content in an immersive virtual reality world
US11494547B2 (en) 2016-04-13 2022-11-08 Microsoft Technology Licensing, Llc Inputting images to electronic devices
US20170300214A1 (en) 2016-04-19 2017-10-19 SAS Automation, LLC Three Dimensional Model Launch Tools And Methods Of Use
US10303323B2 (en) 2016-05-18 2019-05-28 Meta Company System and method for facilitating user interaction with a three-dimensional virtual environment in response to user input into a control device having a graphical interface
WO2017208637A1 (ja) 2016-05-31 2017-12-07 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP6323960B2 (ja) 2016-08-02 2018-05-16 本田技研工業株式会社 入力装置
WO2018071004A1 (en) 2016-10-11 2018-04-19 Hewlett-Packard Development Company, L.P. Visual cue system
US10824294B2 (en) 2016-10-25 2020-11-03 Microsoft Technology Licensing, Llc Three-dimensional resource integration system
US10332317B2 (en) 2016-10-25 2019-06-25 Microsoft Technology Licensing, Llc Virtual reality and cross-device experiences
US20180143693A1 (en) * 2016-11-21 2018-05-24 David J. Calabrese Virtual object manipulation
US20180210628A1 (en) * 2017-01-23 2018-07-26 Snap Inc. Three-dimensional interaction system
US20170173262A1 (en) 2017-03-01 2017-06-22 François Paul VELTZ Medical systems, devices and methods
US10290152B2 (en) * 2017-04-03 2019-05-14 Microsoft Technology Licensing, Llc Virtual object user interface display
US10692287B2 (en) 2017-04-17 2020-06-23 Microsoft Technology Licensing, Llc Multi-step placement of virtual objects
US10339714B2 (en) 2017-05-09 2019-07-02 A9.Com, Inc. Markerless image analysis for augmented reality
DK180470B1 (en) 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
DK201870349A1 (en) 2018-01-24 2019-10-23 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001290864A (ja) * 2000-02-04 2001-10-19 Sekisui Chem Co Ltd 環境表示装置、それを利用した建物の仮設計方法、建物設計装置及び建物の評価方法
JP2004021848A (ja) * 2002-06-19 2004-01-22 Mitsubishi Heavy Ind Ltd 建築物設計システム、プラント設計システム、及び３次元構造体観察システム。
JP2014115957A (ja) * 2012-12-12 2014-06-26 Hiroaki Ishihara 拡張現実型建物シミュレーション装置

Also Published As

Publication number Publication date
US20190065027A1 (en) 2019-02-28
EP3635518B1 (en) 2024-04-03
EP3635518A1 (en) 2020-04-15
CN112034988B (zh) 2022-10-18
CN112034988A (zh) 2020-12-04
AU2023203200A1 (en) 2023-06-15
JP2022008600A (ja) 2022-01-13
JP7324813B2 (ja) 2023-08-10
DK180470B1 (en) 2021-05-06
AU2018101226A4 (en) 2018-09-27
KR20230167134A (ko) 2023-12-07
KR102606618B1 (ko) 2023-11-29
JP6952877B2 (ja) 2021-10-27
AU2021240136A1 (en) 2021-10-28
DK201870548A1 (en) 2019-10-16
AU2021240136B2 (en) 2023-05-11
CN111095165A (zh) 2020-05-01
US20220019334A1 (en) 2022-01-20
EP4350622A2 (en) 2024-04-10
JP2020531985A (ja) 2020-11-05
AU2018324085B2 (en) 2021-09-09
US20230305674A1 (en) 2023-09-28
US11740755B2 (en) 2023-08-29
KR20230085945A (ko) 2023-06-14
US11163417B2 (en) 2021-11-02
AU2018324085A1 (en) 2020-03-05
KR102540163B1 (ko) 2023-06-08
JP2023159124A (ja) 2023-10-31
KR20200031666A (ko) 2020-03-24
AU2018101226B4 (en) 2019-05-09
CN115562483A (zh) 2023-01-03
KR102373116B1 (ko) 2022-03-11

Similar Documents

Publication Publication Date Title
KR102373116B1 (ko) 증강 및 가상 현실 환경들과 상호작용하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들
US11727650B2 (en) Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
KR102274977B1 (ko) 사용자 인터페이스 카메라 효과들
WO2019046597A1 (en) GRAPHIC USER SYSTEMS, METHODS AND INTERFACES FOR INTERACTING WITH ENHANCED AND VIRTUAL REALITY ENVIRONMENTS
US11941764B2 (en) Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
US20240153219A1 (en) Systems, Methods, and Graphical User Interfaces for Adding Effects in Augmented Reality Environments
US12020380B2 (en) Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
CN117501316A (zh) 用于在增强现实环境中添加效果的系统、方法和图形用户界面

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant