KR20230037054A - 사용자의 신체에 대한 디바이스의 디스플레이를 업데이트하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들 - Google Patents

사용자의 신체에 대한 디바이스의 디스플레이를 업데이트하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들 Download PDF

Info

Publication number
KR20230037054A
KR20230037054A KR1020237005233A KR20237005233A KR20230037054A KR 20230037054 A KR20230037054 A KR 20230037054A KR 1020237005233 A KR1020237005233 A KR 1020237005233A KR 20237005233 A KR20237005233 A KR 20237005233A KR 20230037054 A KR20230037054 A KR 20230037054A
Authority
KR
South Korea
Prior art keywords
user
electronic device
predefined
graphical representation
display
Prior art date
Application number
KR1020237005233A
Other languages
English (en)
Inventor
토마스 에스. 헐버트
칼린 와이. 바크
알프레드 비. 후에르고 와그너
펠리페 바심 데 아라우호 에 실바
승 욱 김
윌리엄 에이. 소렌티노 3세
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20230037054A publication Critical patent/KR20230037054A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0081—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

전자 디바이스는, 전자 디바이스가 사용자의 신체의 미리 정의된 부분 위에 착용(wear)되는 동안, 사용자의 신체의 미리 정의된 부분의 반대편에서 전자 디바이스 상에 배열된 디스플레이 생성 컴포넌트를 통해, 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰(exterior view)의 그래픽 표현을 디스플레이한다. 전자 디바이스는 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 변화를 검출한다. 전자 디바이스는, 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 변화를 검출하는 것에 응답하여, 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 검출된 변화에 따라 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현을 수정한다.

Description

사용자의 신체에 대한 디바이스의 디스플레이를 업데이트하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들
관련 출원
본 출원은 2020년 9월 26일자로 출원된 미국 가특허 출원 제63/083,911호에 대한 우선권을 주장하는 2021년 9월 23일자로 출원된 미국 특허 출원 제17/483,744호의 계속 출원이며, 이들 각각은 그 전체가 참고로 포함된다.
기술분야
본 출원은 일반적으로 디스플레이를 통해 가상 현실 및 혼합 현실 경험들을 제공하는 전자 디바이스들을 포함하지만 이에 제한되지 않는 컴퓨터 생성 경험들을 제공하는 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 갖는 컴퓨터 시스템들에 관한 것이다.
증강 현실을 위한 컴퓨터 시스템들의 개발은 최근에 상당히 증가하였다. 예시적인 증강 현실 환경들은 물리적 세계를 대체하거나 증강시키는 적어도 일부 가상 요소들을 포함한다. 컴퓨터 시스템들 및 다른 전자 컴퓨팅 디바이스들에 대한 입력 디바이스들, 예를 들어 카메라들, 제어기들, 조이스틱들, 터치 감응형 표면들, 및 터치 스크린 디스플레이들이 가상/증강 현실 환경들과 상호작용하기 위해 사용된다. 예시적인 가상 요소들은 디지털 이미지들, 비디오, 텍스트, 아이콘들, 및 버튼들 및 다른 그래픽들과 같은 제어 요소들을 포함하는 가상 객체들을 포함한다.
그러나, 적어도 일부 가상 요소들을 포함하는 환경들(예를 들어, 애플리케이션들, 증강 현실 환경들, 혼합 현실 환경들, 및 가상 현실 환경들)과 상호작용하기 위한 방법들 및 인터페이스들은 번거롭고, 비효율적이고, 제한된다. 예를 들어, 가상 객체들과 연관된 액션들을 수행하기 위한 불충분한 피드백을 제공하는 시스템들, 증강 현실 환경에서 원하는 결과를 달성하기 위해 일련의 입력들을 요구하는 시스템들, 및 가상 객체들의 조작이 복잡하고, 지루하며, 에러가 발생하기 쉬운 시스템들은 사용자에게 상당한 인지 부담을 생성하고, 가상/증강 현실 환경과의 경험을 손상시킨다. 게다가, 이러한 방법들은 필요 이상으로 오래 걸려서, 에너지가 낭비된다. 이러한 후자의 고려사항은 배터리-작동형 디바이스들에서 특히 중요하다.
따라서, 컴퓨터 시스템들과의 상호작용을 사용자에게 더 효율적이고 직관적으로 만드는 컴퓨터 생성 경험들을 사용자들에게 제공하기 위한 개선된 방법들 및 인터페이스들을 갖는 컴퓨터 시스템들에 대한 필요성이 존재한다. 그러한 방법들 및 인터페이스들은 선택적으로, 컴퓨터 생성 현실 경험들을 사용자들에게 제공하기 위한 종래의 방법들을 보완하거나 대체한다. 이러한 방법들 및 인터페이스들은, 사용자가 제공된 입력들과 입력들에 대한 디바이스 응답들 사이의 연결을 이해하는 것을 도움으로써 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 줄여서, 이에 의해 더 효율적인 인간-기계 인터페이스를 생성한다.
개시된 시스템들에 의해, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 갖는 컴퓨터 시스템들에 대한 사용자 인터페이스들과 연관된 위의 결점들 및 다른 문제들이 감소되거나 제거된다. 일부 실시예들에서, 컴퓨터 시스템은 연관된 디스플레이를 갖는 데스크톱 컴퓨터이다. 일부 실시예들에서, 컴퓨터 시스템은 휴대용 디바이스(예를 들어, 노트북 컴퓨터, 태블릿 컴퓨터, 또는 핸드헬드 디바이스)이다. 일부 실시예들에서, 컴퓨터 시스템은 개인용 전자 디바이스(예를 들어, 시계 또는 머리 장착형 디바이스와 같은 웨어러블 전자 디바이스)이다. 일부 실시예들에서, 컴퓨터 시스템은 터치패드를 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 카메라들을 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 터치 감응형 디스플레이("터치 스크린" 또는 "터치-스크린 디스플레이"로도 알려짐)를 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 눈 추적 컴포넌트들을 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 하나 이상의 손 추적 컴포넌트들을 갖는다. 일부 실시예들에서, 컴퓨터 시스템은 디스플레이 생성 컴포넌트에 추가하여 하나 이상의 출력 디바이스들을 갖고, 출력 디바이스들은 하나 이상의 촉각적 출력 생성기들 및 하나 이상의 오디오 출력 디바이스들을 포함한다. 일부 실시예들에서, 컴퓨터 시스템은 그래픽 사용자 인터페이스(GUI), 하나 이상의 프로세서들, 메모리, 및 다수의 기능들을 수행하기 위해 메모리에 저장되는 하나 이상의 모듈들, 프로그램들 또는 명령어들의 세트들을 갖는다. 일부 실시예들에서, 사용자는 터치 감응형 표면 상의 스타일러스 및/또는 손가락 접촉들 및 제스처들, 카메라들 및 다른 이동 센서들에 의해 캡처된 GUI 또는 사용자의 신체에 대한 공간에서의 사용자의 눈들 및 손의 이동, 및 하나 이상의 오디오 입력 디바이스들에 의해 캡처된 음성 입력들을 통해 GUI와 상호작용한다. 일부 실시예들에서, 상호작용들을 통해 수행되는 기능들은, 선택적으로, 이미지 편집, 드로잉, 프레젠팅(presenting), 워드 프로세싱, 스프레드시트 작성, 게임 하기, 전화 걸기, 화상 회의, 이메일 보내기, 인스턴트 메시징(instant messaging), 운동 지원, 디지털 사진촬영, 디지털 비디오 녹화, 웹 브라우징, 디지털 음악 재생, 메모하기(note taking), 및/또는 디지털 비디오 재생을 포함한다. 이러한 기능들을 수행하기 위한 실행가능 명령어들은, 선택적으로, 하나 이상의 프로세서들에 의한 실행을 위해 구성된 비일시적 컴퓨터 판독가능 저장 매체 또는 다른 컴퓨터 프로그램 제품에 포함된다.
3차원 환경과 상호작용하기 위한 개선된 방법들 및 인터페이스들을 갖는 전자 디바이스들이 필요하다. 이러한 방법들 및 인터페이스들은 3차원 환경과 상호작용하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 이러한 방법들 및 인터페이스들은 사용자로부터의 입력들의 수, 정도, 및/또는 종류를 줄이고 더 효율적인 인간-기계 인터페이스를 생성한다.
일부 실시예들에 따르면, 방법이 사용자의 신체의 미리 정의된 부분 위에 착용(wear)되도록 구성된 전자 디바이스에서 수행되며, 전자 디바이스는 하나 이상의 프로세서들, 메모리, 및 사용자의 신체의 부분의 반대편에서 전자 디바이스 상에 배열된 디스플레이 생성 컴포넌트를 갖는다. 방법은, 전자 디바이스가 사용자의 신체의 미리 정의된 부분 위에 착용되는 동안, 디스플레이 생성 컴포넌트를 통해, 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰(exterior view)의 그래픽 표현을 디스플레이하는 단계를 포함한다. 방법은 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 변화를 검출하는 단계를 추가로 포함한다. 방법은, 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 변화를 검출하는 것에 응답하여, 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 검출된 변화에 따라 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현을 수정하는 단계를 포함한다.
전술된 다양한 실시예들이 본 명세서에 기술된 임의의 다른 실시예들과 조합될 수 있음을 유의해야 한다. 본 명세서에 기술된 특징들 및 이점들은 모두를 포함하는 것은 아니며, 특히, 많은 추가적인 특징들 및 이점들이 도면, 명세서 및 청구범위를 고려하여 당업자에게 명백할 것이다. 그에 부가하여, 본 명세서에 사용된 표현은 주로 이해의 편의 및 설명을 위해 선택되었고, 본 발명의 요지를 상세히 기술하거나 제한하기 위해 선택되지 않았을 수 있다는 것에 주목해야 한다.
다양하게 기술된 실시예들의 더 양호한 이해를 위해, 유사한 도면 부호들이 도면 전체에 걸쳐서 대응 부분들을 나타내는 하기의 도면들과 관련하여 하기의 발명을 실시하기 위한 구체적인 내용이 참조되어야 한다.
도 1은 일부 실시예들에 따른 CGR 경험들을 제공하기 위한 컴퓨터 시스템의 동작 환경을 예시하는 블록도이다.
도 2는 일부 실시예들에 따른 사용자에 대한 CGR 경험을 관리 및 조정하도록 구성된 컴퓨터 시스템의 제어기를 예시하는 블록도이다.
도 3은 일부 실시예들에 따른 CGR 경험의 시각적 컴포넌트를 사용자에게 제공하도록 구성된 컴퓨터 시스템의 디스플레이 생성 컴포넌트를 예시하는 블록도이다.
도 4는 일부 실시예들에 따른 사용자의 제스처 입력들을 캡처하도록 구성된 컴퓨터 시스템의 손 추적 유닛을 예시하는 블록도이다.
도 5는 일부 실시예들에 따른 사용자의 시선 입력들을 캡처하도록 구성된 컴퓨터 시스템의 눈 추적 유닛을 예시하는 블록도이다.
도 6은 일부 실시예들에 따른 글린트-보조(glint-assisted) 시선 추적 파이프라인을 예시하는 흐름도이다.
도 7a는 일부 실시예들에 따른 디스플레이를 갖는 디바이스를 예시한다.
도 7b 내지 도 7j는 일부 실시예들에 따른 사용자의 신체에 대한 디바이스의 디스플레이를 업데이트하기 위한 예시적인 사용자 인터페이스들을 예시한다.
도 8a 내지 도 8d는 일부 실시예들에 따른 컴퓨팅 시스템들과의 상호작용을 사용자에게 더 효율적이고 직관적으로 만드는 컴퓨터 생성 경험들을 사용자들에게 제공하기 위한 프로세스의 흐름도들이다.
본 개시내용은 일부 실시예들에 따른, 컴퓨터 생성 현실(computer generated reality, CGR) 경험을 사용자에게 제공하기 위한 사용자 인터페이스들에 관한 것이다.
본 명세서에 설명되는 시스템들, 방법들, 및 GUI들은 다수의 방식들로 가상/증강 현실 환경들과의 사용자 인터페이스 상호작용들을 개선한다.
일부 실시예들에서, 본 명세서에 설명된 시스템들, 방법들 및 GUI들은 디스플레이에 의해 가려지는 사용자의 신체의 애니메이션화된 부분들을 디스플레이함으로써 사용자 및 주변 환경 내의 다른 사람들에게 이용가능한 시각적 정보를 개선한다. 예를 들어, 그것들은, 컴퓨팅 시스템들과의 상호작용을 사용자 및 주변 환경 내의 다른 사람들에게 더 효율적이고 직관적으로 만드는 컴퓨터 생성 경험들을 사용자들에게 제공하는 것을 더 쉽게 만든다.
도 1 내지 도 6은 사용자들에게 CGR 경험들을 제공하기 위한 예시적인 컴퓨터 시스템들의 설명을 제공한다. 도 7a 내지 도 7j는 컴퓨팅 시스템들과의 상호작용을 사용자에게 더 효율적이고 직관적으로 만드는 컴퓨터 생성 경험들을 사용자들에게 제공하기 위한 예시적인 사용자 인터페이스들을 예시한다. 도 8a 내지 도 8d는 컴퓨팅 시스템들과의 상호작용을 사용자에게 더 효율적이고 직관적으로 만드는 컴퓨터 생성 경험들을 사용자들에게 제공하는 방법의 흐름도를 예시한다. 도 7a 내지 도 7j의 사용자 인터페이스들을 이용하여 도 8a 내지 도 8d의 프로세스들을 예시한다.
일부 실시예들에서, 도 1에 도시된 바와 같이, CGR 경험은 컴퓨터 시스템(101)을 포함하는 동작 환경(100)을 통해 사용자에게 제공된다. 컴퓨터 시스템(101)은 제어기(110)(예를 들어, 휴대용 전자 디바이스 또는 원격 서버의 프로세서들), 디스플레이 생성 컴포넌트(120)(예를 들어, 머리 장착형 디바이스(head-mounted device, HMD), 디스플레이, 프로젝터, 터치-스크린 등), 하나 이상의 입력 디바이스들(125)(예를 들어, 눈 추적 디바이스(130), 손 추적 디바이스(140), 다른 입력 디바이스들(150)), 하나 이상의 출력 디바이스들(155)(예를 들어, 스피커들(160), 촉각적 출력 생성기들(170), 및 다른 출력 디바이스들(180)), 하나 이상의 센서들(190)(예를 들어, 이미지 센서들, 광 센서들, 깊이 센서들, 촉각 센서들, 배향 센서들, 근접 센서들, 온도 센서들, 위치 센서들, 모션 센서들, 속도 센서들 등), 그리고 선택적으로, 하나 이상의 주변 디바이스들(195)(예를 들어, 가전기기들, 웨어러블 디바이스들 등)을 포함한다. 일부 실시예들에서, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190) 및 주변 디바이스들(195) 중 하나 이상은 (예를 들어, 머리 장착형 디바이스 또는 핸드헬드 디바이스에서) 디스플레이 생성 컴포넌트(120)와 통합된다.
CGR 경험을 설명할 때, (예를 들어, CGR 경험을 생성하는 컴퓨터 시스템으로 하여금 컴퓨터 시스템(101)에 제공된 다양한 입력들에 대응하는 오디오, 시각적 및/또는 촉각적 피드백을 생성하게 하는, CGR 경험을 생성하는 컴퓨터 시스템(101)에 의해 검출된 입력들로) 사용자가 감지할 수 있고/있거나 사용자가 상호작용할 수 있는 몇몇 관련되지만 구별되는 환경들을 구별하여 지칭하기 위해 다양한 용어들이 사용된다. 다음은 이들 용어의 서브세트이다:
물리적 환경: 물리적 환경은 사람들이 전자 시스템들의 도움없이 감지하고 그리고/또는 상호작용할 수 있는 물리적 세계를 지칭한다. 물리적 공원과 같은 물리적 환경들은 물리적 물품들, 예컨대 물리적 나무들, 물리적 건물들, 및 물리적 사람들을 포함한다. 사람들은, 예컨대 시각, 촉각, 청각, 미각, 및 후각을 통해, 물리적 환경을 직접 감지하고 그리고/또는 그와 상호작용할 수 있다.
컴퓨터 생성 현실: 대조적으로, 컴퓨터 생성 현실(CGR) 환경은 사람들이 전자 시스템을 통해 감지하고/하거나 그와 상호작용하는 완전히 또는 부분적으로 시뮬레이션된 환경을 지칭한다. CGR에서, 사람의 신체적 움직임들, 또는 이들의 표현들의 서브세트가 추적되고, 이에 응답하여, CGR 환경에서 시뮬레이션된 하나 이상의 가상 객체들의 하나 이상의 특성들이 적어도 하나의 물리 법칙에 따르는 방식으로 조정된다. 예를 들어, CGR 시스템은 사람이 고개를 돌리는 것을 검출할 수 있고, 이에 응답하여, 그 사람에게 제시되는 그래픽 콘텐츠 및 음장(acoustic field)을 물리적 환경에서 이러한 뷰들 및 소리들이 변경되는 방식과 유사한 방식으로 조정할 수 있다. 일부 상황들에서(예를 들어, 접근성 이유들 때문에), CGR 환경에서의 가상 객체(들)의 특성(들)에 대한 조정들은 신체적 움직임들의 표현들(예를 들어, 음성 커맨드들)에 응답하여 이루어질 수 있다. 사람은, 시각, 청각, 촉각, 미각, 및 후각을 포함하는 그들의 감각들 중 임의의 하나를 사용하여 CGR 객체를 감지하고/하거나 그와 상호작용할 수 있다. 예를 들어, 사람은 3D 공간에서의 포인트 오디오 소스들의 지각을 제공하는 3D 또는 공간적 오디오 환경을 생성하는 오디오 객체들을 감지하고/하거나 그와 상호작용할 수 있다. 다른 예에서, 오디오 객체들은 오디오 투명성을 가능하게 할 수 있으며, 이는 선택적으로, 물리적 환경으로부터의 주변 소리들을 컴퓨터 생성 오디오와 함께 또는 그것 없이 통합한다. 일부 CGR 환경들에서, 사람은 오디오 객체들만을 감지하고/하거나 그와 상호작용할 수 있다.
CGR의 예들은 가상 현실 및 혼합 현실(mixed reality)을 포함한다.
가상 현실: 가상 현실(virtual reality, VR) 환경은 하나 이상의 감각들에 대한 컴퓨터-생성 감각 입력들에 전적으로 기초하도록 설계된 시뮬레이션된 환경을 지칭한다. VR 환경은 사람이 감지하고/하거나 그와 상호작용할 수 있는 복수의 가상 객체들을 포함한다. 예를 들어, 나무들, 빌딩들, 및 사람들을 표현하는 아바타들의 컴퓨터 생성 형상화가 가상 객체들의 예들이다. 사람은, 컴퓨터 생성 환경에서의 사람의 존재의 시뮬레이션을 통해 그리고/또는 컴퓨터 생성 환경에서의 사람의 신체적 움직임들의 서브세트의 시뮬레이션을 통해 VR 환경에서 가상 객체들을 감지하며 및/또는 그와 상호작용할 수 있다.
혼합 현실: 컴퓨터 생성 감각 입력들에 전적으로 기초하도록 설계되는 VR 환경과는 대조적으로, 혼합 현실(mixed reality, MR) 환경은 컴퓨터 생성 감각 입력들(예를 들어, 가상 객체들)을 포함하는 것에 부가하여, 물리적 환경으로부터의 감각 입력들, 또는 그들의 표현을 통합하도록 설계된 시뮬레이션된 환경을 지칭한다. 가상 연속체(virtuality continuum)에서, 혼합 현실 환경은 한쪽의 완전히 물리적인 환경과 다른 쪽의 가상 현실 환경 사이의 임의의 곳에 있지만, 포함하지는 않는다. 일부 MR 환경들에서, 컴퓨터 생성 감각 입력들은 물리적 환경으로부터의 감각 입력들의 변화들에 응답할 수 있다. 또한, MR 환경을 제시하기 위한 일부 전자 시스템들은 물리적 환경에 대한 위치 및/또는 배향을 추적하여 가상 객체들이 실제 객체들(즉, 물리적 환경으로부터의 물리적 물품들 또는 물리적 물품들의 표현들)과 상호작용할 수 있게 할 수 있다. 예를 들어, 시스템은 움직임들을 고려하여 가상 나무가 물리적 땅에 대하여 고정되어 있는 것처럼 보이도록 할 수 있다.
혼합 현실들의 예들은 증강 현실 및 증강 가상을 포함한다.
증강 현실: 증강 현실(augmented reality, AR) 환경은 하나 이상의 가상 객체들이 물리적 환경, 또는 그의 표현 위에 중첩되어 있는 시뮬레이션된 환경을 지칭한다. 예를 들어, AR 환경을 제시하기 위한 전자 시스템은 사람이 직접 물리적 환경을 볼 수 있는 투명 또는 반투명 디스플레이를 가질 수 있다. 시스템은, 사람이 시스템을 사용하여 물리적 환경 위에 중첩된 가상 객체들을 인지하도록, 투명 또는 반투명 디스플레이 상에 가상 객체들을 제시하도록 구성될 수 있다. 대안적으로, 시스템은 불투명 디스플레이, 및 물리적 환경의 표현들인 물리적 환경의 이미지들 또는 비디오를 캡처하는 하나 이상의 이미징 센서들을 가질 수 있다. 시스템은 이미지들 또는 비디오를 가상 객체들과 합성하고, 합성물을 불투명 디스플레이 상에 제시한다. 사람은 시스템을 사용하여 물리적 환경의 이미지들 또는 비디오에 의해 물리적 환경을 간접적으로 보고, 물리적 환경 위에 중첩된 가상 객체들을 인지한다. 본 명세서에 사용되는 바와 같이, 불투명 디스플레이 상에 보여지는 물리적 환경의 비디오는 "패스 스루(pass-through) 비디오"로 불리는데, 이는 시스템이 하나 이상의 이미지 센서(들)를 사용하여 물리적 환경의 이미지들을 캡처하고, AR 환경을 불투명 디스플레이 상에 제시할 시에 이들 이미지들을 사용하는 것을 의미한다. 추가로 대안적으로, 시스템은, 사람이 시스템을 사용하여 물리적 환경 위에 중첩된 가상 객체들을 인지하도록, 가상 객체들을 물리적 환경에, 예를 들어, 홀로그램으로서 또는 물리적 표면 상에 투영하는 투영 시스템을 가질 수 있다. 증강 현실 환경은 또한 물리적 환경의 표현이 컴퓨터 생성 감각 정보에 의해 변환되는 시뮬레이션된 환경을 지칭한다. 예를 들어, 패스 스루 비디오를 제공할 시에, 시스템은 하나 이상의 센서 이미지들을 변환하여 이미징 센서들에 의해 캡처된 관점과는 상이한 선택 관점(예를 들어, 시점)을 부과할 수 있다. 다른 예로서, 물리적 환경의 표현은 그것의 일부들을 그래픽적으로 수정(예를 들어, 확대)함으로써 변환될 수 있어서, 수정된 부분은 원래 캡처된 이미지들의 표현일 수 있지만, 실사 버전은 아닐 수 있다. 추가적인 예로서, 물리적 환경의 표현은 그의 일부들을 그래픽적으로 제거하거나 또는 흐리게 함으로써 변환될 수 있다.
증강 가상: 증강 가상(augmented virtuality, AV) 환경은 가상 또는 컴퓨터 생성 환경이 물리적 환경으로부터의 하나 이상의 감각 입력들을 통합하는 시뮬레이션된 환경을 지칭한다. 감각 입력들은 물리적 환경의 하나 이상의 특성들의 표현들일 수 있다. 예를 들어, AV 공원은 가상 나무들 및 가상 빌딩들을 가질 수 있지만, 사람들의 얼굴들은 물리적 사람들을 촬영한 이미지들로부터 실사처럼 재현될 수 있다. 다른 예로서, 가상 객체는 하나 이상의 이미징 센서들에 의해 이미징되는 물리적 물품의 형상 또는 색상을 채용할 수 있다. 추가적인 예로서, 가상 객체는 물리적 환경에서 태양의 위치에 부합하는 그림자들을 채용할 수 있다.
하드웨어: 사람이 다양한 CGR 환경들을 감지하고/하거나 그와 상호작용할 수 있게 하는 많은 상이한 유형의 전자 시스템들이 있다. 예들은 머리 장착형 시스템들, 투영 기반 시스템들, 헤드업(head-up) 디스플레이(HUD)들, 디스플레이 능력이 통합된 차량 앞유리들, 디스플레이 능력이 통합된 창문들, 사람의 눈들에 배치되도록 설계된 렌즈들로서 형성된 디스플레이들(예를 들어, 콘택트 렌즈들과 유사함), 헤드폰들/이어폰들, 스피커 어레이들, 입력 시스템들(예를 들어, 햅틱(haptic) 피드백이 있거나 또는 없는 웨어러블 또는 핸드헬드 제어기들), 스마트폰들, 태블릿들, 및 데스크톱/랩톱 컴퓨터들을 포함한다. 머리 장착형 시스템은 하나 이상의 스피커(들) 및 통합 불투명 디스플레이를 가질 수 있다. 대안적으로, 머리 장착형 시스템은 외부 불투명 디스플레이(예를 들어, 스마트폰)를 수용하도록 구성될 수 있다. 머리 장착형 시스템은 물리적 환경의 이미지들 또는 비디오를 캡처하기 위한 하나 이상의 이미징 센서들, 및/또는 물리적 환경의 오디오를 캡처하기 위한 하나 이상의 마이크로폰들을 통합할 수 있다. 머리 장착형 시스템은 불투명 디스플레이보다는, 투명 또는 반투명 디스플레이를 가질 수 있다. 투명 또는 반투명 디스플레이는 이미지들을 표현하는 광이 사람의 눈들로 지향되는 매체를 가질 수 있다. 디스플레이는 디지털 광 프로젝션, OLED들, LED들, uLED들, 실리콘 액정 표시장치, 레이저 스캐닝 광원, 또는 이들 기술들의 임의의 조합을 이용할 수 있다. 매체는 광학 도파관, 홀로그램 매체, 광학 조합기, 광학 반사기, 또는 이들의 임의의 조합일 수 있다. 일 실시예에서, 투명 또는 반투명 디스플레이는 선택적으로 불투명하게 되도록 구성될 수 있다. 투영 기반 시스템들은 그래픽 이미지들을 사람의 망막 상에 투영하는 망막 투영 기술을 채용할 수 있다. 투영 시스템들은, 또한, 가상 객체들을 물리적 환경 내에, 예를 들어 홀로그램으로서, 또는 물리적 표면 상에 투영하도록 구성될 수 있다. 일부 실시예들에서, 제어기(110)는 사용자에 대한 CGR 경험을 관리 및 조정하도록 구성된다. 일부 실시예들에서, 제어기(110)는 소프트웨어, 펌웨어, 및/또는 하드웨어의 적합한 조합을 포함한다. 제어기(110)는 도 2에 관해 아래에서 더 상세히 설명된다. 일부 실시예들에서, 제어기(110)는 장면(105)(예를 들어, 물리적 환경)에 대해 로컬 또는 원격인 컴퓨팅 디바이스이다. 예를 들어, 제어기(110)는 장면(105) 내에 위치된 로컬 서버이다. 다른 예에서, 제어기(110)는 장면(105)의 외부에 위치된 원격 서버(예를 들어, 클라우드 서버, 중앙 서버 등)이다. 일부 실시예들에서, 제어기(110)는 하나 이상의 유선 또는 무선 통신 채널들(144)(예를 들어, 블루투스, IEEE 802.11x, IEEE 802.16x, IEEE 802.3x 등)을 통해 디스플레이 생성 컴포넌트(120)(예를 들어, HMD, 디스플레이, 프로젝터, 터치-스크린 등)와 통신가능하게 결합된다. 다른 예에서, 제어기(110)는 디스플레이 생성 컴포넌트(120)(예를 들어, 디스플레이 및 하나 이상의 프로세서들을 포함하는 HMD 또는 휴대용 전자 디바이스 등)의 인클로저(enclosure)(예를 들어, 물리적 하우징), 입력 디바이스들(125) 중 하나 이상, 출력 디바이스들(155) 중 하나 이상, 센서들(190) 중 하나 이상, 및/또는 주변 디바이스들(195) 중 하나 이상 내에 포함되거나, 상기 중 하나 이상과 동일한 물리적 인클로저 또는 지지 구조를 공유한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 CGR 경험(예를 들어, 적어도 CGR 경험의 시각적 컴포넌트)을 사용자에게 제공하도록 구성된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 소프트웨어, 펌웨어, 및/또는 하드웨어의 적합한 조합을 포함한다. 디스플레이 생성 컴포넌트(120)는 도 3과 관련하여 아래에서 더욱 상세히 기술된다. 일부 실시예들에서, 제어기(110)의 기능성들은 디스플레이 생성 컴포넌트(120)에 의해 제공되거나 및/또는 이와 조합된다.
일부 실시예들에 따르면, 디스플레이 생성 컴포넌트(120)는 사용자가 장면(105) 내에 가상으로 그리고/또는 물리적으로 존재하는 동안 CGR 경험을 사용자에게 제공한다.
일부 실시예들에서, 디스플레이 생성 컴포넌트는 사용자의 신체의 일부(예를 들어, 그의 머리에, 그의 손에 등)에 착용된다. 이와 같이, 디스플레이 생성 컴포넌트(120)는 CGR 콘텐츠를 디스플레이하기 위해 제공되는 하나 이상의 CGR 디스플레이들을 포함한다. 예를 들어, 다양한 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자의 시야를 둘러싼다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 CGR 콘텐츠를 제시하도록 구성된 핸드헬드 디바이스(예컨대 스마트폰 또는 태블릿)이고, 사용자는 사용자의 시야를 향해 지향된 디스플레이 및 장면(105)을 향해 지향된 카메라를 갖는 디바이스를 유지한다. 일부 실시예들에서, 핸드헬드 디바이스는 선택적으로 사용자의 머리에 착용된 인클로저 내에 배치된다. 일부 실시예들에서, 핸드헬드 디바이스는 선택적으로 사용자 전방의 지지부(예를 들어, 삼각대) 상에 배치된다. 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자가 디스플레이 생성 컴포넌트(120)를 착용하거나 유지하지 않는 CGR 콘텐츠를 제공하도록 구성된 CGR 챔버, 인클로저 또는 룸이다. CGR 콘텐츠를 디스플레이하기 위한 하나의 유형의 하드웨어(예를 들어, 핸드헬드 디바이스 또는 삼각대 상의 디바이스)를 참조하여 설명된 많은 사용자 인터페이스들은 CGR 콘텐츠를 디스플레이하기 위한 다른 유형의 하드웨어(예를 들어, HMD 또는 다른 웨어러블 컴퓨팅 디바이스) 상에서 구현될 수 있다. 예를 들어, 핸드헬드 또는 삼각대 장착형 디바이스 전방의 공간에서 발생하는 상호작용들에 기초하여 트리거된 CGR 콘텐츠와의 상호작용들을 보여주는 사용자 인터페이스는, 상호작용들이 HMD 전방의 공간에서 발생하고 CGR 콘텐츠의 응답들이 HMD를 통해 디스플레이되는 HMD를 이용하여 유사하게 구현될 수 있다. 유사하게, 물리적 환경(예를 들어, 장면(105) 또는 사용자의 신체의 일부(예를 들어, 사용자의 눈(들), 머리 또는 손))에 대한 핸드헬드 또는 삼각대 장착형 디바이스의 이동에 기초하여 트리거되는 CRG 콘텐츠와의 상호작용들을 보여주는 사용자 인터페이스는 유사하게, 물리적 환경(예를 들어, 장면(105) 또는 사용자의 신체의 일부(예를 들어, 사용자의 눈(들), 머리 또는 손))에 대한 HMD의 이동에 의해 이동이 야기되는 HMD로 구현될 수 있다.
동작 환경(100)의 관련 특징부들이 도 1에 도시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 예시적인 실시예들의 더 많은 관련 양태들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다.
도 2는 일부 실시예들에 따른 제어기(110)의 일 예의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 실시예들의 더 많은 관련 양태들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다. 이를 위해, 비제한적인 예로서, 일부 실시예들에서, 제어기(110)는 하나 이상의 프로세싱 유닛들(202)(예를 들어, 마이크로프로세서들, 주문형 집적 회로(ASIC)들, 필드-프로그래밍가능 게이트 어레이(FPGA)들, 그래픽 프로세싱 유닛(GPU)들, 중앙 프로세싱 유닛(CPU)들, 프로세싱 코어들 등), 하나 이상의 입/출력(I/O) 디바이스들(206), 하나 이상의 통신 인터페이스들(208)(예를 들어, 범용 직렬 버스(USB), FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, 모바일 통신들을 위한 글로벌 시스템(GSM), 코드 분할 다중 액세스(CDMA), 시분할 다중 액세스(TDMA), 글로벌 포지셔닝 시스템(GPS), 적외선(IR), 블루투스, 지그비, 및/또는 유사한 유형의 인터페이스), 하나 이상의 프로그래밍(예를 들어, I/O) 인터페이스들(210), 메모리(220), 및 이들 및 다양한 다른 컴포넌트들을 상호연결하기 위한 하나 이상의 통신 버스들(204)을 포함한다.
일부 실시예들에서, 하나 이상의 통신 버스들(204)은 시스템 컴포넌트들 사이의 통신을 상호연결하고 제어하는 회로부를 포함한다. 일부 실시예들에서, 하나 이상의 I/O 디바이스들(206)은 키보드, 마우스, 터치패드, 조이스틱, 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 하나 이상의 이미지 센서들, 하나 이상의 디스플레이들 등 중 적어도 하나를 포함한다.
메모리(220)는 동적-랜덤 액세스 메모리(DRAM), 정적 랜덤-액세스 메모리(SRAM), 더블-데이터-레이트 랜덤-액세스 메모리(DDR RAM), 또는 다른 랜덤-액세스 솔리드-스테이트 메모리 디바이스들과 같은 고속 랜덤-액세스 메모리를 포함한다. 일부 실시예들에서, 메모리(220)는 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(220)는 선택적으로, 하나 이상의 프로세싱 유닛들(202)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(220)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 실시예들에서, 메모리(220) 또는 메모리(220)의 비일시적 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 선택적인 운영 체제(230) 및 CGR 경험 모듈(240)을 포함하는 그들의 서브세트를 저장한다.
운영 체제(230)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 명령어들을 포함한다. 일부 실시예들에서, CGR 경험 모듈(240)은 1명 이상의 사용자들에 대한 하나 이상의 CGR 경험들(예를 들어, 1명 이상의 사용자들에 대한 단일 CGR 경험, 또는 1명 이상의 사용자들의 개개의 그룹들에 대한 다수의 CGR 경험들)을 관리하고 조정하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 경험 모듈(240)은 데이터 획득 유닛(242), 추적 유닛(244), 조정 유닛(246), 및 데이터 송신 유닛(248)을 포함한다.
일부 실시예들에서, 데이터 획득 유닛(242)은 적어도 도 1의 디스플레이 생성 컴포넌트(120) 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상으로부터 데이터(예를 들어, 제시 데이터, 상호작용 데이터, 센서 데이터, 위치 데이터 등)를 획득하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 획득 유닛(242)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, 추적 유닛(244)은 장면(105)을 매핑하도록 그리고 도 1의 장면(105)에 대해 그리고 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 대해 적어도 디스플레이 생성 컴포넌트(120)의 위치(position)/위치(location)를 추적하도록 구성된다. 이를 위해, 다양한 실시예들에서, 추적 유닛(244)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다. 일부 실시예들에서, 추적 유닛(244)은 손 추적 유닛(245), 및/또는 눈 추적 유닛(243)을 포함한다. 일부 실시예들에서, 손 추적 유닛(245)은 도 1의 장면(105)에 대해, 디스플레이 생성 컴포넌트(120)에 대해, 및/또는 사용자의 손에 대해 정의된 좌표계에 대해 사용자의 손들의 하나 이상의 부분들의 위치 및/또는 사용자의 손들의 하나 이상의 부분들의 모션들을 추적하도록 구성된다. 손 추적 유닛(245)은 도 4와 관련하여 아래에서 더욱 상세히 설명된다. 일부 실시예들에서, 눈 추적 유닛(243)은 장면(105)에 대해(예를 들어, 물리적 환경 및/또는 사용자(예를 들어, 사용자의 손)에 대해) 또는 디스플레이 생성 컴포넌트(120)를 통해 디스플레이되는 CGR 콘텐츠에 대해 사용자의 시선(또는 더 광범위하게는 사용자의 눈들, 얼굴 또는 머리)의 위치 및 이동을 추적하도록 구성된다. 눈 추적 유닛(243)은 도 5와 관련하여 아래에서 더욱 상세히 설명된다.
일부 실시예들에서, 조정 유닛(246)은 디스플레이 생성 컴포넌트(120)에 의해 그리고 선택적으로, 출력 디바이스들(155) 및/또는 주변 디바이스들(195) 중 하나 이상에 의해 사용자에게 제시되는 CGR 경험을 관리 및 조정하도록 구성된다. 이를 위해, 다양한 실시예들에서, 조정 유닛(246)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, 데이터 송신 유닛(248)은 적어도 디스플레이 생성 컴포넌트(120) 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 데이터(예를 들어, 제시 데이터, 위치 데이터 등)를 송신하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 송신 유닛(248)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
데이터 획득 유닛(242), 추적 유닛(244)(예를 들어, 눈 추적 유닛(243) 및 손 추적 유닛(245)을 포함함), 조정 유닛(246), 및 데이터 송신 유닛(248)이 단일 디바이스(예를 들어, 제어기(110)) 상에 존재하는 것으로 도시되어 있지만, 다른 실시예들에서, 데이터 획득 유닛(242), 추적 유닛(244)(예를 들어, 눈 추적 유닛(243) 및 손 추적 유닛(245)을 포함함), 조정 유닛(246), 및 데이터 송신 유닛(248)의 임의의 조합이 별개의 컴퓨팅 디바이스들 내에 위치될 수 있다는 것을 이해해야 한다.
게다가, 도 2는 본 명세서에 설명된 실시예들의 구조적 개략도와는 대조적으로 특정 구현예에 존재할 수 있는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자들에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 조합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 다양한 실시예들에서, 도 2에 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 구현예들마다 다를 것이고, 일부 실시예들에서, 특정 구현예에 대해 선택된 하드웨어, 소프트웨어, 및/또는 펌웨어의 특정 조합에 부분적으로 의존한다.
도 3은 일부 실시예들에 따른 디스플레이 생성 컴포넌트(120)의 일 예의 블록도이다. 소정의 특정 특징부들이 예시되어 있지만, 당업자들은 본 개시내용으로부터, 간결함을 위해 그리고 본 명세서에 개시되는 실시예들의 더 많은 관련 양태들을 불명료하게 하지 않기 위해 다양한 다른 특징부들이 예시되지 않았음을 인식할 것이다. 이를 위해, 비제한적인 예로서, 일부 실시예들에서, HMD(120)는 하나 이상의 프로세싱 유닛들(302)(예를 들어, 마이크로프로세서들, ASIC들, FPGA들, GPU들, CPU들, 프로세싱 코어들 등), 하나 이상의 입/출력(I/O) 디바이스들 및 센서들(306), 하나 이상의 통신 인터페이스들(308)(예를 들어, USB, FIREWIRE, THUNDERBOLT, IEEE 802.3x, IEEE 802.11x, IEEE 802.16x, GSM, CDMA, TDMA, GPS, IR, 블루투스, 지그비, 및/또는 유사한 유형의 인터페이스), 하나 이상의 프로그래밍(예를 들어, I/O) 인터페이스들(310), 하나 이상의 CGR 디스플레이들(312), 하나 이상의 선택적인 내부- 및/또는 외부-대면 이미지 센서들(314), 메모리(320), 및 이들 및 다양한 다른 컴포넌트들을 상호연결하기 위한 하나 이상의 통신 버스들(304)을 포함한다.
일부 실시예들에서, 하나 이상의 통신 버스들(304)은 시스템 컴포넌트들 사이의 통신을 상호연결하고 제어하는 회로부를 포함한다. 일부 실시예들에서, 하나 이상의 I/O 디바이스들 및 센서들(306)은 관성 측정 유닛(inertial measurement unit, IMU), 가속도계, 자이로스코프, 온도계, 하나 이상의 생리학적 센서들(예를 들어, 혈압 모니터, 심박수 모니터, 혈중 산소 센서, 혈당 센서 등), 하나 이상의 마이크로폰들, 하나 이상의 스피커들, 햅틱 엔진, 하나 이상의 깊이 센서들(예를 들어, 구조화된 광, 비행 시간 등) 등 중 적어도 하나를 포함한다.
일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 CGR 경험을 사용자에게 제공하도록 구성된다. 일부 실시예들에서, 하나 이상의 디스플레이들(312)은 홀로그래픽, 디지털 광 프로세싱(DLP), 액정 디스플레이(LCD), 실리콘 액정 표시장치(LCoS), 유기 발광 전계-효과 트랜지터리(OLET), 유기 발광 다이오드(OLED), 표면-전도 전자-방출기 디스플레이(SED), 전계-방출 디스플레이(FED), 양자점 발광 다이오드(QD-LED), 마이크로-전자기계 시스템(MEMS), 및/또는 유사한 디스플레이 유형들에 대응한다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 회절, 반사, 편광, 홀로그래픽 등의 도파관 디스플레이들에 대응한다. 예를 들어, HMD(120)는 단일 CGR 디스플레이를 포함한다. 다른 예에서, HMD(120)는 사용자의 각각의 눈에 대한 CGR 디스플레이를 포함한다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 MR 및 VR 콘텐츠를 제시할 수 있다. 일부 실시예들에서, 하나 이상의 CGR 디스플레이들(312)은 MR 또는 VR 콘텐츠를 제시할 수 있다.
일부 실시예들에서, 하나 이상의 이미지 센서들(314)은 사용자의 눈들을 포함하는 사용자의 얼굴의 적어도 일부분에 대응하는 이미지 데이터를 획득하도록 구성된다(그리고 이들은 눈-추적 카메라로 지칭될 수 있다). 일부 실시예들에서, 하나 이상의 이미지 센서들(314)은 사용자의 손(들) 및 선택적으로 사용자의 팔(들)의 적어도 일부분에 대응하는 이미지 데이터를 획득하도록 구성된다(그리고 이들은 손-추적 카메라로 지칭될 수 있다). 일부 실시예들에서, 하나 이상의 이미지 센서들(314)은 HMD(120)가 존재하지 않았다면 사용자에 의해 보여질 장면에 대응하는 이미지 데이터를 획득하기 위해 전방-대면하도록 구성된다(그리고 장면 카메라로 지칭될 수 있음). 하나 이상의 선택적인 이미지 센서들(314)은 하나 이상의 RGB 카메라들(예를 들어, 상보성 금속-산화물-반도체(CMOS) 이미지 센서 또는 전하-결합 디바이스(CCD) 이미지 센서를 가짐), 하나 이상의 적외선(IR) 카메라들, 하나 이상의 이벤트-기반 카메라들 등을 포함할 수 있다.
메모리(320)는 DRAM, SRAM, DDR RAM, 또는 다른 랜덤-액세스 솔리드-스테이트 메모리 디바이스들과 같은 고속 랜덤-액세스 메모리를 포함한다. 일부 실시예들에서, 메모리(320)는 하나 이상의 자기 디스크 저장 디바이스들, 광 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드-스테이트 저장 디바이스들과 같은 비휘발성 메모리를 포함한다. 메모리(320)는 선택적으로, 하나 이상의 프로세싱 유닛들(302)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(320)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 실시예들에서, 메모리(320) 또는 메모리(320)의 비일시적 컴퓨터 판독가능 저장 매체는 다음의 프로그램들, 모듈들 및 데이터 구조들, 또는 선택적인 운영 체제(330) 및 CGR 제시 모듈(340)을 포함하는 그들의 서브세트를 저장한다.
운영 체제(330)는 다양한 기본 시스템 서비스들을 처리하고 하드웨어 의존 태스크들을 수행하기 위한 명령어들을 포함한다. 일부 실시예들에서, CGR 제시 모듈(340)은 하나 이상의 CGR 디스플레이들(312)을 통해 CGR 콘텐츠를 사용자에게 제시하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 제시 모듈(340)은 데이터 획득 유닛(342), CGR 제시 유닛(344), CGR 맵 생성 유닛(346), 및 데이터 송신 유닛(348)을 포함한다.
일부 실시예들에서, 데이터 획득 유닛(342)은 적어도 도 1의 제어기(110)로부터 데이터(예컨대, 제시 데이터, 상호작용 데이터, 센서 데이터, 위치 데이터 등)를 획득하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 획득 유닛(342)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, CGR 제시 유닛(344)은 하나 이상의 CGR 디스플레이들(312)을 통해 CGR 콘텐츠를 제시하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 제시 유닛(344)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, CGR 맵 생성 유닛(346)은 미디어 콘텐츠 데이터에 기초하여 CGR 맵(예를 들어, 컴퓨터 생성 현실을 생성하기 위해 컴퓨터 생성 객체들이 배치될 수 있는 혼합 현실 장면의 3D 맵 또는 물리적 환경의 맵)을 생성하도록 구성된다. 이를 위해, 다양한 실시예들에서, CGR 맵 생성 유닛(346)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
일부 실시예들에서, 데이터 송신 유닛(348)은 적어도 제어기(110) 및 선택적으로, 입력 디바이스들(125), 출력 디바이스들(155), 센서들(190), 및/또는 주변 디바이스들(195) 중 하나 이상에 데이터(예를 들어, 제시 데이터, 위치 데이터 등)를 송신하도록 구성된다. 이를 위해, 다양한 실시예들에서, 데이터 송신 유닛(348)은 그에 대한 명령어들 및/또는 로직, 및 그에 대한 휴리스틱 및 메타데이터를 포함한다.
데이터 획득 유닛(342), CGR 제시 유닛(344), CGR 맵 생성 유닛(346), 및 데이터 송신 유닛(348)이 단일 디바이스(예컨대, 도 1의 디스플레이 생성 컴포넌트(120)) 상에 존재하는 것으로 도시되어 있지만, 다른 실시예들에서, 데이터 획득 유닛(342), CGR 제시 유닛(344), CGR 맵 생성 유닛(346), 및 데이터 송신 유닛(348)의 임의의 조합이 별개의 컴퓨팅 디바이스들 내에 위치될 수 있다는 것을 이해해야 한다.
게다가, 도 3은 본 명세서에 설명된 실시예들의 구조적 개략도와는 대조적으로 특정 구현예에 존재할 수 있는 다양한 특징부들의 기능 설명으로서 더 의도된다. 당업자들에 의해 인식되는 바와 같이, 별개로 도시된 아이템들은 조합될 수 있고 일부 아이템들은 분리될 수 있다. 예를 들어, 다양한 실시예들에서, 도 3에 별개로 도시된 일부 기능 모듈들은 단일 모듈로 구현될 수 있고, 단일 기능 블록들의 다양한 기능들은 하나 이상의 기능 블록들에 의해 구현될 수 있다. 모듈들의 실제 수량 및 특정 기능들의 분할 그리고 특징부들이 그들 사이에서 어떻게 할당되는지는 구현예들마다 다를 것이고, 일부 실시예들에서, 특정 구현예에 대해 선택된 하드웨어, 소프트웨어, 및/또는 펌웨어의 특정 조합에 부분적으로 의존한다.
도 4는 손 추적 디바이스(140)의 예시적인 실시예의 개략적인 그림 예시이다. 일부 실시예들에서, 손 추적 디바이스(140)(도 1)는 사용자의 손들의 하나 이상의 부분들의 위치 및/또는 도 1의 장면(105)에 대해(예를 들어, 사용자를 둘러싸는 물리적 환경의 일부분에 대해, 디스플레이 생성 컴포넌트(120)에 대해, 또는 사용자의 일부분(예를 들어, 사용자의 얼굴, 눈들, 또는 손)에 대해, 및/또는 사용자의 손에 대해 정의된 좌표계에 대해) 사용자의 손들의 하나 이상의 부분들의 모션들을 추적하기 위해 손 추적 유닛(245)(도 2)에 의해 제어된다. 일부 실시예들에서, 손 추적 디바이스(140)는 디스플레이 생성 컴포넌트(120)(예를 들어, 머리 장착형 디바이스에 내장되거나 그에 부착됨)의 일부이다. 일부 실시예들에서, 손 추적 디바이스(140)는 디스플레이 생성 컴포넌트(120)와 별개이다(예를 들어, 별개의 하우징들에 위치되거나 또는 별개의 물리적 지지 구조들에 부착됨).
일부 실시예들에서, 손 추적 디바이스(140)는 적어도 인간 사용자의 손(406)을 포함하는 3차원 장면 정보를 캡처하는 이미지 센서들(404)(예를 들어, 하나 이상의 IR 카메라들, 3D 카메라들, 깊이 카메라들 및/또는 컬러 카메라들 등)을 포함한다. 이미지 센서들(404)은 손가락들 및 이들 각자의 위치들이 구별될 수 있게 하기에 충분한 해상도로 손 이미지들을 캡처한다. 이미지 센서들(404)은 전형적으로, 또한 사용자의 신체의 다른 부분들, 또는 가능하게는 신체 전부의 이미지들을 캡처하고, 원하는 해상도로 손의 이미지들을 캡처하기 위한 향상된 배율을 갖는 전용 센서 또는 줌 능력들을 가질 수 있다. 일부 실시예들에서, 이미지 센서들(404)은 또한 손(406) 및 장면의 다른 요소들의 2D 컬러 비디오 이미지들을 캡처한다. 일부 실시예들에서, 이미지 센서들(404)은 장면(105)의 물리적 환경을 캡처하거나 또는 장면(105)의 물리적 환경들을 캡처하는 이미지 센서들의 역할을 하기 위해 다른 이미지 센서들과 함께 사용된다. 일부 실시예들에서, 이미지 센서들(404)은, 이미지 센서들에 의해 캡처된 손 이동이 제어기(110)로의 입력들로서 취급되는 상호작용 공간을 정의하기 위해 이미지 센서들의 시야 또는 그의 일부가 사용되는 방식으로 사용자 또는 사용자의 환경에 대해 위치설정된다.
일부 실시예들에서, 이미지 센서들(404)은 3D 맵 데이터(및 가능하게는 또한 컬러 이미지 데이터)를 포함하는 프레임들의 시퀀스를 제어기(110)에 출력하며, 이는 맵 데이터로부터 고레벨 정보를 추출한다. 이러한 고레벨 정보는 전형적으로, 애플리케이션 프로그램 인터페이스(Application Program Interface, API)를 통해 제어기 상에서 실행되는 애플리케이션에 제공되며, 제어기는 그에 따라 디스플레이 생성 컴포넌트(120)를 구동한다. 예를 들어, 사용자는 자신의 손(408)을 이동시키고 자신의 손 자세를 변경함으로써 제어기(110) 상에서 실행되는 소프트웨어와 상호작용할 수 있다.
일부 실시예들에서, 이미지 센서들(404)은 손(406)을 포함하는 장면 상에 스폿들의 패턴을 투영하고 투영된 패턴의 이미지를 캡처한다. 일부 실시예들에서, 제어기(110)는 패턴 내의 스폿들의 횡방향 시프트들에 기초하여, 삼각측량에 의해 장면 내의 포인트들(사용자의 손의 표면 상의 포인트들을 포함함)의 3D 좌표들을 컴퓨팅한다. 이러한 접근법은 그것이 사용자가 임의의 종류의 비콘(beacon), 센서 또는 다른 마커를 유지하거나 착용할 것을 요구하지 않는다는 점에서 유리하다. 이는 이미지 센서들(404)로부터 소정 거리에서 미리 결정된 기준 평면에 대한 장면 내의 포인트들의 깊이 좌표들을 제공한다. 본 개시내용에서, 이미지 센서들(404)은, 장면 내의 포인트들의 깊이 좌표들이 이미지 센서들에 의해 측정된 z 컴포넌트들에 대응하도록 x, y, z 축들의 직교 세트를 정의하는 것으로 가정된다. 대안적으로, 손 추적 디바이스(440)는 단일 또는 다수의 카메라들 또는 다른 유형들의 센서들에 기초하여, 입체 이미징 또는 비행 시간 측정들과 같은 다른 3D 맵핑 방법들을 사용할 수 있다.
일부 실시예들에서, 손 추적 디바이스(140)는 사용자의 손(예를 들어, 전체 손 또는 하나 이상의 손가락들)을 이동시키는 동안 사용자의 손을 포함하는 깊이 맵들의 시간적 시퀀스를 캡처 및 프로세싱한다. 이미지 센서들(404) 및/또는 제어기(110) 내의 프로세서 상에서 실행되는 소프트웨어는 이러한 깊이 맵들에서 손의 패치 디스크립터(patch descriptor)들을 추출하기 위해 3D 맵 데이터를 프로세싱한다. 소프트웨어는, 각각의 프레임에서 손의 포즈를 추정하기 위해, 이전 학습 프로세스에 기초하여, 데이터베이스(408)에 저장된 패치 디스크립터들에 이들 디스크립터들을 매칭한다. 포즈는 전형적으로 사용자의 손 관절들 및 손가락 팁들의 3D 위치들을 포함한다.
소프트웨어는 또한 제스처들을 식별하기 위해 시퀀스에서 다수의 프레임들에 걸친 손들 및/또는 손가락들의 궤적을 분석할 수 있다. 본 명세서에 설명된 포즈 추정 기능들은 모션 추적 기능들과 인터리빙될 수 있어서, 패치-기반 포즈 추정은 2개(또는 그 초과)의 프레임들마다 단 한번만 수행되는 한편, 나머지 프레임들에 걸쳐 발생하는 포즈의 변화들을 발견하기 위해 추적이 사용된다. 포즈, 모션 및 제스처 정보는 위에서 언급된 API를 통해 제어기(110) 상에서 실행되는 애플리케이션 프로그램에 제공된다. 이 프로그램은, 예를 들어, 포즈 및/또는 제스처 정보에 응답하여, 디스플레이 생성 컴포넌트(120) 상에 제시된 이미지들을 이동 및 수정하거나, 또는 다른 기능들을 수행할 수 있다.
일부 실시예들에서, 소프트웨어는, 예를 들어 네트워크를 통해 전자적 형태로 제어기(110)에 다운로드될 수 있거나, 또는 그것은 대안적으로는 광학, 자기, 또는 전자 메모리 매체들과 같은 유형적인 비일시적 매체들 상에 제공될 수 있다. 일부 실시예들에서, 데이터베이스(408)는 마찬가지로 제어기(110)와 연관된 메모리에 저장된다. 대안적으로 또는 추가적으로, 컴퓨터의 설명된 기능들 중 일부 또는 전부는 주문형 또는 반-주문형 집적회로 또는 프로그래밍가능 디지털 신호 프로세서(DSP)와 같은 전용 하드웨어로 구현될 수 있다. 제어기(110)가 예시적으로 이미지 센서들(440)과 별개의 유닛으로서 도 4에 도시되지만, 제어기의 프로세싱 기능들의 일부 또는 전부는 적합한 마이크로프로세서 및 소프트웨어에 의해, 또는 손 추적 디바이스(402)의 하우징 내의 또는 달리 이미지 센서들(404)과 연관된 전용 회로부에 의해 수행될 수 있다. 일부 실시예들에서, 이들 프로세싱 기능들의 적어도 일부가 (예를 들어, 텔레비전 세트, 핸드헬드 디바이스, 또는 머리 장착형 디바이스 내의) 디스플레이 생성 컴포넌트(120) 또는 게임 콘솔 또는 미디어 플레이어와 같은, 임의의 다른 적합한 컴퓨터화된 디바이스와 통합된 적합한 프로세서에 의해 수행될 수 있다. 이미지 센서들(404)의 감지 기능들은 센서 출력에 의해 제어될 컴퓨터 또는 다른 컴퓨터화된 장치 내에 마찬가지로 통합될 수 있다.
도 4는 일부 실시예들에 따른, 이미지 센서들(404)에 의해 캡처된 깊이 맵(410)의 개략적인 표현을 더 포함한다. 위에서 설명된 바와 같이, 깊이 맵은 각자의 깊이 값들을 갖는 픽셀들의 행렬을 포함한다. 손(406)에 대응하는 픽셀들(412)은 이 맵에서 배경 및 손목으로부터 분할되었다. 깊이 맵(410) 내의 각각의 픽셀의 밝기는 그의 깊이 값, 즉, 이미지 센서들(404)로부터 측정된 z 거리에 역으로 대응하며, 회색 음영은 깊이가 증가함에 따라 더 어두워진다. 제어기(110)는 인간 손의 특성들을 갖는 이미지의 컴포넌트(즉, 이웃 픽셀들의 그룹)를 식별 및 분할하기 위해 이러한 깊이 값들을 프로세싱한다. 이러한 특성들은, 예를 들어, 깊이 맵들의 시퀀스의 프레임마다 전체 크기, 형상 및 모션을 포함할 수 있다.
도 4는 또한, 일부 실시예들에 따른, 제어기(110)가 궁극적으로 손(406)의 깊이 맵(410)으로부터 추출하는 손 골격(414)을 개략적으로 예시한다. 도 4에서, 골격(414)은 오리지널 깊이 맵으로부터 분할된 손 배경(416) 상에 중첩된다. 일부 실시예들에서, 손(예를 들어, 손가락 관절(knuckle)들, 손가락 팁들, 손바닥의 중심, 손목에 연결되는 손의 단부 등에 대응하는 포인트들) 및 선택적으로, 손에 연결된 손목 또는 팔 상의 핵심 특징 포인트들이 손 골격(414) 상에 식별 및 위치된다. 일부 실시예들에서, 다수의 이미지 프레임들에 걸친 이러한 핵심 특징 포인트들의 위치 및 이동들은, 일부 실시예들에 따라, 손에 의해 수행되는 손 제스처들 또는 손의 현재 상태를 결정하기 위해 제어기(110)에 의해 사용된다.
도 5는 눈 추적 디바이스(130)(도 1)의 예시적인 실시예를 예시한다. 일부 실시예들에서, 눈 추적 디바이스(130)는 장면(105)에 대한 또는 디스플레이 생성 컴포넌트(120)를 통해 디스플레이된 CGR 콘텐츠에 대한 사용자의 시선의 위치 및 이동을 추적하기 위해 눈 추적 유닛(243)(도 2)에 의해 제어된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 디스플레이 생성 컴포넌트(120)와 통합된다. 예를 들어, 일부 실시예들에서, 디스플레이 생성 컴포넌트(120)가 머리 장착형 디바이스, 예를 들어, 헤드셋, 헬멧, 고글, 또는 안경, 또는 웨어러블 프레임에 배치된 핸드헬드 디바이스일 때, 머리 장착형 디바이스는 사용자가 보기 위한 CGR 콘텐츠를 생성하는 컴포넌트 및 CGR 콘텐츠에 대한 사용자의 시선을 추적하기 위한 컴포넌트 둘 모두를 포함한다. 일부 실시예들에서, 눈 추적 디바이스(130)는 디스플레이 생성 컴포넌트(120)와 별개이다. 예를 들어, 디스플레이 생성 컴포넌트가 핸드헬드 디바이스 또는 CGR 챔버일 때, 눈 추적 디바이스(130)는 선택적으로 핸드헬드 디바이스 또는 CGR 챔버와 별개의 디바이스이다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스 또는 머리 장착형 디바이스의 부분이다. 일부 실시예들에서, 머리 장착형 눈 추적 디바이스(130)는 선택적으로, 또한 머리 장착된 디스플레이 생성 컴포넌트 또는 머리 장착되지 않은 디스플레이 생성 컴포넌트와 함께 사용된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스가 아니며, 선택적으로 머리 장착형 디스플레이 생성 컴포넌트와 함께 사용된다. 일부 실시예들에서, 눈 추적 디바이스(130)는 머리 장착형 디바이스가 아니며, 선택적으로 머리 장착되지 않은 디스플레이 생성 컴포넌트의 일부이다.
일부 실시예들에서, 디스플레이 생성 컴포넌트(120)는 사용자의 눈들 전방에서 좌측 및 우측 이미지들을 포함하는 프레임들을 디스플레이하기 위한 디스플레이 메커니즘(예를 들어, 좌측 및 우측 근안(near-eye) 디스플레이 패널들)을 사용하여 3D 가상 뷰들을 사용자에게 제공한다. 예를 들어, 머리 장착형 디스플레이 생성 컴포넌트는 디스플레이와 사용자의 눈들 사이에 위치된 좌측 및 우측 광학 렌즈들(본 명세서에서 눈 렌즈들로 지칭됨)을 포함할 수 있다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 디스플레이를 위해 사용자의 환경의 비디오를 캡처하는 하나 이상의 외부 비디오 카메라들을 포함하거나 또는 그에 결합될 수 있다. 일부 실시예들에서, 머리 장착형 디스플레이 생성 컴포넌트는 사용자가 물리적 환경을 직접 보고 투명 또는 반투명 디스플레이 상에 가상 객체들을 디스플레이할 수 있게 하는 투명 또는 반투명 디스플레이를 가질 수 있다. 일부 실시예들에서, 디스플레이 생성 컴포넌트는 가상 객체들을 물리적 환경에 투영한다. 가상 객체들은, 예를 들어, 물리적 표면 상에 또는 홀로그래프로서 투영되어, 개인이 시스템을 사용하여, 물리적 환경 상에 중첩된 가상 객체들을 관찰하게 할 수 있다. 이러한 경우들에서, 좌측 및 우측 눈들에 대한 별개의 디스플레이 패널들 및 이미지 프레임들이 필요하지 않을 수 있다.
도 5에 도시된 바와 같이, 일부 실시예들에서, 시선 추적 디바이스(130)는 적어도 하나의 눈 추적 카메라(예를 들어, 적외선(IR) 또는 NIR(near-IR) 카메라들), 및 사용자의 눈들을 향해 광(예를 들어, IR 또는 NIR 광)을 방출하는 조명 소스들(예를 들어, LED들의 어레이 또는 링과 같은 IR 또는 NIR 광원들)을 포함한다. 눈 추적 카메라들은 눈들로부터 직접적으로 광원들로부터 반사된 IR 또는 NIR 광을 수신하기 위해 사용자의 눈들을 향해 지향될 수 있거나, 또는 대안적으로, 가시광이 통과할 수 있게 하면서 눈들로부터 눈 추적 카메라들로 IR 또는 NIR 광을 반사하는 디스플레이 패널들과 사용자의 눈들 사이에 위치된 "핫(hot)" 미러들을 향해 지향될 수 있다. 시선 추적 디바이스(130)는 선택적으로 사용자의 눈들의 이미지들을 (예를 들어, 60 내지 120 fps(frames per second)로 캡처된 비디오 스트림으로서) 캡처하고, 이미지들을 분석하여 시선 추적 정보를 생성하고, 시선 추적 정보를 제어기(110)에 통신한다. 일부 실시예들에서, 사용자의 2개의 눈들은 각자의 눈 추적 카메라들 및 조명 소스들에 의해 개별적으로 추적된다. 일부 실시예들에서, 사용자의 오직 하나의 눈만이 각자의 눈 추적 카메라 및 조명 소스들에 의해 추적된다.
일부 실시예들에서, 눈 추적 디바이스(130)는, 특정 동작 환경(100)에 대한 눈 추적 디바이스의 파라미터들, 예를 들어 LED들, 카메라들, 핫 미러들(존재하는 경우), 눈 렌즈들 및 디스플레이 스크린의 3D 기하학적 관계 및 파라미터들을 결정하기 위해 디바이스-특정 교정 프로세스를 사용하여 교정된다. 디바이스-특정 교정 프로세스는 AR/VR 장비를 최종 사용자에게 전달하기 전에 공장 또는 다른 설비에서 수행될 수 있다. 디바이스-특정 교정 프로세스는 자동화된 교정 프로세스 또는 수동 교정 프로세스일 수 있다. 사용자-특정 교정 프로세스는 특정 사용자의 눈 파라미터들, 예를 들어 동공 위치, 중심와 위치, 광학 축, 시각 축, 눈 간격 등의 추정을 포함할 수 있다. 디바이스-특정 및 사용자-특정 파라미터들이 눈 추적 디바이스(130)에 대해 결정되면, 일부 실시예들에 따라, 눈 추적 카메라들에 의해 캡처된 이미지들은 디스플레이에 대한 사용자의 현재의 시각 축 및 시선 포인트를 결정하기 위해 글린트-보조 방법을 사용하여 프로세싱될 수 있다.
도 5에 도시된 바와 같이, 눈 추적 디바이스(130)(예를 들어, 130A 또는 130B)는 눈 렌즈(들)(520), 및 눈 추적이 수행되는 사용자의 얼굴의 측부 상에 위치설정된 적어도 하나의 눈 추적 카메라(540)(예를 들어, 적외선(IR) 또는 NIR(near-IR) 카메라들)를 포함하는 시선 추적 시스템, 및 사용자의 눈(들)(592)을 향해 광(예를 들어, IR 또는 NIR 광)을 방출하는 조명 소스(530)(예를 들어, NIR 발광 다이오드(LED)들의 어레이 또는 링과 같은 IR 또는 NIR 광원들)를 포함한다. 눈 추적 카메라들(540)은 (예를 들어, 도 5의 상단 부분에 도시된 바와 같이) 가시광이 통과하게 허용하면서 눈(들)(592)으로부터 IR 또는 NIR 광을 반사하는 디스플레이(510)(예를 들어, 머리 장착형 디스플레이의 좌측 또는 우측 디스플레이 패널, 또는 핸드헬드 디바이스의 디스플레이, 프로젝터 등)와 사용자의 눈(들)(592) 사이에 위치된 미러들(550)을 향해 지향될 수 있거나 또는 (예를 들어, 도 5의 하단 부분에 도시된 바와 같이) 눈(들)(592)으로부터 반사된 IR 또는 NIR 광을 수신하기 위해 사용자의 눈(들)(592)을 향해 지향될 수 있다.
일부 실시예들에서, 제어기(110)는 AR 또는 VR 프레임들(562)(예를 들어, 좌측 및 우측 디스플레이 패널들에 대한 좌측 및 우측 프레임들)을 렌더링하고, 프레임들(562)을 디스플레이(510)에 제공한다. 제어기(110)는, 예를 들어 디스플레이를 위해 프레임들(562)을 프로세싱할 때, 다양한 목적들을 위해 눈 추적 카메라들(540)로부터의 시선 추적 입력(542)을 사용한다. 제어기(110)는 선택적으로, 글린트-보조 방법들 또는 다른 적합한 방법들을 사용하여 눈 추적 카메라들(540)로부터 획득된 시선 추적 입력(542)에 기초하여 디스플레이(510) 상의 사용자의 시선 포인트를 추정한다. 시선 추적 입력(542)으로부터 추정된 시선 포인트는 선택적으로, 사용자가 현재 보고 있는 방향을 결정하는 데 사용된다.
다음은 사용자의 현재 시선 방향에 대한 몇몇 가능한 사용 사례들을 설명하며, 제한하려는 의도가 아니다. 예시적인 사용 사례로서, 제어기(110)는 사용자의 시선의 결정된 방향에 기초하여 가상 콘텐츠를 상이하게 렌더링할 수 있다. 예를 들어, 제어기(110)는 주변 영역들에서보다 사용자의 현재 시선 방향으로부터 결정된 중심와 구역에서 더 높은 해상도로 가상 콘텐츠를 생성할 수 있다. 다른 예로서, 제어기는 사용자의 현재 시선 방향에 적어도 부분적으로 기초하여 뷰에서 가상 콘텐츠를 위치설정하거나 이동시킬 수 있다. 다른 예로서, 제어기는 사용자의 현재 시선 방향에 적어도 부분적으로 기초하여 뷰에서 특정 가상 콘텐츠를 디스플레이할 수 있다. AR 애플리케이션들에서의 다른 예시적인 사용 사례로서, 제어기(110)는 결정된 방향으로 포커싱하도록 CGR 경험의 물리적 환경들을 캡처하기 위한 외부 카메라들에 지시할 수 있다. 이어서, 외부 카메라들의 자동초점 메커니즘은 사용자가 현재 디스플레이(510) 상에서 보고 있는 환경 내의 객체 또는 표면에 포커싱할 수 있다. 다른 예시적인 사용 사례로서, 눈 렌즈들(520)은 포커싱가능한 렌즈들일 수 있고, 시선 추적 정보는, 사용자가 현재 보고 있는 가상 객체가 사용자의 눈들(592)의 수렴에 매칭하기 위해 적절한 버전스(vergence)를 갖도록 눈 렌즈들(520)의 초점을 조정하기 위해 제어기에 의해 사용된다. 제어기(110)는, 사용자가 보고 있는 가까운 객체들이 올바른 거리에 나타나게 초점을 조정하도록 눈 렌즈들(520)을 지향시키기 위해 시선 추적 정보를 레버리지할 수 있다.
일부 실시예들에서, 눈 추적 디바이스는 디스플레이(예를 들어, 디스플레이(510)), 2개의 눈 렌즈들(예를 들어, 눈 렌즈(들)(520)), 눈 추적 카메라들(예를 들어, 눈 추적 카메라(들)(540)) 및 웨어러블 하우징에 장착된 광원들(예를 들어, 광원들(530)(예를 들어, IR 또는 NIR LED들))을 포함하는 머리 장착형 디바이스의 일부이다. 광원들은 광(예를 들어, IR 또는 NIR 광)을 사용자의 눈(들)(592)을 향해 방출한다. 일부 실시예들에서, 광원들은 도 5에 도시된 바와 같이 렌즈들 각각 주위에 링들 또는 원들로 배열될 수 있다. 일부 실시예들에서, 일 예로서 8개의 광원들(530)(예를 들어, LED들)이 각각의 렌즈(520) 주위에 배열된다. 그러나, 더 많거나 또는 더 적은 광원들(530)이 사용될 수 있고, 광원들(530)의 다른 배열들 및 위치들이 사용될 수 있다.
일부 실시예들에서, 디스플레이(510)는 가시광 범위에서 광을 방출하고, IR 또는 NIR 범위에서 광을 방출하지 않아서, 시선 추적 시스템에 잡음을 도입하지 않는다. 눈 추적 카메라(들)(540)의 위치 및 각도는 예로서 주어진 것이며, 제한하려는 의도가 아님에 유의한다. 일부 실시예들에서, 단일 눈 추적 카메라(540)는 사용자의 얼굴의 각각의 측부 상에 위치된다. 일부 실시예들에서, 2개 이상의 NIR 카메라들(540)이 사용자의 얼굴의 각각의 측부 상에서 사용될 수 있다. 일부 실시예들에서, 더 넓은 시야(field of view, FOV)를 갖는 카메라(540) 및 더 좁은 FOV를 갖는 카메라(540)가 사용자의 얼굴의 각각의 측부 상에서 사용될 수 있다. 일부 실시예들에서, 하나의 파장(예를 들어, 850 nm)에서 동작하는 카메라(540) 및 상이한 파장(예를 들어, 940 nm)에서 동작하는 카메라(540)가 사용자의 얼굴의 각각의 측부 상에서 사용될 수 있다.
도 5에 예시된 바와 같은 시선 추적 시스템의 실시예들은, 예를 들어, 컴퓨터 생성 현실, 가상 현실, 증강 현실 및/또는 증강 가상 경험들을 사용자에게 제공하기 위해 컴퓨터 생성 현실, 가상 현실 및/또는 혼합 현실 애플리케이션들에서 사용될 수 있다.
도 6은 일부 실시예들에 따른 글린트-보조 시선 추적 파이프라인을 예시한다. 일부 실시예들에서, 시선 추적 파이프라인은 글린트-보조 시선 추적 시스템(예를 들어, 도 1 및 도 5에 예시된 바와 같은 눈 추적 디바이스(130))에 의해 구현된다. 글린트-보조 시선 추적 시스템은 추적 상태를 유지할 수 있다. 초기에, 추적 상태는 오프 또는 "아니오"이다. 추적 상태에 있을 때, 글린트-보조 시선 추적 시스템은 현재 프레임에서 동공 윤곽 및 글린트들을 추적하기 위해 현재 프레임을 분석할 때 이전 프레임으로부터의 이전 정보를 사용한다. 추적 상태에 있지 않을 때, 글린트-보조 시선 추적 시스템은 현재 프레임에서 동공 및 글린트를 검출하려고 시도하고, 성공적인 경우, 추적 상태를 "예"로 초기화하고, 추적 상태에서 다음 프레임으로 계속된다.
도 6에 도시된 바와 같이, 시선 추적 카메라들은 사용자의 좌측 및 우측 눈들의 좌측 및 우측 이미지들을 캡처할 수 있다. 이어서, 캡처된 이미지들은 610에서 시작하는 프로세싱을 위해 시선 추적 파이프라인에 입력된다. 요소(600)로 돌아가는 화살표에 의해 표시된 바와 같이, 시선 추적 시스템은, 예를 들어 초당 60 내지 120 프레임의 레이트로 사용자의 눈들의 이미지들을 캡처하는 것을 계속할 수 있다. 일부 실시예들에서, 캡처된 이미지들의 각각의 세트는 프로세싱을 위해 파이프라인에 입력될 수 있다. 그러나, 일부 실시예들에서 또는 일부 조건들 하에서, 캡처된 모든 프레임들이 파이프라인에 의해 프로세싱되는 것은 아니다.
610에서, 현재 캡처된 이미지들에 대해, 추적 상태가 예인 경우, 방법은 요소(640)로 진행한다. 610에서, 추적 상태가 아니오인 경우, 620에서 표시된 바와 같이, 이미지들에서 사용자의 동공들 및 글린트들을 검출하기 위해 이미지들이 분석된다. 630에서, 동공들 및 글린트들이 성공적으로 검출되는 경우, 방법은 요소(640)로 진행한다. 그렇지 않으면, 방법은 사용자의 눈들의 다음 이미지들을 프로세싱하기 위해 요소(610)로 복귀한다.
640에서, 요소(410)로부터 진행하는 경우, 이전 프레임들로부터의 이전 정보에 부분적으로 기초하여 동공들 및 글린트들을 추적하기 위해 현재 프레임들이 분석된다. 640에서, 요소(630)로부터 진행하는 경우, 추적 상태는 현재 프레임들에서 검출된 동공들 및 글린트들에 기초하여 초기화된다. 요소(640)에서 프로세싱의 결과들은 추적 또는 검출의 결과들이 신뢰할 수 있음을 검증하기 위해 체크된다. 예를 들어, 동공 및 시선 추정을 수행하기에 충분한 수의 글린트들이 현재 프레임들에서 성공적으로 추적되거나 검출되는지를 결정하기 위해 결과들이 체크될 수 있다. 650에서, 결과들이 신뢰될 수 없다면, 추적 상태는 아니오로 설정되고, 방법은 사용자의 눈들의 다음 이미지들을 프로세싱하기 위해 요소(610)로 복귀한다. 650에서, 결과들이 신뢰되는 경우, 방법은 요소(670)로 진행한다. 670에서, 추적 상태는 (이미 예가 아닌 경우) 예로 설정되고, 동공 및 글린트 정보는 사용자의 시선 포인트를 추정하기 위해 요소(680)에 전달된다.
도 6은 특정 구현에서 사용될 수 있는 눈 추적 기술의 일 예로서의 역할을 하도록 의도된다. 당업자들에 의해 인식되는 바와 같이, 현재 존재하거나 미래에 개발될 다른 눈 추적 기술들은, 다양한 실시예들에 따라, 사용자들에게 CGR 경험들을 제공하기 위해 컴퓨터 시스템(101)에서 본 명세서에 설명된 글린트-보조 눈 추적 기술 대신에 또는 그와 조합하여 사용될 수 있다.
본 개시내용에서, 컴퓨터 시스템과의 상호작용들과 관련하여 다양한 입력 방법들이 설명된다. 하나의 입력 디바이스 또는 입력 방법을 사용하여 일 예가 제공되고 다른 입력 디바이스 또는 입력 방법을 사용하여 다른 예가 제공되는 경우, 각각의 예는 다른 예와 관련하여 설명된 입력 디바이스 또는 입력 방법과 호환가능할 수 있고 선택적으로 이를 활용한다는 것을 이해해야 한다. 유사하게, 컴퓨터 시스템과의 상호작용들과 관련하여 다양한 출력 방법들이 설명된다. 하나의 출력 디바이스 또는 출력 방법을 사용하여 일 예가 제공되고 다른 출력 디바이스 또는 출력 방법을 사용하여 다른 예가 제공되는 경우, 각각의 예는 다른 예와 관련하여 설명된 출력 디바이스 또는 출력 방법과 호환가능할 수 있고 선택적으로 이를 활용한다는 것을 이해해야 한다. 유사하게, 컴퓨터 시스템을 통한 가상 환경 또는 혼합 현실 환경과의 상호작용들과 관련하여 다양한 방법들이 설명된다. 가상 환경과의 상호작용들을 사용하여 일 예가 제공되고 혼합 현실 환경을 사용하여 다른 예가 제공되는 경우, 각각의 예는 다른 예와 관련하여 설명된 방법들과 호환가능할 수 있고 선택적으로 이를 활용한다는 것을 이해해야 한다. 따라서, 본 개시내용은, 각각의 예시적인 실시예의 설명에서 실시예의 모든 특징들을 철저히 열거하지 않으면서 다수의 예들의 특징들의 조합들인 실시예들을 개시한다.
사용자 인터페이스들 및 연관된 프로세스들
이제, 디스플레이 생성 컴포넌트, 하나 이상의 입력 디바이스들 및 (선택적으로) 하나 이상의 카메라들을 갖는 컴퓨터 시스템, 예를 들어 휴대용 다기능 디바이스 또는 머리 장착형 디바이스 상에서 구현될 수 있는 사용자 인터페이스들("UI") 및 연관된 프로세스들의 실시예들에 대해 주목한다.
도 7a 내지 도 7j는 일부 실시예들에 따른 사용자의 신체에 대한 디바이스의 디스플레이를 업데이트하기 위한 예시적인 사용자 인터페이스들을 예시한다. 이들 도면들의 사용자 인터페이스들은, 도 8a 내지 도 8d에 예시된 프로세스들을 포함하여, 아래에서 설명되는 프로세스들을 예시하는 데 사용된다. 용이한 설명을 위해, 실시예들의 일부는 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에서 수행되는 동작들을 참조하여 논의될 것이다. 그러나, 유사한 동작들이, 선택적으로, 도면에 도시된 사용자 인터페이스들을 디스플레이(450) 상에 포커스 선택자와 함께 디스플레이하면서, 터치 감응형 표면(451) 상에서의 접촉들을 검출하는 것에 응답하여 디스플레이(450) 및 별개의 터치 감응형 표면(451)을 갖는 디바이스 상에서 수행된다.
도 7a는 일부 실시예들에 따른 디스플레이를 갖는 디바이스를 예시한다. 일부 실시예들에서, 디바이스(700)는 컴퓨터 시스템(301)이다. 일부 실시예들에서, 디바이스(700)는 디스플레이(712)(예를 들어, 터치 감응형 디스플레이) 및 측부 입력 버튼(702)을 포함한다. 일부 실시예들에서, 디바이스(700)는 웨어러블 디바이스(예를 들어, 시계, 헤드셋 등)이다. 디바이스(700)는 사용자에 의해 착용되도록 설계된 밴드(706)에 부착(예를 들어, 착용)된다.
도 7b 내지 도 7j는 일부 실시예들에 따른 사용자의 신체에 대한 디바이스의 디스플레이를 업데이트하기 위한 예시적인 사용자 인터페이스들을 예시한다. 도 7b는 2개의 문신들 - 태양 문신(716) 및 별 문신(714) - 을 포함하는 사용자의 팔을 예시한다. 팔은, 문신들이 팔의 상이한 부분들 상에 위치된다는 것을 예시하기 위해, 팔 위로부터의 제1 관점 및 팔의 내측 면을 보는 제2 관점을 포함하는 2개의 상이한 관점들로부터 보여진다. 하기 설명들에서, 문신들은 문신들에 대한 디바이스(700)에 대한 조정들(예를 들어, 디바이스(700)의 위치에 대한 조정들)에 기초한 사용자 인터페이스 특징부들 예시하기 위해 사용된다. 사용자는 디바이스(700)가 다음 사용자 인터페이스들을 제공하기 위해 문신을 가질 필요는 없다. 예를 들어, 다음 설명들은 사용자에 의해 착용될 때 디바이스에 의해 가려지는 사용자의 임의의 신체 부위 또는 신체 특징부(예를 들어, 눈들, 눈썹들, 머리카락, 얼굴, 주근깨들 등)에 적용된다. 문신을 참조하는 설명들은 또한 사용자의 임의의 다른 신체 부위 또는 신체 특징부를 참조할 수 있다.
도 7c는 사용자의 팔 상의 제1 위치에서 착용된, 디바이스(700)에 부착되거나 그와 통합된, 밴드(706)를 예시한다. 사용자의 팔의 제1 위치에서, 디바이스(700)는 별 문신(714)의 일부분을 가리고, 디바이스(700)의 디스플레이(712)는 디바이스(700)에 의해 가려지는 사용자의 팔의 물리적 특징부들의 그래픽 표현을 디스플레이한다. 예를 들어, 도 7c 및 도 7d에서, 그래픽 표현을 디스플레이하는 것은 디바이스(700)에 의해 가려지는 별 문신(714)의 일부분에 대응하는 별 문신의 애니메이션화된 버전(예를 들어, 애니메이션화된 별 문신(718)의 일부분)을 디스플레이하는 것을 포함한다. 보다 구체적으로, 도 7c에서, 별 팁들 중 2개의 그래픽 표현이, 2개의 별 팁들이 사용자의 팔 상에 나타나는 대략적인 위치에서 디바이스(700)에 의해 디스플레이된다(예를 들어, 사용자가 디바이스(700)를 관통해 볼 수 있는 것처럼). 애니메이션화된 별 문신(718)에 더하여, 디스플레이(712)는 또한 디바이스(700)에 의해 가려지는 사용자의 팔의 일부분의 그래픽 표현을 디스플레이한다. 사용자의 팔의 그래픽 표현은 선택적으로 애니메이션화되며, 이 경우 디바이스(700)의 디스플레이(712)는 사용자의 팔의 애니메이션화된 버전을 디스플레이한다. 이러한 방식으로, 디스플레이(712)는 디스플레이(712)에 의해 가려지는 (예를 들어, 별 문신(714)의 부분을 포함하는) 사용자의 팔의 부분을 디스플레이한다.
일부 실시예들에서, 밴드(706)는 사용자의 신체 상에 배치된 후에 조정가능(예를 들어, 이동가능)하다. 예를 들어, 사용자는, 도 7c로부터 도 7d로의 변화에 의해 예시된 바와 같이, 밴드(706)를 좌측으로(예를 들어, 사용자의 손을 향하여) 이동시킨다. 밴드(706)는, 좌측으로 이동되거나, 우측으로 이동되거나, 위로 이동되거나(예를 들어, 수직으로 팔로부터 멀어지게), 아래로 이동되거나(예를 들어, 팔을 향하여), 회전되거나, 또는 이들 이동의 임의의 조합을 포함하여, 다수의 방식들로 조정될 수 있다. 밴드(706)가 조정됨에 따라(예를 들어, 그리고 디바이스(700)가 사용자의 신체에 대해 이동됨에 따라), 사용자의 팔의 그래픽 표현 및 애니메이션화된 별 문신(718)의 디스플레이된 부분은 디바이스(700)의 현재 위치에 대응하도록 업데이트된다. 예를 들어, 디바이스(700)가 별 문신(714)의 더 큰 부분을 가리도록 이동됨에 따라, 애니메이션화된 별 문신(718)의 더 큰 부분이 디스플레이된다.
도 7d는, 도 7c에 도시된 제1 위치의 좌측으로(예를 들어, 손을 향하여) 이동된 후 사용자의 팔 상의 제2 위치에 있는 밴드(706)를 예시한다. 디스플레이(712)는 디바이스(700)가 가리는 사용자의 팔의 새로운 부분(예를 들어, 사용자의 손목)을 디스플레이하도록 업데이트된다. 또한, 디바이스(700) 및 그것의 디스플레이(712)는 이제 별 문신(714)을 완전히 가린다(예를 들어, 중첩된다). 디스플레이(712)는, 별 문신(714)이 디바이스(700)에 대해 있는 위치에서, 애니메이션화된 별 문신(718)을 (예를 들어, 실시간으로) 디스플레이한다. 일부 실시예들에서, 하나 이상의 시각적 효과들이 그래픽 표현의 애니메이션을 생성하기 위해 그래픽 표현(예를 들어, 애니메이션화된 별 문신(718)) 상에 중첩된다(또는 그에 적용된다). 예를 들어, 하나 이상의 시각적 효과들은 그래픽 표현(예를 들어, 애니메이션화된 별 문신(718))이 이동하고, 크기가 증가하고, 회전하고, 플래시하고, 페이드하고, 블러링하고(blurring), 그리고/또는 색상을 변경하게 한다. 일부 실시예들에서, 애니메이션화된 이동은 디바이스에 의해 가려지는 신체 부위(또는 신체 특징부)에 기초한다. 예를 들어, 디바이스가 사용자의 눈들 및/또는 눈썹들을 가리는 경우, 애니메이션은 눈들이 움직이고, 깜박이고, 그리고/또는 초점 또는 시선 방향을 변경하는 것, 및/또는 눈썹들이 움직이는 것(예를 들어, 다양한 얼굴 표정들을 나타내기 위해)을 포함한다.
도 7e는 사용자의 신체 상에서 디바이스(700)의 위치를 변경하기 위해 사용자가 밴드(706)를 회전시키는 것을 예시한다. 예를 들어, 사용자는 디스플레이가 사용자의 손목의 상부 부분을 가리도록 밴드를 회전시킨다. 일부 실시예들에서, 사용자가 밴드(706)를 회전시킴에 따라, 디바이스(700)는, 디바이스(700) 및 그것의 디스플레이(712)가 현재 가리고 있는 사용자의 신체의 부분의 그래픽 표현을 디스플레이하도록, 디스플레이(712)를 계속 업데이트한다. 일부 실시예들에서, 사용자가 밴드(706)를 회전시킴에 따라, 디바이스(700)는, 도 7e에서 디스플레이(712)의 음영에 의해 예시된 바와 같이, (예를 들어, 애니메이션에서) 시간이 지남에 따라 변하는 디스플레이의 페이딩, 블러링, 또는 어둡게 하는 것(darkening)과 같은 애니메이션을 생성한다. 일부 실시예들에서, 생성된 애니메이션은 전체 디스플레이(712)에 적용된다. 일부 실시예들에서, 생성된 애니메이션은 디스플레이의 일부분(예를 들어, 애니메이션화된 별 문신(718)을 포함하는 부분)에 적용된다. 예를 들어, 디바이스(700)는 디스플레이(712) 상의 애니메이션화된 별 문신(718)을 블러링한다(또는 어둡게 한다).
도 7f는 제3 위치로 회전된 후의 밴드(706)를 예시하며, 여기서 디스플레이(712)는 태양 문신(716)을 포함하는 사용자의 신체의 부분과 중첩된다. 디스플레이(712)는 디바이스(712)의 아래에 있는 사용자의 팔의 부분의 외부 및 태양 문신(720)의 그래픽 표현을 디스플레이하도록 업데이트되고; 그래픽 표현은 선택적으로 애니메이션화된 태양 문신(720)을 포함한다. 일부 실시예들에서, 애니메이션화된 태양 문신(720)은 태양 문신(716)과 상이한 색상이다. 도 7d를 참조하여 설명된 바와 같이, 일부 실시예들에서, 디바이스(700)는 디스플레이(712) 상에서 이동하고, 크기가 증가하고, 회전하고, 플래시하고, 그리고/또는 색상을 변경하도록 문신을 애니메이션화한다. 일부 실시예들에서, 애니메이션화된 태양 문신(720)의 애니메이션은 애니메이션화된 별 문신(718)의 애니메이션과는 상이한 애니메이션이다.
도 7g는 태양 문신(716)을 포함하는 사용자의 팔의 부분을 가리는 디스플레이(712)의 다른 관점인, 평면도를 예시한다. 평면도로부터, 애니메이션화된 태양 문신(720)이 디스플레이(712) 상에 디스플레이된다. 도 7g는 (예를 들어, 밴드를 벗기 위해) 사용자가 사용자의 팔로부터 멀어지게 밴드(706)를 들어올리는 것을 예시한다.
도 7h는 디바이스(700)가 사용자의 신체로부터 벗겨지고 있을 때의 디바이스(700)를 예시한다. 일부 실시예들에서, 사용자의 팔로부터 멀어지게 밴드(706)를 들어올리는 것에 응답하여, 디스플레이(712)는 애니메이션(예를 들어, 도 7e에 설명된, 밴드를 회전시키기 위한 애니메이션과는 상이한 애니메이션)을 보여준다. 도 7h에 도시된 바와 같이, 디바이스(700)의 이동은 문신(716)의 그래픽 표현(720)의, 전체보다 작은, 서브세트만이 디스플레이되는 결과를 야기하였다. 다른 예에서, 밴드(706)의 상이한 이동들은 (예를 들어, 이동의 방향 및 배향에 기초하여) 상이한 애니메이션들을 생성한다. 예를 들어, 디바이스가 사용자의 신체로부터 멀어지게 이동됨에 따라(예를 들어, 벗겨짐), 애니메이션은 디스플레이(712) 상에 현재 디스플레이된 콘텐츠의 적어도 일부분의 블러링 애니메이션을 포함한다. 또 다른 예에서, 디바이스가 사용자의 신체로부터 멀어지게 이동됨(예를 들어, 벗겨짐)에 따라, 디바이스는 사용자의 신체의 미리 정의된 부분의 그래픽 표현의 적어도 일부분을 점진적으로 모호하게 한다(obscure)(예를 들어, 디바이스와 사용자의 신체의 미리 정의된 부분 사이의 거리가 변함에 따라 그 속성들이 변하는 오버레이를 이용해). 디바이스가 사용자의 팔로부터 멀어지게 들어올려짐에 따라, 디스플레이(712)는 디바이스(700)가 현재 중첩되는 사용자의 신체의 부분에 대응하도록 애니메이션화된 태양 문신(720)의 부분을 계속 업데이트한다.
도 7i에서, 디바이스(700)는 사용자의 신체로부터 계속 제거된다(예를 들어, 디바이스를 사용자의 손을 향해 미끄러지게 하고 디바이스를 팔로부터 멀어지게 당김으로써). 디스플레이(712)는 디바이스에 의해 가려지는 사용자의 신체의 부분에 대응하는 사용자의 신체의 부분의 외부의 그래픽 표현을 계속 디스플레이한다. 디바이스(700)는, 도 7h를 참조하여 설명된 바와 같이, (예를 들어, 디스플레이를 블러링함으로써) 디스플레이(712)를 계속 애니메이션화한다. 도 7i에서 볼 수 있는 바와 같이, 디바이스(700)는 더 이상 태양 문신(716)을 포함하는 사용자의 팔의 부분과 중첩되지 않고, 따라서 디스플레이(712)는 애니메이션화된 태양 문신(720)을 포함하는 그래픽 표현을 더 이상 디스플레이하지 않는다.
도 7j에서, (예를 들어, 밴드(706) 상에 장착된) 디바이스(700)는 사용자의 팔로부터 제거되었다. 일부 실시예들에서, 디바이스(700)가 사용자의 신체로부터 제거되었다는 결정에 따라, 디스플레이(712)는 업데이트된다. 일부 실시예들에서, 디스플레이(712)는 어두워진다(예를 들어, 음영을 증가시키거나, 색상을 변경한다). 일부 실시예들에서, 디스플레이(712)는 꺼진다.
도 8a 내지 도 8d는 일부 실시예들에 따른, 미리 정의된 입력 제스처들을 사용하여 3차원 환경과 상호작용하기 위한 예시적인 방법(800)의 흐름도들이다. 일부 실시예들에서, 본 방법(800)은, 디스플레이 생성 컴포넌트(예컨대, 도 1, 도 3 및 도 4의 디스플레이 생성 컴포넌트(120))(예컨대, 헤드업 디스플레이, 디스플레이, 터치스크린, 프로젝터 등) 및 하나 이상의 카메라들(예컨대, 사용자의 손에서 하향으로 향하는 카메라(예컨대, 컬러 센서들, 적외선 센서들, 및 다른 깊이-감지 카메라들) 또는 사용자의 머리로부터 전방으로 향하는 카메라)을 포함하는 컴퓨터 시스템(전자 디바이스 또는 웨어러블 전자 디바이스로도 지칭됨)(예컨대, 도 1의 컴퓨터 시스템(101))에서 수행된다. 일부 실시예들에서, 방법(800)은, 비일시적 컴퓨터 판독가능 저장 매체에 저장되며 컴퓨터 시스템의 하나 이상의 프로세서들, 예를 들어, 컴퓨터 시스템(101)의 하나 이상의 프로세서들(202)(예를 들어, 도 1a의 제어 유닛(110))에 의해 실행되는 명령어들에 의해 통제된다. 방법(800)에서의 일부 동작들은 선택적으로 조합되고/되거나, 일부 동작들의 순서는 선택적으로 변경된다.
아래에 설명된 바와 같이, 방법(800)은 컴퓨팅 시스템들과의 상호작용을 사용자에게 더 효율적이고 직관적으로 만들기 위해, 컴퓨터 생성 경험들을 사용자들에게 제공하는 직관적인 방법을 제공한다. 방법은 디바이스들의 위치를 조정하는 것과 연관된 액션들을 수행하는 동안 제공되는 시각적 피드백을 개선한다. 배터리-작동형 전자 디바이스들의 경우, 디바이스를 사용자 입력에 더 잘 응답하여 나타나도록 만드는 것은 전력을 보존하고 배터리 충전들 사이의 시간을 증가시킨다. 개선된 시각적 피드백은 디바이스의 작동성을 더욱 향상시킨다(예를 들어, 디바이스를 동작시키거나/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 줄임으로써).
일부 실시예들에서, 전자 디바이스는 사용자의 신체의 미리 정의된 부분, 예컨대 사용자의 손목 근처의 또는 그에 인접한 사용자의 팔의 부분, 또는 그들의 눈들 위에 착용되도록 구성된다. 일부 실시예들에서, 전자 디바이스의 디스플레이 생성 컴포넌트는 사용자의 신체의 미리 정의된 부분에 가장 가까운 디바이스의 면의 반대편의 디바이스의 면 또는 표면 상에서 전자 디바이스 상에 배열된다. 예를 들어, 도 7b 내지 도 7j에서, 디스플레이(712)는 사용자의 팔의 부분에 가장 가까운 디바이스의 면의 반대편의 전자 디바이스의 면 또는 표면 상에서, (사용자의 신체로부터 멀어지게) 외향으로 하도록 배열된다. 전자 디바이스가 사용자의 신체의 미리 정의된 부분 위에 착용되는 동안, 전자 디바이스는, 디스플레이 생성 컴포넌트를 통해, 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현을 디스플레이한다(802).
일부 실시예들에서, 그래픽 표현은 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 시뮬레이션된 표현 또는 팩시밀리이며, 이는 신체 부위의 외부 뷰의 사실적으로 렌더링된 표현 또는 신체 부위의 외부 뷰의 캐리커처화된 표현(예를 들어, 신체 부위의 외부 뷰의 하나 이상의 특징부들을 의도적으로 단순화하고/하거나 신체 부위의 외부 뷰의 하나 이상의 특징부들을 의도적으로 과장하는 신체 부위의 외부 뷰의 그래픽 표현)일 수 있다. 예를 들어, 도 7c 내지 도 7h에 예시된 바와 같이, 사용자의 팔의 외부 부분 및 사용자의 팔 상의 문신들의 그래픽 표현이 디바이스(700) 상에 디스플레이된다. 일부 실시예들에서, 그래픽 표현은 애니메이션화된다(예를 들어, 디스플레이 상의 그래픽 표현에 시각적 효과들을 적용함으로써). 일부 실시예들에서, 사용자의 신체의 미리 정의된 부분은 사용자 얼굴의 적어도 일부분을 포함한다.
예를 들어, 전자 디바이스는 (사용자의 신체로부터 멀어지게) 외향으로 향하는 디스플레이 생성 컴포넌트를 포함하는 헤드셋 또는 머리 장착형 디스플레이(HMD)(예를 들어, 사용자의 머리에 착용되도록 구성됨)이고, 사용자의 신체의 미리 정의된 부분은 사용자의 눈들, 눈썹들, 코, 입, 머리카락, 주근깨들, 안경, 및/또는 사용자의 얼굴에 존재하는 임의의 다른 특징부를 포함한다. 예를 들어, HMD의 디스플레이 생성 컴포넌트는 HMD가 사용자의 눈들(및/또는 다른 특징부들) 위에 착용될 때 사용자의 눈들(및/또는 다른 특징부들)의 그래픽 표현을 디스플레이한다. 일부 실시예들에서, 사용자의 눈들의 그래픽 표현은 사용자의 눈들의 그래픽 표현이 깜박이는(또는 윙크하는) 것처럼 보이도록 애니메이션화되거나, 크기를 변경하거나(예를 들어, 사용자의 눈들의 그래픽 표현이 더 커지거나 더 작아짐), 또는 그렇지 않으면 상이한 얼굴 표정들을 나타내도록 애니메이션화한다(예를 들어, 사용자의 눈썹들의 그래픽 표현이 사용자의 눈들의 그래픽 표현의 위치에 대해 올라가거나 내려감).
전자 디바이스는 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 변화를 검출한다(804). 전자 디바이스는, 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 변화를 검출하는 것에 응답하여, 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 검출된 변화에 따라 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현을 수정한다(806). 예를 들어, 도 7c 내지 도 7h에 예시된 바와 같이, 디바이스(700)가 사용자의 팔에 대해 조정(예를 들어, 재위치설정)됨에 따라, 디스플레이(712) 상의 그래픽 표현은 디바이스(700)에 의해 현재 가려지는 문신의 부분 및 사용자의 팔의 부분을 디스플레이하도록 업데이트된다. 일부 실시예들에서, 전자 디바이스는 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 변화를 검출한다.
예를 들어, HMD는 다음을 포함하는 복수의 상황들에서 사용자의 눈들에 대한 위치를 변경한다: 사용자가 HMD를 사용자의 머리에 착용할 때, 사용자가 HMD를 사용자의 머리로부터 제거할 때, 및 HMD가 사용자의 머리에 있는 동안 사용자가 HMD를 조정할 때, 예컨대 HMD를 사용자의 얼굴(및 눈들)로부터 멀어지게 당기는 것, HMD를 (중립 위치에 대하여 - 여기서 중립 위치는 사용자의 눈들 위의 미리 정의된 위치에 배치된 HMD에 대응함 -) 우측 및 좌측으로 이동시키는 것, 및 HMD를 위 또는 아래로 이동시키는 것(또는 이들 이동들의 임의의 조합). 일부 실시예들에서, HMD가 이러한 방식들 중 임의의 방식으로 위치들을 변경하고 있다는 결정에 따라, HMD 상의 디스플레이 생성 컴포넌트는 HMD 상에 디스플레이되는 사용자의 눈들의 그래픽 표현을 수정하도록 업데이트된다. 아래에 설명된 바와 같이, 사용자의 눈들의 그래픽 표현에 대한 수정은 사용자의 눈들에 대한 HMD의 위치의 변화 또는 그의 조정의 유형에 기초한다(예를 들어, 이에 대응한다).
전자 디바이스 뒤에 숨겨진 사용자의 신체의 일부분을 보여주도록 디스플레이를 업데이트하는 것은, 사용자 및 디스플레이를 보는 주변 환경 내의 다른 사람들이, 사용자의 신체의 그 일부분이 가려지고 사용자(또는 주변 환경 내의 다른 사람들)에게 보이지 않을 때에도, 전자 디바이스가 사용자의 신체에 대해 어디에 위치되어 있는지를 알도록 하는 더 직관적인 방식을 제공한다. 이는, 사용자 및 주변 환경 내의 다른 사람들이 전자 디바이스 뒤에 무엇이 있는지 상상하거나 추측해야 하는 인지적 부담을 감소시킴으로써 웨어러블 디바이스들과 상호작용하는 경험을 개선한다. 사용자에게 개선된 시각적 피드백을 제공하는 것은, (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 전자 디바이스의 위치의 검출된 변화는 사용자의 신체의 미리 정의된 부분으로부터 멀어지는 디바이스의 이동이다(808). 예를 들어, 도 7g 및 도 7h는 사용자의 팔로부터 멀어지게 당겨지는 디바이스(700)를 예시한다. 일부 실시예들에서, 사용자의 신체의 미리 정의된 부분으로부터 멀어지는 디바이스의 이동은 사용자의 신체로부터 전자 디바이스를 제거하지 않고 사용자의 신체로부터 멀어지게 전자 디바이스를 이동시키는 것을 포함한다. 일부 실시예들에서, 위치의 검출된 변화는 사용자의 신체의 미리 정의된 부분으로부터 멀어지는 디바이스의 이동으로 시작하며, 디바이스가 사용자의 신체로부터 적어도 임계 거리 떨어져 위치설정된다는 결정에 따라, 위치의 검출된 변화는 사용자의 신체로부터 디바이스를 제거하는 것에 대응한다.
사용자의 눈들 위에 착용되도록 구성된 HMD의 상기 예에 따라, 일부 실시예들에서, 사용자는 HMD를 사용자의 눈들로부터 멀어지게 이동시킨다(예를 들어, HMD를 사용자의 얼굴로부터 멀어지게, 전방으로 당긴다). 일부 실시예들에서, 사용자는 사용자의 머리로부터 HMD를 제거하지 않고 HMD를 사용자의 눈들로부터 멀어지게 이동시킨다. 예를 들어, 사용자는 사용자의 얼굴과 HMD 사이에 더 많은 공간(예를 들어, 더 큰 거리)을 생성한다. 일부 실시예들에서, 사용자는 HMD를 사용자의 얼굴로부터 똑바로 당긴다(예를 들어, 정면을 바라보는 사용자의 얼굴에 대해, 좌측, 우측, 위 또는 아래로 HMD를 이동시키지 않고).
사용자의 신체에 대한 전자 디바이스의 이동을 추적하는 것은 전자 디바이스에 의해 숨겨진 사용자의 신체의 부분의 보다 정확한 표현을 제공한다. 전자 디바이스에 의해 숨겨진 사용자의 신체의 부분의 표현을 정확하게 디스플레이하는 것은, 사용자 및 디스플레이를 보는 주변 환경 내의 다른 사람들이, 사용자의 신체, 또는 사용자의 신체의 적어도 앞서 언급된 부분이 가려지고 사용자에게 보이지 않을 때에도, 전자 디바이스가 사용자의 신체에 대해 어디에 위치되어 있는지를 알도록 하는 직관적인 방식을 제공한다. 이는, 사용자 및 주변 환경 내의 다른 사람들이 전자 디바이스 아래에 무엇이 있는지 상상해야 하는 인지적 부담을 감소시킴으로써 웨어러블 디바이스들과 상호작용하는 경험을 개선한다. 개선된 피드백을 사용자에게 제공하는 것은, (예를 들어, 디바이스를 작동시키거나/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 부가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용할 수 있게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 검출된 변화에 따라 그래픽 표현을 수정하는 것은, 사용자의 신체의 미리 정의된 부분으로부터 떨어져 미리 정의된 거리에서, 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현의 적어도 일부분(또는 전부)의 디스플레이를 중단하는 것을 포함한다(810). 예를 들어, 도 7j에 예시된 바와 같이, 디스플레이(712)는, 디바이스가 사용자의 팔로부터 멀어지게(예를 들어, 적어도 미리 정의된 거리) 이동했으므로, 사용자의 팔의 그래픽 표현을 디스플레이하는 것을 중단한다. 예를 들어, 위에서 설명된 바와 같이, 위치의 변화가, 디바이스가 적어도 임계량(신체로부터 미리 정의된 거리)만큼 멀어지게 이동된 후 사용자의 신체로부터 디바이스를 제거하는 것에 대응할 때, 디바이스는 신체 부위의 외부 뷰의 그래픽 표현의 적어도 일부분을 디스플레이하는 것을 중단한다.
사용자의 눈들 위에 착용되도록 구성된 HMD의 상기 예에서, 일부 실시예들에서, 사용자는 사용자의 머리로부터 HMD를 제거함으로써 HMD의 위치를 변경한다. 일부 실시예들에서, HMD가 사용자의 눈들로부터 미리 정의된 거리만큼 떨어져 제거되었다는 결정에 따라, 디스플레이 생성 컴포넌트는 사용자의 눈들의 그래픽 표현을 디스플레이하는 것을 중단한다.
전자 디바이스가 제거되었을 때 사용자의 신체의 부분의 표현을 디스플레이하는 것을 중단하는 것은, 사용자 및 디스플레이를 보는 주변 환경 내의 다른 사람들에게, 전자 디바이스가 사용자의 신체로부터 제거되었다는 것, 그리고 디바이스가 사용자의 신체의 부분으로부터 제거되었을 때 디스플레이는 더 이상 사용자의 신체의 부분의 표현을 디스플레이하지 않을 것이라는 것을 보여주는 직관적인 전이를 제공한다. 이는, 사용자 및 주변 환경 내의 다른 사람들이 사용자의 신체에 대한 전자 디바이스의 현재 위치를 인식해야 하는 인지적 부담을 감소시킴으로써 웨어러블 디바이스들과 상호작용하는 경험을 개선한다. 사용자에게 개선된 시각적 피드백을 제공하는 것은, (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 검출된 변화에 따라 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현을 수정하는 것은, 사용자의 신체의 미리 정의된 부분에 대한 (사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의) 그래픽 표현의 적어도 일부분의 위치를 유지하는 것을 포함한다(812). 예를 들어, 전자 디바이스의 위치가 변화하는 동안, 전자 디바이스는 사용자의 신체의 해부학적 특징부에 대해 동일한 위치에서 사용자의 신체의 해부학적 특징부의 그래픽 표현을 유지한다(예를 들어, 사용자의 눈들 또는 팔의 그래픽 표현은, 그것이 해부학적 특징부를 가리는 위치에서 디스플레이 생성 컴포넌트 상에 디스플레이된 채로 유지되도록, 업데이트되거나 이동된다). 예를 들어, 도 7c 및 도 7d에 예시된 바와 같이, 디바이스(700)가 사용자의 팔의 상이한 부분들로 조정됨에 따라, 디바이스의 현재 위치에 대응하는 사용자의 팔의 부분의 그래픽 표현이 디스플레이(712) 상에 디스플레이된다. 이와 같이, 디바이스(700)가 별 문신(714)을 완전히 가리도록 이동함에 따라, 별 문신의 애니메이션화된 버전(718)이 생성되어 사용자의 팔 상의 별 문신(714)의 위치에 대응하는 위치들에서 디스플레이되며, 따라서 별 문신의 애니메이션화된 버전(718)은 디바이스(700)가 이동함에 따라 계속 별 문신(714)의 위치와 매칭되고 이를 가린다.
사용자의 눈들 위에 착용되도록 구성된 HMD의 상기 예에 따라, 일부 실시예들에서, 사용자가 사용자의 눈들에 대해 HMD를 이동시킴(예를 들어, 조정함)에 따라, 디스플레이 생성 컴포넌트는 (HMD에 의해 현재 가려지는) 사용자의 눈들의 현재 위치에 대응하는 디스플레이 상의 위치에 사용자의 눈들의 그래픽 표현을 디스플레이하도록 업데이트된다. 예를 들어, 사용자가 HMD를 사용자의 좌측으로 이동시킴에 따라, 사용자의 눈들의 그래픽 표현은 (예를 들어, 디스플레이 생성 컴포넌트를 보고 있는 제3자에게) HMD와 함께 이동하지 않는 것처럼 보인다. 대신에, 사용자의 눈들의 그래픽 표현은 사용자의 실제 눈들 앞의 위치에 대응하는 일정한 위치에서 유지되는 것처럼 보인다. 따라서, 사용자가 사용자의 얼굴 상의 상이한 위치들로 HMD를 이동시킬 때에도, 사용자의 눈들의 그래픽 표현은, 디스플레이 생성 컴포넌트를 보고 있는 제3자에게, 사용자의 눈들이 현재 HMD에 의해 가려지지 않는 것처럼 사용자의 눈들이 보일 위치에 나타난다.
전자 디바이스가 이동하여 사용자의 신체의 상이한 부분을 가림에 따라 사용자의 신체의 부분의 그래픽 표현에서 특징부들의 상대적인 위치를 유지하는 것은, 사용자 및 디스플레이를 보는 주변 환경 내의 다른 사람들이, 사용자의 신체가 가려지고 사용자에게 보이지 않을 때에도, 전자 디바이스가 사용자의 신체에 대해 어디에 위치되어 있는지를 알도록 하는 직관적인 방식을 제공한다. 이는, 사용자 및 주변 환경 내의 다른 사람들이 전자 디바이스 아래에 무엇이 있는지 상상해야 하는 인지적 부담을 감소시킴으로써 웨어러블 디바이스들과 상호작용하는 경험을 개선한다. 사용자에게 개선된 시각적 피드백을 제공하는 것은, (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 검출된 변화에 따라 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현을 수정하는 것은, 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현의, 전체보다 작은, 서브세트를 포함하도록 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현을 (예를 들어, 점진적으로) 수정하는 것을 포함한다(814). 그래픽 표현의 그러한 수정의 예가 도 7h에 도시되어 있고 도 7h와 관련하여 위에서 논의되었다. 다른 예에서, 그래픽 표현은 전자 디바이스가 사용자의 신체의 미리 정의된 부분에 대한 위치를 변경함에 따라 더 추상적이게(예를 들어, 덜 상세하게) 된다.
일부 실시예들에서, 사용자의 신체의 미리 정의된 부분의 외부 뷰의 그래픽 표현은 사용자의 신체의 복수의 해부학적 특징부들(예를 들어, 눈들, 눈썹들, 코, 입, 문신)의 그래픽 표현들(예를 들어, 묘사들)을 포함한다. 일부 실시예들에서, 사용자의 신체의 미리 정의된 부분의 그래픽 표현의, 전체보다 작은, 서브세트를 포함하도록 디스플레이된 그래픽 표현을 수정하는 것은 복수의 해부학적 특징부들의 그래픽 표현들의 수를 감소시키는 것(예를 들어, 복수의 해부학적 특징부들 내의 해부학적 특징부들의 그래픽 표현들 중 하나 이상을 제거하는 것)을 포함한다.
일부 실시예들에서, 사용자의 신체의 미리 정의된 부분의 그래픽 표현의, 전체보다 작은, 서브세트를 포함하도록 디스플레이된 그래픽 표현을 수정하는 것은, 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 변화가 사용자의 신체의 미리 정의된 부분(으로부터 멀어지는) 제1 방향을 따른다는 결정에 따라 수행된다(예를 들어, 수정은 사용자가 전자 디바이스를 벗는 동안 발생한다). 예를 들어, 그래픽 표현은 전자 디바이스가 사용자의 신체로부터 멀어지게 이동됨에 따라 (더 적은 특징부들 또는 덜 상세한 특징부들을 갖는) 사용자의 신체의 미리 정의된 부분의 덜 상세한 버전을 보여준다.
예를 들어, 사용자가 HMD를 사용자의 눈들로부터 멀어지게 이동시킴에 따라(예를 들어, HMD를 전방으로, 사용자의 얼굴로부터 멀어지게 당김), 사용자의 눈들의 그래픽 표현은 더 적은 세부사항을 포함한다. 예를 들어, HMD가 그의 중립 위치에 배치될 때(예를 들어, 사용자의 얼굴 상에 적절하게 배치됨), 그래픽 표현은 사용자의 눈들의 그래픽 표현 및 사용자의 눈썹들의 그래픽 표현(및/또는 사용자의 눈들에 관련된 다른 특징부들의, 또는 사용자의 눈들을 둘러싸는 사용자의 얼굴의, 그래픽 표현들)을 포함한다. HMD가 사용자의 눈들로부터 더 멀리 이동됨에 따라(예를 들어, 사용자가 HMD를 사용자의 얼굴로부터 멀어지게 당김으로써), 그래픽 표현은 (예를 들어, 그래픽 표현에 있는 하나 이상의 특징부들을 제거하거나 모호하게 함으로써) 더 추상적이게 되도록 업데이트된다. 예를 들어, 그래픽 표현은, 수정된 그래픽 표현이 사용자의 눈썹들의 그래픽 표현만을 포함하도록, 사용자의 눈들의 그래픽 표현의 디스플레이를 보류하도록 업데이트된다. 다른 예에서, 그래픽 표현은 사용자의 눈들의 그래픽 표현의 디스플레이를 눈들의 단순화된 그래픽 표현(예를 들어, 눈들의 라인 드로잉(line drawing), 눈들의 시뮬레이션된 3차원 표현 대신에 눈들의 2차원 표현, 및/또는 5, 10 또는 256 색상들과 같은 더 많은 색상들을 갖는 눈들의 표현 대신에 눈들의 모노톤 또는 투톤 표현)으로 대체하도록 업데이트된다.
일부 실시예들에서, 방법은 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 후속 변화를 검출하는 단계를 포함하며, 여기서 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 후속 변화는 제1 방향과 반대이다. 예를 들어, 후속 변화는 전자 디바이스를 사용자의 신체에 더 가깝게 이동시키는 것(예를 들어, 전자 디바이스를 사용자의 신체에 착용하는 것)을 포함한다. 일부 실시예들에서, 전자 디바이스는, 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 후속 변화에 응답하여, 사용자의 신체의 해부학적 특징부들의 그래픽 표현들의 수를 증가시킨다(예를 들어, 사용자가 전자 디바이스를 사용자의 신체의 미리 정의된 부분으로부터 멀어지게 이동시키고 있었던 동안에 발생한 디스플레이된 그래픽 표현의 수정(들)을 반전시킴). 예를 들어, 그래픽 표현은, 전자 디바이스가 사용자의 신체에 더 가깝게 이동됨에 따라, (더 많은 특징부들 또는 더 상세한 특징부들을 갖는) 사용자의 신체의 미리 정의된 부분의 더 많은 세부사항을 보여준다.
예를 들어, 사용자가 HMD를 사용자의 눈들로부터 멀어지게 당긴 후, 사용자는 후속적으로 HMD를 반대 방향으로(예를 들어, 사용자의 눈들을 향해 다시) 가져온다. 사용자가 HMD를 사용자의 얼굴(및 눈들)에 더 가깝게 이동시킴에 따라, 사용자의 눈썹들만을 포함한(사용자의 눈들의 그래픽 표현은 아님) 수정된 그래픽 표현은 수정된 그래픽에 존재하는 세부 수준을 증가시키도록 업데이트된다. 예를 들어, 수정된 그래픽 표현은, 사용자가 HMD를 사용자의 얼굴에 더 가깝게 이동시킴에 따라, 사용자의 눈썹들의 그래픽 표현만 디스플레이하는 것으로부터, 사용자의 눈들 및 사용자의 눈썹들을 포함하는 그래픽 표현을 디스플레이하는 것으로 업데이트된다.
사용자의 신체의 미리 정의된 부분의 덜(또는 더) 상세한 표현을 점진적으로 디스플레이하는 것은 전자 디바이스가 사용자의 신체로부터 더 멀리(또는 그에 더 가깝게) 이동하고 있는지 여부를 시각적으로 나타내며, 이는, 사용자 및 디스플레이를 보는 주변 환경 내의 다른 사람들이, 사용자의 신체의 미리 정의된 부분이 가려지고 사용자에게 보이지 않을 때에도, 전자 디바이스가 사용자의 신체에 얼마나 가깝게 위치되어 있는지를 알도록 하는 직관적인 방식을 제공한다. 이는, 사용자 및 주변 환경 내의 다른 사람들이 전자 디바이스 아래에 무엇이 있는지 상상해야 하는 인지적 부담을 감소시킴으로써 웨어러블 디바이스들과 상호작용하는 경험을 개선한다. 사용자에게 개선된 시각적 피드백을 제공하는 것은, (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 검출된 변화에 따라 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현을 수정하는 것은, 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현의 적어도 일부분을 모호하게 하는 것을 포함한다(816). 예를 들어, 도 7g 및 도 7h를 참조하여 위에서 논의된 바와 같이, 디바이스(700)가 사용자의 팔에 대한 위치를 변경함(예를 들어, 사용자의 팔로부터 멀어지게 이동됨)에 따라, 디스플레이(712)는, 도 7h에 도시된, 사용자의 팔 및 애니메이션화된 태양 문신(720)의 그래픽 표현을 (예를 들어, 오버레이를 이용하여) 모호하게 한다. 선택적으로, 디바이스와 사용자의 신체의 미리 정의된 부분 사이의 거리가 변화함에 따라, 모호화의 하나 이상의 시각적 속성들(예를 들어, 블러링, 밝기, 채도, 대비 등 중 하나 이상)이 변화한다.
일부 실시예들에서, 디스플레이된 그래픽 표현의 모호화는, 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 변화가 사용자의 신체의 미리 정의된 부분으로부터 멀어지는 제2 방향(예를 들어, 제1 방향과 상이함)을 따른다는 결정에 따라, 수행된다.
예를 들어, 위에서 설명된 바와 같이, 사용자가 HMD를 얼굴로부터 똑바로 당김으로써(예를 들어, HMD를 좌측, 우측, 위 또는 아래로 이동시키지 않고) HMD를 사용자의 얼굴로부터 멀어지게 이동시킴에 따라, 그래픽 표현은 더 적은 세부사항을 보여주도록 업데이트된다. 일부 실시예들에서, 사용자가 HMD를 다른 방향으로, 예컨대 위로 이동시킴에 따라(예를 들어, HMD가 사용자의 눈들 위의, 사용자의 이마 상에 배치될 것처럼), 그래픽 표현은 그래픽 표현에 적용되는 시각적 효과를 디스플레이하도록 수정된다. 일부 실시예들에서, 수정된 그래픽 표현은 그래픽 표현의 모호하게 된 버전(예를 들어, 그래픽 표현의 적어도 일부분을 페이딩, 블러링, 또는 비네팅(vignetting)함으로써 생성됨)이다. 예를 들어, 사용자가 HMD를 상향으로 이동시킴으로써 HMD의 위치가 변화함에 따라, 사용자의 눈들의 그래픽 표현은 블러링된다. 이동의 각자의 방향 또는 유형에 따라 특정 시각적 효과를 생성하는 것을 설명하는 설명들은 단지 예일 뿐이며, 본 명세서에 설명된 시각적 효과들(또는 시각적 효과들의 조합) 중 임의의 것이 전자 디바이스가 임의의 다른 가능한 방향으로 이동될 때 그래픽 표현에 적용될 수 있다는 것이 이해될 것이다. 또한, 아래에서 더 상세히 설명되는 바와 같이, 복수의 방향들로의 HMD의 이동(예를 들어, 좌측, 상향, 및 멀어지는 방향의 컴포넌트들을 갖는 이동)은 시각적 효과들의 조합을 야기하며, 이때 각각의 시각적 효과는 각자의 이동 방향에 대응한다.
전자 디바이스가 사용자의 신체에 대해 이동하고 있음을 나타내기 위해 사용자의 신체의 부분의 표현의 모호해진 뷰를 디스플레이하는 것은, 사용자 및 디스플레이를 보는 주변 환경 내의 다른 사람들이, 전자 디바이스가 사용자의 신체에 대해 조정되고 있음을 알도록 하는 직관적인 방식을 제공한다. 이는, 사용자 및 주변 환경 내의 다른 사람들이 전자 디바이스가 조정되고 있음을 알아야 하는 인지적 부담을 감소시킴으로써 웨어러블 디바이스들과 상호작용하는 경험을 개선한다. 사용자에게 개선된 시각적 피드백을 제공하는 것은, (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현을 모호하게 하는 것은, 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현의 적어도 일부분을 페이드 아웃(fade out)하는 것을 포함한다(818). 예를 들어, 일부 실시예들에서, 모호하게 하는 것은 그래픽 표현의 주변 부분을 페이드 아웃함(예를 들어, 밝기 및/또는 채도를 감소시킴)으로써 그래픽 표현에 비네트 효과를 적용하는 것을 포함한다.
위의 예에 이어서, 일부 실시예들에서, 사용자가 HMD를 다른 방향으로, 예컨대 위로 이동시킴에 따라(예를 들어, HMD가 사용자의 눈들 위의, 사용자의 이마 상에 배치될 것처럼), 그래픽 표현은 그래픽 표현의 적어도 일부분 상에 페이드 아웃 시각적 효과를 적용하도록 수정된다. 예를 들어, 사용자가 HMD를 상향으로 이동시킴으로써 HMD의 위치가 변화함에 따라, 사용자의 눈들(예를 들어, 및/또는 눈썹들)의 그래픽 표현은 페이드된다.
전자 디바이스가 사용자의 신체에 대해 이동하고 있음을 나타내기 위해 사용자의 신체의 부분의 표현의 페이드된 뷰를 디스플레이하는 것은, 사용자 및 디스플레이를 보는 주변 환경 내의 다른 사람들이, 전자 디바이스의 위치가 사용자의 신체에 대해 또는 사용자의 신체의 미리 정의된 부분에 대해 조정되고 있음을 알도록 하는 직관적인 방식을 제공한다. 이는, 사용자 및 주변 환경 내의 다른 사람들이 전자 디바이스가 조정되고 있음을 알아야 하는 인지적 부담을 감소시킴으로써 웨어러블 디바이스들과 상호작용하는 경험을 개선한다. 사용자에게 개선된 시각적 피드백을 제공하는 것은, (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현을 모호하게 하는 것은, 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현의 적어도 일부분을 블러링하는 것을 포함한다(820).
위의 예에 이어서, 일부 실시예들에서, 사용자가 HMD를 다른 방향으로, 예컨대 좌측으로 이동시킴에 따라, 그래픽 표현은 그래픽 표현의 적어도 일부분에 블러링 효과를 적용하도록 수정된다. 예를 들어, 사용자가 HMD를 좌측으로 이동시킴으로써 HMD의 위치가 변화함에 따라, 사용자의 눈들(예를 들어, 및/또는 눈썹들)의 그래픽 표현은 블러링된다.
전자 디바이스가 사용자의 신체, 또는 사용자의 신체의 미리 정의된 부분에 대해 이동하고 있음을 나타내기 위해 사용자의 신체의 부분의 표현의 블러링된 뷰를 디스플레이하는 것은, 사용자 및 디스플레이를 보는 주변 환경 내의 다른 사람들이, 전자 디바이스가 사용자의 신체에 대해 조정되고 있음을 알도록 하는 직관적인 방식을 제공한다. 이는, 사용자 및 주변 환경 내의 다른 사람들이 전자 디바이스가 조정되고 있음을 알아야 하는 인지적 부담을 감소시킴으로써 웨어러블 디바이스들과 상호작용하는 경험을 개선한다. 사용자에게 개선된 시각적 피드백을 제공하는 것은, (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현을 모호하게 하는 것은, 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현을 비네팅하는 것을 포함한다(822).
위의 예에 이어서, 사용자가 HMD를 우측으로 이동시킴에 따라, 그래픽 표현은 그래픽 표현의 적어도 일부분에 비네트 효과를 적용하도록 수정된다. 예를 들어, 사용자가 HMD를 우측으로 이동시킴으로써 HMD의 위치가 변화함에 따라, 사용자의 눈들(예를 들어, 및/또는 눈썹들)의 그래픽 표현은 비네트 효과와 함께 디스플레이되며, 여기서 사용자의 눈들의 그래픽 표현의 중심은 초점이 맞는 것처럼 보이면서 사용자의 눈들의 그래픽 표현의 외부 부분들은 블러링되고/되거나, 페이드되고/되거나, (색상이) 채도가 낮은(less saturated) 것처럼 보인다.
전자 디바이스가 사용자의 신체에 대해 이동하고 있음을 나타내기 위해 사용자의 신체의 미리 정의된 부분의 그래픽 표현 상에 오버레이된 비네트 효과를 디스플레이하는 것은, 사용자 및 디스플레이를 보는 주변 환경 내의 다른 사람들이, 전자 디바이스가 사용자의 신체에 대해 조정되고 있음을 알도록 하는 직관적인 방식을 제공한다. 이는, 사용자 및 주변 환경 내의 다른 사람들이 전자 디바이스가 조정되고 있음을 알아야 하는 인지적 부담을 감소시킴으로써 웨어러블 디바이스들과 상호작용하는 경험을 개선한다. 사용자에게 개선된 시각적 피드백을 제공하는 것은, (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 전자 디바이스는, 사용자가 전자 디바이스를 착용하기 전에, 사용자가 전자 디바이스를 착용하는 중인(putting on) 동안, 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현(예를 들어, 애니메이션화된 그래픽 표현)을 디스플레이한다(824). 일부 실시예들에서, 그래픽 표현의 디스플레이는 그래픽 표현의(예를 들어, 그에 시각적 효과를 적용하는 것에 의한) 수정된 버전이다. 예를 들어, 그래픽 표현은, 디바이스가 이동함에 따라, 어두워지거나, 블러링되거나, 또는 이동하는(예를 들어, 애니메이션화하는) 것처럼 보인다. 일부 실시예들에서, 전자 디바이스는, 전자 디바이스가 사용자의 신체의 미리 정의된 부분의 미리 정의된 거리 내에 있다는 결정에 따라, 사용자가 전자 디바이스를 착용하는 중이라고 결정하며, 이는 단계(826)를 참조하여 아래에서 설명된다.
일부 실시예들에서, 사용자가 HMD를 (예를 들어, 사용자의 머리 상의 미리 정의된 위치(예를 들어, 사용-중 위치, 동작 위치, 또는 적절한 위치)로 - 미리 정의된 위치는 물리적 특징부의 표현이 각자의 외관과 함께 디스플레이되는 위치로서 지정되고, 선택적으로 HMD가 AR 또는 VR 환경을 보기 위한 AR 또는 VR 보기 디바이스로서 기능하는 위치임 -) 착용함에 따라, 사용자의 눈들의 그래픽 표현은 HMD의 디스플레이 생성 컴포넌트 상에 나타난다. 예를 들어, HMD의 디스플레이 생성 컴포넌트는 (예를 들어, HMD가 사용자의 머리 상의 미리 정의된 위치에 도달하기 전에) 사용자의 눈들의 그래픽 표현의 수정된 버전을 디스플레이한다. 예를 들어, HMD가 여전히 조정되고 있음(예를 들어, 미리 정의된 위치로 이동됨)을 나타내기 위해, 사용자의 눈들의 그래픽 표현의 모호화된 버전(예를 들어, 어두워진 버전)이 디스플레이된다. 일부 실시예들에서, 사용자가 사용자의 머리에 HMD를 착용하고 있는 중일 때 HMD가 위치를 변경함에 따라 시프팅하는 눈들(예를 들어, 주위를 둘러보는 눈들)로서 사용자의 눈들의 그래픽 표현을 디스플레이하는 것과 같이, 사용자의 눈들의 그래픽 표현의 애니메이션화된 버전이 디스플레이된다.
전자 디바이스가 사용자의 신체 상의 제위치에 놓임에 따라, 현재 전자 디바이스에 의해 숨겨진 사용자의 신체의 부분의 표현을 디스플레이하는 것은, 사용자 및 디스플레이를 보는 주변 환경 내의 다른 사람들에게, 전자 디바이스가 사용자의 신체 상에 배치되고 있다는 것, 및 전자 디바이스가 전자 디바이스에 의해 가려진 사용자의 신체의 일부분을 디스플레이하기 위해 디스플레이를 계속 업데이트할 것이라는 것을 보여주는 직관적인 전이를 제공한다. 이는, 사용자 및 주변 환경 내의 다른 사람들이 전자 디바이스 아래에 무엇이 있는지 상상해야 하는 인지적 부담을 감소시킴으로써 웨어러블 디바이스들과 상호작용하는 경험을 개선한다. 사용자에게 개선된 시각적 피드백을 제공하는 것은, (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 전자 디바이스는, 사용자의 신체의 미리 정의된 부분으로부터 떨어져 미리 정의된 거리에서, 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현의 디스플레이를 개시한다(826). 예를 들어, 전자 디바이스는, 전자 디바이스가 사용자의 신체의 미리 정의된 부분에 가까워질(예를 들어, 3인치 이내, 또는 6인치 이내) 때까지, 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현을 디스플레이하지 않는다. 일부 실시예들에서, 전자 디바이스는 하나 이상의 센서들(예를 들어, 도 3b 및 도 3c의 카메라(들)(311) 및/또는 포즈 센서(들)(312))을 사용하여 사용자의 신체의 미리 정의된 부분으로부터 떨어진 전자 디바이스의 거리를 결정한다.
일부 실시예들에서, 사용자가 HMD를 (예를 들어, 사용자의 머리 상의 미리 정의된 위치로 - 미리 정의된 위치는 물리적 특징부의 표현이 각자의 외관과 함께 디스플레이되는 위치로서 지정되고, 선택적으로 HMD가 AR 또는 VR 환경을 보기 위한 AR 또는 VR 보기 디바이스로서 기능하는 위치임 -) 착용함에 따라, 사용자의 눈들의 그래픽 표현은 HMD가 (예를 들어, 사용자의 눈들 위의) 사용자의 머리 상의 미리 정의된 위치로부터 미리 정의된 거리 내에 있게 된 후에만 HMD의 디스플레이 생성 컴포넌트 상에 나타난다. 예를 들어, 디스플레이 생성 컴포넌트는 HMD가 사용자에 의해 집어들어질 때 사용자의 눈들의 그래픽 표현을 디스플레이하지 않는다. 사용자가 HMD를 사용자의 눈들을 향해 계속 이동시킴에 따라, HMD가 (예를 들어, 미리 정의된 위치에서) 사용자의 눈들에 충분히 가깝다는(예를 들어, 미리 정의된 거리 내) 결정에 따라, 디스플레이 생성 컴포넌트는 사용자의 눈들의 그래픽 표현(또는 위에서 설명된, 모호해진 버전과 같은, 사용자의 눈들의 그래픽 표현의 수정된 버전)을 디스플레이하기 시작한다.
전자 디바이스가 사용자의 신체에 충분히 가까워지면, 전자 디바이스에 의해 숨겨진 사용자의 신체의 부분의 그래픽 표현의 디스플레이를 개시하는 것은, 사용자 및 디스플레이를 보는 주변 환경 내의 다른 사람들에게, 전자 디바이스가 사용자의 신체에 가깝다는 것, 및 디스플레이가 전자 디바이스에 의해 가려진 사용자의 신체의 일부분을 디스플레이하기 위해 디스플레이를 계속 업데이트할 것이라는 것을 보여주는 직관적인 전이를 제공한다. 이는, 사용자 및 주변 환경 내의 다른 사람들이 전자 디바이스 아래에 무엇이 있는지 상상해야 하는 인지적 부담을 감소시킴으로써 웨어러블 디바이스들과 상호작용하는 경험을 개선한다. 사용자에게 개선된 시각적 피드백을 제공하는 것은, (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 전자 디바이스는 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 제2 변화를 검출하며, 여기서 전자 디바이스의 위치의 제2 변화는 사용자의 신체의 미리 정의된 부분을 향한다(828). 일부 실시예들에서, 전자 디바이스는, 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 제2 변화를 검출하는 것에 응답하여, 점진적으로, 시간이 지남에 따라 또는 사용자의 신체의 미리 정의된 부분을 향하는 위치의 변화의 진행에 따라, 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 제2 변화에 따라 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현을 수정한다. 일부 실시예들에서, 그래픽 표현은 초기에, 전자 디바이스가 사용자의 신체의 부분으로부터 미리 정의된 거리 내에 있다는 결정에 따라 초기 상태로 디스플레이된다. 일부 실시예들에서, 미리 정의된 거리에 도달하기 전에, 그래픽 표현은 디스플레이되지 않는다. 예를 들어, 디스플레이는, 그래픽 표현을 디스플레이하기 전에, 다른 사용자 인터페이스를 디스플레이하거나, 비어 있거나/어두워지거나, 또는 꺼져 있다. 사용자가 전자 디바이스를 착용함에 따라, 전자 디바이스는, 사용자가 전자 디바이스를 착용함에 따라 그래픽 표현을 블러링 인(blurring in)하거나, 페이드 인(fade in)하거나, 비네팅을 감소시키거나, 또는 추상 수준을 감소시킴으로써, 최종 상태의 그래픽 표현(예를 들어, 사용자의 신체의 미리 정의된 부분의 그래픽 표현)을 디스플레이하는 것으로 점진적으로 전이한다.
일부 실시예들에서, 사용자가 HMD를 (예를 들어, 사용자의 머리 상의 미리 정의된 위치로 - 미리 정의된 위치는 물리적 특징부의 표현이 각자의 외관과 함께 디스플레이되는 위치로서 지정되고, 선택적으로 HMD가 AR 또는 VR 환경을 보기 위한 AR 또는 VR 보기 디바이스로서 기능하는 위치임 -) 착용함에 따라, 사용자의 눈들의 그래픽 표현은 디스플레이 생성 컴포넌트 상에 점진적으로 나타난다. 예를 들어, HMD가 이동한 거리에 따라 더 명확해지기 위해(예를 들어, 더 초점이 맞도록), 그래픽 표현을 페이드 인하는 것과 같은 하나 이상의 시각적 효과들이 그래픽 표현에 적용된다. 예를 들어, HMD가 미리 정의된 위치로 더 가까이 이동할수록, 그래픽 표현은 더 초점이 맞춰진다. 이러한 방식으로, 사용자의 눈들의 그래픽 표현은 HMD가 미리 정의된 위치로 배치될 때까지 수정된(예를 들어, 블러링되거나, 어두워지거나, 또는 다른 방식으로 모호해짐) 것처럼 보이며, HMD가 미리 정의된 위치로 배치되는 지점에서, 사용자의 눈들의 그래픽 표현은 수정되지 않은 것처럼(예를 들어, 사용자의 눈들의 수정되지 않은 그래픽 표현이 미리 정의된 밝기 및 미리 정의된 양의 세부(및 초점)로 디스플레이되는, 그의 중립 위치에서) 보인다.
전자 디바이스가 사용자의 신체에 대한 위치를 변경함에 따라 표현에서의 더 많은 세부사항을 보여주기 위해 사용자의 신체의 부분의 표현의 디스플레이를 점진적으로 업데이트하는 것은 전자 디바이스가 사용자의 신체에 더 가깝게 이동하고 있음을 나타내는 직관적인 전이 효과를 제공하며, 이는, 사용자 및 디스플레이를 보는 주변 환경 내의 다른 사람들이, 디바이스가 조정되고 있을 때에도 전자 디바이스가 사용자의 신체에 대해 어디에 위치되는지를 알 수 있도록 한다. 이는, 사용자 및 주변 환경 내의 다른 사람들이 전자 디바이스 아래에 무엇이 있는지 상상해야 하는 인지적 부담을 감소시킴으로써 웨어러블 디바이스들과 상호작용하는 경험을 개선한다. 사용자에게 개선된 시각적 피드백을 제공하는 것은, (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 제2 변화에 따라 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현을 수정하는 것은, 전자 디바이스가 사용자의 신체의 미리 정의된 부분을 향해 이동됨에 따라 더 많은 수의 해부학적 특징부들의 그래픽 표현들을 포함하도록 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현을 (예를 들어, 점진적으로) 수정하는 것을 포함한다(830). 예를 들어, 그래픽 표현은 디바이스가 사용자의 신체의 미리 정의된 부분에 더 가깝게 이동됨에 따라 덜 추상적이게(예를 들어, 더 상세하게) 된다.
예를 들어, 사용자가 HMD를 사용자의 눈들을 향해 이동시킴(예를 들어, HMD를 내향으로, 사용자의 얼굴에 더 가깝게 이동시킴)에 따라, 사용자의 눈들의 그래픽 표현은 점진적으로(예를 들어, HMD가 사용자의 눈들에 더 가까워짐에 따라) 더 많은 세부사항을 포함한다. 예를 들어, 그래픽 표현은, 사용자의 눈들의 그래픽 표현에 추가하여, 사용자의 눈썹들의 그래픽 표현(및/또는 사용자의 눈들에 관련된 다른 특징부들의, 또는 사용자의 눈들을 둘러싸는 사용자의 얼굴의, 그래픽 표현들)과 같은 추가 특징부들을 디스플레이한다. 일부 실시예들에서, 보다 상세한 그래픽 표현을 디스플레이하는 것은 (블러링되거나 페이드되지 않음은) 초점이 맞는 그래픽 표현을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 그래픽 표현은 사용자의 눈들에 대한 HMD의 이동량(예를 들어, 이동된 거리)에 비례하여 더 상세해지도록 수정된다. 예를 들어, HMD가 사용자의 눈들에 더 가까워짐에 따라, 그래픽 표현은 점진적으로 덜 모호해진다.
디바이스가 사용자의 신체에 더 가깝게 이동함에 따라 디스플레이 상에 더 많은 특징부들을 보여주는 사용자의 신체의 표현의 더 상세한 뷰를 점진적으로 디스플레이하는 것은, 사용자 및 디스플레이를 보는 주변 환경 내의 다른 사람들이, 사용자의 신체가 가려지고 사용자에게 보이지 않을 때에도, 전자 디바이스가 사용자의 신체에 더 가깝게 이동하고 있음을 알도록 하는 직관적인 방식을 제공한다. 이는, 사용자 및 주변 환경 내의 다른 사람들이 전자 디바이스 아래에 무엇이 있는지 상상해야 하는 인지적 부담을 감소시킴으로써 웨어러블 디바이스들과 상호작용하는 경험을 개선한다. 사용자에게 개선된 시각적 피드백을 제공하는 것은, (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 제2 변화에 따라 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현을 수정하는 것은, 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현의 적어도 일부분을 페이드 인하는 것을 포함한다(832).
위의 예에 이어서, 일부 실시예들에서, 사용자가 HMD를 다른 방향으로, 예컨대 하향으로(예를 들어, HMD가 사용자의 머리/이마의 상부로부터 이동되어, 사용자의 눈들 위로 아래로 당겨지는 것처럼) 또는 사용자의 눈들을 향하여(예를 들어, 사용자의 얼굴에 더 가까워지도록 내향으로) 이동시킴에 따라, 그래픽 표현은 그래픽 표현의 적어도 일부분 상에 페이드 인 시각적 효과를 적용하도록 수정된다. 예를 들어, 사용자가 HMD 하향 및/또는 내향으로 이동시킴으로써 HMD의 위치가 변화함에 따라, 사용자의 눈들(예를 들어, 및/또는 눈썹들)의 그래픽 표현은 페이드 인된다(예를 들어, 페이드된 상태로부터 페이드되지 않은 상태로 바뀜).
사용자의 신체의 부분의 표현의 뷰를 페이드 인하기 위한 시각적 효과를 제공하는 것은, 사용자 및 디스플레이를 보는 주변 환경 내의 다른 사람들이, 전자 디바이스가 사용자의 신체에 대해 조정되고 있음을 알도록 하는 직관적인 방식을 제공한다. 이는, 사용자 및 주변 환경 내의 다른 사람들이 전자 디바이스가 조정되고 있음을 알아야 하는 인지적 부담을 감소시킴으로써 웨어러블 디바이스들과 상호작용하는 경험을 개선한다. 사용자에게 개선된 시각적 피드백을 제공하는 것은, (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 제2 변화에 따라 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현을 수정하는 것은, 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현의 적어도 일부분의 블러를 감소시키는 것을 포함한다(834).
위의 예에 이어서, 일부 실시예들에서, 사용자가 HMD를 다른 방향으로(사용자의 눈들을 향하여), 예컨대 우측으로(예를 들어, HMD가 사용자의 눈들의 좌측에 위치되었었고, 사용자의 눈들 위에 착용되기 위해 우향으로 이동되는 것처럼), 그래픽 표현은 그래픽 표현의 적어도 일부분 상의 블러링 시각적 효과를 감소시키키 위해 수정된다. 예를 들어, 사용자가 HMD를 우측으로(그리고 사용자의 눈들을 향하여) 이동시킴으로써 HMD의 위치가 변화함에 따라, 사용자의 눈들(예를 들어, 및/또는 눈썹들)의 그래픽 표현은 덜 블러링된다(예를 들어, 더 초점이 맞음).
사용자의 신체의 부분의 표현 위에 디스플레이되는 블러 효과를 감소시키는 것은, 사용자 및 디스플레이를 보는 주변 환경 내의 다른 사람들이, 전자 디바이스가 사용자의 신체에 대해 조정되고 있음을 알도록 하는 직관적인 방식을 제공한다. 이는, 사용자 및 주변 환경 내의 다른 사람들이 전자 디바이스가 조정되고 있음을 알아야 하는 인지적 부담을 감소시킴으로써 웨어러블 디바이스들과 상호작용하는 경험을 개선한다. 사용자에게 개선된 시각적 피드백을 제공하는 것은, (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 제2 변화에 따라 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현을 수정하는 것은, 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현의 비네팅 효과를 감소시키는 것을 포함한다(836).
위의 예에 이어서, 일부 실시예들에서, 사용자가 HMD를 다른 방향으로, 예컨대 좌측으로(예를 들어, HMD가 사용자의 눈들의 우측에 위치되었었고, 사용자의 눈들 위에 착용되기 위해 좌향으로 이동되는 것처럼), 그래픽 표현은 그래픽 표현의 적어도 일부분 상의 비네트 효과를 감소시키기 위해 수정된다. 예를 들어, 사용자가 HMD를 우측으로(그리고 사용자의 눈들을 향하여) 이동시킴으로써 HMD의 위치가 변화함에 따라, 사용자의 눈들(예를 들어, 및/또는 눈썹들)의 그래픽 표현은 감소된 비네트 효과와 함께 디스플레이된다(예를 들어, 그래픽 표현의 디스플레이의 외부 부분들에 적용된 비네트/블러가 제거되어, 전체 그래픽 표현이 초점에 맞게 디스플레이되도록 한다).
사용자의 신체의 부분의 표현 위에 디스플레이되는 비네트 효과를 감소시키는 것은, 사용자 및 디스플레이를 보는 주변 환경 내의 다른 사람들이, 전자 디바이스가 사용자의 신체에 대해 조정되고 있음을 알도록 하는 직관적인 방식을 제공한다. 이는, 사용자 및 주변 환경 내의 다른 사람들이 전자 디바이스가 조정되고 있음을 알아야 하는 인지적 부담을 감소시킴으로써 웨어러블 디바이스들과 상호작용하는 경험을 개선한다. 사용자에게 개선된 시각적 피드백을 제공하는 것은, (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
위에 제공된 예들에서, HMD의 이동들은 사용자의 눈들에 대한 이동의 방향(위, 아래, 좌측, 우측)에 의해 정의된다. 예를 들어, 단계들(816 내지 822)과 연관된 예들에서, 특정 효과와 연관된 이동들의 방향은, 그 특정 효과에 대한 단계들(830 내지 836)과 연관된 예들에서와 반대 방향으로의 이동으로부터 생성된다. 이는, HMD가 좌측으로 사용자의 눈들로부터 멀어지게 이동될 때, 더 모호해진 그래픽 표현이 디스플레이되는 반면에, 우측으로의 사용자의 눈들을 향한(그리고 다시 HMD의 중립 위치로의) HMD의 이동은 덜 모호해진 그래픽 표현을 생성할 것이기 때문이다. 따라서, 모호해진 그래픽 표현은 HMD가 사용자의 눈들로부터 멀어지게 이동함에 따라(단계들(816 내지 822)에서 설명된 바와 같이, 그것이 위, 아래, 좌측 또는 우측 방향이든지 간에) 더 모호해지고, 모호해진 그래픽 표현은 HMD가 사용자의 눈들을 향해 이동함에 따라 덜 모호해진다(예를 들어, 더 분명하고 더 초점이 맞음)(예를 들어, 단계들(830 내지 836)에 설명된 바와 같이). HMD가 사용자의 눈들 위에 미리 정의된 위치에 착용될 때 사용자의 눈들의 그래픽 표현은 수정되지 않은(예를 들어, 분명하고 초점이 맞음) 것으로 간주된다. 사용자의 눈들의 그래픽 표현은 HMD가 그의 중립 위치로부터 멀어지게 이동될 때 임의의 시각적 효과 또는 시각적 효과의 조합을 사용하여 모호해진다.
일부 실시예들에서, 사용자의 신체의 미리 정의된 부분은 사용자의 눈들(예를 들어, 2개의 눈들)을 포함한다(838). 위의 예들에서 설명된 바와 같이, 일부 실시예들에서, 전자 디바이스는 사용자의 눈들 위에 착용되도록 구성된 헤드셋 또는 HMD이고, 전자 디바이스는 사용자의 신체의 미리 정의된 부분에 가장 가까운 디바이스의 면의 반대측의 전자 디바이스의 면 또는 표면에 위치되는(예를 들어, 신체로부터 멀어지게 향함) 디스플레이 생성 컴포넌트 상의 디스플레이를 위해 사용자의 눈들의 그래픽 표현을 생성한다.
사용자의 눈들이 전자 디바이스에 의해 가려질 때 사용자의 눈들의 표현을 디스플레이하는 것은, 사용자의 눈들을 볼 수 있는 능력 없이 디스플레이를 보고 있는 다른 사람들 사이의 보다 직관적인 상호작용을 제공한다. 사용자의 눈들의 그래픽 표현을 다른 사람들에게 디스플레이함으로써, 다른 사람들과 사용자 사이의 상호작용들은 다른 사람들이 사용자와 더 관여되어 있다고 느낄 수 있게 함으로써 개선된다. 다른 사람들이 사용자의 눈들의 그래픽 표현을 볼 수 있도록 하는 것은, 다른 사람들이 디바이스를 착용한 사용자와 상호작용하는 것을 더 편안하게 느끼게 한다. 사용자 및 다른 사람들에게 개선된 시각적 피드백을 제공하는 것은, (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 검출된 변화는, 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 제1 변화이다(840). 일부 실시예들에서, 전자 디바이스는 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 제2 변화를 검출하며, 여기서 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 제2 변화는 제1 변화에 반대이다. 일부 실시예들에서, 전자 디바이스는, 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 제2 변화에 응답하여, 일정 기간에 걸쳐 또는 사용자의 신체의 미리 정의된 부분으로부터 멀어지는 위치의 제2 변화의 진행에 따라, 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현의 수정을 반전시킨다(예를 들어, 점진적으로 반전시킨다). 예를 들어, 위치의 제1 변화는 사용자의 신체로부터 전자 디바이스를 벗는 것(예를 들어, 전자 디바이스를 사용자의 신체로부터 멀어지게 이동시키는 것)을 포함하고, 위치의 제2 변화는 전자 디바이스를 사용자의 신체에 착용하는 것(예를 들어, 전자 디바이스를 사용자의 신체를 향해 이동시키는 것)을 포함한다. 일부 실시예들에서, 사용자의 신체의 미리 정의된 부분의 그래픽 표현에 적용되는 시각적 효과는 위치의 두 (반대되는) 변화들 사이에서 반전된다. 예를 들어, 디바이스가 사용자의 신체로부터 벗겨짐에 따라, 수정은, 사용자의 신체의 그래픽 표현을 (그의 더 적은 세부사항을 제공하기 위해) 점진적으로 추상화하는 것을 포함한다. 이어서 디바이스가 사용자의 신체에 착용됨에 따라, 수정은 사용자의 신체의 그래픽 표현에 더 많은 세부사항을 점진적으로 추가하는 것을 포함한다.
일부 실시예들에서, 전자 디바이스의 위치를 조정하기 위한 제스처(또는 일련의 제스처들)는 전자 디바이스를 사용자의 신체를 향해 이동시키는 것을 포함하는 하나 이상의 컴포넌트들 및 전자 디바이스를 사용자의 신체로부터 멀어지게 이동시키는 것을 포함하는 하나 이상의 컴포넌트들을 포함하는 다수의 컴포넌트들을 포함한다. 제스처의 다수의 컴포넌트들이 이동들의 유형 사이에서 교대됨에 따라, 그래픽 표현에 대한 수정들은 매끄럽게(예를 들어, 유동적으로) 전이된다. 예를 들어, 전자 디바이스는 전자 디바이스의 위치의 이동에 따라, (전자 디바이스가 신체의 미리 정의된 부분으로부터 멀어지게 이동됨에 따라) 신체 부위의 외부 뷰의 그래픽 표현의 수정(예를 들어, 그의 추상 수준)을 증가시키는 것과, (디바이스가 사용자의 신체의 미리 정의된 부분을 향해 이동됨에 따라) 신체 부위의 외부 뷰의 그래픽 표현의 수정을 감소시키는 것 사이에서 매끄럽게 전이한다.
전자 디바이스의 위치를 조정하기 위한 제스처의 다수의 컴포넌트들은 들어 다음 중 둘 이상을 포함할 수 있다: 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 수직 정렬에 대한 조정들, 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 수평 정렬에 대한 조정들, 전자 디바이스와 사용자의 신체의 미리 정의된 부분 사이의 거리에 대한 조정들, 및 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 배향(예를 들어, 수직축 및/또는 수평축에 대한 틸트)에 대한 조정들. 또한, 일부 실시예들에서, 다수의 컴포넌트들의 각각의 별개의 컴포넌트에 대해, 제스처의 그 컴포넌트가 시간이 지남에 따라 변화함에 따라 그래픽 표현에 대한 대응하는 수정은 매끄럽게 전이된다. 따라서, 제스처의 상이한 동시 컴포넌트들은 그래픽 표현의 상이한 유형들의 수정들, 예컨대 - 제한 없이 - 페이딩, 블러링, 추상화, 또는 비네팅에서의 동시 전이들을 야기할 수 있다.
예를 들어, 사용자가 HMD를 사용자의 눈들에 대해 제1 방향으로 이동시킨 후, 사용자는 후속적으로 HMD를 반대 방향으로 이동시킨다. 예를 들어, 사용자는 HMD를 상향으로(예를 들어, 사용자의 이마 위로) 이동시킴으로써 HMD를 재위치설정시키며, 이는 사용자의 눈들의 그래픽 표현이 모호해지게 하고(예를 들어, 블러링되거나, 페이딩되거나, 비네트되는 등), 사용자가 HMD를 상향으로 재위치설정시킨 후, 사용자는 HMD를 하향으로(예를 들어, 사용자의 눈들 위의 위치로 다시) 이동시키며, 이는 그래픽 표현에 대한 수정을 실행취소(undo)함으로써 사용자의 눈들의 그래픽 표현이 반대 방식으로 수정되게 한다(예를 들어, 덜 모호해짐). 이러한 방식으로, 그래픽 표현은 동적으로 수정되어, HMD가 사용자의 눈들로부터 멀어지게 재위치설정됨에 따라, 그래픽 표현이 하나 이상의 시각적 효과들을 사용하여 더 모호해지고, HMD가 사용자의 눈들 위의 미리 정의된 위치로 재위치설정됨에 따라, 그래픽 표현이 그의 수정되지 않은 상태로(예를 들어, 수정되지 않은 상태에서, 그래픽 표현은 사용자의 눈들의 모호해지지 않은 표현임) 되돌아가도록 한다.
전자 디바이스의 이동 방향(또는 유형)에 기초하여 수정들이 증가되거나 감소되는 것으로 보이도록 사용자의 신체의 표현에 대한 상이한 수정들을 생성하는 것은, 디스플레이되는 수정에 기초하여 디바이스가 어떻게 이동하고 있는지 사용자가 인식하도록 하는 직관적인 방식을 생성한다. 사용자에게 개선된 시각적 피드백을 제공하는 것은, (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 전자 디바이스는, 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 변화가 제1 방향을 따른다는 결정에 따라, 제1 방식으로 그래픽 표현을 수정한다(842). 예를 들어, 전자 디바이스의 위치의 변화는 디바이스를 사용자의 신체의 미리 정의된 부분으로부터 멀어지게 이동시키는 것(예를 들어, 사용자의 눈들로부터 멀어지게 당기도록 디바이스를 시프트시키는 것)을 포함하고, 수정은 블러링, 비네트를 적용하는 것, 및/또는 디스플레이 상에서 사용자의 신체의 미리 정의된 부분(예를 들어, 사용자의 눈들)의 위치(z-높이)를 변경하는 것과 같은, 그래픽에 적용되는 시각적 효과를 포함한다.
일부 실시예들에서, 전자 디바이스는, 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 변화가 제2 방향을 따른다는 결정에 따라 - 여기서 제2 방향은 제1 방향과 구별됨(예를 들에, 그에 평행하지 않음) -, 제1 방식과 상이한 제2 방식으로 그래픽 표현을 수정한다. 일부 실시예들에서, 제2 방향은 (제1 축을 따른) 제1 방향과 구별되는 제3 축을 따라 정의된다. 이러한 방식으로, 그래픽 표현에 적용되는 시각적 효과는 전자 디바이스가 어떻게 이동되는지에 의존한다. 예를 들어, 전자 디바이스를 틸팅하는 것은 제1 시각적 효과를 생성하고, 전자 디바이스를 사용자의 신체를 향해(또는 그로부터 멀어지게) 이동시키는 것은 (제1 효과와 구별되는) 제2 시각적 효과를 생성하고, 전자 디바이스를 위 또는 아래로(예를 들어, y-축을 따라) 시프팅하는 것은 (제1 및 제2 시각적 효과들과 구별되는) 제3 시각적 효과를 생성하고, 사용자의 신체의 미리 정의된 부분으로부터 전자 디바이스를 제거하는 것은 제4 시각적 효과를 생성한다.
예를 들어, 사용자가 HMD를 틸팅함(예를 들어, HMD의 우측을 아래로 이동시키면서 HMD의 좌측을 위로 이동시킴)으로써 HMD를 이동시킬 때, 그래픽 표현은 사용자의 눈들의 그래픽 표현을 페이드하는 것과 같은 제1 시각적 효과를 사용하여 수정된다. 사용자가 HMD를 사용자의 눈들로부터 멀어지게(예를 들어, 전방으로) 당길 때, 그래픽 표현은 사용자의 눈들의 그래픽 표현을 블러링하는 것과 같은, 제1 시각적 효과와 구별되는, 제2 시각적 효과를 사용하여 수정된다. 사용자가 HMD를 위 또는 아래로 이동시킬 때(예를 들어, HMD를 사용자의 이마 또는 코 위에 배치하기 위해), 그래픽 표현은, 그래픽 표현에 디스플레이된 특징부들의 수를 감소시키는 것(예를 들어, 사용자의 눈들의 그래픽 표현을 보여주지 않으면서 사용자의 눈썹들의 그래픽 표현을 보여주는 것)과 같은, 제1 시각적 효과 및 제2 시각적 효과와 구별되는, 제3 시각적 효과를 사용하여 수정된다. 사용자가 사용자의 머리로부터 HMD를 제거할 때, 그래픽 표현은, 그래픽 표현이 더 이상 디스플레이되지 않을 때까지 (예를 들어, 점진적으로) 그래픽 표현을 어둡게 하는 것과 같은, 제4 시각적 효과를 사용하여 수정된다. 시각적 효과들이 위치의 특정 변화와 연관되는 연관성은 단지 예시를 위한 것이다. (예를 들어, 제1 방향으로의) 위치의 제1 변화는 본 명세서에 설명된 하나 이상의 시각적 효과들 중 임의의 것과 연관될 수 있다는 것이 이해될 것이다.
전자 디바이스의 위치가 어떻게 변화하고 있는지에 기초하여 사용자의 신체의 표현에 상이한 시각적 효과들을 적용하여, 각각의 시각적 효과가 전자 디바이스의 위치에 대한 상이한 조정을 반영하도록 하는 것은, 디스플레이되는 시각적 효과에 기초하여 디바이스가 어떻게 이동하고 있는지를 사용자가 인식하도록 하는 직관적인 방식을 생성한다. 사용자에게 개선된 시각적 피드백을 제공하는 것은, (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 전자 디바이스는, 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 변화가 제1 방향을 따른 컴포넌트 및 제2 방향을 따른 컴포넌트를 갖는다는 결정에 따라, 제1 방향을 따른 컴포넌트에 기초하여 제1 방식으로 그래픽 표현을 수정하고 제2 방향을 따른 컴포넌트에 기초하여 제2 방식으로 그래픽 표현을 수정한다(844). 일부 실시예들에서, 제1 방식으로 수정하는 것 및 제2 방식으로 수정하는 것은 전술한 바와 같이 점진적으로 발생하고, 동시에 발생한다(예를 들어, 두 수정들이 동시에 적용됨). 예를 들어, 사용자가 사용자의 머리로부터 전자 디바이스(예를 들어, 헤드셋)를 제거함에 따라, 적어도 2개의 방향들 - 사용자의 신체로부터 멀어지는 방향 및 사용자의 신체 상에서 아래로 이동하는 방향 - 에서 위치의 변화가 있다. 이 예에서, 사용자가 전자 디바이스를 제거함에 따라 시각적 효과들 둘 모두가 디스플레이되는데, 예를 들어, 헤드셋이 사용자의 머리로부터 제거됨에 따라 사용자의 눈들을 시프팅하는 것(사용자의 신체 아래로의 위치의 변화를 반영하기 위함) 및 사용자의 눈들을 블러링하는 것(사용자의 신체로부터 멀어지는 위치의 변화를 반영하기 위함) 둘 모두이다.
일부 실시예들에서, 사용자는 동시에(예를 들어, 동일한 모션 내에서) 복수의 방향들로 HMD를 이동시킨다. 복수의 방향들로의 사용자의 이동에 응답하여, 이동의 방향들 각각과 연관되는 시각적 효과가 사용자의 눈들의 그래픽 표현에 동시에 적용된다. 예를 들어, 사용자가 HMD를 사용자의 눈들로부터 멀어지게 전방으로 당기고, HMD를 사용자의 눈들로부터 멀어지게 상향 방향으로 이동시키는 경우, 사용자의 눈들의 그래픽 표현은 블러링되고(예를 들어, HMD를 멀어지게 당기는 데 있어서의 이동량에 비례하여) 그래픽 표현에 디스플레이된 특징부들의 수는 감소된다(예를 들어, 상향 방향으로의 HMD의 이동량에 비례하여). 일부 실시예들에서, HMD의 (예를 들어, 다수의 축들을 따른) 위치의 변화를 야기하는 이동들의 다른 조합들은 사용자의 눈들의 그래픽 표현에 동시에 적용되는 시각적 효과들의 대응하는 조합을 생성한다.
전자 디바이스의 위치가 어떻게 변화하고 있는지에 기초하여 사용자의 신체의 표현에 대한 상이한 시각적 효과들을 조합하여, 시각적 효과의 조합이 전자 디바이스의 위치에 대한 조정들의 상이한 유형들을 동시에 반영하도록 하는 것은, 디스플레이되는 시각적 효과들의 조합에 기초하여 디바이스가 어떻게 이동하고 있는지를 사용자가 인식하도록 하는 직관적인 방식을 생성한다. 사용자에게 개선된 시각적 피드백을 제공하는 것은, (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 전자 디바이스는, 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 변화가 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 회전이라는 결정에 따라, 제3 방식으로 그래픽 표현을 수정한다(846). 일부 실시예들에서, 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 회전을 검출하는 것은 사용자의 신체에 대한 전자 디바이스의 위치의 조정을 검출하는 것을 포함한다. 예를 들어, 도 7e에서, 디바이스(700)가 사용자의 팔 주위에서 밴드를 비틀기 위해 회전됨에 따라, 디스플레이(712)는, (예를 들어, 도 7c 및 도 7d에 도시된 바와 같이) 디바이스(700)가 사용자의 손목을 향해 또는 그로부터 멀어지게 이동될 때 디스플레이된 수정과 구별되고, (예를 들어, 도 7g 및 도 7h에 도시된 바와 같이) 디바이스(700)가 팔로부터 멀어지게 이동될 때 디스플레이된 수정과 구별되는, 수정(제3 방식)을 사용하여 애니메이션의 그래픽 표현을 수정한다. 일부 실시예들에서, 위치의 변화가 상이한 축을 따를 때 상이한 수정(예를 들어, 시각적 효과)이 디스플레이된다.
다음 예에서, 축들은 다음과 같이 정의된다(사용자의 신체의 미리 정의된 부분으로서 사용자의 눈들에 대해): x-축은 전방 또는 후방으로의(예를 들어, 눈들로부터 멀어지는 또는 그에 더 가까운) 이동을 지칭하고, y-축은 위 또는 아래로의(예를 들어, 눈들 위 또는 아래로의) 이동을 지칭하고, z-축은 좌측 및 우측으로의 이동을 지칭함. 예를 들어, 디바이스의 틸트(예를 들어, y-축에 대하여 위 또는 아래로 이동하는 것)는 전자 디바이스의 비틀림(회전)(예를 들어, z-축을 따른 이동)과 상이한 시각적 효과, 및 밀기 또는 당기기 이동(예를 들어, x-축을 따라 전방 또는 후방으로 이동하는 것)과 상이한 시각적 효과를 야기한다. 일부 실시예들에서, 전자 디바이스의 틸트는, 디스플레이를 끄거나 디밍하고 눈들 대신 눈썹들을 보여주는 시각적 효과에 대응한다(예를 들어, 전자 디바이스로 하여금 이를 생성하게 한다). 일부 실시예들에서, 전자 디바이스의 비틀기는, 표현이 사용자의 신체의 부분의 위치와 매칭되도록 디스플레이 상의 사용자의 신체의 부분의 표현을 시프팅하는 시각적 효과에 대응한다(예를 들어, 전자 디바이스로 하여금 이를 생성하게 한다)(예를 들어, 사용자의 눈들의 그래픽 표현들의 위치가 사용자의 실제 눈들과 매칭되도록 시프팅됨). 예를 들어, 사용자가 HMD를 틸팅함으로써 HMD를 이동시킬 때(예를 들어, HMD의 우측을 아래로 이동시키면서 HMD의 좌측을 위로 이동시킴), 사용자의 눈들의 그래픽 표현은 디밍된다(또는 어두워진다). 사용자가 HMD를 비틀 때(예를 들어, HMD를 z-축을 따라, 우측 또는 좌측으로 이동시킴으로써), 그래픽 표현은 디스플레이 상에서 사용자의 눈들의 그래픽 표현의 위치를 변경함으로써 수정된다. 예를 들어, 사용자의 눈들의 그래픽 표현은, 사용자의 눈들의 그래픽 표현의 위치가 디스플레이에 의해 가려지는 사용자의 실제 눈들에 대응하는 위치에서 유지되도록, 디스플레이 상에서 이동된다.
전자 디바이스의 위치의 변화를 야기하는 이동의 유형(또는 방향)에 기초하여 다수의 시각적 효과들 사이를 구별하는 것은, 사용자가 어떤 시각적 효과가 디스플레이되는지에 기초하여 디바이스가 어떻게 이동하고 있는지를 인식하도록 하는 직관적인 방식을 생성한다. 사용자에게 개선된 시각적 피드백을 제공하는 것은, (예컨대, 디바이스를 작동시키고/그와 상호작용할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
일부 실시예들에서, 제1 방식으로 그래픽 표현을 수정하는 것은, 디스플레이 생성 컴포넌트를 통해, 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현의 적어도 일부분을 모호하게 하는 오버레이를 디스플레이하는 것을 포함한다. 예를 들어, 전자 디바이스의 위치가 변화되는 동안(예를 들어, 사용자가 전자 디바이스의 위치를 조정함에 따라), 오버레이를 디스플레이하는 것은, 사용자가 전자 디바이스의 위치를 조정하고 있음을 나타내기 위해, 신체 부위의 외부 뷰의 그래픽 표현을 유동적으로, 예컨대 블러링되거나, 페이드되거나, 디밍되게 보여주는 것을 포함한다. 일부 실시예들에서, 오버레이는 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현의 적어도 일부분 위에 텍스트 또는 이모지를 보여주는 것을 포함한다.
예를 들어, 일부 실시예들에서, 사용자가 HMD의 위치를 변경하는 것에 응답하여(예를 들어, 사용자의 머리 상에서 HMD를 조정함), 사용자가 HMD를 조정하고 있음을 (예를 들어, 디스플레이를 보는 제3자에게) 나타내기 위해 오버레이가 사용자의 눈들의 그래픽 표현 위에 디스플레이된다. 일부 실시예들에서, 사용자의 눈들의 그래픽 표현은 사용자의 눈들이 감긴 것처럼 보이도록 애니메이션화된다.
일부 실시예들에서, 전자 디바이스는 전자 디바이스에서 트리거(예를 들어, 입력)를 검출한다(예를 들어, 사용자의 신체의 미리 정의된 부분에 대한 전자 디바이스의 위치의 변화를 검출하면서 또는 검출하지 않고서). 일부 실시예들에서, 트리거는 전자 디바이스의 디스플레이 생성 컴포넌트 앞에서 검출된 입력(예를 들어, 얼굴 앞에서(전자 디바이스가 사용자의 얼굴 상에 있는 동안 전자 디바이스 앞에서) 검출된 손), 전자 디바이스의 물리적 제어부(예를 들어, 버튼)를 선택하는 입력, 및 전자 디바이스의 에지 상에서 검출된 입력으로 구성되는 그룹으로부터 선택된 입력을 포함한다.
일부 실시예들에서, 전자 디바이스는, 트리거를 검출하는 것에 응답하여, 검출된 트리거에 따라 사용자의 신체의 미리 정의된 부분의 외부 뷰의 그래픽 표현을 수정하며, 이는, 디스플레이 생성 컴포넌트를 통해, 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현의 적어도 일부분을 모호하게 하는 오버레이를 디스플레이하는 것을 포함한다. 예를 들어, 트리거는 현재 세션을 일시정지하기 위한 트리거이고, 트리거에 응답하여 전자 디바이스는 현재 세션이 일시정지되었음을 나타내기 위해 전자 디바이스의 디스플레이 생성 컴포넌트에 디스플레이된 그래픽 표현의 적어도 일부분 위에 오버레이를 디스플레이한다.
예를 들어, 사용자가 사용자의 머리 상에 착용된 HMD 앞에 손을 두는 것에 응답하여, 사용자의 눈들의 그래픽 표현은 디스플레이 상에서 (예를 들어, 사용자의 눈들의 그래픽 표현 위에 배치된 오버레이를 이용해) 모호해진다. 일부 실시예들에서, 사용자의 눈들의 모호해진 그래픽 표현은, 디스플레이 생성 컴포넌트를 보는 제3자에게, 사용자가 현재 제3자와 관여하고 있지 않음(예를 들어, 제3자와의 사용자의 세션이 일시정지됨)을 나타낸다.
일부 실시예들에서, 사용자의 신체의 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현은, 디바이스가 사용자의 미리 정의된 부분 위에 착용될 때 사용자의 신체의 대응하는 부분이 이동함에 따라, 이동한다. 예를 들어, 눈들의 그래픽 표현은, 전자 디바이스의, 또는 전자 디바이스와 통신하는, 카메라 또는 다른 생체측정 센서에 의해 검출된, 사용자의 눈들의 이동 및 뜨기/감기에 기초하여 주위를 둘러보기 위해, 이동한다.
도 8a 내지 도 8d에서의 동작들이 설명된 특정 순서는 단지 일 예일 뿐이며, 설명된 순서가 동작들이 수행될 수 있는 유일한 순서라는 것을 표시하는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 당업자는 본 명세서에 설명된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다.
전술한 설명은, 설명의 목적을 위해, 특정 실시예들을 참조하여 기술되었다. 그러나, 상기의 예시적인 논의들은 본 발명을 개시된 정확한 형태들로 제한하거나 망라하려는 의도는 아니다. 많은 수정들 및 변형들이 상기 교시 내용들의 관점에서 가능하다. 본 발명의 원리들 및 그의 실제적인 응용들을 가장 잘 설명하여, 그에 의해 당업자들이 본 발명 및 다양한 설명된 실시예들을 고려되는 특정 용도에 적합한 바와 같은 다양한 변형들을 갖고서 가장 잘 사용하는 것을 가능하게 하도록, 실시예들이 선택 및 설명되었다.

Claims (33)

  1. 방법으로서,
    사용자의 신체의 미리 정의된 부분 위에 착용(wear)되도록 구성된 전자 디바이스에서 - 상기 전자 디바이스는 하나 이상의 프로세서들, 메모리, 및 상기 사용자의 신체의 상기 미리 정의된 부분의 반대편에서 상기 전자 디바이스 상에 배열된 디스플레이 생성 컴포넌트를 가짐 -:
    상기 전자 디바이스가 상기 사용자의 신체의 상기 미리 정의된 부분 위에 착용되는 동안, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰(exterior view)의 그래픽 표현을 디스플레이하는 단계;
    상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 위치의 변화를 검출하는 단계; 및
    상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 상기 위치의 상기 변화를 검출하는 것에 응답하여, 상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 위치의 상기 검출된 변화에 따라 상기 사용자의 신체의 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의 상기 그래픽 표현을 수정하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 전자 디바이스의 위치의 상기 검출된 변화는 상기 사용자의 신체의 상기 미리 정의된 부분으로부터 멀어지는 상기 전자 디바이스의 이동인, 방법.
  3. 제2항에 있어서, 상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 위치의 상기 검출된 변화에 따라 상기 그래픽 표현을 수정하는 단계는,
    상기 사용자의 신체의 상기 미리 정의된 부분으로부터 떨어져 미리 정의된 거리에서, 상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의 상기 그래픽 표현의 적어도 일부분의 디스플레이를 중단하는 단계를 포함하는, 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 위치의 상기 검출된 변화에 따라 상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의 상기 그래픽 표현을 수정하는 단계는,
    상기 사용자의 신체의 상기 미리 정의된 부분에 대한 (상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의) 상기 그래픽 표현의 적어도 일부분의 위치를 유지하는 단계를 포함하는, 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 위치의 상기 검출된 변화에 따라 상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의 상기 그래픽 표현을 수정하는 단계는,
    상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의 상기 그래픽 표현의, 전체보다 작은, 서브세트를 포함하도록, 상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의 상기 그래픽 표현을 수정하는 단계를 포함하는, 방법.
  6. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 위치의 상기 검출된 변화에 따라 상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의 상기 그래픽 표현을 수정하는 단계는,
    상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의 상기 그래픽 표현의 적어도 일부분을 모호하게 하는(obscure) 단계를 포함하는, 방법.
  7. 제6항에 있어서, 상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의 상기 그래픽 표현을 모호하게 하는 단계는, 상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의 상기 그래픽 표현의 적어도 일부분을 페이드 아웃(fade out)하는 단계를 포함하는, 방법.
  8. 제6항에 있어서, 상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의 상기 그래픽 표현을 모호하게 하는 단계는, 상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의 상기 그래픽 표현의 적어도 일부분을 블러링하는(blurring) 단계를 포함하는, 방법.
  9. 제6항에 있어서, 상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의 상기 그래픽 표현을 모호하게 하는 단계는, 상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의 상기 그래픽 표현을 비네팅하는(vignetting) 단계를 포함하는, 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 사용자가 상기 전자 디바이스를 착용하기 전에, 상기 사용자가 상기 전자 디바이스를 착용하는 중인(putting on) 동안, 상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의 상기 그래픽 표현을 디스플레이하는 단계를 포함하는, 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 사용자의 신체의 상기 미리 정의된 부분으로부터 떨어져 미리 정의된 거리에서, 상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의 상기 그래픽 표현의 디스플레이를 개시하는 단계를 포함하는, 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 위치의 제2 변화를 검출하는 단계 - 상기 전자 디바이스의 상기 위치의 상기 제2 변화는 상기 사용자의 신체의 상기 미리 정의된 부분을 향함 -; 및
    상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 상기 위치의 상기 제2 변화를 검출하는 것에 응답하여, 점진적으로, 시간이 지남에 따라 또는 상기 사용자의 신체의 상기 미리 정의된 부분을 향하는 위치의 상기 변화의 진행에 따라, 상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 상기 위치의 상기 제2 변화에 따라 상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의 상기 그래픽 표현을 수정하는 단계를 포함하는, 방법.
  13. 제12항에 있어서, 상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 상기 위치의 상기 제2 변화에 따라 상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의 상기 그래픽 표현을 수정하는 단계는,
    상기 전자 디바이스가 상기 사용자의 신체의 상기 미리 정의된 부분을 향해 이동됨에 따라 더 많은 수의 해부학적 특징부들의 그래픽 표현들을 포함하도록 상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의 상기 그래픽 표현을 수정하는 단계를 포함하는, 방법.
  14. 제12항에 있어서, 상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 상기 위치의 상기 제2 변화에 따라 상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의 상기 그래픽 표현을 수정하는 단계는, 상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의 상기 그래픽 표현의 적어도 일부분을 페이드 인(fade in)하는 단계를 포함하는, 방법.
  15. 제12항에 있어서, 상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 상기 위치의 상기 제2 변화에 따라 상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의 상기 그래픽 표현을 수정하는 단계는, 상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의 상기 그래픽 표현의 적어도 일부분의 블러를 감소시키는 단계를 포함하는, 방법.
  16. 제12항에 있어서, 상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 상기 위치의 상기 제2 변화에 따라 상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의 상기 그래픽 표현을 수정하는 단계는, 상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의 상기 그래픽 표현의 비네팅 효과를 감소시키는 단계를 포함하는, 방법.
  17. 제1항 내지 제16항 중 어느 한 항에 있어서, 상기 사용자의 신체의 상기 미리 정의된 부분은 2개의 눈들을 포함하는, 방법.
  18. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 위치의 상기 검출된 변화는, 상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 위치의 제1 변화이고;
    상기 방법은,
    상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 상기 위치의 제2 변화를 검출하는 단계 - 상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 상기 위치의 상기 제2 변화는 상기 제1 변화에 반대임 -; 및
    상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 상기 위치의 상기 제2 변화에 응답하여, 일정 기간에 걸쳐 또는 상기 사용자의 신체의 상기 미리 정의된 부분으로부터 멀어지는 위치의 상기 제2 변화의 진행에 따라, 상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰를 반전시키는 단계를 추가로 포함하는, 방법.
  19. 제1항 내지 제18항 중 어느 한 항에 있어서,
    상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 위치의 상기 변화가 제1 방향을 따른다는 결정에 따라, 제1 방식으로 상기 그래픽 표현을 수정하는 단계; 및
    상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 위치의 상기 변화가 제2 방향을 따른다는 결정에 따라 - 상기 제2 방향은 상기 제1 방향과 구별됨 -, 상기 제1 방식과 상이한 제2 방식으로 상기 그래픽 표현을 수정하는 단계를 포함하는, 방법.
  20. 제19항에 있어서,
    상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 위치의 상기 변화가 상기 제1 방향을 따른 컴포넌트 및 상기 제2 방향을 따른 컴포넌트를 갖는다는 결정에 따라:
    상기 제1 방향을 따른 상기 컴포넌트에 기초하여 상기 제1 방식으로 상기 그래픽 표현을 수정하는 단계; 및
    상기 제2 방향을 따른 상기 컴포넌트에 기초하여 상기 제2 방식으로 상기 그래픽 표현을 수정하는 단계를 포함하는, 방법.
  21. 제1항 내지 제20항 중 어느 한 항에 있어서,
    상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 위치의 상기 변화가 상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 회전이라는 결정에 따라, 제3 방식으로 상기 그래픽 표현을 수정하는 단계를 포함하는, 방법.
  22. 전자 디바이스로서,
    사용자의 신체의 미리 정의된 부분의 반대편에서 상기 전자 디바이스 상에 배열된 디스플레이 생성 컴포넌트;
    하나 이상의 입력 디바이스들;
    하나 이상의 프로세서들; 및
    하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 상기 하나 이상의 프로세서들에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램들은,
    상기 전자 디바이스가 상기 사용자의 신체의 상기 미리 정의된 부분 위에 착용되는 동안, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현을 디스플레이하고;
    상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 위치의 변화를 검출하고;
    상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 상기 위치의 상기 변화를 검출하는 것에 응답하여, 상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 위치의 상기 검출된 변화에 따라 상기 사용자의 신체의 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의 상기 그래픽 표현을 수정하기 위한 명령어들을 포함하는, 전자 디바이스.
  23. 제22항에 있어서, 상기 하나 이상의 프로그램들은 제2항 내지 제21항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스.
  24. 하나 이상의 프로그램들을 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 전자 디바이스 - 상기 전자 디바이스는 사용자의 신체의 미리 정의된 부분의 반대편에서 상기 전자 디바이스 상에 배열된 디스플레이 생성 컴포넌트, 및 하나 이상의 입력 디바이스들을 포함하고/하거나 그와 통신함 - 에 의해 실행될 때, 상기 전자 디바이스로 하여금,
    컴퓨터 시스템이 상기 사용자의 신체의 상기 미리 정의된 부분 위에 착용되는 동안, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현을 디스플레이하고;
    상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 위치의 변화를 검출하고;
    상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 상기 위치의 상기 변화를 검출하는 것에 응답하여, 상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 위치의 상기 검출된 변화에 따라 상기 사용자의 신체의 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의 상기 그래픽 표현을 수정하게 하는 명령어들을 포함하는, 컴퓨터 판독가능 저장 매체.
  25. 제24항에 있어서, 상기 하나 이상의 프로그램들은, 제1 전자 디바이스에 의해 실행될 때, 상기 제1 전자 디바이스로 하여금 제2항 내지 제21항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 컴퓨터 판독가능 저장 매체.
  26. 전자 디바이스로서,
    사용자의 신체의 미리 정의된 부분의 반대편에서 상기 전자 디바이스 상에 배열된 디스플레이 생성 컴포넌트;
    하나 이상의 입력 디바이스들; 및
    상기 전자 디바이스가 상기 사용자의 신체의 상기 미리 정의된 부분 위에 착용되는 동안, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현을 디스플레이도록 인에이블되는 수단;
    상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 위치의 변화를 검출하기 위한 수단; 및
    상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 상기 위치의 상기 변화를 검출하는 것에 응답하여, 상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 위치의 상기 검출된 변화에 따라 상기 사용자의 신체의 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의 상기 그래픽 표현을 수정하도록 인에이블되는 수단을 포함하는, 전자 디바이스.
  27. 제26항에 있어서, 제2항 내지 제21항 중 어느 한 항의 방법을 수행하기 위한 수단을 추가로 포함하는, 전자 디바이스.
  28. 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서, 상기 전자 디바이스는 사용자의 신체의 미리 정의된 부분의 반대편에서 상기 전자 디바이스 상에 배열된 디스플레이 생성 컴포넌트, 및 하나 이상의 입력 디바이스들을 포함하고/하거나 그와 통신하며, 상기 정보 프로세싱 장치는,
    상기 전자 디바이스가 상기 사용자의 신체의 상기 미리 정의된 부분 위에 착용되는 동안, 상기 디스플레이 생성 컴포넌트를 통해, 상기 사용자의 신체의 상기 미리 정의된 부분에 대응하는 신체 부위의 외부 뷰의 그래픽 표현을 디스플레이도록 인에이블되는 수단;
    상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 위치의 변화를 검출하기 위한 수단; 및
    상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 상기 위치의 상기 변화를 검출하는 것에 응답하여, 상기 사용자의 신체의 상기 미리 정의된 부분에 대한 상기 전자 디바이스의 위치의 상기 검출된 변화에 따라 상기 사용자의 신체의 미리 정의된 부분에 대응하는 상기 신체 부위의 상기 외부 뷰의 상기 그래픽 표현을 수정하도록 인에이블되는 수단을 포함하는, 정보 프로세싱 장치.
  29. 컴퓨터 시스템으로서,
    디스플레이 생성 컴포넌트;
    하나 이상의 입력 디바이스들;
    하나 이상의 프로세서들; 및
    상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 제1항 내지 제21항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨터 시스템.
  30. 하나 이상의 프로그램들을 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은, 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하고/하거나 그와 통신하는 컴퓨터 시스템에 의해 실행될 때, 상기 컴퓨터 시스템으로 하여금 제1항 내지 제21항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 컴퓨터 판독가능 저장 매체.
  31. 디스플레이 생성 컴포넌트, 및 하나 이상의 입력 디바이스들, 메모리, 및 상기 메모리에 저장된 하나 이상의 프로그램들을 실행하기 위한 하나 이상의 프로세서들을 포함하고/하거나 그와 통신하는 컴퓨터 시스템 상의 그래픽 사용자 인터페이스로서, 제1항 내지 제21항 중 어느 한 항의 방법에 따라 디스플레이되는 사용자 인터페이스들을 포함하는, 그래픽 사용자 인터페이스.
  32. 전자 디바이스로서,
    디스플레이 생성 컴포넌트;
    하나 이상의 입력 디바이스들; 및
    제1항 내지 제21항의 방법들 중 임의의 방법을 수행하기 위한 수단을 포함하는, 전자 디바이스.
  33. 디스플레이 생성 컴포넌트 및 하나 이상의 입력 디바이스들을 포함하고/하거나 그와 통신하는 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치로서,
    제1항 내지 제21항 중 어느 한 항의 방법을 수행하기 위한 수단을 포함하는, 정보 프로세싱 장치.
KR1020237005233A 2020-09-26 2021-09-24 사용자의 신체에 대한 디바이스의 디스플레이를 업데이트하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들 KR20230037054A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063083911P 2020-09-26 2020-09-26
US63/083,911 2020-09-26
US17/483,744 US11579693B2 (en) 2020-09-26 2021-09-23 Systems, methods, and graphical user interfaces for updating display of a device relative to a user's body
US17/483,744 2021-09-23
PCT/US2021/052047 WO2022067097A1 (en) 2020-09-26 2021-09-24 Systems, methods, and graphical user interfaces for updating display of a device relative to a user's body

Publications (1)

Publication Number Publication Date
KR20230037054A true KR20230037054A (ko) 2023-03-15

Family

ID=80821198

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237005233A KR20230037054A (ko) 2020-09-26 2021-09-24 사용자의 신체에 대한 디바이스의 디스플레이를 업데이트하기 위한 시스템들, 방법들, 및 그래픽 사용자 인터페이스들

Country Status (7)

Country Link
US (2) US11579693B2 (ko)
EP (1) EP4182780A1 (ko)
JP (1) JP7459375B2 (ko)
KR (1) KR20230037054A (ko)
CN (1) CN116710181A (ko)
AU (1) AU2021350084A1 (ko)
WO (1) WO2022067097A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11579693B2 (en) 2020-09-26 2023-02-14 Apple Inc. Systems, methods, and graphical user interfaces for updating display of a device relative to a user's body
US11644890B2 (en) * 2021-02-11 2023-05-09 Qualcomm Incorporated Image capturing in extended reality environments
US11972526B1 (en) 2023-03-31 2024-04-30 Apple Inc. Rendering of enrolled user's face for external display

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080150921A1 (en) * 2006-12-20 2008-06-26 Microsoft Corporation Supplementing and controlling the display of a data set
US9798144B2 (en) 2012-09-12 2017-10-24 Sony Corporation Wearable image display device to control display of image
US10554962B2 (en) * 2014-02-07 2020-02-04 Samsung Electronics Co., Ltd. Multi-layer high transparency display for light field generation
US10274992B2 (en) 2014-11-12 2019-04-30 Kyocera Corporation Wearable device with muscle activity detector
US20160239091A1 (en) 2015-02-12 2016-08-18 Qualcomm Incorporated Controlled display of content on wearable displays
US10268438B2 (en) * 2016-06-30 2019-04-23 Sony Interactive Entertainment Inc. Display screen front panel of HMD for viewing by users viewing the HMD player
JP7140602B2 (ja) 2018-08-28 2022-09-21 株式会社Ｎｔｔドコモ ウェアラブル端末及び表示システム
US11200752B1 (en) * 2019-08-23 2021-12-14 Lucasfilm Entertainment Company Ltd. Color correction for immersive content production systems
US11627259B2 (en) * 2019-10-24 2023-04-11 Sony Corporation Device, method and computer program
US11579693B2 (en) 2020-09-26 2023-02-14 Apple Inc. Systems, methods, and graphical user interfaces for updating display of a device relative to a user's body

Also Published As

Publication number Publication date
CN116710181A (zh) 2023-09-05
EP4182780A1 (en) 2023-05-24
JP7459375B2 (ja) 2024-04-01
US20230185375A1 (en) 2023-06-15
WO2022067097A1 (en) 2022-03-31
US11893154B2 (en) 2024-02-06
US11579693B2 (en) 2023-02-14
US20220100271A1 (en) 2022-03-31
JP2023542628A (ja) 2023-10-11
AU2021350084A1 (en) 2023-03-23

Similar Documents

Publication Publication Date Title
CN116719452A (zh) 用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法
US11995285B2 (en) Methods for adjusting and/or controlling immersion associated with user interfaces
US11853527B2 (en) Devices, methods, and graphical user interfaces for providing computer-generated experiences
AU2021290132B2 (en) Presenting avatars in three-dimensional environments
US11893154B2 (en) Systems, methods, and graphical user interfaces for updating display of a device relative to a user's body
US11720171B2 (en) Methods for navigating user interfaces
US20220262080A1 (en) Interfaces for presenting avatars in three-dimensional environments
KR20220137770A (ko) 시선 기반 내비게이션을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
US20230336865A1 (en) Device, methods, and graphical user interfaces for capturing and displaying media
US20230343049A1 (en) Obstructed objects in a three-dimensional environment
US20230092874A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
US20230152935A1 (en) Devices, methods, and graphical user interfaces for presenting virtual objects in virtual environments
US20230171484A1 (en) Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
US20240104819A1 (en) Representations of participants in real-time communication sessions
US20240103712A1 (en) Devices, Methods, and Graphical User Interfaces For Interacting with Three-Dimensional Environments
US20240094862A1 (en) Devices, Methods, and Graphical User Interfaces for Displaying Shadow and Light Effects in Three-Dimensional Environments
US20240103636A1 (en) Methods for manipulating a virtual object
WO2023096940A2 (en) Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
CN117957581A (zh) 用于与三维环境交互的设备、方法和图形用户界面
WO2023049111A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
CN117193538A (zh) 用于在三维环境中呈现化身的界面

Legal Events

Date Code Title Description
A201 Request for examination