KR20240001275A - 증강 현실 디스플레이 디바이스를 위한 터치패드 입력 - Google Patents

증강 현실 디스플레이 디바이스를 위한 터치패드 입력 Download PDF

Info

Publication number
KR20240001275A
KR20240001275A KR1020237043847A KR20237043847A KR20240001275A KR 20240001275 A KR20240001275 A KR 20240001275A KR 1020237043847 A KR1020237043847 A KR 1020237043847A KR 20237043847 A KR20237043847 A KR 20237043847A KR 20240001275 A KR20240001275 A KR 20240001275A
Authority
KR
South Korea
Prior art keywords
touch input
receiving
touchpad
user interface
content
Prior art date
Application number
KR1020237043847A
Other languages
English (en)
Inventor
카렌 스톨젠버그
데이비드 메이센홀더
마티유 에마누엘 비그나우
사나 박
티안이 선
조셉 티모시 포르티어
카베 안바리푸어
다니엘 모리노
카일 굿리치
Original Assignee
스냅 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/479,153 external-priority patent/US11880542B2/en
Application filed by 스냅 인코포레이티드 filed Critical 스냅 인코포레이티드
Publication of KR20240001275A publication Critical patent/KR20240001275A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0339—Touch strips, e.g. orthogonal touch strips to control cursor movement or scrolling; single touch strip to adjust parameter or to implement a row of soft keys
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

하나 이상의 디스플레이 디바이스, 하나 이상의 카메라 및 수직으로 배열된 터치패드를 포함하는 머리 착용 디바이스 시스템에 의해 수신된 콘텐츠 전송 입력을 수신 및 처리하는 방법이 개시된다. 방법은 하나 이상의 디스플레이 디바이스 상에 콘텐츠 아이템을 디스플레이하는 단계, 전송 명령어에 대응하는 터치패드 상에서의 터치 입력을 수신하는 단계, 잠재적 수신자들의 캐러셀을 디스플레이하는 단계, 터치패드 상에서 수평 터치 입력을 수신하는 단계, 수평 터치 입력에 응답하여 하나 이상의 디스플레이 디바이스 상에서 캐러셀을 좌측 또는 우측으로 스크롤링하는 단계, 터치패드 상에서 특정 수신자를 선택하기 위한 탭핑 터치 입력을 수신하는 단계, 추가 터치 입력을 수신하는 단계, 및 추가 터치 입력에 응답하여, 선택된 수신자에게 콘텐츠 아이템을 송신하는 단계를 포함한다.

Description

증강 현실 디스플레이 디바이스를 위한 터치패드 입력
관련 출원 데이터
본 출원은 2021년 9월 20일자로 출원된 미국 특허 출원 제17/479,153호, 및 2021년 5월 19일자로 출원된 미국 가특허 출원 제63/190,662호의 이익을 주장하며, 그 내용들은 명시적으로 제시된 것처럼 본 명세서에 참조로 포함된다.
기술 분야
본 개시내용은 일반적으로 증강 또는 가상 현실을 위한 디스플레이들을 갖는 머리 착용 디바이스들에 관한 것으로, 더 구체적으로는 머리 착용 디바이스 또는 연관된 디바이스에 의해 제공되는 콘텐츠 또는 사용자 인터페이스들을 탐색하기 위한 터치패드를 포함하는 머리 착용 디바이스들에 관한 것이다.
머리 착용 디바이스는, 머리 착용 디바이스의 사용자가 그를 통해 주변 환경을 볼 수 있는 투명 또는 반투명 디스플레이로 구현될 수 있다. 그러한 디바이스들은 사용자가 주변 환경을 관찰하기 위해 투명 또는 반투명 디스플레이를 통해 볼 수 있게 하고 또한 주변 환경의 일부로서 나타나고 및/또는 주변 환경에 오버레이되게 디스플레이되도록 생성되는 객체들(예를 들면, 3D 렌더링들, 이미지들, 비디오, 텍스트 등과 같은 가상 객체들)을 볼 수 있게 한다. 이는 전형적으로 "증강 현실(augmented reality)"로 지칭된다.
머리 착용 디바이스는 추가적으로 사용자의 시야(visual field)를 완전히 차단하고 사용자가 그를 통해 이동하거나 이동될 수 있는 가상 환경을 디스플레이할 수 있다. 이는 전형적으로 "가상 현실"이라고 지칭된다. 본 명세서에서 사용될 때, "증강 현실(augmented reality)" 또는 "AR"이라는 용어는, 문맥이 달리 나타내지 않는 한, 전통적으로 이해되는 바와 같은 증강 현실 및 가상 현실 둘 다를 지칭한다.
머리 착용 디바이스의 사용자는 메시징 또는 소셜 네트워크 애플리케이션에 액세스하여 애플리케이션의 다른 사용자들과 콘텐츠를 관찰하거나 공유할 수 있다. 일부 경우들에서, 사용자는 라이브 또는 저장된 콘텐츠를 시청하고 향상 또는 수정할 수 있다. 즉, 향상을 위한 이미지들, 비디오 또는 다른 매체는 라이브 카메라로부터 캡처될 수 있거나 로컬 또는 원격 데이터 저장소로부터 검색될 수 있다.
본 명세서에서 언급될 때, "증강 현실 경험"이라는 문구는, 본 명세서에서 추가로 설명되는 바와 같이, 이미지 수정, 필터, 미디어 오버레이, 변환 등에 대응하는 다양한 이미지 처리 동작들을 포함하거나 지칭한다. 일부 예들에서, 이러한 이미지 처리 동작들은 현실-세계 환경의 상호작용 경험을 제공하며, 여기서 현실-세계에서의 객체들, 표면들, 배경들, 조명 등은 컴퓨터 생성 지각 정보에 의해 향상된다. 이러한 맥락에서, "증강 현실 효과"는 선택된 증강 현실 경험을 이미지 또는 비디오 피드에 적용하는 데 필요한 데이터, 파라미터들, 및 다른 자산들의 컬렉션을 포함한다. 일부 예들에서, 증강 현실 효과들은 등록 상표 LENSES 하에 Snap, Inc.에 의해 제공된다.
일부 예들에서, 증강 현실 효과는 머리 착용 디바이스의 GUI 내에 제시된 이미지 데이터를 일부 방식으로 수정 또는 변환하도록 구성된 증강 현실(또는 "AR") 콘텐츠를 포함한다. 예를 들어, 사람의 머리에 토끼 귀들을 추가하는 것, 배경 컬러링과 함께 부유 하트들을 추가하는 것, 사람의 특징들의 비율들을 변경하는 것, 머리 착용 디바이스 상에서 관찰되는 장면 내의 랜드마크들에 향상들을 추가하는 것 또는 수많은 다른 그러한 변환들과 같은 AR 효과 데이터를 사용하여 콘텐츠 이미지들에 대한 복잡한 추가들 또는 변환들이 수행될 수 있다. 이는 그 후 AR 효과들을 사용하여 수정될 수 있는 갤러리 내의 비디오 클립들과 같은 저장된 콘텐츠에 대한 수정들뿐만 아니라, AR 효과 수정들과 함께 머리 착용 디바이스에 의해 디스플레이되는, 머리 착용 디바이스와 연관된 카메라를 사용하여 캡처될 때 이미지를 수정하는 실시간 수정들 둘 다를 포함한다. 유사하게, 디바이스의 센서들에 의해 현재 캡처되고 있는 비디오 이미지들이 캡처된 데이터를 어떻게 수정할지를 머리 착용 디바이스의 사용자에게 보여주기 위해 실시간 비디오 캡처가 AR 효과와 함께 사용될 수 있다. 이러한 데이터는 단순히 화면 상에 디스플레이되고 메모리에 저장되지 않을 수 있거나, 디바이스 센서들에 의해 캡처된 콘텐츠는 AR 효과 수정들과 함께 또는 AR 효과 수정들 없이(또는 둘 다로) 메모리에 기록되고 저장될 수 있거나, 또는 디바이스 센서들에 의해 캡처된 콘텐츠는 AR 효과 수정과 함께 네트워크(102)를 통해 서버 또는 다른 디바이스에 송신될 수 있다.
AR 효과들 및 AR 효과들을 사용하여 콘텐츠를 수정하기 위한 연관된 시스템들 및 모듈들은 따라서 객체들(예를 들어, 얼굴들, 손들, 신체들, 고양이들, 개들, 표면들, 객체들)의 검출, 이러한 객체들이 비디오 프레임들에서 시야를 떠나고, 진입하고, 그 주위를 이동할 때 이러한 객체들의 추적, 및 이러한 객체들이 추적될 때 이러한 객체들의 수정 또는 변환을 수반할 수 있다. 다양한 예들에서, 이러한 변환들을 달성하기 위한 상이한 방법들이 사용될 수 있다. 예를 들어, 일부 예들은 객체 또는 객체들의 3D 메시 모델을 생성하는 것, 및 변환을 달성하기 위해 비디오 내의 모델의 변환들 및 애니메이션화된 텍스처들을 사용하는 것을 수반할 수 있다. 다른 예들에서, 2차원 또는 3차원일 수 있는 이미지 또는 텍스처를 추적된 위치에 배치하기 위해 객체 상의 포인트들의 추적이 사용될 수 있다. 또 다른 예들에서, 비디오 프레임들의 신경망 분석은 콘텐츠(예를 들어, 비디오의 이미지들 또는 프레임들)에 이미지들, 모델들, 또는 텍스처들을 배치하기 위해 사용될 수 있다. 따라서, AR 효과 데이터는 콘텐츠에서 변환들을 생성하는 데 사용되는 이미지들, 모델들, 및 텍스처들뿐만 아니라, 객체 검출, 추적, 및 배치로 이러한 변환들을 달성하는 데 필요한 추가적인 모델링 및 분석 정보 둘 다를 포함할 수 있다.
임의의 특정 요소 또는 동작의 논의를 쉽게 식별하기 위해, 참조 번호의 최상위 숫자 또는 숫자들은 해당 요소가 처음으로 도입되는 도면 번호를 참조한다.
도 1은 일부 예에 따른, 머리 착용 디바이스의 사시도이다.
도 2는 일부 예들에 따른, 도 1의 머리 착용 디바이스의 추가적인 도면을 예시한다.
도 3은 일부 예들에 따른, 도 1의 머리 착용 디바이스의 세부사항들을 포함하는 네트워크화된 시스템(300)을 예시하는 블록도이다.
도 4는 일부 예들에 따른, 본 개시내용이 배치될 수 있는 네트워크화된 환경의 도식적 표현이다.
도 5는 다른 예에 따른, 머리 착용 디바이스의 사시도이다.
도 6a 내지 도 6d는 일부 예들에 따른 도 1 또는 도 5의 머리 착용 디바이스에 의해 디스플레이되는 사용자 인터페이스 화면들의 시퀀스를 예시한다.
도 7a 및 도 7b는 일부 예들에 따른 도 1 또는 도 5의 머리 착용 디바이스에 의해 디스플레이되는 사용자 인터페이스 화면들의 추가 시퀀스를 예시한다.
도 8a 내지 도 8c는 일부 예들에 따른 도 1 또는 도 5의 머리 착용 디바이스에 의해 디스플레이되는 사용자 인터페이스 화면들의 추가 시퀀스를 예시한다.
도 9a 내지 도 9f는 일부 예들에 따른 도 1 또는 도 5의 머리 착용 디바이스에 의해 디스플레이되는 사용자 인터페이스 화면들의 추가 시퀀스를 예시한다.
도 10은 일부 예들에 따른 도 1 또는 도 5의 머리 착용 디바이스에 의해 구현될 수 있는 사용자 인터페이스 흐름도를 예시한다.
도 11은 일부 예들에 따른, 터치패드 상에서 사용자 입력을 수신하는 것에 응답하여 도 1 또는 도 5의 머리 착용 디바이스에 의해 수행되는 동작들을 예시하는 흐름도이다.
도 12는 일부 예들에 따른, 터치패드 상에서 사용자 입력을 수신하는 것에 응답하여 도 1 또는 도 5의 머리 착용 디바이스에 의해 수행되는 동작들을 예시하는 흐름도이다.
도 13은 일부 예들에 따른, 본 개시내용이 구현될 수 있는 소프트웨어 아키텍처를 도시하는 블록도이다.
도 14는 일부 예들에 따른, 머신으로 하여금 논의된 방법론들 중 임의의 하나 이상을 수행하게 하기 위해 명령어들의 세트가 실행될 수 있는 컴퓨터 시스템의 형태의 머신의 도식적 표현이다.
AR 안경들과 같은 공지된 머리 착용 디바이스들은 사용자가 주변 환경을 관찰하기 위해 투명 또는 반투명 디스플레이를 통해 볼 수 있게 하는 투명 또는 반투명 디스플레이를 포함한다. 추가적인 정보 또는 객체들(예를 들면, 3D 렌더링들, 이미지들, 비디오, 텍스트 등과 같은 가상 객체들)이 디스플레이 상에 제시되고, 사용자에게 증강 현실 경험을 제공하기 위해 주변 환경의 일부로서 나타나고 및/또는 주변 환경 상에 오버레이된다. 디스플레이는, 예를 들어, 프로젝터로부터 광 빔을 수신하는 도파관을 포함할 수 있지만, 증강 또는 가상 콘텐츠를 착용자에게 제시하기 위한 임의의 적절한 디스플레이가 사용될 수 있다.
머리 착용 디바이스의 정보 또는 사용자 인터페이스의 탐색은 일부 경우들에서 음성 커맨드들에 의해 또는 스마트폰과 같은 연관된 디바이스에 대한 입력에 의해 제공될 수 있다. 현재의 경우에, 터치패드가 머리 착용 디바이스 상에 제공되고, 머리 착용 디바이스에 x-y 터치 및 탭핑 입력을 제공하는데 이용될 수 있다. 터치패드가 제한된 크기를 갖고 디스플레이들이 제한된 디스플레이 능력들을 가질 가능성으로 인해 또는 (예를 들어, 사용자가 여전히 그를 통해 현실-세계를 볼 수 있는 디스플레이를 제공하기 위한) 크기, 전력 또는 다른 고려사항들로 인해, 머리 착용 디바이스와 사용자 사이의 상호작용을 단순화하는 것이 필요할 수 있다.
설명된 사용자 인터페이스 흐름은 전형적으로 이동 전화 및 그 터치스크린과 비교하여 상이한 입력 옵션들 및 상이한 출력 능력들이 둘 다 적용되는 머리 착용 디바이스 하드웨어 및 소프트웨어의 능력들에 기초하여 특정 패턴들을 사용한다. 예를 들어, AR 안경들에서 사용되는 디스플레이(들)는 상이한 종횡비를 갖는 더 좁은 시야를 가질 수 있고, 이동 전화 화면보다 덜 상세하게 렌더링할 수 있을 수 있다. 추가적으로, 아래에 설명되는 터치 인터페이스는 디스플레이들과 병치되거나 그와 평행하지 않다. 이러한 기술적 과제들은 장면마다 디스플레이되는 더 적은 요소들 및 수신된 입력들에 대한 특정 응답들을 갖는 단순화된 사용자 인터페이스 화면을 제공하고, 따라서 머리 착용 디바이스 및 연관된 애플리케이션들의 기능성을 개선함으로써 해결될 수 있다.
일 예에서, 본 명세서에 설명된 머리 착용 디바이스는 사용자 상호작용을 위해 절대적이고 간접적인 위치설정을 이용한다. 이 예에서, 이동 전화 터치스크린 상에서와 같이 임의의 디스플레이된 요소를 선택하는 자유 커서나 능력은 없다. 머리 착용 디바이스는, 화면들 사이의 논리적 전이의 선택을 허용하기 위해 디스플레이되는 탐색 큐뿐만 아니라, 아이템 선택을 위한 한 세트의 특정한 터치패드 제스처 액션에 응답하는 단일의 고정된 선택기와 연계하여, 머리 착용 디바이스 측면의 터치패드 상에서의 사용자 손가락 모션을 절대 이동을 갖는 디스플레이 좌표로 간접적으로 변환한다.
다른 예에서, 하나 이상의 디스플레이 디바이스, 하나 이상의 카메라 및 일반적으로 수직으로 배열된 터치패드를 포함하는 머리 착용 디바이스 시스템에서 하나 이상의 프로세서에 의해 실행되는 콘텐츠 전송 입력을 수신 및 처리하는 방법이 개시된다. 예시적인 방법은 하나 이상의 디스플레이 디바이스 상에 콘텐츠 아이템을 디스플레이하는 단계, 터치패드 상에서 콘텐츠 선택 터치 입력을 수신하는 단계, 콘텐츠 선택 터치 입력에 응답하여 잠재적 수신자들의 캐러셀을 디스플레이하는 단계, 터치패드 상에서 제1 수평 터치 입력을 수신하는 단계, 및 제1 수평 터치 입력에 응답하여 하나 이상의 디스플레이 디바이스 상에서 잠재적 수신자들의 캐러셀을 좌측 또는 우측으로 스크롤링하는 단계를 포함한다. 이 방법은 특정 수신자를 선택하기 위해 터치패드 상에서 수신자 선택 터치 입력을 수신하는 단계, 터치패드 상에서 콘텐츠 전송 터치 입력을 수신하는 단계, 및 콘텐츠 전송 터치 입력에 응답하여, 콘텐츠 아이템을 특정 수신자에게 송신하는 단계를 더 포함한다.
터치패드 상에서의 콘텐츠 선택 터치 입력은 콘텐츠 아이템을 선택하기 위해 터치패드 상에서 탭핑 터치 입력을 수신하는 것, 탭핑 터치 입력을 수신하는 것에 응답하여 복수의 사용자 인터페이스 옵션을 디스플레이하는 것, 터치패드 상에서 제2 수평 터치 입력을 수신하는 것, 제2 수평 터치 입력에 기초하여 복수의 사용자 인터페이스 옵션에 대한 선택 표시자를 이동시키는 것, 및 복수의 사용자 인터페이스 옵션 중 특정한 하나를 선택하기 위해 터치패드 상에서 사용자 인터페이스 선택 터치 입력을 수신하는 것을 포함할 수 있다. 복수의 사용자 인터페이스 옵션은 삭제 옵션, 콘텐츠 뷰어 옵션 및 전송 옵션을 포함할 수 있다.
수신자 선택 터치 입력을 수신한 후에, 방법은 터치패드 상에서 제2 수평 터치 입력을 수신하는 단계, 제2 수평 터치 입력에 응답하여 하나 이상의 디스플레이 디바이스 상에서 잠재적 수신자들의 캐러셀을 좌측 또는 우측으로 스크롤링하는 단계, 및 추가 수신자를 선택하기 위해 터치패드 상에서 추가 수신자 선택 터치 입력을 수신하는 단계를 더 포함할 수 있다. 콘텐츠 전송 터치 입력을 수신하기 전에, 이 방법은 수신자의 선택을 확인하기 위해 터치패드 상에서 수직 터치 입력을 수신하는 단계를 더 포함할 수 있다.
예시적인 방법은 또한, 콘텐츠 전송 터치 입력을 수신하기 전에, 터치패드 상에서 수직 터치 입력을 수신하는 단계, 및 수직 터치 입력을 수신하는 것에 응답하여, 잠재적 수신자들의 캐러셀의 디스플레이를 해제하는 단계를 포함할 수 있다.
방법은 또한, 수신자 선택 터치 입력을 수신한 후에, 터치패드 상에서 제3 수평 터치 입력을 수신하는 단계, 제3 수평 터치 입력에 응답하여 하나 이상의 디스플레이 디바이스 상에서 잠재적 수신자들의 캐러셀을 좌측 또는 우측으로 스크롤링하는 단계, 및 터치패드 상에서 추가 수신자를 선택하기 위한 추가 수신자 선택 터치 입력을 수신하는 단계를 포함할 수 있다.
방법은 콘텐츠 전송 터치 입력을 수신하기 전에, 수신자 및 추가 수신자의 선택을 확인하기 위해 터치패드 상에서 수직 터치 입력을 수신하는 단계를 또한 더 포함할 수 있다.
다른 예에서, 머리 착용 디바이스 시스템은 하나 이상의 카메라, 하나 이상의 디스플레이 디바이스, 일반적으로 수직으로 배열된 터치패드 및 하나 이상의 프로세서를 포함한다. 머리 착용 디바이스 시스템은 또한, 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 디스플레이 디바이스 상에 콘텐츠 아이템을 디스플레이하는 것, 터치패드 상에서 제1 터치 입력을 수신하는 것, 제1 터치 입력에 응답하여 잠재적 수신자들의 캐러셀을 디스플레이하는 것, 터치패드 상에서 제1 수평 터치 입력을 수신하는 것, 제1 수평 터치 입력에 응답하여 하나 이상의 디스플레이 디바이스 상에서 잠재적 수신자들의 캐러셀을 좌측 또는 우측으로 스크롤링하는 것, 특정한 수신자를 선택하기 위해 터치패드 상에서 제1 탭핑 터치 입력을 수신하는 것, 제2 터치 입력을 수신하는 것, 및 제2 터치 입력에 응답하여, 콘텐츠 아이템을 특정한 수신자에게 송신하는 것을 포함하는, 그러나, 이것으로 제한되지 않는, 방법들에 대응하는 동작들을 수행하도록 시스템을 구성하는 명령어들을 저장하는 메모리를 포함한다.
추가 예에서, 비일시적 컴퓨터 판독가능 저장 매체는, 하나 이상의 디스플레이 디바이스, 하나 이상의 카메라 및 일반적으로 수직으로 배열된 터치패드를 포함하는 머리 착용 디바이스 시스템에 의해 실행될 때, 머리 착용 디바이스 시스템으로 하여금, 하나 이상의 디스플레이 디바이스 상에 콘텐츠 아이템을 디스플레이하는 것, 터치패드 상에서 제1 터치 입력을 수신하는 것, 제1 터치 입력에 응답하여 잠재적 수신자들의 캐러셀을 디스플레이하는 것, 터치패드 상에서 제1 수평 터치 입력을 수신하는 것, 제1 수평 터치 입력에 응답하여 하나 이상의 디스플레이 디바이스 상에서 잠재적 수신자들의 캐러셀을 좌측 또는 우측으로 스크롤링하는 것, 특정한 수신자를 선택하기 위해 터치패드 상에서 제1 탭핑 터치 입력을 수신하는 것, 제2 터치 입력을 수신하는 것, 및 제2 터치 입력에 응답하여, 콘텐츠 아이템을 특정한 수신자에게 송신하는 것을 포함하는 동작들을 수행하게 하는 명령어들을 포함한다.
머리 착용 디바이스의 메모리 또는 컴퓨터 판독가능 저장 매체에 의해 정의되는 콘텐츠 선택 터치 입력 동작은, 콘텐츠 아이템을 선택하기 위해 터치패드 상에서 탭핑 터치 입력을 수신하는 것, 탭핑 터치 입력을 수신하는 것에 응답하여 복수의 사용자 인터페이스 옵션을 디스플레이하는 것, 터치패드 상에서 제2 수평 터치 입력을 수신하는 것, 제2 수평 터치 입력에 기초하여 복수의 사용자 인터페이스 옵션에 관해 선택 표시자를 이동시키는 것, 및 복수의 사용자 인터페이스 옵션 중 특정한 하나를 선택하기 위해 터치패드 상에서 사용자 인터페이스 선택 터치 입력을 수신하는 것을 포함할 수 있다. 복수의 사용자 인터페이스 옵션은 삭제 옵션, 콘텐츠 뷰어 옵션 및 전송 옵션을 포함할 수 있다.
수신자 선택 터치 입력을 수신한 후에, 동작들은 터치패드 상에서 제2 수평 터치 입력을 수신하는 것, 제2 수평 터치 입력에 응답하여 하나 이상의 디스플레이 디바이스 상에서 잠재적 수신자들의 캐러셀을 좌측 또는 우측으로 스크롤링하는 것, 및 추가 수신자를 선택하기 위해 터치패드 상에서 추가 수신자 선택 터치 입력을 수신하는 것을 더 포함할 수 있다. 콘텐츠 전송 터치 입력을 수신하기 전에, 동작들은 수신자의 선택을 확인하기 위해 터치패드 상에서 수직 터치 입력을 수신하는 것을 더 포함할 수 있다.
동작들은 또한, 콘텐츠 전송 터치 입력을 수신하기 전에, 터치패드 상에서 수직 터치 입력을 수신하는 것, 및 수직 터치 입력을 수신하는 것에 응답하여, 잠재적 수신자들의 캐러셀의 디스플레이를 해제하는 것을 포함할 수 있다. 동작들은 또한, 수신자 선택 터치 입력을 수신한 후에, 터치패드 상에서 제3 수평 터치 입력을 수신하는 것, 제3 수평 터치 입력에 응답하여 하나 이상의 디스플레이 디바이스 상에서 잠재적 수신자들의 캐러셀을 좌측 또는 우측으로 스크롤링하는 것, 및 터치패드 상에서 추가 수신자 선택 터치 입력을 수신하여 추가 수신자를 선택하는 것을 포함할 수 있다. 동작들은 콘텐츠 전송 터치 입력을 수신하기 전에, 수신자 및 추가 수신자의 선택을 확인하기 위해 터치패드 상에서 수직 터치 입력을 수신하는 것을 또한 더 포함할 수 있다. 다른 기술적 특징들은 다음의 도면들, 설명들, 및 청구항들로부터 본 기술분야의 통상의 기술자에게 용이하게 명백할 수 있다.
도 1은 일부 예들에 따른, 머리 착용 디바이스(예를 들어, 안경(100))의 사시도이다. 안경(100)은 임의의 적합한 형상 기억 합금을 포함하는 플라스틱 또는 금속과 같은 임의의 적합한 재료로 만들어진 프레임(102)을 포함할 수 있다. 하나 이상의 예에서, 프레임(102)은 브리지(112)에 의해 연결된 제1 또는 좌측 광학 요소 홀더(104)(예를 들어, 디스플레이 또는 렌즈 홀더) 및 제2 또는 우측 광학 요소 홀더(106)를 포함한다. 제1 또는 좌측 광학 요소(108) 및 제2 또는 우측 광학 요소(110)는 각각의 좌측 광학 요소 홀더(104) 및 우측 광학 요소 홀더(106) 내에 제공될 수 있다. 우측 광학 요소(110) 및 좌측 광학 요소(108) 각각은 렌즈, 디스플레이, 디스플레이 어셈블리, 또는 전술한 바의 조합일 수 있다. 임의의 적합한 디스플레이 어셈블리가 안경(100)에 제공될 수 있다.
프레임(102)은 좌측 암 또는 템플 피스(120) 및 우측 암 또는 템플 피스(122)를 추가적으로 포함한다. 일부 예들에서, 전체 프레임(102)은 단일 또는 일체형 구조를 갖도록 단일편 재료로 형성될 수 있다.
안경(100)은 컴퓨터(118)와 같은 컴퓨팅 디바이스를 포함할 수 있으며, 이는 프레임(102)에 의해 운반기에 적합한 임의의 타입일 수 있고, 하나 이상의 예에서, 템플 피스(120) 및 템플 피스(122) 중 하나에 적어도 부분적으로 배치되기에 적합한 크기 및 형상일 수 있다. 컴퓨터(118)는 메모리, 무선 통신 회로, 및 전원을 갖는 하나 이상의 프로세서를 포함할 수 있다. 아래에서 논의되는 바와 같이, 컴퓨터(118)는 저전력 회로, 고속 회로, 및 디스플레이 프로세서를 포함한다. 다양한 다른 예들은 이러한 요소들을 상이한 구성들로 포함하거나 상이한 방식들로 함께 통합되게 포함할 수 있다. 컴퓨터(118)의 양태들의 추가적인 세부사항들은 아래에서 논의되는 데이터 프로세서(302)에 의해 예시된 바와 같이 구현될 수 있다.
컴퓨터(118)는 배터리(116) 또는 다른 적합한 휴대용 전력 공급 장치를 추가적으로 포함한다. 일 예에서, 배터리(116)는 좌측 템플 피스(120)에 배치되고 우측 템플 피스(122)에 배치된 컴퓨터(118)에 전기적으로 결합된다. 안경(100)은 배터리(116), 무선 수신기, 송신기 또는 트랜시버(도시되지 않음), 또는 그러한 디바이스들의 조합을 충전시키는 데 적합한 커넥터 또는 포트(도시되지 않음)를 포함할 수 있다.
안경(100)은 카메라들(114)을 포함한다. 2개의 카메라가 묘사되어 있지만, 다른 예들은 단일 또는 추가적인(즉, 3개 이상의) 카메라의 사용을 고려한다. 하나 이상의 예에서, 안경(100)은 카메라(114)에 더하여 임의의 수의 입력 센서들 또는 다른 입력/출력 디바이스들을 포함한다. 그러한 센서들 또는 입력/출력 디바이스들은 생체측정 센서들, 위치 센서들, 모션 센서들 등을 추가적으로 포함할 수 있다.
안경(100)은 또한 좌측 템플 피스(120) 및 우측 템플 피스(122) 중 하나 또는 둘 다에 장착되거나 그와 통합된 터치패드(124)를 포함할 수 있다. 터치패드(124)는 일 예에서 사용자의 관자놀이에 대략 평행하게 일반적으로 수직으로 배열된다. 본 명세서에서 사용될 때, 일반적으로 수직으로 정렬된다는 것은 터치패드가 적어도 수평보다 더 수직임을 의미하지만, 바람직하게는 그보다 더 수직이다. 예시된 실시예에서 좌측 광학 요소 홀더(104) 및 우측 광학 요소 홀더(106)의 외부 상부 에지 상에 제공되는 하나 이상의 버튼(126)에 의해 추가적인 사용자 입력이 제공될 수 있다. 하나 이상의 터치패드(124) 및 버튼(126)은 안경(100)이 안경(100)의 사용자로부터 입력을 수신할 수 있는 수단을 제공한다.
도 2는 착용자의 관점에서 안경(100)을 예시한다. 명확성을 위해, 도 1에 도시된 다수의 요소들은 생략되었다. 도 1에서 설명된 바와 같이, 도 2에 도시된 안경(100)은 좌측 광학 요소 홀더(104) 및 우측 광학 요소 홀더(106) 각각 내에 각각 고정되는 좌측 광학 요소(108) 및 우측 광학 요소(110)를 포함한다.
안경(100)은 우측 프로젝터(204) 및 우측 근안 디스플레이(206)를 포함하는 전방 광학 어셈블리(202), 및 좌측 프로젝터(212) 및 근안 디스플레이(216)를 포함하는 전방 광학 어셈블리(210)를 포함한다.
일 실시예에서, 근안 디스플레이들은 도파관들이다. 도파관은 반사 또는 회절 구조체들(예를 들면, 격자들 및/또는 미러들, 렌즈들 또는 프리즘들과 같은 광학 요소들)을 포함한다. 프로젝터(204)에 의해 방출된 광(208)은 근안 디스플레이(206)의 도파관의 회절 구조들을 만나고, 이는 사용자가 관찰하는 현실-세계의 모습에 오버레이되는 이미지를 우측 광학 요소(110) 상에 또는 그 안에 제공하기 위해 사용자의 우측 눈을 향해 광을 지향시킨다. 유사하게, 프로젝터(212)에 의해 방출된 광(214)은 근안 디스플레이(216)의 도파관의 회절 구조들을 만나고, 이는 사용자가 관찰하는 현실-세계의 모습에 오버레이되는 이미지를 좌측 광학 요소(108) 상에 또는 좌측 광학 요소(108) 내에 제공하기 위해 사용자의 좌측 눈을 향해 광을 지향시킨다.
그러나, 전방 시야에서 사용자에게 이미지를 디스플레이할 수 있는 다른 디스플레이 기술들 또는 구성들이 제공될 수 있다는 것이 이해될 것이다. 예를 들어, 프로젝터(204) 및 도파관 대신에, LCD, LED 또는 다른 디스플레이 패널 또는 표면이 그 대신에 제공될 수 있다.
사용 시에, 안경(100)의 착용자는 근안 디스플레이들 상에 정보, 콘텐츠 및 다양한 사용자 인터페이스들을 제시받을 것이다. 아래에 더 상세히 설명되는 바와 같이, 사용자는 이어서, 연관된 디바이스, 예를 들어, 도 3에 예시된 클라이언트 디바이스(328) 상에서 음성 입력들 또는 터치 입력들을 제공하는 것에 더하여, 터치패드(124) 및/또는 버튼들(126)을 사용하여 안경(100)과 상호작용할 수 있다.
도 3은 일부 예들에 따른, 안경(100)의 세부사항들을 포함하는 네트워크화된 시스템(300)을 예시하는 블록도이다.
네트워크화된 시스템(300)은 안경(100), 클라이언트 디바이스(328) 및 서버 시스템(332)을 포함한다. 클라이언트 디바이스(328)는 저전력 무선 연결(336) 및 고속 무선 연결(334) 양쪽 모두를 사용하여 안경(100)과 연결할 수 있는 스마트폰, 태블릿, 패블릿, 랩톱 컴퓨터, 액세스 포인트, 또는 임의의 다른 그러한 디바이스일 수 있다. 클라이언트 디바이스(328)는 네트워크(330)를 통해 서버 시스템(332)에 연결된다. 네트워크(330)는 무선 연결과 유선 연결의 임의의 조합을 포함할 수 있다. 서버 시스템(332)은 서비스 또는 네트워크 컴퓨팅 시스템의 일부인 하나 이상의 컴퓨팅 디바이스일 수 있다. 클라이언트 디바이스(328)와 서버 시스템(332) 및 네트워크(330)의 임의의 요소들은 도 13 및 도 14에 설명된 소프트웨어 아키텍처(1304) 또는 머신(1400)의 세부사항들을 사용하여 구현될 수 있다.
안경(100)은 데이터 프로세서(302), 디스플레이들(310), 하나 이상의 카메라(308), 및 추가적인 입력/출력 요소들(316)을 포함한다. 입력/출력 요소들(316)은 마이크로폰들, 오디오 스피커들, 생체측정 센서들, 추가적인 센서들, 또는 데이터 프로세서(302)와 통합되는 추가적인 디스플레이 요소들을 포함할 수 있다. 입력/출력 요소들(316)의 예들은 도 13 및 도 14와 관련하여 더 논의된다. 예를 들어, 입력/출력 요소들(316)은 출력 컴포넌트들(1428), 모션 컴포넌트들(1436) 등을 포함하는 I/O 컴포넌트들(1406) 중 임의의 것을 포함할 수 있다. 디스플레이들(310)의 예들은 도 2에서 논의된다. 본 명세서에 설명된 특정 예들에서, 디스플레이들(310)은 사용자의 좌측 눈 및 우측 눈 각각에 대한 디스플레이를 포함한다.
데이터 프로세서(302)는 이미지 프로세서(306)(예를 들면, 비디오 프로세서), GPU & 디스플레이 드라이버(338), 추적 모듈(340), 인터페이스(312), 저전력 회로(304), 및 고속 회로(320)를 포함한다. 데이터 프로세서(302)의 컴포넌트들은 버스(342)에 의해 상호연결된다.
인터페이스(312)는 데이터 프로세서(302)에 제공되는 사용자 커맨드의 임의의 소스를 지칭한다. 하나 이상의 예에서, 인터페이스(312)는, 눌러질 때, 인터페이스(312)로부터 저전력 프로세서(314)로 사용자 입력 신호를 전송하는 물리적 버튼이다. 이러한 버튼을 눌렀다가 즉시 해제하는 것은 단일 이미지를 캡처하라는 요청으로서 저전력 프로세서(314)에 의해 처리될 수 있거나 그 반대도 마찬가지이다. 제1 시간 기간 동안 이러한 카메라 버튼을 누르는 것은 버튼이 눌러진 동안 비디오 데이터를 캡처하고 버튼이 해제될 때 비디오 캡처를 중지하라는 요청으로서 저전력 프로세서(314)에 의해 처리될 수 있으며, 버튼이 눌러져 있던 동안 캡처된 비디오는 단일 비디오 파일로서 저장된다. 대안적으로, 연장된 기간 동안 버튼을 누르는 것은 정지 이미지를 캡처할 수 있다. 다른 예들에서, 인터페이스(312)는 카메라(308)로부터의 데이터에 대한 요청과 연관된 사용자 입력들을 수신할 수 있는 임의의 기계적 스위치 또는 물리적 인터페이스일 수 있다. 다른 예들에서, 인터페이스(312)는 소프트웨어 컴포넌트를 가질 수 있거나, 클라이언트 디바이스(328)와 같은, 다른 소스로부터 무선으로 수신되는 커맨드와 연관될 수 있다.
이미지 프로세서(306)는 카메라(308)로부터 신호들을 수신하고 카메라(308)로부터의 해당 신호들을 메모리(324)에 저장하거나 클라이언트 디바이스(328)로 전송하기에 적합한 포맷으로 처리하기 위한 회로를 포함한다. 하나 이상의 예에서, 이미지 프로세서(306)(예를 들면, 비디오 프로세서)는, 동작 중인 마이크로프로세서에 의해 사용되는 휘발성 메모리와 함께, 카메라(308)로부터의 센서 데이터를 처리하도록 맞춤화된 마이크로프로세서 집적 회로(IC)를 포함한다.
저전력 회로(304)는 저전력 프로세서(314) 및 저전력 무선 회로(318)를 포함한다. 저전력 회로(304)의 이러한 요소들은 개별 요소들로서 구현될 수 있거나, 단일 칩 상의 시스템의 일부인 단일 IC 상에 구현될 수 있다. 저전력 프로세서(314)는 안경(100)의 다른 요소들을 관리하기 위한 로직을 포함한다. 전술한 바와 같이, 예를 들어, 저전력 프로세서(314)는 인터페이스(312)로부터의 사용자 입력 신호들을 수신할 수 있다. 저전력 프로세서(314)는 또한 저전력 무선 연결(336)을 통해 클라이언트 디바이스(328)로부터 입력 신호들 또는 명령어 통신을 수신하도록 구성될 수 있다. 저전력 무선 회로(318)는 저전력 무선 통신 시스템을 구현하기 위한 회로 요소들을 포함한다. 저전력 BluetoothTM라고도 알려진 BluetoothTM Smart는 저전력 무선 회로(318)를 구현하는 데 사용될 수 있는 저전력 무선 통신 시스템의 한 표준 구현이다. 다른 예들에서, 다른 저전력 통신 시스템들이 사용될 수 있다.
고속 회로(320)는 고속 프로세서(322), 메모리(324), 및 고속 무선 회로(326)를 포함한다. 고속 프로세서(322)는 데이터 프로세서(302)에 필요한 임의의 범용 컴퓨팅 시스템의 고속 통신 및 동작을 관리할 수 있는 임의의 프로세서일 수 있다. 고속 프로세서(322)는 고속 무선 회로(326)를 사용하여 고속 무선 연결(334)을 통한 고속 데이터 전송들을 관리하는 데 필요한 처리 리소스들을 포함한다. 특정 예들에서, 고속 프로세서(322)는 LINUX 운영 체제와 같은 운영 체제 또는 도 13의 운영 체제(1312)와 같은 다른 그러한 운영 체제를 실행한다. 임의의 다른 임무들에 더하여, 데이터 프로세서(302)에 대한 소프트웨어 아키텍처를 실행하는 고속 프로세서(322)는 고속 무선 회로(326)와의 데이터 전송들을 관리하는 데 사용된다. 특정 예들에서, 고속 무선 회로(326)는, 본 명세서에서 Wi-Fi로도 지칭되는, IEEE(Institute of Electrical and Electronic Engineers) 802.11 통신 표준들을 구현하도록 구성된다. 다른 예들에서, 다른 고속 통신 표준들은 고속 무선 회로(326)에 의해 구현될 수 있다.
메모리(324)는 카메라(308) 및 이미지 프로세서(306)에 의해 생성되는 카메라 데이터를 저장할 수 있는 임의의 저장 디바이스를 포함한다. 메모리(324)가 고속 회로(320)와 통합된 것으로 도시되어 있지만, 다른 예들에서, 메모리(324)는 데이터 프로세서(302)의 독립적인 독립형 요소일 수 있다. 그러한 특정 예들에서, 전기 배선 라인들은 고속 프로세서(322)를 포함하는 칩을 통해 이미지 프로세서(306) 또는 저전력 프로세서(314)로부터 메모리(324)로의 연결을 제공할 수 있다. 다른 예들에서, 고속 프로세서(322)가 메모리(324)의 어드레싱을 관리할 수 있고, 따라서, 메모리(324)를 수반하는 판독 또는 기입 동작이 필요할 때마다 저전력 프로세서(314)가 고속 프로세서(322)를 부팅한다.
추적 모듈(340)은 안경(100)의 자세를 추정한다. 예를 들어, 추적 모듈(340)은 기준 좌표계(frame of reference)(예를 들면, 현실-세계 환경)에 대해 안경(100)의 위치를 추적하고 안경(100)의 자세를 결정하기 위해 카메라(308) 및 위치 컴포넌트들(1440)로부터의 이미지 데이터 및 대응하는 관성 데이터는 물론 GPS 데이터를 사용한다. 추적 모듈(340)은 현실-세계 환경에서의 물리적 객체들에 대해 상대 위치 및 배향의 변화들을 나타내는 안경(100)의 업데이트된 3차원 자세들을 결정하기 위해 안경(100)의 움직임들을 설명하는 업데이트된 센서 데이터를 지속적으로 수집하고 사용한다. 추적 모듈(340)은 디스플레이들(310)을 통해 사용자의 시야(field of view) 내에 안경(100)에 의해 물리적 객체들에 대해 가상 객체들을 시각적으로 배치하는 것을 가능하게 한다.
안경(100)이 전통적인 증강 현실 모드에서 기능하고 있을 때 GPU & 디스플레이 드라이버(338)는 디스플레이들(310) 상에 제시될 가상 콘텐츠 또는 다른 콘텐츠의 프레임들을 생성하기 위해 안경(100)의 자세를 사용할 수 있다. 이 모드에서, GPU & 디스플레이 드라이버(338)는, 사용자의 현실-세계 환경에서 물리적 객체들과 관련하여 사용자의 위치 및 배향의 변화를 반영하는, 안경(100)의 업데이트된 3차원 자세들에 기초하여 가상 콘텐츠의 업데이트된 프레임들을 생성한다.
본 명세서에 설명된 하나 이상의 기능 또는 동작은 또한 안경(100) 또는 클라이언트 디바이스(328) 또는 원격 서버에 상주하는 애플리케이션에서 수행될 수 있다. 예를 들어, 본 명세서에 설명된 하나 이상의 기능 또는 동작은 메시징 애플리케이션(1346)과 같은 애플리케이션들(1306) 중 하나에 의해 수행될 수 있다.
도 4는 네트워크를 통해 데이터(예를 들어, 메시지들 및 연관된 콘텐츠)를 교환하기 위한 예시적인 메시징 시스템(400)을 도시하는 블록도이다. 메시징 시스템(400)은 클라이언트 디바이스(328)의 다수의 인스턴스들을 포함하고, 이들 각각은 메시징 클라이언트(402) 및 다른 애플리케이션들(404)을 포함하는 다수의 애플리케이션들을 호스팅한다. 각각의 메시징 클라이언트(402)는 네트워크(330)(예를 들어, 인터넷)를 통해 메시징 클라이언트(402)의 다른 인스턴스들(예를 들어, 각각의 다른 클라이언트 디바이스들(328) 상에 호스팅됨), 메시징 서버 시스템(406) 및 제3자 서버들(408)에 통신가능하게 결합된다. 메시징 클라이언트(402)는 또한 애플리케이션 프로그램 인터페이스(API)들을 사용하여 로컬 호스팅 애플리케이션들(404)과 통신할 수 있다.
메시징 클라이언트(402)는 네트워크(330)를 통해 다른 메시징 클라이언트들(402)과 그리고 메시징 서버 시스템(406)과 통신하고 데이터를 교환할 수 있다. 메시징 클라이언트들(402) 사이에, 그리고 메시징 클라이언트(402)와 메시징 서버 시스템(406) 사이에 교환되는 데이터는 기능들(예를 들어, 기능들을 호출하기 위한 커맨드들)뿐만 아니라 페이로드 데이터(예를 들어, 텍스트, 오디오, 비디오 또는 다른 멀티미디어 데이터)를 포함한다.
메시징 서버 시스템(406)은 네트워크(330)를 통해 특정 메시징 클라이언트(402)에 서버측 기능성을 제공한다. 메시징 시스템(400)의 특정 기능들이 메시징 클라이언트(402)에 의해 또는 메시징 서버 시스템(406)에 의해 수행되는 것으로 본 명세서에 설명되지만, 메시징 클라이언트(402) 또는 메시징 서버 시스템(406) 내의 특정 기능성의 위치는 설계 선택일 수 있다. 예를 들어, 초기에 메시징 서버 시스템(406) 내에 특정 기술 및 기능성을 배치하지만, 나중에 클라이언트 디바이스(328)가 충분한 처리 용량을 갖는 메시징 클라이언트(402)로 이 기술 및 기능성을 마이그레이션하는 것이 기술적으로 바람직할 수 있다.
메시징 서버 시스템(406)은 메시징 클라이언트(402)에 제공되는 다양한 서비스들 및 동작들을 지원한다. 이러한 동작들은 메시징 클라이언트(402)에 데이터를 송신하는 것, 메시징 클라이언트(402)로부터 데이터를 수신하는 것, 및 메시징 클라이언트(402)에 의해 생성된 데이터를 처리하는 것을 포함한다. 이 데이터는, 예로서, 메시지 콘텐츠, 클라이언트 디바이스 정보, 지리위치 정보, 미디어 증강 및 오버레이들, 메시지 콘텐츠 지속 조건들, 소셜 네트워크 정보, 및 라이브 이벤트 정보를 포함할 수 있다. 메시징 시스템(400) 내의 데이터 교환들은 메시징 클라이언트(402)의 사용자 인터페이스(UI)들을 통해 이용가능한 기능들을 통해 호출되고 제어된다.
이제 구체적으로 메시징 서버 시스템(406)을 참조하면, 애플리케이션 프로그램 인터페이스(API) 서버(410)가 애플리케이션 서버들(414)에 결합되고, 애플리케이션 서버들(414)에 프로그램 인터페이스를 제공한다. 애플리케이션 서버들(414)은 데이터베이스 서버(416)에 통신가능하게 결합되며, 이는 애플리케이션 서버들(414)에 의해 처리되는 메시지들과 연관된 데이터를 저장하는 데이터베이스(420)에 대한 액세스를 용이하게 한다. 유사하게, 웹 서버(424)는 애플리케이션 서버들(414)에 결합되고, 웹 기반 인터페이스들을 애플리케이션 서버들(414)에 제공한다. 이를 위해, 웹 서버(424)는 HTTP(Hypertext Transfer Protocol) 및 몇몇 다른 관련 프로토콜들을 통해 들어오는 네트워크 요청들을 처리한다.
API(Application Program Interface) 서버(410)는 클라이언트 디바이스(328)와 애플리케이션 서버들(414) 사이에서 메시지 데이터(예를 들어, 커맨드들 및 메시지 페이로드들)를 수신 및 송신한다. 구체적으로, API(Application Program Interface) 서버(410)는 애플리케이션 서버들(414)의 기능성을 호출하기 위해 메시징 클라이언트(402)에 의해 호출되거나 질의될 수 있는 인터페이스들(예를 들어, 루틴들 및 프로토콜들)의 세트를 제공한다. API(Application Program Interface) 서버(410)는 계정 등록, 로그인 기능성, 특정 메시징 클라이언트(402)로부터 다른 메시징 클라이언트(402)로의, 애플리케이션 서버들(414)을 통한 메시지들의 전송, 메시징 클라이언트(402)로부터 메시징 서버(412)로의 미디어 파일들(예를 들어, 이미지들 또는 비디오)의 전송, 및 다른 메시징 클라이언트(402)에 의한 가능한 액세스를 위해, 미디어 데이터의 컬렉션(예를 들어, 스토리)의 설정들, 클라이언트 디바이스(328)의 사용자의 친구들의 리스트의 검색, 그러한 컬렉션들의 검색, 메시지들 및 콘텐츠의 검색, 엔티티 그래프(예를 들어, 소셜 그래프)에 대한 엔티티들(예를 들어, 친구들)의 추가 및 삭제, 소셜 그래프 내의 친구들의 위치, 및(예를 들어, 메시징 클라이언트(402)에 관련된) 애플리케이션 이벤트를 여는 것을 포함하여, 애플리케이션 서버들(414)에 의해 지원되는 다양한 기능들을 노출시킨다.
애플리케이션 서버들(414)은 예를 들어 메시징 서버(412), 이미지 처리 서버(418), 및 소셜 네트워크 서버(422)를 포함하는 다수의 서버 애플리케이션들 및 서브시스템들을 호스팅한다. 메시징 서버(412)는, 특히 메시징 클라이언트(402)의 다수의 인스턴스들로부터 수신된 메시지들에 포함된 콘텐츠(예를 들어, 텍스트 및 멀티미디어 콘텐츠)의 집성 및 다른 처리와 관련된 다수의 메시지 처리 기술들 및 기능들을 구현한다. 더 상세히 설명되는 바와 같이, 다수의 소스들로부터의 텍스트 및 미디어 콘텐츠는 콘텐츠의 컬렉션들(예를 들어, 스토리들 또는 갤러리들로 불림)로 집성될 수 있다. 그 다음, 이러한 컬렉션들은 메시징 클라이언트(402)에 이용가능하게 된다. 데이터의 다른 프로세서 및 메모리 집약적 처리는 또한, 그러한 처리를 위한 하드웨어 요건들을 고려하여, 메시징 서버(412)에 의해 서버측에서 수행될 수 있다.
애플리케이션 서버들(414)은 또한, 전형적으로 메시징 서버(412)로부터 전송되거나 메시징 서버(412)에서 수신되는 메시지의 페이로드 내의 이미지들 또는 비디오와 관련하여, 다양한 이미지 처리 동작들을 수행하는 데 전용되는 이미지 처리 서버(418)를 포함한다.
소셜 네트워크 서버(422)는 다양한 소셜 네트워킹 기능들 및 서비스들을 지원하고, 이러한 기능들 및 서비스들을 메시징 서버(412)에 이용가능하게 한다. 이를 위해, 소셜 네트워크 서버(422)는 데이터베이스(420) 내의 엔티티 그래프를 유지하고 액세스한다. 소셜 네트워크 서버(422)에 의해 지원되는 기능들 및 서비스들의 예들은 특정 사용자가 관계들을 갖거나 "팔로우하고 있는" 메시징 시스템(400)의 다른 사용자들의 식별, 및 또한 특정 사용자의 다른 엔티티들 및 관심들의 식별을 포함한다.
메시징 클라이언트(402)로 돌아가서, 외부 리소스(예를 들어, 애플리케이션(404) 또는 애플릿)의 특징들 및 기능들은 메시징 클라이언트(402)의 인터페이스를 통해 사용자에게 이용가능하게 된다. 이러한 맥락에서, "외부"는 애플리케이션(404) 또는 애플릿이 메시징 클라이언트(402)의 외부에 있다는 사실을 지칭한다. 외부 리소스는 종종 제3자에 의해 제공되지만, 또한 메시징 클라이언트(402)의 생성자 또는 제공자에 의해 제공될 수 있다. 메시징 클라이언트(402)는 이러한 외부 리소스의 특징들을 론칭하거나 액세스하기 위한 옵션의 사용자 선택을 수신한다. 외부 리소스는 클라이언트 디바이스(328) 상에 설치된 애플리케이션(404)(예를 들어, "네이티브 앱"), 또는 클라이언트 디바이스(328) 상에서 또는 클라이언트 디바이스(328)의 원격에서(예를 들어, 제3자 서버들(408) 상에서) 호스팅되는 애플리케이션의 소규모 버전(예를 들어, "애플릿")일 수 있다. 애플리케이션의 소규모 버전은 애플리케이션의 특징들 및 기능들의 서브세트(예를 들어, 애플리케이션의 전체 규모의 네이티브 버전)를 포함하고 마크업 언어 문서를 사용하여 구현된다. 일 예에서, 애플리케이션의 소규모 버전(예를 들어, "애플릿")은 애플리케이션의 웹 기반 마크업 언어 버전이고 메시징 클라이언트(402)에 임베딩된다. 마크업 언어 문서들(예를 들어, .*ml 파일)을 사용하는 것에 더하여, 애플릿은 스크립팅 언어(예를 들어, .*js 파일 또는 .json 파일) 및 스타일 시트(예를 들어, .*ss 파일)를 통합할 수 있다.
외부 리소스의 특징들을 론칭하거나 액세스하기 위한 옵션의 사용자 선택을 수신하는 것에 응답하여, 메시징 클라이언트(402)는 선택된 외부 리소스가 웹 기반 외부 리소스인지 또는 로컬로 설치된 애플리케이션(404)인지를 결정한다. 일부 경우들에서, 클라이언트 디바이스(328) 상에 로컬로 설치되는 애플리케이션들(404)은, 클라이언트 디바이스(328)의 홈 화면 상에서, 애플리케이션(404)에 대응하는 아이콘을 선택하는 것에 의해서와 같이, 메시징 클라이언트(402)와 독립적으로 그리고 별개로 론칭될 수 있다. 본 명세서에서 사용될 때, 아이콘은 텍스트 및 그래픽 요소들 중 하나 또는 둘 다를 포함할 수 있다. 이러한 애플리케이션들의 소규모 버전들은 메시징 클라이언트(402)를 통해 론칭되거나 액세스될 수 있고, 일부 예들에서, 소규모 애플리케이션의 어떠한 부분도 메시징 클라이언트(402) 외부에서 액세스되지 않거나 제한된 부분들이 액세스될 수 있다. 소규모 애플리케이션은 메시징 클라이언트(402)가, 예를 들어, 제3자 서버(408)로부터, 소규모 애플리케이션과 연관된 마크업 언어 문서를 수신하고 그러한 문서를 처리함으로써 론칭될 수 있다.
외부 리소스가 로컬로 설치된 애플리케이션(404)이라고 결정하는 것에 응답하여, 메시징 클라이언트(402)는 외부 리소스에 대응하는 로컬로 저장된 코드를 실행함으로써 외부 리소스를 론칭하도록 클라이언트 디바이스(328)에 지시한다. 외부 리소스가 웹 기반 리소스라고 결정하는 것에 응답하여, 메시징 클라이언트(402)는(예를 들어) 제3자 서버들(408)과 통신하여 선택된 외부 리소스에 대응하는 마크업 언어 문서를 획득한다. 그 다음, 메시징 클라이언트(402)는 획득된 마크업 언어 문서를 처리하여 메시징 클라이언트(402)의 사용자 인터페이스 내에 웹 기반 외부 리소스를 제시한다.
메시징 클라이언트(402)는 클라이언트 디바이스(328)의 사용자, 또는 그러한 사용자와 관련된 다른 사용자들(예를 들어, "친구들")에게 하나 이상의 외부 리소스에서 발생하는 활동을 통지할 수 있다. 예를 들어, 메시징 클라이언트(402)는 메시징 클라이언트(402)에서의 대화(예를 들어, 채팅 세션)의 참가자들에게 사용자들의 그룹의 하나 이상의 멤버에 의한 외부 리소스의 현재 또는 최근 사용에 관한 통지들을 제공할 수 있다. 하나 이상의 사용자들은 활성 외부 리소스에 참여하거나 (친구들의 그룹에서) 최근에 사용되지만 현재 비활성인 외부 리소스를 론칭하도록 초대될 수 있다. 외부 리소스는 대화의 참가자들에게, 각각이 각각의 메시징 클라이언트들(402)을 사용하여, 외부 리소스에서의 아이템, 상태, 상태, 또는 위치를 사용자들의 그룹의 하나 이상의 멤버와 채팅 세션으로 공유하는 능력을 제공할 수 있다. 공유 아이템은 채팅의 멤버들이, 예를 들어, 대응하는 외부 리소스를 론칭하거나, 외부 리소스 내의 특정 정보를 관찰하거나, 채팅의 멤버를 외부 리소스 내의 특정 위치 또는 상태로 가져가기 위해 상호작용할 수 있는 상호작용 채팅 카드일 수 있다. 주어진 외부 리소스 내에서, 응답 메시지들은 메시징 클라이언트(402) 상의 사용자들에게 전송될 수 있다. 외부 리소스는 외부 리소스의 현재 컨텍스트에 기초하여 응답들에 상이한 미디어 아이템들을 선택적으로 포함할 수 있다.
도 5는 다른 예에 따른, 머리 착용 디바이스(예를 들어, 안경(500))의 사시도이다. 알 수 있는 바와 같이, 이 예에서, 터치패드(502)는 프레임(504) 내에 통합되고, 프레임의 전방 부분은 사용자의 눈 주위를 감싼다. 따라서, 안경(500) 내의 터치패드(502)의 존재는 덜 눈에 띄고 머리 착용 디바이스의 전체적인 외관은 더 심미적으로 만족스럽다.
터치패드(502)를 사용하여 안경(500) 상의 사용자 인터페이스를 탐색하는 것은 실린더 메타포를 사용하여 도 5에 예시된 캐러셀 배열을 사용하여 일부 사용자 인터페이스 요소들(예를 들어, 아이콘들 또는 콘텐츠 갤러리)을 제시함으로써 수행된다. 안경(500)의 착용자에 의해 관찰될 때, (텍스트(508)와 같은) 사용자 인터페이스 요소들은 실린더(506)의 표면 상에서와 같이 만곡된 또는 만곡형 배열로 제시된다. 터치패드(502)를 따라 안경(500)에 의해 사용자로부터 수신된 전방 및 후방 스와이프 입력들(510)은 실린더(506) 주위의 사용자 인터페이스 요소들의 회전(512)으로 변환된다. 더 구체적으로, 우측 터치패드(502) 상의 전방 스와이프 제스처는 실린더(506)의 우측의 전방 이동을 초래하여, 실린더(506)의 표면 주위에서 반시계 방향으로(위에서 관찰될 때) 사용자 인터페이스 요소들의 인지된 회전을 야기하고, 그 반대도 마찬가지이다.
터치패드(502) 상에서의 상향 또는 하향 스와이프 제스처들은 전형적으로 상이한 사용자 인터페이스 화면의 선택 또는 상이한 사용자 인터페이스 화면으로의 전이로 변환되지만, 이 모션은 또한 현재 사용자 인터페이스 화면에서, 예를 들어, 안경(100)의 근안 디스플레이들(216)에 제시된 줌인된 이미지의 내부 또는 외부에서 각각 상향 또는 하향 스크롤링하는 것으로 변환될 수 있다.
전방 또는 후방 스와이프 제스처들이 안경(500)에 의해 계속 수신됨에 따라, 사용자 인터페이스 요소들 또는 콘텐츠는 전형적으로 각각 우측 또는 좌측으로부터 사라지는 동시에, 추가적인 사용자 인터페이스 요소들 또는 콘텐츠가 각각 좌측 또는 우측으로부터 나타날 것이다. 사용자 인터페이스 요소들 또는 콘텐츠가 디스플레이의 에지를 향해 이동함에 따라, 실린더 메타포를 예시하기 위해 시각적 큐들이 제공될 수 있다. 예를 들어, 사용자 인터페이스 요소가 중심으로부터 에지를 향해 이동하는 것은 특정 요소의 크기가 감소하는 결과를 초래할 수 있고, 그 반대도 마찬가지이다. 또한, 더 많이 중심을 향해 위치된 콘텐츠 또는 사용자 인터페이스 요소들은 외부 인접 콘텐츠 또는 사용자 인터페이스 요소들과 점진적으로 중첩될 수 있으며, 요소들은 실린더의 에지에 접근함에 따라 더 많이 적층된다. 구현에 따라, 콘텐츠 또는 사용자 인터페이스 요소들은 그들이 에지를 향해 이동함에 따라 그들의 중심 축들을 중심으로 회전할 수 있거나 그렇지 않을 수 있다. 즉, 일부 예들에서 요소들은 크기가 감소하거나 적층될 때 사용자의 정면에 유지된다.
도 6은 일부 예들에 따른, 도 1 또는 도 5의 머리 착용 디바이스에 의해 디스플레이되는 사용자 인터페이스 화면들의 시퀀스를 예시한다. 더 구체적으로, 도 6a는 일부 예들에서, 도 1 또는 도 5에 예시된 안경의 디스플레이들(310/216) 중 하나 또는 둘 다 상에 도시된 사용자 인터페이스 화면(602)의 예이다. 도면으로부터 알 수 있는 바와 같이, 사용자 인터페이스 화면(602)은 아이콘들의 캐러셀(610)을 포함하고, 이는 예시된 실시예에서 사용자 인터페이스 화면(602) 상에서 좌측에서 우측으로 위치들을 점유하는 AR 효과 아이콘(612), AR 효과 아이콘(614), AR 효과 아이콘(616), AR 효과 아이콘(618) 및 AR 효과 아이콘(620)을 포함한다. 또한, 캐러셀(610) 내의 중앙 위치(624)를 점유하는 공백 아이콘(622)이 개시된다. 중앙 위치(624)를 나타내는 원은 더 커서, 이 예에서 그 위치의 아이콘이 선택에 이용가능하다는 것을 나타내지만, 또한 그 위치의 아이콘이 선택되었거나 활성이라는 것을 나타낼 수 있다. 이 예에서 백색 또는 흑색과 같은 평이한 컬러인 공백 아이콘(622)은, 캐러셀(610)에서 중앙 위치(624)에 있을 때, 어떠한 아이콘 또는 액션도 선택에 이용가능하지 않거나 선택되지 않음을 나타낸다.
또한, 알 수 있는 바와 같이, 캐러셀(610) 내의 아이콘들은 중앙 위치(624)로부터 사용자 인터페이스 화면(602)의 에지로의 방향으로 점진적으로 더 많은 양만큼 중첩되어, 도 5를 참조하여 전술한 실린더 메타포를 제공한다. 예를 들어, AR 효과 아이콘(612)은 AR 효과 아이콘(614)과 약간 중첩되고, 이는 AR 효과 아이콘(616)과 더 많이 중첩되며, 이는 차례로 AR 효과 아이콘(618)과 훨씬 더 많이 중첩된다. 실린더 메타포의 이 예에서, 아이콘들은 정면으로 도시되고 (중앙 위치(624)에서의 아이콘을 제외하면) 캐러셀(610)에 걸쳐 동일한 크기이다. 다른 구현들에서, 아이콘들은 또한 또는 대안적으로 위에서 논의된 바와 같이 크기가 감소하거나 회전할 수 있다.
터치패드(124/502) 상에서의 전방 또는 후방 스와이프 입력은 도 8a 및 도 8b를 참조하여 아래에 더 상세히 논의되는 바와 같이 캐러셀(610)에서 AR 효과 아이콘들의 좌측 또는 우측 이동을 야기할 것이다. 캐러셀이 이동하는 특정 방향은 안경(100/500)의 좌측 또는 우측 상의 터치패드가 위에서 논의된 바와 같이 사용되고 있는지에 의존할 것이다. AR 효과 아이콘이 중앙 위치를 점유할 때, 터치패드(124/502)를 탭핑함으로써 이를 선택할 수 있다.
사용자 인터페이스 화면(602)은 또한 상이한 화면들 또는 모드들 사이에서 전이하는데 필요한 입력의 종류 및 방향에 관한 표시를 사용자에게 제공하기 위한 탐색 큐들을 포함한다. 탐색 큐들은 시스템 탐색을 위한 배향 및 컨텍스트 큐들 둘 다를 포함하는 정보 힌트들을 제공한다. 탐색 큐들은 취할 입력 액션뿐만 아니라 입력 액션의 목적지 또는 결과 둘 다를 보여준다.
예를 들어, 탐색 큐(626)는 콘텐츠 갤러리 아이콘(630) 및 포인터(632)를 포함한다. 콘텐츠 갤러리 아이콘(630)은 콘텐츠의 갤러리가 액세스될 수 있다는 정보 힌트를 제공하고, 하향 포인터(632)는 터치패드(124/502) 상에서의 하향 스와이프가 콘텐츠 갤러리 아이콘(630)에 의해 제안된 바와 같은 갤러리 화면으로의 전이를 개시할 것이라는 정보 힌트를 제공한다. 탐색 큐(626)는 요구되는 사용자 입력의 방향의 시작에 있는 사용자 인터페이스 화면(602) 내의 위치에 위치된다. 즉, 탐색 큐(626)는 사용자 인터페이스 화면(602)의 상부에 위치되고, 터치패드 상에서의 대응하는 입력 액션은 터치패드의 하부를 향해 하향하는 것이다.
유사하게, 탐색 큐(628)는 포인터(634) 및 설정 아이콘(636)을 포함한다. 설정 아이콘(636)은 설정 화면이 액세스될 수 있다는 정보 힌트를 제공하고, 상향 포인터(634)는 터치패드(124/502) 상에서의 상향 스와이프가 설정 아이콘(636)에 의해 제안된 바와 같은 설정 화면으로의 전이를 개시할 것이라는 정보 힌트를 제공한다. 탐색 큐(628)는 요구되는 사용자 입력의 방향의 시작에 있는 사용자 인터페이스 화면(602) 내의 위치에 위치된다. 즉, 탐색 큐(628)는 사용자 인터페이스 화면(602)의 하부에 위치되고, 터치패드 상에서의 대응하는 입력 액션은 터치패드(124/502)의 상부를 향해 상향하는 것이다.
도 6b는 도 6c의 사용자 인터페이스 화면(602)과 콘텐츠 갤러리 사용자 인터페이스 화면(606) 사이의 과도 화면의 예이다. 사용자 인터페이스 화면(604)은 위에서 논의된 바와 같이 콘텐츠 갤러리 아이콘(630) 및 포인터(632)에 의해 프롬프트되는 바와 같이, 사용자 인터페이스 화면(602)이 디스플레이될 때 터치패드(124/502) 상에서의 하향 스와이프를 수신하는 것에 응답하여 처음에 나타난다.
알 수 있는 바와 같이, 사용자 인터페이스 화면(604)에서, 캐러셀(610), 탐색 큐(626) 및 탐색 큐(628)는 모두, 터치패드(124/502) 상에서의 하향 스와이프의 수신에 부합하여, 하향으로 이동되었다. 추가적으로, 캐러셀(610)은 하향 스와이프 입력의 추가적인 시각적 확인으로서 중앙 위치(624)에서 하향으로 휘어졌다. 콘텐츠 갤러리 아이콘(630)은 또한 스와이프 입력이 수신됨에 따라 정사각형 형상으로 전이된다. 설정 탐색 큐(628)는 또한, 수신되고 있는 사용자 입력이 탐색 큐(628)에 대응하는 스와이프 방향과 반대이기 때문에, 이 옵션을 강조 해제하기 위해 크기가 감소하거나 그레이-아웃될 수 있다.
특정 미리 결정된 포인트를 넘어 계속적인 하향 스와이프가 터치패드(124/502) 상에서 수신됨에 따라, 사용자 인터페이스 화면(604)은 아래에 논의되는 사용자 인터페이스 화면(606)으로 전이할 것이다. 미리 결정된 포인트에 도달하기 전에 하향 스와이프가 종료되면, 사용자 인터페이스 화면(604)은 사용자 인터페이스 화면(602)으로 다시 스냅될 것이다.
도 6c는 콘텐츠 갤러리 아이콘(630) 및 포인터(632)에 의해 프롬프트되는 바와 같이 그리고 위에서 논의된 바와 같이, 사용자 인터페이스 화면(602)이 디스플레이될 때 터치패드(124/502) 상에서의 하향 스와이프를 수신하는 것에 응답하여 도시된 콘텐츠 갤러리 사용자 인터페이스 화면(606)의 예이다.
사용자 인터페이스 화면(606)은, 예를 들어, 사용자와 연관된 콘텐츠의 갤러리에 저장되고 클라이언트 디바이스(328), 안경(100/500) 상에 또는 원격으로 저장되는 이미지들 또는 비디오들일 수 있는 콘텐츠 아이템들의 캐러셀(646)을 포함한다. 일 예에서, 콘텐츠 아이템들은 선택된 AR 효과가 적용된 동안 클라이언트 디바이스(328) 또는 안경(100/500)을 사용하여 사용자에 의해 캡처된 이미지들 또는 비디오들을 포함한다.
예시된 예에서, 캐러셀(646)은 사용자 인터페이스 화면(606) 내의 중앙 위치에 콘텐츠 아이템(650)뿐만 아니라, 부분적으로 가려진 콘텐츠 아이템(648) 및 콘텐츠 아이템(652)을 포함하는 것으로 보여질 수 있다. 이전과 같이, 터치패드(124/502) 상에서의 전방 또는 후방 스와이프 입력은 캐러셀(646) 내의 콘텐츠 아이템들의 좌측 또는 우측 이동을 야기할 것이고, 콘텐츠 아이템들은 콘텐츠 아이템(650)이 좌측 또는 우측으로 이동함에 따라 중앙 위치의 현재 콘텐츠 아이템을 순차적으로 대체한다. 콘텐츠 아이템(650)이 이동하는 특정 방향은 안경(100/500)의 좌측 또는 우측 상의 터치패드가 위에서 논의된 바와 같이 사용되고 있는지에 의존할 것이다. 중앙 위치를 점유하는 콘텐츠 아이템(650)은 터치패드(124/502)를 탭핑함으로써 선택될 수 있다. 이러한 선택의 결과는 도 9a를 참조하여 아래에서 논의된다.
사용자 인터페이스 화면(606)은 또한 AR 캐러셀 아이콘(640) 및 포인터(642)를 포함하는 탐색 큐(638)를 포함한다. 이전과 같이, 탐색 큐(638)는 사용자 인터페이스 화면(602)에 예시된 AR 효과 캐러셀(610)이 액세스/반환될 수 있다는 정보 힌트를 제공하고, 하향 포인터(642)는 터치패드(124/502) 상에서의 하향 스와이프가 AR 캐러셀 아이콘(640)에 의해 제안된 바와 같이 사용자 인터페이스 화면(602)으로의 전이를 개시할 것이라는 정보 힌트를 제공한다. 또한, 이전과 같이, 탐색 큐(638)는 요구되는 사용자 입력의 방향의 시작에 있는 사용자 인터페이스 화면(606) 내의 위치에 위치된다. 즉, 탐색 큐(638)는 사용자 인터페이스 화면(606)의 상부에 위치되고, 터치패드 상에서의 대응하는 입력 액션은 터치패드의 하부를 향해 하향하는 것이다.
추가적인 사용자 인터페이스 옵션들이 사용자 인터페이스 화면(606)에서 이용가능하다는 것을 표시하는 메뉴 표시자들 또는 오버플로우 표시자 아이콘(644)이 또한 포함된다. 포인터가 없다는 것은 이러한 옵션들이 터치패드(124)/터치패드(502) 상의 수직 스와이프에 의해 액세스되지 않고 오히려 터치패드(124/502) 상의 긴 누름에 의해 액세스된다는 것을 나타낸다. 일 예에서, 그러한 긴 누름은 스크롤 입력들로 탐색되고, 터치 입력들로 선택되고, 하향 스와이프로 해제될 수 있는 UI 아이콘들의 캐러셀을 개방할 것이다. 일 예에서, 선택가능한 UI 아이콘들의 캐러셀은 도 9b를 참조하여 아래에 논의되는 줌 아이콘(912), 전송 아이콘(914) 및 삭제 아이콘(916)을 포함한다.
도 6d는 도 6a의 사용자 인터페이스 화면(606)과 사용자 인터페이스 화면(602) 사이에 디스플레이되는 과도 사용자 인터페이스 화면(608)의 예이다. 사용자 인터페이스 화면(608)은, 위에서 논의된 바와 같이 AR 캐러셀 아이콘(640) 및 포인터(642)에 의해 프롬프트되는 바와 같이, 사용자 인터페이스 화면(606)이 디스플레이될 때 터치패드(124/502) 상에서의 하향 스와이프를 수신하는 것에 응답하여 처음에 나타난다.
알 수 있는 바와 같이, 사용자 인터페이스 화면(608)에서, 캐러셀(646), 탐색 큐(638) 및 아이콘(644)은 모두, 터치패드(124/502) 상에서의 하향 스와이프의 수신에 부합하여, 하향으로 이동했다. 추가적으로, 중앙 위치(624)에 있는 콘텐츠 아이템(650)은 하향 스와이프 입력의 추가적인 시각적 확인으로서 더 하향 이동하고 크기가 감소되었다. 콘텐츠 갤러리 아이콘(630)은 또한 스와이프 입력이 수신됨에 따라 크기가 증가한다.
계속적인 하향 스와이프가 터치패드(124/502) 상에서 수신됨에 따라, 특정 미리 결정된 포인트를 넘어, 사용자 인터페이스 화면(608)은 위에서 논의된 사용자 인터페이스 화면(602)으로 전이할 것이다. 미리 결정된 포인트에 도달하기 전에 하향 스와이프가 종료되면, 사용자 인터페이스 화면(608)은 사용자 인터페이스 화면(606)으로 다시 스냅될 것이다.
도 7a 및 도 7b는 일부 예들에 따른 도 1 또는 도 5의 머리 착용 디바이스에 의해 디스플레이되는 사용자 인터페이스 화면들의 추가 시퀀스를 예시한다. 더 구체적으로, 도 7a 및 도 7b는 사용자 인터페이스 화면(602)이 디스플레이될 때 터치패드 상에서 상향 스와이프가 수신될 때 나타나는 사용자 인터페이스 화면들의 시퀀스를 예시한다. 설정 아이콘(636) 및 포인터(634)를 포함하는 탐색 큐(628)에 의해 프롬프트되는 바와 같은 그러한 상향 스와이프의 수신 시에, 설정 사용자 인터페이스 화면(702)이 디스플레이된다. 알 수 있는 바와 같이, 사용자 인터페이스 화면(702)은 배터리 레벨, 스피커 볼륨, Wi-Fi 네트워크 식별 및 신호 강도, 디스플레이 밝기, 사용자의 이름 및 아바타, 시각, 날짜 등과 같은, 안경(100/500) 또는 클라이언트 디바이스(328)에 관한 다양한 정보를 포함한다.
포인터(704)에 의해 표시된 바와 같이, 사용자 인터페이스 화면(702)이 디스플레이될 때 터치패드(124/502) 상에서의 하향 스와이프의 수신 시에 사용자 인터페이스 화면(602)으로의 복귀가 이루어질 것이다.
도 8a 내지 도 8c는 일부 예들에 따른 도 1 또는 도 5의 머리 착용 디바이스에 의해 디스플레이되는 사용자 인터페이스 화면들의 추가 시퀀스를 예시한다. 더 구체적으로, 도 8a 내지 도 8c는 도 6a의 캐러셀(610)을 사용하여 AR 효과의 선택 및 적용을 묘사하는 예시적인 사용자 인터페이스들을 예시한다.
도 8a는 공백 아이콘(622)이 캐러셀(610) 내의 중앙 위치(624)를 점유하는 사용자 인터페이스 화면(602)을 도시한다. 터치패드(124/502) 상의 적절한 전방 또는 후방 스와이프 모션의 수신 시에, 캐러셀(610) 내의 아이콘들은 AR 효과 아이콘(예를 들어, AR 효과 아이콘(612))이 중앙 위치(624)를 점유하는 사용자 인터페이스 화면(802)에 도시된 위치들로 회전하거나 스크롤링한다. 알 수 있는 바와 같이, AR 효과 아이콘(612)은 그것을 중앙 위치에 보여줌으로써 뿐만 아니라 사용자 인터페이스 화면(602)에 보여지는 그 이전 위치와 비교한 크기 증가에 의해 유의성이 증가된다. AR 효과 아이콘(612)에 대응하는 AR 효과들의 이름 및 그 저자와 같은 서지 정보(806)가 또한 AR 효과 아이콘(612)이 중앙 위치(624)를 점유할 때 사용자 인터페이스 화면(802)에 디스플레이될 수 있다.
사용자 인터페이스 화면(802) 내의 중앙 위치(624)에 도시된 바와 같은 AR 효과 아이콘(612)은 이제 선택 또는 활성화를 위해 이용가능하다. 터치패드(124/502) 상의 사용자에 의한 탭핑의 수신은 도 8c의 일 예에서 사용자 인터페이스 화면(804)에 의해 도시된 바와 같이 AR 효과 아이콘(612)에 대응하는 AR 효과들의 적용을 초래한다. 이 예에서, 카메라들(114) 중 하나 이상에 의해 캡처된 라이브 장면은 3D 텍스트 AR 효과(810) 및 부유 구체 AR 효과들(812)과 같은 다수의 개별 AR 효과들에 의해 향상된 건물(808)을 포함한다. 이해할 수 있는 바와 같이, 임의의 AR 효과 아이콘에 대응하는 AR 효과는 다수의 개별 AR 효과를 포함할 수 있다.
사용자 인터페이스 화면(804)은 또한 "나가기(EXIT)" 텍스트(816) 및 하향 포인터(818)를 포함하는 탐색 큐(814)를 포함한다. 탐색 큐(814)에 의해 제안된 바와 같은 터치패드(124/502) 상에서의 하향 스와이프의 수신 시에, 사용자 인터페이스 화면(804)은 해제될 것이고, 사용자 인터페이스 화면(802)으로의 복귀가 이루어질 것이다.
안경(100/500)이 도 8c에 예시되고 위에서 설명한 상태에 있는 동안, 장면의 캡처 및 그 다양한 적용된 AR 효과들은 안경 상의 버튼들(126) 중 하나를 사용하여 개시될 수 있다. 일 예에서, 좌측 버튼(126) 상의 짧은 버튼 누름의 수신은 장면의 비디오 캡처를 개시하고, 좌측 버튼 상의 긴 버튼 누름의 후속 수신은 진행 중인 비디오 캡처를 종료한다. 좌측 버튼 상의 긴 버튼 누름의 수신은 비디오 캡처가 진행 중이지 않은 경우 정지 이미지 캡처를 개시한다. 물론, 버튼 누름들 및 지속기간들의 다양한 조합들이 콘텐츠 아이템의 캡처를 개시하고 종료하기 위해 사용될 수 있다. 버튼들(126) 상의 사용자 입력의 수신에 의해 개시되는 바와 같은 콘텐츠 캡처가 완료될 때, 아래에 설명되는 사용자 인터페이스 화면(902)이 디스플레이된다.
도 9a 내지 도 9f는 일부 예들에 따른 도 1 또는 도 5의 머리 착용 디바이스에 의해 디스플레이되는 사용자 인터페이스 화면들의 추가 시퀀스를 예시한다. 더 구체적으로, 도 9a 내지 도 9f는 콘텐츠 아이템의 포워딩을 묘사하는 예시적인 사용자 인터페이스들을 예시한다. 도 9b에는 도 9a에 도시된 바와 같이 (캐러셀(646) 내의 중앙 위치에서 콘텐츠 아이템(918)을 선택하기 위해) 사용자 인터페이스 화면(606)이 디스플레이될 때 또는 도 8c를 참조하여 전술한 바와 같이 콘텐츠 캡처의 종료 후에 터치패드(124/502) 상의 탭핑의 수신에 의해 도달된 콘텐츠 미리보기 사용자 인터페이스 화면(902)이 도시되어 있다. 명확성을 위해, 도 9의 나머지 사용자 인터페이스 화면들은 콘텐츠 갤러리 사용자 인터페이스 화면(606) 내의 콘텐츠 아이템(918)을 참조하여 설명될 것이지만, 이러한 예들은 방금 캡처된 콘텐츠에 동일하게 적용된다는 점이 이해될 것이다.
도 9b에 도시된 사용자 인터페이스 화면(902)은 콘텐츠 아이템(918)의 미리보기, 줌 아이콘(912), 전송 아이콘(914) 및 삭제 아이콘(916)을 포함한다. 도시된 예에서, 전송 아이콘(914)은 사용자 인터페이스 화면(902)에서 수신될 입력에 대한 초기 디폴트로서 강조된다. 이 상태에서, 터치패드(124)/터치패드(502) 상의 탭핑의 수신은 수신자-선택 사용자 인터페이스 화면(904)으로의 전이를 초래할 것이다. 그러나, 줌 아이콘(912) 또는 삭제 아이콘(916)이 터치패드(124/502) 상의 관련된 전방 또는 후방 스와이프 입력들 시에 강조될 수 있다(그리고 따라서 선택가능할 수 있다).
줌 아이콘(912)이 선택될 때 터치패드(124/502) 상의 탭핑의 수신시 콘텐츠 아이템(918)이 재생되거나(콘텐츠 아이템이 비디오 또는 gif이거나 동적 AR 효과들을 갖는 경우) 콘텐츠 아이템(918)이 정지 이미지인 경우 더 큰 포맷으로 디스플레이되는 콘텐츠 뷰어 사용자 인터페이스(도시되지 않음)로 전이할 것이다. 이전과 같이, 콘텐츠 뷰어 사용자 인터페이스에서의 하향 스와이프의 수신은 사용자 인터페이스 화면(902)으로 복귀할 것이다.
삭제 아이콘(916)이 선택될 때 터치패드(124/502) 상의 탭핑의 수신은 (아마도 확인을 요청한 후에) 콘텐츠 아이템(918)을 폐기하고, 사용자 인터페이스 화면(606) 또는 사용자 인터페이스 화면(804)일 수 있는 이전 사용자 인터페이스로 복귀할 것이다.
전송 아이콘(914)이 선택될 때 터치패드(124/502) 상의 탭핑의 수신은 잠재적 수신자들, 예를 들어 수신자(922) 및 수신자(924)의 캐러셀(920)이 도시되는 도 9c의 수신자 선택 사용자 인터페이스 화면(904)으로 전이할 것이다. 이러한 맥락에서, 수신자는 개별 수신자, 수신자들의 그룹(예를 들어, "브런치 클럽(Brunch Club)" 수신자(924), "친한 친구들(Besties)"), 또는 비인간 수신자(예를 들어, "마이 스토리(My Story)" 수신자(922))일 수 있다. 비-인간 수신자들의 선택은, 이를 허용하는 적절한 허가들이 획득되었다면, 예를 들어, 콘텐츠 아이템이 소셜 미디어 또는 메시징 애플리케이션 피드, 또는 장면의 위치를 표시하고 사용자 정보를 식별하는 맵에 추가되게 할 수 있다.
이전과 같이, 터치패드(124/502) 상의 전방 또는 후방 스와이프 입력은 캐러셀(920) 내의 수신자들의 좌측 또는 우측 이동을 야기할 것이고, 수신자들은 캐러셀(920)이 좌측 또는 우측으로 스크롤링할 때 중앙 위치에서 수신자를 순차적으로 대체한다. 전방 또는 후방 스와이프에 응답하여 캐러셀(920)이 이동하는 특정 방향은 터치패드가 안경(100/500)의 좌측 또는 우측에 있는지 여부에 의존할 것이며, 이는 도 1을 참조하여 위에서 논의된 바와 같이 사용된다.
캐러셀(920)에서 중앙 위치를 점유하는 수신자는 터치패드(124/502)를 탭핑함으로써 선택될 수 있다. 중앙 위치를 점유하는 수신자는, 예를 들어, 프레임(928)에 둘러싸여짐으로써 또는 증가된 크기와 같은 다른 강조 기술을 사용함으로써 또는 인접한 수신자들에 대해 컬러들을 조정함으로써 강조될 수 있다.
사용자 인터페이스 화면(904)에 있을 때 터치패드(124/502) 상의 탭핑 입력의 수신은 도 9d에 예시된 바와 같이 중앙 위치에서 수신자(924)를 선택(또는 이미 선택된 경우 선택 해제)할 것이다. 예시된 바와 같이, 선택된 수신자는 체크 마크(930)로 표시된다. 추가적으로, 일단 수신자가 선택되면, 전송 아이콘(934) 및 포인터(936)를 포함하는 탐색 큐(932)가 디스플레이된다. 탐색 큐(932)는 요구되는 사용자 입력의 방향의 시작에 있는 사용자 인터페이스 화면(908) 내의 위치에 위치된다. 즉, 탐색 큐(932)는 사용자 인터페이스 화면(602)의 하부에 위치되고, 터치패드 상에서의 대응하는 입력 액션은 터치패드(124/502)의 상부를 향해 상향하는 것이다.
도 9e에 예시된 바와 같이, 하나의 수신자가 선택된 후에, 다른 수신자(922)를 중앙 위치(624)로 가져오기 위해 터치패드(124/502) 상의 전방 또는 후방 터치 입력에 응답하여 캐러셀(920)의 계속된 스크롤링에 의해 추가적인 수신자들이 선택될 수 있으며, 그 선택은 또한 체크 마크(938)로 예시되어 있다. 하나 이상의 수신자가 사용자 인터페이스 화면(906) 또는 사용자 인터페이스 화면(908)에 도시된 바와 같이 선택된 후에, 탐색 큐(932)에 의해 프롬프트되는 바와 같은 터치패드(124/502) 상에서의 상향 스와이프의 수신은 사용자 인터페이스 화면(910)으로의 전이를 초래할 것이다.
도 9f에 예시된 바와 같이, 사용자 인터페이스 화면(910)은 전송 아이콘(934) 및 선택된 수신자들의 클라우드 또는 리스트(940)를 포함한다. 또한, "전송하려면 탭핑"을 나타내는 텍스트 프롬프트(942)가 포함된다. 터치패드(124/500) 상의 탭핑 입력의 수신은 콘텐츠 아이템(918)을 선택된 수신자들에게 전송할 것이다. 안경(100/500)은 이후 사용자 인터페이스 화면(902)에 도달하는 방식에 따라 도 8c의 사용자 인터페이스 화면(804) 또는 도 9a 및 도 6c의 사용자 인터페이스 화면(606)을 디스플레이하는 것으로 복귀할 것이다. 다른 예들에서, 안경은 다른 사용자 인터페이스 화면, 예를 들어, 사용자 인터페이스 화면(602)으로 복귀할 수 있다.
도 9b 내지 도 9f에 도시된 사용자 인터페이스 화면들은 하향 포인터(926)에 의해 도시된 바와 같이 터치패드(124/502) 상에서의 하향 스와이프의 수신 시에 해제될 것이다. 일 예에서, 사용자 인터페이스 화면(910)을 디스플레이하는 동안 수신된 하향 스와이프는 사용자 인터페이스 화면(908)으로 복귀할 것이고, 사용자 인터페이스 화면(904), 사용자 인터페이스 화면(906) 또는 사용자 인터페이스 화면(908)을 디스플레이하는 동안 수신된 하향 스와이프는 사용자 인터페이스 화면(902)으로 복귀할 것이고, 사용자 인터페이스 화면(902)을 디스플레이하는 동안 수신된 하향 스와이프는 사용자 인터페이스 화면(606)으로 복귀할 것이다.
도 10은 일부 예들에 따른 안경(100/500)에 의해 구현될 수 있는 사용자 인터페이스 흐름도(1000)를 예시한다. 흐름도(1000)는 슬립 상태에 있는 안경(100/500)으로 시작한다. 안경(100/500)은 터치패드(124/502) 상의 터치 입력(1004)의 수신 또는 버튼들(126) 중 하나 상의 누름시 각성 상태가 된다. 이에 응답하여, 안경(100/500)이 잠금 상태이면, 사용자 인터페이스 화면(1002)이 제시되어, PIN 번호의 입력을 프롬프트한다. 알 수 있는 바와 같이, 사용자 인터페이스 화면(1002)은 키패드 디스플레이(1006) 및 입력 필드들(1008)을 포함한다.
키패드 디스플레이(1006)는 터치패드(124/502) 상에서 수신된 전방 및 후방 스와이프 입력들에 의해 순회되고, 탭핑 및 스와이프 입력들(1010)에 의해 예시된 바와 같이, 터치패드(124/502) 상의 탭핑 입력의 수신 시에 입력 필드들(1008)에 포함 및 디스플레이하기 위해 강조된 번호가 선택된다. 정확한 PIN의 수신 시에, 안경(100/500)은 전술한 AR 효과 캐러셀(610)을 예시하는 사용자 인터페이스 화면(602)으로 전이한다.
사용자 인터페이스 화면(602)으로부터, 하향 스와이프 입력(1012)의 수신시 콘텐츠 갤러리에 대응하는 사용자 인터페이스 화면(606)으로 전이하고, 하향 스와이프 입력(1012)의 수신은 콘텐츠 갤러리 사용자 인터페이스 화면(606)으로부터 사용자 인터페이스 화면(602)으로 다시 전이한다.
사용자 인터페이스 화면(606) 내에서, 스와이프 입력(1014)은 도 9a를 참조하여 위에서 논의된 바와 같이 콘텐츠 아이템들 사이에서 스크롤링하는 데 사용될 수 있다. 사용자 인터페이스 화면(606) 내에서, 탭핑 입력의 수신은 위에서 더 상세히 논의된 바와 같이 콘텐츠 아이템의 미리보기를 나타내는 사용자 인터페이스 화면(902)으로 전이하는 반면, 사용자 인터페이스 화면(902)에서, 하향 스와이프의 수신은 입력들(1016)에 의해 예시된 바와 같이 사용자 인터페이스 화면(606)으로 복귀한다. 사용자 인터페이스 화면(902) 내에서, 스와이프 입력(1018)은 도 9를 참조하여 위에서 논의된 바와 같이 줌 아이콘(912)을 선택하거나, 아이콘(914)을 전송하거나, 아이콘(916)을 삭제하는 데 사용될 수 있다.
입력들(1020)에 의해 예시된 바와 같이, 사용자 인터페이스 화면(602)으로부터, 상향 스와이프 입력의 수신은 설정들 또는 시스템 정보 사용자 인터페이스 화면(702)으로 전이하고, 하향 스와이프 입력의 수신은 사용자 인터페이스 화면(702)으로부터 사용자 인터페이스 화면(602)으로 다시 전이한다.
유사하게, 아이콘이 중앙 위치(624)에 있는 사용자 인터페이스 화면(602)으로부터, 탭핑 입력의 수신은 AR 효과가 적용된 사용자 인터페이스 화면(804)의 디스플레이를 야기하고, 하향 스와이프 입력의 수신은 입력들(1022)에 의해 예시된 바와 같이 사용자 인터페이스 화면(804)으로부터 사용자 인터페이스 화면(602)으로 다시 전이한다. 도 10과 연관된 추가적인 특징들 또는 화면들은 도 6 내지 도 9를 참조하여 위에서 설명되었다.
도 11은 일부 예들에 따른, 터치패드 상에서 사용자 입력을 수신하는 것에 응답하여 안경(100/500)에 의해 수행되는 동작들을 예시하는 흐름도(1100)이다. 설명 목적으로, 흐름도(1100)의 동작들은 순차적으로 또는 선형적으로 발생하는 것으로 본 명세서에 설명된다. 그러나, 흐름도(1100)의 다수의 동작들은 병렬로 발생할 수 있다. 추가적으로, 흐름도(1100)의 동작들은 도시된 순서로 수행될 필요가 없고, 및/또는 흐름도(1100)의 하나 이상의 블록은 수행될 필요가 없고, 및/또는 다른 동작들로 대체될 수 있다.
도 11에 예시된 동작들은 전형적으로 안경(100/500) 내의 또는 그와 연관된 데이터 프로세서(302) 및 연관된 하드웨어 상에서 실행될 것이다. 명확성을 위해, 흐름도(1100)는 그러한 예를 참조하여 본 명세서에서 논의된다. 다양한 구현들이 물론 가능하며, 동작들 중 일부가 클라이언트 디바이스(328)에서 메시징 애플리케이션(1346)과 같은 애플리케이션에서, 서버 시스템(332) 상에서 발생하거나, 또는 클라이언트 디바이스(328) 상의 하나의 애플리케이션이 필요한 기능을 위해 다른 애플리케이션 또는 SDK를 호출한다. 일 예에서, 동작들은 클라이언트 디바이스(328) 상에서 실행되는 메시징 애플리케이션(1346)과 안경(100) 내의 또는 안경(100)과 연관된 데이터 프로세서(302) 및 연관된 하드웨어 간에 공동으로 수행된다.
방법은 동작 1102에서 시작하고, 안경(100/500)은 AR 효과 캐러셀(610)을 예시하는 사용자 인터페이스 화면(602)을 디스플레이하고, 탐색 큐(626)는 그 위에 있고 탐색 큐(628)는 그 아래에 있다. 언급된 바와 같이, 탐색 큐들은 아이콘 및 포인터를 포함하고, 아이콘은 스와이프 입력의 방향을 나타내는 포인터와 함께 터치패드 상에서의 스와이프 입력의 결과 또는 목적지를 나타내고, 탐색 큐는 요구되는 사용자 입력의 방향의 시작에 있는 사용자 인터페이스 화면(602) 내의 위치에 위치된다.
동작 1104에서 터치패드(124/502) 상에서 수직(즉, 상향 또는 하향) 터치 입력을 수신할 시에, 안경(100/500)은 동작 1106에서 탐색 큐(626) 또는 탐색 큐(628)에 의해 표시된 바와 같은 대응하는 사용자 인터페이스, 예를 들어 도 6 및 도 7을 참조하여 전술한 바와 같은 사용자 인터페이스 화면(606) 또는 사용자 인터페이스 화면(702)을 각각 디스플레이한다. 동작 1108에서 그 사용자 인터페이스 화면에서 하향 터치 입력을 수신하면, 안경은 동작 1102에서, 동작 1110에서 AR 효과 캐러셀(610)의 디스플레이로 복귀한다.
동작 1106에서의 사용자 인터페이스 화면의 디스플레이 동안, 동작 1120에서의 수평(예를 들어, 전방 또는 후방) 터치 입력의 수신은, 동작 1122에서, 디스플레이된 아이템들의 스크롤링을 초래하고(적절한 경우, 예를 들어, 사용자 인터페이스 화면(606)에 대해서는 그러하지만 사용자 인터페이스 화면(702)에 대해서는 그렇지 않음), 이어서 동작 1106에서, 관련 사용자 인터페이스 화면의 디스플레이로의 복귀를 초래한다.
동작 1106에서의 사용자 인터페이스 화면의 디스플레이 동안, 동작 1112에서의 탭핑 입력의 수신은 동작 1114에서의 대응하는 사용자 인터페이스 화면의 디스플레이를 초래하고(적절한 경우, 예를 들어, 사용자 인터페이스 화면(606)으로부터는 그러하지만 사용자 인터페이스 화면(702)으로부터는 그렇지 않음), 여기서 동작 1120 내지 동작 1122에서 설명된 바와 같이 스크롤링에 의해 선택된 아이템, 예를 들어, 사용자 인터페이스 화면(606)에 제시된 바와 같은 콘텐츠 아이템(918)이 사용자 인터페이스 화면 상에 제시된다. 그 다음, 동작 1116에서 추가 터치 입력이 수신될 수 있고, 동작 1118에서 대응하는 액션이 취해질 수 있다. 이러한 입력들 및 대응하는 액션들의 예가 도 9, 도 10 및 도 13을 참조하여 본 명세서에서 논의된다.
동작 1102에서 안경(100/500)에 의한 AR 효과 사용자 인터페이스 화면(602)의 디스플레이 동안, 동작 1126에서 수평(예를 들어, 전방 또는 후방) 터치 입력의 수신은 도 6을 참조하여 위에서 논의된 바와 같이 동작 1128에서 AR 효과 아이콘들의 스크롤링을 초래한다. 중앙 위치에 AR 효과 아이콘을 갖는 동작 1130에서의 탭핑 입력의 수신 시에, 동작 1132에서, 대응하는 AR 효과들이 카메라들(114)에 의해 관찰되는 장면에 적용되는 사용자 인터페이스 화면(804)이 디스플레이된다. 동작 1134에서 수신된 추가 터치 입력은 그 후 동작 1136에서 대응하는 액션이 취해지게 할 것이다. 이러한 입력들 및 대응하는 액션들의 예는 도 8, 도 9, 도 10 및 도 13을 참조하여 본 명세서에서 논의된다.
동작 1118 또는 1136에서의 대응하는 액션들의 완료 시에, 안경(100/300)은 전형적으로 본 명세서에 설명된 바와 같은 추가 동작들을 위해 사용자 인터페이스 화면(602) 또는 사용자 인터페이스 화면(606)으로 복귀할 것이다.
도 12는 일부 예들에 따른, 터치패드 상에서 사용자 입력을 수신하는 것에 응답하여 안경(100/500)에 의해 수행되는 콘텐츠 아이템 선택 및 전송 동작들을 예시하는 흐름도(1200)이다. 설명 목적으로, 흐름도(1200)의 동작들은 순차적으로 또는 선형적으로 발생하는 것으로 본 명세서에 설명된다. 그러나, 흐름도(1200)의 다수의 동작들은 병렬로 발생할 수 있다. 추가적으로, 흐름도(1200)의 동작들은 도시된 순서로 수행될 필요가 없고, 및/또는 흐름도(1200)의 하나 이상의 블록은 수행될 필요가 없고, 및/또는 다른 동작들로 대체될 수 있다.
도 12에 예시된 동작들은 전형적으로 안경(100/500) 내의 또는 그와 연관된 데이터 프로세서(302) 및 연관된 하드웨어 상에서 실행될 것이다. 명확성을 위해, 흐름도(1200)는 그러한 예를 참조하여 본 명세서에서 논의된다. 다양한 구현들이 물론 가능하며, 동작들 중 일부가 클라이언트 디바이스(328)에서 메시징 애플리케이션(1346)과 같은 애플리케이션에서, 서버 시스템(332) 상에서 발생하거나, 또는 클라이언트 디바이스(328) 상의 하나의 애플리케이션이 필요한 기능을 위해 다른 애플리케이션 또는 SDK를 호출한다. 일 예에서, 동작들은 클라이언트 디바이스(328) 상에서 실행되는 메시징 애플리케이션(1346)과 안경(100) 내의 또는 안경(100)과 연관된 데이터 프로세서(302) 및 연관된 하드웨어 간에 공동으로 수행된다.
방법은 동작 1202에서 시작하여 안경(100/500)이 콘텐츠 미리보기 사용자 인터페이스 화면(902)을 디스플레이한다. 위에서 논의된 바와 같이, 이 화면은 사용자 인터페이스 화면(606)에서 콘텐츠 아이템을 선택하기 위한 스크롤링 및 탭핑에 의해, 또는 사용자 인터페이스 화면(804)에서 수신된 콘텐츠 캡처 사용자 입력의 결과로서 도달된 것일 수 있다. 사용자 인터페이스 화면(902)은, 도 9b를 참조하여 위에서 논의된 바와 같이, 동작 1204에서, 수평 터치 입력들(전방 또는 후방)에 응답한 스크롤링 및 터치패드(124/502) 상의 터치 입력의 수신에 응답하여 선택될 수 있는 3개의 옵션들을 포함한다.
삭제 아이콘(916)이 선택될 때 터치 입력의 수신 시에, 동작 1206에서 사용자 인터페이스 화면(902)에 보여진 콘텐츠 아이템이 삭제되고, 동작 1208에서, 안경(100/500)은 사용자 인터페이스 화면(902) 이전에 디스플레이된 이전 사용자 인터페이스 화면으로 복귀한다. 일 예에서, 이는 사용자 인터페이스 화면(606) 또는 사용자 인터페이스 화면(804) 중 어느 하나일 것이다.
줌 아이콘(912)이 선택될 때 동작 1204에서 터치패드(124/502) 상의 탭핑의 수신 시에, 콘텐츠 뷰어 사용자 인터페이스는 동작 1210에서 안경(100/500)에 의해 디스플레이되고, 여기서 사용자 인터페이스 화면(902)에 보여진 콘텐츠 아이템은 (콘텐츠 아이템이 비디오 또는 gif이거나 동적 AR 효과들을 갖는 경우) 재생되거나 콘텐츠 아이템이 정지 이미지인 경우 더 큰 포맷으로 디스플레이된다. 동작 1212에서 터치패드(124/502) 상에서의 하향 스와이프의 수신은 동작 1214에서 동작 1202에서 콘텐츠 미리보기 사용자 인터페이스 화면(902)의 디스플레이로 복귀할 것이다.
전송 아이콘(914)이 선택될 때 동작 1204에서 터치패드(124/502) 상의 탭핑의 수신시에, 어드레스 북 또는 수신자-선택 사용자 인터페이스 화면(904)이 동작 1216에서 디스플레이되고, 여기서 잠재적 수신자들의 캐러셀(920)이 도시된다.
이전과 같이, 터치패드(124/502) 상의 동작 1218에서의 전방 또는 후방 스와이프 입력은 동작 1220에서 수신자 선택 캐러셀(920)에서의 수신자들의 좌측 또는 우측 이동을 야기할 것이며, 캐러셀이 좌측 또는 우측으로 스크롤링할 때 수신자들은 중앙 위치에서 수신자를 순차적으로 대체한다.
캐러셀(920)에서 중앙 위치를 점유하는 수신자는 동작 1222에서 터치패드(124/502) 상의 탭핑 입력에 응답하여 동작 1224에서 선택되거나, 이미 선택된 경우 선택 해제될 수 있다. 도 9d 및 도 9e를 참조하여 위에서 논의된 바와 같이, 선택된 수신자는 체크 마크로 표시되고, 일단 수신자가 선택되면, "전송" 탐색 큐가 디스플레이된다.
동작 1226에서 전송 명령어에 대응하는 터치 입력이 수신되지 않는 경우, 방법은 동작 1216으로 복귀하여 동작 1218 내지 동작 1224에서 추가적인 수신자들의 선택을 허용한다. 하나 이상의 수신자가 사용자 인터페이스 화면(906) 또는 사용자 인터페이스 화면(908)에 도시된 바와 같이 선택된 후에, 탐색 큐(932)에 의해 프롬프트되는 바와 같은 터치패드(124/502) 상에서의 상향 스와이프와 같은, 동작 1126에서의 전송 입력의 수신은 사용자 인터페이스 화면(910)과 같은, 동작 1228에서의 확인 사용자 입력 화면으로의 전이를 초래할 것이다. 동작 1230에서, 전송 아이콘(934)에 응답한 탭핑 입력과 같은 확인 사용자 입력의 수신은, 동작 1232에서, 안경(100/500) 또는 연관된 클라이언트 디바이스(328)로 하여금 콘텐츠 아이템을 선택된 수신자들에게 전송하게 한다.
동작 1232에서 선택된 수신자들로의 콘텐츠 아이템의 전송의 완료 시에, 안경(100/300)은 전형적으로 동작 1234에서 콘텐츠 미리보기 사용자 인터페이스 화면(902)에 도달하는 방식에 따라 도 8c의 사용자 인터페이스 화면(804) 또는 도 9a/도 6c의 사용자 인터페이스 화면(606) 중 어느 하나를 디스플레이하는 것으로 복귀할 것이다. 다른 예들에서, 안경은 다른 사용자 인터페이스 화면, 예를 들어 사용자 인터페이스 화면(602)으로 복귀할 수 있으며, 이 시점에서 추가 동작들이 본 명세서에 설명된 바와 같이 수행될 수 있다.
도 13은 본 명세서에 설명된 디바이스들 중 임의의 하나 이상에 설치될 수 있는 소프트웨어 아키텍처(1304)를 예시하는 블록도(1300)이다. 소프트웨어 아키텍처(1304)는 프로세서들(1320), 메모리(1326) 및 I/O 컴포넌트들(1338)을 포함하는 머신(1302)과 같은 하드웨어에 의해 지원된다. 이 예에서, 소프트웨어 아키텍처(1304)는 계층들의 스택으로서 개념화될 수 있으며, 여기서 각각의 계층은 특정 기능을 제공한다. 소프트웨어 아키텍처(1304)는 운영 체제(1312), 라이브러리들(1308), 프레임워크들(1310) 및 애플리케이션들(1306)과 같은 계층들을 포함한다. 동작적으로, 애플리케이션들(1306)은 소프트웨어 스택을 통해 API 호출들(1350)을 호출하고, API 호출들(1350)에 응답하여 메시지들(1352)을 수신한다.
운영 체제(1312)는 하드웨어 리소스들을 관리하고 공통 서비스들을 제공한다. 운영 체제(1312)는, 예를 들어, 커널(1314), 서비스들(1316), 및 드라이버들(1322)을 포함한다. 커널(1314)은 하드웨어와 다른 소프트웨어 계층들 사이의 추상화 계층(abstraction layer)으로서 기능한다. 예를 들어, 커널(1314)은, 다른 기능 중에서도, 메모리 관리, 프로세서 관리(예를 들면, 스케줄링), 컴포넌트 관리, 네트워킹, 및 보안 설정을 제공한다. 서비스들(1316)은 다른 소프트웨어 계층들에 대한 다른 공통 서비스들을 제공할 수 있다. 드라이버들(1322)은 기반 하드웨어(underlying hardware)를 제어하거나 그와 인터페이스하는 일을 맡고 있다. 예를 들어, 드라이버들(1322)은 디스플레이 드라이버들, 카메라 드라이버들, BLUETOOTH® 또는 BLUETOOTH® Low Energy 드라이버들, 플래시 메모리 드라이버들, 직렬 통신 드라이버들(예를 들면, USB(Universal Serial Bus) 드라이버들), WI-FI® 드라이버들, 오디오 드라이버들, 전력 관리 드라이버들 등을 포함할 수 있다.
라이브러리들(1308)은 애플리케이션들(1306)에 의해 사용되는 로우-레벨 공통 인프라스트럭처를 제공한다. 라이브러리들(1308)은 메모리 할당 기능들, 문자열 조작 기능들, 수학 함수들 등과 같은 기능들을 제공하는 시스템 라이브러리들(1318)(예를 들면, C 표준 라이브러리)을 포함할 수 있다. 추가적으로, 라이브러리들(1308)은 미디어 라이브러리들(예를 들면, MPEG4(Moving Picture Experts Group-4), H.264 또는 AVC(Advanced Video Coding), MP3(Moving Picture Experts Group Layer-3), AAC(Advanced Audio Coding), AMR(Adaptive Multi-Rate) 오디오 코덱, JPEG 또는 JPG(Joint Photographic Experts Group), 또는 PNG(Portable Network Graphics)와 같은 다양한 미디어 포맷들의 프레젠테이션 및 조작을 지원하는 라이브러리들), 그래픽 라이브러리들(예를 들면, 디스플레이 상에 그래픽 콘텐츠를 2차원(2D) 및 3차원(3D)으로 렌더링하는 데 사용되는 OpenGL 프레임워크), 데이터베이스 라이브러리들(예를 들면, 다양한 관계형 데이터베이스 기능들을 제공하는 SQLite), 웹 라이브러리들(예를 들면, 웹 브라우징 기능을 제공하는 WebKit) 등과 같은 API 라이브러리들(1324)을 포함할 수 있다. 라이브러리들(1308)은 많은 다른 API들을 애플리케이션들(1306)에 제공하는 매우 다양한 다른 라이브러리들(1328)을 또한 포함할 수 있다.
프레임워크들(1310)은 애플리케이션들(1306)에 의해 사용되는 하이-레벨 공통 인프라스트럭처를 제공한다. 예를 들어, 프레임워크들(1310)은 다양한 그래픽 사용자 인터페이스(GUI) 기능들, 하이-레벨 리소스 관리, 및 하이-레벨 위치 서비스들을 제공한다. 프레임워크들(1310)은 애플리케이션들(1306)에 의해 사용될 수 있는 광범위한 다른 API들을 제공할 수 있으며, 이들 중 일부는 특정 운영 체제 또는 플랫폼에 특정할 수 있다.
예에서, 애플리케이션들(1306)은 홈 애플리케이션(1336), 연락처 애플리케이션(1330), 브라우저 애플리케이션(1332), 북 리더 애플리케이션(1334), 위치 애플리케이션(1342), 미디어 애플리케이션(1344), 메시징 애플리케이션(1346), 게임 애플리케이션(1348), 및 제3자 애플리케이션들(1340)과 같은 아주 다양한 다른 애플리케이션들을 포함할 수 있다. 애플리케이션들(1306)은 프로그램들에 정의된 기능들을 실행하는 프로그램들이다. 다양한 방식들로 구조화된 애플리케이션들(1306) 중 하나 이상을 생성하기 위해, 객체 지향 프로그래밍 언어들(예를 들면, Objective-C, Java, 또는 C++) 또는 절차적 프로그래밍 언어들(예를 들면, C 또는 어셈블리어)과 같은, 다양한 프로그래밍 언어들이 이용될 수 있다. 특정 예에서, 제3자 애플리케이션들(1340)(예를 들면, 특정 플랫폼의 벤더 이외의 엔티티에 의해 ANDROIDTM 또는 IOSTM SDK(software development kit)를 사용하여 개발되는 애플리케이션들)은 IOSTM, ANDROIDTM, WINDOWS® Phone, 또는 다른 모바일 운영 체제와 같은 모바일 운영 체제 상에서 실행되는 모바일 소프트웨어일 수 있다. 이 예에서, 제3자 애플리케이션들(1340)은 본 명세서에 설명되는 기능을 용이하게 하기 위해 운영 체제(1312)에 의해 제공되는 API 호출들(1350)을 호출할 수 있다.
도 14는 머신(1400)의 도식적 표현으로서, 머신(1400)으로 하여금 본 명세서에서 논의되는 방법론들 중 임의의 하나 이상을 수행하게 하기 위한 명령어들(1410)(예를 들면, 소프트웨어, 프로그램, 애플리케이션, 애플릿, 앱, 또는 다른 실행가능 코드)이 머신(1400) 내에서 실행될 수 있다. 예를 들어, 명령어들(1410)은 머신(1400)으로 하여금 본 명세서에 설명된 방법들 중 임의의 하나 이상을 실행하게 할 수 있다. 명령어들(1410)은 범용, 프로그래밍되지 않은 머신(1400)을 설명되고 예시된 기능들을 설명된 방식으로 수행하도록 프로그래밍된 특정 머신(1400)으로 변환한다. 머신(1400)은 독립형 디바이스로서 작동할 수 있거나, 다른 머신들에 결합(예를 들면, 네트워크로 연결)될 수 있다. 네트워크화된 배포(networked deployment)에서, 머신(1400)은 서버-클라이언트 네트워크 환경에서 서버 머신 또는 클라이언트 머신의 역할로서, 또는 피어 투 피어(또는 분산) 네트워크 환경에서 피어 머신으로서 작동할 수 있다. 머신(1400)은 서버 컴퓨터, 클라이언트 컴퓨터, 개인용 컴퓨터(PC), 태블릿 컴퓨터, 랩톱 컴퓨터, 넷북, 셋톱 박스(STB), PDA, 엔터테인먼트 미디어 시스템, 셀룰러 전화, 스마트 폰, 모바일 디바이스, 머리 착용 디바이스(예를 들면, 스마트 워치), 스마트 홈 디바이스(예를 들면, 스마트 기기), 다른 스마트 디바이스들, 웹 어플라이언스(web appliance), 네트워크 라우터, 네트워크 스위치, 네트워크 브리지, 또는 머신(1400)에 의해 취해질 액션들을 명시하는 명령어들(1410)을, 순차적으로 또는 다른 방식으로, 실행할 수 있는 임의의 머신을 포함할 수 있지만, 이에 제한되지 않는다. 또한, 단일 머신(1400)만이 예시되어 있지만, "머신"이라는 용어는 또한 본 명세서에서 논의되는 방법론들 중 임의의 하나 이상을 수행하기 위해 명령어들(1410)을 개별적으로 또는 공동으로 실행하는 머신들의 컬렉션을 포함하는 것으로 해석되어야 한다.
머신(1400)은 버스(1444)를 통해 서로 통신하도록 구성될 수 있는 프로세서들(1402), 메모리(1404), 및 I/O 컴포넌트들(1406)을 포함할 수 있다. 예에서, 프로세서들(1402)(예를 들면, CPU(Central Processing Unit), RISC(Reduced Instruction Set Computing) 프로세서, CISC(Complex Instruction Set Computing) 프로세서, GPU(Graphics Processing Unit), DSP(Digital Signal Processor), ASIC, RFIC(Radio-Frequency Integrated Circuit), 다른 프로세서, 또는 이들의 임의의 적절한 조합)은, 예를 들어, 명령어들(1410)을 실행하는 프로세서(1408) 및 프로세서(1412)를 포함할 수 있다. "프로세서"라는 용어는 명령어들을 동시에 실행할 수 있는 2개 이상의 독립적인 프로세서(때때로 "코어"라고 지칭됨)를 포함할 수 있는 멀티코어 프로세서들을 포함하는 것으로 의도되어 있다. 도 14가 다수의 프로세서들(1402)을 도시하고 있지만, 머신(1400)은 단일 코어를 갖는 단일 프로세서, 다수의 코어들을 갖는 단일 프로세서(예를 들면, 멀티코어 프로세서), 단일 코어를 갖는 다수의 프로세서들, 다수의 코어들을 갖는 다수의 프로세서들, 또는 이들의 임의의 조합을 포함할 수 있다.
메모리(1404)는, 모두가 버스(1444)를 통해 프로세서들(1402)에 의해 액세스 가능한, 메인 메모리(1414), 정적 메모리(1416) 및 저장 유닛(1418)을 포함한다. 메인 메모리(1404), 정적 메모리(1416), 및 저장 유닛(1418)은 본 명세서에 설명된 방법론들 또는 기능들 중 임의의 하나 이상을 구체화하는 명령어들(1410)을 저장한다. 명령어들(1410)은 또한, 네트워크화된 시스템(300)에 의한 그들의 실행 동안, 완전히 또는 부분적으로, 메인 메모리(1414) 내에, 정적 메모리(1416) 내에, 저장 유닛(1418) 내의 머신 판독 가능 매체(1420) 내에, 프로세서들(1402) 중 적어도 하나 내에(예를 들면, 프로세서의 캐시 메모리 내에), 또는 이들의 임의의 적절한 조합으로 존재할 수 있다.
I/O 컴포넌트들(1406)은 입력을 수신하고, 출력을 제공하며, 출력을 생성하고, 정보를 전송하며, 정보를 교환하고, 측정치들을 캡처하는 등을 위한 매우 다양한 컴포넌트들을 포함할 수 있다. 특정 머신에 포함되는 특정 I/O 컴포넌트들(1406)은 머신 유형에 의존할 것이다. 예를 들어, 이동 전화들과 같은 휴대용 머신들은 터치 입력 디바이스 또는 다른 그러한 입력 메커니즘들을 포함할 수 있는 반면, 헤드리스 서버 머신(headless server machine)은 그러한 터치 입력 디바이스를 포함하지 않을 가능성이 있다. I/O 컴포넌트들(1406)이 도 14에 도시되지 않은 많은 다른 컴포넌트들을 포함할 수 있다는 것이 이해될 것이다. 다양한 예들에서, I/O 컴포넌트들(1406)은 출력 컴포넌트들(1428) 및 입력 컴포넌트들(1432)을 포함할 수 있다. 출력 컴포넌트들(1428)은 시각적 컴포넌트들(예를 들면, PDP(plasma display panel), LED(light emitting diode) 디스플레이, LCD(liquid crystal display), 프로젝터, 또는 CRT(cathode ray tube)와 같은 디스플레이), 음향 컴포넌트들(예를 들면, 스피커들), 햅틱 컴포넌트들(예를 들면, 진동 모터, 저항 메커니즘들), 다른 신호 생성기들 등을 포함할 수 있다. 입력 컴포넌트들(1432)은 영숫자 입력 컴포넌트들(예를 들면, 키보드, 영숫자 입력을 수신하도록 구성된 터치스크린, 포토-옵티컬 키보드(photo-optical keyboard), 또는 다른 영숫자 입력 컴포넌트들), 포인트 기반 입력 컴포넌트들(예를 들면, 마우스, 터치패드, 트랙볼, 조이스틱, 모션 센서, 또는 다른 포인팅 기구), 촉각 입력 컴포넌트들(예를 들면, 물리적 버튼, 터치들 또는 터치 제스처들의 위치 및/또는 힘을 제공하는 터치스크린, 또는 다른 촉각 입력 컴포넌트들), 오디오 입력 컴포넌트들(예를 들면, 마이크로폰) 등을 포함할 수 있다.
추가의 예들에서, I/O 컴포넌트들(1406)은, 매우 다양한 다른 컴포넌트들 중에서도, 생체측정 컴포넌트들(1434), 모션 컴포넌트들(1436), 환경 컴포넌트들(1438), 또는 위치 컴포넌트들(1440)을 포함할 수 있다. 예를 들어, 생체측정 컴포넌트들(1434)은 표현들(예를 들면, 손 표현들, 얼굴 표정들, 음성 표현들, 신체 제스처들, 또는 눈 추적)을 검출하는 것, 생체신호들(예를 들면, 혈압, 심박수, 체온, 발한 또는 뇌파들)을 측정하는 것, 사람을 식별하는 것(예를 들면, 음성 식별, 망막 식별, 얼굴 식별, 지문 식별, 또는 뇌파도 기반 식별) 등을 하는 컴포넌트들을 포함한다. 모션 컴포넌트들(1436)은 가속도 센서 컴포넌트들(예를 들면, 가속도계), 중력 센서 컴포넌트들, 회전 센서 컴포넌트들(예를 들면, 자이로스코프) 등을 포함한다. 환경 컴포넌트들(1438)은, 예를 들어, 조명 센서 컴포넌트들(예를 들면, 광도계), 온도 센서 컴포넌트들(예를 들면, 주변 온도를 검출하는 하나 이상의 온도계), 습도 센서 컴포넌트들, 압력 센서 컴포넌트들(예를 들면, 기압계), 음향 센서 컴포넌트들(예를 들면, 배경 잡음을 검출하는 하나 이상의 마이크로폰), 근접 센서 컴포넌트들(예를 들면, 인근의 객체들을 검출하는 적외선 센서들), 가스 센서들(예를 들면, 안전을 위해 유해 가스들의 농도들을 검출하거나 대기 중의 오염물질들을 측정하는 가스 검출 센서들), 또는 주변의 물리적 환경에 대응하는 표시들, 측정들, 또는 신호들을 제공할 수 있는 다른 컴포넌트들을 포함한다. 위치 컴포넌트들(1440)은 위치 센서 컴포넌트들(예를 들면, GPS 수신기 컴포넌트), 고도 센서 컴포넌트들(예를 들면, 기압- 이로부터 고도가 도출될 수 있음- 을 검출하는 고도계들 또는 기압계들), 배향 센서 컴포넌트들(예를 들면, 자력계들) 등을 포함한다.
통신은 매우 다양한 기술들을 사용하여 구현될 수 있다. I/O 컴포넌트들(1406)은 네트워크화된 시스템(300)을 결합(1430) 및 결합(1426)을 통해, 각각, 네트워크(1422) 또는 디바이스들(1424)에 결합시키도록 동작가능한 통신 컴포넌트들(1442)을 더 포함한다. 예를 들어, 통신 컴포넌트들(1442)은 네트워크(1422)와 인터페이스하기 위한 네트워크 인터페이스 컴포넌트 또는 다른 적합한 디바이스를 포함할 수 있다. 추가의 예들에서, 통신 컴포넌트들(1442)은 유선 통신 컴포넌트들, 무선 통신 컴포넌트들, 셀룰러 통신 컴포넌트들, NFC(Near Field Communication) 컴포넌트들, Bluetooth® 컴포넌트들(예를 들면, Bluetooth® Low Energy), Wi-Fi® 컴포넌트들, 및 다른 모달리티들을 통해 통신을 제공하는 다른 통신 컴포넌트들을 포함할 수 있다. 디바이스들(1424)은 다른 머신 또는 매우 다양한 주변 디바이스들 중 임의의 것(예를 들면, USB를 통해 결합된 주변 디바이스)일 수 있다.
더욱이, 통신 컴포넌트들(1442)은 식별자들을 검출할 수 있거나 식별자들을 검출하도록 동작가능한 컴포넌트들을 포함할 수 있다. 예를 들어, 통신 컴포넌트들(1442)은 RFID(Radio Frequency Identification) 태그 판독기 컴포넌트들, NFC 스마트 태그 검출 컴포넌트들, 광학 판독기 컴포넌트들(예를 들면, UPC(Universal Product Code) 바코드와 같은 1차원 바코드들, QR(Quick Response) 코드, Aztec 코드, Data Matrix, Dataglyph, MaxiCode, PDF417, Ultra Code, UCC RSS-2D 바코드와 같은 다차원 바코드들, 및 다른 광학 코드들을 검출하는 광학 센서), 또는 음향 검출 컴포넌트들(예를 들면, 태깅된 오디오 신호들을 식별하는 마이크로폰들)을 포함할 수 있다. 추가적으로, IP(Internet Protocol) 지리위치(geolocation)를 통한 위치확인, Wi-Fi® 신호 삼각측량을 통한 위치확인, 특정 위치를 표시할 수 있는 NFC 비컨 신호를 검출하는 것을 통한 위치확인 등과 같이, 다양한 정보가 통신 컴포넌트들(1442)을 통해 도출될 수 있다.
다양한 메모리들(예를 들면, 메모리(1404), 메인 메모리(1414), 정적 메모리(1416), 및/또는 프로세서들(1402)의 메모리) 및/또는 저장 유닛(1418)은 본 명세서에 설명된 방법론들 또는 기능들 중 임의의 하나 이상을 구체화하거나 그에 의해 사용되는 명령어들 및 데이터 구조들의 하나 이상의 세트(예를 들면, 소프트웨어)를 저장할 수 있다. 이러한 명령어들(예를 들면, 명령어들(1410))은, 프로세서들(1402)에 의해 실행될 때, 다양한 동작들이 개시된 예들을 구현하게 한다.
명령어들(1410)은 네트워크(1422)를 통해, 전송 매체를 사용하여, 네트워크 인터페이스 디바이스(예를 들면, 통신 컴포넌트들(1442)에 포함된 네트워크 인터페이스 컴포넌트)를 통해 그리고 다수의 잘 알려진 전송 프로토콜들 중 임의의 것(예를 들면, HTTP(hypertext transfer protocol))을 사용하여 송신 또는 수신될 수 있다. 유사하게, 명령어들(1410)은 디바이스들(1424)에 대한 결합(1426)(예를 들면, 피어 투 피어 결합)을 통해 전송 매체를 사용하여 송신 또는 수신될 수 있다.
"반송파 신호"는 머신에 의해 실행할 명령어들을 저장하거나, 인코딩하거나, 또는 반송할 수 있는 임의의 무형적 매체 (intangible medium)를 지칭하고, 그러한 명령어들의 통신을 용이하게 하기 위한 디지털 또는 아날로그 통신 신호들 또는 다른 무형적 매체들을 포함한다. 명령어들은 네트워크 인터페이스 디바이스를 통해 전송 매체를 사용하여 네트워크를 통해 송신되거나 수신될 수 있다.
"클라이언트 디바이스"는 하나 이상의 서버 시스템 또는 다른 클라이언트 디바이스로부터의 리소스들을 획득하기 위해 통신 네트워크와 인터페이스하는 임의의 머신을 지칭한다. 클라이언트 디바이스는 이동 전화, 데스크톱 컴퓨터, 랩톱, PDA들(portable digital assistants), 스마트폰들, 태블릿들, 울트라북들, 넷북들, 랩톱들, 멀티프로세서 시스템들, 마이크로프로세서 기반 또는 프로그래밍 가능 소비자 전자제품들, 게임 콘솔들, 셋톱 박스들, 또는 사용자가 네트워크에 액세스하기 위해 사용할 수 있는 임의의 다른 통신 디바이스일 수 있지만, 이에 제한되지 않는다.
"통신 네트워크"는 애드혹 네트워크, 인트라넷, 엑스트라넷, VPN(virtual private network), LAN(local area network), WLAN(wireless LAN), WAN(wide area network), WWAN(wireless WAN), MAN(metropolitan area network), 인터넷, 인터넷의 일 부분, PSTN(Public Switched Telephone Network)의 일 부분, POTS(plain old telephone service) 네트워크, 셀룰러 전화 네트워크, 무선 네트워크, Wi-Fi® 네트워크, 다른 유형의 네트워크, 또는 2개 이상의 그러한 네트워크의 조합일 수 있는 네트워크의 하나 이상의 부분을 지칭한다. 예를 들어, 네트워크 또는 네트워크의 일 부분은 무선 또는 셀룰러 네트워크를 포함할 수 있고, 결합은 CDMA(Code Division Multiple Access) 연결, GSM(Global System for Mobile communications) 연결, 또는 다른 유형들의 셀룰러 또는 무선 결합일 수 있다. 이 예에서, 결합은 1xRTT(Single Carrier Radio Transmission Technology), EVDO(Evolution-Data Optimized) 기술, GPRS(General Packet Radio Service) 기술, EDGE(Enhanced Data rates for GSM Evolution) 기술, 3G, 4G(fourth generation) 무선 네트워크들, UMTS(Universal Mobile Telecommunications System), HSPA(High Speed Packet Access), WiMAX(Worldwide Interoperability for Microwave Access), LTE(Long Term Evolution) 표준을 포함한 3GPP(third Generation Partnership Project), 다양한 표준 제정 기구들에 의해 정의되는 다른 표준들, 다른 장거리 프로토콜들, 또는 다른 데이터 전송 기술과 같은, 다양한 유형들의 데이터 전송 기술 중 임의의 것을 구현할 수 있다.
"컴포넌트"는 특정 처리 또는 제어 기능들의 분할 또는 모듈화를 제공하는 기능 또는 서브루틴 호출들, 분기점들, API들 또는 다른 기술들에 의해 정의되는 경계들을 갖는 디바이스, 물리적 엔티티 또는 로직을 지칭한다. 컴포넌트들은 머신 프로세스를 수행하기 위해 자신의 인터페이스들을 통해 다른 컴포넌트들과 조합될 수 있다. 컴포넌트는 다른 컴포넌트들과 함께 사용하도록 설계된 패키징된 기능적 하드웨어 유닛 및 일반적으로 관련 기능들 중 특정 기능을 수행하는 프로그램의 일부일 수 있다. 컴포넌트들은 소프트웨어 컴포넌트들(예를 들면, 머신 판독 가능 매체 상에 구체화된 코드) 또는 하드웨어 컴포넌트들 중 어느 하나를 구성할 수 있다. "하드웨어 컴포넌트"는 특정 동작들을 수행할 수 있는 유형적 유닛(tangible unit)이고, 특정 물리적 방식으로 구성되거나 배열될 수 있다. 다양한 예들에서, 하나 이상의 컴퓨터 시스템(예를 들면, 독립형 컴퓨터 시스템, 클라이언트 컴퓨터 시스템, 또는 서버 컴퓨터 시스템) 또는 컴퓨터 시스템의 하나 이상의 하드웨어 컴포넌트(예를 들면, 프로세서 또는 프로세서들의 그룹)는 본 명세서에 설명되는 바와 같이 특정 동작들을 수행하도록 작동하는 하드웨어 컴포넌트로서 소프트웨어(예를 들면, 애플리케이션 또는 애플리케이션 부분)에 의해 구성될 수 있다. 하드웨어 컴포넌트는 또한 기계적으로, 전자적으로, 또는 이들의 임의의 적절한 조합으로 구현될 수 있다. 예를 들어, 하드웨어 컴포넌트는 특정 동작들을 수행하도록 영구적으로 구성된 전용 회로 또는 로직을 포함할 수 있다. 하드웨어 컴포넌트는, FPGA(field-programmable gate array) 또는 ASIC(application specific integrated circuit)와 같은, 특수 목적 프로세서일 수 있다. 하드웨어 컴포넌트는 특정 동작들을 수행하도록 소프트웨어에 의해 일시적으로 구성되는 프로그래밍 가능 로직 또는 회로를 또한 포함할 수 있다. 예를 들어, 하드웨어 컴포넌트는 범용 프로세서 또는 다른 프로그래밍 가능 프로세서에 의해 실행되는 소프트웨어를 포함할 수 있다. 일단 그러한 소프트웨어에 의해 구성되면, 하드웨어 컴포넌트들은 구성된 기능들을 수행하도록 고유하게 맞춤화된(uniquely tailored) 특정 머신들(또는 머신의 특정 컴포넌트들)이 되고 더 이상 범용 프로세서들이 아니다. 하드웨어 컴포넌트를 기계적으로, 영구적으로 구성된 전용 회로로, 또는 일시적으로 구성된 회로(예를 들면, 소프트웨어에 의해 구성됨)로 구현하기로 하는 결정이 비용 및 시간 고려사항들에 의해 주도될 수 있다는 것이 이해될 것이다. 그에 따라, "하드웨어 컴포넌트"(또는 "하드웨어 구현 컴포넌트")라는 문구는, 엔티티가 특정 방식으로 작동하도록 또는 본 명세서에 설명되는 특정 동작들을 수행하도록 물리적으로 구성되든, 영구적으로 구성되든(예를 들면, 고정 배선되든) 또는 일시적으로 구성되든(예를 들면, 프로그래밍되든) 관계없이, 유형적 엔티티를 포함하는 것으로 이해되어야 한다. 하드웨어 컴포넌트들이 일시적으로 구성되는(예를 들면, 프로그래밍되는) 예들을 고려할 때, 하드웨어 컴포넌트들 각각이 임의의 하나의 시간 인스턴스에서 구성 또는 인스턴스화될 필요는 없다. 예를 들어, 하드웨어 컴포넌트가 특수 목적 프로세서가 되도록 소프트웨어에 의해 구성되는 범용 프로세서를 포함하는 경우에, 범용 프로세서는 상이한 시간들에서 각각 상이한 특수 목적 프로세서들(예를 들면, 상이한 하드웨어 컴포넌트들을 포함함)로서 구성될 수 있다. 소프트웨어는 그에 따라, 예를 들어, 하나의 시간 인스턴스에서는 특정 하드웨어 컴포넌트를 구성하고 상이한 시간 인스턴스에서는 상이한 하드웨어 컴포넌트를 구성하도록 특정의 프로세서 또는 프로세서들을 구성한다. 하드웨어 컴포넌트들은 다른 하드웨어 컴포넌트들에게 정보를 제공하고 이들로부터 정보를 수신할 수 있다. 그에 따라, 설명된 하드웨어 컴포넌트들은 통신가능하게 결합되는 것으로 간주될 수 있다. 다수의 하드웨어 컴포넌트들이 동시에 존재하는 경우에, 하드웨어 컴포넌트들 중 2개 이상 간의 또는 그들 사이의 (예를 들면, 적절한 회로들 및 버스들을 통한) 신호 전송을 통해 통신이 달성될 수 있다. 다수의 하드웨어 컴포넌트들이 상이한 시간들에서 구성되거나 인스턴스화되는 예들에서, 그러한 하드웨어 컴포넌트들 간의 통신은, 예를 들어, 다수의 하드웨어 컴포넌트들이 액세스할 수 있는 메모리 구조들 내의 정보의 저장 및 검색을 통해 달성될 수 있다. 예를 들어, 하나의 하드웨어 컴포넌트는 동작을 수행하고, 그에 통신가능하게 결합되는 메모리 디바이스에 그 동작의 출력을 저장할 수 있다. 추가의 하드웨어 컴포넌트는 이어서, 나중에, 저장된 출력을 검색 및 처리하기 위해 메모리 디바이스에 액세스할 수 있다. 하드웨어 컴포넌트들은 또한 입력 또는 출력 디바이스들과 통신을 개시할 수 있고, 리소스(예를 들면, 정보 컬렉션)에 대해 동작할 수 있다. 본 명세서에 설명되는 예시적인 방법들의 다양한 동작들이 관련 동작들을 수행하도록 (예를 들면, 소프트웨어에 의해) 일시적으로 구성되거나 영구적으로 구성되는 하나 이상의 프로세서에 의해, 적어도 부분적으로, 수행될 수 있다. 일시적으로 구성되든 영구적으로 구성되든 간에, 그러한 프로세서들은 본 명세서에 설명되는 하나 이상의 동작 또는 기능을 수행하도록 동작하는 프로세서 구현 컴포넌트들을 구성할 수 있다. 본 명세서에서 사용될 때, "프로세서 구현 컴포넌트"는 하나 이상의 프로세서를 사용하여 구현되는 하드웨어 컴포넌트를 지칭한다. 유사하게, 본 명세서에 설명되는 방법들은 적어도 부분적으로 프로세서 구현될 수 있고, 특정 프로세서 또는 프로세서들은 하드웨어의 일 예이다. 예를 들어, 방법의 동작들 중 적어도 일부가 하나 이상의 프로세서 또는 프로세서 구현 컴포넌트에 의해 수행될 수 있다. 더욱이, 하나 이상의 프로세서는 또한 "클라우드 컴퓨팅" 환경에서 또는 "SaaS(software as a service)"로서 관련 동작들을 수행하는 것을 지원하도록 동작할 수 있다. 예를 들어, 동작들 중 적어도 일부는 (프로세서들을 포함한 머신들의 예들로서) 컴퓨터들의 그룹에 의해 수행될 수 있고, 이러한 동작들은 네트워크(예를 들면, 인터넷)를 통해 및 하나 이상의 적절한 인터페이스(예를 들면, API)를 통해 액세스 가능하다. 특정 동작들의 수행이, 단일 머신 내에 존재할 뿐만 아니라 다수의 머신들에 걸쳐 배치되어 있는, 프로세서들 간에 분산될 수 있다. 일부 예들에서, 프로세서들 또는 프로세서 구현 컴포넌트들은 단일의 지리적 위치에(예를 들면, 가정 환경, 사무실 환경, 또는 서버 팜(server farm) 내에) 위치할 수 있다. 다른 예들에서, 프로세서들 또는 프로세서 구현 컴포넌트들이 다수의 지리적 위치들에 걸쳐 분산될 수 있다.
"컴퓨터 판독 가능 매체"는 머신 저장 매체들 및 전송 매체들 양쪽 모두를 지칭한다. 따라서, 이 용어는 저장 디바이스들/매체들 및 반송파들/변조된 데이터 신호들 양쪽 모두를 포함한다. "머신 판독 가능 매체", "컴퓨터 판독 가능 매체" 및 "디바이스 판독 가능 매체"라는 용어들은 동일한 것을 의미하며, 본 개시에서 상호 교환 가능하게 사용될 수 있다.
"단기적 메시지"는 시간 제한된 지속기간 동안 액세스 가능한 메시지를 지칭한다. 단기적 메시지는 텍스트, 이미지, 비디오 등일 수 있다. 단기적 메시지에 대한 액세스 시간은 메시지 송신자에 의해 설정될 수 있다. 대안적으로, 액세스 시간은 디폴트 설정이거나, 수신자에 의해 지정된 설정일 수 있다. 설정 기술에 관계없이, 메시지는 일시적이다.
"머신 저장 매체"는 실행 가능한 명령어들, 루틴들 및/또는 데이터를 저장하는 단일의 또는 다수의 저장 디바이스 및/또는 매체(예를 들면, 중앙집중 또는 분산형 데이터베이스, 및/또는 연관 캐시들 및 서버들)를 지칭한다. 이 용어는 그에 따라, 프로세서들 내부 또는 외부에 있는 메모리를 포함한, 솔리드 스테이트 메모리들과, 광학 및 자기 매체들을 포함하지만, 이에 제한되지 않는 것으로 해석되어야 한다. 머신 저장 매체들, 컴퓨터 저장 매체들 및/또는 디바이스 저장 매체들의 특정 예들은, 반도체 메모리 디바이스들, 예를 들면, EPROM(erasable programmable read-only memory), EEPROM(electrically erasable programmable read-only memory), FPGA, 및 플래시 메모리 디바이스들; 내장형 하드 디스크들 및 이동식 디스크들과 같은 자기 디스크들; 자기 광학 디스크들; 및 CD-ROM 및 DVD-ROM 디스크들을 예로서 포함한, 비휘발성 메모리를 포함한다. "머신 저장 매체", "디바이스 저장 매체", "컴퓨터 저장 매체"라는 용어들은 동일한 것을 의미하며, 본 개시에서 상호 교환 가능하게 사용될 수 있다. "머신 저장 매체들", "컴퓨터 저장 매체들" 및 "디바이스 저장 매체들"이라는 용어들은 구체적으로는 반송파들, 변조된 데이터 신호들, 및 다른 그러한 매체들을 제외하며, 이들 중 적어도 일부는 "신호 매체"라는 용어에 의해 커버된다.
"프로세서"는 제어 신호들(예를 들면, "커맨드들", "op 코드들", "머신 코드" 등)에 따라 데이터 값들을 조작하고 머신을 동작시키는 데 적용되는 대응하는 출력 신호들을 생성하는 임의의 회로 또는 가상 회로(실제 프로세서 상에서 실행되는 로직에 의해 에뮬레이트되는 물리적 회로)를 지칭한다. 프로세서는, 예를 들어, CPU(Central Processing Unit), RISC(Reduced Instruction Set Computing) 프로세서, CISC(Complex Instruction Set Computing) 프로세서, GPU(Graphics Processing Unit), DSP(Digital Signal Processor), ASIC(Application Specific Integrated Circuit), RFIC(Radio-Frequency Integrated Circuit) 또는 이들의 임의의 조합일 수 있다. "프로세서"는 추가로 명령어들을 동시에 실행할 수 있는 2개 이상의 독립적인 프로세서(때때로 "코어"라고 지칭됨)를 갖는 멀티코어 프로세서일 수 있다.
"신호 매체"는 머신에 의해 실행할 명령어들을 저장하거나, 인코딩하거나, 또는 반송할 수 있는 임의의 무형적 매체를 지칭하고, 소프트웨어 또는 데이터의 통신을 용이하게 하기 위한 디지털 또는 아날로그 통신 신호들 또는 다른 무형적 매체들을 포함한다. "신호 매체"라는 용어는 임의의 형태의 변조된 데이터 신호, 반송파 등을 포함하는 것으로 해석되어야 한다. "변조된 데이터 신호"라는 용어는 신호의 특성들 중 하나 이상이 정보를 그 신호에 인코딩하는 방식으로 설정되거나 변경된 신호를 의미한다. "전송 매체" 및 "신호 매체"라는 용어들은 동일한 것을 의미하며, 본 개시에서 상호 교환 가능하게 사용될 수 있다.
본 개시내용의 범위를 벗어나지 않으면서 개시된 예들에 대해 변경들 및 수정들이 이루어질 수 있다. 이들 및 다른 변경들 또는 수정들은, 이하의 청구항들에 표현된 바와 같은, 본 개시내용의 범위 내에 포함되는 것으로 의도된다.

Claims (20)

  1. 하나 이상의 디스플레이 디바이스, 하나 이상의 카메라 및 일반적으로 수직으로 배열된 터치패드를 포함하는 머리 착용 디바이스 시스템에서 하나 이상의 프로세서에 의해 실행되는 콘텐츠 전송 입력을 수신 및 처리하는 방법으로서,
    상기 하나 이상의 디스플레이 디바이스 상에 콘텐츠 아이템을 디스플레이하는 단계;
    상기 터치패드 상에서 콘텐츠 선택 터치 입력을 수신하는 단계;
    상기 콘텐츠 선택 터치 입력에 응답하여 잠재적 수신자들의 캐러셀을 디스플레이하는 단계;
    상기 터치패드 상에서 제1 수평 터치 입력을 수신하는 단계;
    상기 제1 수평 터치 입력에 응답하여 상기 하나 이상의 디스플레이 디바이스 상에서 잠재적 수신자들의 캐러셀을 좌측 또는 우측으로 스크롤링하는 단계;
    상기 터치패드 상에서 특정 수신자를 선택하기 위한 수신자 선택 터치 입력을 수신하는 단계;
    상기 터치패드 상에서 콘텐츠 전송 터치 입력을 수신하는 단계; 및
    상기 콘텐츠 전송 터치 입력에 응답하여, 상기 콘텐츠 아이템을 상기 특정 수신자에게 송신하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 터치패드 상에서 상기 콘텐츠 선택 터치 입력을 수신하는 단계는
    상기 터치패드 상에서 상기 콘텐츠 아이템을 선택하기 위한 탭핑 터치 입력을 수신하는 단계;
    상기 탭핑 터치 입력을 수신하는 것에 응답하여 복수의 사용자 인터페이스 옵션을 디스플레이하는 단계;
    상기 터치패드 상에서 제2 수평 터치 입력을 수신하는 단계;
    상기 제2 수평 터치 입력에 기초하여 상기 복수의 사용자 인터페이스 옵션들에 대해 선택 표시자를 이동시키는 단계; 및
    상기 터치패드 상에서 상기 복수의 사용자 인터페이스 옵션 중 특정한 하나를 선택하는 사용자 인터페이스 선택 터치 입력을 수신하는 단계를 포함하는, 방법.
  3. 제2항에 있어서, 상기 복수의 사용자 인터페이스 옵션은 삭제 옵션, 콘텐츠 뷰어 옵션 및 전송 옵션을 포함하는, 방법.
  4. 제2항에 있어서,
    상기 수신자 선택 터치 입력을 수신한 후에, 상기 터치패드 상에서 제3 수평 터치 입력을 수신하는 단계;
    상기 제3 수평 터치 입력에 응답하여 상기 하나 이상의 디스플레이 디바이스 상에서 잠재적 수신자들의 캐러셀을 좌측 또는 우측으로 스크롤링하는 단계; 및
    상기 터치패드 상에서 추가 수신자를 선택하기 위한 추가 수신자 선택 터치 입력을 수신하는 단계를 더 포함하는, 방법.
  5. 제4항에 있어서,
    상기 콘텐츠 전송 터치 입력을 수신하기 전에, 상기 터치패드 상에서 상기 특정 수신자 및 상기 추가 수신자의 선택을 확인하는 수직 터치 입력을 수신하는 단계를 더 포함하는, 방법.
  6. 제1항에 있어서,
    상기 수신자 선택 터치 입력을 수신한 후에, 상기 터치패드 상에서 제2 수평 터치 입력을 수신하는 단계;
    상기 제2 수평 터치 입력에 응답하여 상기 하나 이상의 디스플레이 디바이스 상에서 잠재적 수신자들의 캐러셀을 좌측 또는 우측으로 스크롤링하는 단계; 및
    상기 터치패드 상에서 추가 수신자를 선택하기 위한 추가 수신자 선택 터치 입력을 수신하는 단계를 더 포함하는, 방법.
  7. 제1항에 있어서,
    상기 콘텐츠 전송 터치 입력을 수신하기 전에, 상기 터치패드 상에서 상기 특정 수신자의 선택을 확인하는 수직 터치 입력을 수신하는 단계를 더 포함하는, 방법.
  8. 제1항에 있어서,
    상기 콘텐츠 전송 터치 입력을 수신하기 전에, 상기 터치패드 상에서 수직 터치 입력을 수신하는 단계; 및
    상기 수직 터치 입력을 수신하는 것에 응답하여, 잠재적 수신자들의 캐러셀의 디스플레이를 해제하는 단계를 더 포함하는, 방법.
  9. 머리 착용 디바이스 시스템으로서,
    하나 이상의 카메라;
    하나 이상의 디스플레이 디바이스들;
    일반적으로 수직으로 배열된 터치패드;
    하나 이상의 프로세서; 및
    명령어들을 저장한 메모리를 포함하고, 상기 명령어들은 상기 하나 이상의 프로세서에 의해 실행될 때,
    상기 하나 이상의 디스플레이 디바이스 상에 콘텐츠 아이템을 디스플레이하는 동작;
    상기 터치패드 상에서 콘텐츠 선택 터치 입력을 수신하는 단계;
    상기 콘텐츠 선택 터치 입력에 응답하여 잠재적 수신자들의 캐러셀을 디스플레이하는 동작;
    상기 터치패드 상에서 제1 수평 터치 입력을 수신하는 동작;
    상기 제1 수평 터치 입력에 응답하여 상기 하나 이상의 디스플레이 디바이스 상에서 잠재적 수신자들의 캐러셀을 좌측 또는 우측으로 스크롤링하는 동작;
    상기 터치패드 상에서 특정 수신자를 선택하기 위한 수신자 선택 터치 입력을 수신하는 동작;
    상기 터치패드 상에서 콘텐츠 전송 터치 입력을 수신하는 동작; 및
    상기 콘텐츠 전송 터치 입력에 응답하여, 상기 콘텐츠 아이템을 상기 특정 수신자에게 송신하는 동작을 포함하는 동작들을 수행하도록 상기 시스템을 구성하는, 머리 착용 디바이스 시스템.
  10. 제9항에 있어서, 상기 터치패드 상에서 제1 터치 입력을 수신하는 동작은,
    상기 터치패드 상에서 상기 콘텐츠 아이템을 선택하기 위한 탭핑 터치 입력을 수신하는 동작;
    상기 탭핑 터치 입력을 수신하는 것에 응답하여 복수의 사용자 인터페이스 옵션을 디스플레이하는 동작;
    상기 터치패드 상에서 제2 수평 터치 입력을 수신하는 동작;
    상기 제2 수평 터치 입력에 기초하여 상기 복수의 사용자 인터페이스 옵션들에 대해 선택 표시자를 이동시키는 동작; 및
    상기 터치패드 상에서 상기 복수의 사용자 인터페이스 옵션 중 특정한 하나를 선택하는 사용자 인터페이스 선택 터치 입력을 수신하는 동작을 포함하는, 머리 착용 디바이스 시스템.
  11. 제10항에 있어서, 상기 복수의 사용자 인터페이스 옵션은 삭제 옵션, 콘텐츠 뷰어 옵션 및 전송 옵션을 포함하는, 머리 착용 디바이스 시스템.
  12. 제10항에 있어서, 상기 동작들은,
    상기 수신자 선택 터치 입력을 수신한 후에, 상기 터치패드 상에서 제3 수평 터치 입력을 수신하는 동작;
    상기 제3 수평 터치 입력에 응답하여 상기 하나 이상의 디스플레이 디바이스 상에서 잠재적 수신자들의 캐러셀을 좌측 또는 우측으로 스크롤링하는 동작; 및
    상기 터치패드 상에서 추가 수신자를 선택하기 위한 추가 수신자 선택 터치 입력을 수신하는 동작을 더 포함하는, 머리 착용 디바이스 시스템.
  13. 제9항에 있어서, 상기 동작들은,
    상기 수신자 선택 터치 입력을 수신한 후에, 상기 터치패드 상에서 제2 수평 터치 입력을 수신하는 동작;
    상기 제2 수평 터치 입력에 응답하여 상기 하나 이상의 디스플레이 디바이스 상에서 잠재적 수신자들의 캐러셀을 좌측 또는 우측으로 스크롤링하는 동작; 및
    상기 터치패드 상에서 추가 수신자를 선택하기 위한 추가 수신자 선택 터치 입력을 수신하는 동작을 더 포함하는, 머리 착용 디바이스 시스템.
  14. 제9항에 있어서, 상기 동작들은,
    상기 콘텐츠 전송 터치 입력을 수신하기 전에, 상기 터치패드 상에서 상기 특정 수신자의 선택을 확인하는 수직 터치 입력을 수신하는 동작을 더 포함하는, 머리 착용 디바이스 시스템.
  15. 제9항에 있어서, 상기 동작들은,
    상기 콘텐츠 전송 터치 입력을 수신하기 전에, 상기 터치패드 상에서 수직 터치 입력을 수신하는 동작; 및
    상기 수직 터치 입력을 수신하는 것에 응답하여, 잠재적 수신자들의 캐러셀의 디스플레이를 해제하는 동작을 더 포함하는, 머리 착용 디바이스 시스템.
  16. 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 컴퓨터 판독가능 저장 매체는, 하나 이상의 디스플레이 디바이스, 하나 이상의 카메라 및 일반적으로 수직으로 배열된 터치패드를 포함하는 머리 착용 디바이스 시스템에 의해 실행될 때, 상기 머리 착용 디바이스 시스템으로 하여금 동작들을 수행하게 하는 명령어들을 포함하고, 상기 동작들은,
    상기 하나 이상의 디스플레이 디바이스 상에 콘텐츠 아이템을 디스플레이하는 동작;
    상기 터치패드 상에서 콘텐츠 선택 터치 입력을 수신하는 동작;
    상기 콘텐츠 선택 터치 입력에 응답하여 잠재적 수신자들의 캐러셀을 디스플레이하는 동작;
    상기 터치패드 상에서 제1 수평 터치 입력을 수신하는 동작;
    상기 제1 수평 터치 입력에 응답하여 상기 하나 이상의 디스플레이 디바이스 상에서 잠재적 수신자들의 캐러셀을 좌측 또는 우측으로 스크롤링하는 동작;
    상기 터치패드 상에서 특정 수신자를 선택하기 위한 수신자 선택 터치 입력을 수신하는 동작;
    상기 터치패드 상에서 콘텐츠 전송 터치 입력을 수신하는 동작; 및
    상기 콘텐츠 전송 터치 입력에 응답하여, 상기 콘텐츠 아이템을 상기 특정 수신자에게 송신하는 동작을 포함하는, 컴퓨터 판독가능 저장 매체.
  17. 제16항에 있어서, 상기 터치패드 상에서 제1 터치 입력을 수신하는 동작은,
    상기 터치패드 상에서 상기 콘텐츠 아이템을 선택하기 위한 탭핑 터치 입력을 수신하는 동작;
    상기 탭핑 터치 입력을 수신하는 것에 응답하여 복수의 사용자 인터페이스 옵션을 디스플레이하는 동작;
    상기 터치패드 상에서 제2 수평 터치 입력을 수신하는 동작;
    상기 제2 수평 터치 입력에 기초하여 상기 복수의 사용자 인터페이스 옵션들에 대해 선택 표시자를 이동시키는 동작; 및
    상기 터치패드 상에서 상기 복수의 사용자 인터페이스 옵션 중 특정한 하나를 선택하는 사용자 인터페이스 선택 터치 입력을 수신하는 동작을 포함하는, 컴퓨터 판독가능 저장 매체.
  18. 제17항에 있어서, 상기 복수의 사용자 인터페이스 옵션은 삭제 옵션, 콘텐츠 뷰어 옵션 및 전송 옵션을 포함하는 컴퓨터 판독가능 저장 매체.
  19. 제17항에 있어서, 상기 명령어들은 추가로 상기 머리 착용 디바이스 시스템으로 하여금
    상기 수신자 선택 터치 입력을 수신한 후에, 상기 터치패드 상에서 제3 수평 터치 입력을 수신하는 동작;
    상기 제3 수평 터치 입력에 응답하여 상기 하나 이상의 디스플레이 디바이스 상에서 잠재적 수신자들의 캐러셀을 좌측 또는 우측으로 스크롤링하는 동작; 및
    상기 터치패드 상에서 추가 수신자를 선택하기 위한 추가 수신자 선택 터치 입력을 수신하는 동작을 포함하는 동작들을 수행하게 하는, 컴퓨터 판독가능 저장 매체.
  20. 제16항에 있어서, 상기 명령어들은 추가로 상기 머리 착용 디바이스 시스템으로 하여금
    상기 수신자 선택 터치 입력을 수신한 후에, 상기 터치패드 상에서 제2 수평 터치 입력을 수신하는 동작;
    상기 제2 수평 터치 입력에 응답하여 상기 하나 이상의 디스플레이 디바이스 상에서 잠재적 수신자들의 캐러셀을 좌측 또는 우측으로 스크롤링하는 동작; 및
    상기 터치패드 상에서 추가 수신자를 선택하기 위한 추가 수신자 선택 터치 입력을 수신하는 동작을 포함하는 동작들을 수행하게 하는, 컴퓨터 판독가능 저장 매체.
KR1020237043847A 2021-05-19 2022-05-17 증강 현실 디스플레이 디바이스를 위한 터치패드 입력 KR20240001275A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163190662P 2021-05-19 2021-05-19
US63/190,662 2021-05-19
US17/479,153 2021-09-20
US17/479,153 US11880542B2 (en) 2021-05-19 2021-09-20 Touchpad input for augmented reality display device
PCT/US2022/072367 WO2022246399A1 (en) 2021-05-19 2022-05-17 Touchpad input for augmented reality display device

Publications (1)

Publication Number Publication Date
KR20240001275A true KR20240001275A (ko) 2024-01-03

Family

ID=82156477

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237043847A KR20240001275A (ko) 2021-05-19 2022-05-17 증강 현실 디스플레이 디바이스를 위한 터치패드 입력

Country Status (4)

Country Link
US (1) US20240094865A1 (ko)
EP (1) EP4341796A1 (ko)
KR (1) KR20240001275A (ko)
WO (1) WO2022246399A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11928306B2 (en) 2021-05-19 2024-03-12 Snap Inc. Touchpad navigation for augmented reality display device
US11880542B2 (en) 2021-05-19 2024-01-23 Snap Inc. Touchpad input for augmented reality display device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10175848B2 (en) * 2009-02-09 2019-01-08 Nokia Technologies Oy Displaying a display portion including an icon enabling an item to be added to a list
US9633080B2 (en) * 2013-05-28 2017-04-25 Microsoft Technology Licensing, Llc Hierarchical entity information for search
JP2020035293A (ja) * 2018-08-31 2020-03-05 Ｄｙｎａｂｏｏｋ株式会社 電子機器及び制御方法
US11138798B2 (en) * 2019-05-06 2021-10-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying objects in 3D contexts

Also Published As

Publication number Publication date
US20240094865A1 (en) 2024-03-21
WO2022246399A1 (en) 2022-11-24
EP4341796A1 (en) 2024-03-27

Similar Documents

Publication Publication Date Title
KR102509078B1 (ko) 3차원 상호작용 시스템
US11809633B2 (en) Mirroring device with pointing based navigation
KR20210039496A (ko) 증강 현실 의인화 시스템
US20240094865A1 (en) Selecting items displayed by a head-worn display device
KR20240010012A (ko) 증강 현실 디스플레이 디바이스를 위한 터치패드 탐색
WO2022246418A1 (en) Touchpad navigation for augmented reality display device
US11934628B2 (en) 3D user interface depth forgiveness
WO2022212175A1 (en) Interface with haptic and audio feedback response
EP4315005A1 (en) Interface with haptic and audio feedback response
US11880542B2 (en) Touchpad input for augmented reality display device
US20240032121A1 (en) Secure peer-to-peer connections between mobile devices
US20230154445A1 (en) Spatial music creation interface
US11863596B2 (en) Shared augmented reality session creation
US20230297161A1 (en) Augmented reality visual or acoustic feedback
US20230377223A1 (en) Hand-tracked text selection and modification
US20230384928A1 (en) Ar-based virtual keyboard
CN117561497A (zh) 用于增强现实显示设备的触摸板输入
US20230342026A1 (en) Gesture-based keyboard text entry
US11948266B1 (en) Virtual object manipulation with gestures in a messaging system
US20240087609A1 (en) Auto trimming for augmented reality content in messaging systems
US20240087245A1 (en) Gestures to enable menus using augmented reality content in a messaging system
US20240087244A1 (en) Cursor functionality for augmented reality content in messaging systems
US20240087242A1 (en) 3d cursor functionality for augmented reality content in messaging systems
US20240070995A1 (en) Wrist rotation manipulation of virtual objects
US20240087239A1 (en) Sculpting augmented reality content using gestures in a messaging system

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E902 Notification of reason for refusal