KR102186456B1 - 착용식 전자 디바이스를 위한 전이 및 상호작용 모델 - Google Patents

착용식 전자 디바이스를 위한 전이 및 상호작용 모델 Download PDF

Info

Publication number
KR102186456B1
KR102186456B1 KR1020130141778A KR20130141778A KR102186456B1 KR 102186456 B1 KR102186456 B1 KR 102186456B1 KR 1020130141778 A KR1020130141778 A KR 1020130141778A KR 20130141778 A KR20130141778 A KR 20130141778A KR 102186456 B1 KR102186456 B1 KR 102186456B1
Authority
KR
South Korea
Prior art keywords
user
display
gesture
screen
certain embodiments
Prior art date
Application number
KR1020130141778A
Other languages
English (en)
Other versions
KR20140064690A (ko
Inventor
프라나브 미스트리
리닝 야오
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20140064690A publication Critical patent/KR20140064690A/ko
Application granted granted Critical
Publication of KR102186456B1 publication Critical patent/KR102186456B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G21/00—Input or output devices integrated in time-pieces
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G21/00—Input or output devices integrated in time-pieces
    • G04G21/04—Input or output devices integrated in time-pieces using radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/02—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators
    • G06F15/0208—Digital computers in general; Data processing equipment in general manually operated with input through keyboard and computation using a built-in program, e.g. pocket calculators for combination with other devices having a different main function, e.g. watches, pens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0362—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 1D translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5044—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering hardware capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/50—Indexing scheme relating to G06F9/50
    • G06F2209/509—Offload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces

Abstract

일 실시예에서, 장치는 하나 이상의 프로세서, 및 상기 프로세서에 연결된 메모리를 포함하고, 상기 메모리는 상기 프로세서가 실행할 수 있는 인스트럭션들을 포함한다. 상기 인스트럭션들을 실행할 때, 상기 프로세서는, 상기 장치의 제1모드에 대응하는 제1스크린을 상기 장치의 디스플레이에 제공한다. 제1 스크린은 그래픽 유저 인터페이스(GUI) 계층의 제1레벨에 속하고, 제공될 때 디스플레이의 상당 부분을 차지한다. 상기 제1스크린에서의 전이 이벤트에 응답하여, 프로세서는 상기 장치의 제2모드에 대응하는 제2스크린을 제공한다. 제2스크린은 상기 GUI 계층의 제1레벨에 속하고, 제공될 때 상기 디스플레이의 상당 부분을 차지한다. 상기 제1스크린에서의 선택 이벤트에 응답하여, 프로세서는 상기 장치의 상기 제1모드의 제1기능에 대응하는 제3스크린을 제공한다.

Description

착용식 전자 디바이스를 위한 전이 및 상호작용 모델{Transition and Interaction Model for Wearable Electronic Device}
본 출원은 2012년 11월 20일 출원된 미국 가출원 제61/728765호, 2012년 11월 20일 출원된 미국 가출원 제61/728770호, 2013년 3월 6일 출원된 미국 가출원 제61/773803호, 2012년 11월 20일 출원된 미국 가출원 제61/728773호, 2013년 3월 7일 출원된 미국 가출원 제61/773813호, 2013년 3월 7일 출원된 미국 가출원 제61/773815호, 2013년 3월 7일 출원된 미국 가출원 제61/773817호, 2013년 3월 11일 출원된 미국 가출원 제61/775688호, 2013년 3월 11일 출원된 미국 가출원 제61/775687호, 및 2013년 3월 11일 출원된 미국 가출원 제61/775686호에 대한 우선권을 미국 특허법(35 U.S.C.) §119(e) 하에서 주장하며, 이들 가출원은 참조에 의해 본 출원에 포함된다.
본 명세서는 전반적으로 착용식 전자 디바이스에 관한 것이다.
모바일 전자 디바이스는 사용자가 다양한 장소 주변에서 이동할 때도 컴퓨팅 능력(computing capabilities)에 대한 액세스(access)를 그 사용자에게 제공한다. 모바일 전자 디바이스의 예는 모바일폰, 미디어 플레이어, 랩톱, 태블릿, PDA, 또는 이 타입의 다수 디바이스가 갖는 기능성을 구비한 하이브리드 디바이스(hybrid device)를 포함한다.
모바일 전자 디바이스는 LAN(local area network), WAN(wide area network), 셀룰러 네트워크, 인터넷, 또는 그 밖의 적절한 네트워크와 같은 통신 네트워크의 일부일 수 있다. 모바일 전자 디바이스는 예건대, 원격-저장된 데이터에 액세스하거나, 원격 프로세싱 파워(remote processing power)에 액세스하거나, 원격 디스플레이에 액세스하거나, 국소적으로 저장된(locally-stored) 데이터를 제공하거나, 로컬 프로세싱 파워를 제공하거나, 또는 로컬 디스플레이에 액세스하도록 다른 전자 디바이스와 통신하기 위하여, 통신 네트워크를 사용할 수 있다. 예를 들어, 네트워크는 사용자가 모바일 전자 디바이스를 경유해 액세스하거나 활용할 수 있는 애플리케이션, 콘텐츠 및 서비스를 호스트할 수 있는 서버에 통신 경로와 링크를 제공할 수 있다. 콘텐츠는 텍스트, 비디오 데이터, 오디오 데이터, 사용자 설정 또는 다른 타입의 데이터를 포함할 수 있다. 네트워크는 모바일 전자 디바이스들 사이의 통신을 지원하기 위하여, 예컨대, 블루투스(bluetooth), IEEE WI-FI(802.11a/b/g/n/ac) 또는 TCP/IP와 같은 모든 적절한 통신 프로토콜 또는 기술을 사용할 수 있다.
본 발명이 해결하려고 하는 기술적 과제는 착용식 전자 디바이스를 위한 전이 및 상호작용 모델을 제공하는 것이다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예의 특징은, 하나 이상의 프로세서, 및 상기 하나 이상의 프로세서에 의해 실행가능한 인스트럭션들을 포함하는, 상기 하나 이상의 프로세서에 연결된 메모리를 포함하는 장치에서, 상기 하나 이상의 프로세서는, 그래픽 유저 인터페이스(GUI) 계층의 제1레벨에 속하고, 나타내지는 디스플레이의 상당 부분을 차지하며, 상기 장치의 제1모드에 대응하는 제1스크린을 상기 장치의 디스플레이에 제공하고; 상기 제1스크린에서의 전이 이벤트에 응답하여, 상기 GUI 계층의 제1레벨에 속하고, 나타내지는 디스플레이의 상기 상당 부분을 차지하며, 상기 장치의 제2모드에 대응하는 제2스크린을 제공하고; 상기 제1스크린에서의 선택 이벤트에 응답하여, 상기 GUI 계층의 제2레벨에 속하고, 나타내지는 디스플레이의 상기 상당 부분을 차지하며, 상기 장치의 상기 제1모드의 제1기능에 대응하는 제3스크린을 제공하며; 상기 제3스크린에서의 전이 이벤트에 응답하여, 상기 GUI 계층의 상기 제2레벨에 속하고, 나타내지는 디스플레이의 상기 상당 부분을 차지하며, 상기 장치의 상기 제1모드의 제2기능에 대응하는 제4스크린을 제공하는 인스트럭션들을 실행할 때 동작가능하게 구성되는 것이다.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예의 특징은, 방법으로서, 컴퓨팅 디바이스에 의해, 그래픽 유저 인터페이스(GUI) 계층의 제1레벨에 속하고, 나타내지는 디스플레이의 상당 부분을 차지하며, 상기 컴퓨팅 디바이스의 제1모드에 대응하는 제1스크린을 상기 컴퓨팅 디바이스의 디스플레이에 제공하는 단계; 상기 제1스크린에서의 전이 이벤트에 응답하여, 상기 GUI 계층의 상기 제1레벨에 속하고, 나타내지는 디스플레이의 상기 상당 부분을 차지하며, 상기 컴퓨팅 디바이스의 제2모드에 대응하는 제2스크린을 제공하는 단계; 상기 제1스크린에서의 선택 이벤트에 응답하여, 상기 GUI 계층의 제2레벨에 속하고, 나타내지는 디스플레이의 상기 상당 부분을 차지하며, 상기 컴퓨팅 디바이스의 상기 제1모드의 제1 기능에 대응하는 제3 스크린을 제공하는 단계; 및 상기 제3스크린에서의 전이 이벤트에 응답하여, 상기 GUI 계층의 상기 제2레벨에 속하고, 나타내지는 디스플레이의 상기 상당 부분을 차지하며, 상기 컴퓨팅 디바이스의 상기 제1모드의 제2기능에 대응하는 제4스크린을 제공하는 단계를 포함하는 것이다.
상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예의 특징은, 소프트웨어를 담고있는 하나 이상의 컴퓨터 판독가능한 비-일시적(non-transitory) 저장 매체에서, 상기 소프트웨어는 실행될 때, 그래픽 유저 인터페이스(GUI) 계층의 제1레벨에 속하고, 나타내지는 디스플레이의 상당 부분을 차지하며, 컴퓨팅 디바이스의 제1모드에 대응하는 제1스크린을 상기 컴퓨팅 디바이스의 디스플레이에 제공하고; 상기 제1스크린에서의 전이 이벤트에 응답하여, 상기 GUI 계층의 상기 제1레벨에 속하고, 나타내지는 디스플레이의 상기 상당 부분을 차지하며, 상기 컴퓨팅 디바이스의 제2모드에 대응하는 제2스크린을 제공하고; 상기 제1스크린에서의 선택 이벤트에 응답하여, 상기 GUI 계층의 제2레벨에 속하고, 나타내지는 디스플레이의 상기 상당 부분을 차지하며, 상기 컴퓨팅 디바이스의 상기 제1모드의 제1 기능에 대응하는 제3 스크린을 제공하고; 상기 제3스크린에서의 전이 이벤트에 응답하여, 상기 GUI 계층의 상기 제2레벨에 속하고, 나타내지는 디스플레이의 상기 상당 부분을 차지하며, 상기 컴퓨팅 디바이스의 상기 제1모드의 제2기능에 대응하는 제4스크린을 제공하도록 동작가능한 것이다.
상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예의 특징은, 컴퓨팅 디바이스의 디스플레이 디바이스에 디스플레이된 그래픽 유저 인터페이스에서, 상기 디스플레이 디바이스는, 그래픽 유저 인터페이스(GUI) 계층의 제1레벨에 속하고, 나타내지는 디스플레이의 상당 부분을 차지하며, 컴퓨팅 디바이스의 제1모드에 대응하는 제1스크린; 상기 제1스크린에서의 전이 이벤트에 응답하여 제공되는 제2스크린으로서, 상기 제2스크린은, 상기 GUI 계층의 상기 제1레벨에 속하고, 나타내지는 디스플레이의 상기 상당 부분을 차지하며, 상기 컴퓨팅 디바이스의 제2모드에 대응하는, 제2스크린; 상기 제1스크린에서의 선택 이벤트에 응답하여 제공되는 제3스크린으로서, 상기 제3 스크린은, 상기 GUI 계층의 제2레벨에 속하고, 나타내지는 디스플레이의 상기 상당 부분을 차지하며, 상기 컴퓨팅 디바이스의 상기 제1모드의 제1 기능에 대응하는, 제3 스크린; 및 상기 제3스크린에서의 전이 이벤트에 응답하여 제공되는 제4스크린으로서, 상기 제4스크린은, 상기 GUI 계층의 상기 제2레벨에 속하고, 나타내지는 디스플레이의 상기 상당 부분을 차지하며, 상기 컴퓨팅 디바이스의 상기 제1모드의 제2기능에 대응하는, 제4스크린을 디스플레이하도록 구성되는 것이다.
본 발명에 따르면, 착용식 전자 디바이스를 위한 전이 및 상호작용 모델을 제공할 수 있다.
도1은 착용식 전자 디바이스의 일 실시예를 도시한다.
도2는 디바이스의 적층예를 도시한다.
도3a~3e는 디바이스의 폼팩터 예를 도시한다.
도4a는 디바이스 본체의 단면예를 도시한다.
도4b~c는 디바이스의 엘리먼트 간 접속예를 도시한다.
도5a~5f는 디바이스의 디스플레이 예를 도시한다.
도6a~c는 디바이스 디스플레이의 단면도 예를 도시한다.
도7a~7d는 디바이스 본체 주변 외측 엘리먼트의 예를 도시한다.
도8a~8c는 디바이스 본체 주변 외측 엘리먼트의 예를 도시한다.
도9는 디바이스의 밀봉링의 예를 도시한다.
도10은 디바이스의 유지링의 예를 도시한다.
도11은 디바이스를 착용하는 다양한 실시예를 도시한다.
도12a~12b는 디바이스의 본체에 부착된 밴드를 도시한다.
도13a~13i는 디바이스의 밴드를 매거나 또는 부착하는 실시예를 도시한다.
도14a~d는 디바이스 위 카메라의 예시적 배치를 도시한다.
도15는 밴드와 광학 센서를 구비한 예시적 디바이스를 도시한다.
도16은 사용자, 디바이스 및 개체를 포함하는 삼각형의 예를 도시한다.
도17은 디바이스의 광학 센서에 대한 시야각의 예를 도시한다.
도18a~18b는 디바이스 내 광학 센서의 예를 도시한다.
도19는 디바이스의 센서 검출 시스템의 예를 도시한다.
도20a~20c는 디바이스와 함께 동작하는 충전기의 예를 도시한다.
도21a~21b는 디바이스와 함께 동작하는 충전기의 예를 도시한다.
도22a~22b는 디바이스와 함께 동작하는 충전 유닛의 예를 도시한다.
도23은 디바이스와 함께 동작하는 충전 유닛을 위한 충전 계획의 예를 도시한다.
도24는 디바이스와 함께 동작하는 충전 유닛을 위한 충전 계획의 예를 도시한다.
도25a~25e는 디바이스와 충전 유닛에서 에너지 저장과 충전의 실시예를 도시한다.
도26은 충전 유닛 구조의 예를 도시한다.
도27~92는 디바이스와 함께 사용하기 위한 제스처의 예를 도시한다.
도93a~93b는 디바이스에 대한 사용자 입력의 예를 도시한다.
도94a~94c는 디바이스에 대한 사용자 입력의 예를 도시한다.
도95a~95d는 디바이스에 대한 사용자 터치 입력의 예를 도시한다.
도96a~96b는 디바이스의 그래픽 유저 인터페이스 모델의 예를 도시한다.
도97은 디바이스의 그래픽 유저 인터페이스 모델의 예를 도시한다.
도98a~98g는 디바이스의 그래픽 유저 인터페이스 모델의 예를 도시한다.
도99는 디바이스의 그래픽 유저 인터페이스 모델의 예를 도시한다.
도100a~100c는 디바이스의 그래픽 유저 인터페이스 모델의 예를 도시한다.
도101a~101b는 디바이스의 그래픽 유저 인터페이스의 예시적 스크린을 도시한다.
도102a~102d는 디바이스의 그래픽 유저 인터페이스의 예시적 스크린을 도시한다.
도103a~103d는 디바이스의 그래픽 유저 인터페이스의 예시적 스크린을 도시한다.
도104는 디바이스의 그래픽 유저 인터페이스의 예시적 메뉴를 도시한다.
도105a~105d는 디바이스의 그래픽 유저 인터페이스의 예시적 메뉴를 도시한다.
도106a~106c는 디바이스의 그래픽 유저 인터페이스의 예시적 메뉴를 도시한다.
도107a~107c는 디바이스의 그래픽 유저 인터페이스의 예시적 메뉴를 도시한다.
도108은 디바이스의 그래픽 유저 인터페이스의 예시적 메뉴를 도시한다.
도109a~109c는 디바이스의 그래픽 유저 인터페이스의 예시적 메뉴를 도시한다.
도110a~110b는 디바이스의 그래픽 유저 인터페이스 내 스크롤링의 예를 도시한다.
도111a~111c는 디바이스의 그래픽 유저 인터페이스 내 스크롤링의 예를 도시한다.
도112는 디바이스의 그래픽 유저 인터페이스 내 오버레이 및 배경 콘텐츠의 예를 도시한다.
도113a~113c는 디바이스의 그래픽 유저 인터페이스 내 오버레이 및 배경 콘텐츠의 예를 도시한다.
도114a~114b는 디바이스의 그래픽 유저 인터페이스 내 시각적 전이 효과의 예를 도시한다.
도115a~115b는 디바이스의 그래픽 유저 인터페이스 내 시각적 전이 효과의 예를 도시한다.
도116a~116b는 디바이스의 그래픽 유저 인터페이스 내 시각적 전이 효과의 예를 도시한다.
도117a~117b는 디바이스의 그래픽 유저 인터페이스 내 시각적 전이 효과의 예를 도시한다.
도118a~118c는 디바이스의 그래픽 유저 인터페이스 내 시각적 전이 효과의 예를 도시한다.
도119a~119c는 디바이스의 그래픽 유저 인터페이스 내 시각적 전이 효과의 예를 도시한다.
도120a~120c는 디바이스의 그래픽 유저 인터페이스 내 시각적 전이 효과의 예를 도시한다.
도121a~121b는 디바이스의 그래픽 유저 인터페이스 내 시각적 전이 효과의 예를 도시한다.
도122는 디바이스의 그래픽 유저 인터페이스 내 물리 모델의 사용예를 도시한다.
도123은 디바이스의 그래픽 유저 인터페이스의 예시적 스크린을 도시한다.
도124는 디바이스의 그래픽 유저 인터페이스의 예시적 스크린을 도시한다.
도125는 디바이스의 자동 카메라 활성화를 위한 예시적 방법을 도시한다.
도126은 디바이스에 의한 위임 방법의 예를 도시한다.
도127은 디바이스를 포함하는 예시적 위임 모델을 도시한다.
도128은 디바이스에 의한 위임 방법의 예를 도시한다.
도129a~129d는 디바이스의 모드 예를 도시한다.
도130은 디바이스의 모드 예를 도시한다.
도131a~131d는 디바이스의 모드 예를 도시한다.
도132는 증강 현실 기능을 디바이스에 제공하는 예시적 방법을 도시한다.
도133은 디바이스가 동작할 수 있는 예시적 네트워크 환경을 도시한다.
도134는 디바이스와 타겟 디바이스 사이를 페어링하는 예를 도시한다.
도135는 디바이스를 타겟 디바이스와 페어링하는 예시적 방법을 도시한다.
도136은 디바이스의 그래픽 유저 인터페이스의 예시적 스크린을 도시한다.
도137은 디바이스를 포함하는 예시적 컴퓨터 시스템을 도시한다.
도1은 착용식 전자 디바이스 100의 일례를 도시한다. 디바이스 100는 그 디바이스 100의 회로, 구조 및 디스플레이 중 일부 또는 전부를 수용하는 본체 105를 포함한다. 예를 들어, 본체 105는 디바이스 100의 프로세싱 콤포넌트(processing component), 데이터 저장 콤포넌트, 메모리, 센서, 배선 또는 통신 콤포넌트 중 일부 또는 전부를 포함할 수 있다. 특정 실시예에서, 디바이스 100는 디스플레이를 포함할 수 있다. 디스플레이는 예를 들어, 원형 디스플레이 110에 의해 예시된 바와 같이 원형상과 같은 임의의 적절한 형상 또는 모양을 취할 수 있다. 본 명세서에 사용되는 바와 같이, 적절한 경우에, "원형 디스플레이"는 실질적(substantial) 원형 디스플레이, 또는 원형과 비슷한 디스플레이(circular-like display; 예컨대, 타원형 디스플레이)를 포함한다. 특정 실시예에서, 디바이스 100는 디스플레이 주위에 엘리먼트를 포함할 수 있다. 본 명세서에서 사용되는 바와 같이, 디스플레이 주위의 엘리먼트는 디스플레이 또는 본체(이 본체 위 또는 내에 디스플레이가 놓임)를 둘러싸는 회전형 엘리먼트(rotatable element)를 포함한다. 일례로서, 엘리먼트는 원형 디스플레이 110 주위의 외측링 115일 수 있다. 특정 실시예에서, 디스플레이 주변의 이 엘리먼트는 디스플레이 또는 본체에 상대적으로 이동할 수 있다. 예를 들어, 외측링 115은 이하에서 보다 상세히 설명되는 바와 같이, 디바이스 100의 본체에 상대적으로 회전한다. 특정 실시예에서, 디바이스 100는 본체 105에 부착된 밴드 120를 포함할 수 있다. 특정 실시예에서, 디바이스 100는 예컨대 카메라 모듈 125과 같은 센서 모듈을 포함할 수 있다. 카메라 모듈 125은 아래에 보다 상세히 설명되는 바와 같이, 본체 105 또는 밴드 125의 내부 또는 표면에 부착되는 카메라를 수용한다.
착용식 전자 디바이스의 특정 실시예는 스택업(stack-up)을 포함하고, 이 스택업을 통해서 프로세싱 및 디스플레이 시스템의 일부 또는 전부가 그 디바이스의 본체 내에 들어맞게 된다. 이 본체는 사용자가 디바이스와 상호작용하게 하는 적어도 하나의 방법을 제공하는 외측링과 같은 엘리먼트에 의해 둘러싸여질 수 있다. 추가적으로 또는 대안적으로, 특정 실시예는 이하 상세히 설명되는 바와 같이, 추가적 기능성을 위해 밴드에 일체화되는 외부 콤포넌트를 포함할 수 있다. 도2는 착용식 전자 디바이스의 스택업 200의 예를 도시한다. 도2에 도시된 바와 같이, 스택업 200의 일부 또는 모든 콤포넌트는 디바이스의 형태(도2의 예에서 원형임)를 채택할 수 있다. 스택업 200은 보호 유리(또는 다른 적절한 투명 고체 재료)의 층 205을 포함할 수 있다. 다른 콤포넌트는 보호 유리 205에 적층되거나 기대(base) 204에 부착될 수 있다. 추가적으로 또는 대안적으로, 보호층 205은 외측링 235 또는 디바이스 본체의 임의의 다른 적절한 콤포넌트에 기계적으로 연결될 수 있다. 보호 유리 205 바로 밑에 터치-센서티브 레이어 210가 있을 수 있다. 터치-센서티브 레이어 210는 임의의 적절한 재료로 구성될 수 있고, 또한 예컨대, 저항성, 표면 탄성파, 용량성(상호 용량성 또는 자기-용량성을 포함함), 적외, 광학, 분산성(dispersive), 또는 그 밖의 적절한 타입과 같은 임의의 적절한 타입일 수 있다. 터치-센서티브 레이어 210는 보호 유리 205에 직접 도포되거나, 보호 유리 205 위에 적층되거나 또는 물리적으로 부착될 수 있다. 터치-센서티브 레이어 210는 완전한 2차원 터치 표면이거나, 또는 터치-센서티브 영역(예컨대, 다수의 용량성 버튼 또는 영역)으로 구성될 수 있다. 터치-센서티브 레이어 210는 이하에서 상세히 설명되는 바와 같이, 터치 표면의 가장자리에서 가요성(flexible) 커넥터를 통해 프로세서 보드 215에 연결될 수 있다.
원형 디스플레이 215는 터치-센서티브 레이어 210 아래에 있을 수 있다. 원형 디스플레이 215는 임의의 선행하거나 앞선 층에 적층되거나 기계적으로 부착될 수 있다. 특정 실시예에서, 적층은 내부 반사를 감소시켜, 눈부심(glare)을 감소시키고 디스플레이 시인성(display legibility)을 개선할 수 있다. 이하에서 상세히 설명되는 바와 같이, 디스플레이 215는 대칭 또는 비대칭일 수 있는 외곽 불활성 영역을 가질 수 있다. 디스플레이 215는 시각적으로 대칭인 표시(presentation)를 위해 보호층 205에 대해 동축이 되도록 위치될 수 있다. 디스플레이 215는 예컨대, LED(light-emitting diode), OLED(organic light emitting diode), 또는 LCD(liquid crystal display)와 같은 임의의 적절한 타입일 수 있다. 특정 실시예에서, 디스플레이 215는 가요성일 수 있다. 특정 실시예에서, 디스플레이 215는 부분 투명일 수 있다. 특정 실시예에서, 디스플레이 215는 반투명일 수 있다.
디스플레이 215 아래에 배터리 220가 있을 수 있고, 특정 실시예에서, 배터리는 기대 245의 지름이 배터리 사이즈에 영향을 주지 않고 축소될 수 있도록 위치될 수 있다. 배터리 220는 예컨대, 리튬-이온 기반과 같은 임의의 적절한 타입일 수 있다. 배터리 220는 디바이스의 원 형상을 채택하거나 또는 임의의 다른 적절한 형상(예컨대, 도시된 바와 같이 직사각 형상)을 채택할 수 있다. 특정 실시예에서, 배터리 220는 디바이스 내에서 떠 있을 수 있다. 예컨대, 열팽창을 감안하여 배터리 위, 아래 또는 주위에 공간이 있을 수 있다. 특정 실시예에서, 예컨대 촉각 액추에이터(haptic actuator) 또는 그 밖의 전자 부품과 같이 큰 높이의 콤포넌트들은, 콤포넌트들의 최적 패킹을 위하여, 배터리 가장자리 넘어 부가 공간(additional area)에 위치될 수 있다. 특정 실시예에서, 프로세서 보드 225로부터의 커넥터는, 디바이스의 전체 높이를 감소시키기 위하여, 이 부가 공간에 배치될 수 있다.
배터리 220 아래에, 프로세서 보드 225가 있을 수 있다. 프로세서 보드 225는 예컨대 하나 이상의 프로세싱 유닛, 드라이브 유닛, 감지 유닛, 캐쉬(cache), 메모리 엘리먼트, 또는 집적 회로와 같은 임의의 적절한 콤포넌트를 포함할 수 있다. 프로세서 보드 225는 하나 이상의 프로세서 보드 콤포넌트의 온도를 감시하고 제어하기 위하여, 하나 이상의 열 센서 또는 냉각 유닛(예컨대, 팬)을 포함할 수 있다. 특정 실시예에서, 디바이스의 본체 105는 히트 싱크로서 동작할 수 있다.
프로세서 보드 아래에, 하나 이상의 외곽링 235에 의해 둘러싸인 인코더 230가 있을 수 있다. 이하에서 상세히 설명되는 바와 같이, 인코더 230는 임의의 적절한 타입일 수 있고, 외곽링 235의 일부이거나 또는 도2에 도시된 바와 같이, 개별 콤포넌트일 수 있다. 특정 실시예에서, 외곽링 235은 그 외곽링 멈춤쇠의 촉각(haptic feel of detent of the outer ring)을 제공하거나 또는 그 외곽링 235의 위치 감지를 제공할 수 있다. 인코더 230가 도2에 예시된 바와 같이 디바이스 본체와 분리된 기계적 인코더이면, 인코더는 외곽링 235을 지지할 수 있다. 예를 들어, 특정 실시예에서, 인코더 230는 기대 245에 탑재되고, 기대 245 또는 밴드 240로의 연결은 인코더의 일부분(예컨대, 인코더의 중앙부)을 관통할 수 있다. 특정 실시예에서, 프로세서 보드 225와 그 위의 하나 이상의 층은 인코더 235를 관통하는 중앙 기둥에 부착될 수 있다. 디바이스의 콤포넌트에 작용하는 기계적 힘은 이 기둥으로 이전될 수 있으므로, 프로세서 보드와 디스플레이와 같은 콤포넌트는 인코더가 아닌 기둥에 의해 지지될 수 있어서, 인코더에 작용하는 스트레인(strain)이 감소된다. 특정 실시예에서, 외곽링 235은 인코더의 가동부(movable portion)에 갈래(prong) 또는 그 밖의 적절한 연결을 통해 부착한다.
디바이스 본체는 기대 245로 마감될 수 있다. 기대 245는 디바이스의 하나 이상의 회전형 콤포넌트(예컨대 외곽링 235)에 대하여 고정될 수 있다. 기대 245는 이하에서 상세히 설명되는 바와 같이, 밴드 240에 연결된다. 연결은 예컨대 유선 통신 콤포넌트를 프로세싱 보드 225에 링크하는 회로의 일부처럼 기계적이거나 전기적일 수 있다. 특정 실시예에서, 커넥터는 인코더 및 밴드용 앵커포인트(anchor point)를 회피하도록 위치된다. 특정 실시예에서, 밴드 240는 기대 245에 착탈될 수 있다. 이하에서 상세히 설명되는 바와 같이, 밴드 240는 하나 이상의 내부 커넥터 250, 하나 이상의 광학 감지 모듈 255, 또는 하나 이상의 다른 센서를 포함할 수 있다. 특정 실시예에서, 디바이스의 내부는 또는 그 내부의 일부분은 외부 환경으로부터 밀봉될 수 있다.
본 명세서는 착용식 전자 디바이스 100의 스택업 200 내 콤포넌트의 특정 예 및 이러한 콤포넌트의 형상, 크기, 순서, 접속 및 기능성에 대한 특정 예를 설명하고 있지만, 본 명세서는 디바이스 100와 같은 착용식 전자 디바이스가 임의의 적절한 방식으로 연결 또는 통신하는 임의의 적절한 형상, 크기, 순서의 적절한 콤포넌트를 포함할 수 있다고 고려한다. 단지 일례로서, 배터리 220는 도2에 예시된 것 보다 더 스택업의 바닥을 향해 배치될 수 있다. 다른 예로서, 디바이스 본체는 임의의 적절한 폼팩터를 취할 수 있다. 예컨대, 폼팩터는 도3a의 예로 도시한 바와 같아 타원형 또는 디스크형, 도3b의 예로 도시한 바와 같이 일단이 테이퍼된 형, 또는 경사진 가장자리 315를 예시하는 도3c~3d의 예로 도시한 바와 같이 하나 이상의 가장자리가 경사지거나 둥그런 형일 수 있다. 도3e는 디바이스 본체의 폼팩터 예를 추가적으로 예시한다. 예컨대, 예시적 본체 320a~e는 평탄한 보호 커버링이나 디스플레이 또는 만곡된 보호 커버링이나 디스플레이를 갖춘 다각 형상이다. 다른 예로서, 본체 325a~d는 평탄한 보호 커버링이나 디스플레이 또는 만곡된 보호 커버링이나 디스플레이를 갖춘 부분 만곡 형상이다. 본체 330a~c는 만곡 형상이다. 디바이스 본체의 하나 이상의 내부 콤포넌트(예컨대 하나 이상의 내부 콤포넌트)는 그 콤포넌트가 놓이는 본체에 적합한 임의의 폼팩터를 취할 수 있다.
도4a는 디바이스 본체의 단면의 예를 도시한다. 도시된 바와 같이, 디바이스 본체의 폭은 D1(예컨대, 대략 43mm)이다. 특정 실시예에서, 외곽링과 OLED 디스플레이 사이에 약간의 간극 D4(예컨대, 최대 0.3mm의 간극)이 있을 수 있다. 마찬가지로, 외곽링과 유리 보호 커버링(예컨대, 대략 42.6mm인 폭 D3를 가질 수 있음) 사이에 예컨대 0.2mm와 같은 거리가 또한 있을 수 있다. 특정 실시예에서, 유리 보호 커버링과 외곽링 사이의 간극은 디스플레이와 외곽링 사이의 간극보다 크다. 외곽링(톱니를 포함할 수 있음)은 예컨대 1.0mm의 폭 D2를 가질 수 있다. 도4b~4c는 디바이스의 콤포넌트들 사이 연결들의 예시적 세트를 도시한다. 도4b는 디스플레이 410 위에 있는 터치 유리 405를 도시한다. 디스플레이는 예컨대 접착성 밀폐제 425로 내부 본체(inner body) 440의 상부에 부착된다. 디스플레이 가요성 인쇄 회로(Display flexible printed circuit) 430는 디스플레이를 디바이스 본체 내의 전자부품에 연결한다. 접착성 밀폐막(adhesive sealing membrane) 445는 밴드 450를 디바이스에 연결하는데 사용될 수 있고, 하나 이상의 유지링 435은 외곽링 415을 내부 본체 440에 연결하는데 사용될 수 있다. 특정 실시예에서, 유지링은 외곽링이 그 수직축으로 휘는 것을 억제할 수 있고, 또한 외곽링과 유리 커버링 사이에 물리적 공간을 마련할 수 있다. 보호 유리층이 내부 본체의 상부에 놓여서 환경 밀폐(environmental seal)를 제공할 수 있다. 특정 실시예에서, 유지링은 또한 내부 본체에 대하여 환경 밀폐를 제공할 수 있다. 예를 들어, 도4c는 디바이스 본체에 외곽링을 부착하고 외곽링과 내부 본체 사이에 환경 밀폐를 제공하는 유지링 465의 예를 도시한다. 추가적으로 또는 대안적으로, 예컨대 TEFLON과 같은 소수성 물질(hydrophobe)로 코딩될 수 있는 플록타입(flock-type) 재료는 물과 먼지가 공동에 침입하는 것을 방지하기 위하여 사용될 수 있다. 다른 예로서, 외곽링은 금속 또는 플라스틱의 링에 의해 내부 본체에 대하여 밀폐될 수 있으며, 따라서 공기(따라서 수증기 또는 다른 입자)가 외곽링과 내부 본체 사이의 공동을 통해 이동하는 것이 방지된다. 간극 455에 의해, 외곽링은 내부 디바이스 본체에 대하여 이동(예컨대 회전)할 수 있다. 접착성 밀폐제 460는 디스플레이를 본체에 부착시키고 또한 디스플레이와 내부 본체 콤포넌트 사이에 환경 밀폐를 제공한다.
특정 실시예에서, 디바이스의 디스플레이는 원형 또는 타원형이고, 원형 디스플레이 유닛(예컨대, LCD 디스플레이 및 OLED 디스플레이)을 수용한다. 디스플레이 유닛은 가시 영역이 디스플레이 모듈 내에서 중앙에 위치하도록 탑재될 수 있다. 디스플레이 유닛이 오프셋 디자인(offset design)을 갖는 경우, 원형 및 정확히 위치된 시각 아웃라인(visual outline)을 생성하기 위하여 디스플레이의 일부를 가리는데 하나 이상의 적절한 마스킹(masking)이 사용될 수 있다.
특정 실시예에서, 디스플레이 모듈은 디바이스의 사용자 인터페이스의 일부인 외곽링을 갖는다. 외곽링은 밴드가 디바이스의 바닥부와 내부를 안정적으로 유지하는 동안 회전할 수 있다. 도5a는 다른 디바이스 콤포넌트에 대한 디바이스 디스플레이를 위에서 본 일례를 나타낸다. 외곽링 510은 디바이스 508의 전면 512에 부착되거나 또는 전면 512과 별개일 수 있다. 특정 실시예에서, 디스플레이 506는 그 디스플레이 506를 둘러싼 외곽링 510이 회전하더라도 회전하지 않는다. 이것은 밴드 502에 부착된 디스플레이 모듈의 부분 504에 디스플레이 506를 부착하거나 또는 디스플레이되는 콘텐츠가 디스플레이 유닛이 회전하는 동안 정지 상태를 유지하도록 프로그래밍함으로써 달성된다. 후자의 경우에, 디스플레이된 콘텐츠는 디스플레이 유닛에 의해 디스플레이된 이미지의 시각적 수직축이 밴드에 항상 평행을 유지하도록 회전된다.
디스플레이 모듈은 하나 이상의 센서를 디스플레이와 동일 표면이나 부근에 부가적으로 포함할 수 있다. 예를 들어, 디스플레이 모듈은 카메라 또는 그 밖의 광학 센서, 마이크로폰 또는 안테나를 포함할 수 있다. 하나 이상의 광학 센서는 디스플레이의 불활성 영역에 배치될 수 있다. 예를 들어, 도5b는 디스플레이 520 아래에 있는 배터리와 동일 평면에 배치된 카메라 모듈 516, 및 디스플레이 520의 선명부(clear section) 아래에 위치한 광학 개구(optical opening) 514를 구비한 디바이스 522를 도시한다. 카메라 모듈 516은 디스플레이 520용 그리드라인 커넥터들(grid line connectors) 518 사이에 배치될 수 있다. 임의의 카메라 또는 그 밖의 적절한 센서(예컨대, 도5c에서 불활성 영역 526에 배치된 안테나 524)는 디스플레이와 동일 평면에 배치될 수 있다. 추가적으로 또는 대안적으로, 아래 상세히 설명되는 바와 같이, 센서는 디스플레이 위 또는 아래에 배치될 수 있고, 디바이스 외부 본체에 또는 그 내부의 임의 적절한 위치에 배치될 수 있고, 디바이스 밴드에 또는 그 내부의 임의 적절한 위치에 배치될 수 있고, 이들의 임의 적절한 조합으로 배치될 수 있다. 예를 들어, 전면 카메라는 디스플레이 아래에, 디스플레이에, 또는 디스플레이 아래에 배치될 수 있다.
특정 실시예에서, 원형 디스플레이의 패키징은 도5d에 도시된 바와 같이 불활성 영역을 포함한다. 전통적인 디스플레이에서, 디스플레이에 전력을 공급하는 로우 드라이브 라인(row drive line)은 가장 근접한 측면 가장자리에 라우트되고(routed), 그 후, 불활성 영역을 따라서 아래로 라우트되거나 또는 그 측면 가장자리를 따라서 드라이버 IC에 직접 연결된다. 다수의 접근법이 디스플레이를 위해 불활성 영역의 양을 감소시키고자 선택될 수 있다. 예를 들어, 특정 실시예에서, 디스플레이에 전력을 제공하는 그리드 컨트롤 라인(grid control line)을 그 디스플레이의 일 가장자리에 리라우트함으로써 불활성 영역의 크기가 감소된다. 도5d는 디스플레이의 일 가장자리에 라우트되고 커넥터 538에 연결된 격자 컨트롤 라인 532을 도시한다. 커넥터 538는 격자 컨트롤 라인을 디바이스 528의 프로세싱 센터에 라우트한다. 이러한 구성에서, 불활성 영역 530은 최소화될 수 있다.
도5e는 하나 이상의 마스크 550로 중앙이 마스크된 원형 영역과 함께, 다각 타입 디스플레이 아웃라인( polygonal-type display outline)을 생성함으로써, 디바이스 540의 디스플레이 554 내 불활성 영역을 감소시키는 다른 실시예를 도시한다. 커넥터 552는 다각 디자인(polygonal design)으로 배열된다. 그라인드 라인의 로우 546와 컬럼 542은 가장 근접한 커넥터 552에 라우트된다. 특정 실시예에서, 커넥터 552는 디스플레이 뒤에 있고 드라이버 칩을 갖는 가요성 회로에 연결된다. 연결 밀도가 감소되므로, 도5e의 전자부품은 가요성 인쇄회로판(FPC board)에 쉽게 연결될 수 있고, 따라서 수율이 증가된다. 또한, 드라이버 IC를 디스플레이의 뒤로 이동시킴으로써, 집적 회로를 안정하고 편평한 표면에 머무르게 하면서도 하나 이상의 불활성 영역을 추가로 감소시킬 수 있다. 이 디자인은 OLED 디스플레이에 특히 적합하지만, FPC 보드가 연결되기 전에 백라이트 유닛(BLU)이 디바이스에 적층된다면 LCD에도 사용될 수 있다. 상술한 예는 커넥터의 다각 배열을 예시하고 있지만, 커넥터의 다른 적절한 배열도, 그리드 라인이 모든 픽셀에 도달할 수 있는 한, 사용될 수 있다.
도5f는 디바이스 디스플레이의 물리적 배치와 크기의 예를 나타낸다. 디바이스의 지름은 D4(예컨대, 대략 41.1mm)이다. 디바이스는 폭이 D3(예컨대, 대략 1.55mm)인 하나 이상의 불활성 영역을 포함한다. 디바이스는 지름이 D2(예컨대, 38mm)인 가시영역을 포함한다. 디바이스는 컬럼 라인 564 및 로우 라인 566 용 커넥터 568를 포함한다. 커넥터 568는 하나 이상의 FPC 보드에 의해 디바이스에 결합될 수 있다. FPC 보드의 폭은 D1(예컨대, 대략 0.2mm)이다. 커넥터 568의 폭은 D5(예컨대, 대략 6mm)이다. 디스플레이 커넥터 FPC 556는 디스플레이의 전자부품(예컨대, 커넥터 568로부터의 회로)을 드라이버 칩 558에 연결하는데 사용될 수 있다. 드라이버 칩 558은 디스플레이 아래에 있거나 또는 디바이스 본체의 배면에 있을 수 있다.
도6a~c는 디바이스의 제조에 포함되는 디바이스 디스플레이의 예시적 단면도를 나타낸다. 도6a에서, 열융착 나이프(hotbar knife)는 디스플레이의 전자부품을 디바이스의 처리 전자부품에 연결하는 가요성 인쇄 회로(flexible printed circuit; FPC) 610을 땜납하기 위하여 사용된다. 이 공정 동안 FPC 650을 안정화하기 위하여 지지체 615가 사용될 수 있다. 도6b는 연결된 FPC 620를 도시한다. 이 FPC 620는 접힌 후(부분 625), 디스플레이의 배면에 접착제 630를 사용해 부착된다. 도6c는 마감된 디스플레이의 예를 나타낸다. FPC 645는 보호 디스플레이 유리 635의 배면에 적층되고, 유리 635의 전면으로 굽혀진 후, 마이크로본드(mircobond) 419에 의해 유리 635의 전면에 부착된다. 접착제 650가 FPC 645와 디바이스를 접속한다. 디바이스에 접착체 650로 접속된 드라이버 칩 655 위로 FPC가 지나간다.
특정 실시예에서, 모든 프로세싱 및 RF 콤포넌트는 디바이스의 본체 내에 위치되며, 이것은 디바이스 밖으로 RF 신호를 통과시키는데 어려움을 야기할 수 있다. FPC 보드는 디스플레이에 대한 연결이 없는 다각형의 측면에 추가적으로 부착될 수 있고, 이로 인해, 도5c에 도시된 바와 같이, 스트립 라인(strip line), 스터브(stub), 세라믹 또는 다른 안테나(또는 그 밖의 적절한 센서)가 디스플레이와 동일 평면에 탑재될 수 있다. 도5c의 안테나가 디스플레이와 동일 평면에 있으므로, 디스플레이에서 와이어링의 밀집 메쉬(dense mesh; 예컨대, 도5e에 도시된 바와 같음)에 기인한 간섭이 감소된다.
특정 실시예에서, 금속 차폐(metal shield)를 사용해, 디스플레이를 메인 프로세서 보드와의 전자기 간섭으로부터 차폐할 수 있다. 특정 실시예에서, 이 금속 차폐는 배터리용 히트 싱크로서 사용될 수 있고, 따라서 배터리의 충전 또는 방전 레이트를 개선할 수 있다.
특정 실시예에서, 착용식 전자 디바이스는 디바이스 본체 주위에 하나 이상의 외부 엘리먼트(outer element; 임의 형상일 수 있음)를 포함할 수 있다. 도7a는 디스플레이 705 주위의 예시적 외곽링 710에 의해 외부 엘리먼트를 도시하고 있다. 외곽링은 임의의 적절한 재료(예컨대, 스테인레스 스틸 또는 알루미늄)로 구성될 수 있다. 특정 실시예에서, 외곽링 710은 일 방향으로, 양 방향으로 회전할 수 있거나, 또는 예컨대 스위치에 기초한 양 구성(configuration)에서 사용될 수 있다. 특정 실시예에서, 제1 외곽링 710은 일 방향으로 회전할 수 있고, 제2 외곽링 710은 반대 방향으로 회전할 수 있다. 외곽링 710은 유지링 715에 의해 디바이스의 기대 720에 연결될 수 있다. 도7b는 델린링(Delrin ring) 715a 또는 스프린트스틸 유지링(sprint steel retention ring) 715b에 의해 기대 720에 부착된 외곽링 710을 도시한다. 스프링 또는 클립 725은 링을 기대 720에 부착한다. 도7c-d는 나사못 725를 통해 기대 720에 부착된 유지링 715을 도시하며, 이 나사못은 기대 720의 대응하는 지주에 고정된다(screwed). 디바이스는 도7c에 도시된 바와 같이, 파스너/스페이서(fastener/spacer) 730를 포함할 수 있다.
특정 실시예에서, 외부 엘리먼트의 멈춤쇠(detent) 또는 인코더(양자는 적절한 경우 상호 교환적으로 사용될 수 있음)는 사용자에게 촉각 피드백(예컨대, 촉각 클릭)을 제공할 수 있고, 이 촉각 피드백은 예컨대, 사용자에게 엘리먼트가 일 "스텝(step)" 또는 "증분(increment)" 이동한 때를 판단하게 하는 멈춤쇠가 제공한다. 이 클릭은 기계적 링키지(mechanical linkage; 예컨대 스프링 메커니즘)를 통해 직접 생성되거나 또는 촉각 액추에이터(예컨대, 모터 또는 피에조(piezo) 액추에이터)를 통해 전자적으로 생성될 수 있다. 예를 들어, 모터는 예건대 단락(being shorted)되어 저항(resistance)을 제공하고 비단락되어 더 작은 저항을 제공하는 바와 같이, 저항을 링의 움직임에 대하여 제공하여, 기계적 멈춤쇠 시스템이 제공하는 상대적으로 높은 토크와 낮은 토크를 시뮬레이션할 수 있다. 다른 예로서, 자기 시스템이 멈춤쇠의 촉각을 제공하기 위하여 사용될 수 있다. 예를 들어, 솔레노이드(solenoid) 메커니즘은 멈춤쇠 스프링 또는 탈진기(escapement)를 필요에 따라 해방하기 위하여 사용될 수 있다. 스프링 또는 탈진기는 실제 기계적 피드백을 제공한다. 하지만, 이 배치를 통해 디바이스는, 크기가 변경된 것과 같은 멈춤쇠의 감각을 만들기 위하여 정확한 간격으로 멈춤쇠를 다시 맞물리게 하면서, 필요에 따라 다수의 멈춤쇠를 생략할 수 있다. 또 다른 예로서, 회전형 외부 엘리먼트(예컨대, 외곽링)는 예컨대, 링을 "멈춤" 위치에 끌어당기는데 사용되는 전자석에 의해 자화되어, 토크를 증가시키고 멈춤쇠 피드백을 시뮬레이션할 수 있다. 또 다른 예로서, 회전형 외부 엘리먼트는 디바이스 본체 내의 상응하는 자기 폴들(magnetic poles)을 밀어내고 끌어당기는 교호 북-남 폴들(alternating north-south poles)을 가질 수 있다. 또 다른 예로서, 상자석(permanent magnet)은 전자석이 사용되지 않는 곳에 링을 고정하는데 사용되어, 프리휠링(freewheeling)을 방지할 수 있다. 또 다른 예로서, 전자석 대신에, 쉽게 자화되는 강자성 합금이 솔레노이드 내에 사용될 수 있다. 이에 의해, 솔레노이드의 전자장(electromagnetic field)은 코어의 자기 오리엔테이션(magnetic orientation)을 "재프로그램(reprogram)"하여, 솔레노이드 자체가 해방된(disengaged) 경우에도 자기 구동 효과를 유지할 수 있다. 본 명세서는 멈춤쇠, 멈춤쇠형 시스템 및 인코더의 특정 예를 제공하지만, 본 명세서는 임의의 적절한 멈춤쇠, 멈춤쇠형 시스템 및 인코더를 고려하고 있다.
도8a는 외곽링 805을 도시하며, 이 외곽링 805의 내면에는 스프링-기반 멈춤쇠 시스템용 노치(notch)들이 식각(etch)되어 있다. 스프링 820은 스프링 기둥 810에 부착된다. 유지링 815은 델린(Derlin), 스틸 또는 그 밖의 적절한 재료로 만들어 질 수 있고, 분할되거나(segmented), 고형/연속체(sold/continuous)일 수 있다. 도8b는 작은 노치들 830을 구비한 예시적 외곽링을 도시하며, 이 노치들은 도시된 멈춤쇠로부터 촉각 피드백을 제공하기 위하여 스프링-내장 엘리먼트(spring-loaded element)와 맞물린다. 전자 피드백 시스템의 경우, 피드백은 링의 움직임에 고속 동기하여 생성되고, 링의 연이은 움직임들이 서로 구분되도록 충분한 공격 및 감쇄 레이트(attack and decay rate)를 가져야 한다. 특정 실시예에서, 외곽링은 어떠한 클릭킹(clicking)이나 스텝핑(stepping)없이 자유롭게(연속적으로) 회전할 수 있다. 특정 실시예에서, 링은 예컨대, 외곽링이 있어야 할 회전 모드를 가리키는 사용자로부터의 입력에 기초하여 연속적으로 회전하거나 또는 단계/증분식(in steps/increments)으로 회전할 수 있다. 부가적으로 또는 대안적으로, 링은 일 방향으로는 자유롭게 회전하고 다른 방향으로는 증분식으로 회전할 수 있다. 사용된 회전 모드에 기초하여 다른 기능이 존재할 수 있다. 예를 들어, 연속 모드 회전은 볼륨이나 줌잉(zooming)과 같은 연속 파라미터를 변경할 수 있고, 증분 모드 회전은 메뉴 아이템이나 리스트의 연락처와 같은 이산 파라미터를 변경할 수 있다. 이들은 아래에서 상세히 설명한다. 특정 실시예에서, 자유롭게 회전할 때 링은 사용자에게 촉각 피드백을 제공하며, 이 촉각 피드백은 예컨대, 링이 점성 매체(viscous media; 예컨대, 링이 더 빨리 회전할수록 매체는 회전에 대해 더 많이 저항함)에 회전하는 듯이 보이도록 인가된 힘과 같다. 특정 실시예에서, 외곽링은 예컨대, 제스처의 일부로서 또는 회전 모드를 변경하기 위하여, 그 외곽링의 회전축 방향으로 들어 올려지거나 눌릴 수 있다. 특정 실시예에서, 외곽링은 터치 감지부를 가질 수 있다.
특정 실시예에서, 인코더 또는 멈춤쇠는 디바이스 본체에 대한 외곽링의 위치를 판단하는데 사용될 수 있다. 특정 실시예에서, 도2의 인코더 230로 도시된 바와 같이, 디바이스 본체에 부착된 인코더가 활용된다. 특정 실시예에서, 인코더는 도8b의 인쇄 광학 엘리먼트 825로 도시된 바와 같이, 외곽링 자체의 내면 일부이다. 이들 실시예에서, 외곽링은 인코더의 회전부로서 직접 동작한다. 광학 인코더 패턴은 내면에 인쇄되고, 프로세싱 보드의 광학 모듈에 의해 독출된다. 외곽링 안쪽의 인코더는 검출기를 위하여 충분한 광학 컨트라스트를 가져야 하고, 예컨대 인쇄 또는 레이저-식각에 의해 외곽링에 식각될 수 있다. 내부링과 외곽링은 테프론 또는 델린과 같은 재료로 만들어진 저-마찰 링(예컨대, 도8c의 링 840)에 의해 환경적으로 밀폐될 수 있고, 이 저-마찰 링은 오염물질이 디바이스의 내부에 들어가는 것을 방지하면서 끼워맞춤(tight fit)을 유지한다. 특정 실시예에서, 내부링의 테두리는 외곽링의 유사한 테두리와 맞물려서, 두 개의 링은 여전히 자유롭게 회전하지만 하나로 결합될 수 있다. 내부링의 바닥 테두리는 아래로부터의 환경적 유해물을 편향시켜서 추가적 밀폐를 제공한다. 도9에 도시된 바와 같이, 특정 실시예에서, 밀폐링 915는 기대의 홈 905에 끼워 맞춰질 수 있다. 이 기대는 그립 영역 910을 포함할 수 있다.
특정 실시예에서, 외곽링을 디바이스 본체에 연결하는 유지링은 그 외곽링에 대한 압력을 검출하기 위하여 스트레인 게이지(strain gauges)를 구비할 수 있다. 일례로서, 도10은 네 개의 스트레인 게이지(이들은 내부 본체에도 연결됨)에 연결된 유지링을 도시하며, 이들 게이지는 유지링 주위에 대칭으로 배치된다. 본 명세서에 사용되는 바와 같이, 네 개의 스트레인 게이지는 스트레인을 검출하는 전자 콤포넌트일 수 있다. 대칭 배치의 결과로, 외곽링의 정상 움직임 또는 외곽링과의 접촉은 그 외곽링에 가장 비대칭적 스트레인을 야기하는데, 외곽링은 단지 그 링의 평면에서 디바이스에 대해 이동하고 따라서, 도10의 상부 링에 의하여 도시한 바와 같이, 일단은 압축되고 타단은 신장되기 때문이다. 대조적으로, 외곽링의 큰 부분을 쥐면, 대칭적 스트레인이 스트레인 게이지의 대향하는 쌍에 생성될 것이다(예컨대, 압력을 받은 링의 신장 때문임). 두 쌍의 스트레인 게이지간의 상대적 차이는 외곽링을 의도적으로 쥐는 것을, 외곽링의 정상적 움직임이나 외곽링과의 접촉으로부터 구분한다. 본 명세서는 유지링 내 스트레인 게이지의 개수와 배치에 관하여 특정 예를 설명하고 있지만, 본 명세서는 콤포넌트에 대한 압력을 검출하기 위하여, 임의의 적절한 개수의 스트레인 게이지를 디바이스의 임의 적절한 콤포넌트 내에 배치하는 것을 고려하고 있다. 일례로서, 스트레인 게이지는 디바이스의 밴드 또는 외곽링에 배치될 수 있다.
스트레인 게이지 또는 그 밖의 적절한 스트레인 또는 압력 검출 시스템을 구비한 콤포넌트에 스트레인이 생기면, 그 검출된 스트레인은 임의의 적절한 기능성(functionality)으로 귀결될 수 있다. 예를 들어, 사용자가 외곽링을 쥐어서 스트레인이 그 외곽링에 생기면, 사용자에게 피드백이 제공될 수 있다. 피드백은 예를 들어, 촉각 피드백(예컨대, 진동, 흔들림, 또는 가열/냉각), 청각 피드백(예컨대, 비프, 특정 사용자-정의 톤의 재생), 시각 피드백(예컨대, 디바이스의 디스플레이에 의함) 또는 그 밖의 적절한 피드백 또는 이들의 조합과 같은 임의의 형태를 취할 수 있다. 링을 쥐는 것과 연관된 기능성은 보다 상세히 설명되며, 본 명세서는 임의의 적절한 콤포넌트에 생기고 검출되는 스트레인 또는 압력으로부터 얻어지는 임의의 적절한 기능성을 고려한다.
착용식 전자 디바이스는 디바이스를 사용자에게 고정하는 밴드에 부착될 수 있다. 본 명세서에서, "밴드"로 언급한 것은 도14a에 예시된 바와 같이, 사용자의 다리, 허리, 손목 또는 팔에 감길 수 있는 전통적인 밴드 1405; 도14b에 예시된 바와 같이, 옷의 일부에 고정되는 클립 1415; 도14c에 예시된 바와 같이, 목걸이 또는 팔찌 1420 구성; 도14d에 예시된 바와 같이, 예컨대 사용자의 주머니에 디바이스를 안전하게 보관하기 위한 열쇠고리 1425 또는 그 밖의 액세서리 구성; 또는 그 밖의 적절한 구성과 같이, 디바이스를 사용자에게 고정하는 임의의 적절한 장치를 포괄한다. 이들 실시예 각각은 디바이스, 밴드 또는 본체에 위치된 카메라 1410를 포함할 수 있다. 도11은 디바이스를 착용하는 다양한 예를 도시한다. 예컨대, 디바이스는 1105로 예시된 바와 같이 목 주위에; 115로 예시된 바와 같이 벨트에; 신체기관에(예컨대, 1120으로 예시된 팔); 1125로 예시된 허리에, 또는 1130으로 예시된 주머니에 착용되거나 옷에 고정(예컨대, 1110으로 예시된 바와 같이 가슴)될 수 있다. 본 명세서는 디바이스를 사용자에게 고정하는 특정 밴드 예와 방식을 설명하고 있지만, 본 명세서는 디바이스를 사용자에게 고정하는 임의의 적절한 밴드 또는 방식을 고려하고 있다.
특정 실시예에서, 센서 및 상응하는 전자부품은 적절한 경우 밴드에 부착될 수 있다. 예를 들어, 도14a~14c의 밴드는 광학 센서를 수용하는데 적합할 수 있다. 모든 예시된 특정 실시예는 터치-센서티브 영역을 포함하는데 적합하다. 본 명세서는 예컨대, 통신 콤포넌트(예를 들어, 안테나), 환경 센서 또는 관성 센서와 같은 임의의 적절한 센서 또는 전자부품을 포함할 수 있다. 특정 실시예에서, 밴드는 디바이스에 착탈가능하고, 디바이스에 부착되어 있지 않으면 그 디바이스와 원격 통신할 수 있다. 특정 실시예에서, 밴드의 전기 콤포넌트와 연관된 배선은 예컨대, 디바이스의 체적을 최소화하거나 또는 내부 디바이스 콤포넌트와의 전자기 간섭을 최소화하기 위하여, 그 밴드 내에 또한 수용될 수 있다. 예를 들어, 높은 레벨의 내부 EMI를 야기할 수 있는 디바이스(예컨대, 카메라 또는 통신 시스템), 추가 체적을 필요로 하는 디바이스(예컨대, 배터리 또는 스피커), 주 본체의 환경적 밀폐를 필요로 할 수 있는 디바이스(예컨대, 전력/데이터 커넥터), 또는 사용자의 피부와 추가적 접촉을 필요로 할 수 있는 디바이스(예컨대, 생체 측정 센서)는 전자 부품의 적어도 일부를 그 디바이스의 밴드 내에 수용함으로써 혜택을 얻을 수 있다. 특정 실시예에서, 배선이 밴드에 수용되면, 디스플레이 모듈은, 밴드에 대한 전자 접속 또는 밴드를 통한 전자 접속이 외곽링이 회전할 때 꼬이지 않게, 밴드에 부착될 수 있다. 사용자가 자신의 의지대로 디스플레이 모듈 또는 디바이스 본체를 제거하거나 부착할 수 있게, 디스플레이 모듈은 사용자가 제거할 수 있는 커넥터를 사용할 수 있다. 디바이스에 대한 밴드의 부착예로서, 도12a에 예시된 밴드 1215를 하나 이상의 기둥 1205 위에 배치한 다음 파스너(예컨대, 나사못) 1210을 사용해 이들 기둥에 고정함으로써 이 밴드 1215를 본체에 부착할 수 있다. 특정 실시예에서, 파스너와 기둥에 더하여, 유지판(retention plate) 1215을 사용하여, 도12b에 예시된 바와 같이 밴드를 디바이스 1225에 고정할 수 있다. 본 명세서는 밴드와 디바이스 사이에 적절한 인터페이스를 고려하고 있다. 예를 들어, USB 인터페이스는 예컨대, 디바이스와 밴드 사이에서 또는 디바이스의 콤포넌트와 밴드의 콤포넌트 사이에서 데이터를 통신하기 위해, 밴드와 디바이스 본체 사이에 제공될 수 있다. 특정 실시예에서, 인터페이스에 의해 디바이스의 사용자는 손쉽게 디바이스의 밴드를 탈착하거나 변경할 수 있다.
본 명세서는 도14a에 예시된 것과 같은 밴드를, 예컨대 사용자가 착용하면, 그 밴드 자체로 연결하는 임의의 적절한 구조를 예상한다. 예를 들어, 도13a는 카메라 모듈 1310을 구비한 밴드 1305를 디바이스 1300의 착용자에게 채우는 구조의 예를 도시한다. 파스너는 하나 이상의 스냅(snap) 1315, 구멍 1320과 1335 및 상응하는 콤포넌트, 걸쇠(clasp) 1340, 또는 누름 버튼 1330이 있는 클립 1325를 포함할 수 있다. 도13b는 클립 1311 및 1303을 사용해 착용자에게 밴드 1301을 고정하는 예시적 메커니즘을 도시한다. 콤포넌트 1309는 콤포넌트 1307의 타면에 있는 공동에 삽입되어 밴드 1301를 채운다. 도13b는 클립 1303과 1311에 대한 예시적 내부 메커니즘을 도시한다. 클립 1313(클립 1311에 상응)의 콤포넌트 1317은 하나 이상의 자석부(magnetic portion)를 포함하고, 이 자석부는 공동 1323의 자석 쪽으로 끌어당겨진다. 예를 들어, 콤포넌트 1317는 그 외측 가장자리에 자석부를 포함할 수 있고, 콤포넌트 1317의 자석을 끌어당기기 위하여 반대 극성의 자석이 스프링 1319의 전면에 배치될 수 있다. 그러면, 콤포넌트 1317는 공동 1323을 메우고(fill), 자석 결합에 의해 클립 1313을 클립 1303에 채울 수 있다. 삽입되면, 콤포넌트 1321는 공동 1323 밖으로 콤포넌트 1317에 힘을 가하는 스프링 1319과 맞물리도록 사용될 수 있다. 클립 1313은 클립 1303으로부터 분리될 수 있다. 콤포넌트 1317 상의 자석과 공동 1323 내의 자석에 더하여, 자석이 또한 클립 1313 내에 배치되어, 예컨대, 스프링 1319과 맞물릴 때 클립 1313를 제거하는데 도움을 주거나, 또는 클립 1303에 채결되지 않았을 때 콤포넌트 1317가 클립 1313 내외부로 슬라이드하는 것을 방지할 수 있다. 예를 들어, 하나 이상의 자석은 콤포넌트 1317와 동일 평면에서 콤포넌트 1317로부터 등거리인 클립 1313의 중앙에 배치되어, 각 콤포넌트의 자석(따라서 콤포넌트 자신들)을 클립 1313의 중앙을 향해 끌어당길 수 있다.
도13c는 파스너 1333 및 1331를 사용해 밴드 1327를 고정하는 구조의 예를 도시한다. 예컨대, 공동 1329 및 콤포넌트 1337 및 1341를 사용하여 고정할 수 있다. 도13c는 파스너 1331 및 1333의 내부 구조를 도시한다. 파스너 1339(파스너 1333에 상응함)는 콤포넌트 1337를 포함한다. 파스너 1343(파스너 1331에 상응)가 파스너 1339에 삽입되면, 콤포넌트 1341는 콤포넌트 1337에 부착하고, 파스너 1339의 테두리 너머로 신장하여 고정될 수 있다. 파스너 1339가 위쪽으로 당겨지면, 그 테두리는 콤포넌트 1337에 바깥쪽으로 작용하는 힘을 점진적으로 가하여, 콤포넌트 1341를 파스너 1339의 테두리를 넘겨 이동시켜서 파스너 1339가 파스너 1343으로부터 제거되도록 한다. 특정 실시예에서, 파스너 1333와 파스너 1331를 함께 채결하기 위하여 자석이 그 파스너들 내에 또는 위에 배치될 수 있다. 예를 들어, 자석이 각 콤포넌트 1341 및 1337의 가장자리에 배치될 수 있다. 파스너 1343가 파스너 1337 내로 이동되면(또는 그 반대로 이동) 자석은 콤포넌트 1341를 콤포넌트 1337에 끌어당겨 고정한다. 추가로, 자석은 파스너 1343에 배치되어, 예컨대 콤포넌트 1341를 콤포넌트 1337에서 제거하는데 도움을 주거나 또는 파스너 1343가 파스너 1339에 고정되지 않았을 때 콤포넌트가 1341가 파스너 1343의 내외부로 슬라이딩하는 것을 방지할 수 있다. 예를 들어, 하나 이상의 자석은 콤포넌트 1341와 동일 평면에서 콤포넌트 1341로부터 등거리인 파스너 1343의 중앙에 배치되어, 각 콤포넌트의 일단에 있는 자석(따라서 콤포넌트 자신들)을 파스너 1343의 중앙을 향해 끌어당길 수 있다.
도13d는 파스너 1349 및 1353을 사용해 밴드 1351를 고정하는 대안적 배치를 도시한다. 고정되었을 때, 콤포넌트 1359(둥근 모양일 수 있음)를 공동 1363에서 분리하고, 파스너 1361(파스너 1349에 상응)가 파스너 1357로부터 제거되도록 하기위해(또는 그 역도 가능), 파스너 1357(파스너 1353에 상응)를 비틀(twist) 수 있다. 특정 실시예에서, 파스너 1357 및 1361을 서로 부착하거나 및/또는 파스너 1357 및 1361를 서로 떨어뜨리기 위해 하나 이상의 자석이 사용될 수 있다. 예를 들어, 자석은 공동 1363에 배치되고 또한 콤포넌트 1359의 외측(볼록함) 가장자리에 배치되어, 콤포넌트 1359를 공동 1363으로 끌어당기고 또한 파스너 1361을 파스너 1357에 고정할 수 있다. 다른 예로서, 자석은 콤포넌트 1359의 내측(오목함) 가장자리(즉, 콤포넌트 1359의 오목한 면)에 배치되어 콤포넌트 1359를 파스너 1361에 끌어당겨서, 예컨대 콤포넌트 1359를 공동 1363에서 제거하는데 도움을 주거나 또는 파스너 1361가 파스너 1357에 고정되지 않았을 때 콤포넌트가 1359가 파스너 1361의 내외부로 슬라이딩하는 것을 방지할 수 있다. 상응하는 자석은 콤포넌트 1359가 공동 1363 내로 신장하지 않았을 때 그 콤포넌트 1359와 접촉하는 파스너 1361의 내면에 배치될 수 있다. 즉, 이 자석은 콤포넌트 1359의 내면에 있는 자석을 끌어당겨( 및, 특정 실시예에서, 그 내면에 있는 자석과 궁극적으로는 직접 접촉함), 콤포넌트 1359를 파스너 1361에 고정한다.
도13e~13g는 카메라 모듈 1373을 구비한 밴드 1369를 예컨대, 디바이스 1367의 사용자가 착용할 때, 그 밴드를 밴드 자체에 고정하는 실시예를 도시한다. 도13e에서, 밴드 1369의 일면에 있는 하나 이상의 자석 1371은 밴드 1369의 타면에 있는 하나 이상의 자석 1379에 끌어당겨질 수 있다. 자석은 도13h에 자석 스트립(strip) 1307로 예시된 바와 같이, 밴드를 부분적으로 크로스(cross)하는 자석 재료의 스트립일 수 있고, 도13i에 자석 스트립 1321 및 1327로 예시된 바와 같이, 밴드를 완전히 크로스하는 자석 재료의 스트립일 수 있고, 도13f에 예시된 바와 같이, 자석 재료의 영역일 수 있다. 자석 1371 및 1379에 더하여, 밴드 1369는 구멍 1391 및 하나 이상의 기둥 1377을 포함하여, 밴드 1369를 디바이스 1367의 착용자에게 고정할 수 있다. 도13g는 구멍 1383(1398)을 사용해 디바이스 1367의 착용자에게 밴드 1381를 부착하기 위하여 파스너(예컨대, 커버링 1395를 구비한 너트) 1371에 고정되는 파스너(예컨대, 나사못 1396) 1387를 도시한다.
특정 실시예에서, 전기 콤포넌트를 담고 있는 밴드는 도2의 커넥터 250로 예시한 바와 같이, 전통적인 물리적 접촉 커넥터를 또한 포함할 수 있다. 이 커넥터는 예컨대, 충전, 시스템 업데이트, 디버깅, 또는 데이터 전송을 위해 디바이스와의 접속을 가능하게 한다. 이러한 커넥터는 각양각색의 포고(pogo)이거나 도금된 표면일 수 있고, 이 표면에 대해 충전 케이블은 접촉하여 인터페이스할 수 있다. 이러한 커넥터는 환경이나 인간 몸체로부터의 습기에 노출되어 발생하는 부식을 방지하기 위해 귀금속으로 도금될 수 있다. 특정 실시예에서, 물리적 커넥터는 전원용으로만 사용될 수 있고, 데이터는 블루투스, 근접장 통신(NFC) 기술, 또는 WI-FI와 같은 근거리 통신 양식을 사용하여 전송될 수 있다.
특정 실시예에서, 디바이스의 에너지 저장을 증가시키기 위하여 가요성 배터리(예컨대, 리튬-기반 배터리)를 수용하는데 밴드가 사용될 수 있다. 에너지 저장 용량은 총 체적과 관련되어 있으므로, 밴드 내부의 배터리는 디바이스 본체의 총 크기에 영향을 주지 않고, 체적이 제한된 착용식 디바이스용 저장 용량을 증가시킨다.
이하에서 상세히 설명되는 바와 같이, 착용식 전자 디바이스는 하나 이상의 센서를 그 디바이스 상이나 그 내부에 포함할 수 있다. 예를 들어, 착용식 전자 디바이스는 하나 이상의 광학 센서 또는 깊이 센서(depth sensor)를 포함할 수 있다. 광학 센서는 예컨대, 디바이스의 표면, 사용자 몸으로부터 밖을 향하는 밴드, 디바이스 표면의 반대쪽을 향하는 밴드, 사용자 몸쪽을 향하는 밴드, 또는 이들의 임의 적절한 조합과 같은 임의의 적절한 위치에 배치될 수 있다. 도15는 밴드를 구비한 디바이스 1500를 도시하며, 이 밴드는 바깥쪽을 향하는 광학 센서 1505를 갖는다. 광학 센서를 밴드에 배치함으로써, 케이스 내부의 고주파 신호를 감소시킬 수 있고, 따라서 디바이스 본체 내에서 보다 가벼운 차폐(lighter shielding)가 가능해지고, 그로인해 무게와 부피를 절약할 수 있다. 도14a-d는 착용식 전자 디바이스의 서로 다른 실시예에 대한 예시적 카메라 배치를 도시한다. 특정 실시예에서, 카메라 입력을 처리하는 것과 같은 전자부품은, 도1의 하우징 125에 의해 예시된 바와 같이, 카메라를 수용하는 "화산" 형상 내에 위치될 수 있을 뿐만 아니라 밴드 내에 위치될 수 있다. 특정 실시예에서, 다른 센서는 예컨대 디바이스의 밴드에 있는 광학 센서와 동일한 하우징 내에서 광학 센서 부근에 배치될 수 있다. 예를 들어, 깊이 센서는 광학 카메라와 함께 사용되어, 디바이스 환경의 검출이나 디스플레이를 향상시키거나, 사용자가 제스처를 통해서 가리키고 있거나 상호작용하고 있는 오브젝트를 판단할 수 있다.
특정 실시예에서, 밴드 상 광학 센서의 배치는 미리 결정된 범위 내에서 사용자가 조정할 수 있다. 특정 실시예에서, 밴드 상 광학 센서의 배치는 사용자가 센서를 편리하게 조준할 수 있도록 최적화될 수 있다. 예를 들어, 도15에 예시된 바와 같이, 사용자가 허리 둘레에 디바이스를 착용하면, 광학 센서 1505는, 사용자 손바닥이 지면과 대략 평행일 때 그 광학 센서가 사용자의 몸으로부터 바깥쪽을 조준하도록, 바깥쪽을 향하는 방식으로 배치될 수 있다.
특정 실시예에서, 광학 센서는 그 센서가 사용자 몸으로부터 바깥쪽을 향하고 있는 동안 사용자가 디바이스의 디스플레이를 볼 수 있도록 배치될 수 있다. 따라서 사용자는 도16의 시야 삼각형으로 예시한 바와 같이, 센서가 캡쳐하고 있는 실제 경치에 대한 사용자의 시야가 차단되지 않으면서, 광학 센서가 캡쳐하여 디바이스가 디스플레이하는 콘텐츠를 볼 수 있다. 디바이스 1600의 디스플레이 1620는 연관된 시야 원추(associated viewing cone)을 가질 수 있다. 시유 원추는 예컨대, 디스플레이를 합리적으로 볼 수 있는 체적(volume)이다. 사용자 1615는 (1) 실제 트로피 1610을 보고, 및 (2) 센서 1605로 실제 트로피를 조준함으로써 디스플레이 1620의 시야 원추 내로부터 디바이스 1600의 디스플레이 1620 상에서 트로피의 이미지를 본다. 센서 1605는 체적에 상응하는 연관된 시야각을 가지고, 그 센서 1605는 그 체적 내에서 이미지를 합리적으로 캡쳐할 수 있다. 도16의 예에서, 사용자를 바라보는 방향으로 디바이스 1600의 디스플레이 1620를 유지하면서 사용자가 센서 1605를 바깥쪽으로 편리하게 조준할 수 있고 또한 이러한 조준이 트로피 1610에 대한 사용자의 시야를 디바이스 1600가 차단하지 않으면서 달성될 수 있도록, 센서 1605가 배치된다.
도17은 광학 센서의 예시적 시야각을 도시한다. 오브젝트 1725가 광학 센서 1705의 시야각 내에 있으면, 사용자는 오브젝트 1725 및 디바이스 1700에 디스플레이되는 그 오브젝트 1725의 이미지 1710 또는 1715 모두를 볼 수 있다. 예를 들어, 사용자의 손 1720이 시야각의 내에 있으면, 사용자는 오브젝트 1725, 손 1720 및 디바이스의 디스플레이 1700 상의 오브젝트 1725와 손 1720의 이미지 1710를 볼 수 있다. 대조적으로, 손 1720이 센서 1705의 시야각 내에 있지 않으면, 디스플레이 1700에 있는 이미지 1715에 의해 디스플레이되지 않는다. 사용자가 착용했을 때 디바이스의 센서는, 동일 또는 다른 센서가 캡쳐할 제스처(예컨대, 핀칭(pinching), 탭핑(tapping), 앞으로 끌기(pulling toward) 또는 밀어내기(pushing away)와 같이 디바이스의 시야각 내에서 오브젝트를 선택하는 제스처)를 사용자가 하는 동안, 그 센서의 시야각 내에서 사용자의 손/팔/손가락을 캡쳐할 수 있다. 센서와 디스플레이는 사용자에 의해 착용되었을 때, 디바이스가 오브젝트에 대한 사용자의 시야각을 차단하지 않고 사용자의 시선이 디바이스 디스플레이의 시야 원추 내에 있지만 디스플레이에 디스플레이될 오브젝트는 디바이스의 시야각 내에 있도록 오리엔트(oriented)될 수 있다. 특정 실시예에서, 사용자는 센서에 의해 캡쳐되거나 또는 디바이스에 디스플레이된 이미지와, 예컨대, 이미지가 디스플레이되는 디스플레이 부분 또는 그 부근을 탭핑하거나, 센서의 시야각 내에서 제스처를 하거나, 또는 다른 그 밖의 적절한 방법으로, 상호작용할 수 있다. 이러한 상호작용은 예컨대, 오브젝트의 사진을 캡쳐함으로써 또는 오브젝트가 페어링/통신 능력(pairing/communication capability)을 가지고 있으면 그 오브젝트와 페어링하거나 또는 통신함으로써, 오브젝트를 식별(identify)하고 그 오브젝트에 관한 정보를 결정하며 및 그 정보의 적어도 일부분을 디스플레이에 디스플레이하는 것과 같은 오브젝트와 관련된 일부 기능성을 제공할 수 있다.
특정 실시예에서, 광학 또는 깊이 센서 모듈(이들은 적절한 경우 호환적으로 사용될 수 있음)은 도18a에 도시된 바와 같이 주 인쇄회로기판(PCB)에 직접 탑재된 경우에, 광학 센서가 사용하는 버스를 단지 확장함으로써 디바이스와 통신할 수 있다. 도18a에서, 광학 센서 1825는 가용성 인쇄회로 또는 배선 1820을 통해 데이터를 통합 컨트롤(integrated control) 1810에 전송하며, 이 통합 컨트롤은 도18a의 예에서 디바이스 1805의 내부 또는 표면에 위치하고, 디바이스 1805는 주 인쇄회로기판을 수용한다. 도18b는 광학 센서 모듈 1860의 내부 또는 표면에 있는 광학 센서 집적 회로 1850을 도시하며, 이 모듈 1860은 광학 센서 1855를 또한 수용한다. 디바이스 1830의 주 인쇄회로기판과 카메라 모듈 1860의 전자부품 사이의 통신은 가요성 인쇄 회로 1845를 통해 이루어진다. 도18b의 배치를 통해, 집적 회로는 데이터를 압축하고 또한 다른 처리를 한 후, 보다 적은 신호선을 요구하거나 또는 보다 적은 데이터 전송을 요구하는 방법을 통해 송신할 수 있다. 이것은 유익할 수 있는데, 사용자가 디바이스를 착용할 때 밴드는 반드시 유연해야 하고 따라서 보다 작은 수의 라인이 바람직하기 때문이다. 이러한 접근법은 라인의 수를 하나 또는 두 개의 신호선과 두 개의 전원선으로 축소할 수 있고, 이것은 패키징, 몰딩 및 신뢰성 면에서 바람직하다. 특정 실시예에서, 상술한 하나 이상의 전자부품은 긴 고주파 케이블로부터 전자기 간섭을 방지하기 위하여 반드시 차폐되어야 한다. 이러한 경우 병렬 버스의 사용이 일반적인데, 이 사용은 보다 큰 케이블 또는 FPC의 사용을 요구할 수 있다.
일 실시예에 있어서, 카메라 제어 집적 회로는 도18a-b에 도시된 바와 같이, 광학 모듈에 있는 작은 회로 보드 상에 직접 탑재될 수 있다. 착용식 전자 디바이스는 임의의 적절한 센서를 포함할 수 있다. 특정 실시예에서, 하나 이상의 센서 또는 이들의 상응하는 전자 콤포넌트는 디바이스의 밴드 표면에, 디바이스의 본체 내부 또는 표면에, 또는 양자 모두에 위치될 수 있다. 센서들은 예컨대, 직접 전기 연결, NFC, 또는 블루투스와 같은 임의의 적절한 유선 또는 무선 연결을 통하여, 서로 통신할 수 있고 또한 프로세싱 및 메모리 콤포넌트와 통신할 수 있다. 센서는 디바이스의 컨텍스트(context; 예컨대, 환경) 또는 상태, 사용자, 애플리케이션, 또는 다른 디바이스, 또는 다른 디바이스에서 실행 중인 애플리케이션을 검출할 수 있다. 본 명세서는 임의의 적절한 센서의 구성(configuration)을 임의 적절한 위치에 포함하는 착용식 전자 디바이스를 고려하고 있다. 또한, 본 명세서는 상세한 설명에 기술된 임의의 적절한 입력을 수신하거나, 상세한 설명에 기술된 임의의 적절한 기능성 또는 서비스의 제공을 개시하거나, 이 제공에 관련되거나, 또는 그 제공과 연관된 임의의 센서를 고려한다. 예를 들어, 접촉-감지 센서는 이하에서 상세히 설명되는 바와 같이, 디바이스에 디스플레이된 그래픽 유저 인터페이스들 사이의 천이(transition)에 관련될 수 있다. 본 명세서는 착용식 디바이스와 연관된 기능성, 센서의 활성화/비활성화, 센서의 감도, 또는 센서 프로세싱의 우선순위는, 적절한 경우, 사용자-맞춤형(user-customizable)일 수 있음을 추가로 고려한다.
도19는 예시적 센서 검출 시스템을 도시하고, 또한 착용식 전자 디바이스를 위한 예시적 센서를 도시한다. 센서는 데이터를 센서-특정 데이터 포맷(sensor-specific data format)으로 디바이스의 센서 허브 서브시스템(sensor hub subsystem)에 송신하다. 예를 들어, 예시적 센서 모듈 1924에 도시된 센서 19a는 다음 중 하나 이상을 포함할 수 있다: 얼굴-검출 카메라 1902, 외향(outward-facing) 카메라 1904, 얼굴 근접 센서 1906, 얼굴 터치 센서 1908, 밴드 터치 센서 1910, 음향 피부 터치 센서(acoustic skin touch sensors) 1912, 관성 측정 시스템(IMU) 1914, 중력 벡터 센서 1916, 터치 센서 1918, 1920, 및 그 밖의 적절한 센서 1922. 센서로부터의 데이터는 예시적 센서 허브 모듈 1944에 도시된 센서 허브 19b에 송신된다. 데이터는 필요에 따라서 단계 1928과 단계1930에서 조정되고(conditioned) 노이즈가 제거되며, 단계 1942에서 잠김-상태 검출기(locked-state detector)에 전송된다. 잠김-상태 검출기는 디바이스가 비활성인 때를 검출하고, 디바이스를 재활성화하는 제스처 또는 그 밖의 적절한 입력에 대한 센서 데이터를 감시하면서, 필요에 따라 센서를 사용할 수 없게 만들어 전력을 보존한다. 예를 들어, 수치 제스처 검출기(numeric gesture detector)는 센서 출력을 수신하고, 그 출력을 하나 이상의 수치 임계와 비교하여 결과를 결정한다. 휴리스틱 제스처 검출기(heuristic gesture detector)는 센서 출력을 수신하고, 예컨대, 하나 이상의 임계에 적용되는 앤딩 규칙(ANDing rules)과 같은 하나 이상의 판단 트리(decision tree)에 기초하여 판단한다. 패턴 기반 제스처 검출기 1938는 예컨대, 제스처가 행해졌을 때 센서 출력의 실험적 평가에 의해 결정된 패턴과 같은 제스처 패턴 1940의 미리 결정된 라이브러리에 대하여 센서 입력을 평가한다. 하나 이상의 제스처 우선순위 디코더 1948는 검출된 제스처 중 어느 것(만약 존재한다면)이 특정 애플리케이션 또는 시스템-레벨 프로세스에 기능성을 제공하기 위하여 활용되어야 하는지를 판단하기 위하여, 제스처 검출기, 잠김-상태 검출기, 또는 양자로부터의 출력을 평가한다. 더 폭넓게는, 특정 실시예에서, 디바이스가 활성화되면, 애플리케이션-요청(application-requested) 또는 시스템-요청(system-requested) 센서 검출기가 차례로 활성화되고, 그들의 데이터를 센서 우선순위 디코더에 제공한다. 특정 실시예에서, 우선순위 디코더는 복수의 센서 입력 중 어느 것(만약 존재한다면)을 처리할지 판단하며, 본 명세서는 다중 센서로부터의 연합 입력(combined input)이 기능성과 연관되는 것을 고려하는데, 이 기능성은 개별적인 센서 입력 각각과 연관된 기능성과 다르다. 디코더는 충분히 확실하게 센서가 검출된 때를 결정하고, 센서 데이터를 센서 허브 드라이버에 제공한다. 센서 허브 드라이버는 애플리케이션 프로그래밍 인터페이스(API)를 말단 애플리케이션(the end application)과 시스템 컨트롤러에 제공하고, 이들은 차례로 필요한 출력 및 내비게이션(navigation)을 생성한다. 예를 들어, 도19는 예시적 센서 허브 드라이버 1950, 애플리케이션 APIs 1952, 예를 들어, 적절한 시스템 기능성(예컨대, 디바이스의 그래픽 유저 인터페이스를 통한 시스템-레벨 내비게이션 1962)을 판단하기 위한 시스템 내비게이션 컨트롤러 1954, 및 애플리케이션을 위한 애플리케이션-레벨 제스처 우선순위 검출기 1956를 도시한다. 도19의 센서 허브 19b와 애플리케이션 프로세서 19c(예시적 애플리케이션 프로세서 모듈 1964에 도시됨)는 개별 개체로서 도시되지만, 적어도 일부의 동일 또는 유사한 콤포넌트에 의해( 및 수행되는 기능에 의해) 표현될 수 있다. 특정 실시예에서, 센서 허브와 애플리케이션 프로세서의 콤포넌트 및 기능을 한정하는 경계는 다소 포괄적일 수 있다. 도19에 도시된 경계는 단지 하나의 실시예이다. 센서 그 자체에 대하여, 센서 허브 시스템과 애플리케이션 프로세서가 실행하는 기능 및 이들의 콤포넌트는 디바이스 본체, 밴드 또는 양자 모두에서 발생하거나 존재할 수 있다. 특정 실시예에서, 하나 이상의 센서 허브 또는 애플리케이션 프로세서 또는 그들 안에 있는 콤포넌트를 사용하여, 센서 데이터를 수신하고 처리할 수 있다.
센서는 센서 데이터를 내부적으로 생성하고, 이 센서 데이터는 예컨대, 검출기 또는 데이터 조정기(conditioner)에 의해 단순히 필터링되거나 또는 재포맷(reformatted)될 수 있다. 데이터 포맷터는 로우 데이터(Raw data)를, 애플리케이션 API가 받아들일 수 있는 균일 포맷(uniform format)으로 포맷할 수 있다. 인식기(recognizer)는 수치 모델(예컨대, 판단 트리), 휴리스틱 모델, 패턴 인식 또는 그 밖의 적절한 하드웨어, 소프트웨어, 및 예컨대 제스처 입력과 같은 센서 데이터를 검출하는 기술을 사용할 수 있다. 인식기는 API에 의해 사용가능 또는 사용불능으로 될 수 있다. 이러한 경우, 연관된 센서는, 인식기가 센서로부터 데이터를 수신하지 않거나 센서 데이터를 인식할 수 없으면, 또한 사용불능으로 될 수 있다.
디바이스는 센서 출력의 데이터베이스를 포함할 수 있고, 이 데이터베이스에 의해 동일 검출기는 많은 서로 다른 센서 출력을 검출할 수 있다. API가 생성한 요청에 따라서, 센서 우선순위 디코더는 제공된 판단기준에 기초하여 센서 출력을 차단하거나 통과시킬 수 있다. 판단기준은 API 디자인의 함수일 수 있다. 특정 실시예에서, 인식기는 센서 출력을 검출하기 위해 하나 이상 센서의 출력을 받아들일 수 있다.
특정 실시예에서, 다중 센서는 유사한 정보를 검출하기 위하여 사용될 수 있다. 예를 들어, 정상(normal) 감지 카메라 및 깊이 감지 카메라 양자는 손가락을 검출하기 위하여 사용될 수 있고, 또는 자이로스코프 및 자기계(magnetometer) 양자는 오리엔테이션을 검출하기 위하여 사용될 수 있다. 적절한 경우, 센서 정보에 의존하거나 센서 정보를 활용하는 기능성은, 비용, 에너지 사용 또는 사용빈도와 같은 구현 및 런타임 고려사항(implementation and runtime consideration)에 기초하여, 센서를 대체하거나 센서들 사이에서 선택할 수 있다.
센서는 임의 적절한 타입일 수 있고, 본 명세서에 설명되는 바와 같이, 디바이스 본체 내부에 또는 표면에, 밴드 내부에 또는 표면에, 또는 이들의 적절한 조합으로 위치될 수 있다. 특정 실시예에서, 센서는 예컨대, 적외 센서, 광학 센서, 음향 센서, 또는 그 밖의 적절한 깊이 센서 또는 근접 센서와 같은, 하나 이상의 깊이 또는 근접 센서(본 명세서에서, 적절한 경우, 이들 용어는 호환적으로 사용될 수 있음)를 포함할 수 있다. 예컨대, 깊이 센서는 디바이스의 디스플레이 위에 또는 부근에 배치되어, 예컨대, 사용자의 손, 손가락 또는 얼굴이 디스플레이 부근에 오는 때는 검출할 수 있다. 다른 예로서, 깊이 센서는 이하에서 상세히 설명되는 바와 같이, 그 깊이 센서의 시야각 내에 있는 사용자의 손가락이 가리키는 임의 오브젝트를 검출할 수 있다. 대안적으로 또는 부가적으로, 깊이 센서는 보다 상세히 설명되는 바와 같이, 디바이스의 밴드 위에 위치될 수 있다. 특정 실시예에서, 센서는 하나 이상의 터치-센서티브 영역을 디바이스 본체 위에, 밴드 위에 또는 양자 모두의 위에 포함할 수 있다. 터치-센서티브 영역은 예컨대, 저항성, 표면 탄성파(surface acoustic wave), 용량성(상호 용량성 또는 자기 용량성을 포함), 적외, 광학, 분산성 또는 임의 그 밖의 기술과 같은 임의의 적절한 터치-센서티브 기술을 활용할 수 있다. 터치-센서티브 영역은 스와이프(swipes), 탭(taps), 하나 이상의 특정 포인트 또는 하나 이상의 특정 영역과의 접촉, 또는 멀티-터치 접촉(예컨대, 디스플레이 상에서 두 개 이상의 손가락을 핀칭(pinching)하거나 또는 디스플레이 상에서 두 개 이상의 손가락을 회전하는 것)과 같은 임의의 적절한 접촉을 검출할 수 있다. 보다 상세히 설명되는 바와 같이, 터치-센서티브 영역은 디스플레이 디바이스, 링 또는 밴드의 적어도 일부를 포함할 수 있다. 다른 센서에 대하여 마찬가지로, 특정 실시예에서, 터치-센서티브 영역은 예컨대, 컨텍스트, 전력 고려사항, 또는 사용자 설정에 기초하여 활성화 또는 비활성화될 수 있다. 예를 들어, 링의 터치-센서티브 부분은 링이 "잠기면(locked)"(즉, 회전하지 않음) 활성화되고 링이 자유롭게 회전하면 비활성화될 수 있다. 특정 실시예에서, 센서는 예컨대, 적절한 카메라 또는 광학 깊이 센서와 같은 하나 이상의 광학 센서를 포함할 수 있다.
특정 실시예에서, 센서는 예컨대, 가속도계, 자이로스코프, 자기계, GPS 칩, 또는 콤파스와 같은 하나 이상의 관성 센서 또는 오리엔테이션 센서를 포함할 수 있다. 특정 실시예에서, 관성 또는 오리엔테이션 센서로부터의 출력은 디바이스를 활성화 또는 잠금해제(unlock)하거나, 하나 이상의 제스처를 검출하거나, 디바이스의 디스플레이 스크린 또는 페어링된 디바이스의 디스플레이 스크린 상의 콘텐츠와 상호작용하거나, 특정 데이터에 접근하거나 또는 디바이스나 페어링된 디바이스의 특정 기능을 활성화하거나, 디바이스 본체와 밴드 사이의 통신 또는 디바이스와 페어링된 디바이스 사이의 통신을 개시하거나 또는 그 밖의 적절한 기능성을 개시하는데 사용될 수 있다. 특정 실시예에서, 센서는 예컨대, 디바이스의 컨텍스트를 결정하기 위하여 사용자의 음성, 주변 소리를 검출하는 하나 이상의 마이크로폰을 포함할 수 있다. 추가로, 특정 실시예에서, 하나 이상의 스피커를 디바이스 본체나 밴드 위에 포함할 수 있다.
특정 실시예에서, 센서는 네트워크 디바이스(예컨대, 서버 또는 라우터), 스마트폰, 컴퓨팅 디바이스, 디스플레이 디바이스(예컨대, 텔레비전 또는 키오스크(kiosks)) 또는 오디오 시스템, 비디오 시스템, 그 밖의 착용식 전자 디바이스와 같은 다른 디바이스와 통신하거나 또는 밴드와 디바이스 본체 사이에서 통신하기 위한 컴포넌트를 포함할 수 있다. 이러한 센서는 NFC 리더/비콘(readers/beacons), 블루투스 기술, 또는 임의 적절한 주파수로 송수신하기 위한 안테나를 포함할 수 있다.
특정 실시예에서, 센서는 디바이스의 사용자로부터 촉각 입력을 수신 또는 검출하는 센서(예컨대, 압전, 압력 센서, 힘 센서, 관성 센서(상술한 바와 같음), 스트레인/스트레스 센서, 또는 기계적 액추에이터)를 포함할 수 있다. 이러한 센서는 디바이스 상에서 임의의 적절한 위치에 놓일 수 있다. 특정 실시예에서, 디바이스의 컴포넌트는 사용자에게 촉각 피드백을 또한 제공한다. 예를 들어, 하나 이상의 링, 표면, 또는 밴드는 진동하거나, 빛을 생성하거나 또는 오디오를 생성할 수 있다.
특정 실시예에서, 착용식 전자 디바이스는 주변 환경에 대하여 하나 이상의 센서(예컨대, 온도 센서, 습도 센서, 또는 고도계)를 포함한다. 특정 실시예에서, 착용식 전자 디바이스는 착용식 디바이스 사용자의 신체적 특징을 감지하는 하나 이상의 센서를 포함할 수 있다. 이러한 센서는 예컨대, 디바이스의 밴드 위 또는 사용자의 피부와 접촉하는 디바이스의 기대(base)와 같은 임의의 적절한 영역에 위치될 수 있다. 예를 들어, 센서는 착용식 디바이스 부근의 피부(또는 피부를 덮는 옷)를 문지를 때, 디바이스 부근의 피부를 탭할 때, 또는 사용자의 팔 위 아래로 디바이스를 이동시킬 때 발생하는 것과 같은 사용자 피부의 진동을 검출하는 음향 센서를 포함할 수 있다. 추가적 예로서, 센서는 하나 이상의 신체 온도 센서, 펄스 옥시미터(pulse oximeter), 전기-피부-반응(galvanic-skin-response) 센서, 용량성 이미징(capacitive imaging) 센서, 근전도(electromyography) 센서, 바이오메트릭 데이터 리더(예컨대, 지문 또는 눈) 및 그 밖의 적절한 센서를 포함할 수 있다. 이러한 센서는 사용자에게 사용자 상태에 관한 피드백을 제공할 수 있고, 미리결정된 기능성(예컨대, 당뇨에 대하여 인슐린과 같은 특정 약품을 섭취하라는 경고)을 개시하는데 사용될 수 있고, 감지된 정보를 원격 디바이스(예컨대, 병원의 단말)에 통신할 수 있다.
착용식 전자 디바이스는 그 디바이스를 충전하거나 전력을 제공하기 위한 하나 이상의 충전 컴포넌트를 포함할 수 있다. 충전 컴포넌트는 예컨대, 용량성 충전, 전자기 충전, 트리클(trickle) 충전, 직접 전기 접촉에 의한 충전, 태양, 키네틱(kinetic), 유도, 또는 지능형 충전(예컨대, 배터리의 상태 또는 조건에 기초하여 충전하고, 그에 따라 충전 동작을 변경함)과 같은 임의의 적절한 충전 방법을 활용할 수 있다. 충전 컴포넌트는 예컨대, 디바이스의 내부 또는 표면, 또는 디바이스 밴드의 내부 또는 표면과 같이 디바이스의 임의 적절한 부분에 위치될 수 있다. 예를 들어, 도20a는 슬롯 2005을 구비한 충전기 2000를 도시하며, 이 슬롯은 충전 컴포넌트를 충전기에 연결한다. 예를 들어, 슬롯 2005은 마찰, 기계적 구조(예컨대, 래치 또는 스냅), 자성(magnetism), 또는 충전 컴포넌트의 갈래(prong)와 충전기 2000가 직접 전기 접촉하도록 이 갈래를 수용 및 고정하는 그 밖의 적절한 기술을 사용할 수 있다. 도20c는 밴드 2010 상에 있는 갈래 2015를 도시하며, 이 갈래는 충전기 2022와 밴드 2010 사이에 컨택트(contact) 2020을 통해 회로 접속을 만들기 위하여, 포고 스타일(pogo-style) 커넥터를 활용한다. 특정 실시예에서, 갈래 2015는 충전기 2022 상에 있을 수 있고, 도20a의 슬롯 2005은 밴드 상에 있거나 또는 착용식 디바이스의 본체 상에 있을 수 있다. 특정 실시예에서, 컨택트 2020(예컨대, 포고-스타일 커넥터)는 디바이스 본체 상에 있을 수 있고, 이 컨택트는 디바이스를 충전하는 충전기와 밴드 사이에 회로를 만드는데 사용될 수 있다. 도20a의 충전기는 임의의 적절한 전원(예컨대, 교류(AC) 콘센트로부터의 전력, 또는 컴퓨팅 디바이스 상의 USB 포트로부터의 직류(DC) 전력)에, 임의의 적절한 유선 또는 무선 연결에 의해 연결될 수 있다.
충전기 2000는 아크릴(acrylic)과 같은 임의의 적절한 재료로 만들어 질 수 있고, 특정 실시예에서, 예컨대 고무와 같이 미끄러지지 않는 재료가 충전기의 뒤판에 사용될 수 있다. 특정 실시예에서, 충전기 2000는 표면에 부착 또는 고정될 수 있다. 예컨대, 도20b에 도시된 바와 같이, 벽에 부착될 수 있다. 부착은 예컨대, 기계식, 자석식, 또는 접착식과 같은 임의의 적절한 기술을 사용해 이루어진다. 특정 실시예에서, 착용식 전자 디바이스는 충전기에 부착된 동안에는 완전히 사용 가능할 수 있다. 예를 들어, 충전 컴포넌트가 디바이스 본체 상에 위치되면, 디바이스는 사용자가 디바이스와 상호작용하는 동안 또는 그 디바이스와 통신 중인 다른 디바이스와 상호작용하는 동안 충전기 내에 놓여있을 수 있다.
착용식 전자 디바이스 내 충전 컴포넌트의 다른 예로서, 도21a~b는 예컨대 유도(inductive) 충전기를 사용하는 추가의 예시적 충전기를 도시한다. 도21a~b에 도시된 바와 같이, 밴드는 하나 이상의 충전 코일 2110을 포함할 수 있다. 상술한 바와 같이, 본 명세서는 디바이스의 밴드에 추가하여 또는 대안적으로, 디바이스의 본체 내에 또는 상에 포함된 충전 코일(또는 임의의 다른 적절한 충전 컴포넌트)을 고려한다. 예컨대, 충전면(charging surface) 2115 또는 충전면 2120이 생성한 자계 2105는 충전 코일 2110을 통과한다. 도21b의 충전면 2120은 충전 코일 2110을 통과한 자계 2105의 밀도를 충전면 2115에 비하여 개선할 수 있고, 또한, 충전면 2115 보다 정밀한 배치를 가능하게 하여, 시스템의 전하 전송률(charge transfer rate)을 개선한다. 본 명세서는 적절한 경우, 충전이 디바이스 본체 상 또는 내부의 컴포넌트, 밴드 상 또는 내부의 컴포넌트, 또는 양자에 대하여 전력을 공급하는 것을 고려한다.
특정 실시예에서, 밴드 또는 디바이스는 무선 충전 솔류션(solution)을 위한 안테나를 구현할 수 있다. 무선 충전은 철 금속(ferrous metal)이 없는 곳에서 최적으로 동작하므로, 코일이 충전 드라이버와 단순히 동일 평면에 있는 것보다 그 충전 드라이버의 극들(poles) 사이에 유지되도록 허용함으로써(상술한 바와 같음), 개선된 무선 충전 전송 용량을 가능하게 하면서도, 디바이스의 본체에 대한 재료 선택의 폭을 넓힐 수 있다. 상술하고 또한 도2에 도시된 바와 같이, 능동 밴드(active band)는 전통적인 내부 물리 컨택트 커넥터 250를 또한 포함할 수 있다.
특정 실시예에서, 내부 전하 저장소를 구비한 충전 유닛은 착용식 전자 디바이스와 연관될 수 있다. 벽에 플러그인되면, 충전 유닛은 부착된 디바이스 및 충전 유닛의 내부 저장소 모두를 충전할 수 있다. 플러그인되지 않았을 때, 충전 유닛은 부착된 디바이스를 그 유닛의 전력 저장소가 고갈될 때까지 그 저장소로부터 충전할 수 있다. 오직 충전기만이 디바이스 없이 전원에 연결되면, 충전기는 자신을 충전하고, 따라서 이후 시점에서 추가 전력을 디바이스에 제공할 수 있다.따라서 본 명세서에 설명된 충전 유닛은 전원에 플러그인 되거나 되지 않더라도 유용한데, 이 충전 유닛은 예컨대, 여행 중, 비행기 탑승 중, 기차역, 야외와 같이 사용자가 전원에 연결할 수 없을 때, 또는 사용자가 디바이스의 충전을 원할 수 있지만 전원에 액세스할 수 없는 모든 곳에서, 임의의 부분-충전된 디바이스에 잠시 동안 전력을 제공할 수 있기 때문이다. 디바이스는 충전기가 그 디바이스를 충전하는 동안 대기 상태 또는 사용 상태(in-use)일 수 있고, 대상(target) 디바이스의 소프트웨어나 하드웨어의 수정이 요구되지 않는다. 본 발명의 하나 이상 실시예의 추가적 이점은 사용자가 휴대해야 하는 아이템의 개수를 감소시키는 것, 충전기 및 파워팩(power pack) 양자의 이점을 제공하는 것, 이동시 충전기를 휴대하기 유용하게 만드는 것, 사용자가 자신의 디바이스의 배터리 수명을 연장하기 위하여 휴대해야 하는 케이블과 커넥터 수를 감소시키는 것을 포함한다. 본 명세서는 이러한 충전 유닛이 임의의 적절한 전자 디바이스(착용식 전자 디바이스를 포함하지만 이에 한정되지 않음)에 적용될 수 있음을 고려한다.
도22a-b는 디바이스 2200에 대한 접속 2205, 및 접속 2215 및 2220을 구비한 예시적 충전 유닛 2210의 특정 실시예를 도시한다. 예를 들어, 도22a는 충전 유닛 2210에서 디바이스 220로 및 외부 전원으로의 케이블 연결을 도시한다. 다른 예로서, 도22b는 디바이스 2200로부터의 케이블 연결 및 전원으로의 직접 연결을 구비한 충전 유닛 2210을 도시한다. 본 명세서는 디바이스, 충전 유닛, 이 충전 유닛을 충전하는 전원 사이의 임의의 적절한 연결을 고려한다. 예를 들어, 디바이스로의 연결과 전원으로의 연결 양자는 직접 연결이거나, 케이블을 통한 연결이거나, 무선 연결일 수 있다.
상술한 바와 같이, 충전 유닛은 외부 전원에 연결되지 않았을 때에도 충전 유닛 내부의 전하 저장소로부터 디바이스를 충전할 수 있고, 외부 전원에 연결되었을 때 그 자체, 연결된 디바이스 또는 양자 모두를 충전할 수 있다. 본 명세서는 충전 유닛과 디바이스 간에 충전을 할당하는 임의의 적절한 방식을 고려한다. 이러한 할당 방식은 디바이스의 내부 충전량, 충전 유닛의 내부 충전량, 디바이스가 소비하는 전력량, 외부 전원의 충전 용량, 또는 이들의 적절한 조합에 의해 결정될 수 있다. 추가적으로 또는 대안적으로, 충전 임계(charging threshold)는 어느 할당 방식을 사용할지 결정할 수 있다. 예를 들어, 일 충전 방식은 디바이스가 거의 만충전 부근에 있고 충전 유닛은 거의 전하를 갖지 않을 때 사용될 수 있고, 다른 충전 방식은 디바이스가 남겨진 전하를 거의 갖지 않을 때 사용될 수 있다. 도23~24는 충전 유닛 및 연결된 디바이스를 위한 예시적 충전 방식을 도시한다. 예를 들어, 도24에 도시된 바와 같이, 디바이스가 단계 2400에서 충전기에 연결되면, 단계 2500에서 디바이스가 만충전되었는지 여부가 판단된다. "예"이면, 추가의 충전 동작은 없다. "아니오"이면, 단계 2410에서 충전기가 외부 전원(예컨대, 전원 전압(line voltage))에 연결되었는지 여부가 판단된다. 연결로 판단되면, 디바이스는 단계 2425에서 외부 전원으로부터 충전된다. 연결로 판단되지 않으면, 단계 2415에서, 충전기가 남겨진 전력을 갖고 있는지 여부가 판단되고, 갖고 있다고 판단되면, 디바이스는 단계 2420에서 충전기의 내부 전원으로 충전되고, 충전 유닛이 전원 전압에 연결되면 충전 유닛의 저장소 보다는 전원 전압으로부터 충전된다. 도23은 유사한 결정 트리를 도시한다. 전원에 연결된 충전기에 디바이스가 연결되면(단계 2300), 단계 2310에서 디바이스가 만충전되었는지 여부가 판단되고, 만충전이 아니면 디바이스는 충전기가 연결된 전원으로부터 충전된다(단계 2315). 유사하게, 단계 2320에서, 충전기가 만충전되었는지 여부가 판단되고, 만충전이 아니면, 충전기 유닛은 단계 2325에서 전원으로부터 충전된다. 특정 실시예에서, 사용된 할당 방식은 사용자가 결정하거나 커스터마이즈할 수 있다.
도25a~e는 디바이스와 충전 유닛에서 에너지 저장과 충전에 관한 예시적 실시예를 도시한다. 도시된 실시예의 도25a에서, 디바이스의 전하 저장소 2500와 충전 유닛의 전하 저장소 2520가 모두 고갈된다. 도25b~c는 충전 유닛이 외부 전원 2510에 연결된 후 디바이스의 전하 저장소 2500와 디바이스의 전하 저장소 2505를 충전하는 것을 도시한다. 짧은 시간 후, 충전 유닛과 디바이스 모두는 일제히 충전되며, 충전은 각각에 총 충전 용량의 동일 퍼센트가 주어지도록 배분된다. 도25c에 도시된 바와 같이, 디바이스의 전하 저장소 2500와 충전 유닛의 전하 저장소 2505는 일정 시간 후 완전히 충전된다. 본 명세서에 설명된 바와 같이, 디바이스나 충전 유닛에 할당된 충전량은 임의의 적절한 충전 할당 계획에 기초하여 변화할 수 있다. 예를 들어, 충전 유닛의 전력 변환 능력이 제한되고, 충전 유닛의 저장소가 거의 가득 차며(nearly full), 디바이스의 전하 저장소가 거의 비었거나 또는 디바이스의 에너지 요구가 매우 높으면, 충전 유닛은 그 내부 저장소를 충전하기 전, 디바이스의 충전에 우선순위를 둘 수 있다. 다른 예로서, 미리 결정된 임계에 충전이 도달할 때까지 충전 유닛을 계속 충전할 수 있다.
도25d~e는 충전 유닛이 외부 전원에 연결되지 않았을 때 충전 유닛과 디바이스 사이의 전하 전송을 도시한다. 도25d에 도시된 바와 같이, 저장소 2500에 전하가 거의 남지 않은 디바이스는 저장소 2505가 만충전된 충전 유닛에 연결된다. 상술한 바와 같이, 본 명세서는 충전기가 외부 전원에 연결되지 않았을 때, 디바이스와 충전기 사이 임의의 적절한 충전 할당 방식을 고려한다. 이 할당 방식은 충전 유닛이 외부 전원에 연결되었을 때 사용되는 할당 방식과 동일하거나 상이할 수 있다. 예를 들어, 도25e는 디바이스 내 전하 저장소 2500의 충전을 최대화하는 할당 방식을 도시한다. 충전 유닛이 전하를 가지고 있는 한, 디바이스가 만충전되거나 또는 충전기의 전하 저장소 2505가 완전히 고갈될 때까지, 충전 유닛은 디바이스를 계속 충전한다.
도26은 예시적 충전 유닛 2600의 예시적 내부 구조를 도시한다. 전원 전압 변환기 2605는 고전압 라인 전류 2610로부터 저전압 직류를 생산한다. 이 전압은 배터리 충전기/레귤레이터 2630 및 커넥터 2615 모두에 공급되고, 커넥터 2615에는 충전을 위해 디바이스가 연결 2620을 통해 접속될 수 있다. 배터리 충전기 2630는 전원 전압 변환기 2605로부터의 가용 전력을 사용하여 에너지 저장소(배터리 2635)를 충전한다. 배터리 충전기는 디바이스와 동일한 전력 몫(share of the power)을 취하고, 디바이스의 요구가 높을 때(디바이스 우선순위가 높음) 보다 작은 몫을 취하고, 내부 전력 비축(internal power reserves)이 낮을 때(충전기 우선순위가 높음) 보다 큰 몫을 취할 수 있다. 사용자는 이들 우선순위를 선택할 수 있다.
도26의 예를 계속한다. 전원 전압 변환기 2605가 전력을 공급하지 않을 때, 충전기/레귤레이터 2630는 배터리 2635의 전력으로부터 적절한 충전 전압을 생성한다. 레귤레이터 2630는 항상 온(on)이거나, 디바이스로의 접속에 의해 또는 사용자가 디바이스를 충전하기 원함을 나타내는 버튼이 눌리면 온으로 스위치될 수 있다. 활성화되면, 레귤레이터 2630는 내부 비축이 고갈될 때까지 디바이스를 충전한다. 이때, 일부 전하는 배터리 수명을 늘리기 위해, 배터리 2635에 계속 남아 있을 수 있지만, 이 전하는 사용자가 사용할 수 없다. 디바이스는 비상 모드(emergency mode)를 포함할 수 있고, 이 모드에서는 배터리 수명을 희생해서 최소량의 비상 사용 시간을 얻기 위해, 이 에너지의 일부에 액세스할 수 있다. 레귤레이터 2630는 디바이스가 언플러그될 때까지 또는 디바이스가 최소 에너지양만을 인출(이것은 충전 완료를 가리킴)할 때까지 에너지를 계속 제공할 수 있다. 마지막으로, 충전기/레귤레이터 2630는 잔여 비축 에너지양을 사용자에게 보여주는 주문식(on-demand) 디스플레이를 포함할 수 있다. 디스플레이는 일반적으로 에너지를 사용하므로, 버튼이나 그 밖의 입력이 한정된 시간 동안 디스플레이를 트리거(trigger)하기 위하여 사용될 수 있다. 도26은 예시적 충전 유닛 2600의 예시적 내부 구조를 도시하고 있지만, 본 명세서는 여기에 설명된 임의의 적절한 충전 유닛의 임의의 적절한 내부 구조를 고려하고, 또한, 이러한 충전 유닛은 임의의 적절한 크기와 형상을 가질 수 있음을 고려한다.
특정 실시예에서, 예컨대 센서와 같은 디바이스의 기능성 또는 컴포넌트는 예컨대, 전력을 보존하거나 원하지 않는 기능성을 축소 또는 제거하기 위하여 활성화 및 비활성화될 수 있다. 예를 들어, 잠김-상태 검출기는 디바이스가 비활성화된 때를 검출하고, 제스처에 대한 센서 데이터를 감시하는 동안 또는 그 밖의 적절한 입력이 디바이스를 재활성화할 수 있는 동안, 필요에 따라 센서를 사용불능으로 하여 전력을 보존한다. 디바이스는 슬립 모드(sleep mode) 또는 완전 활성 모드(fully active mode)와 같은 하나 이상의 전력 모드를 포함할 수 있다. 일례로서, 특정 실시예에서, 디바이스는 팔에 착용되고, 디바이스의 터치면은 통상적인 사용동안 사물이나 사람과 접촉할 수 있다. 우연한 활성화를 방지하기 위하여, 디바이스의 본체나 밴드 내에 있는 가속도계 또는 그 밖의 관성 센서가 지구 중력에 대하여 디바이스의 대략적 위치를 측정하는데 사용될 수 있다. 디바이스의 측면을 향하는 중력 벡터가 검출되면(예컨대, 사용자의 측면에 디바이스가 있다고 판단되거나 또는 디스플레이가 사용자를 향하고 있지 않다고 판단됨), 에너지 사용을 감소시키기 위하여 터치스크린은 잠기고 디스플레이는 사용불능으로 될 수 있다. 중력 벡터가 디바이스 아래를 가리키는 것으로 판단되면(예컨대, 디바이스는 대략 수평이며, 따라서 사용자가 디바이스를 보거나 또는 사용한다고 판단됨), 시스템은 디스플레이에 전력을 공급하고 추가적 상호작용을 위해 터치스크린을 사용가능으로 할 수 있다. 특정 실시예에서, 디바이스를 깨우거나 잠금 해제하는 중력 벡터의 방향에 더하여 또는 그 방향에 대안적으로, 방향의 변화율(a rate of change of the direction) 또는 중력 벡터의 크기가 디바이스를 깨우거나 잠금 해제하는데 사용될 수 있다. 예를 들어, 중력 벡터의 변화율이 미리 결정된 시간동안 0이면(즉, 디바이스는 미리 결정된 시간동안 특정 자세로 유지됨), 디바이스는 깨워지거나 잠금 해제될 수 있다. 다른 예로서, 디바이스 내 하나 이상의 관성 센서는 디스플레이 또는 그 밖의 적절한 컴포넌트 또는 애플리케이션을 활성화하기 위한 특정 제스처 또는 제스처들의 시퀀스(sequence of gestures)를 검출할 수 있다. 특정 실시예에서, 디바이스의 인코더는 우발적 활성화에 강건하여(robust) 활성인 채로 있을 수 있으며, 따라서 사용자는 디바이스를 시야각 쪽으로 가져오는 동안 선택들을 변경할 수 있다. 다른 실시예에서, 인코더는 컨텍스트 또는 사용자 입력에 기초하여 비활성화될 수 있다.
전력 보존에 더하여 또는 대안적으로, 특정 실시예에서, 하나 이상의 사용자에게 보안(security)을 제공하기 위하여, 하나 이상의 센서, 특정 기능성, 또는 특정 애플리케이션을 잠글 수 있다. 적절한 센서는 디바이스의 보안 양상(secure aspect) 또는 착용식 디바이스와 페어링되거나 통신하는 다른 디바이스의 보안 양상의 활성화 또는 잠금 해제를 검출할 수 있다. 예를 들어, 디바이스와 함께 수행되거나 또는 디바이스의 터치-센서티브 영역에 수행된 특정 제스처는 그 디바이스가 갖는 하나 이상의 보안 양상을 잠금 해제시킬 수 있다. 다른 예로서, 디바이스의 회전형 링의 특정 회전이나 회전의 시퀀스는 그 자체로 또는 다른 사용자 입력과 조합으로, 그 디바이스가 갖는 하나 이상의 보안 양상을 잠금 해제시킬 수 있다. 예를 들어, 사용자는 숫자나 사진과 같은 심볼의 고유 시퀀스(unique sequence)로 회전형 링을 돌릴 수 있다. 회전형 링을 돌리는데 사용된 회전 입력 시퀀스의 수신에 응답하여, 디스플레이는, 아래 상세히 설명되는 바와 같이, 각 회전 입력에 상응하는 특정 심볼(들)을 디스플레이할 수 있다. 특정 실시예에서, 사용된 심볼은 사용자-특정(예컨대, 디바이스에 저장되거나 디바이스가 액세스할 수 있는 사용자 사진, 또는 사용자가 미리-선택한 심볼)일 수 있다. 특정 실시예에서, 서로 다른 심볼이 미리 결정된 잠금 해제 횟수 후 또는 미리 결정된 시간 후 사용자에게 제시될 수 있다. 상술한 예시적 입력은, 디바이스의 양상, 특정 애플리케이션, 또는 특정 데이터에 대한 액세스를 활성화/비활성화시키는데 추가적으로 또는 대안적으로 사용될 수 있다. 본 명세서는 디바이스의 보안 양상을 잠금 해제하는 특정 사용자 입력을 설명하고 있지만, 본 명세서는 디바이스의 임의 보안 양상을 잠금 해제하는 임의의 적절한 입력 또는 입력의 조합을 고려한다. 본 명세서는 디바이스의 보안 양상을 잠금 해제하거나 또는 디바이스의 컴포넌트를 활성화/비활성화하는 입력 또는 그 밖의 적절한 파라미터를 사용자가 커스터마이즈할 수 있는 것을 고려한다.
특정 실시예에서, 착용식 전자 디바이스는 디바이스와 함께 또는 디바이스 상에서 수행되는 하나 이상의 제스처를 검출할 수 있다. 제스처는 임의의 적절한 타입일 수 있고, 임의의 적절한 센서(예컨대, 관성 센서, 터치 센서, 카메라 또는 깊이 센서)에 의해 검출될 수 있으며, 임의의 적절한 기능성과 연관될 수 있다. 예를 들어, 하나 이상의 깊이 센서는 제스처를 캡쳐하기 위해 하나 이상의 카메라와 함께 사용될 수 있다. 특정 실시예에서, 다수의 깊이 센서 또는 카메라는 제스처 또는 제스처와 연관된 배경(background)을 검출하는 정확도를 향상시키기 위하여 사용될 수 있다. 적절한 경우, 제스처(또는 제스처와 연관된 기능성을 개시하는데 사용된 프로세싱)를 검출하는데 사용되는 센서는, 아래 상세히 설명되는 바와 같이, 전력을 보존하거나 보안을 제공하기 위하여 활성화 또는 비활성화될 수 있다. 상술한 바와 같이, 도19는 예시적 센서 검출 시스템을 도시하며, 제스처 검출, 처리 및 우선순위매김(prioritization)의 구체적 예를 제공한다. 특정 실시예에서, 특정 애플리케이션은 특정 제스처 또는 모든 가용한 제스처에 가입(subscribe to)할 수 있거나; 또는 사용자는 어느 제스처가 어느 애플리케이션에 의해 검출되어야 하는지 선택할 수 있다. 특정 실시예에서, 제스처는 착용식 디바이스를 사용하면서 다른 디바이스를 조작(manipulation)하는 것을 포함한다. 예를 들어, 제스처는 착용식 디바이스를 조준하거나, 이동시키거나 또는 달리(otherwise) 활용하면서 다른(another) 디바이스를 흔드는 것을 포함한다. 본 명세서는 적절한 경우, 여기에 설명된 임의의 제스처가 다른 디바이스의 조작을 포함할 수 있다는 것을 고려한다. 아래에 설명되는 실시예와 도시는 제스처의 특정 양상 또는 속성(attribute)을 포함하지만, 본 명세서는 여기에 설명된 제스처와 센서의 임의의 적절한 양상 또는 속성을 조합하는 것을 고려한다.
특정 실시예에서, 제스처는 사용자의 적어도 한 손 및 디바이스가 착용되는 신체기관(예컨대, 사용자의 다른 손목)을 참여시키는(involve) 제스처를 포함한다. 예를 들어, 특정 실시예에서, 사용자는 디바이스가 착용되는 손/팔을, 디바이스의 광학 센서(예컨대, 카메라 또는 깊이 센서)를 적절히 조준하기 위해 사용할 수 있고, 또한, 특정 제스처를 수행하기 위해 다른 팔/손/손가락을 이동시키거나 위치시킬 수 있다. 여기에서 설명되고 도16~17에 도시된 바와 같이, 특정 실시예에서, 시야각 내에 있는 경우, 사용자가 실제 장면(scene), 디바이스에 디스플레이된 장면, 및 사용자의 손/팔/손가락을 모두 볼 수 있도록, 조준된 장면이 디바이스의 디스플레이에 디스플레이될 수 있다. 특정 실시예에서, 디스플레이된 장면은 센서에 의해 검출되고 제스처를 수행하기 위하여 사용된 손/손가락/팔을 포함할 수 있다. 도27~28은 예시적 제스처를 도시하며, 이 제스처에서 사용자가 디바이스 상(예컨대, 도면에 도시된 바와 같이, 디바이스의 밴드 위에 있음)의 외향(예컨대, 사용자의 몸으로부터 멀어짐) 센서를 조준하고 제스처를 수행하기 위해 그의 다른 팔/손/손가락을 이동 또는 위치시킨다. 예를 들어, 도27에서, 외향 센서는 센서의 시야각 내 오브젝트를 검출하고 2705, 외향 센서(이것은 오브젝트를 검출하는 센서와 동일할 수 있음)는 오브젝트를 가리키는 하나 이상의 손가락을 검출하고 2710, 가리키는 손가락(들)이 움직이지 않는다고 판단되면 2715, 제스처가 검출된다 2720. 도19를 참조하면, 외향 카메라가 캡쳐한 로우 제스처 데이터(raw gesture data)는 조정되고 노이즈가 제거될 수 있으며, 그 데이터는 휴리스틱 제스처 검출기에 송신될 수 있다. 제스처 우선순위 디코더는 제스처 데이터를 처리하고, 충분한 정확도로 제스처가 식별된 때를 판단한다. 제스처가 식별된 때, 그 제스처는 말단 애플리케이션과 시스템 컨트롤러에 API를 제공하는 센서 허브 드라이버에 송신된다.
이 제스처와 연관된 기능성의 예로서, 카메라는 오브젝트에 초점을 맞출 수 있고, 검출되고 겨누어진 오브젝트는 그 후에 디스플레이에 나타날 수 있고, 그 오브젝트에 관한 정보가 디스플레이에 나타날 수 있고, 디스플레이된 콘텐츠는 다른 디바이스의 디스플레이에 전송될 수 있다(예컨대, 그 오브젝트가 다른 디바이스인 때). 도28은 도27의 제스처에 유사한 예시적 제스처를 도시한다. 하지만, 도시된 제스처는 손가락(들)(예컨대, 손가락(들)은 센서로부터 멀어지도록 이동)의 "탭핑"모션을 검출하는 외향 센서를 포함한다. 예를 들어, 도28의 제스처는 단계 2805에서 카메라(또는 그 밖의 적절한 센서)의 장면 내 오브젝트를 검출하고, 단계 2810에서 그 장면 내 손가락을 검출하고, 단계 2815에서 그 손가락의 횡방향 이동이 없음을 검출하고, 단계 2820에서 센서로부터 더 멀어지는 쪽으로 이동하는 손가락 끝(finger tip)을 검출하고, 및 단계 2825에서 제스처를 검출하는 것을 포함할 수 있다. 도28에 도시된 제스처는 임의의 적절한 기능성을 제공할 수 있다. 예를 들어, "탭핑된" 오브젝트는 디스플레이 스크린에 디스플레이된 오브젝트들에서 선택될 수 있다.
도29~30은 사용자의 손가락 및 손의 이동과 함께 오브젝트가 외향 센서로 검출되는 예시적 제스처를 도시한다. 예를 들어, 도29는 벌린 두 손가락을 검출하고 2915, 오므려진 두 손가락(예컨대, 핀칭 모션(pinching motion))을 검출하고 2920, 그 다음, 핀치된 손가락들을 센서를 향해 이동시키는 것을 검출 2925하는 외향 센서를 도시한다. 오므리고 센서를 향해 이동하는 손가락의 모션은 동시에 또는 순차적으로 발생할 수 있고, 순차적으로 단계를 수행하는 것(시퀀스의 각 단계 사이에 시간이 있음)과 동시에 단계를 수행하는 것은 각각 다른 제스처가 될 수 있다. 도 30에서, 도시된 두 개 손가락은 초기에는 서로 가까이 있고 3010, 외향 센서는 벌어지는 손가락들을 검출하고 3020, 또한 멀어지는 손을 검출한다 3015. 도30에서, 손가락들과 손은 동시에 이동되거나 또는 임의의 적절한 시퀀스로 이동될 수 있다. 또한, 도29~30의 양상은 제스처를 형성하기 위하여 결합될 수 있다. 예를 들어, 손가락들을 함께 핀칭하고 센서로부터 멀어지는 쪽으로 이동시키는 것은 고유한 제스처가 될 수 있다. 특정 실시예에서, 검출된 손가락들 또는 손은 다른 디바이스를 조작할 수 있고, 이러한 조작은 제스처의 일부를 형성할 수 있다. 여기에 설명되는 모든 제스처에 대하여, 본 명세서는 도29~30에 도시된 제스처와 연관된 임의의 적절한 기능성을 고려한다.
도31~32는 도29~30에 유사한 예시적 제스처를 도시한다. 여기서는 모든 손가락이 제스처를 하기 위하여 사용되는 점이 도29~30과 다르다. 도31에서, 모든 손가락은 처음에는 함께 오므린 상태(예컨대, 주먹)로 검출되고 3105, 센서로부터 멀어지는 쪽으로 이동하는 주먹이 검출되고 3110, 센서는 주먹 폄을 검출한다 3115. 또한, 도시된 단계들의 시퀀스는 임의의 적절한 순서로 발생할 수 있다. 도32는 도31의 역(reverse)을 도시한다. 도31~32는 임의의 적절한 기능성과 연관될 수 있다. 도31은 디바이스에 디스플레이된 콘텐츠의 전부 또는 일부를, 도31에 도시된 텔레비전과 같은 다른 디바이스에 송신하는 예를 도시한다. 마찬가지로, 도32의 제스처는 다른 디바이스에 디스플레이된 콘텐츠의 전부 또는 일부를 착용식 디바이스의 디스플레이에 끌어올 수 있다. 예를 들어, 도31~32의 제스처는 사용자가 예를 들어, 스마트폰, 태블릿, 개인 컴퓨팅 디바이스, 스마트 가전제품(예컨대, 냉장고, 온도계, 또는 세탁기), 또는 그 밖의 적절한 디바이스와 같은 다른 디바이스의 부근에서 착용식 디바이스로 제스처를 할 때, 구현될 수 있다. 설명된 기능성은 도31~32에 도시된 제스처와 연관될 수 있는 기능성의 예에 지나지 않으며, 본 명세서는 다른 적절한 제스처가 설명된 기능성을 수행할 수 있다는 것을 고려한다.
도33~37은 센서의 앞에서 휘둘리는(swiping) 팔의 일부 또는 손을 검출하는 외향 센서(outward-facing sensor)를 도시한다. 특정 실시예에서, 손바닥으로 스와이프하는 것은 손등으로 스와이프하는 것과 다른 제스처가 될 수 있다. 도33~34는 센서의 시야각을 가로질러 우측에서 좌측으로(3310-3315) 및 좌측에서 우측으로(3410-3415) 휘둘리는 손을 도시하고, 또한, 도35~37은 센서의 시야각을 가로질러 아래에서 위로(3510~3515, 및 3735~3740) 및 위에서 아래로(3610~3615 및 3710~3715) 휘둘리는 손을 나타낸다. 도시된 바와 같이, 손은 처음에는 시야각 내에서 시작하고, 시야각을 통과해서, 시야각을 나갈 수 있고(도36에 도시된 바와 같음); 시야각의 밖에서 시작하고, 시야각을 통과하여, 시야각을 나갈 수 있고(도37에 도시된 바와 같음); 시야각의 밖에서 시작하고, 시야각의 일부를 통과하여, 시야각에 머물 수 있고(도33~35에 도시된 바와 같음); 또는 시야각 내에서 시작하고, 시야각의 일부를 통과하여, 시야각에 머물 수 있다. 본 명세서는 예컨대, 디바이스에 대해 45도 아래에서 그 오른쪽으로 들어와, 디바이스의 상부에 대하여 45도 각도로 그 왼쪽으로 나가는 것과 같은 다른 각도로 휘둘려지는 손을 고려한다. 또한, 본 명세서는 곡선 스와이프 또는 삼각 스와이프와 같은 직선이 아닌 모션의 손 스와이프를 검출하는 것도 고려한다. 본 명세서는 도33~37에 도시된 제스처의 일부 또는 전부와 연관된 임의의 적절한 기능성(예컨대, 디바이스에 디스플레이된 사용자 인터페이스들 사이의 전이(transition) 또는 디바이스에 디스플레이되고 활성인 애플리케이션들 사이의 전이, 애플리케이션의 열기 또는 닫기, 또는 디스플레이된 콘텐츠의 스크롤링)도 고려한다. 다른 곳에서 반복되는 바와 같이, 본 명세서는 도33~37과 관련하여 설명된 기능성과 연관된 임의의 적절한 제스처를 고려한다.
도38~39는 외향 센서가 시야각 내 사용자 손을 검출(3805)하고, 또한 한 방향을 가리키는 하나 이상의 손가락(특정 실시예에서, 사용자 손 또는 팔의 일부와 함께)을 검출(3815)하는 예시적 제스처를 도시한다. 검출된 제스처는 검출된 손가락 또는 검출된 손가락이 가리키는 방향에 따라 다를 수 있다. 예를 들어, 도38에 도시된 바와 같이, 손가락은 상방향을 가리키는 엄지일 수 있고(3820), 도39에서, 손가락은 하방향을 가리키는 엄지일 수 있다(3920). 파일을 디바이스 또는 연관 디바이스에 국소적으로 저장하거나 삭제하는 것, 또는 설정 또는 다른 콘텐츠에 대해 이루어진 변경을 승인하거나 거부하는 것과 같은 임의의 적절한 기능성이 도38~39에 도시된 제스처와 연관될 수 있다.
도40은 외향 센서의 시야각 내에서 다수의 손가락 또는 손의 일부로 만든 형상을 수반하는 예시적 제스처를 도시한다. 도40에 도시된 바와 같이, 형상은 링일 수 있고(4010), 제스처는 특정 방향으로 가리키는 형상에 관련되지 않은 손가락을 포함할 수 있다(4015). 도40에 도시된 바와 같이, 제스처는 미리 결정된 시간동안 형상(및 가능한, 나머지 손가락들)을 유지하는 것을 포함할 수 있다(4020).
도41~42는 외향 센서의 전부 또는 일부를 사용자의 손가락이나 손으로 커버하는 것을 포함하는 제스처를 도시한다. 도41에 도시된 바와 같이, 디바이스의 위로부터 엄지손가락을 아래로 한 타입의 제스처(a thumbs-down type gesture)로 센서를 커버하는 것(4105)은 디바이스의 바닥으로부터 또는 디바이스의 측면으로부터 센서를 커버하는 것(4210, 도42에 도시된 바와 같음)과는 다른 제스처가 될 수 있다. 커버링 방향은 예컨대, 손이 디바이스를 커버할 때 그 손의 형상에 의해 검출되거나, 손이 디바이스를 커버할 때 그 손의 오리엔테이션에 의해 검출되거나, 외향 센서가 커버되고 있는 방향을 가리키는 다른 센서(예컨대, 외향-센서 및 디스플레이가 커버되어 있음을 검출함)로부터의 데이터, 또는 그 밖의 다른 적절한 기술에 의해 검출될 수 있다.
도43~44는 예시적 제스처를 도시하며, 여기서, 하나 이상의 사용자 손가락 또는 손/팔의 일부가 외향 센서의 시야각 내에서 검출되고(4305/4405), 그 다음, 이 손가락 또는 손/팔의 일부는 시야각(또는 "프레임") 내에서 이동(4310/4320/4410/4420)하여 특정 제스처를 행한다. 특정 실시예에서, 제스처는 임의의 적절한 이동이 될 수 있거나, 또한, 특정 패턴의 이동이 될 수 있다. 특정 실시예에서, 제스처는 검출된 손/팔의 일부 또는 손가락과 연관될 수 있다. 예를 들어, 하나의 지시 손가락이 제스처와 연관될 수 있거나(4305, 도43에 도시된 바와 같음), 또는 다수의 손가락/하나의 손바닥이 제스처와 연관될 수 있다(4405, 도44에 도시된 바와 같음). 특정 실시예에서, 손바닥의 방향(예컨대, 전면, 후면, 경사짐)은 검출되어, 제스처와 연관될 수 있다.
도45는 사용자의 손/팔 또는 다수의 손가락으로 만든 형상을 검출하고(4505), 시야각 내에서 그 형상의 이동을 검출하는(4510/4520) 것을 포함하는 예시적 제스처를 도시한다. 도45는 외향 센서의 시야각을 통하여 이동하는 도40의 형상을 도시한다.
도46은 하나 이상의 손가락(사용자 손/팔의 일부 또는 전부) 및 그들의 초기 오리엔테이션을 검출하고, 그 다음, 오리엔테이션의 변화 또는 오리엔테이션의 시간 변화율을 검출하는 것을 포함하는 예시적 제스처를 도시한다. 예를 들어, 도46은 시야각 내에서 2개 손가락을 검출하고(단계 4605), 시야각 내에서 그 손가락들 및 손의 가장자리를 검출하고(단계 4610), "C" 형상을 하는 손가락들을 검출하고(단계 4615), "C" 형상의 초기 오리엔테이션을 디코딩하고(단계 4620), "C" 형상의 오리엔테이션 변화를 디코딩하고(단계 4625) "C" 형상의 상대 회전 값을 판단하고(단계 4630), 및 제스처를 검출(단계 4635)하는 것을 도시한다. 본 명세서는 사용자의 손가락/손/팔로 만든 임의의 적절한 형상을 고려한다.
도47은 외향 센서의 시야각 내 특정 위치에 있는 다수의 손가락을 검출하는 것을 포함하는 예시적 제스처를 도시한다. 예를 들어, 도47은 예컨대, 하나의 죽 뻗은 엄지(one outstretched thumb), 하나의 죽 뻗은 엄지와 하나의 손가락, 또는 하나의 죽 뻗은 엄지와 두 개의 손가락과 같이 시야각 내에서 손가락 끝을 검출(단계4705)한다. 단계 4710에서 특정 손가락 끝 오리엔테이션 배치(specific fingertip orientation configuration)가 검출되고, 단계 4715에서 그 배치가 손가락들의 적어도 수치 카운트(at least a numeric count of the fingers)에 맵핑되어, 단계 4725에서 제스처가 검출된다. 디스플레이된 이미지 각각은 다른 제스처일 수 있다. 본 명세서는 제스처를 구성하는 임의의 적절한 손가락 위치를 고려한다. 여기에 설명되는 모든 그 밖의 예시적 제스처와 관련하여, 본 명세서는 그 제스처와 연관된 임의의 적절한 기능성을 고려한다. 예를 들어, 도47의 제스처 각각은 전화, 이메일 또는 문자할 연락처와 연관될 수 있고, 검출된 제스처는 그 제스처에 할당된 연락처에 전화, 이메일 또는 문자하는 것을 활성화할 수 있다. 특정 실시예에서, 손/팔/손가락의 위치는 제스처와 연관된 연락처에 어떤 연락 방법이 사용되어야 하는지를 가리킬 수 있다.
도48~49는 디바이스 상의 이중 센서를 포함하는 예시적 제스처를 도시한다. 예를 들어, 도48은 디바이스의 바닥 밴드부에 있는 센서를 도시한다. 이 센서는 디바이스에 대한 사용자의 다른 손 위치를 검출하고, 센서로부터 그 손의 분리(separation)를 검출한다. 특정 실시예에서, 제스처는 예컨대, 디바이스 내 하나 이상의 관성 센서에 의해 공급되는 부가 정보에 의해, 또는 장면의 변화를 통해 디바이스의 이동을 검출하는 내향(inward-facing; 예컨대, 사용자의 몸을 향함) 카메라에 의해 공급되는 부가 정보에 의해 양 손의 이동을 판단하는 것을 포함할 수 있다. 예를 들어, 도48에서 손은 시야각 내에서 검출된다(단계 4805). 센서는 손이 핀치된 형상으로 있음을 검출하고(단계 4810), 동일 또는 다른 센서는 디바이스가 수평 오리엔테이션에 있음을 검출한다(단계 4815). 센서는 디바이스에 대해 이동하는 손을 검출하고(단계 4820), 또한 상대 위치를 추정한다(단계 4825). 제스처는 단계 4830에서 검출된다. 유사하게, 도49는 시야각 내에 있고 그 후에 디바이스 센서로부터 멀어지는 쪽으로 이동하는 사용자 손을 검출하는 것을 또한 포함하는 예시적 제스처를 도시한다. 하지만, 도49에 있어서, 디바이스 센서는 디바이스의 상면에 위치된다(예컨대, 전향 센서(front-facing sensor)). 예를 들어서, 전향 카메라의 시야각 내에서 손이 검출된다(단계 4905). 이 손은 핀치된 형상으로 검출되고(단계 4910), 디바이스는 수평 오리엔테이션으로 검출된다(단계 4915). 손은 디바이스에 가까워지는 쪽으로 또는 멀어지는 쪽으로 이동하고(단계 4920), 상대 위치 추정이 수행되고(단계 4925), 이 시점에서 제스처가 검출된다(단계 4930).
도50~58은 적어도 하나의 전향 센서(예컨대, 디바이스의 상면에 있는 센서)가 검출한 예시적 제스처를 도시한다. 도50~58의 임의의 제스처는 다른 적절한 위치에 있는 센서(예컨대, 상술한 바와 같이 외향)에 의해 검출될 수 있고, 다른 위치에 있는 센서에 의해 검출된 임의의 제스처는, 적절한 경우, 전향 센서에 의해 검출될 수 있다. 도50은 디바이스 위를 맴도는(hovering) 하나 이상의 손가락 끝을 포함하는 예시적 제스처를 도시하며, 전향 센서는 손가락 끝을 검출하고(단계 5005), 손가락 끝의 위치 또는 손가락 끝의 모션(또는 모션 없음)을 검출하여(단계 5010, 5015), 제스처를 검출한다(단계 5020). 도51은 단계 5105와 5110이 단계 5005와 5010에 각각 동일한 예시적 제스처를 도시한다. 하지만, 검출된 손가락 끝은 전향 센서로부터 멀어지는 쪽으로 이동하고(단계 5115); 특정 실시예에서, 제스처는 예컨대, 단계 5120에서 서로 떨어지는 것과 같이, 서로에 대해 위치를 변경하는 하나 이상의 손가락 끝을 검출하는 것을 포함할 수 있다. 도52는 센서에 의해 손가락 끝들이 검출되고(단계 5205), 손가락 끝들이 모여지고(단계 5210), 손가락들이 디바이스를 향해 이동되고(단계 5215), 및 이동 모션이 한동안 지속되어(단계 5220), 제스처가 검출(단계 5225)되는 것을 도시한다. 도53에 도시된 바와 같이, 특정 실시예에서, 제스처는 센서를 향한 손가락 끝들의 모션에 더하여 손가락 끝들의 상대 위치 변화를 검출하는 것을 포함할 수 있다. 예를 들어, 하나 이상의 손가락이 전면에서 검출되고(단계 5305); 상방향 또는 하방향으로 이동하는 손가락 끝이 검출되고(단계 5310); 및 제스처가 검출된다(단계 5315). 특정 실시예에서, 도 50~52의 제스처 지속기간에 의해 제스처의 검출 여부가 판단될 수 있거나, 또는 다른 지속기간은 다른 제스처를 포함할 수 있다.
도54~57은 디바이스의 표면을 가로지는(따라서 전향 센서를 가로지름), 하나 이상 손가락의 모션 또는 손/팔 일부의 모션을 포함하는 예시적 제스처를 도시한다. 도시된 바와 같이, 제스처는 사용된 손가락의 개수(예컨대, 2개의 손가락 vs. 전체 손바닥); 디바이스 표면을 가로지는 모션의 방향(예컨대, 아래에서 위로, 왼쪽에서 오른쪽으로); 디바이스 표면을 가로지는 모션의 지속기간; 검출된 손가락 또는 손/팔의 디바이스 표면에 대한 근접도; 디바이스의 표면의 부분(예컨대, 전부 또는 일부, 및 그 부분의 상대 위치(예컨대, 바닥의 반절)); 또는 검출된 부분이 초기에 전향 센서의 시야각 내에 있는지 밖에 있는지, 말기에 시야각 내에 있는지 또는 밖에 있는지 여부에 따라 다를 수 있다. 예를 들어, 도54의 제스처는 전면에서 검출된 하나 또는 두 개의 손가락을 검출하고(단계 5405), 좌측으로 이동하는 손가락을 검출하고(단계 5410), 제스처를 검출(단계 5415)하는 것을 포함할 수 있다. 다른 예로서, 도55는 전면에서 검출된 하나 또는 두 개의 손가락을 검출하고(단계 5505), 우측으로 이동하는 손가락을 검출하고(단계 5510), 제스처를 검출(단계 5515)하는 것을 포함할 수 있다. 다른 예로서, 도56은 손가락을 검출하지 못하고(단계 5605), 좌측으로부터 시야각에 입장(enter)하는 다수의 손가락을 검출하고, 커버된 전면을 검출하고, 프레임을 나가는 손가락을 검출하고(단계 5620), 및 제스처를 검출(단계 5625)하는 것을 포함할 수 있다. 또 다른 예로서, 도57은 손가락을 검출하지 못하고(단계 5705), 우측으로부터 시야각에 입장하는 다수의 손가락을 검출하고(단계 5710), 완전히 커버된 전면을 검출하고(단계 5715), 프레임을 나가는 손가락을 검출하고(단계 5720), 및 제스처를 검출(단계 5725)하는 것을 포함할 수 있다. 여기에 설명된 모든 제스처와 관련하여, 이들 인자들( 및 제스처와 연관된 그 밖의 적절한 인자들)의 임의의 적절한 조합은 제스처 또는 그 제스처에 상응하는 기능성을 결정하기 위하여 사용될 수 있다. 예컨대, 그래픽 유저 인터페이스 스크린들 사이에서 전이, 디스플레이된 콘텐츠를 통한 스크롤링, 또는 통신/페어링하기 위한 디바이스들이나 가용한 애플리케이션들을 통한 스크롤링과 같은 임의의 적절한 기능성은 제스처와 연관될 수 있다.
도58은 디바이스의 가장자리에서 검출된 하나 이상의 손가락을 포함하는 예시적 제스처를 도시하고, 이 제스처는 디바이스의 가장자리 일부 또는 전부를 따라서 이들 손가락을 이동시키는 것을 포함할 수 있다. 예를 들어, 도58에 예시된 바와 같이, 제스처는 손가락을 검출하지 못하고(단계 5805), 전면의 가장자리에서 하나의 손가락을 검출하고(단계 5810), 가장자리를 따라 이동하는 손가락을 검출하고(단계 5815), 디바이스에 대한 손가락의 각도 모션(angular motion)을 디코딩하고(단계 5820), 및 제스처를 검출하는(단계 5825) 것을 포함할 수 있다. 이 제스처와 연관된 기능성의 예로서, 손가락의 이동은 디바이스에 디스플레이된 일부 또는 모든 콘텐츠를 회전시킬 수 있다.
특정 실시예에서, 제스처는 착용식 디바이스(예컨대, 팔에 착용하는 디바이스)의 모션을 포함할 수 있다. 모션은 임의의 적절한 센서(예컨대, 관성 센서, 오리엔테이션 센서, 또는 이들 센서의 임의의 적절한 조합)에 의해 검출될 수 있다. 도 59~66은 디바이스에 대하여 중력 벡터(예컨대, 디바이스 전면의 방향을 가리키거나 또는 기대를 통해 하방향을 가리킴)를 검출하고, 그 중력 벡터에 대한 디바이스의 후속 모션을 검출하는 것을 포함하는 예시적 제스처를 도시한다. 예를 들어, 도59는 전면을 통해 하방향을 가리키는 중력 벡터를 검출하고(단계 5905), 중력 벡터가 가리키는 것과 동일한 축을 따른 디바이스의 가속을 검출하고(단계 5910), 디바이스의 가속이 한동안 유지되는 것을 검출하고(단계 5915), 및 제스처를 검출하는(단계 5920) 것을 포함할 수 있다. 도60은 중력 벡터가 기대(전면이 아님)를 통해 하방향을 가리키는 것(단계 6005)을 제외하고 도59의 제스처와 상당히 유사하다. 도61은 디바이스의 오리엔테이션/위치(예컨대, 디바이스가 사용자의 몸 옆에 있지 않음)를 결정하기 위해 중력 벡터를 사용하는 제스처를 도시한다. 검출된 오리엔테이션으로부터 디바이스의 모션(예컨대, 중력 벡터에 수직임)이 검출되어, 제스처가 될 수 있다. 예를 들어, 검출된 중력 오리엔테이션은 팔이 몸의 측면에 있지 않다고 가리킬 수 있고(단계 6105), 디바이스의 횡가속이 검출될 수 있고(단계 6110), 이 가속이 한동안 검출될 수 있고(단계 6115), 및 제스처가 검출될 수 있다(단계 6120). 도59~61이 나타내는 바와 같이, 모션의 양상(예컨대, 가속의 지속 기간)을 검출하는 것은 제스처를 트리거(trigger)할 수 있고, 양상의 범위(예컨대, 모션 지속기간의 범위)는 서로 다른 제스처에 각각 상응할 수 있다. 도62~63은 디바이스의 회전 모션을 도시한다. 도61에서와 같이, 디바이스의 초기 오리엔테이션 또는 위치의 검출은 제스처 검출의 일부가 될 수 있다. 예를 들어, 도62의 제스처는 팔이 몸의 측면에 있지 않다고 중력 벡터가 나타냄을 검출하고(단계 6205), 일부 회전 모션을 검출하고(단계 6210), 회전 모션의 반경이 팔꿈치 모션에 대하여 충분히 큰지 추정하고(단계 6215), 상대 회전을 검출하고(단계 6220), 및 제스처를 검출하는 것(단계 6225)을 포함할 수 있다. 또 다른 예로서, 도63의 제스처는 팔이 몸의 측면에 있지 않다고 중력 벡터가 나타냄을 검출하고(단계 6305), 일부 회전 모션을 검출하고(단계 6310), 회전 모션의 반경이 손목 모션에 대하여 충분히 작은지 추정하고(단계 6315), 상대 회전을 검출하고(단계 6320), 및 제스처를 검출하는 것(단계 6325)을 포함할 수 있다. 도62~63에 도시된 바와 같이, 제스처는 예컨대, 주로 어깨에서의 회전(도62), 주로 팔꿈치에서의 회전, 또는 그 밖의 적절한 회전과 같은 디바이스의 회전 타입을 추정하는 것을 포함할 수 있다. 회전 반경에 추가적으로 또는 대안적으로, 제스처는 회전량, 회전 지속기간, 회전의 방사 가속(radial acceleration), 그 밖의 적절한 회전 양상, 또는 이들의 적절한 조합을 검출하는 것을 포함할 수 있다.
도61~63에서와 같이, 도64는 디바이스의 초기 오리엔테이션 또는 위치를 검출하는 것을 포함하는 제스처를 나타낸다. 예를 들어, 도64의 제스처는 팔이 몸의 측면에 있지 않다고 중력 벡터가 나타냄을 검출하고(단계 6405), 팔의 축을 따른 팔의 횡가속을 검출하고(단계 6410), 가속이 한동안 유지됨을 검출하고(단계 6415), 제스처를 검출하는 것(단계 6420)을 포함할 수 있다. 도65는 디바이스를 착용하는 신체기관의 축을 따른 디바이스의 모션(예컨대, 상기 축을 따른 디바이스의 가속)을 포함할 수 있는 제스처를 도시한다. 제스처는 모션의 경로를 따른 임팩트(impact; 예컨대, 손이 정지하거나 오브젝트와 접촉함으로써 야기됨) 및 후속하는 모션의 반전(reversal of motion)을 포함할 수 있다. 전후 모션(back-and-forth motion)은 그 모션이 정지하거나 손이 어느 위치(예컨대, 사용자의 측면)에 돌아가기 전까지 반복될 수 있다. 특정 실시예에서, 다른 제스처들은 전후 모션의 횟수나 빈도에 기초할 수 있다. 예를 들어, 도65의 제스처는 팔이 몸의 측면에 있지 않다고 중력 벡터가 나타냄을 검출하고(단계 6505), 손이 모션 중임을 검출하고(단계 6510), 모션의 경로를 따른 충격(임팩트)을 검출하고(단계 6515), 동일 선형 경로를 따라서 손이 모션을 반전했음을 검출하고(단계 6520), 단계 6515 및 6520을 적절히 반복하고, 모션이 한동안 멈춤을 검출하고(단계 6525), 및 제스처를 검출하는 것(단계 6630)을 포함할 수 있다.
도66~68은 소정의 모션 템플릿(template)과 매치하는 모션의 검출에 기초하는 예시적 제스처를 도시하며, 이 모션 템플릿은 사용자가 만들거나 커스터마이즈할 수 있다. 특정 실시예에서, 커스터마이즈 가능한 제스처는 디바이스의 초기 위치 또는 오리엔테이션, 특정 방향으로의 모션 또는 모션의 양상, 모션의 시작과 멈춤, 모션의 지속기간, 또는 그 밖의 적절한 파라미터를 포함할 수 있다.이 파라미터의 일부 또는 전부는 특정 실시예에서, 사용자가 커스터마이즈할 수 있다. 특정 실시예에서, 검출된 모션을 가장 근접한 사용가능 모션 템플릿(the closet available motion template)에 매칭하여 검출 제스처를 결정될 수 있다. 예를 들어, 도66~68에 도시된 바와 같이, 제스처는 팔 또는 손가락의 수평 위치 또는 모션에 상응할 수 있다. 예를 들어, 도66에 도시된 바와 같이, 제스처는 디바이스의 기대 바닥을 통하여 아래로 지향된(oriented) 중력 벡터를 검출하고(단계 6605), 앞쪽 및 안쪽으로의 모션을 검출하고(단계 6610), 모션 템플릿을 매칭하고(단계 6615, 예컨대, 도19의 휴리스틱, 수치 또는 패턴-기반 제스처 인식 모듈을 사용함), 및 제스처를 검출하는 것(단계 6620)을 포함할 수 있다. 도67은 디바이스의 기대 바닥을 통하여 측면으로 지향된 중력 벡터를 검출하고(단계 6705), 앞쪽 및 안쪽으로의 모션을 검출하고(단계 6710), 모션 템플릿을 매칭하고(단계 6715, 예컨대, 도19의 휴리스틱, 수치 또는 패턴-기반 제스처 인식 모듈을 사용함), 및 제스처를 검출하는 것(단계 6720)을 포함할 수 있다. 도68은 팔이 몸의 측면에 있지 않다고 중력 벡터가 가리키는 것을 검출하고(단계 6805), 디바이스의 모션을 검출하고(단계 6810), 모션 멈춤을 검출하고(단계 6815), 모션 템플릿을 매치하고(단계 6820), 최적 모션-템플릿 매치를 선택하고(단계 6825), 및 제스처를 검출하는 것(단계 6830)을 포함할 수 있다. 도66~68은 특정 모션 템플릿에 상응하는 커스터마이즈 가능한 제스처의 구체적인 예를 도시하고 있지만, 본 명세서는 임의의 적절한 센서가 검출하는 임의의 적절한 제스처(또는 제스처의 임의 양상)를 고려하며, 임의의 적절한 센서는 디바이스의 사용자가 커스터마이즈할 수 있다.
특정 실시예에서, 제스처는 일부 비-모션(non-motion) 또는 비-오리엔테이션(non-orientation) 입력을 검출하는 것을 선택적으로 포함할 수 있다. 예를 들어, 도69~71은 음향의 검출을 포함하는 제스처를 도시하나, 도시된 제스처는 그러한 검출을 요구하지는 않는다. 도69는 디바이스의 일부 모션 후(예컨대, 사용자 얼굴쪽으로 디바이스를 가져감), 음향 출력(예컨대, 착신 또는 발신 전화호출음) 또는 응답을 도시한다. 예를 들어, 오디오 응답 또는 출력이 개시되고(단계 6905), 상방향 모션이 검출되고(단계 6910), 상방향 모션의 멈춤이 검출되고(단계 6915), 중력 벡터가 소정의 윈도우 내에 있고(단계 6920), 및 제스처가 검출된다(단계 6925). 특정 실시예에서, 제스처는 도시된 바와 같이, 특정 오리엔테이션 또는 오리엔테이션 윈도우 내의 중력 벡터를 검출하는 것을 포함할 수 있다. 도69의 제스처는 사용자의 손/손가락의 위치를 검출하는 것을 또한 포함할 수 있다. 도69에 도시된 제스처와 연관될 수 있는 기능성의 예로서, 손가락이 지시된 위치에서 귀 또는 얼굴 부근으로 오면, 사용자는 전화를 걸거나 전화호출에 응답할 수 있다. 도70의 단계 7005~7025는 도69에 대하여 설명된 것과 유사한 속성을 갖지만 사용자의 손/손가락의 오리엔테이션이 다른 예시적 제스처를 도시한다. 도71은 사용자가 만든(예컨대, 사용자가 손가락들을 스냅핑(snapping)함) 음향을 포함하는 예시적 제스처를 도시하며, 이 음향은 디바이스와 연관된 마이크로폰에 의해 검출된다. 예를 들어, 도71은 팔이 몸의 측면에 있지 않음을 가리키는 중력 벡터를 검출하고(단계 7105), 상대적으로 가속도가 높은 모션을 검출하고(단계 7110), 하나 이상의 음향 주파수의 갑작스런 변화를 검출하고(단계 7115), 및 제스처를 검출하는 것(단계 7120)을 포함할 수 있다. 도71에 도시된 바와 같이, 스냅 모션은 스냅만으로 생성된 모션에 의해(예컨대, 사용자의 손/피부의 진동에 의해 또는 스냅에 기인한 회전의 변화 정도 또는 회전 변화율에 의함) 검출될 수 있거나, 또는 모션과 스냅에 의해 생성된 청각 입력의 조합에 의해 검출될 수 있다. 특정 실시예에서, 청각 확인(auditory confirmation)은, 제스처가 검출되기 위하여, 모션의 소정 시간 내에 검출되어야 한다.
도72~73은 디바이스의 주기적 모션(예컨대, 디바이스가 있는 팔을 횡방향 또는 수직방향으로 흔듦)을 포함하는 예시적 제스처를 도시한다. 도72는 팔이 몸 옆에 있지 않다고 가리키는 중력 벡터를 검출하고(단계 7205), 축 상에서 횡측 전방으로 이동하는 디바이스를 검출하고(단계 7210), 동일 축 상에서 후방으로 이동하는 디바이스를 검출하고(단계 7215), 단계 7210과 7215를 소망하는 바대로 반복하고, 제스처를 검출하는 것(단계 7220)을 포함하는 제스처를 도시한다. 도73은 팔이 몸 옆에 있지 않다고 가리키는 중력 벡터를 검출하고(단계 7305), 축 상에서 수직 전방(vertically forward)으로 이동하는 디바이스를 검출하고(단계 7310), 동일 축 상에서 후방으로 이동하는 디바이스를 검출하고(단계 7315), 단계 7310과 7315를 소망하는 바대로 반복하고, 제스처를 검출하는 것(단계 7320)을 포함하는 제스처를 도시한다. 도74는 사용자 몸에 대하여 디바이스의 위치/오리엔테이션을 조정하는 것을 포함하는 예시적 제스처를 도시한다. 예를 들어, 도74의 제스처는 팔이 몸 옆에 있다고 가리키는 중력 벡터를 검출하고(단계 7405), 팔이 몸 옆에 있지 않다고 가리키는 중력 벡터를 검출하고(단계 7410), 및 제스처를 검출하는 것(단계 7415)을 포함할 수 있다. 예컨대, 디바이스를 저-전력 상태로부터 깨우기와 같은 임의의 적절한 기능성이 도72~75의 제스처와 연관될 수 있다. 도75는 디바이스의 시작부터 멈춤까지 디바이스의 높이(height) 또는 디바이스 높이의 상대적 변화를 포함하는 예시적 제스처를 도시한다. 디바이스의 높이에 더하여, 제스처는 그 제스처 전, 동안, 후의 디바이스 오리엔테이션을 포함할 수 있다. 예를 들어, 제스처는 팔이 몸 옆에 있지 않다고 가리키는 중력 벡터를 검출하고(단계 7505), 상방향 모션을 검출하고(단계 7510), 상방향 모션의 중단(halt)을 검출하고(단계 7515), 중력 벡터가 디바이스 기대의 측면을 통해 가리키고 있음을 검출하고(단계 7520), 및 제스처를 검출하는 것(단계 7525)을 포함할 수 있다. 예컨대, 디바이스와 페어링된 장비(equipment)를 활성화하는 것, 방에 있는 하나 이상의 전구를 켜는 것, 또는 디바이스의 부근의 장비를 활성화하는 것과 같은 임의의 적절한 기능성이 도75의 제스처와 연관될 수 있다.
특정 실시예에서, 제스처는 착용식 디바이스의 본체 또는 밴드와 직접 상호작용하는 것을 포함할 수 있다. 예를 들어, 도76은 사용자 손목 주위에 착용된 밴드의 터치-센서티브 영역과의 콘택트를 포함하는 제스처를 도시한다. 제스처는 디바이스가 잠김 상태에 있지 않다는 것을 검출하고(단계 7605), 밴드에 대한 터치가 없음을 검출하고(단계 7610), 밴드에 대한 터치를 검출하고(단계 7615), 터치의 위치를 디코딩하고(단계 7620), 및 제스처를 검출하는 것(단계 7625)을 포함할 수 있다. 도77은 다수의 위치에서 터치가 단일 제스처(예컨대, 디바이스 또는 그 디바이스의 양상을 잠금 해제하기 위한 제스처)로 판단될 수 있음을 도시한다. 제스처는 디바이스가 잠김 상태에 있지 않다는 것을 검출하고(단계 7705), 밴드에 대한 터치가 없음을 검출하고(단계 7710), 밴드에 대한 터치를 검출하고(단계 7715), 터치의 위치를 디코딩하고(단계 7720), 액션을 디코딩하고(단계 7725), 및 제스처를 검출하는 것(단계 7730)을 포함할 수 있다. 도78은 디바이스의 터치-센서티브 영역과 콘택트하고, 그 디바이스와의 콘택트를 유지하면서 터치-센서티브 영역을 가로질러 슬라이드하는 것을 포함할 수 있는 제스처를 도시한다. 제스처는 디바이스가 잠김 상태에 있지 않다는 것을 검출하고(단계 7805), 밴드에 대한 터치가 없음을 검출하고(단계 7810), 밴드에 대한 터치를 검출하고(단계 7815), 터치 포인트(들)의 이동을 검출하고(단계 7820), 상대 모션을 디코딩하고(단계 7825), 및 제스처를 검출하는 것(단계 7830)을 포함할 수 있다. 특정 실시예에서, 제스처는 콘택트의 지속기간, 콘택트의 물리적 영역(예컨대, 하나 또는 두 개의 손가락으로 콘택트), 콘택트의 시퀀스, 콘택트에 의해 생성된 압력, 또는 그 밖의 적절한 콘택트-관련 속성을 포함할 수 있다. 도76~78은 밴드에 있는 터치-센서티브 영역과의 콘택트를 도시하고 있지만, 본 명세서는 제스처가 디바이스의 임의의 적절한 위치(예컨대, 디바이스 밴드, 링, 디스플레이, 또는 이들의 적절한 조합)에 있는 터치-센서티브 영역과의 콘택트를 포함할 수 있음을 고려한다. 예를 들어, 도79~80은 도77~78의 제스처와 유사하게, 디바이스 링에 있는 터치 센서티브 영역과의 콘택트를 도시한다. 예를 들어, 제스처는 디바이스가 잠김 상태에 있지 않다는 것을 검출하고(단계 7905), 링에 대한 터치가 없음을 검출하고(단계 7915), 링에 대한 터치를 검출하고(단계 7920), 및 제스처를 검출하는 것(단계 7925)을 포함할 수 있다. 다른 예로서, 제스처는 디바이스가 잠김 상태에 있지 않다는 것을 검출하고(단계 8005), 링에 대한 터치가 없음을 검출하고(단계 8010), 링에 대한 터치를 검출하고(단계 8015), 터치 포인트의 이동을 검출하고(단계 8020), 상대 모션을 디코딩하고(단계 8025), 및 제스처를 검출하는 것(단계 8030)을 포함할 수 있다. 도81은 디바이스 표면의 터치-센서티브 영역과 멀티-터치 콘택트하고, 및 콘택트 포인트들의 후속 이동을 검출하는 것을 포함하는 제스처를 도시한다. 여기서, 후속 이동은 예컨대, 터치-센서티브 영역과 컨택트하는 손가락의 모션에 의해 또는 디바이스가 착용된 손목/손의 이동에 의해 야기된다. 제스처는 디바이스가 잠김 상태에 있지 않다는 것을 검출하고(단계 8105), 표면에 대한 터치가 없음을 검출하고(단계 8110), 표면에 터치하는 적어도 두 개의 손가락을 검출하고(단계 8115), 터치 포인트의 이동을 검출하고(단계 8120), 상대 모션을 디코딩하고(단계 8125), 및 제스처를 검출하는 것(단계 8130)을 포함할 수 있다. 손목/손의 이동은 예컨대, 디바이스의 관성 센서에 의해 검출될 수 있고, 이 검출에 의해, 터치 포인트를 이동시키는 다른 방식이 2개의 구별되는 제스처로 될 수 있다. 도82는 디바이스와의 초기 콘택트를 포함하는 제스처를 도시하며, 이 콘택트는 디바이스 내부 또는 표면에 있는 하나 이상의 근접 센서, 또는 디바이스에 있거나 그 부근에 있는 관성 센서에 의해 검출될 수 있다. 제스처는 예컨대, 사용자가 디바이스를 착용했음을 나타내는 지속 컨택트를 검출하는 것을 포함할 수 있다. 예를 들어, 제스처는 후방 또는 밴드 근접 센서와 컨택트가 없음을 검출하고(단계 8205), 근접 센서에 의한 컨택트를 검출하고(단계 8210), 컨택트가 지속함을 검출하고(단계 8215), 및 제스처를 검출하는 것(단계 8220)을 포함할 수 있다. 도82의 제스처는 슬리핑(sleeping) 디바이스를 잠금 해제하거나 그 디바이스에 전력을 공급할 수 있고, 또는 그 밖의 적절한 기능성을 제공할 수 있다.
특정 실시예에서, 제스처는 디바이스 부근 피부와의 콘택트를 포함할 수 있다. 도83은 디바이스가 착용된 부근의 피부를 탭핑하는 것을 포함하는 제스처를 도시한다. 탭핑은 디바이스의 진동 센서에 의해 검출될 수 있다. 탭핑 모션은 예컨대, 탭핑 제스처가 만드는 사운드를 검출하는 하나 이상의 음향 센서에 의해 확인(confirmed)될 수 있다. 예를 들어, 제스처는 디바이스가 잠금 해제되어 있다는 것을 검출하고(단계 8305), 상대적으로 큰 가속도의 모션을 검출하고(단계 8310), 예컨대, 탭의 사운드를 검출하고(단계 8315), 모션 또는 사운드를 패턴에 매치하고(단계 8320), 및 제스처를 검출하는 것(단계 8325)을 포함할 수 있다. 도84는 디바이스 부근의 피부를 스와이프하는 것을 포함하는 제스처를 도시하고, 이 스와이프는 상기한 도83에 설명된 센서에 의해 검출 및 확인될 수 있다. 예를 들어, 제스처는 디바이스가 잠금 해제되어 있다는 것을 검출하고(단계 8405), 상대적으로 큰 가속도의 모션을 검출하고(단계 8410), 예컨대, 탭의 사운드를 검출하고(단계 8415), 피부 상에서 횡이동의 진동 또는 사운드를 검출하고(단계 8420), 그 모션 또는 사운드를 패턴과 매치하고(단계 8425), 및 제스처를 검출하는 것(단계 8430)을 포함할 수 있다.
특정 실시예에서, 제스처는 디바이스를 착용하지 않은 손으로 한 은유적 제스처(metaphoric gesture)를 검출하는 것을 포함할 수 있다. 예를 들어, 이러한 제스처는 디바이스의 디스플레이 상에 또는 부근에 있는 임의의 전향 센서에 의해 검출될 수 있고, 전향 센서의 시야각 내에 디바이스를 착용하지 않은 손이 있도록 이 디바이스는 지향된다. 도85는 전향 센서가 다수 손가락의 모션(예컨대, 손가락들의 탭핑)을 검출하는 것을 포함하는 예시적 제스처를 도시한다. 예를 들어, 제스처는 디바이스가 소정 오리엔테이션에 있다는 것을 검출하고(단계 8505), 손가락 끝을 검출하고(단계 8510), 손가락 끝의 모션을 검출하거나(단계 8515) 또는 탭 사운드를 검출하고(단계 8525), 및 하나 이상의 제스처를 검출하는 것(단계 8520 및 8530)을 포함한다. 도86은 단일 손가락의 모션을 포함하는 예시적 제스처를 도시한다. 예를 들어, 제스처는 디바이스가 소정 오리엔테이션에 있다는 것을 검출하고(단계 8605), 손가락 끝을 검출하고(단계 8610), 손가락 끝의 모션을 검출하거나(단계 8615) 또는 탭 사운드를 검출하고(단계 8625), 및 하나 이상의 제스처를 검출하는 것(단계 8620)을 포함할 수 있다. 도87은 오브젝트를 잡은 손의 이동을 검출하고, 오브젝트의 모션을 검출하고, 오브젝트를 추적하고(locking on to the object), 및 오브젝트의 후속 모션을 검출하는 것을 포함하는 제스처를 도시한다. 구체적 예로서, 제스처는 디바이스가 소정 오리엔테이션에 있다는 것을 검출하고(단계 8705), 손을 검출하고(단계 8710), 손의 모션을 검출하고(단계 8715), 손과 함께 이동하는 추가 오브젝트를 검출하고(단계 8720), 오브젝트를 추적하고(단계 8725), 오브젝트의 모션을 검출하고(단계 8730), 및 제스처를 검출하는 것(단계 8735)을 포함할 수 있다. 예를 들어, 오브젝트는 펜 또는 그 밖의 스타일러형 도구(stylus-like implement)일 수 있고, 디바이스 상의 전향 센서는 도구의 필기 모션을 검출하고, 예컨대, 텍스트를 디바이스 상에 또는 착용식 디바이스와 통신하는 다른 디바이스 상에 생성/저장할 수 있다. 도87의 예에서, 사용자는 디스플레이 또는 다른 필기면(writing surface)에 필기 콘텐츠를 실제로 생성하기 않고도, 그림, 노트 또는 다른 필기 콘텐츠를 생성할 수 있다. 여기에서 보다 상세히 설명되는 바와 같이, 임의의 적절한 제스처, 또는 제스처들의 조합은 증강-현실(augmented-reality; "AR") 기능성을 임팩트 또는 개시하는데 사용될 수 있고, 또한, AR 기능성을 사용하는 태스크(task)를 수행하는데 사용될 수 있다. 예를 들어, 도85~87의 제스처는 가상 키보드, 가상 마우스, 또는 가상 터치스크린과의 사용자 상호작용을 캡쳐하는데 사용될 수 있고, 이들 상호작용은 착용식 디바이스 또는 그 밖의 페어링된 디바이스에 대한 입력을 생성할 수 있다. 본 명세서는 은유적 제스처 및 오브젝트 검출( 및 연관 기능성)의 구체적 예를 설명하고 있지만, 본 명세서는 임의의 적절한 은유적 제스처, 임의 적절한 오브젝트의 검출, 및 임의 적절한 기능성과 연관된 이러한 제스처를 고려한다.
특정 실시예에서, 제스처는 디바이스가 부착되거나 착용되는 신체기관 전체를 포함할 수 있다. 예를 들어, 도88~92는 디바이스가 착용되는 팔의 모션을 포함하는 예시적 제스처를 도시한다. 제스처는 팔의 초기 위치를 검출하고(예컨대, 중력 벡터의 방향을 검출하는 가속도계를 통함), 디바이스의 모션(팔을 통함)을 검출하고, 중력 벡터의 상응하는 변화를 검출하고, 및 팔이 움직임을 멈춘 것을 검출하는 것을 포함할 수 있다. 이러한 제스처는 이동의 지속기간, 이동량(예컨대, 큰 반경의 모션을 검출하고, 팔 전체가 이동했음을 확인함), 이동 가속도, 또는 그 밖의 적절한 이동 관련 속성을 검출하는 것을 또한 포함할 수 있다. 도88~92로 도시한 바와 같이, 제스처는 머리 위로, 전방으로, 측방으로, 후방으로, 또는 초기-높은 시작 위치로부터 하방으로 팔의 이동을 검출하는 것을 포함할 수 있다. 예를 들어, 제스처는 손이 몸의 측면에 있다고 나타내는 중력 벡터를 검출하고(단계 8805), 손의 상방향 이동을 검출하고(단계 8810), 손이 머리 위에 있다고 중력 벡터가 나타냄을 검출하고(단계 8815), 이동을 멈춘 손을 검출하고(단계 8820), 및 제스처를 검출하는 것(단계 8825)을 포함할 수 있다. 다른 예로서, 제스처는 손이 몸의 측면에 있다고 나타내는 중력 벡터를 검출하고(단계 8905), 손의 상방향 및 전방향 이동을 검출하고(단계 8910), 손이 수평하다고 중력 벡터가 나타냄을 검출하고(단계 8915), 손이 이동을 멈춤을 검출하고(단계 8920), 및 제스처를 검출하는 것(단계 8925)을 포함할 수 있다. 또 다른 예로서, 제스처는 손이 수평하다고 나타내는 중력 벡터를 검출하고(단계 9005), 하방 및 후방으로 이동하는 손을 검출하고(단계 9010), 손이 측면에 있다고 중력 벡터가 나타냄을 검출하고(단계 9015), 이동을 멈춘 손을 검출하고(단계 9020), 및 제스처를 검출하는 것(단계 9025)을 포함할 수 있다. 또 다른 예로서, 제스처는 손이 몸의 측면에 있다고 나타내는 중력 벡터를 검출하고(단계 9105), 상방 및 후방으로 이동하는 손을 검출하고(단계 9110), 손이 수평하다고 중력 벡터가 나타냄을 검출하고(단계 9115), 이동을 멈춘 손을 검출하고(단계 9120), 및 제스처를 검출하는 것(단계 9125)을 포함할 수 있다. 또 다른 예로서, 제스처는 손이 몸의 측면에 있다고 나타내는 중력 벡터를 검출하고(단계 9205), 상방 및 외방(outward)으로 이동하는 손을 검출하고(단계 9210), 손이 수평하다고 중력 벡터가 나타냄을 검출하고(단계 9215), 이동을 멈춘 손을 검출하고(단계 9220), 및 제스처를 검출하는 것(단계 9225)을 포함할 수 있다. 특정 실시예에서, 제스처는 디바이스가 착용된 신체기관만이 아니라 몸 전체의 모션을 포함할 수 있다.
특정 실시예에서, 사용자는 예컨대, 외곽링, 터치-센서티브 인터페이스(예컨대, 터치-센서티브 층), 사용자가 하는 제스처(아래에 설명됨), 또는 음성 인터페이스(예컨대, 텍스트 입력, 통신 또는 검색을 포함하는 애플리케이션용 음성 입력 및 스피치 인식(voice input and speech recognition)을 포함함)를 포함하는 다양한 입력 메커니즘 또는 타입을 통하여 디바이스와 상호작용한다. 추가적으로, 특정 실시예에서, 사용자는 임의의 입력 메커니즘 또는 타입을 통하여, 디바이스의 원형 디스플레이에 제시된 그래픽 유저 인터페이스와 상호작용할 수 있다.
착용식 전자 디바이스의 사용자는 외곽링을 사용하여 그 디바이스(예컨대, 원형 디스플레이 상에 제시된 그래픽 유저 인터페이스를 포함함)와 상호작용할 수 있다. 특정 실시예에서, 외곽링은 터치-센서티브일 수 있고, 따라서 외곽링의 하나 이상의 부분을 사용자가 터치하면, 그 터치는 디바이스에 대한 입력으로서 검출되고 해석되어, 하나 이상의 액션을 디바이스가 취하도록(예컨대, 디바이스의 그래픽 유저 인터페이스 내에서) 할 수 있다. 예를 들어, 터치-센서티브 외곽링은 용량성 링 또는 유도성 링일 수 있고, 디바이스의 사용자는 그 디바이스에 입력을 제공하기 위하여, 터치-센서티브 링에서 임의의 적절한 제스처를 할 수 있다. 입력은 예컨대, 한 손가락으로 링을 스와이프하는 것, 두 개 이상의 손가락으로 링을 스와이프하는 것, 하나 이상의 손가락으로 회전형 제스처(rotational gesture)를 하는 것, 또는 링을 쥐는 것을 포함할 수 있다. 특정 실시예에서, 외곽링은 링의 물리적 회전이 디바이스에 대한 입력으로 기능할 수 있도록 회전 가능할 수 있다. 부가적으로, 특정 실시예에서, 외곽링은 클릭되거나(예컨대, 눌려짐(pressed down)) 쥐여질 수 있다. 외곽링이 터치-센서티브, 회전 가능형, 클릭 가능형(또는 누름 가능형), 또는 쥠 가능형(squeezable) 중 하나 이상이 될 수 있도록, 외곽링의 임의 실시예들은 적절히 조합될 수 있다. 외곽링의 서로 다른 양식으로부터 입력(예컨대, 터치, 회전, 클릭킹 또는 누름, 또는 쥠)은 예컨대, 사용자가 제공한 입력 양식의 조합에 따라서 다르게 해석될 수 있다. 예를 들어, 외곽링의 회전은 링의 클릭킹 또는 누름과 조합된 회전과는 다른 입력을 가리킬 수 있다. 또한, 사용자가 외곽링을 통해 입력을 제공하면, 예컨대, 여기에 설명된 촉각 피드백, 오디오 피드백, 또는 시각 피드백을 포함하는 피드백이 그 사용자에게 제공될 수 있다.
도93a는 사용자가 외곽링을 클릭킹(예컨대, 누름)하는 예를 도시하며, 화살표 9310으로 나타낸다. 도93b는 사용자가 외곽링을 쥐는 예를 도시하며, 화살표 9320으로 나타낸다. 도94a는 디바이스 그래픽 유저 인터페이스의 콘텐츠 9410가 회전(예컨대, 우회전)에 따라 변화하도록, 사용자가 외곽링을 회전시키는 예를 도시한다. 도94b는 디바이스 그래픽 유저 인터페이스의 콘텐츠 9420가 회전(예컨대, 우회전)에 따라 변화하도록, 링 그 자체의 회전 없이, 사용자가 터치-센서티브 링에서 회전 제스처를 하는 예를 도시한다. 도94c는 디바이스 그래픽 유저 인터페이스의 콘텐츠 9430가 회전(예컨대, 우회전) 및 누름(또는 클릭킹)에 따라 변화하도록, 사용자가 외곽링을 클릭킹 또는 누름과 동시에 그 외곽링을 회전시키는 예를 도시한다.
특정 실시예에서, 디바이스의 터치-센서티브 인터페이스(예컨대, 터치-센서티브 층)는 사용자의 터치 입력을 받고, 디바이스로 하여금 사용자 터치의 x-y 좌표를 판단하고, 다수의 터치-콘택트 포인트(예컨대, 터치-센서티브 층의 서로 다른 영역들)을 식별하고, 터치 상호작용의 서로 다른 시간 길이들 사이를 구별(예컨대, 스와이핑, 단일 탭핑, 또는 더블 탭핑을 포함하는 제스처들을 구별함)하게 할 수 있다. 터치 제스처(여기에 설명됨)는 다방향(multi-directional) 스와이핑 또는 드래깅(dragging), 핀칭, 더블-탭핑, 디바이스에서 누르기 또는 밀기(이것은 상방향 또는 하방향으로 디바이스의 물리적 이동을 야기할 수 있음), 오래 누르기(long pressing), 멀티-터치(예컨대, 터치-센서티브 인터페이스 상 임의의 곳을 터치하거나 그 곳에서 제스처를 하기 위하여, 다수의 손가락 또는 도구를 사용함), 또는 회전 터치 제스처를 포함할 수 있다. 도95a는 디바이스에 사용자 입력을 제공하기 위하여 터치-센서티브 인터페이스(예컨대, 터치-센서티브 층)를 사용자가 탭핑 9510 하는 예를 도시한다. 디바이스는 터치-센서티브 인터페이스(예컨대, 터치-센서티브 층)로부터 입력을 통하여, 사용자 탭핑의 정밀한 x-y 좌표를 결정할 수 있다. 도95b는 사용자가 시계방향 회전 제스처 9515, 반시계방향 회전 제스처 9520, 수직 스와이프 제스처 9525, 및 수평 스와이프 제스처 9530을 각각 행하는 예를 도시한다. 도95c는 사용자가 각각 하나, 둘 또는 세 개의 콘택트 포인트 9535(예컨대, 한, 둘 또는 세 개의 손가락 또는 도구에 의함)을 동시에 사용하여 디스플레이(멀티-터치 센싱 기능을 구비한 터치-센서티브 층을 포함함)를 터치하는 예를 도시한다. 도95d는 사용자가 터치-센서티브 인터페이스와 다수의 콘택트 포인트를 갖는 제스처를 하는 예를 도시한다. 이 예에서, 사용자는 두 개의 손가락으로, 확장(expanding) 제스처 9540, 핀칭 제스처 9545, 시계방향 회전 제스처 9550, 또는 반시계방향 제스처 9555를 한다.
특정 실시예에서, 디바이스의 그래픽 유저 인터페이스는 상호작용및전이 모델(an interaction and transition model)에 따라서 동작할 수 있다. 이 모델은 예컨대, 애플리케이션, 기능(functions), 서브-모드(sub-modes), 확인(confirmations), 콘텐츠, 컨트롤, 활성 아이콘, 액션, 또는 다른 특징이나 엘리먼트를 포함하는 모드들이 디바이스의 그래픽 유저 인터페이스 내에서 어떻게 조직(예컨대, 계층으로)될 수 있는지 결정할 수 있다.
일 실시예에서, 그래픽 유저 인터페이스(GUI)는 디바이스의 서로 다른 모드 또는 애플리케이션(예컨대, 서브-모드, 기능, 확인, 콘텐츠 도는 그 밖의 특징)에 각각 상응하는 복수의 상위-레벨 스크린을 포함한다. 이들 애플리케이션 각각은 GUI의 상호작용및전이 모델의 계층 내 동일 레벨에 있을 수 있다. 96a는 GUI 내 계층의 예시적 레이아웃을 도시하며, 이 레이아웃에서, 다수의 상위-레벨 스크린 9602-9606 및 9610-9614 각각은 서로 다른 애플리케이션에 상응하고, 상위-레벨 스크린 중 하나 9608(홈 스크린)는 클럭(시계)에 상응한다. GUI 내 상태 전이(state transition)는 디바이스의 사용자와 같은 입력 소스로부터의 입력에 의해 트리거되는 이벤트일 수 있다. 디바이스 사용자나 다른 입력 소스(예컨대, 외곽링, 터치-센서티브 인터페이스, 제스처, 음성 또는 센서를 포함하는 임의의 다양한 입력 메커니즘 또는 타입을 통함)로부터의 입력은 GUI 내에서 전이(예컨대, 하나의 상위-레벨 스크린에서 다른 스크린으로)를 야기할 수 있다. 예를 들어, 입력은 GUI를 홈 스크린 9608(예컨대, 클럭)에서 애플리케이션(예컨대, 3 또는 4)으로 또는 애플리케이션에서 다른 애플리케이션으로 전이시킬 수 있다. 사용자가 외곽링을 우측으로 회전시키면, 예컨대, GUI는 홈 스크린 9608에서 애플리케이션4 9610로 전이할 수 있고, 사용자가 외곽링을 좌측으로 회전시키면 GUI는 홈 스크린 9608에서 애플리케이션3 9606으로 전이할 수 있다. 또 다른 실시예에서, 컨텍스트(예컨대, 디바이스 상의 센서 또는 다른 입력 소스에 의해 결정됨)는 GUI를 홈 스크린에서 애플리케이션으로 또는 애플리케이션에서 다른 애플리케이션으로 전이시킬 수 있다.
일 실시예에 있어서, 모델은 홈 스크린에 대하여 우측과 좌측을 구분하는 조작성(operability)을 포함할 수 있다. 일례로서, 하나 이상의 상위-레벨 스크린은 GUI의 상호작용및전이 모델의 계층 내 모드 또는 애플리케이션(또는 다른 특징)과 연관될 수 있고, 이들 모드 또는 애플리케이션은 고정되거나(예컨대, 사용자가 항상 사용가능함) 또는 컨텍스트적(contextual)이거나 동적(예컨대, 컨텍스트에 따라 사용 가능함)이다. 컨텍스트 스크린은 예컨대, 사용자가 가장 최근에 사용한 모드, 애플리케이션, 또는 기능, 사용자가 가장 최근에 추가(예컨대, 다운로드)한 모드, 애플리케이션 또는 기능, 임시 등록(ad-hoc registered) 디바이스(예컨대, 사용되는 바에 따라서, 디바이스의 통신 범위로 들어오거나 나갈 수 있음), 사용자가 "선호"하는 모드, 애플리케이션 또는 기능(예컨대, 사용자가 명시적으로 지정함), 사용자를 위해 추천된 모드, 애플리케이션 또는 기능(예컨대, 사용자의 이전 활동이나 현재 컨텍스트에 기초함)을 반영할 수 있다. 도96b는 GUI 내 계층의 예시적 레이아웃을 도시하며, 이 레이아웃에서, 컨텍스트 또는 동적 애플리케이션 9616-9620 및 고정된 애플리케이션 9624-9628은 개별적으로 그룹화되고, 좌측(홈 클럭 스크린 9622에 대하여)은 컨텍스트 애플리케이션을 포함하고, 우측은 고정된 애플리케이션을 포함한다. 일례로서, 동적 애플리케이션01 9620은 가장 최근에 사용된 애플리케이션일 수 있고, 동적 애플리케이션02 9618은 두 번째로 최근에 사용된 애플리케이션일 수 있고, 이후 동일하게 계속될 수 있다.
특정 실시예에서, GUI의 상호작용및전이 모델 내 계층의 상위 레벨은 "페이스(face)"만을 포함할 수 있고, 그 계층의 다음 레벨이 애플리케이션(또는 그 밖의 특징)을 포함할 수 있다. 일례로서, 그 계층의 상위 레벨은 홈 스크린(예컨대, 클럭) 및 하나 이상의 페이스를 포함할 수 있고, 각 페이스는 월페이퍼(예컨대, 사용자가 커스터마이즈할 수 있음), 날씨 정보, 달력, 또는 일상 생활 정보와 같은 서로 다른 타입의 배경, 모드 또는 활동에 상응한다. 각 페이스는 디스플레이된 다른 정보에 더하여 시간을 나타낼 수 있다. 추가로, 현재 디스플레이되는 페이스는 사용자에 의해 선택되거나(예컨대, 임의의 적절한 입력 메커니즘 또는 타입을 통함) 또는 컨텍스트(예컨대, 사용자의 활동)에 기초하여 자동적으로 변경될 수 있다. 홈 스크린의 좌측 페이스는 컨텍스트적(contextual)일 수 있고, 홈 스크린의 우측 페이스는 고정될 수 있다. 도97은 GUI 내 계층의 예시적 레이아웃을 도시하며, 이 레이아웃에서, 계층의 상위 레벨은 페이스 9710-9770(클럭 페이스 9740을 포함함)을 포함하고, 그 계층의 다음 레벨은 애플리케이션 9715-9775을 포함한다.
특정 실시예에서, 디바이스의 사용자로부터의 입력 또는 다른 입력 소스(예컨대, 외곽링, 터치-센서티브 인터페이스, 제스처, 음성 또는 센서를 포함하는 임의의 다양한 입력 메커니즘 또는 타입을 통함)로부터의 입력, 또는 디바이스의 사용 컨텍스트는 GUI 내에서 그 GUI의 상호작용및전이 모델의 계층 내 일 레벨에 있는 스크린을 그 계층 내 다른 레벨의 스크린으로 전이시킬 수 있다. 예를 들어, 사용자에 의한 선택 이벤트 또는 입력(예컨대, 디스플레이의 터치 또는 탭, 음성 입력, 응시하기(eye gazing), 외곽링의 클릭킹 또는 누름, 외곽링의 쥠, 임의의 적절한 제스처, 센서가 검출한 내부 근육 모션, 또는 그 밖의 입력)은 GUI 내에서 상위-레벨 스크린으로부터 계층 내에서 일 레벨 깊이 중첩(nested)된 스크린으로 전이를 야기할 수 있다. 예컨대, 현재 스크린이 애플리케이션과 연관된 상위-레벨 스크린이면, 선택 이벤트(예컨대, 링을 누름)는 그 애플리케이션을 선택하고 GUI로 하여금 한 층 더 깊이 중첩된 스크린으로 전이하도록 할 수 있다. 이 두 번째 스크린은 예컨대, 선택된 애플리케이션의 특징과 상호작용을 허용하고, 특정 실시예에서, 선택된 애플리케이션의 주 기능에 상응할 수 있다. 많은 스크린이 이 두 번째, 중첩 층에 있을 수 있고, 이들 스크린 각각은 선택된 애플리케이션의 서로 다른 기능 또는 특징에 상응할 수 있다. 유사하게, 사용자에 의한 "되돌아가기(back)" 선택 입력 또는 이벤트(예컨대, 외곽링을 두 번 누름, 또는 디스플레이의 특정 부분에서 터치 제스처)는 GUI 내에서 일 스크린(예컨대, 특정 애플리케이션의 특징)으로부터, 계층 내 한 레벨 높은 다른 스크린(예컨대, 상위-레벨 애플리케이션 스크린)으로 전이를 야기할 수 있다.
도98a는 디바이스의 특정 애플리케이션의 기능 또는 모드 9805, 및 기능의 사용 또는 애플리케이션 9810에 대한 상호작용및전이 모델의 예시적 동작을 도시한다. 일례로서, 애플리케이션이 카메라이면, 그 카메라 애플리케이션의 기능, 모드 또는 다른 엘리먼트는 픽쳐 모드, 비디오 모드(예컨대, 리이브 뷰(live view)에 의함), 및 플래시를 온/오프하는 것을 포함할 수 있다. 다양한 기능, 모드, 또는 다른 엘리먼트는 모델 계층의 단일 층 내에서의 전이를 통해 액세스될 수 있다. 이들 층내(intra-layer) 전이는, 디바이스의 사용자와 같은 입력 소스로부터 특정 타입의 전이 이벤트 또는 입력(예컨대, 외곽링의 시계방향 또는 반시계방향 회전)을 수신 또는 결정하거나, 또는 그 디바이스 사용의 특정 컨텍스트를 결정하면, 일어날 수 있다. 특정 실시예에서, 전이 이벤트 입력은 예컨대, 디스플레이의 터치 또는 탭, 음성 입력, 응시하기, 외곽링의 클릭킹 또는 누름, 외곽링의 쥠, 임의의 적절한 제스처, 센서가 검출한 내부 근육 모션, 또는 그 밖의 센서 입력을 포함할 수 있다. 애플리케이션의 기능, 모드 또는 다른 엘리먼트를 선택 및 사용하기 위하여, 사용자는 특정 타입의 선택 이벤트 또는 입력(예컨대, 디스플레이의 터치 또는 탭, 외곽링의 클릭킹 또는 누름, 특정 제스처 또는 센서 입력)을 제공하여, GUI 내에서 계층의 보다 깊은 층으로의 층간(inter-layer) 전이를 야기할 수 있다. 일례로서, 비디오를 찍기 위하여, 사용자는 카메라 애플리케이션의 비디오 모드 특징과 연관된 스크린을 탭할 수 있다. 계층의 보다 깊은 층에 비디오 찍기가 있으면, 가능한 경우(예컨대, 비디오 모드에 연견된 옵션들이 있음) 사용자는 GUI를 그 층내 서로 다른 옵션들 사이에서 전이시킬 수 있다. 특정 실시예에서, 사용자는 보다 깊은 층의 옵션들 중 하나를 선택하여, GUI를 더욱 깊은 층으로 전이시킬 수 있다. 예를 들어, 비디오 모드에서 비디오를 기록할 때, 사용자는 디스플레이를 다시 탭하여 GUI를 보다 깊은 층(이 층은 비디오 기록을 중지시키는 옵션을 포함할 수 있음)으로 전이시킬 수 있다. 추가적으로, 사용자는 특정 타입의 선택 이벤트 또는 입력(예컨대, 여기에 설명된 "되돌아가기"입력)을 제공하여, 계층의 상위 층으로 복귀할 수 있다. 일례로서, 비디오 모드에서 비디오를 기록할 때, 사용자는 디스플레이의 특정 "되돌아가기" 부분을 터치하여, 비디오 기록을 취소하고, GUI를 카메라 애플리케이션의 비디오 모드 특징과 연관된 스크린(예컨대, 계층의 특징 층 내에 있음)으로 전이시킬 수 있다. GUI의 상호작용및전이 모델 계층은 임의 개수의 층을 가질 수 있고, 또한 한 층 내에 임의 개수의 엘리먼트(예컨대, 기능 또는 콘텐츠)를 가질 수 있다. 도98b는 디바이스의 콘텐츠 9815에 대한 상호작용및전이 모델의 동작예를 도시한다. 이 예시적 모델에서, 콘텐츠는 사용자가 콘텐츠 9815(예컨대, 사진)을 선택하고 GUI가 계층 내 보다 깊은 층으로 전이하면, 콘텐츠와 관련된 옵션들의 메뉴 중 첫 번째 옵션(예컨대, 사진을 삭제하거나 공유하는 것과 같은 옵션) 9820이 표시되는 것을 제외하고, 애플리케이션과 유사하게 행동할 수 있다. 도98c는 디바이스의 컨트롤 9825에 대한 상호작용및전이 모델의 동작예를 도시한다. 컨트롤 엘리먼트는, 가능한 값의 범위에 걸쳐 값을 수정할 수 있다는 점에서, 손잡이와 같이 기능할 수 있다. 디바이스에 대한 사용자 입력(예컨대, 외곽링을 우측 또는 좌측으로 회전시킴)은 컨트롤 엘리먼트 9825와 연관된 값 또는 상태 9830를 수정할 수 있다. 컨트롤 엘리먼트가 수정한 값은 본질적으로(in nature) 상당히 연속적일 수 있고(예컨대, 카메라의 줌 레벨, 또는 텔레비전의 볼륨 레벨), 또는 본질적으로 상당히 이산적일 수 있다(예컨대, 텔레비전의 채널). 특정 실시예에서, 컨트롤에 의해 수정된 값이 본질적으로 이산적인 케이스에 있어서, 특정 사용자 입력(예컨대, 외곽링을 누름)에 의해 값이 선택될 수 있다. 도98d는 디바이스의 애플리케이션 9835 및 그 애플리케이션의 메인 기능 9840에 대한 상호작용및전이 모델의 동작예를 도시한다. 일례로서, 디바이스의 각 모드 또는 기능(예컨대, 카메라 또는 증강 현실 기능)은 디바이스 상의 애플리케이션일 수 있다. 단일 층 내에서 전이(예컨대, 외곽링의 회전과 같은 특정 사용자 입력을 수신하면 수행됨)를 통해 사용자는 디바이스의 애플리케이션, 모드, 또는 기능을 변경할 수 있다. 층간 전이(예컨대, 디스플레이 상에서의 탭과 같은 특정 사용자 입력을 수신하면 수행됨)를 통해 사용자는 선택된 애플리케이션, 모드, 또는 기능과 연관된 계층의 보다 깊은 층에 들어갈 수 있다(또는 그 층으로부터 나올 수 있음).
도98e는 디바이스 상에서의 액션(예컨대, 애플리케이션 내에서) 9845에 대한 상호작용및전이 모델의 동작예를 도시한다. 일례로서, 카메라 애플리케이션 내에서, 캡쳐된 이미지가 선택될 수 있고, 그 선택된 이미지에 대하여, 예컨대, 이미지 삭제, FACEBOOK에서 이미지 공유, TWITTER에서 이미지 공유, 또는 이미지를 첨부해 이메일 보내기와 같은 하나 이상의 액션이 사용가능할 수 있다. 이 예에서, "액션" 층 내에서 GUI 전이(예컨대, 외곽링의 회전과 같은 특정 사용자 입력을 수신하면 수행됨)를 통해, 사용자는 실시할 다른 액션들(different actions to take)을 볼 수 있다. 층간 전이(예컨대, 디스플레이 상에서의 탭과 같은 특정 사용자 입력을 수신하면 수행됨)를 통해 사용자는 선택된 액션과 연관된 계층의 보다 깊은 층에 들어갈 수 있다(또는 그 층으로부터 나올 수 있음). 이 실시예에서, 액션 9845을 선택하여 들어간 보다 깊은 층은 이차적인 정보 9850 또는 확인(예컨대, 애플리케이션이 이미지 정보를 선택된 공유 디바이스에 보내고 있다는 확인)을 나타낸다. 확인 9855(예컨대, 이미지가 전송되었다는 확인)이 보다 깊은 층에 또한 보여질 수 있다. GUI는 상위 층(예컨대, 액션 층)으로 자동 전이할 수 있다. 하지만, 확인 정보를 포함하는, 계층의 보다 깊은 층이 존재할 수 있고, GUI는 사용자 입력에 의해 또는 자동적으로 보다 깊은 층에 들어갈 수 있다. 도98f는 아이콘(예컨대, 상위-레벨 온/오프 옵션을 포함하는 활성 아이콘 9860) 및 아이콘 상태의 스위칭 9865에 대한 상호작용및전이 모델의 동작예를 도시한다. 일례로서, 디바이스와 통신적으로 페어링된(communicatively paired) 텔레비전은 예컨대 텔레비전 스크린과 같은 활성 아이콘에 의해 표시될 수 있다. 이 예에서, 디바이스/애플리케이션 상위 층 내에서 GUI 전이(예컨대, 외곽링의 회전과 같은 특정 사용자 입력을 수신하면 수행됨)를 통해서, 사용자는 다른 애플리케이션, 디바이스 또는 그 밖의 특징을 볼 수 있다. 텔레비전은 오프이더라도 디바이스의 GUI 내 메뉴에 나타날 수 있지만, 텔레비전은 반드시 온된 후 사용될 수 있다. 텔레비전이 오프일 때 9860, 사용자가 텔레비전(예컨대, 텔레비전 아이콘이 GUI에 의해 디스플레이될 때 디스플레이를 탭핑함)을 선택하면, GUI는 상호작용및전이 모델 계층의 보다 깊은 층의 상태로 전이할 수 있고, 그 상태에서 텔레비전은 온된다 9865. 텔레비전이 온되면, 그 텔레비전과 연관된 아이콘(예컨대, GUI 내 모델의 상위 층에 디스플레이됨) 9870은 도98g에 도시한 바와 같이, 텔레비전이 온되었음 9875을 직접적으로 나타내기 위하여 변경될 수 있다. 사용자가 텔레비전(현재 온임)을 다시 선택하면, GUI는 계층의 보다 깊은 층으로 전이할 수 있고, 이 층에서 텔레비전의 기능 또는 성능(예컨대, 볼륨 또는 채널 변경)이 노출된다. 특정 실시예에서, 텔레비전을 다시 오프하기 위한 옵션은 계층 내 상기 보다 깊은 층의 최초 메뉴 아이템이 되어서, 오프 기능에 대한 신속한 접근을 가능하게 한다(예컨대, 사용자가 우발적으로 텔레비전을 온으로 한 경우). 특정 실시예에서, 텔레비전이 오프일 때 사용자가 텔레비전을 선택하면, 텔레비전은 온으로 될 수 있고 텔레비전과 연관된 아이콘은, GUI가 계층의 다른 층으로 또는 다른 사용자 인터페이스로 전이하지 않고서, 텔레비전이 온되었음을 직접 나타내기 위하여 변화할 수 있다. 따라서 활성 텔레비전 아이콘은 페어링된 텔레비전의 상태를 계층의 상위 레벨 내에서(예컨대, 메인 메뉴) 직접 나타낼 수 있다.
도99는 이미지 캡쳐 애플리케이션용 GUI의 상호작용및전이 모델의 예를 도시한다. 이 예에서, 이 애플리케이션의 선택(스크린 9900) 후에 도달하는 첫 번째 스크린 9902은 그 애플리케이션의 "라이브 뷰" 기능에 상응할 수 있다. 이미지 캡쳐 애플리케이션의 다른 고정된 특징(비디오 모드 9904, 줌 9906, 또는 플래시 9908를 포함함)은 선택된 애플리케이션의 홈 메인 기능 스크린 9902의 우측에서 사용가능할 수 있다. 선택된 애플리케이션의 동적 또는 컨텍스트적으로 사용가능한 특징(예컨대, 캡쳐된 이미지 9910)은 홈 메인 기능 스크린의 좌측에서 사용가능할 수 있다. 계층의 이 기능 층에서 선택 이벤트는 GUI 내에서, 그 계층 내 보다 깊고 중첩된 다른 층(another nested layer even deeper within the hierarchy)으로 전이를 야기할 수 있다. 예컨대, 사용자가 "줌" 기능을 선택하면, GUI는 스크린 9912으로 전이할 수 있고, 이 스크린에서, 사용자는 카메라의 줌 설정을 임의의 적절한 입력(예컨대, 줌을 증가시키기 위한 외곽링의 우회전 또는 줌을 감소시키기 위한 외곽링의 좌회전)으로 제어할 수 있다. 유사하게, 사용자는 다른 특징들의 상태를 제어하고(예컨대, 플래시 특징을 온 또는 오프하고 9914, 또는 픽쳐 모드에서 비디오 모드로 스위칭 9916), 콘텐츠를 브라우즈하고(예컨대, 9918-9922), 계층의 보다 깊은 층(여기에서, 액션 9924~9930이 취해질 수 있음)으로 들어가고, 또는 계층의 또 다른 더 깊은 층(여기에서, 확인 9932-9938은 액션이 선택될 때 제공됨)으로 들어갈 수 있다.
특정 실시예에서, 상호작용 레이아웃은 디바이스 GUI의 상호작용및전이 모델을 구조화할 수 있다. 상호작용 레이아웃은 임의의 적절한 상호작용 모델에 적용될 수 있고, 예컨대, 디바이스 GUI 내에서 임의의 특정 타입의 모션이나 애니메이션에 종속적일 필요는 없다. 비록 상호작용 레이아웃의 구체적 실시예가 아래에서 설명되지만, 임의의 적절한 상호작용 레이아웃이 상호작용및전이 모델을 구조화하기 위하여 사용될 수 있다.
일례로서, 패닝 선형 상호작용 레이아웃(a panning linear interaction layout)는 디바이스 GUI의 상호작용및전이 모델을 구조화할 수 있다. 패닝-선형-타입 GUI에서, 층 내의 엘리먼트 또는 특징은 현재 디스플레이된 엘리먼트 또는 특징의 좌측 또는 우측에 배열될 수 있다. 외곽링을 시계방향 또는 반시계방향으로 회전시키는 것과 같은 사용자 입력은 모델 계층의 단일 층 내에서 내비게이트한다. 일례로서, 외곽링을 일 회전 증분(one rotational increment) 시계방향으로 회전시키는 것은 엘리먼트 또는 특징을 우측(예컨대, 다음 엘리먼트)에 디스플레이할 수 있고, 외곽링을 일 회전 증분 반시계방향으로 회전시키는 것은 엘리먼트 또는 특징을 좌측(예컨대, 이전 엘리먼트)에 디스플레이할 수 있다. 특정 실시예에서, 시계방향 또는 반시계방향으로의 고속 회전은 GUI로 하여금 가속 브라우징(accelerated browsing)을 수행하게 할 수 있다. 이러한 실시예에서, 단일 회전은 여기에 설명되는 바와 같이, GUI를 단일 엘리먼트 또는 특징이 아니라 다수의 엘리먼트 또는 특징을 통해 전이시킬 수 있다. 다른 사용자 입력은 모델 계층 내 층들(예컨대, 보다 깊은 층들 또는 보다 상위 층들) 사이에서 내비게이트할 수 있다. 일례로서, 사용자가 디스플레이의 터치-센서티브 층을 터치하거나 탭하면, GUI는 모델 계층에서 한 층 더 깊이 전이할 수 있다(예컨대, 사용자 선택을 확인하거나 또는 그 선택에 관련된 옵션을 제공함). 터치 또는 탭 기반 입력을 대체한 또는 이에 더한, 사용자에 의한 임의의 적절한 입력은 GUI를 모델 계층의 층들 사이에서 전이시킬 수 있다.
다른 예로서, 사용자가 디바이스 내 터치-센서티브 층의 특정 영역(예컨대, "되돌아가기" 버튼으로 지정됨)을 누르거나, 사용자가 디스플레이의 터치-센서티브 층을 더블-탭하면, GUI는 모델 계층에서 한 층 더 높이 전이(예컨대, 이전 층으로 전이)할 수 있다. 예컨대, 사용자가 디스플레이 또는 스크린을 오래 누르면, GUI는 홈 스크린(예컨대, 클럭)으로 전이할 수 있다. 또한, GUI는 추가 사용자 입력 없이, 소정 시간 기간 후(예컨대, 타임아웃 기간 후) 홈 스크린으로 전이할 수 있다. 여기에 설명되는 바와 같이, 사용자가 예컨대 외곽링을 시계방향 또는 반시계방향으로 회전시키기 시작함에 따라, GUI는 동일 층 내에서 전이하고, 다음 사용자 인터페이스 엘리먼트 또는 특징(예컨대, 동일 층 내 브레드크럼(breadcrumb) 아이콘)은, 현재 사용자 인터페이스 엘리먼트 또는 특징이 사라지기 시작하면서, 우측 또는 좌측에서 나타나기 시작할 수 있다.
도100a는 패닝 선형 상호작용 레이아웃의 예를 도시한다. 이 예에서, GUI 엘리먼트 10001, 10002, 10003 및 10004는 패닝-선형-타입 GUI의 상호작용및전이 모델 계층의 동일 층에 있다. GUI 엘리먼트 10002A, 10002B, 및 10002C는 계층의 제2 깊은 층에 있고, 엘리먼트 10002의 서브-엘리먼트이다. 일례로서, 제1 층은 본 디바이스와 페어링된 디바이스들을 포함할 수 있고, 엘리먼트 10001는 자동차를 나타낼 수 있고, 엘리먼트 10002는 텔레비전을 나타낼 수 있고, 엘리먼트 10003는 모바일폰을 나타낼 수 있고, 엘리먼트 10004는 가정용 온도조절장치를 나타낼 수 있다. 엘리먼트 10002A는 텔레비전용 볼륨 제어 엘리먼트일 수 있고, 엘리먼트 10002B는 텔레비전용 채널 제어 엘리먼트일 수 있고, 및 엘리먼트 10002C는 텔레비전용 사진 제어 엘리먼트일 수 있다. 또 다른 예로서, 사용자가 외곽링을 클릭(예컨대, 그 링을 하번 누름)하면 GUI는 계층에서 한 층 깊이 전이할 수 있고, 그 다음, 한 층 더 깊은 층의 서브-엘리먼트는 링을 회전시킴으로써 팬(panned)될 수 있다. 대안적으로, 사용자는 한 층 더 깊은 층의 서브-엘리먼트를, 링을 누름과 동시에 그 링을 회전시킴으로써 팬할 수 있다. 디바이스는 사용자 입력이 층들 사이를 내비게이트하는데 사용되는 방식을 선택하기 위한 스위치를 포함할 수 있다.
다른 예로서, 패닝 방사(또는 패닝 원형) 상호작용 레이아웃(a panning radial (or panning circular) interaction layout)은 디바이스 GUI의 상호작용및전이 모델을 구조화할 수 있다. 패닝-방사-타입 GUI에서, 층 내의 엘리먼트 또는 특징은 현재 디스플레이된 엘리먼트 또는 특징의 상측과 하측에 배열될 수 있다. 외곽링을 시계방향 또는 반시계방향으로 회전시키는 것과 같은 사용자 입력은 모델 계층의 층들 사이를 내비게이트한다. 일례로서, 외곽링을 일 회전 증분 시계방향으로 회전시키는 것은 모델 계층에서 한 층 더 깊게 GUI를 전이시킬 수 있고(예컨대, 특정 애플리케이션 층에 들어가거나 또는 그 애플리케이션의 선택을 확인함), 외곽링을 일 회전 증분 반시계방향으로 회전시키는 것은 모델 계층에서 한 층 상위로 GUI를 전이시킬 수 있다(예컨대, 특정 애플리케이션 층에서 이전 층으로 나감). 특정 실시예에서, 시계방향 또는 반시계방향으로의 고속 회전은 GUI로 하여금 가속 브라우징을 수행하게 할 수 있다. 이러한 실시예에서, 단일 회전 증분은 GUI를 계층의 단일층이 아니라 다수의 층을 통해 전이시킬 수 있다. 다른 사용자 입력은 모델 계층의 단일 층 내에서 내비게이트할 수 있다. 일례로서, 사용자가 디스플레이의 터치-센서티브 층을 터치하거나 탭하면, GUI는 다음 엘리먼트 또는 특징으로 전이할 수 있다(예컨대, 현재 디스플레이된 엘리먼트 아래에 있는 엘리먼트로 전이). 다른 예로서, 사용자가 디바이스 내 터치-센서티브 층의 특정 영역(예컨대, "되돌아가기" 버튼으로 지정됨)을 누르거나, 사용자가 디스플레이의 터치-센서티브 층을 더블-탭하면, 이전 엘리먼트 또는 특징으로 전이(예컨대, 현재 디스플레이된 엘리먼트 위에 있는 엘리먼트로 전이)할 수 있다. 예컨대, 사용자가 디스플레이 또는 스크린을 오래 누르면, GUI는 홈 스크린(예컨대, 클럭)으로 전이할 수 있다. 또한, GUI는 추가 사용자 입력 없이, 소정 시간 기간 후(예컨대, 타임아웃 기간 후) 홈 스크린으로 전이할 수 있다. 여기에 설명되는 바와 같이, 사용자가 예컨대 외곽링을 시계방향 또는 반시계방향으로 회전시키기 시작함에 따라, GUI는 다른 층으로 전이하고, 다음 사용자 인터페이스 엘리먼트 또는 특징(예컨대, 다른 층에 있음)은, 현재 사용자 인터페이스 엘리먼트 또는 특징이 사라지기 시작하면서, 나타나기 시작할 수 있다. 도100b는 패닝 방사 상호작용 레이아웃의 예를 도시한다. 이 예에서, GUI 엘리먼트 10001, 10002, 10003 및 10004는 패닝-방사-타입 GUI의 상호작용및전이 모델 계층의 동일 층에 있다. GUI 엘리먼트 10002A, 10002B, 및 10002C는 계층의 제2 깊은 층에 있고, 엘리먼트 10002의 서브-엘리먼트이다. 이전과 같이, 제1 층은 본 디바이스와 페어링된 디바이스들을 포함할 수 있고, 엘리먼트 10001는 자동차를 나타낼 수 있고, 엘리먼트 10002는 텔레비전을 나타낼 수 있고, 엘리먼트 10003는 모바일폰을 나타낼 수 있고, 엘리먼트 10004는 가정용 온도조절장치를 나타낼 수 있다. 엘리먼트 10002A는 텔레비전용 볼륨 제어 엘리먼트일 수 있고, 엘리먼트 10002B는 텔레비전용 채널 제어 엘리먼트일 수 있고, 및 엘리먼트 10002C는 텔레비전용 사진 제어 엘리먼트일 수 있다.
또 다른 일례로서, 아코디언-타입 상호작용 레이아웃(an accordion-type interaction layout)는 디바이스 GUI의 상호작용및전이 모델을 구조화할 수 있다. 아코디언-타입 GUI에서, 여러 층 내의 엘리먼트 또는 특징은 원형 리스트 구조(circular list structure)로 배열될 수 있다. 예를 들어, 제1 방향에서 마지막 엘리먼트 또는 특징(예컨대, 디바이스의 마지막 고정된 애플리케이션)과 연관된 스크린을 넘어 그 제1 방향으로 리스트 구조 내에서 회전하는 것(예컨대, 외곽링을 회전시킴으로써)은 제2 방향에서 마지막 엘리먼트 또는 특징(예컨대, 디바이스의 최소 최근 사용된(least-recently used) 컨텍스트적 애플리케이션)과 연관된 스크린으로 GUI를 전이시킬 수 있다. 제1 방향으로 회전을 계속하면, GUI는 컨텍스트적 애플리케이션과 연관된 스크린들을 통해 역순(예컨대, 최소-최근 사용에서 최대-최근 사용(most-recently used)으로)으로 전이하게 된다. 유사하게, 최소-최근 사용된 컨텍스트적 애플리케이션의 스크린을 넘어 제2 방향으로 회전하는 것은 마지막 고정 애플리케이션과 연관된 스크린으로 GUI를 전이시킬 수 있고, 제2 방향으로 회전을 계속하면, GUI는 고정 애플리케이션들의 스크린들을 통해 역순(예컨대, 마지막 고정 애플리케이션에서 홈 스크린에 근접한 최초 애플리케이션으로)으로 전이하게 된다. 아코디언-타입 GUI에서, 현재 디스플레이된 엘리먼트 또는 특징은 그의 서브-엘리먼트 또는 서브-특징이 단일-층 리스트 구조의 일부가 되도록 확장(예컨대, 사용자가 선택하면)될 수 있다. 특정 실시예에서, 서브-엘리먼트를 갖는 엘리먼트 또는 특징은 자신이 서브-엘리먼트를 갖고 있음을, 예컨대, 서브-엘리먼트의 가시적 가장자리(visible edge)를 통해서 타나낼 수 있다(디스플레이될 때). 시계방향 또는 반시계방향으로 외곽링의 회전과 같은 사용자 입력은 모델의 단일 층 내에서 내비게이트하고, 이 단일 층은 선택된 엘리먼트 또는 특징의 서브-엘리먼트 또는 서브-특징뿐만 아니라, 엘리먼트들 또는 특징들을 포함할 수 있다. 일례로서, 외곽링을 일 회전 증분 시계방향으로 회전시키는 것은 우측(예컨대, 다음 엘리먼트)에 엘리먼트 또는 특징을 디스플레이할 수 있고, 외곽링을 일 회전 증분 반시계방향으로 회전시키는 것은 좌측(예컨대, 이전 엘리먼트)에 엘리먼트 또는 특징을 디스플레이할 수 있다. 특정 실시예에서, 시계방향 또는 반시계방향으로의 고속 회전은 GUI로 하여금 가속 브라우징을 수행하게 할 수 있다. 이러한 실시예에서, 단일 회전 증분은 GUI를 단일 엘리먼트 또는 특징이 아니라 다수의 엘리먼트 또는 특징을 통해 전이시킬 수 있다. 다른 사용자 입력은 모델 내에서 엘리먼트 또는 특징의 선택과 확장을 야기할 수 있다. 일례로서, 사용자가 디스플레이의 터치-센서티브 층을 터치하거나 탭하면, GUI는 디스플레이된 특징 또는 엘리먼트를 기존 층 내에서 확장할 수 있고, 서브-엘리먼트 또는 서브-특징으로 전이할 수 있다. 또 다른 예로서, 사용자가 디바이스 내 터치-센서티브 층의 특정 영역(예컨대, "되돌아가기" 버튼으로 지정됨)을 누르거나, 사용자가 디스플레이의 터치-센서티브 층을 더블-탭하면, GUI는 확장된 서브-엘리먼트 또는 서브-특징을 축소하고(collapse), 리스트 내 엘리먼트 또는 특징으로 전이할 수 있다. 예컨대, 사용자가 디스플레이 또는 스크린을 오래 누르면, GUI는 홈 스크린(예컨대, 클럭)으로 또한 전이할 수 있다. 또한, GUI는 추가 사용자 입력 없이, 소정 시간 기간 후(예컨대, 타임아웃 기간 후) 홈 스크린으로 전이할 수 있다. 여기에 설명되는 바와 같이, 사용자가 예컨대 외곽링을 시계방향 또는 반시계방향으로 회전시키기 시작함에 따라, GUI는 동일 층 내에서 전이하고, 다음 사용자 인터페이스 엘리먼트 또는 특징(예컨대, 동일 층 내 브레드크럼 아이콘)은, 현재 사용자 인터페이스 엘리먼트 또는 특징이 사라지기 시작하면서, 우측 또는 좌측에서 나타나기 시작할 수 있다. 도100c는 아코디언-타입 상호작용 레이아웃의 예를 도시한다. 이 예에서, GUI 엘리먼트 10001, 10002, 10003 및 10004는 아코디언-타입 GUI의 상호작용및전이 모델의 동일 층에 있다. 엘리먼트 10002가 사용자에 의해 선택되었으므로, GUI 서브-엘리먼트 10002A, 10002B, 및 10002C는 확장되고, 모델의 동일 층의 리스트 구조에 또한 포함된다. 따라서 GUI는 서브-엘리먼트 10002C에서 서브-엘리먼트 10002B로 전이하거나 또는 엘리먼트 10003으로 직접 전이할 수 있다. 하지만 사용자가 서브-엘리먼트를 접기 원하면(예컨대, 엘리먼트 10002와 연관된 스크린을 다시 탭하는 것과 같은 "되돌아가기" 입력을 통함), 리스트 구조는 GUI 엘리먼트 10001, 10002, 10003, 및 10004 만을 다시 포함할 수 있다.
특정 실시예에서, GUI는 디바이스가 수신한 사용자 입력에 기초하여 홈 스크린으로 내비게이트할 수 있다. 사용자 입력은 터치-센서티브 층을 누르고 있기(pressing and holding; 예컨대, 오래 누름), 디스플레이를 누르고 있기, 외곽링을 누르고(예컨대, 클릭킹) 있기, 외곽링을 쥐고 있기(squeezing and holding), 디바이스의 면(예컨대, 디스플레이)을 커버링하기, 디바이스의 특정 센서를 커버링하기, 디바이스의 면을 하방향으로 돌리기, 소프트웨어 버튼(여기에 설명됨)을 누르기, 디바이스의 하드웨어 버튼을 누르기, 디바이스를 흔들기(또는 그 밖의 적절한 제스처)를 포함할 수 있다. 이들 입력 또는 이들 입력의 임의 변형(예컨대, 보다 짧은 지속기간을 포함함) 중 어느 것도 상호작용및전이 모델 내에서 "되돌아가기" 위한 사용자 입력으로서 사용될 수 있다. 도101a~101b는 GUI 내 "되돌아가기" 소프트웨어 버튼 레이아웃의 예를 도시한다. 도101a에서, 디스플레이의 바닥부 10110에서 사용자 터치 입력을 수신하면, GUI는 선택을 확인하거나 또는 모델 계층에서 한 층 더 깊이 전이할 수 있다. 디스플레이의 상부 10120에서 사용자 터치 입력을 수신하면, GUI는 모델 계층에서 되돌아 또는 한 층 상위로 전이할 수 있다. 도101b는 "되돌아가기" 영역 10130을 갖는 유사한 레이아웃을 도시하며, 이 영역 10130은 "되돌아가기" 내비게이션이 전이할 곳을 사용자에게 나타내는 브레드크럼 아이콘(10135)을 포함한다. 특정 실시예(터치-센서티브 층이 터치의 정확한 x-y 좌표를 판단하도록 동작할 수 있을 때)에서, 디스플레이의 임의 영역은 "되돌아가기" 영역, "확인/선택" 영역, 또는 그 밖의 적절한 기능 영역으로 지정될 수 있다.
특정 실시예에서, 디바이스의 GUI는 특정 타입의 콘텐츠(예컨대, 리스트를 포함함)을 디스플레이할 수 있다. 도102a는 아이템의 수직 리스트를 디스플레이하는 GUI의 예를 도시한다. 사용자로부터의 입력(예컨대, 임의의 적절한 입력 메커니즘 또는 타입)은 GUI의 선택 프레임 10210을 수직 리스트의 엘리먼트들 사이에서 이동시킬 수 있다. 일례로서, 사용자가 시계방향으로 회전시키면, 선택 프레임 10210은 수직 리스트의 위로부터 수직 리스트의 바닥을 향해 이동할 수 있다. 외곽링의 각 회전 증분(예컨대, 외곽링이 이산 증분(discrete increment)으로 이동하는 경우)은 선택 프레임 10210을 리스트의 아이템들 사이에서 하방향으로 이동시킨다. 다른 실시예에서, 선택 프레임은 고정되어 있을 수 있고(예컨대, 디스플레이의 중앙에 고정됨), 리스트의 아이템이 링의 회전 방향에 따라서 상방향 또는 하방향으로 이동(한 번에 한 아이템씩)할 수 있다. 도102b는 아이템의 수평 리스트를 디스플레이하는 GUI의 예를 도시한다. 사용자로부터의 입력(예컨대, 임의의 적절한 입력 메커니즘 또는 타입)은 GUI의 선택 프레임 10210을 수평 리스트의 엘리먼트들 사이에서 이동시킬 수 있다. 일례로서, 사용자가 시계방향으로 회전시키면, 선택 프레임 10210은 수평 리스트의 좌측으로부터 수평 리스트의 우측을 향해 이동할 수 있다. 외곽링의 각 회전 증분(예컨대, 외곽링이 이산 증분으로 이동하는 경우)은 선택 프레임 10210을 리스트 내에서 한 아이템 이동시킨다. 도102b의 일례에서, 사용자가 링을 시계방향으로 회전시킬 때, 선택 프레임 10210은 디스플레이의 중앙에 고정되고 리스트의 아이템이 시계 방향 회전에 응답하여 좌측을 향해 이동(한 번에 한 아이템씩)할 수 있다. 다른 실시예에서, 디스플레이된 리스트의 아이템은 고정되고, 선택 프레임 10210은 리스트의 아이템들 사이에서 외곽링의 회전 방향에 따라서 좌측 또는 우측으로 이동할 수 있다.
특정 실시예에서, 디바이스의 GUI는 수직 또는 수평으로 연속(또는 실질적으로 연속)한 콘텐츠(예컨대, 차트나 텍스트)를 디스플레이할 수 있다. 특정 실시예에서, 사용자로부터의 입력(예컨대, 임의의 적절한 입력 메커니즘 또는 타입)은 GUI의 선택 지시자(selection indicator)을 연속한 콘텐츠 사이에서 이동시킬 수 있다. 다른 실시예에서, 사용자로부터의 입력은 수평방향, 수직방향 또는 그 사용자 입력에 맵핑된 그 밖의 방향에서 콘텐츠를 디스플레이 내로 이동시키거나 디스플레이 밖으로 이동시킬 수 있다(및 선택 지시자는, 존재 하는 경우, 일정 위치에 남아 있을 수 있다). 도102c의 예에서, 온도 차트가 디스플레이된다. 사용자가 외곽링을 시계방향으로 회전시킴에 따라, 선택 지시자 10220는 디스플레이의 중앙에 고정되고, 콘텐츠는 우측으로부터 디스플레이에 들어오고 좌측을 향해 디스플레이 밖으로 나간다. 102d의 예에서, 큰 텍스트의 일부 10230가 디스플레이된다. 사용자가 외곽링을 시계방향으로 회전시킴에 따라, 추가 텍스트가 바닥으로부터 디스플레이에 들어오고 위를 향해 디스플레이 밖으로 나간다. 도103a~103d는 디바이스의 GUI에 디스플레이된 예시적 달력 애플리케이션을 도시한다. 도103a에서, 사용자는 GUI가 옵션 "Go Up", "Weekly(주간)"(기본 설정임), "Monthly(월간)", 및 "Daily(일간)"과 함께 원형 메뉴 10310을 디스플레이하도록, 외곽링을 클릭 또는 누를 수 있다(화살표 10305로 표시됨). 도103c에서, 사용자는 외곽링을 다시 클릭 또는 눌러서(화살표 10305로 표시됨), "Weekly" 선택을 확인하고, GUI가 사용자 달력의 Weekly View(주간 뷰) 10320를 디스플레이하도록 할 수 있다.
특정 실시예에서, GUI는 디스플레이보다 큰 사이즈의 콘텐츠를 디스플레이할 수 있다. 이러한 실시예에서, GUI는 모든 콘텐츠가 디스플레이 내에서 한 번에 디스플레이될 수 있도록, 콘텐츠를 스케일 또는 크롭(scale or crop)할 수 있다(또는, 그 밖에 축소하거나 또는 맞춤함(fit)). 다른 실시예에서, GUI는 콘텐츠 사이즈를 변경하지 않고, 대신 예컨대, 스크롤링(여기에 설명됨)을 사용해 한 번에 일부분씩 사용자가 콘텐츠 사이에서 팬(pan)할 수 있는 능력(ability)을 제공할 수 있다.
특정 실시예에서, 디바이스는 원형 디스플레이를 포함하고, GUI는 원형 내비게이션 및 메뉴 레이아웃을 포함할 수 있다. 하지만, 본 명세서는 임의 형상의 디스플레이, 및 GUI에 대한 임의의 적절한 내비게이션 또는 메뉴 레이아웃을 고려한다. 메뉴 레이아웃은 예컨대, 사용자에게 GUI의 상호작용및전이 모델 계층 내에서 사용자가 위치한 곳에 대한 시각적 지시(indication)를 제공할 수 있다. 메뉴 레이아웃은 메뉴 옵션의 전체 뷰(overall view) 뿐만 아니라 시각적 지시자를 또한 제공할 수 있고, 이 지시자를 통해 사용자는 서로 다른 타입의 메뉴 아이템들을 구분할 수 있다. 추가적으로, 메뉴는 디바이스의 임의 적절한 배경 또는 콘텐츠 위에 디스플레이될 수 있다.
도104는 예시적 원형 메뉴 레이아웃을 도시하고, 이 레이아웃에서, 각 세그먼트 10410은 메뉴 내 하나의 아이템 또는 옵션을 나타내고, 10420과 같은 시각적 간극은 아이템을 다른 아이템과 분리한다. 디폴트 또는 현재 선택된 아이템 10430은 시각 디스플레이의 상부에 있고(하지만 디스플레이의 어느 곳에나 있을 수 있음), 사용자가 사용 도중 디바이스 디스플레이를 서로 다른 방식으로 지향시키더라도 디스플레이 상부에 계속 남아 있을 수 있다. 도105a-105b는 원형 메뉴에서 아이템을 브라우즈하는 예를 도시한다. 사용자는 외곽링의 시계방향 회전과 같은 입력을 제공할 수 있고, 이 사용자 입력에 응답하여 메뉴 내 다음 아이템 10520(예컨대, 현재 선택된 아이템 10510의 우측에 있음)이 선택을 위해 강조(highlighted)될 수 있다. 디스플레이 중앙의 콘텐츠 10530는 사용자의 회전 입력을 반영하기 위하여 자동으로 변화할 수 있고, 또는 특정 실시예에서, 사용자가 다른 입력(예컨대, 소망의 메뉴 아이템이 강조된 후 외곽링을 누르거나 클릭킹 함)을 제공한 후에만 변화할 수 있다. 도105c-105d는 외곽링을 회전시켜 원형 메뉴를 브라우즈하는 예를 도시하며, 메뉴의 다음 아이템 10550(예컨대, 시계방향, 또는 현재 선택된 아이템 10540의 우측임)이 선택을 위해 강조된다. 이 예에서, 사용자의 입력은 또한 중앙 포인터(pointer) 10560을 회전시켜서, 현재-선택된 메뉴 아이템에 상응하는 강조된 메뉴 세그먼트를 가리킨다. 이 예에서, 디스플레이의 중앙에 있는 콘텐츠는 사용자의 회전을 반영하기 위하여 자동적으로 변화한다.
도106a~106c는 각각 디바이스의 GUI용 원형 메뉴 레이아웃의 서로 다른 정렬 및 배치를 도시한다. 원형 메뉴는 디스플레이의 가장자리에 직접 디스플레이될 수 있거나(도106a에 표시된 바와 같음), 또는 디스플레이의 더욱 내부에 표시되거나 또는 디바이스의 배경 위에 오버레이로서 표시될 수 있다(도 106b~106c로 표시된 바와 같음). 도107a-107c는 디바이스의 GUI용 원형 메뉴 레이아웃의 다른 형태 및 정렬을 도시한다. 예로서, 메뉴는 원형으로 배열된 라인 세그먼트(각종 가능한 사이즈임) 10710, 반원으로 배열된 라인 세그먼트 10720, 또는, 원이나 반원으로 배열된 도트 10730 또는 10740로 이루어질 수 있다. 특정 실시예에서, 현재 선택된 또는 디폴트 메뉴 아이템의 시각 지시자 10732는 디스플레이 중앙 상부에 머무를 수 있고, 메뉴 내 아이템의 시각 지시자 10734는 사용자 입력에 기초하여 좌측 또는 우측으로 이동할 수 있다(도107c). 다른 실시예에서, 현재 선택된 또는 디폴트 아이템의 시각 지시자 10732는 메뉴 내 아이템들의 지시자들(위치가 고정됨) 사이에서 이동할 수 있다(도107b). 특정 실시예에서, 세그먼트 또는 도트 대신에, 메뉴 내 아이템의 시각 지시자가 메뉴 아이템과 연관된 아이콘(예컨대, 브레드크럼 아이콘)일 수 있다. 도108은 원형일 필요가 없고 임의의 적절한 레이아웃일 수 있는 메뉴 레이아웃을 도시한다. 이 메뉴 레이아웃은 메뉴 아이템의 지시자 10810가 디스플레이 전반에 산재된 레이아웃을 포함한다. 사용자 입력(예컨대, 외곽링의 회전)에 의해, 서로 다른 아이템들이 메뉴 레이아웃 내 그들의 위치에 따라서 선택될 수 있다. 일례로서, 사용자가 시계방향으로 회전시키면, 시계방향으로 다음 메뉴 아이템 10820이 선택될 수 있다.
도109a~109c는 현재 선택된 또는 디스플레이된 메뉴 아이템 10915의 좌측 및 우측(예컨대, 상호작용및전이 모델 계층 내에서)에 있는 메뉴 아이템에 대한 서로 다른 메뉴 레이아웃들을 도시한다. 도109a에서, 모든 메뉴 아이템 10910은 디스플레이 주변 원형 메뉴에 균등하게 분포된다. 도109b에서, 메뉴는 현재-디스플레이된 또는 선택된 메뉴 아이템 10915의 우측에 있는 아이템과 좌측에 있는 아이템의 구분을 가리키는 간극을 포함한다(예컨대, 여기에 설명된 상호작용및전이 모델에 따름). 도109c는 현재-선택된 또는 디스플레이된 메뉴 아이템 10915의 우측보다 좌측에 아이템 10910이 많은 예를 도시하고, 따라서 원형 메뉴의 좌측 세그먼트는 선택될 수 있는 다수의 아이템을 수용하기 위하여 사이즈가 조정된다. 메뉴 아이템의 수가 매우 큰 경우(예컨대, 40개의 캡쳐된 이미지와 같이 특정 임계를 넘은 경우)에, 원형 메뉴의 세그먼트들은 사라질 수 있고, 사용자에게 제시된 시각 지시자는 스크롤바 11020일 수 있다. 이 스크롤바 11020를 통해 사용자는 여러 메뉴 아이템 사이를 원형으로 스크롤할 수 있다(도110a에 도시된 바와 같음). 다른 실시예에서, 유사한 스크롤바-타입 시각 지시자 11020을 통해, 디바이스의 사용자는 값의 고정 범위 11030에서 절대(absolute) 또는 고정 값(예컨대, 카메라 줌 레벨)을 조작할 수 있다(도110b에 도시된 바와 같음). 또 다른 실시예에서, 스크롤바-타입 시각 지시자의 길이는 사용자에게 특정 값의 레벨을 나타낼 수 있다. 예를 들어, 사용자가 디바이스의 외곽링을 사용하여 텔레비전의 볼륨을 제어하는 경우, 사용자가 볼륨 레벨을 증가시키기 위하여 링을 돌림(예컨대, 시계방향으로)에 따라, 시각 지시자 11120는 도111a-111c에 도시한 바와 같이, 디스플레이를 둘러싸거나 또는 거의 둘러쌀 때까지 더욱 길어진다.
특정 실시예에서, GUI는 참조또는배경 콘텐츠의 아이템(item of reference or background content)을, 그 참조또는배경 콘텐츠에 대하여 수행될 수 있는 가용한 액션 또는 기능의 지시(indication)와 함께 디스플레이할 수 있다. 도112는 참조 콘텐츠 및 컨텍스트적 오버레이 액션 또는 기능의 GUI 내 예시적 레이아웃을 도시한다. 다른 타입의 레이아웃(예컨대, 도시된 레이아웃들을 포함함)은 예컨대, 참조또는배경 콘텐츠를 가리는 것을 최소화하기 위하여, 제시된 참조또는배경 콘텐츠의 다른 타입에 기초하여 선택될 수 있다. 예를 들어, 참조또는배경 콘텐츠가 사람의 사진이면, 사진의 중앙을 가리지 않는 오버레이가 선택될 수 있다. 특정 실시예에서, 참조또는배경 콘텐츠(예컨대, 오버레이 뒤) 내 픽셀의 지각 휘도(perceptual brightness)는 픽셀 단위(pixel-by-pixel basis)로 결정될 수 있다. 컨텍스트적 오버레이와 참조또는배경 콘텐츠(예컨대, 이미지) 사이의 콘트라스트(contrast)가 매우 낮은(예컨대, 소정 임계에 근거함) 경우, 언더라잉 컬러(underlying color)를 반대 방향으로 억누르는 흐릿한 그림자 효과(blurred drop shadow)가 사용될 수 있다. 예시적 알고리즘은 오버레이 아래의 픽셀을 결정하고, 그들의 채도(saturation)을 감소시키고, 시각 휘도를 반전(예컨대, 컬러는 동일하게 유지되지만 휘도는 컨트라스트를 생성하기 위하여 선택됨)시키는 것을 포함할 수 있고, 언더라잉 참조또는배경 콘텐츠와 오버레이 사이에 합성물(composite)을 흐릿하게 만들 수 있다. 도113a~113c는 참조또는배경 콘텐츠(여기서, 디바이스의 카메라가 캡쳐한 이미지)로 구성된 컨텍스트적 오버레이의 예 11310-11350를 도시한다. 도시된 바와 같이, 컨텍스트적 오버레이는 사용자가 액션 또는 기능(예컨대, 이미지 삭제 11130 또는 이미지 공유 11325, 커피숍 찾기 11330, 식당 찾기 11340, 또는 장소를 "좋아하는" 장소로 만들기 11350)을 수행할 수 있도록 하고, 사용자에게 확인을 제공하고(예컨대, 이미지가 공유되었다는 확인 11320), 또는 사용자에게 그 밖의 타입의 정보를 제공할 수 있다. 특정 실시예에서, 컨텍스트적 오버레이는 GUI의 메뉴 오버레이 내에서, 상호작용및전이 모델 계층의 상위 레벨을 제외하고, 어느 곳에서나 사용될 수 있다.
특정 실시예에서, 디바이스의 GUI에 디스플레이된 아이콘은 디바이스의 에너지 또는 배터리 사용을 최적화할 수 있다. 일례로서, 아이콘은 그 자체가 얇은 흰색 필획(thine white stroke)으로 구성되고, 주로 검정 배경을 포함할 수 있다. 이에 따라 디스플레이 스크린 상 흰 컬러의 양이 매우 적어질 수 있으므로, GUI가 사용되는 동안 디스플레이의 에너지 소비가 감소될 수 있다. GUI에 디스플레이된 아이콘은 또한 실시간 통지를 포함할 수 있다. 예를 들어, 모바일폰 아이콘은 새로운 음성 메일의 개수를 알리는 통지를 포함할 수 있고, 이메일 아이콘은 새로운 채팅 메시지의 개수를 알리는 통지를 포함할 수 있고, 전화 아이콘은 부재중 호출의 개수를 알리는 통지를 포함할 수 있다. 특정 실시예에서, 디바이스의 GUI는 사용자가 만든 콘텐츠(예컨대, 사진, 파일, 연락처, 통지 또는 스케줄)에 대하여만 흑백이 아닌 컬러를 디스플레이한다. 메뉴 아이템을 포함하는 다른 정보는 흑백으로 디스플레이될 수 있다.
특정 실시예에서, GUI가 한 엘리먼트(예컨대, 특징, 콘텐츠 아이템, 또는 아이콘)에서 다른 엘리먼트로 전이하면(예컨대, 사용자로부터 입력을 수신할 때), GUI는 시각적 전이 효과(visual transition effect)를 디스플레이할 수 있다. 이 전이 효과는 예컨대, 디바이스의 사용자로부터 수신한 입력의 타입에 의존할 수 있다. 일례로서, 디스플레이에 대한 단일 터치는 특정 전이 효과들을 트리거할 수 있지만, 외곽링의 회전은 전이 효과들의 다른(겹칠 수 있음) 집합을 트리거할 수 있다.
특정 실시예에서, 터치-센서티브 층에 대한 사용자의 터치 입력은 전이 효과(중심-지향 확장(center-oriented expansion), 방향성 슬라이딩(directional sliding), 및 스케일링 인 또는 아웃을 포함함)를 트리거할 수 있다. 도114a는 중심-지향 모드 또는 기능 확장 또는 스케일링 업을 도시한다. 도114b는 중심-지향 모드 또는 기능 축소(function collapsing) 또는 스케일링 업을 도시한다. 도115a는 아이콘의 중심-지향 스케일링 업을 도시한다. 도115b는 아이콘의 중심-지향 스케일링 다운을 도시한다. 도116a는 비틀림 모션을 갖춘 중심-지향 아이콘 스케일링 업의 예를 도시한다. 도116b는 비틀림 모션을 갖춘 중심-지향 아이콘 스케일링 다운의 예를 도시한다. 도117a는 아이콘의 중심-지향 전개(unfolding) 및 외측 확장(expansion outward)을 도시한다. 도117b는 아이콘의 중심-지향 접기(folding) 및 내측 축소(collapsing inward)을 도시한다. 도118a는 디스플레이에 수직으로 슬라이딩하는 텍스트의 예를 도시하고, 텍스트는 언마스킹(unmasking)에 의해 드러난다. 도118b는 디스플레이의 좌측에서 우측으로 수평 슬라이딩하는 텍스트의 예를 도시한다. 도118c는 디스플레이의 좌측에서 우측으로 마스크된 영역(예컨대, 컨텍스트적 오버레이) 내에서 수평 슬라이딩하는 텍스트의 예를 도시한다. 도119a는 콘텐츠 또는 아이콘에 대하여 우측에서 좌측으로의 수평적 슬라이드 전이를 도시한다. 도119b는 페이딩 효과(fading effect)와 함께, 우측에서 좌측으로의 수평적 슬라이드 전이를 도시하며, 스크린을 나가는 아이콘 또는 콘텐츠는 일단 스크린의 가장자리에 도달하면, 점진적으로 페이드 아웃되고, 스크린에 들어오는 아이콘 또는 콘텐츠는 스크린 가장자리를 건넘에 따라 점진적으로 페이드 인된다. 도119c는 스케일링 효과와 함께, 우측에서 좌측으로 수평 슬라이드 전이의 예를 도시하며, 스크린을 나가는 아이콘 또는 콘텐츠는 축소되고, 스크린에 들어오는 아이콘 또는 콘텐츠는 풀 사이즈(full size)로 스케일 업된다.
특정 실시예에서, 외곽링의 사용자 회전은 시각적 전이 효과(줌잉, 방향성 슬라이딩, 블러링, 마스킹, 페이지 접기, 회전 움직임, 및 가속된 모션을 포함)를 트리거할 수 있다. 도120a는 외곽링의 저-가속 회전(low-acceleration rotation)에 응답한 전이의 예를 도시한다. 이 예에서, 단일 회전 증분은, 반시계방향의 한 턴(예컨대, 회전 증분)이 다음 엘리먼트(예컨대, 아이콘 또는 콘텐츠 아이템)를 좌측에서 우측을 향해 스크린에 들어오게 하고, 또한 엘리먼트의 스케일링이 일어나지 않도록, 단일 아이템에 상응할 수 있다. 도120b-c는 외곽링의 고-가속 회전(high-acceleration rotation)에 응답한 전이의 예를 도시한다. 이 예에서, 반시계방향 단일 턴(예컨대, 회전 증분)은, 사용자가 외곽링을 돌리는 것을 멈출 때까지, GUI를 다수의 엘리먼트들(사이즈를 스케일 다운하고, 좌측으로 스크린에 들어오고, 우측으로부터 스크린을 나갈 수 있음) 사이에서 신속히 팬(pan)시킬 수 있다. 사용자가 외곽링을 돌리는 것을 멈추면, 엘리먼트는 정상 사이즈로 스케일 업할 수 있고, 단일 아이콘 또는 콘텐츠 아이템이 디스플레이를 메울 수 있다. 도121a는 GUI 내에서 전이의 예를 도시하며, 여기서 콘텐츠는 외곽링의 회전에 응답하여 줌인된다. 도121b는 GUI 내에서 전이의 예를 도시하며, 여기서 스크린1은 애니메이션으로 "접히고(fold over)", 스크린2(예컨대, 다음 특징 또는 콘텐츠 아이템용)가 사용자에게 디스플레이된다.
특정 실시예에서, 디바이스의 GUI는 사용자 모션을 고려하고 또한 사용자의 움직임을 반영한 시각적 피드백을 생성하는 물리 모델을 포함할 수 있다. 일례로서, 사용자에 의한 활성화 입력(activation input; 예컨대, 특정 제스처의 형태로)이 있다면, 사용자의 모션은 디바이스의 하나 이상 센서로부터의 입력을 통해 연속적으로 추적될 수 있다. 시각적 피드백은 언더라잉 콘텐츠가 정지상태로 머무르는 동안, 사용자의 모션을 사용자 인터페이스에 반영할 수 있고, 따라서 제스처가 등록될 수 있고, 시차(parallax)가 UI 특징 또는 컨트롤과 언더라인 콘텐츠 사이를 구분하는데 사용될 수 있다. 특정 실시예에서, 물리 모델은 댐핑(damping)을 구비한 일반화된 스프링 모델을 포함할 수 있다. 이러한 모델에서, 아이템은 층에 배치될 수 있다. 보다 깊은 층은 물리 모델에서 "보다 큰 강성(stiffer)"의 스프링을 가질 수 있고, 스프링은 아이템을 장소에 유지한다(holding items in place). 따라서 디바이스가 움직일 때, 사용자 인터페이스의 바닥 층은 약간 움직이지만 상부 층은 더욱 움직여서, 시차감(sense of parallax)을 만든다. 추가적으로, 스프링 모델은 댐핑을 포함할 수 있고, 이 댐핑은 모션이 지체되도록 하여, 더욱 유동적이고 부드러운 모션을 만든다. 도122는 GUI에서 물리 모델을 사용하는 예를 도시한다. 사용자는 디바이스 100를 팔에 착용한다. 사용자가 팔을 하방향으로 움직이면, 스크린에 디스플레이된 아이콘(예컨대, 전구) 12210은 사용자의 움직임을 반영한 방식으로 움직인다. 하지만 스크린 상의 언더라잉 콘텐츠(예컨대, 배경 이미지)는 움직이지 않는다. 이러한 타입의 플로팅 아이콘 또는 메뉴 아이템은 예컨대, 디스플레이의 사이즈가 비주얼 크라우딩(visual crowding)때문에 많은 아이콘 또는 메뉴 아이템이 동시에 디스플레이되는 것을 허용하지 않을 때, 유용할 수 있다. 추가적으로, 이러한 타입의 플로팅 거동(behavior)은 이벤트를 사용자에게 제시하기 위한 통지 수단과 함께 또한 사용될 수 있다.
특정 실시예에서, 디바이스의 GUI는 디폴트 스크린 또는 디바이스용 월페이퍼로서 면(face)을 포함할 수 있고, 이들 면은 상호작용및전이 모델 계층의 일부일 수 있다(예컨대, 계층의 상위 층에 또는 홈 스크린으로서). 여기에 설명되는 바와 같이, 이들 면은 사용자의 활동(activity)에 대하여 자동적이며 컨텍스트적으로 응답할 수 있는 변화 가능한(changeable) 애플리케이션 또는 모드일 수 있다. 일례로서, 면은 사용자의 환경, 필요, 기호, 장소, 활동, 센서 데이터, 제스처 또는 스케줄에 따라서 변화할 수 있다. 면의 가용성(또는 한 면에서 다른 면으로 GUI 내 전이)은 컨텍스트적 정보에 기초하여 결정될 수 있다. 일례로서, 사용자가 달력에 스케줄된 다가오는 이벤트를 가지면, 디바이스의 면은 다가오는 이벤트 정보를 사용자에게 디스플레이하는 달력 면으로 변화할 수 있다. 다른 예로서, 사용자가 집 부근에 있다고 판단되면(예컨대, GPS 데이터에 기초함), 디바이스의 면은 홈-오토메이션 애플리케이션과 연관된 면으로 변화할 수 있다. 또 다른 예로서, 사용자가 활발히 움직이고 있다고 판단되면(예컨대, 심박수 또는 자극(arousal) 센서와 같은 다양한 생체 센서에 기초하거나, 또는 가속도계에 기초함), 디바이스의 면은 신체 단련(fitness) 모드로 변화하고, 사용자의 측정된 맥박, 칼로리 소모량, 활동(예컨대, 달리기)을 시작한 후 경과된 시간, 및 현재 시간을 타나낼 수 있다. 임의의 적절한 센서 데이터(예컨대, 생체 센서를 포함하는 센서, 초점 센서, 또는 운전 중 사용자의 손 위치를 결정할 수 있는 센서)는 사용자에게 디스플레이할 적절한 면 및 컨텍스트를 판단하는데 사용될 수 있다. 사용자의 디바이스 사용 이력(예컨대, 피트니스 수업과 같이, 사용자가 신체 단련 애플리케이션을 사용한 하루 중 특정 시간)은 디바이스에 디스플레이될 면을 또한 결정할 수 있다. 일례로서, 디바이스는 사용자가 운동하는 경향이 있는 하루 중 특정 시간에 체력 단련 모드에 대한 사용자의 필요를 예상할 수 있다. 컨텍스트적 면은 통지의 억제(예컨대, 사용자가 운전 중이라고 판단되는 경우 또는 디바이스가 착용되지 않은 경우)와 연관될 수 있거나, 또는 통지가 표현되는 방법의 변화(예컨대, 시각적으로 또는 청각적으로)와 연관될 수 있다. 특정 실시예에서, 디바이스의 면은 디바이스 상의 모든 애플리케이션과 연관될 필요는 없고, 디바이스의 디스플레이 상의 월페이퍼나 배경일 수 있다. 정보의 특정 채널(예컨대, 달력 피드(feeds), 건강 또는 활동 피드, 통지, 날씨 피드, 또는 뉴스)에 면이 전용(dedicated)될 수 있다. 일례로서, 심각한 날씨 통보 또는 경보(예컨대 날씨 피드로부터 수신됨)는 날씨 면을 그 통보와 함께 디스플레이에 디스플레이시킬 수 있다. 면은 현재 시각을, 면의 타입에 상관없이, 디스플레이(예컨대, 아날로그 또는 디지털 포맷으로)할 수 있다. 사용자는 면을 커스터마이즈할 수 있다. 사용자의 커스터마이제이션 또는 기호는 사용자가 명시적으로 입력하거나(예컨대, 디바이스 또는 페어링된 디바이스 상의 관리 소프트웨어에 입력) 또는 디바이스가 직접적으로 학습할 수 있다(예컨대, 시간 경과에 따른 모델(model over time)을 만들기 위해 센서 및 사용(usage) 데이터를 이용함). 도123은 아날로그 시계 12310, 원형 메뉴 레이아웃을 구비한 아날로그 시계 12320, 건강-모드 면 12330, 및 날씨 면 12340을 포함하는 면의 예를 도시한다. 도124는 디바이스용 면 12410-12440의 세트 예를 도시하며, 이 면에는 달력과 약속 정보가 디스플레이된다.
특정 실시예에서, 디바이스는 사용자의 사지(limb)에 착용(사용자의 얼굴을 가리지 않으며, 또한 사용자에게 디바이스를 잡고 있을 것을 요구하지 않음)될 수 있고, 증강현실(AR) 기능성을 포함할 수 있다. 이 AR 기능성은 디바이스의 카메라를 조준하기 위하여 몸의 모션을 사용하는 것에 기초할 수 있으며, 몸 모션의 사용은 사용자의 자기수용감각(sense of proprioception) 덕분에 높은 정확도의 조준을 가능하게 할 수 있다. 이런 타입의 시스템을 통해서, 디바이스의 사용자는 디스플레이 상에서 오브젝트의 버전(예컨대, 디바이스의 카메라에 의해 캡쳐됨)을 봄과 동시에 실세계의 오브젝트를 볼 수 있다. 이 AR 능력의 예는 도16에 도시된다. 이러한 AR 시스템은 사용자 사지의 대향하는 측면 상에 있는 정렬된 카메라와 센서를 사용해 "꿰뚫어 보기(see through)"능력을 가능하게 할 수 있다. 여기에 설명된 이러한 타입의 배치에 의해 다양한 AR 애플리케이션이 사용가능하게 될 수 있다. 특정 실시예에서, 애플리케이션은 디바이스가 즉각적이고 기회주의적인 사용(immediate, opportunistic use)을 허용하도록 특별히 디자인될 수 있다. 추가적으로, 위임 모델(delegation model)이 디바이스에 제공되어, 프로세싱 요구사항 또는 에너지 사용의 관점에서 불이익을 적게 초래하거나 초래하지 않으면서, 디바이스 상에서 실행할 수 있는 애플리케이션의 폭을 개선하기 위해 외부 자원의 사용을 허용할 수 있다. 특정 실시예에서, 디바이스는 다른 디바이스(예컨대, 네트워크를 통해 발견되거나 디바이스와 통신적으로 페어링된 부근의 디바이스)를 제어하거나 그 다른 디바이스에 의해 제어될 수 있다. 이 타입의 제어는 근접, 제스처 또는 종래의 인터페이스를 통해 달성될 수 있다. 페어링은 여기서 보다 상세히 설명되는, 디바이스의 카메라를 포함하는 다양한 기술을 이용해 달성될 수 있다.
도125는 디바이스용 자동 카메라 활성화 결정 흐름의 예를 도시한다. 특정 실시예에서, 카메라가 사용가능으로 되었는지 여부 및 카메라의 자동 활성화(예컨대, 오브젝트 인식을 위함)가 사용가능으로 되었는지 여부는 애플리케이션 또는 디바이스가 있는 모드에 따라 결정된다. 특정 실시예에서, 디바이스 상에서 자동 카메라 활성화가 사용가능으로 된다(단계 12510). 이 특징이 사용가능으로 되고(단계 12520에서 결정됨), 또한 디바이스에서 충분한 CPU 용량(capacity)과 파워를 사용할 수 있으면(예컨대, 이미지로부터 관심 특징(feature of interest)을 계산하기 위함이고, 단계 12530에서 결정됨), 디바이스의 카메라(예컨대, 외향 카메라)는 하나 이상의 이미지를, 사용자가 소정 시간 동안(예컨대, 착용식 디바이스 상의 관성 측정 유닛에 의해 검출되거나 또는 이미지의 블러링에 의해 계산되고, 단계 12540에서 결정됨) 카메라를 조준 자세로 안정되게 잡고 있으면, 자동적으로 캡쳐, 처리, 및 디스플레이한다(단계 12560). 다른 실시예에서, 카메라는 항상 활성화되고 이미지를 검색할 수 있다. 또 다른 실시예에서, 카메라는 사용자가 수동으로 이미지 캡쳐를 트리거한 경우에만(예컨대, 외곽링 누르기 또는 클릭킹, 디스플레이 탭핑, 단계 12550에서 결정됨), 이미지를 캡쳐하고 특징 인식을 수행할 수 있다. 특정 실시예에서, 카메라가 활성화될 때(임의의 적절한 방법에 의함), 증강현실(AR) 기능성이 사용가능으로 될 수 있다. AR 기능성은 자동으로 사용가능으로 될 수 있다(예컨대, 디바이스에서 사용할 수 있는 CPU 용량 및 파워에 달려있음). 다른 실시예에서, 사용자는 임의의 적절한 사용자 입력을 통하여 AR 기능성을 명시적으로 사용가능으로 할 수 있다. 사용자는 AR 기능성을 사용가능으로 하기 위해, 예컨대, 디스플레이에 터치 입력을 제공할 수 있다. 일례로서, 사용자는 새와 같은 오브젝트를 캡쳐(예컨대, 디바이스의 카메라를 새에 향하게 함)할 수 있고, 디스플레이에 디스플레이된 새의 이미지를 터치할 수 있다. 이 액션은 디바이스의 AR 기능을 사용가능으로 할 수 있어, 디바이스로 하여금, 예컨대, 새를 오브젝트로서 인식하게 하고 그 새에 관한 정보를 사용자에게 주도록 한다. 다른 실시예에서, 여기에 설명되는 바와 같이, AR 기능성을 사용가능으로 할 뿐만 아니라 AR 기능성을 사용하는 태스크(task)를 수행하기 위하여, 사용자는 하나 이상의 제스처를 할 수 있다(예컨대, 디바이스 카메라의 시야 내에서 타이핑 제스처를 함으로써 "가상" 키보드를 사용함).
특정 실시예에서, 디바이스가 관심 특징(features of interest)을 계산할 능력을 갖지 않으면, 디바이스는 이미지를 캡쳐하고, 그 이미지를 통신적으로 연결된 디바이스(예컨대, 전화 또는 개인용 컴퓨터와 같은 부근의 디바이스) 또는 인터넷 기반 서비스에 전송할 수 있으며, 이 통신적으로 연결된 디바이스 또는 인터넷 기반 서비스에서 관심 특징이 원격적으로 계산될 수 있다. 관심 특징이 결정되면, 인식된 오브젝트에 관한 추가 정보를 인터넷 기반 서비스 또는 로컬 데이터 카탈로그(local data catalog)에서 찾아볼 수 있다. 정보가 발견되면, 관련 데이터는 인식된 특징과 함께 디바이스에서 사용자에게 디스플레이될 수 있다.
특정 실시예에서, 디바이스는 그 폼팩터(form factor)가 작고, 가용 메모리, 프로세싱 및 에너지의 면에서 제한될 수 있다. 위임 모델을 통해, 디바이스는 하나 이상의 프로세싱 태스크(예컨대, AR 기능성과 연관된 태스크)의 일부를 예컨대, 부근 디바이스(예컨대, 전화 또는 개인용 컴퓨터)나 네트워크-기반 또는 인터넷-기반 서비스에 위임할 수 있다. 일례로서, 위임 가능한 태스크에 대하여, 그 태스크를 필요로 하는 애플리케이션은 그 태스크의 지연 감도(latency sensitivity), 프로세싱 요구사항, 및 네트워크 페이로드 사이즈를 포함하는 태스크의 특성(characteristics) 또는 프로파일을 시스템(예컨대, 디바이스 운영시스템의 커널(kernel))에 제공한다. 이것은 전체 위임 가능한 태스크 중 위임 가능한 서브태스크(subtask) 각각에 대하여 이루어질 수 있다. 태스크는 종종 파이프라인되기(pipelined) 때문에, 태스크 파이프라인의 인접 청크(contiguous chunks)는 위임될 수 있다. 특정 실시예에서, 시스템은 디바이스의 하나 이상의 특성을 측정하거나 또는 그 특성의 모델을 구축할 수 있다. 디바이스의 특성은 디바이스의 정적 속성(예컨대, 설치된 총 메모리, 최대 CPU 속도, 최대 배터리 에너지, 또는 네트워크 인터페이스의 최대 대역폭을 포함하는 디바이스의 하드웨어 컴포넌트의 속성)을 포함할 수 있다. 디바이스의 특성은 또한 디바이스의 동적 속성(예컨대, 가용 메모리, 현재 CPU 용량, 가용 에너지, 현재 네트워크 연결성, 네트워크-기반 서비스의 가용성, 하나 이상 사용자간 평균 사용자 거동의 기록(tally), 또는 예측이나 예상된 태스크 프로세싱 시간(예컨대, 특정 사용 시나리오가 주어진 경우)을 포함하는 디바이스의 동작 특성)을 포함할 수 있다. 특정 실시예에서, 디바이스는 디바이스 특성의 이전 및 현재 측정을 포함하는 모델을 구비하여, 디바이스의 미래 거동을 결정하는데 도움을 줄 수 있다. 태스크가 디바이스에서 수행되어야 하는지 여부에 기초할 뿐만 아니라, 태스크 특성이나 프로파일 및 이들 측정이나 모델에 기초하여, 시스템은 태스크 또는 태스크 파이프라인의 하나 이상의 부분을 위임할지 결정(또는 위임하지 않을지 결정)할 수 있다. 예컨대, 디바이스의 가용 메모리가 태스크(예컨대, 비디오 재생)의 프로세싱을 지원할 수 없으면, 태스크의 하나 이상의 부분은 위임될 수 있다. 다른 예로서, 디바이스의 CPU 용량이 태스크 프로세싱을 지원할 수 없으면(예컨대, 기존 부하(load) 때문에 CPU가 최대 용량으로 실행 중인 경우), 태스크의 하나 이상의 부분은 위임될 수 있다. 다른 예로서, 디바이스의 배터리 레벨이 낮고, 태스크의 예상 프로세싱 시간 동안 배터리가 디바이스에 에너지를 제공할 것으로 예상되지 않으면, 태스크의 하나 이상의 부분은 위임될 수 있다. 또 다른 예로서, 디바이스의 네트워크 연결성이 낮거나 존재하지 않으면, 태스크의 하나 이상의 부분은 위임되지 않을 수 있다(예컨대, 디바이스가 충분한 가용 메모리, CPU 용량 및 에너지를 갖는 경우). 또 다른 예로서, 디바이스가 하나 이상의 네트워크-기반 서비스(예컨대, 프로세싱을 위한 클라우드-기반 서비스)을 사용할 수 있고, 그 디바이스가 적절한 네트워크 연결성(예컨대, 양호한 가용 대역폭)을 갖는 경우, 태스크의 하나 이상의 부분은 위임될 수 있다. 또 다른 예로서, 디바이스의 사용자가 비디오 재생을 전형적(역사적)으로 위임하였다면, 비디오 재생 태스크의 하나 이상의 부분은 위임될 수 있다. 또 다른 예로서, 태스크의 예측 프로세싱 시간(예컨대, 디바이스 특성의 이전 및 현재 측정을 포함하는 모델에 기초하여 예측됨)이 일정 임계(예컨대, 수 분(several minutes))를 넘으면, 태스크는 위임될 수 있다. 적절히 조합된 디바이스의 임의의 적절한 특성(예컨대, 정적 또는 동적 속성)은 태스크의 위임 여부를 결정하는데 사용될 수 있다. 또한, 디바이스 태스크의 임의의 적절한 특성(예컨대, 태스크 프로파일 또는 그 태스크의 특성(지연 감도, 프로세싱 요구사항, 또는 네트워크 페이로드 사이즈를 포함)을 포함함)은, 태스크를 위임할지 여부를 결정하는데, 단독으로 또는 디바이스 특성과 함께 사용될 수 있다. 추가적으로, 디바이스의 임의 모델(예컨대, 디바이스 거동)은 단독으로 또는 디바이스 특성이나 태스크 특성과 함께 사용될 수 있고, 또한, 태스크를 위임할지 여부를 결정하는데 사용될 수 있다. 특정 실시예에서, 디바이스와 페어링된 디바이스들도 위임 모델을 포함할 수 있어서, 페어링된 디바이스(예컨대, 전화기)는 동일 단계를 수행하고, 자신의 모델(에너지, 연결성, 실행시간 요구사항, 및 실행가능성(feasibility)의 모델)에 기초하여 태스크를 위임받을 수 있다. 위임된 태스크는 페어링된 디바이스(예컨대, 전화기)에서 프로세싱 또는 실행되어 완료되고, 위임된 태스크를 프로세싱한 결과는 디바이스에 반환될 수 있다. 특정 실시예에서, 디바이스는 네트워크 연결성이 전혀 없을 때, 또는 그 디바이스의 범위 내에 페어링된 디바이스가 없을 때, 독립 모드(예컨대, 어느 프로세싱 태스크도 위임하지 않음)로 동작할 수 있다. 디바이스가 네트워크 연결성을 다시 획득하거나 또는 그 디바이스가 다른 디바이스와 페어링되면, 태스크의 위임은 재개될 수 있다.
도126은 디바이스의 위임 모델의 예시적 알고리즘을 도시한다. 이 예에서, 위임 가능한 태스크 프로세스는 디바이스에서 시작한다(12610). 디바이스의 시스템은 전력 사용 분석 및 예측을 수행한다(12620)(예컨대, 사용자의 에너지 사용 이력 12630 및 디바이스의 충전까지의 예상 시간 12640에 기초함). 이것에 기초하여, 시스템은 단계 12650에서, 위임 가능한 태스크에 필요한 가동시간(uptime) 동안 충분한 충전이 남아있는지 여부를 결정한다. 충분한 충전이 남아 있으면, 디바이스의 시스템은 전력 사용을 증가시킬 수 있고(12660), 또한 위임 가능한 태스크를 디바이스 그 자체에서 프로세스할 수 있다(12670). 하지만 필요한 가동시간 동안 디바이스가 충분한 충전을 갖지 못하면, 디바이스는 페어링된 디바이스의 에너지 상태를 결정(12690)하기 위해, 페어링된 디바이스(예컨대, 전화기)에 질의(12680)할 수 있다. 전화기의 예에서, 필요한 가동시간 동안 충분한 충전이 전화기에 남아 있으면, 태스크는 전화기에서 프로세스될 수 있다(12694). 하지만 충분한 충전이 전화기에 없으면, 시스템은 단계 12694에서, 디바이스가 인터넷-기반(예컨대, 클라우드) 또는 그 밖의 네트워크-기반 서비스에 연결성을 갖는지를 결정할 수 있다. 연결성을 갖지 않으면, 디바이스는 그 프로세스를 전화기에 위임할 수 있다(12694). 연결성이 있으면, 디바이스는 그 프로세스를 클라우드에 위임할 수 있고(12696), 태스크는 클라우드에서 프로세스되고 결과는 나중에 디바이스로 반환된다. 특정 실시예에서, 디바이스는 위임 가능한 태스크를 하나 이상의 페어링된 디바이스(예컨대, 모바일폰 또는 개인용 컴퓨터) 또는 네트워크/인터넷 서비스에 분할 방식으로 위임할 수 있다. 즉, 디바이스는 프로세스 또는 위임 가능한 태스크의 위임 가능한 서브-태스크를 서로 다른 장소에 위임할 수 있다.
본 명세서는 특정 디바이스(또는 디바이스의 계열(family) 또는 범위(range))용 위임 모델이 동적이거나 컨텍스트적일 수 있다는 것을 고려한다. 일례로서, 위임 모델은 가용 메모리, CPU 용량, 특정 디바이스(또는 디바이스의 계열)의 가용 에너지, 및 시간 흐름에 따라 완전히 변화할 수 있는 인자(factor)를 고려할 수 있다. 위임 모델은 시간의 흐름에 따라 변화할 수 있는 네트워크 연결성(예컨대, 대역폭 및 지연)뿐만 아니라 네트워크- 또는 클라우드-기반 서비스( 및 각각의 용량)의 가용성을 또한 고려할 수 있다. 도127을 참조하면, 제1 위임 모델 12710(이 모델은 예컨대, 다음 일 년 내에 제조되는 디바이스에 적용할 수 있음)에 따라서, 대부분의 프로세싱은 디바이스 및 페어링된 디바이스(예컨대, 스마트폰) 간에 균등하게 분배될 수 있고, 오직 소량의 위임만이 클라우드-기반 서비스의 서버에 분배된다. 제2 위임 모델 12720(이 모델은 예컨대, 삼 년 기간 내에 제조되는 디바이스에 적용할 수 있음)에 따라서, 대부분의 프로세싱은 디바이스에 의해 국소적(locally)으로 처리될 수 있다(예컨대, 메모리, CPU, 및 작은 폼팩터 내 에너지 용량의 발전이 예상되기 때문임). 이 제2 모델에서, 일부 프로세싱은 서버에 위임될 수 있고(예컨대, 개선된 네트워크 연결성 때문에, 제1 위임 모델에서보다 위임량이 많음), 오직 소량만이 국소적으로 페어링된 디바이스에 위임될 수 있다. 제3 위임 모델 12730(이 모델은 예컨대, 오 년 기간 내에 제조되는 디바이스에 적용할 수 있음)에 따라서, 모든 또는 거의 모든 프로세싱 태스크는 디바이스 및 클라우드-기반 서비스의 서버에 균등하게 배분될 수 있고, 국소적으로 페어링된 디바이스에는 프로세싱이 위임되지 않거나 거의 위임되지 않는다. 위임 모델이 고려하는 요인이 동적이므로, 임의 개수의 위임 모델이 만들어질 수 있다. 일례로서, 디바이스는 하나의 위임 모델에 따라서, 모든 또는 거의 모든 태스크를 국소적으로 수행할 수 있고, 또한, 디바이스는 다른 위임 모델에서, 모든 또는 거의 모든 태스크를 위임할 수 있다.
디바이스는 페어링된 다-프로세싱(processing-rich) 디바이스(예컨대, 전화기, 컴퓨터, 태블릿, 텔레비전, 셋톱 박스, 냉장고, 세척기 또는 건조기) 또는 인터넷 서비스에, 에너지 비축량 또는 이들(페어링된 디바이스 및 인터넷 서비스) 각각과의 연결 대역폭에 기초하여, 기능성을 위임하도록 선택할 수 있다. 예를 들어, 고성능 프로세서를 구비한 디바이스는 에너지양이 적을 때, 페어링된 디바이스에 위임할 수 있고, 페어링된 디바이스가 충분한 전력 비축량을 갖지 않을 때 인터넷 서비스로의 위임을 선택할 수 있다. 동일하게, 디바이스의 시스템은 인터넷 접속이 높은 지연을 나타내면, 데이터 전송의 사이즈를 줄이기 위하여 국소적으로 프로세스하는 것을 선택할 수 있다.
특정 실시예에서, 디바이스의 사용자는 한 애플리케이션 전체 또는 한 애플리케이션의 일부를 페어링된 디바이스에 위임할 수 있고, 그 역도 가능하다. 이는 애플리케이션 기반(per-application basis)으로 일어날 수 있다. 타겟 디바이스(예컨대, 텔레비전) 상의 애플리케이션이 디바이스에 위임될 때, 타겟 디바이스는 요청(request)을 페어링된 연결(스마트폰이나 개인 컴퓨터와 같은 중개 디바이스를 통할 수 있음)을 통해 전송하여, 그 애플리케이션을 디바이스 상에 로드(load)할 수 있다. 그 후, 디바이스는 페어링된 디바이스(예컨대, 텔레비전) 상에서 실행 중인 서버에 대하여 클라이언트로서 동작할 수 있다. 유사하게, 디바이스 상에서 실행중인 애플리케이션은 페어링된 디바이스에 위임될 수 있다(예컨대, 디바이스 상에서의 비디오 재생은 페어링된 텔레비전 상에서의 재생으로 위임될 수 있다). 예를 들어, 디바이스가 제1 애플리케이션을 실행하고 있고, 디바이스의 사용자가 제2 애플리케이션과 상호작용하기를 원하면, 디바이스는 제1 애플리케이션의 태스크를 자동적으로 위임하여, 다른 디바이스(예컨대, 페어링된 텔레비전)에 의해 프로세스되도록 할 수 있다.
도128은 위임 모델에 따른 디바이스의 동작의 예시적 결정 흐름을 도시한다. 이 예에서, 이미지-캡쳐 애플리케이션은 디바이스 상에서 실행되고 있다. 장면은 디바이스 상에서 캡쳐되고(12810), 디바이스는 자신이 이미지 특징 계산을 위한 충분한 CPU 용량을 가지고 있는지 결정한다(12820). 디바이스가 충분한 CPU 용량을 가지고 있으면, 디바이스는 장면 내 관심 특징을 국소적으로 계산한다(12830). 디바이스가 충분한 CPU 용량을 가지고 있지 않으면, 우선 디바이스는 자신이 더 큰 프로세싱 용량의 다른 디바이스(예컨대, 모바일폰 또는 개인 컴퓨터)와 통신적으로 페어링되었는지 결정할 수 있다(단계 12840). 그러한 디바이스와 페어링되어 있다면, 디바이스는 데이터를 그 페어링된 디바이스에 송신하고, 페어링된 디바이스는 이미지 내 관심 특징을 계산할 수 있다(12850). 그러한 디바이스와 페어링되어 있지 않다면, 디바이스는 자신이 인터넷-기반(예컨대, 클라우드) 서비스에 연결되었는지 결정할 수 있다(12860). 연결되어 있지 않다면, 디바이스는 더 이상의 액션을 하지 않는다. 연결되어 있다면, 디바이스는 데이터를 클라우드 서비스에 송신하고, 그 서비스는 장면 내 관심 특징을 계산할 수 있다(12870). 관심 특징은 예컨대, SURF를 포함하는 임의의 적절한 알고리즘을 사용해(계산이 되는 어느 곳에서든) 계산될 수 있다. 이 예에서, 관심 특징은 어떤 매치가 발견되는지 여부( 및 발견되는 경우, 관련 관심 정보(relevant information of interest))를 결정하기 위하여, 로컬 카탈로그 또는 인터넷-기반 서비스에 비교될 수 있다(12880). 매치가 발견되면(12890), 결과는 디바이스 상에서 사용자에게 제시될 수 있다. 매치가 발견되지 않으면, 추가로 취해지는 액션은 없다.
특정 실시예에서, 디바이스의 카메라 또는 다른 광학 센서는 사용자가 행한(예컨대, 카메라와 실세계의 타겟 사이의 공간에서) 임의의 제스처를 인식하는데 사용될 수 있다. 이들 제스처는 제시된 데이터(예컨대, 텍스트를 포함한 광고(sign)와 같은 실세상 타겟)에 대해 행동을 하는데 사용될 수 있고, 또는 증강 현실 기능이 수행될 수 있는 특정 아이템을 가리키는데 사용될 수 있다. 예를 들어, 사용자는 광고의 단어를 가리켜서, 디바이스로 하여금 그 단어를 번역하고 그 번역물을 사용자에게 디스플레이하게 할 수 있다. 도17은 디바이스의 카메라가 캡쳐한 2개의 이미지 예를 도시한다. 일례로서, 트럭 1725 및 디바이스 사용자의 손 1720은 모두 디바이스의 카메라 1705의 시야각 내에 있고, 디바이스에 의해 디스플레이된다(1710에 나타내짐). 이로써, 트럭에 대해 사용자가 행한 제스처는, 예컨대 AR 기능성을 제공하도록, 디바이스에 의해 인식되고 처리될 수 있다. 두 번째 예로서, 트럭만이 카메라의 시야각 내에 있고(1715에 나타내짐), 이로써, 사용자가 행한 제스처는 디바이스에 의해 캡쳐되거나 인식되지 않는다. 디바이스는 제스처 인식을 위임할 수 있다.
특정 실시예에서, 디바이스는 그 디바이스 카메라의 시야 프레임(frame of view) 내에 오브젝트 또는 이미지가 있을 때, 그 오브젝트 또는 이미지를 인식할 수 있다. 여기에서 설명되는 바와 같이, 디바이스가 오브젝트를 인식하는 다수의 방법이 있을 수 있다. 일례로서, 사용자가 행한 제스처(예컨대, 특정 오브젝트를 가리키는 포인팅 제스처)는 디바이스 상에서 AR 기능성을 사용가능으로 만들 수 있고, 그 디바이스로 하여금 오브젝트를 인식하게 할 수 있다. 다른 예로서, 자동 오브젝트 인식은 예컨대, 사용자가 카메라를 일정 시간동안 특정 오브젝트(예컨대, 텍스트 부분) 상에 위치시킬 때, 일어날 수 있다. 제3의 예로서, 디바이스의 카메라가 관심 오브젝트를 캡쳐했을 때 사용자는 예컨대, 디스플레이를 탭하거나 터치하여(또는, 예컨대, 외곽링을 클릭함), 오브젝트 인식 또는 AR 기능성을 명시적으로 사용가능으로 만들 수 있다. 전역 오브젝트 인식(global object recognition)은, 일부 경우에, 계산 집약적일 수 있고 또한 오류 발생이 쉬울 수 있다(error-prone). 이로써, 특정 실시예에서, 정확도를 개선하기 위하여 제한 세트(limiting set)(예컨대, 잡지나 카탈로그의 페이지, 또는 나뭇잎이나 책표지와 같은 특정 오브젝트 타입의 카탈로그)이 적용될 수 있다. 이미지로부터 특징 벡터를 계산하는데 다수의 선택이 존재하며, 이들로부터 디바이스의 시스템 설계자는 채택할 수 있다. 일부 경우에, 서로 다른 접근법들 사이에서 특징 벡터의 전환은 계산 면에서 고가이고, 따라서 가능한 매치들의 데이터베이스의 선택(choice of the database of possible matches)이 디바이스에 복제될 수 있다. 특징 벡터의 계산은 여기에 설명된 바와 같이, 위임될 수 있다.
특정 실시예에서, 디바이스는 다양한 타입의 바코드를 인식할 수 있다. 이들 바코드는 인터넷-기반 서비스에, 바코드된 아이템을 구매하고, 리뷰하고 또는 추후 리뷰하기 위해 북마크하는 옵션에 더하여 추가 데이터를 질의(query)하는데 사용될 수 있다. 이차원 바코드는 일반적으로 직접 판독될 수 있지만, 디바이스의 시스템은 인식률을 향상시키기 위하여, 특별히 소형 또는 일차원 바코드용 추가 근접-초점 모드(addition close-focus mode)를 제안할 수 있다. 시스템이 바코드를 디코드할 능력을 갖추지 못한 경우, 시스템은 카메라로 초점을 맞추고, 사진을 찍고, 여기에 설명된 바와 같이, 원격 디바이스에 인식을 위임할 수 있다. 도129a~129d는 바코드 인식 모드의 예를 도시한다. 디바이스는 아이템에 향하여 지고(129A), 아이템을 인식하고(129B), 아이템에 관해 인터넷으로부터 획득한 부가 정보를 디스플레이하고(129C), 및 아이템 구매를 위한 인터페이스를 사용자에게 제공할 수 있다(129D).
특정 실시예에서, 디바이스는 번역을 수행할 수 있다. 번역 기능성은 2개의 부분으로 분할될 수 있다: 광학문자인식(OCR), 및 인식된 문자, 단어 또는 구문의 번역. OCR은 디바이스에서 완료될 수 있거나, 또는 디바이스가 번역할 데이터의 양을 감소시키기 위해 위임(예컨대, 페어링된 프로세싱 디바이스에 위임)될 수 있다. 단순 단어 번역은 디바이스에서 수행될 수 있거나 또는 위임(예컨대, 페어링된 프로세싱 디바이스에 위임)될 수 있다. 여기에 설명된 다른 기능성과 마찬가지로, 인식이나 번역의 전부 또는 일부는 필요에 따라서 위임될 수 있다. 사용자는 도130에 도시된 바와 같이, 번역될 단어(예컨대, 단어 "Warning")를 가리키기 위해 제스처를 선택적으로 사용할 수 있다. 개별 단어는 흰 공간에 의해 둘러싸일 수 있으므로, 시스템은 번역을 시도하기 전에 단어를 분할(segment)할 수 있다. 추가적으로, 디바이스가 OCR을 작은 지연으로 수행할 수 있다면, 디바이스는 자신이 올바른 텍스트를 대상으로 하여 정확히 인식하고 있을 때를 사용자가 알 수 있도록, 텍스트를 사용자에게 나타낼 수 있다. 자동 OCR이 사용가능으로 되면, 디바이스는 외향 카메라의 시야각 내에 있는 이미지를 자동적으로 식별하고, 식별된 이미지에 관한 정보를 디바이스 디스플레이에 제시할 수 있다. 자동 번역이 사용가능으로 되면, 디바이스는 외향 카메라의 시야각 내에 있는 텍스트를 자동적으로 식별하고, 번역된 텍스트를 디바이스 디스플레이에 제시할 수 있다.
도131a-131d는 여기에 설명된 다양한 증강 현실 모드(바코드 인식 모드(131A), 이미지 인식 모드(131B), OCR 및 번역 모드(131C), 및 오브젝트 인식 모드(131D)를 포함)에서 동작하는 디바이스의 예를 도시한다.
도132는 디바이스용 증강 현실 시스템에 대한 전체 액션 흐름의 예를 도시한다. 이 예는 이미지 캡쳐 애플리케이션을 예시하지만, 디바이스 상 임의의 적절한 태스크 또는 프로세스는 유사한 흐름을 따를 수 있다. 추가적으로, 디바이스가 이미지를 캡쳐한 후 그 디바이스가 결과를 사용자에게 디스플레이하기 전에 임의의 태스크(적합하면)는 디바이스에 의해 위임될 수 있다. 이 예에서, 디바이스 카메라에서 이미지가 캡쳐되고(이미지 캡쳐 섹션 13210), 프리-프로세싱되고(섹션 13220), 특징이 추출 및 인식되어 이미지 인식 결과를 생성하고(섹션 13230), 임의의 오브젝트가 인식될 수 있다(섹션 13240). 오브젝트 데이터는 디바이스 사용자에 의한 액션을 위해 포맷될 수 있다. 사용자는 디바이스의 증강 현실 모드를 활성화(예컨대, 사용자 제스처를 통하거나, 디바이스의 카메라로 오브젝트를 소정 시간 동안 가리킴으로써)하고 13211, 디바이스 카메라 13213는 그 카메라 뷰 내의 이미지 13212를 캡쳐(예컨대, 사용자 입력 또는 자동 카메라 활성화와 같은 트리거 이벤트에 기초함)하여 카메라 이미지 13214를 생성할 수 있다. 이 시점에서, 프리-프로세싱 스테이지 13220에 진입할 수 있다. 프리-프로세싱 13220은 예컨대, 콘트라스트 향상, 그레이스케일(grayscale) 변환, 선예화(sharpening), 또는 다운-샘플링을 포함할 수 있다. 특정 실시예에서, 카메라는 전반적으로 증강 현실 모드에서 동작할 수 있고, 증강 현실 모드에서 카메라 전방의 무엇이든 프로세싱되고 인식될 수 있다. 다른 실시예에서, 카메라는 특정 모드(예컨대, OCR, 바코드 또는 시각 마커(visual marker))에서 동작할 수 있고, 그 모드에 있을 때 특정 아이템만 인식할 수 있다. 특정 실시예에서, 이미지가 형상, 심볼, 또는 형상이나 심볼의 단체(organization)를 포함할 수 있다고 결정되면(예컨대, 카메라 또는 디바이스가 OCR 모드, 바코드 모드, 또는 시각 마커 모드에 있다고 결정됨), AR 이미지 프로세싱은 제1 경로로 진행할 수 있다. 이 제1 경로는 예비 프로세싱(preliminary processing) 13221에서 시작하고, 세그먼테이션 13231(이것은 예컨대 글자 또는 단어와 같은 심볼 또는 심볼 그룹의 경계를 결정할 수 있음)으로 진행하고, 광학 문자 인식 13234(예컨대, 이미지가 문자를 포함할 수 있다고 결정되면, 이러한 문자가 어떤 문자인지 결정함), 바코드 인식 13235(예컨대, 이미지가 바코드를 포함할 수 있다고 결정되면, 바코드를 인식함), 또는 시각 마커 인식(예컨대, 다른 타입의 시각 마커를 인식함) 13236(예컨대, 그 밖 모든 타입의 시각 마커에 대하여 인식함) 중 하나 이상을 시작한다. 제1 경로의 결과는 오브젝트 인식기 13242에 보내진다. 특정 실시예에서, 이미지가 반드시 알려진 것은 아닌 특징을 포함할 수 있다고 결정되면, AR 이미지 프로세싱은 제2 경로로 진행할 수 있다. 이 제2 경로는 특징 추출(feature extraction) 13222에서 시작한다(예컨대, 여기에서, 가장자리 또는 라인의 존재, 라인들의 각도 변화, 가장자리, 관심 지점, 또는 패턴이 캡쳐된 이미지 내에서 검출됨). 제2 경로는 이미지 인식 13232으로 진행하고, 여기에서 이미지의 특징은 인식 데이터베이스 13233(이 데이터베이스는 예컨대 디바이스에, 국소적으로 페어링된 디바이스에, 또는 원격 서버나 컴퓨터에 있을 수 있음)로부터의 특징 데이터와 비교된다. 이미지 인식 비교의 결과 13237가 제공되고, 오브젝트 인식기 13242에 보내진다. 오브젝트 인식 섹션 13240에서, 제1 경로와 제2 경로는 오브젝트 인식기 13242에서 수렴한다. 여기서, 오브젝트 데이터베이스 13241로부터의 결과는 오브젝트를 인식하는데 사용된다(예컨대, 이미지 인식 데이터베이스 13233을 사용해 인식된 전화기는 특정 브랜드와 모델의 전화기임이 인식됨). 인식기 13242가 인식한 오브젝트에 관한 오브젝트 데이터 13243(예컨대, 인식된 전화기 모델의 가격, 또는 전화기를 구매할 수 있는 장소)가 제공될 수 있다. 텍스트에 대하여, 정의 또는 번역물이 생성될 수 있고, 이들은 사용자에게 디스플레이될 수 있다. 바코드에 대하여, 인식된 오브젝트에 대한 제품 정보나 구매를 위한 링크가 있을 수 있고, 이들은 사용자에게 디스플레이된다. 특정 실시예에서, 데이터는 완전히 기술적(descriptive)이거나(예컨대, 전화기의 가격) 또는 능동적일 수 있다(예컨대, 사용자가 전화기를 구매할 수 있는 장소에 대한 링크). 데이터가 액션 데이터 13244를 포함하면, 액션 제어기 13250( 디바이스의 사용자를 위해 GUI를 제어, 포맷 및 출력함)는 능동 데이터(예컨대, 전화기 구매를 위한 링크)를 포함하는 UI를 사용자에게 나타낼 수 있다(13255). 사용자가 액션을 선택하면(13260; 예컨대, 링크를 클릭함), 액션 제어기는 사용자에게 액션 UI를 나타내고(13265; 예컨대, 링크의 오픈), 및 액션이 확인되면(13270), 그 액션이 수행된다(13275; 예컨대, 링크와 연관된 웹페이지를 실제로 오픈함).
도133은 네트워크 환경의 예를 도시한다. 여기에 설명된 같이, 특정 실시예에서, 디바이스 13310는 다른 디바이스(예컨대, 부근 디바이스)와 페어링될 수 있다. 이 디바이스는 퍼스널 에어리어 네트워크(personal area network) 13320(동일 네트워크에 있는 다른 디바이스를 통해 LAN(local area network)에 브리지(bridge)할 수 있음)에 직접 연결되거나, 또는 이 디바이스는 LAN 13330에 직접 연결될 수 있다. 퍼스널 에어리어 네트워크는 예컨대, 블루투스, NFC, 또는 ZIGBEE와 같은 비-WI-FI 무선 기술을 포함할 수 있다. 퍼스널 에어리어 네트워크는 예컨대, 스마트 미디어 게이트웨이 13322(예컨대, 미디어 서버), 스마트 TV 13324, 다른 프로세싱 프로바이더 13326, 또는 전화기 13328를 포함할 수 있다. 전화기 13328를 통해 디바이스는 셀룰러 네트워크 13340에 접속할 수 있고, 그 네트워크로부터 인터넷 13350에 접속할 수 있다. LAN 13330은 예컨대, 인증이 있거나 없는 WI-FI를 포함할 수 있다. LAN은 예컨대, 로컬 와이어리스 네트워크 라우터(local wireless network router) 13332, 스마트 미디어 디바이스 13334, 스마트 가전제품 13336, 홈 오토메이션 기술 13338을 포함할 수 있다. LAN은 예컨대, 로컬 라우터 13332를 통해 전역 인터넷 13350에 접속할 수 있고, 이 전역 인터넷은 인터넷 서비스(예컨대, 독점적(proprietary) 클라우드 서비스 13352 또는 그 밖의 클라우드 서비스 파트너 13354)에 접속한다. 본 디바이스는 직접 액세스(예컨대, 퍼스널 에어리어 네트워크를 통함)를 통하거나 LAN을 통하여, 일부 디바이스에 도달할 수 있다. 본 디바이스가 도달할 수 있는 이들 디바이스는 본 디바이스와 페어링되고, 본 디바이스에 의해 제어될 수 있거나 또는 본 디바이스를 제어할 수 있다. 본 디바이스는 퍼스널 에어리어 네트워크 또는 LAN에 예컨대, 임의의 적절한 RF 기술을 사용해 접속할 수 있다. 도133에 나타낸 바와 같이, 주변 타겟 디바이스로의 페어링은 RF 네트워크에서 먼저 발생할 수 있다. 이것에 의해 본 디바이스는 무엇이 "부근"에 있는지 알 수 있다. 페어링은 퍼스널 에어리어 네트워크(예컨대, 애드혹(ad-hoc) 또는 피어-피어(peer to peer) 네트워크)에서 일어날 수 있고, 또는 802.11 와이어리스와 같은 중재(mediated) 네트워크(예컨대, LAN)를 사용할 수 있다. 이웃(neighborhood)이 확립되면, 본 디바이스는 부근 디바이스에게 페어링 모드로 진입할 것을 요청할 수 있다. 이 요청은 직접 이루어지거나, 매우 많은 연결 옵션을 갖는 페어링된 프로세싱 디바이스(예컨대, 모바일폰)를 통해 이루어질 수 있다. 타겟 디바이스가 페어링 모드에 진입하면, 타겟 디바이스는 그들의 페어링 신호를 내보일 수 있다. 예를 들어, 디스플레이를 구비한 디바이스는 그 디스플레이 상에 시각 태그(visual tag)를 나타낼 수 있고, 다른 디바이스들은 NFC 태그를 사용가능으로 만들어, 스캐너가 그들을 식별하는 것을 허용할 수 있다. 리스트로부터의 선택 또는 핀코드에 의한 선택과 같은 다른 방법이 또한 사용될 수 있다. 어느 디바이스가 페어링 타겟으로 고유하게 식별되면, 본 디바이스는 페어링을 완결하기 위하여 그 타겟 디바이스와 보안 토큰(security token)을 교환할 수 있다.
도134는 타겟 디바이스를 본 디바이스와 페어링하는데 사용될 수 있는 다른 타입의 페어링 기술의 예를 도시한다. 타겟 디바이스(전화기와 같은 스마트폰일 수 있음)는 수동 NFC 태그 13402 또는 능동 NFC 송신기 13404(본 디바이스의 NFC 태그 판독기 13420 및 NFC 디코더가 인식할 수 있음); NFC 디코더 13406(본 디바이스의 NFC 태그 기록기 13422가 기록한 NFC 태그를 인식할 수 있음), 수동 시각 태그 13408(예컨대, 스티커), 바코드 13410, 또는 그 밖의 디스플레이 정보 13412(본 디바이스의 카메라 13424가 인식할 수 있음); 또는 다른 페어링 시스템 13416을 포함할 수 있다. 타겟 디바이스의 능동 태그 발생기 13414는 디스플레이 정보 13412를 생성하거나 또는 정보를 그 타겟 디바이스의 다른 페어링 시스템 13416에 제공할 수 있다(정보는 본 디바이스의 미러 페어링 시스템(페어링 코드 디코더 13438을 구비함) 13426에 의해 인식될 수 있음). 본 디바이스는 데이터를 다른 타겟 디바이스(본 디바이스에 페어링될 수 있음)에 송신하기 위하여, NFC 태그에 이 데이터를 기록(예컨대, NFC 태그 기록기 13422에 의함)할 수 있다. 본 디바이스가 기록한 태그는 타겟 디바이스 상의 NFC 태그 디코더 13406에 의해 인식될 수 있다. 본 디바이스는 바코드 디코더 13430, 시각 태그 디코더 13432, 이미지 인식기 13434, 또는 그 밖의 이미지-기반 디코더 13436(예컨대, QR 코드, 로고, 또는 LED의 깜박임 패턴용 디코더)를 포함하는 다수의 디코더 중 임의의 것을 포함할 수 있다. 이들 디코더 모두는 본 디바이스의 카메라 13424로부터 입력을 받는다. 본 디바이스가 페어링 정보를 수신하고 인식한 후, 본 디바이스는 타겟 디바이스와의 페어링을 진행하기 위해, 관련 정보를 디코드(예컨대, 다양한 디코더를 통함)할 수 있다. 특정 실시예에서, 페어링은 모션을 사용해 달성될 수 있다―모션-센서티브 타겟 디바이스(예컨대, 모바일 폰)를 본 디바이스와 동일한 손으로 쥐고 움직임으로써, 그 타겟 디바이스를 본 디바이스에 페어링할 수 있다(예컨대, 양 디바이스가 가속도계를 포함하면, 유사한 패턴의 모션이 검출되고, 디바이스들을 페어링하는데 사용될 수 있다). 다른 예로서, 고정된 타겟 디바이스를 본 디바이스와 동일한 손으로 쥐고 있는 동안 그 고정된 타겟 디바이스를 랜덤 패턴으로 탭핑함으로써, 그 고정된 타겟 디바이스를 본 디바이스에 페어링할 수 있다(예컨대, 양 디바이스가 터치 감지를 포함하면, 유사한 탭핑 패턴이 검출되고, 디바이스들을 페어링하는데 사용될 수 있다). 추가적으로, 페어링은 오디오를 사용해 이루어질 수 있다―본 디바이스와 타겟 디바이스 모두가 오디오 인식 능력을 가지고 있으면, 사용자는 양 디바이스가 검출하는 소리를 내어(예컨대, 구절을 말함(say a phrase)) 페어링을 설정할 수 있다. 디바이스의 임의의 적절한 기술(예컨대, 증강 현실 기능을 포함)은 로컬 디바이스와 페어링하고 또한 로컬 디바이스를 제어하는데 사용될 수 있다. 본 디바이스와 타겟 디바이스 각각은 다른 가능한 중재 네트워크 디바이스 13440에 접속할 수 있고, 또한, LAN 13450에 접속할 수 있다.
도135는 타겟 디바이스와 본 디바이스를 페어링(예컨대, 여기에 설명된 임의의 방법을 사용함)하는 예시적 프로세스를 도시한다. 페어링 모드가 사용가능으로 되면(13510), 본 디바이스는 RF 네트워크가 페어링 가능한 타겟 디바이스를 포함하고 있는지 결정한다(13512). 포함하고 있지 않으면, 추가로 취해지는 액션은 없다(예컨대, 디바이스는 주기적으로 스캔을 계속할 수 있음). 포함하고 있으면, 디바이스는 페어링 가능한 디바이스에게 페어링 모드로 진입할 것을 요청할 수 있다(13514). 그 후, 계속해서 디바이스는 가용한 타겟 디바이스를, 다른 가용한 기술을 통해, 스캔(임의의 순서로, 또는 병렬 방식으로)할 수 있다. 스캔은 NFC 태그 스캔 13516, 카메라 시야각 내 시각 태그 스캔 13518, 카메라 시야각 내 바코드 스캔 13520, 또는 그 밖의 방법 13522를 포함할 수 있다. 이들 방법 중 한 방법을 통해 타겟 디바이스가 검출되면, 그 타겟 디바이스는 본 디바이스와 페어링된다(13524). 페어링이 일어나면, 본 디바이스는 페어링된 디바이스(들)를 제어하기 위한 메뉴 아이템을 사용자에게 나타낼 수 있다. 본 디바이스는 페어링된 디바이스에 대해 시각 및 모션 기반 제스처 제어를 허용할 수 있다. 예를 들어, 사용자는 페어링된 텔레비전의 채널을 변경하기 위해 제스처(예컨대, 손을 흔듦)를 할 수 있고, 또는, 본 디바이스로부터 페어링된 디스플레이에 비디오 미디어를 전송하기 위하여 핀칭 제스처를 할 수 있다(예컨대, AR 기능성을 사용함). RF 네트워크상에서 중재된 디바이스 제어는 국소적이며 안전할 수 있다(local and securable). 도136은 페어링되고 제어되는 텔레비전에 대하여 본 디바이스에서 사용가능으로 된 예시적 컨트롤(활성 ON/OFF 아이콘 13610, 선호 채널 13620, 현재 채널 디스플레이 13630, 및 볼륨 13640을 포함)을 도시한다. 여기에 설명되는 바와 같이, 사용자로부터의 임의의 적절한 입력이 페어링된 디바이스의 기능성을 제어하기 위하여 사용될 수 있다. 예를 들어, 제스처 입력, 클릭 또는 누르기 입력, 또는 터치 입력은 예컨대, 페어링된 텔레비전의 채널을 변경하고, 볼륨을 조정하고, 또는 그 밖의 기능을 제어하기 위하여 사용될 수 있다.
특정 실시예에서, 디바이스용 페어링 및 제어 모델은 후술하는 특성을 포함할 수 있다. 디바이스는 원격 디바이스(예컨대, 제어 가능한 써모스탯과 같은 앱세서리(appcessory))의 하나 이상의 기능과 상호작용하거나 이 기능을 제어하는 애플리케이션에 대한 호스트로서 기능할 수 있다. 이전에 애플리케이션에 대한 호스트였을 수 있는 스마트폰(또는 그 밖의 국소적으로 페어링된 디바이스)은 이제, 원격 디바이스와의 상호작용 또는 원격 디바이스의 제어에 관한 일정 기능(예컨대, 원격 디바이스로의 장거리(longer-range) 와이어리스 접속성, 원격 디바이스로 커맨드 보내기, 원격 디바이스로부터 데이터 수신하기, 또는 태스크 프로세싱)을 본 디바이스로부터 위임받을 수 있는 단지 로컬 타겟 디바이스로서 기능할 수 있다. 본 디바이스는 예컨대, 시각 수단(예컨대, 카메라를 사용함) 또는 모션-기반 제스처를 포함하는 임의의 적절한 수단을 사용하여 원격 앱세서리 디바이스를 제어할 수 있다. 다른 실시예에서, 국소적으로 페어링된 스마트폰은 원격 앱세서리와 상호작용하는 애플리케이션에 대한 호스트로서 계속 기능할 수 있지만, 본 디바이스는 애플리케이션에서/으로부터 입력/출력되는 데이터를 위한 사용자 인터페이스의 전부 또는 일부를 제공할 수 있다(예컨대, 스마트폰에 의해 호스트되는 애플리케이션의 "가벼운(light)" 버전). 예를 들어, 사용자는 본 디바이스를 사용해 애플리케이션을 제어할 수 있지만 스마트폰은 여전히 애플리케이션의 호스트로서 기능할 수 있다.
특정 실시예에서, 디바이스는 하나 이상의 서비스들로 동작될 수 있다. 이러한 서비스들은, 보안, 에너지, 홈 자동화 및 제어, 콘텐츠 공유, 헬스케어, 스포츠 및 엔터테인먼트, 커머스, 차량, 및 소셜 애플리케이션을 포함하는 카테고리에 속할 수 있다.
보안 애플리케이션 예는 다음을 포함한다. 디바이스는 잠금해제된(unlocked) 디바이스를 착용하고 있는 사용자를 상기 사용자 근처의 또다른 디바이스(예컨대, 상기 디바이스와 페어링된)에 인증할 수 있다. 디바이스는, 예를들어, 디바이스의 외곽링을 회전시키는 것을 포함하는 적절한 입력을 이용하여 상기 사용자에 의해 입력된 코드로 잠금해제될 수 있다. 일 예로서, 사용자가 외곽링을 회전하거나, 누르거나, 클릭하는 동안, 디스플레이는 상기 사용자 의한 회전, 누름, 또는 클릭에 대응하는 영숫자 또는 기호 데이터를 보여줄 수 있다. 만일 예를 들어, 사용자가 외곽링을 시계방향으로, 1 회전 증분 만큼 회전시키면 (또는 예를 들어 외곽링을 1회 클릭하거나 누르면), 디스플레이는 사용자에게 "1"을 보여줄 수있고, 만일 사용자가 외곽링을 예컨대, 밀리초(millisecond)와 같은 소정 시간 기간 내에서, 시계 방향으로, 2 회전 증분 만큼 회전시키면(또는 예를 들어, 외곽링을 2회 클릭하거나 누르면), 디스플레이는 사용자에게 "2"를 보여줄 수 있다. 특정 실시예에서, 사용자에 의한 회전 (또는 누름 또는 클릭)에 대응하는 영숫자 또는 기호 데이터의 디스플레이는 사용자로 하여금 조합 잠금(combination lock)의 은유를 이용하여 디바이스를 잠금해제하는 것을 허용한다. 디바이스는 또한 생체 데이터(예를 들어, 사용자의 피부 또는 뼈 시그너쳐(signature)에 의한)를 이용하여 또한 잠금해제될 수 있다.
에너지 애플리케이션 예에서, 디바이스는 실내의 에너지 소비 또는 사용자가 위치하고 있는 다른 위치에 대한 정보를 자동으로 디스플레이할 수 있다. 디바이스는 다른 페어링된 디바이스의 에너지 소비에 대한 정보를 디스플레이할 수 있고, 사용자가 위치를 변경함에 따라 이러한 모든 정보를 동적으로 업데이트할 수 있다.
홈 제어 애플리케이션 예에서, 사용자는 예를 들어 외곽링의 회전 또는 제스처 입력을 이용하여 페어링된 홈제어 디바이스를 선택하고 직접 제어할 수 있다.
사용자는 디바이스로 또는 디바이스로부터 콘텐츠의 공유나 전송 (예컨대 디바이스에서 재생되고 있는 비디오를 페어링된(paired) 텔레비전에 전송)을 제어하기 위해 제스처를 이용할 수 있다. 또한, 영화 자막과 같은 보조 정보는 또다른 더 큰 디바이스 예를 들어, 영화를 재생하는 텔레비전에 콘텐츠가 보여지게 하기 위해 상기 디바이스에 제공될 수 있다.
디바이스는 예를 들어 만일 사용자가 운동을 하고있거나 잠을 자고있다면 헬스케어 컨텍스트를 자동적으로 결정할 수 있다. 디바이스가 이러한 컨텍스트를 결정할 때, 디바이스는 예컨대, 운동중 심박동수, 운동중 움직임, 운동 기간, 운동중 맥박 산소측정(pulse oximetry), 수면 패턴, 수면 기간, 또는 전기 피부 반응(galvanic skin response)을 기록하기 위한 헬스케어 컨텍스트에 대응하는 애플리케이션을 시작할 수 있다. 디바이스는 예를 들어, 사용자의 헬스 관련 데이터(예컨대, 심박동수, 움직임, 또는 맥박 산소측정)를 측정하고, 이러한 데이터의 일부 또는 전부를 페어링된 디바이스 또는 서버에 보낼 수 있다. 비록 헬스케어 컨텍스트에서 나타내졌더라도, 예를 들어 사용자의 행동에 기초한 적절한 컨텍스트의 결정, 대응하는 애플리케이션의 시작, 데이터의 기록 또는 이러한 데이터의 전송은 어떠한 적절한 컨텍스트에서도 적용될 수 있다.
디바이스는 예를 들어 사용자의 골프 스윙을 자동적으로 평가하고 수정을 제안하는 것과 같은 스포츠 관련 애플리케이션에서도 도움을 줄 수 있다.
상업적 설정에서, 디바이스는, 사용자가 상품을 집었을 때, 예컨대, RFID, NFC, 바코드 인식 또는 오브젝트 인식을 이용하여 상품을 자동적으로 식별하고, 예컨대, 영양 정보, 소스 정보, 또는 리뷰 같은 그 상품에 대한 정보 또는 그 상품을 구입하는 옵션을 제공할 수 있다. 상품에 대한 지불은 예컨대 디바이스의 시각적 바코드 기술을 이용하여 이루어질 수 있다. 특정 실시예에서, 디바이스는 NFC, RFID, 또는 그 밖의 다른 단거리 통신의 적절한 형태를 이용하여 상품에 대한 지불을 하는 데에 이용될 수 있다. 지불 동안, 사용자 정보는 예컨대 디바이스에 의해 인증될 수 있고, 디바이스는 예컨대 뼈 구조 또는 피부 시그너쳐 (skin signature) 등의 사용자 생체 정보를 검출할 수 있다. 사용자가 예컨대 디바이스에 저장된 그녀의 쇼핑 리스트 또는 예컨대 사용자의 친구의 위시 리스트와 같은 또다른 리스트에 있는 상품에 가까이 있을 때, 디바이스는 사용자에게 예컨대 진동과 같은 표시를 자동적으로 제공할 수 있다.
디바이스는 하나 이상의 차량을 잠금해제하거나 키는 키로서 기능할 수 있다. 사용자는 예를 들어, 앞서 설명된 바와 같이, NFC 기술을 이용하여 차량을 잠금해제하거나 키기 위해 외곽링을 이용하여 코드를 입력할 수 있다. 특정 실시예에서, 사용자 생체 정보와 사용자에 의해 입력된 코드 모두가 차를 잠금해제하기 위해 요구될 수 있는데, 이는 차-기반 애플리케이션에 대해 향성된 보안을 제공한다. 또한, 디바이스는 하나 이상의 사용자들에 대한 프로파일을 포함할 수 있고, 각 프로파일은 예컨대 온도 또는 좌석 위치와 같은 차량 설정을 담을 수 있다. 또다른 예로서, 특정 사용자의 생체 정보는 디바이스를 잠금해제하는 것뿐만 아니라 차의 동작동안 어떤 사용자 프로파일이 로드되어야 하는지를 결정하는데도 이용될 수 있다. 디바이스의 차량까지의 근접성은 차량으로 하여금, 사용자의 프로파일의 차량 설정을 구현하도록 자동적으로 만들수 있다. 디바이스는, 예컨대 디바이스에 직접 또는 폰과 페어링되어 제어할 때 GPS 내비게이션을 위해 동작할 수도 있다.
디바이스는, 리얼리티 조합 게임 (mixed-reality game) 또는 대량 멀티레이어 리얼리티 기반 게임을 위한 지원을 제공하는 서비스를 액세스하고 그 서비스와 함께 동작할 수 있다. 이러한 기능성은, 예를 들어, 사용자 데이터 (사용자 프로파일 및 완료된 레벨 또는 서플라이 목록(inventories of supplies)와 같은 게임 관련 데이터)의 등록, 관리, 및 성취 리스트(accomplishment lists)의 관리를 포함할 수 있다. 디바이스와 서비스의 기능성은, 취약한 무선 통신 채널을 다루고 통합된 API를 제3당사자 게임 서버에 제공하는 연결성 관리 (예, 집중장치 기능성(concentrator functionality))를 또한 포함할 수 있다.
디바이스는, 디바이스의 사용자로 하여금 위치, 체크-인, 또는 다른 위치 기반 데이터를 공개하는 것을 허용하는 서비스를 액세스하여 이 서비스와 함께 동작할 수 있다. 이러한 위치 기반 데이터는 서비스로 하여금 사용자의 위치 및 상태에 관한 가장 최근의 정보의 일관된 저장소를 액세스하는 것을 허용한다. 예를 들어, 디바이스의 사용자는 유사한 디바이스들을 이용하여 친구들을 찾을 수 있다. 서비스 및 디바이스는 함께 상태 업데이트, 프로파일 관리, 애플리케이션 액세스 허용, 블랙리스트, 또는 사용자 대 사용자 액세스 허용을 다룰 수 있다. 서비스는 개인적 데이터에 대해서 믿을 수 있는 그리고 중앙집중화된 접점이 될 수 있다. 통합된 위치 서비스로의 액세스를 결합함으로써 에너지 및 배터리 수명은 특정 실시예에서 절약될 수 있다. 특정 실시예에서, 어떤 기능성 토큰은 사용자의 위치에 기초하여 가용하게 될 수 있다. 애플리케이션은, 예를 들어, 이러한 토큰이 가용이고 그에 따라 행동하는지를 보기 위해 디바이스상에서 체크할 수 있다. 서버쪽에서, API는 개발자들로 하여금 토큰의 사용을 보거나 또는 보완을 허용하게 하는 것을 가능하게 할 수 있다. 특정 실시예에서, 정보는 디바이스에 의해 다른 사용자들 (예, 단일 사용자 또는 방송 모드에서 복수 사용자)에게 배포될 수 있다.
디바이스는 디바이스로 하여금 폴(polls)을 수신하고 보내는 것을 허용하는 통합된 폴링 인터페이스를 제공하는 서비스를 액세스하고 그 서비스와 함께 동작할 수 있다. 디바이스와 서비스는 함께 배포 목록, 산정 기준, 및 폴 효용 프레임(poll availability frame)(예, 시간적 및 지리적)을 관리할 수 있다. 이러한 서비스는, 제3자들이 애플리케이션을 만들기 위해 API를 사용하고 온라인 API를 통해 결과를 돌려받을 수 있도록, 디바이스에 그리고 서버에 노출될 수 있다.
특정 실시예에서, 디바이스는, 디바이스의 원형 디스플레이에 텍스트, 이미지 또는 다른 정보의 프리젠테이션 최적화를 제공하는 서비스를 액세스하고 이 서비스와 함께 동작할 수 있다. 예로서, 웹사이트는 컴퓨터 모니터상에서의 디스플레이를 위해 랜더링 또는 포맷될 수 있지만, 서비스는, 이미지를 강조하고 텍스트의 길이를 줄임으로써 더 작은 원형 디스플레이를 위해 랜더링 및 포맷팅을 커스터마이즈할 수 있다. 커스터마이즈된 랜더링 및 포맷팅은, 예를 들어, 디바이스, 하나 이상의 서버, 또는 국소적으로 페어링된 (locally-paired) 디바이스들 간에 위임가능한 태스크가 될 수 있다. 이러한 서비스는 뉴스 또는 광고 서비스를 또한 포함할 수 있다.
도 137은 예시적인 컴퓨터 시스템 13700을 나타낸다. 특정 실시예에서, 하나 이상의 컴퓨터 시스템 13700은 여기서서 기술되거나 또는 도시된 하나 이상의 방법들의 하나 이상의 단계들을 수행한다. 특정 실시예에서, 하나 이상의 컴퓨터 시스템 13700은 여기에서 기술되거나 도시된 기능성을 제공한다. 특정 실시예에서, 하나 이상의 컴퓨터 시스템 13700에서 실행되는 소프트웨어는 여기에서 기술되거나 도시된 하나 이상의 방법의 하나 이상의 단계를 수행하거나 또는 여기에서 기술되거나 도시된 기능성을 제공한다. 특정 실시예는 하나 이상의 컴퓨터 시스템 13700의 하나 이상의 부분을 포함할 수 있다. 여기서, 컴퓨터 시스템의 참조는, 적절하다면, 컴퓨팅 디바이스를 포함할 수 있다. 또한 컴퓨터 시스템의 참조는 적절하다면, 하나 이상의 컴퓨터 시스템을 포함할 수 있다.
본 개시는 어떠한 적절한 숫자의 컴퓨터 시스템 13700이라도 고려한다. 본 개시는 어느 적절한 물리적 형태를 취하는 컴퓨터 시스템 13700을 고려한다. 한정적인 의미가 아니라 일 예로서, 컴퓨터 시스템 13700은 임베디드 컴퓨터 시스템, 시스템-온-칩 (SOC), 싱글-보드 컴퓨터 시스템 (SBC) (예, 컴퓨터-온-모듈 (computer-on-module(COM)) 또는 시스템-온-모듈(system-on-module(SOM))), 데스크탑 컴퓨터 시스템, 랩탑 또는 노트북 컴퓨터 시스템, 인터랙티브 키오스크 (interactive kiosk), 메인프레임, 컴퓨터 시스템 메쉬 (mesh of computer systems), 모바일 텔레폰, 퍼스널 디지털 어시스턴트 (PDA), 서버, 태블릿 컴퓨터 시스템, 또는 이러한 것들의 두 개 이상의 조합이 될 수 있다. 적절하다면, 컴퓨터 시스템 13700은 하나 이상의 컴퓨터 시스템 13700을 포함할 수 있는데, 이러한 하나 이상의 컴퓨터 시스템 13700은, 단일 형태이거나 또는 분산 형태일 수 있고, 복수의 위치에 걸쳐있거나, 복수의 기계에 걸쳐있거나, 복수의 데이터 센터에 걸쳐있거나, 또는 하나 이상의 네트워크에서 하나 이상의 클라우드 콤포넌트를 포함할 수 있는 클라우드에 상주한다. 적절하다면, 하나 이상의 컴퓨터 시스템 13700은 실질적인 공간적 또는 시간적 제약없이, 여기에서 기술되거나 도시된 하나 이상의 방법의 하나 이상의 단계를 수행할 수 있다. 한정적인 의미가 아니라 한 예로서, 하나 이상의 컴퓨터 시스템 13700은 실시간으로 또는 배치 모드 (batch mode)로, 여기에서 기술되거나 도시된 하나 이상의 방법의 하나 이상의 단계를 수행할 수 있다. 하나 이상의 컴퓨터 시스템 13700은 적절하다면, 여기에서 기술되거나 도시된 하나 이상의 방법의 하나 이상의 단계를 서로 다른 시간에서 또는 서로 다른 위치에서 수행할 수 있다.
특정 실시예에서, 컴퓨터 시스템 13700은 프로세서 13702, 메모리 13704, 저장소 13706, 입력/출력(I/O) 인터페이스 13708, 통신 인터페이스 13710, 및 버스 13712를 포함한다. 비록 본 개시가 특정한 수의 특정한 콤포넌트를 특정한 배열로 가지는 특정한 컴퓨터 시스템을 기술하고 도시하지만, 본 개시는 어떠한 수의 어떠한 콤포넌트를 어떠한 배열로 가지는 어떠한 적절한 컴퓨터 시스템이라도 고려한다.
특정 실시예에서, 프로세서 13702는 컴퓨터 프로그램을 구성하는 것과 같은 인스트럭션들을 실행하는 하드웨어를 포함한다. 한정적인 의미가 아니라 일 예로서, 인스트럭션을 실행하기 위해, 프로세서 13702는 내부 레지스터, 내부 캐쉬, 메모리 13704, 또는 저장소 13706로부터 인스트럭션을 꺼내고(retrieve or fetch), 인스트럭션을 디코드하고 실행하고, 그 다음, 하나 이상의 결과를 내부 레지스터, 내부 캐쉬, 메모리 13704, 또는 저장소 13706에 기록할 수 있다. 특정 실시예에서, 프로세서 13702는, 데이터, 인스트럭션, 또는 어드레스를 위한 하나 이상의 내부 캐쉬를 포함할 수 있다. 본 개시는 적절하다면, 어떠한 적절한 수의 어떠한 적절한 내부 캐쉬라도 포함하는 프로세서 13702를 고려한다. 한정적인 의미가 아니라 예로서, 프로세서 13702는 하나 이상의 인스트럭션 캐쉬, 하나 이상의 데이터 캐쉬, 하나 이상의 변환 색인 버퍼(translation lookaside buffer:TLB)를 포함할 수 있다. 인스트럭션 캐쉬에 있는 인스트럭션은 메모리 13704 또는 저장소 13706에 있는 인스트럭션의 복사본일 수 있고, 인스트럭션 캐쉬는 프로세서 13702에 의해 이러한 인스트럭션을 꺼내는 속도를 빠르게 할 수 있다. 데이터 캐쉬에 있는 데이터는, 프로세서 13702에서 실행되는 인스트럭션들의 동작 대상인, 메모리 13704 또는 저장소 13706에 있는 데이터의 복사본이거나, 프로세서 13702에서 실행되는 다음 인스트럭션에 의한 액세스 또는 메모리 13704 또는 저장소 13706로의 기록을 위해 프로세서 13702에서 실행되는 이전 인스트럭션의 결과이거나, 또는 그밖의 적절한 데이터가 될 수 있다. 데이터 캐쉬는 프로세서 13702에 의한 독출 또는 기록 동작의 속도를 빠르게 할 수 있다. TLB 는 프로세서 13702를 위해 가상 어드레스 변환의 속도를 빠르게 할 수 있다. 특정 실시예에서, 프로세서 13702는 데이터, 인스트럭션, 또는 어드레스를 위한 하나 이상의 내부 레지스터를 포함할 수 있다. 본 개시는, 적절하다면, 어떠한 적절한 수의 어떠한 적절한 내부 레지스터라도 포함하는 프로세서 13702를 고려한다. 적절하다면, 프로세서 13702는 하나 이상의 산술 논리 연산 유닛(ALU)을 포함할 수 있거나, 멀티-코어 프로세서(multi-core processor)이거나 또는 하나 이상의 프로세서 13702를 포함할 수 있다. 비록 본 개시는 특정 프로세서를 기술하고 도시하지만, 본 개시는 어떠한 적절한 프로세서라도 고려한다.
특정 실시예에서, 메모리 13704는 프로세서 13702가 실행할 인스트럭션 및 프로세서 13702가 연산할 데이터를 저장하기 위한 메인 메모리를 포함한다. 한정적인 의미가 아니라 일 예로서, 컴퓨터 13700은 저장소 13706 또는 예를 들어 또다른 컴퓨터 시스템 13700 과 같은 또다른 소오스로부터 메모리 13704로 인스트럭션을 적재할 수 있다. 프로세서 13702는 그 다음 인스트럭션을 메모리 13704로부터 내부 레지스터 또는 내부 캐쉬로 적재할 수 있다. 인스트럭션을 실행하기 위해, 프로세서 13702는 내부 레지스터 또는 내부 캐쉬로부터 인스트럭션을 꺼내고 인스트럭션을 디코드할 수 있다. 인스트럭션을 실행하는 동안 또는 실행하고 나서, 프로세서 13702는 중간 또는 최종 결과일 수 있는 하나 이상의 결과를 내부 레지스터 또는 내부 캐쉬에 기록할 수 있다. 프로세서 13702는 그 다음 하나 이상의 결과를 메모리 13704에 기록할 수 있다. 특정 실시예에서, 프로세서 13702는 저장소 13706 이나 그밖의 다른 곳과는 달리, 하나 이상의 내부 레지스터, 내부 캐쉬 또는 메모리 13704에서는 인스트럭션만을 실행하고, 또한, 저장소 13706 이나 그밖의 다른 곳과는 달리, 하나 이상의 내부 레지스터, 내부 캐쉬 또는 메모리 13704에서는 데이터만을 연산할 수 있다. 하나 이상의 메모리 버스 (각 메모리 버스는 어드레스 버스와 데이터 버스를 포함할 수 있다)는 프로세서 13702를 메모리 13704에 연결시킬 수 있다. 버스 13712는 이하에서 기술되는 바와 같이 하나 이상의 메모리 버스를 포함할 수 있다. 특정 실시예에서, 하나 이상의 메모리 관리 유닛(MMU)은 프로세서 13702와 메모리 13704 사이에 상주하고, 프로세서 13702에 의해 요구된 메모리 13704로의 액세스를 용이하게 한다. 특정 실시예에서, 메모리 13704는 랜덤 액세스 메모리(RAM)을 포함한다. 이러한 RAM은, 필요에 따라, 휘발성 메모리일 수 있고, 또한, 이러한 RAM은 필요에 따라, 동적 램(Dynamic RAM:DRAM) 또는 정적 램(Static RAM:SRAM)이 될 수 있다. 또한, 필요에 따라 이러한 RAM은 싱글 포트 (single-ported) 또는 멀티 포트 (multi-ported) RAM이 될 수 있다. 본 개시는 어떠한 적절한 RAM도 고려한다. 메모리 13704는 적절하다면 하나 이상의 메모리 13704를 포함할 수 있다. 비록 본 개시는 특정 메모리를 기술하고 도시하지만, 본 개시는 어떠한 적절한 메모리도 고려한다.
특정 실시예에서, 저장소 13706는 데이터 또는 인스트럭션을 위한 대용량 저장소를 포함한다. 한정적인 의미가 아니라 일 예로서, 저장소 13706는 하드 디스크 드라이브(HDD), 플로피 디스크 드라이브, 플래쉬 메모리, 광학 디스크, 광자기 디스크, 자기 테잎 또는 범용 직렬 버스(USB) 드라이브 또는 이들중 두개 이상의 조합을 포함할 수 있다. 저장소 13706는, 적절하다면, 제거가능한 또는 비-제거가능한 (또는 고정된) 매체를 포함할 수 있다. 저장소 13706은, 적절하다면, 컴퓨터 시스템 13700의 내부 또는 외부에 있을 수 있다. 특정 실시예에서, 저장소 13707은 비-휘발성, 고체 상태 메모리 (solid-state memory) 이다. 특정 실시예에서, 재생전용 메모리(ROM) 이다. 적절하다면, 이러한 ROM은 마스크-프로그램된 ROM (mask-programmed ROM), 프로그래머블 ROM (PROM), 이레이저블 PROM (EPROM), 전기적 이레이저블 PROM (EEPROM), 전기적 변경가능 ROM (electrically alterable ROM:EAROM) 또는 플래쉬 메모리 또는 이들중 두개 이상의 조합이 될 수 있다. 본 개시는 어떠한 적절한 물리적 형태를 가지는 대용량 저장소 13706도 고려한다. 저장소 13706는, 적절하다면, 프로세서 13702와 저장소 13706 사이의 통신을 용이하게 하는 하나 이상의 저장 제어 유닛을 포함할 수 있다. 적절하다면, 저장소 13706는 하나 이상의 저장소 13706을 포함할 수 있다. 비록 본 개시가 특정한 저장소를 기술하고 도시하지만, 본 개시는 어떠한 적절한 저장소 라도 고려한다.
특정 실시예에서, I/O 인터페이스 13708은 컴퓨터 시스템 13700과 하나이상의 I/O 디바이스 사이의 통신을 위한 하나 이상의 인터페이스를 제공하는 하드웨어, 소프트웨어, 또는 이들 양자를 포함한다. 컴퓨터 시스템 13700은, 적절하다면, 하나 이상의 I/O 디바이스를 포함한다. 하나 이상의 I/O 디바이스는 사람과 컴퓨터 시스템 13700 사이의 통신을 가능하게 할 수 있다. 한정적인 의미가 아니라 일 예로서, I/O 디바이스는, 키보드, 키패드, 마이크로폰, 모니터, 마우스, 프린터, 스캐너, 스피커, 정지 카메라, 스타일러스, 태블릿, 터치 스크린, 트랙볼, 비디오 카메라, 또다른 적절한 I/O 디바이스 또는 이들중 둘 이상의 조합을 포함할 수 있다. I/O 디바이스는 하나 이상의 센서를 포함할 수 있다. 본 개시는 어떠한 적절한 I/O 디바이스와 어떠한 적절한 I/O 인터페이스라도 고려한다. 적절하다면, I/O 인터페이스 13708는 프로세서 13702가 하나 이상의 I/O 디바이스를 구동하는 것을 가능하게 하는 하나 이상의 디바이스 또는 소프트웨어 드라이브를 포함할 수 있다. I/O 인터페이스 13708은, 적절하다면, 하나 이상의 I/O 인터페이스를 포함할 수 있다. 비록 본 개시가 특정한 I/O 인터페이스를 기술하고 도시하지만, 본 개시는 어떠한 적절한 I/O 인터페이스라도 고려한다.
특정 실시예에서, 통신 인터페이스 13710는 컴퓨터 시스템 13700과 하나 이상의 다른 컴퓨터 시스템 13700 또는 하나 이상의 네트워크 사이의 통신 (예를 들어, 패킷-기반 통신)을 위한 하나 이상의 인터페이스를 제공하는, 하드웨어, 소프트웨어 또는 이들 양자를 포함한다. 한정적인 의미가 아니라 일 예로서, 통신 인터페이스 13710는 이더넷 또는 다른 유선 기반 네트워크와 통신을 위한 네트워크 인터페이스 콘트롤러(NIC) 또는 네트워크 어댑터, 또는 WI-FI 네트워크와 같은 무선 네트워크와 통신하기 위한 무선 NIC (WNIC) 또는 무선 어댑터를 포함할 수 있다. 본 개시는 어떠한 적절한 네트워크 및 어떠한 적절한 통신 인터페이스 13710 라도 고려한다. 한정적인 의미가 아니라 일 예로서, 컴퓨터 시스템 13700은 애드혹 네트워크 (ad hoc network), 퍼스널 에어리어 네트워크(PAN), 로컬 에어리어 네트워크(LAN), 와이드 에어리어 네트워크(WAN), 메트로폴리탄 에어리어 네트워크(MAN), 바디 에어리어 네트워크(BAN), 또는 인터넷의 하나 이상의 부분, 또는 이둘중 두개 이상의 조합과 통신할 수 있다. 이들 네트워크중 하나 이상의 네트워크의 하나 이상의 부분은 유선 또는 무선일 수 있다. 예로서, 컴퓨터 시스템 13700은 예컨대 블루투스 WPAN과 같은 무선 PAN (WPAN), WI-FI 네트워크, WI-MAX 네트워크, 예컨대 모바일 통신을 위한 글로벌 시스템 네트워크 (Global system for Mobile communication(GSM) network)와 같은 셀룰러 텔레폰 네트워크, 또는 다른 적절한 무선 네트워크, 또는 이들중 두 개 이상의 조합과 통신할 수 있다. 컴퓨터 시스템 13700은 필요하다면, 이들 네트워크중 어떤 네트워크를 위한 어떠한 적절한 통신 인터페이스 13710를 포함할 수 있다. 통신 인터페이스 13710은 적절하다면, 하나 이상의 통신 인터페이스 13710를 포함할 수 있다. 비록 본 개시가 특정한 통신 인터페이스를 기술하고 도시하지만, 본 개시는 어떠한 적절한 통신 인터페이스라도 고려한다.
특정 실시예에서, 버스 13712는 컴퓨터 시스템 13700의 콤포넌트들을 서로 결합시키는 하드웨어, 소프트웨어, 또는 양자를 포함한다. 한정적인 의미가 아니라 일 예로서, 버스 13712는 가속 그래픽 포트 (Accelerated Graphics Port:AGP) 또는 다른 그래픽 버스, 향상된 산업 표준 아키텍쳐 버스 (Enhanced Industry Standard Architecture(EISA) bus), 프런트-사이드 버스 (front-side bus(FSB)), HYPERTRANSPORT (HT) 인터커넥트, 산업 표준 아키텍쳐 버스 (Industry Standard Architecture (ISA) bus), INFINIBAND 인터커넥트, 로우-핀-카운트 버스 (low-pin-count (LPC) bus), 메모리 버스, 마이크로 채널 아키텍쳐 버스 (Micro Channel Architecture (MCA) bus), 주변 콤포넌트 인터커넥트 버스 (Peripheral Component Interconnect (PCI) bus), PCI-익스프레스 버스 (PCI-Express (PCIe) bus), 시리얼 어드밴스 테크놀로지 부착 버스 (Serial Advanced Technology attachement (SATA) bus), 비디오 전자 표준 연합 로컬 버스 (Video Electronics Standard Association local (VLB) bus), 또는 또다른 적절한 버스, 또는 이들 중 두개 이상의 조합을 포함할 수 있다. 버스 13712는 적절하다면 하나 이상의 버스 13712를 포함할 수 있다. 비록 본 개시가 특정한 버스를 기술하고 도시하지만, 본 개시는 어떠한 적절한 버스 또는 인터커넥트를 고려한다.
여기에서, 컴퓨터 판독가능 비-일시적 (non-transitory) 저장 매체는 하나 이상이 반도체-기반 또는 다른 집적 회로(IC)(예컨대, 필드 프로그래머블 게이트 어레이 (field-programmable gate array (FPGAs)) 또는 특수 용도 집적 회로 (application-specific ICs(ASICs))), 하드 디스크 드라이브(HDD), 하이브리드 하드 드라이브 (HHD), 광 디스크, 광 디스크 드라이브 (ODDs), 광-자기 디스크, 광-자기 드라이브, 플로피 디스켓, 플로피 디스크 드라이브(FDD), 자기 테잎, 고체 상태 드라이브(SSD), 램 드라이브, SECURE DIGITAL 카드 또는 드라이브, 다른 적절한 컴퓨터 판독가능 비-일시적 저장 매체 또는 이들중 두개이상의 적절한 조합을 포함할 수 있다. 컴퓨터 판독가능 비-일시적 저장 매체는 휘발성, 비휘발성, 또는 휘발성과 비휘발성의 조합이 될 수 있다.
여기에서, "또는"은 명백하게 달리 표시되지 않는 한 또는 컨텍스트에 의해 다르게 표시되지 않는 한, 포함하는 의미이고 배타적인 의미가 아니다. 따라서, 여기에서 "A 또는 B"는, 명백하게 달리 표시되지 않는 한 또는 컨텍스트에 의해 다르게 표시되지 않는 한, "A, B, 또는 양자"를 의미한다. 또한, "및"은, 명백하게 달리 표시되지 않는 한 또는 컨텍스트에 의해 다르게 표시되지 않는 한, 연대 (joint and several)의 의미이다. 따라서, 여기서 "A 및 B는, 명백하게 달리 표시되지 않는 한 또는 컨텍스트에 의해 다르게 표시되지 않는 한, "A 및 B, 연대하여 (jointly and severally)"를 의미한다.
본 개시의 범위는 본 기술분야의 당업자가 이해하는, 여기에서 기술되거나 도시된 실시예들에 대한 모든 변경, 대체, 변형, 개조 및 수정을 포함한다. 본 개시의 범위는, 여기에서 기술되거나 도시된 실시예들에 한정되지 않는다. 또한, 본 개시가 특정 콤포넌트, 엘리먼트, 특징, 기능, 동작, 또는 단계를 포함하는 각 실시예를 기술하고 도시하지만, 이러한 실시예들의 어느 것도, 본 기술분야의 당업자가 이해하는, 여기에서 기술되거나 도시된 특정 콤포넌트, 엘리먼트, 특징, 기능, 동작, 또는 단계들의 어떠한 조합 또는 치환을 포함할 수 있다. 또한, 첨부된 청구항들에서, 특정 기능을 수행하기 위해 적응된(adapted to), 배열된(arranged to), 할 수 있는(capable of), 구성된(configured to), 가능하도록 하는(enabled to), 동작가능한(operable to), 또는 동작하는 (operative) 장치 또는 시스템 또는 장치 또는 시스템의 콤포넌트는, 그 장치, 시스템 또는 콤포넌트가 그렇게 적응되어 있고, 배열되어 있고, 할 수 있고, 구성되고, 가능하도록 되고, 동작가능하고 또는 동작하는 한, 특정한 기능이 활성화 되어 있는지, 켜져있는지, 또는 잠금해제되었는지에 관계없이 그 장치, 시스템, 콤포넌트를 포함한다.
본 개시가 착용식 디바이스의 컨텍스트에서 특정한 구조, 특징, 상호작용, 및 기능성을 기술하지만, 본 개시는, 이러한 구조, 특징, 상호작용, 또는 기능성이, 적절하다면, 어떠한 다른 적절한 전자 디바이스(예, 스마트 폰, 태블릿, 카메라 또는 개인 컴퓨팅 디바이스)에 적용되고, 이러한 전자 디바이스를 위해 사용되고, 이러한 전자 디바이스에서 사용될 수 있음을 고려한다.

Claims (30)

  1. 장치에 있어서,
    디스플레이,
    회전 엘리먼트,
    하나 이상의 프로세서, 및
    상기 하나 이상의 프로세서에 의해 실행가능한 인스트럭션들을 포함하는, 상기 하나 이상의 프로세서에 연결된 메모리를 포함하고,
    상기 하나 이상의 프로세서는 인스트럭션들을 실행할 때,
    그래픽 유저 인터페이스(GUI) 계층의 제1레벨에 속하고, 상기 장치의 고정 모드에 대응하는 제1스크린을 상기 장치의 상기 디스플레이에 제공하되,
    상기 GUI 계층의 제1레벨은,
    복수의 제1스크린들로서, 상기 복수의 제1스크린들의 각각은 상기 장치의 고정 모드에 대응하고, 상기 GUI 계층의 상기 제1레벨 내에서 선택가능하고,
    상기 복수의 제1스크린들과는 별도의 그룹인 복수의 제2스크린들로서, 상기 복수의 제2스크린들의 각각은 상기 장치의 가변 컨텍스트 모드에 대응하고, 상기 장치의 현재 컨텍스트에 따라 가변하는 상기 GUI 계층의 상기 제1레벨 내에서 선택가능하고,
    상기 복수의 제1스크린들과 상기 복수의 제2스크린들 간의 네비게이션이 홈 스크린을 통과하도록 상기 복수의 제1스크린들과 상기 복수의 제2스크린들을 분리시키는 상기 홈 스크린을 포함하고,
    상기 제1스크린에서의 전이 이벤트에 응답하여, 상기 홈 스크린을 거쳐서, 상기 GUI 계층의 제1레벨에 속하고, 상기 장치의 가변 컨텍스트 모드에 대응하는 제2스크린을 제공하고,
    상기 제1스크린에서의 선택 이벤트에 응답하여, 상기 GUI 계층의 제2레벨에 속하고, 상기 장치의 상기 고정 모드의 제1기능에 대응하는 제3스크린을 제공하고,
    상기 제3스크린에서의 전이 이벤트에 응답하여, 상기 GUI 계층의 제2레벨에 속하고, 상기 장치의 상기 고정 모드의 제2기능에 대응하는 제4스크린을 제공하고,
    상기 홈 스크린에서 제1방향과 관련된 하나 이상의 전이 이벤트로서, 상기 제1방향으로 상기 회전 엘리먼트의 회전을 포함하는, 하나 이상의 전이 이벤트에 응답하여, 상기 장치의 가변 컨텍스트 모드에 관련된 스크린들중 하나를 제공하고,
    상기 홈 스크린에서 제2방향과 관련된 하나 이상의 전이 이벤트로서, 상기 제2방향으로 상기 회전 엘리먼트의 회전을 포함하는, 하나 이상의 전이 이벤트에 응답하여, 상기 장치의 고정 모드에 관련된 스크린들중 하나를 제공하는, 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 장치를 사용자의 몸에 결합하도록 구성된 밴드, 및
    상기 밴드 내에 또는 상기 밴드 상에 있는 광학 센서를 더 포함하는, 장치.
  4. 제3항에 있어서,
    상기 전이 이벤트는 상기 회전 엘리먼트의 시계방향 또는 반시계방향 회전을 포함하는, 장치.
  5. 제3항에 있어서,
    상기 디스플레이는 터치-센서티브 디스플레이이고,
    상기 선택 이벤트는 상기 디스플레이 상에서의 터치 입력을 포함하는, 장치.
  6. 제5항에 있어서,
    상기 터치 입력은 상기 디스플레이를 두드리는 것(tapping)을 포함하는, 장치.
  7. 제1항에 있어서,
    상기 선택 이벤트는 상기 회전 엘리먼트를 누르는 것을 포함하는, 장치.
  8. 제1항에 있어서,
    상기 고정 모드는 상기 장치와 페어링된(paired) 텔레비전을 원격으로 제어하는 애플리케이션을 포함하는, 장치.
  9. 제8항에 있어서,
    상기 제1기능은 상기 텔레비전의 채널을 변경하는 것을 포함하고,
    상기 제2기능은 상기 텔레비전의 볼륨을 조정하는 것을 포함하는, 장치.
  10. 제1항에 있어서,
    상기 고정 모드는 카메라 애플리케이션을 포함하는, 장치.
  11. 제10항에 있어서,
    상기 제1기능은 이미지 캡쳐를 포함하고,
    상기 제2기능은 줌을 포함하는, 장치.
  12. 컴퓨팅 디바이스에 의해 수행되는 방법에 있어서,
    그래픽 유저 인터페이스(GUI) 계층의 제1레벨에 속하고, 장치의 고정 모드에 대응하는 제1스크린을 상기 장치의 디스플레이에 제공하되,
    상기 GUI 계층의 제1레벨은,
    복수의 제1스크린들로서, 상기 복수의 제1스크린들의 각각은 상기 장치의 고정 모드에 대응하고, 상기 GUI 계층의 상기 제1레벨 내에서 선택가능하고,
    상기 복수의 제1스크린들과는 별도의 그룹인 복수의 제2스크린들로서, 상기 복수의 제2스크린들의 각각은 상기 장치의 가변 컨텍스트 모드에 대응하고, 상기 장치의 현재 컨텍스트에 따라 가변하는 상기 GUI 계층의 상기 제1레벨 내에서 선택가능하고,
    상기 복수의 제1스크린들과 상기 복수의 제2스크린들 간의 네비게이션이 홈 스크린을 통과하도록 상기 복수의 제1스크린들과 상기 복수의 제2스크린들을 분리시키는 상기 홈 스크린을 포함하는, 제공 동작,
    상기 제1스크린에서의 전이 이벤트에 응답하여, 상기 홈 스크린을 거쳐서, 상기 GUI 계층의 제1레벨에 속하고, 상기 장치의 가변 컨텍스트 모드에 대응하는 제2스크린을 제공하는 동작,
    상기 제1스크린에서의 선택 이벤트에 응답하여, 상기 GUI 계층의 제2레벨에 속하고, 상기 장치의 상기 고정 모드의 제1기능에 대응하는 제3스크린을 제공하는 동작,
    상기 제3스크린에서의 전이 이벤트에 응답하여, 상기 GUI 계층의 제2레벨에 속하고, 상기 장치의 상기 고정 모드의 제2기능에 대응하는 제4스크린을 제공하는 동작,
    상기 홈 스크린에서 제1방향과 관련된 하나 이상의 전이 이벤트로서, 상기 제1방향으로 회전 엘리먼트의 회전을 포함하는, 하나 이상의 전이 이벤트에 응답하여, 상기 장치의 가변 컨텍스트 모드에 관련된 스크린들중 하나를 제공하는 동작, 및
    상기 홈 스크린에서 제2방향과 관련된 하나 이상의 전이 이벤트로서, 상기 제2방향으로 상기 회전 엘리먼트의 회전을 포함하는, 하나 이상의 전이 이벤트에 응답하여, 상기 장치의 고정 모드에 관련된 스크린들중 하나를 제공하는 동작을 포함하는, 방법.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
KR1020130141778A 2012-11-20 2013-11-20 착용식 전자 디바이스를 위한 전이 및 상호작용 모델 KR102186456B1 (ko)

Applications Claiming Priority (22)

Application Number Priority Date Filing Date Title
US201261728773P 2012-11-20 2012-11-20
US201261728765P 2012-11-20 2012-11-20
US201261728770P 2012-11-20 2012-11-20
US61/728,773 2012-11-20
US61/728,770 2012-11-20
US61/728,765 2012-11-20
US201361773803P 2013-03-06 2013-03-06
US61/773,803 2013-03-06
US201361773815P 2013-03-07 2013-03-07
US201361773813P 2013-03-07 2013-03-07
US201361773817P 2013-03-07 2013-03-07
US61/773,813 2013-03-07
US61/773,815 2013-03-07
US61/773,817 2013-03-07
US201361775688P 2013-03-11 2013-03-11
US201361775686P 2013-03-11 2013-03-11
US201361775687P 2013-03-11 2013-03-11
US61/775,687 2013-03-11
US61/775,688 2013-03-11
US61/775,686 2013-03-11
US14/015,947 US11237719B2 (en) 2012-11-20 2013-08-30 Controlling remote electronic device with wearable electronic device
US14/015,873 2013-08-30

Publications (2)

Publication Number Publication Date
KR20140064690A KR20140064690A (ko) 2014-05-28
KR102186456B1 true KR102186456B1 (ko) 2020-12-03

Family

ID=49641554

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020130141779A KR102186458B1 (ko) 2012-11-20 2013-11-20 착용식 전자 디바이스에서 gui 전이
KR1020130141778A KR102186456B1 (ko) 2012-11-20 2013-11-20 착용식 전자 디바이스를 위한 전이 및 상호작용 모델
KR1020130141777A KR102087989B1 (ko) 2012-11-20 2013-11-20 착용식 전자 디바이스에 의한 원격 전자 디바이스의 제어

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020130141779A KR102186458B1 (ko) 2012-11-20 2013-11-20 착용식 전자 디바이스에서 gui 전이

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020130141777A KR102087989B1 (ko) 2012-11-20 2013-11-20 착용식 전자 디바이스에 의한 원격 전자 디바이스의 제어

Country Status (7)

Country Link
US (2) US11237719B2 (ko)
EP (2) EP2733597B1 (ko)
JP (3) JP6330995B2 (ko)
KR (3) KR102186458B1 (ko)
CN (1) CN104919421B (ko)
AU (1) AU2013260681B2 (ko)
WO (1) WO2014081175A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160105999A (ko) * 2015-03-01 2016-09-09 삼성전자주식회사 전원 제어 방법 및 장치

Families Citing this family (169)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7509588B2 (en) 2005-12-30 2009-03-24 Apple Inc. Portable electronic device with interface reconfiguration mode
US10313505B2 (en) 2006-09-06 2019-06-04 Apple Inc. Portable multifunction device, method, and graphical user interface for configuring and displaying widgets
US8519964B2 (en) 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8619038B2 (en) 2007-09-04 2013-12-31 Apple Inc. Editing interface
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10788976B2 (en) 2010-04-07 2020-09-29 Apple Inc. Device, method, and graphical user interface for managing folders with multiple pages
US20110252349A1 (en) 2010-04-07 2011-10-13 Imran Chaudhri Device, Method, and Graphical User Interface for Managing Folders
DE102015110633A1 (de) * 2015-07-01 2017-01-05 Inventus Engineering Gmbh Haptische Bedieneinrichtung und Verfahren
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US11157436B2 (en) 2012-11-20 2021-10-26 Samsung Electronics Company, Ltd. Services associated with wearable electronic device
US9477313B2 (en) 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
US10185416B2 (en) 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
US8994827B2 (en) 2012-11-20 2015-03-31 Samsung Electronics Co., Ltd Wearable electronic device
US11372536B2 (en) 2012-11-20 2022-06-28 Samsung Electronics Company, Ltd. Transition and interaction model for wearable electronic device
US10423214B2 (en) 2012-11-20 2019-09-24 Samsung Electronics Company, Ltd Delegating processing from wearable electronic device
US10551928B2 (en) 2012-11-20 2020-02-04 Samsung Electronics Company, Ltd. GUI transitions on wearable electronic device
US11237719B2 (en) * 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
US9038142B2 (en) 2013-02-05 2015-05-19 Google Inc. Authorization flow initiation using short-term wireless communication
CN104969289B (zh) 2013-02-07 2021-05-28 苹果公司 数字助理的语音触发器
USD709874S1 (en) * 2013-03-15 2014-07-29 Samsung Electronics Co., Ltd. Electronic device
USD711872S1 (en) * 2013-03-15 2014-08-26 Samsung Electronics Co., Ltd. Electronic device
US9696802B2 (en) * 2013-03-20 2017-07-04 Microsoft Technology Licensing, Llc Short range wireless powered ring for user interaction and sensing
US9753436B2 (en) 2013-06-11 2017-09-05 Apple Inc. Rotary input mechanism for an electronic device
EP3014400B1 (en) 2013-08-09 2020-06-03 Apple Inc. Tactile switch for an electronic device
US9053509B2 (en) * 2013-08-29 2015-06-09 Google Inc. Recommended modes of transportation for achieving fitness goals
JP6393325B2 (ja) * 2013-10-30 2018-09-19 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 関連するユーザインターフェースオブジェクトの表示
KR20150065336A (ko) * 2013-12-05 2015-06-15 삼성전자주식회사 전자 장치의 제스처 인식 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
US10048802B2 (en) 2014-02-12 2018-08-14 Apple Inc. Rejection of false turns of rotary inputs for electronic devices
US10691332B2 (en) 2014-02-28 2020-06-23 Samsung Electronics Company, Ltd. Text input on an interactive display
KR102206351B1 (ko) * 2014-04-28 2021-01-22 삼성전자 주식회사 전자 장치 및 이의 작업 연계 방법
US9594427B2 (en) 2014-05-23 2017-03-14 Microsoft Technology Licensing, Llc Finger tracking
US9324067B2 (en) 2014-05-29 2016-04-26 Apple Inc. User interface for payments
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9966065B2 (en) 2014-05-30 2018-05-08 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9526983B2 (en) * 2014-06-04 2016-12-27 Chih-Feng Lin Virtual reality avatar traveling control system and virtual reality avatar traveling control method
AU2014396908B2 (en) * 2014-06-09 2017-08-10 Razer (Asia-Pacific) Pte. Ltd. Radio communication devices and methods for controlling a radio communication device
US9497703B2 (en) 2014-06-09 2016-11-15 Razer (Asia-Pacific) Pte. Ltd. Radio communication devices and methods for controlling a radio communication device
WO2015190992A1 (en) 2014-06-09 2015-12-17 Razer (Asia-Pacific) Pte. Ltd. Radio communication systems and radio communication methods
US9740396B1 (en) * 2014-06-25 2017-08-22 Amazon Technologies, Inc. Adaptive gesture recognition
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10491865B2 (en) 2014-07-07 2019-11-26 Louis Diep Camera control and image streaming
DE102014214586A1 (de) * 2014-07-24 2016-01-28 Siemens Aktiengesellschaft Bedienvorrichtung
WO2016017956A1 (en) 2014-07-30 2016-02-04 Samsung Electronics Co., Ltd. Wearable device and method of operating the same
KR102397397B1 (ko) * 2014-07-30 2022-05-13 삼성전자주식회사 웨어러블 디바이스 및 웨어러블 디바이스의 동작 방법
KR102287160B1 (ko) * 2014-07-31 2021-08-06 엘지전자 주식회사 웨어러블 디바이스 및 그것의 제어방법
US20160054915A1 (en) * 2014-08-25 2016-02-25 Nuance Communications, Inc. Systems and methods for providing information to a user about multiple topics
KR102130259B1 (ko) * 2014-09-02 2020-07-03 애플 인크. 웨어러블 전자 디바이스
US10066959B2 (en) 2014-09-02 2018-09-04 Apple Inc. User interactions for a mapping application
EP3190469A4 (en) * 2014-09-04 2018-07-18 Sony Corporation Information display device, information display method for same, program, and communication system
US10261674B2 (en) * 2014-09-05 2019-04-16 Microsoft Technology Licensing, Llc Display-efficient text entry and editing
CN106664785B (zh) * 2014-09-11 2019-11-15 飞利浦灯具控股公司 确定用于活动的适当照明的方法
KR101660587B1 (ko) * 2014-09-16 2016-10-10 엘지전자 주식회사 이동단말기 및 그 제어방법
US9582076B2 (en) 2014-09-17 2017-02-28 Microsoft Technology Licensing, Llc Smart ring
KR102296184B1 (ko) * 2014-10-01 2021-08-31 삼성전자주식회사 이동 통신 시스템에서 통신 및 디스커버리 신호 송신 기법
JP6415592B2 (ja) 2014-11-12 2018-10-31 京セラ株式会社 ウェアラブル装置
US9813906B2 (en) 2014-11-12 2017-11-07 Qualcomm Incorporated Mobile device to provide enhanced security based upon contextual sensor inputs
US11327711B2 (en) * 2014-12-05 2022-05-10 Microsoft Technology Licensing, Llc External visual interactions for speech-based devices
US20160187995A1 (en) * 2014-12-30 2016-06-30 Tyco Fire & Security Gmbh Contextual Based Gesture Recognition And Control
KR101677654B1 (ko) * 2015-02-03 2016-11-18 엘지전자 주식회사 와치 타입 단말기
US20160259416A1 (en) * 2015-03-03 2016-09-08 Immersion Corporation Wearable device surface haptics interaction
US10379497B2 (en) 2015-03-07 2019-08-13 Apple Inc. Obtaining and displaying time-related data on an electronic watch
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
JP6756087B2 (ja) * 2015-03-10 2020-09-16 カシオ計算機株式会社 生体認証装置およびその駆動制御方法
WO2016153207A1 (ko) * 2015-03-25 2016-09-29 엘지전자 주식회사 이동 단말기 및 그 제어 방법
JP6325482B2 (ja) * 2015-04-06 2018-05-16 バンドー化学株式会社 静電容量型センサシート及びセンサ装置
WO2016171467A1 (en) 2015-04-23 2016-10-27 Samsung Electronics Co., Ltd. Electronic device including rotary member and display method thereof
KR102406102B1 (ko) * 2015-04-24 2022-06-10 삼성전자주식회사 전자 장치 및 그의 표시 방법
KR20160128120A (ko) * 2015-04-28 2016-11-07 엘지전자 주식회사 와치 타입 단말기 및 그것의 제어 방법
KR102356449B1 (ko) 2015-05-13 2022-01-27 삼성전자주식회사 회전 입력에 따른 추가 정보 제공 방법 및 장치
US11327640B2 (en) 2015-06-05 2022-05-10 Apple Inc. Providing complications on an electronic device
US9940637B2 (en) 2015-06-05 2018-04-10 Apple Inc. User interface for loyalty accounts and private label accounts
US10572571B2 (en) * 2015-06-05 2020-02-25 Apple Inc. API for specifying display of complication on an electronic watch
US10175866B2 (en) * 2015-06-05 2019-01-08 Apple Inc. Providing complications on an electronic watch
US11373168B2 (en) * 2015-06-05 2022-06-28 Apple Inc. Value added services polling
US20160358133A1 (en) 2015-06-05 2016-12-08 Apple Inc. User interface for loyalty accounts and private label accounts for a wearable device
US10386941B2 (en) 2015-06-16 2019-08-20 Intel Corporation Gyratory sensing system to enhance wearable device user experience via HMI extension
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10166123B2 (en) * 2015-06-29 2019-01-01 International Business Machines Corporation Controlling prosthetic devices with smart wearable technology
CN107850922A (zh) * 2015-07-16 2018-03-27 皇家飞利浦有限公司 圆形用户接口
US10114450B2 (en) 2015-08-31 2018-10-30 Semiconductor Energy Laboratory Co., Ltd. Information processing device
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) * 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
JP6652353B2 (ja) * 2015-09-09 2020-02-19 任天堂株式会社 通信装置および電池蓋
CN105182539B (zh) * 2015-09-25 2018-08-10 联想(北京)有限公司 电子设备和显示方法
KR102548687B1 (ko) 2015-10-07 2023-06-28 삼성전자주식회사 전자 장치에서 실행된 어플리케이션을 제어하는 웨어러블 전자 장치 및 방법
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
CN105573495B (zh) * 2015-12-14 2020-06-23 联想(北京)有限公司 一种信息处理方法及穿戴式设备
US9913050B2 (en) * 2015-12-18 2018-03-06 Cochlear Limited Power management features
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US20170189824A1 (en) 2016-01-04 2017-07-06 Sphero, Inc. Modular sensing device utilized with autonomous self-propelled device
US20170193302A1 (en) * 2016-01-05 2017-07-06 Daqri, Llc Task management system and method using augmented reality devices
KR102542913B1 (ko) * 2016-01-15 2023-06-14 삼성전자주식회사 회전체를 구비한 전자 장치 및 이의 동작 방법
KR102485356B1 (ko) 2016-02-02 2023-01-06 삼성전자주식회사 사용자 인터페이싱 방법 및 이를 수행하는 전자 장치
WO2017134541A1 (en) 2016-02-03 2017-08-10 Semiconductor Energy Laboratory Co., Ltd. Information processing device
WO2017165224A1 (en) * 2016-03-22 2017-09-28 Joia Tech, Inc. Systems and methods for wearable technology with creative expression
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
US11816325B2 (en) 2016-06-12 2023-11-14 Apple Inc. Application shortcuts for carplay
US10061399B2 (en) 2016-07-15 2018-08-28 Apple Inc. Capacitive gap sensor ring for an input device
US10019097B2 (en) 2016-07-25 2018-07-10 Apple Inc. Force-detecting input structure
KR101811613B1 (ko) * 2016-08-18 2017-12-26 엘지전자 주식회사 이동 단말기 및 그 제어방법
US10860199B2 (en) 2016-09-23 2020-12-08 Apple Inc. Dynamically adjusting touch hysteresis based on contextual data
CN106656689B (zh) * 2016-10-17 2018-10-30 珠海格力电器股份有限公司 一种基于终端的智能家居的控制方法和终端
US20180150443A1 (en) * 2016-11-25 2018-05-31 Google Inc. Application program interface for managing complication data
KR102661703B1 (ko) * 2016-12-23 2024-04-29 삼성전자주식회사 전자 장치 및 그의 제어 방법
CN108255545B (zh) * 2016-12-28 2022-09-02 阿里巴巴集团控股有限公司 组件间的功能调用方法、装置及组件化架构系统
GB2561220A (en) * 2017-04-06 2018-10-10 Sony Corp A device, computer program and method
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
CN107195311A (zh) * 2017-05-19 2017-09-22 上海喆之信息科技有限公司 一种穿戴式无线音频交互系统
US10313148B1 (en) * 2017-06-29 2019-06-04 State Farm Mutual Automobile Insurance Company Configuring a device for movement-based control
US10355875B1 (en) * 2017-06-29 2019-07-16 State Farm Mutual Automobile Insurance Company Utilizing movement-based control data
US10558278B2 (en) 2017-07-11 2020-02-11 Apple Inc. Interacting with an electronic device through physical movement
US10962935B1 (en) * 2017-07-18 2021-03-30 Apple Inc. Tri-axis force sensor
US11307661B2 (en) 2017-09-25 2022-04-19 Apple Inc. Electronic device with actuators for producing haptic and audio output along a device housing
CN108063811B (zh) * 2017-12-12 2024-03-26 欧普照明股份有限公司 智能设备入网跟踪方法及部件
EP3735629A4 (en) * 2018-01-03 2021-10-06 Grayhill, Inc. TOUCH ENCODER, TOUCH PANEL AND INPUT PROCEDURE EDITOR WITH INTEGRATED DEVELOPMENT ENVIRONMENT AND PROCEDURE FOR IT
WO2019207472A1 (en) * 2018-04-23 2019-10-31 Adari Swarna Kumari Smart wearable ring based wireless transaction system and method thereof
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10757491B1 (en) 2018-06-11 2020-08-25 Apple Inc. Wearable interactive audio device
US11360440B2 (en) 2018-06-25 2022-06-14 Apple Inc. Crown for an electronic watch
US11561515B2 (en) 2018-08-02 2023-01-24 Apple Inc. Crown for an electronic watch
CN211293787U (zh) 2018-08-24 2020-08-18 苹果公司 电子表
CN209625187U (zh) 2018-08-30 2019-11-12 苹果公司 电子手表和电子设备
US11334032B2 (en) 2018-08-30 2022-05-17 Apple Inc. Electronic watch with barometric vent
US11016587B2 (en) 2018-09-11 2021-05-25 Apple Inc. Watch crown haptic support to provide detent-like operation
US11561144B1 (en) * 2018-09-27 2023-01-24 Apple Inc. Wearable electronic device with fluid-based pressure sensing
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US20220001236A1 (en) * 2018-10-09 2022-01-06 Brian Francis Mooney Coaching, assessing or analysing unseen processes in intermittent high-speed human motions, including golf swings
WO2020080650A1 (en) 2018-10-16 2020-04-23 Samsung Electronics Co., Ltd. Apparatus and method of operating wearable device
US11194299B1 (en) 2019-02-12 2021-12-07 Apple Inc. Variable frictional feedback device for a digital crown of an electronic watch
USD930678S1 (en) * 2019-02-18 2021-09-14 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
CN109814728B (zh) * 2019-04-08 2024-02-27 重庆公共运输职业学院 小型设备的局部转向结构及磁吸式指环穿戴结构
CN114399014A (zh) 2019-04-17 2022-04-26 苹果公司 无线可定位标签
US11675476B2 (en) 2019-05-05 2023-06-13 Apple Inc. User interfaces for widgets
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
CN111953081A (zh) * 2019-05-14 2020-11-17 法雷奥舒适驾驶助手公司 集成压电冷却系统的再辐射天线
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
CN110097852B (zh) * 2019-06-20 2020-12-15 京东方科技集团股份有限公司 环形显示面板及其制造方法、环形显示装置
CN110672087B (zh) * 2019-09-02 2023-08-11 湖南凌傲科技有限公司 一种人体跟踪方法及系统
US11714494B2 (en) * 2019-09-26 2023-08-01 Apple Inc. Ring input devices
KR20210039875A (ko) * 2019-10-02 2021-04-12 주식회사 모아이스 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
USD1005303S1 (en) * 2020-01-28 2023-11-21 Iocurrents, Inc. Display screen or portion thereof with animated graphical user interface
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11550268B2 (en) 2020-06-02 2023-01-10 Apple Inc. Switch module for electronic crown assembly
AU2020458145A1 (en) * 2020-07-10 2023-02-02 Telefonaktiebolaget Lm Ericsson (Publ) Method and device for obtaining user input
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11803162B2 (en) * 2020-09-25 2023-10-31 Apple Inc. Watch with sealed housing and sensor module
US20220124917A1 (en) * 2020-10-16 2022-04-21 Shenzhen Sunway Communication Co., Ltd. Apparatus for utilizing regulating component for communicating radio frequency signals
US20220374085A1 (en) * 2021-05-19 2022-11-24 Apple Inc. Navigating user interfaces using hand gestures
CN115375287B (zh) * 2022-10-21 2022-12-20 安徽博诺思信息科技有限公司 一种电网运维作业违章行为监测预警管理系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101078100B1 (ko) * 2002-04-22 2011-10-28 술바누스 캐피탈 엘.엘.씨. 그래픽 유저 인터페이스를 사용하여 컴퓨터 프로그램들을네비게이팅하는 시스템 및 방법
US20120092383A1 (en) * 2009-07-03 2012-04-19 Hysek Joerg Wristwatch with a touch screen and method for displaying on a touch-screen watch

Family Cites Families (529)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2473226A (en) 1946-08-22 1949-06-14 Sheldon Lillian Wrist band
US3062369A (en) 1960-08-30 1962-11-06 Esber E Moubayed Leak-proof variable-volume holder for frozen confections
US3477285A (en) 1967-08-04 1969-11-11 Joseph M Krafft Four-lobed diametral-strain gage
US3915534A (en) 1967-08-15 1975-10-28 Joslyn Mfg & Supply Co Grounded surface distribution apparatus
USD249874S (en) 1976-10-12 1978-10-10 Texas Instruments Incorporated Digital wrist watch
US4757456A (en) 1981-05-19 1988-07-12 Ralph Benghiat Device and method for utility meter reading
US4427303A (en) 1982-06-17 1984-01-24 Hermann Hirsch Leder Und Kunstoffwarenfabrik Electronic wristwatch
USD282914S (en) 1983-10-13 1986-03-11 Jeffrey Maron Indicator watch
USD284949S (en) 1984-04-16 1986-08-05 Kong Hung W Watch frame
USD300828S (en) 1985-08-21 1989-04-25 Divetronic Ag Wrist computer for divers
USD297121S (en) 1985-12-03 1988-08-09 Porsche Design Gmbh Sport watch
US4636047A (en) 1986-03-21 1987-01-13 Green Ronald N Wrist watch mirror accessory
USD302664S (en) 1986-09-08 1989-08-08 Dawson Jr Melvyn H Electronic watch
USD300678S (en) 1987-06-11 1989-04-11 Moulinex, Societe Anonyme Re-charging stand for a cordless electric iron
US4906207A (en) 1989-04-24 1990-03-06 W. L. Gore & Associates, Inc. Dielectric restrainer
USD362396S (en) 1990-06-27 1995-09-19 Chester Edna L Wristwatch
USD335263S (en) 1990-06-28 1993-05-04 Willis John E Wristband
USD351558S (en) 1991-11-06 1994-10-18 Junho Moon Wrist watch
US6400996B1 (en) 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
USD355132S (en) 1992-02-28 1995-02-07 Kenneth Williams Combined sweatband and watch
USD347589S (en) 1992-03-12 1994-06-07 Labate Joseph A Wrist band and mounting for a tape measure
US5418760A (en) 1992-08-18 1995-05-23 Casio Computer Co., Ltd. Electronic devices with a liquid crystal display
USD356960S (en) 1993-02-03 1995-04-04 Societe Nouvelle Chaumet S.A. Watch with band portions
US5361169A (en) 1993-04-29 1994-11-01 Deal Jerry L Diver's mirror
USD365550S (en) 1993-05-17 1995-12-26 Timex Corporation Personal digital assistant to be worn on a wrist
USD366036S (en) 1993-05-28 1996-01-09 Timex Corporation Personal digital assistant to be worn on a wrist
USD386696S (en) 1995-02-16 1997-11-25 Christophe Walch Multipiece plastic wristwatch
US5832296A (en) 1995-04-26 1998-11-03 Interval Research Corp. Wearable context sensitive user interface for interacting with plurality of electronic devices of interest to the user
USD372878S (en) 1995-05-09 1996-08-20 Danny Finnegan Workman's magnetic wrist band for holding small metal objects
JPH0985983A (ja) 1995-09-21 1997-03-31 Canon Inc プリンタ制御装置
US6636635B2 (en) 1995-11-01 2003-10-21 Canon Kabushiki Kaisha Object extraction method, and image sensing apparatus using the method
USD383985S (en) 1995-12-22 1997-09-23 Doris Davenport Combination watch and pager
US6047301A (en) * 1996-05-24 2000-04-04 International Business Machines Corporation Wearable computer
USD384661S (en) 1996-08-28 1997-10-07 Garmin Corporation Portable handheld combination GPS and communication transceiver
CN1125385C (zh) * 1996-09-09 2003-10-22 杨泰和 藉主动动力源转速比例控制的复合动力系统
JP3321053B2 (ja) 1996-10-18 2002-09-03 株式会社東芝 情報入力装置及び情報入力方法及び補正データ生成装置
US20040210479A1 (en) 1996-10-25 2004-10-21 Ipf, Inc. Internet-based brand marketing communication instrumentation network for deploying, installing and remotely programming brand-building server-side driven multi-mode virtual kiosks on the World Wide Web (WWW), and methods of brand marketing communication between brand marketers and consumers using the same
US6747680B1 (en) 1999-12-13 2004-06-08 Microsoft Corporation Speed-dependent automatic zooming interface
AU1519499A (en) 1997-11-07 1999-05-31 Via, Inc. Interactive devices and methods
USD410854S (en) 1997-12-11 1999-06-15 Imus Co., Ltd. Wrist watch
US5915580A (en) 1997-12-24 1999-06-29 Outer Circle Products, Ltd. Container covering
USD401515S (en) 1998-01-23 1998-11-24 Yacov Yida Watch
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
USD404317S (en) 1998-02-05 1999-01-19 Bernice M Cameron Bottle mounted timer
JP2000050133A (ja) 1998-02-10 2000-02-18 Asulab Sa 低電力消費の携帯用物体、特にカメラおよび無線デ―タ伝送手段を含む時計
US6031525A (en) 1998-04-01 2000-02-29 New York University Method and apparatus for writing
JPH11298362A (ja) 1998-04-06 1999-10-29 Sony Corp 小型携帯端末
USD416814S (en) 1998-05-15 1999-11-23 Nancy Lynn Welsh Ring having a time piece mounted within its central finger opening
US6573883B1 (en) 1998-06-24 2003-06-03 Hewlett Packard Development Company, L.P. Method and apparatus for controlling a computing device with gestures
US7854684B1 (en) * 1998-06-24 2010-12-21 Samsung Electronics Co., Ltd. Wearable device
JP3627531B2 (ja) 1998-09-30 2005-03-09 セイコーエプソン株式会社 情報処理装置
AU1240600A (en) 1998-10-28 2000-05-15 Via, Inc. Flex-to-fixed user interface devices and methods
JP3988102B2 (ja) 1998-11-06 2007-10-10 富士フイルム株式会社 腕装着型カメラ
US7225229B1 (en) 1998-12-18 2007-05-29 Tangis Corporation Automated pushing of computer user's context data to clients
USD413817S (en) 1998-12-18 1999-09-14 Casio Keisanki Kabushiki Kaisha Watch case with global positioning system
USD422513S (en) 1998-12-22 2000-04-11 Gucci Timepieces Sa Wristwatch
US20040209657A1 (en) 1999-01-04 2004-10-21 Yoram Ghassabian Wrist-mounted telephone device
JP2000267797A (ja) 1999-03-15 2000-09-29 Seiko Epson Corp 情報処理装置
US7293231B1 (en) 1999-03-18 2007-11-06 British Columbia Ltd. Data entry for personal computing devices
GB2350523B (en) 1999-05-26 2003-11-26 Nokia Mobile Phones Ltd Communication device
US6359837B1 (en) 1999-06-30 2002-03-19 Casio Computer Co., Ltd. Camera, camera system, information recording system, timepiece, and link system for camera and timepiece
DE69930737T2 (de) 1999-08-25 2007-01-04 Swatch Ag Uhr mit berührungsloser Steuervorrichtung für eine Computer-Maus
USD433949S (en) 1999-10-04 2000-11-21 Chanel, Inc. Wrist watch case
US6424743B1 (en) 1999-11-05 2002-07-23 Motorola, Inc. Graphical handwriting recognition user interface
JP2001167054A (ja) 1999-12-09 2001-06-22 Casio Comput Co Ltd 携帯情報機器、認証装置及び認証システム
USD434675S (en) 1999-12-13 2000-12-05 Casio Keisanki Kabushiki Kaisha Watch case with global positioning system
JP2001251542A (ja) 1999-12-28 2001-09-14 Casio Comput Co Ltd 携帯型撮像機器
DE10001929A1 (de) * 2000-01-19 2001-08-09 Skidata Ag Berechtigungskontrolleinrichtung
JP2005174356A (ja) 2000-02-01 2005-06-30 Toshiba Corp 方向検出方法
GB2365676B (en) 2000-02-18 2004-06-23 Sensei Ltd Mobile telephone with improved man-machine interface
GB0004688D0 (en) 2000-02-28 2000-04-19 Radley Smith Philip J Bracelet
US6597345B2 (en) 2000-03-03 2003-07-22 Jetway Technologies Ltd. Multifunctional keypad on touch screen
JP2001344039A (ja) 2000-03-31 2001-12-14 Seiko Epson Corp 情報処理装置、情報処理装置の制御方法および情報処理装置の制御プログラム
USD453005S1 (en) 2000-04-26 2002-01-22 Dinh Van Wrist-watch
JP4042340B2 (ja) 2000-05-17 2008-02-06 カシオ計算機株式会社 情報機器
JP2001344352A (ja) 2000-05-31 2001-12-14 Toshiba Corp 生活支援装置および生活支援方法および広告情報提供方法
USD455356S1 (en) 2000-06-19 2002-04-09 Rainer Saffer Watch
EP1212885B1 (en) * 2000-06-21 2009-04-29 Seiko Epson Corporation Mobile telephone and radio communication device cooperatively processing incoming call
US6948135B1 (en) 2000-06-21 2005-09-20 Microsoft Corporation Method and systems of providing information to computer users
US6714233B2 (en) 2000-06-21 2004-03-30 Seiko Epson Corporation Mobile video telephone system
US6556222B1 (en) 2000-06-30 2003-04-29 International Business Machines Corporation Bezel based input mechanism and user interface for a smart watch
US7477890B1 (en) 2000-06-30 2009-01-13 International Business Machines Corporation Demand pull—multichannel asynchronous data and application synchronization for pervasive devices
US6477117B1 (en) * 2000-06-30 2002-11-05 International Business Machines Corporation Alarm interface for a smart watch
US7081905B1 (en) 2000-06-30 2006-07-25 International Business Machines Corporation Method and apparatus for dynamically controlling scroller speed employed for a user interface of a wearable appliance
JP3785902B2 (ja) 2000-07-11 2006-06-14 インターナショナル・ビジネス・マシーンズ・コーポレーション デバイス、デバイスの制御方法、ポインタの移動方法
JP2002099476A (ja) 2000-09-26 2002-04-05 Sanyo Electric Co Ltd ソフトウェア配信方法、ソフトウェア配信装置、およびこれらを利用可能なユーザ端末
USD463296S1 (en) 2000-10-23 2002-09-24 Eseoghene Esther Sanomi Wrist radius watch
JP3948260B2 (ja) 2000-11-22 2007-07-25 松下電器産業株式会社 テキスト入力方法及びその装置
JP2002257955A (ja) 2000-12-25 2002-09-11 Seiko Epson Corp 通信機能付腕時計装置、情報表示方法、制御プログラム及び記録媒体
JP3613177B2 (ja) 2000-12-26 2005-01-26 インターナショナル・ビジネス・マシーンズ・コーポレーション 入力対象選択装置及び方法
USD460430S1 (en) 2000-12-28 2002-07-16 Seiko Instruments Inc. Mobile phone
US20020135615A1 (en) 2001-01-31 2002-09-26 Microsoft Corporation Overlaid display for electronic devices
US20020101457A1 (en) 2001-01-31 2002-08-01 Microsoft Corporation Bezel interface for small computing devices
TW591353B (en) 2001-02-23 2004-06-11 Asulab Sa Portable object including means for activating an electronic function and method for controlling such an electronic function
US6744427B2 (en) 2001-03-01 2004-06-01 International Business Machines Corporation Character input interface for compact electronic devices
JP2002259347A (ja) 2001-03-02 2002-09-13 Seiko Epson Corp 腕時計型情報処理装置、画面表示方法、プログラムおよび記録媒体
US6937135B2 (en) 2001-05-30 2005-08-30 Hewlett-Packard Development Company, L.P. Face and environment sensing watch
JP2003018923A (ja) 2001-07-09 2003-01-21 Onga Eng:Kk ハウス開閉装置
US6774796B2 (en) 2001-08-01 2004-08-10 Motorola, Inc. Master authenticator
EP1282018A1 (en) 2001-08-03 2003-02-05 Nokia Corporation A wearable electronic device
USD459352S1 (en) 2001-08-10 2002-06-25 Michael C. Giovanniello Wireless mouse wristband
US20130080143A1 (en) * 2011-09-27 2013-03-28 Paul E. Reeves Unified desktop docking behavior with device as master
US20030046228A1 (en) 2001-08-28 2003-03-06 Jean-Marc Berney User-wearable functional jewelry with biometrics and smartcard to remotely sign and/or authenticate to e-services
US7634403B2 (en) 2001-09-05 2009-12-15 Voice Signal Technologies, Inc. Word recognition using word transformation commands
JP2003131785A (ja) 2001-10-22 2003-05-09 Toshiba Corp インタフェース装置および操作制御方法およびプログラム製品
US6990662B2 (en) 2001-10-31 2006-01-24 Hewlett-Packard Development Company, L.P. Method and system for offloading execution and resources for resource-constrained networked devices
US6744423B2 (en) 2001-11-19 2004-06-01 Nokia Corporation Communication terminal having a predictive character editor application
US8176432B2 (en) 2001-11-20 2012-05-08 UEI Electronics Inc. Hand held remote control device having an improved user interface
US7091964B2 (en) 2001-11-30 2006-08-15 Palm, Inc. Electronic device with bezel feature for receiving input
TWI258647B (en) 2001-12-27 2006-07-21 Asulab Sa Control method for executing functions in a diary watch
GB0201074D0 (en) 2002-01-18 2002-03-06 3G Lab Ltd Graphic user interface for data processing device
GB2384395A (en) 2002-01-19 2003-07-23 Hewlett Packard Co Personal article capable of receiving specified items or data
US7987491B2 (en) 2002-05-10 2011-07-26 Richard Reisman Method and apparatus for browsing using alternative linkbases
US8001488B1 (en) 2002-05-31 2011-08-16 Hewlett-Packard Development Company, L.P. User interface dial with display
JP2004021893A (ja) 2002-06-20 2004-01-22 Sony Corp 携帯情報通信端末、プログラムおよび該プログラムを記録した記録媒体
US9886309B2 (en) 2002-06-28 2018-02-06 Microsoft Technology Licensing, Llc Identity-based distributed computing for device resources
JP4251266B2 (ja) 2002-07-25 2009-04-08 ソニー株式会社 情報処理装置および方法、プログラム格納媒体、並びにプログラム
US6968508B2 (en) 2002-07-30 2005-11-22 Motorola, Inc. Rotating user interface
JP2004072450A (ja) 2002-08-07 2004-03-04 Casio Comput Co Ltd 電子カメラ
US7386855B2 (en) 2002-08-12 2008-06-10 Ntt Docomo, Inc. Application mobility service
USD474982S1 (en) 2002-08-15 2003-05-27 Nike, Inc. Portion of a watch
US7036007B2 (en) 2002-09-09 2006-04-25 Intel Corporation Firmware architecture supporting safe updates and multiple processor types
JP2004184396A (ja) 2002-10-09 2004-07-02 Seiko Epson Corp 表示装置、時計、表示装置の制御方法、制御プログラムおよび記録媒体
JP2004178584A (ja) 2002-11-26 2004-06-24 Asulab Sa 機能、装置、又は所定の場所にアクセスするためのタッチスクリーンによるセキュリティコードの入力方法、及びその方法を実行するためのデバイス
US7199786B2 (en) 2002-11-29 2007-04-03 Daniel Suraqui Reduced keyboards system using unistroke input and having automatic disambiguating and a recognition method using said system
US20040130581A1 (en) 2003-01-03 2004-07-08 Microsoft Corporation Interaction model
JP2004259063A (ja) 2003-02-26 2004-09-16 Sony Corp ３次元オブジェクトの表示処理装置、表示処理方法およびコンピュータプログラム
JP2004288172A (ja) 2003-03-04 2004-10-14 Sony Corp 入力装置、情報端末装置およびモード切替方法
US7096048B2 (en) 2003-04-01 2006-08-22 Sanders Donald T Portable communications device
US7331048B2 (en) * 2003-04-04 2008-02-12 International Business Machines Corporation Backfill scheduling of applications based on data of the applications
KR100617681B1 (ko) 2003-04-15 2006-08-28 삼성전자주식회사 휴대용 단말기의 회전키 장치 사용 방법
EP1624732A4 (en) 2003-05-14 2009-01-21 Panasonic Corp DEVICE AND METHOD FOR TURNING A HIGH VOLTAGE DISCHARGE LAMP
US20040261031A1 (en) 2003-06-23 2004-12-23 Nokia Corporation Context dependent auxiliary menu elements
US7567239B2 (en) 2003-06-26 2009-07-28 Motorola, Inc. Method and system for message and note composition on small screen devices
KR100590528B1 (ko) 2003-06-28 2006-06-15 삼성전자주식회사 착용형 손가락 움직임 감지장치 및 이를 이용한 손가락의움직임 감지방법
US20050001821A1 (en) 2003-07-02 2005-01-06 Low Tse How Option selector and electronic device including such an option selector
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7478390B2 (en) 2003-09-25 2009-01-13 International Business Machines Corporation Task queue management of virtual devices using a plurality of processors
WO2005057174A2 (en) 2003-12-08 2005-06-23 Rosenthal Robert D Method and apparatus for low blood glucose level detection
KR100571428B1 (ko) 2003-12-24 2006-04-17 한국전자통신연구원 착용형 인터페이스 장치
WO2005065404A2 (en) 2003-12-31 2005-07-21 James Marin Rotating bezel watch
US7872669B2 (en) 2004-01-22 2011-01-18 Massachusetts Institute Of Technology Photo-based mobile deixis system and related techniques
USD517929S1 (en) 2004-02-13 2006-03-28 Cartier International B.V. Watch
US7398151B1 (en) 2004-02-25 2008-07-08 Garmin Ltd. Wearable electronic device
GB2411337B (en) 2004-02-27 2006-12-06 Simon Richard Daniel Modular interface strap for multi-unit wristband and necklace assemblies
JP2005244676A (ja) 2004-02-27 2005-09-08 Dowango:Kk リモコンシステム
US7618260B2 (en) * 2004-02-27 2009-11-17 Daniel Simon R Wearable modular interface strap
US8886298B2 (en) 2004-03-01 2014-11-11 Microsoft Corporation Recall device
WO2005103863A2 (en) 2004-03-23 2005-11-03 Fujitsu Limited Distinguishing tilt and translation motion components in handheld devices
US7301529B2 (en) 2004-03-23 2007-11-27 Fujitsu Limited Context dependent gesture response
US7173604B2 (en) 2004-03-23 2007-02-06 Fujitsu Limited Gesture identification of controlled devices
US20060081714A1 (en) 2004-08-23 2006-04-20 King Martin T Portable scanning device
TWI370979B (en) * 2004-05-14 2012-08-21 Ibm Grid computing system, information processing unit, job execution request generation unit, control method, program, and recording medium
US7404146B2 (en) 2004-05-27 2008-07-22 Agere Systems Inc. Input device for portable handset
JP4379214B2 (ja) 2004-06-10 2009-12-09 日本電気株式会社 携帯端末装置
US7840681B2 (en) * 2004-07-30 2010-11-23 International Business Machines Corporation Method and apparatus for integrating wearable devices within a SIP infrastructure
US20060253010A1 (en) * 2004-09-28 2006-11-09 Donald Brady Monitoring device, method and system
USD519858S1 (en) 2004-10-06 2006-05-02 Giochi Preziosi S.P.A. Watch
US7091875B2 (en) * 2004-10-06 2006-08-15 John Ondracek Wearable remote control
US20060092177A1 (en) 2004-10-30 2006-05-04 Gabor Blasko Input method and apparatus using tactile guidance and bi-directional segmented stroke
USD526973S1 (en) 2004-11-17 2006-08-22 Xirrus, Inc. Electronic device housing
US7667657B2 (en) 2004-11-30 2010-02-23 Konica Minolta Holdings, Inc. Information processing apparatus
TWM277958U (en) 2004-12-31 2005-10-11 Ind Tech Res Inst An flexible displaying device for electronic information includes a device housing
US20060149652A1 (en) * 2005-01-06 2006-07-06 Fellenstein Craig W Receiving bid requests and pricing bid responses for potential grid job submissions within a grid environment
US20060197835A1 (en) 2005-03-04 2006-09-07 Anderson Robert C Wrist-attached display system for unmanned vehicle imagery and communication
USD527668S1 (en) 2005-03-22 2006-09-05 Rolex Watch U.S.A., Inc. Watch face
JP2006279137A (ja) 2005-03-28 2006-10-12 Sharp Corp リモコンシステム
US20060224766A1 (en) * 2005-03-31 2006-10-05 Malackowski Donald W Operating room communication bus and method
US20060288233A1 (en) 2005-04-25 2006-12-21 Douglas Kozlay Attachable biometric authentication apparatus for watchbands and other personal items
ITUD20050074A1 (it) 2005-05-11 2006-11-12 Eurotech S P A Dispositivo di risparmio energetico per un'apparecchiatura elettronica portatile
US8117540B2 (en) 2005-05-18 2012-02-14 Neuer Wall Treuhand Gmbh Method and device incorporating improved text input mechanism
US9606634B2 (en) 2005-05-18 2017-03-28 Nokia Technologies Oy Device incorporating improved text input mechanism
US20060271867A1 (en) 2005-05-27 2006-11-30 Wang Kong Q Mobile communications terminal and method therefore
CA2612489A1 (en) 2005-06-16 2007-10-11 Firooz Ghassabian Data entry system
US7487467B1 (en) 2005-06-23 2009-02-03 Sun Microsystems, Inc. Visual representation and other effects for application management on a device with a small screen
US20070004969A1 (en) 2005-06-29 2007-01-04 Microsoft Corporation Health monitor
JP2007014471A (ja) 2005-07-06 2007-01-25 Sumitomo Precision Prod Co Ltd 無線センサ端末
USD550105S1 (en) 2005-07-18 2007-09-04 Garmin Ltd. GPS exercise monitoring device
US7467443B2 (en) 2005-07-27 2008-12-23 Asia Vital Components Co., Ltd. Retaining tool with rotational locating device
KR100814395B1 (ko) 2005-08-30 2008-03-18 삼성전자주식회사 조그 키와 사방향 키를 이용한 사용자 인터페이스 제어장치 및 그 방법
JP2007064758A (ja) 2005-08-30 2007-03-15 Sony Corp 携帯型電子機器、表示制御プログラム、表示制御方法、時計装置
JP4676303B2 (ja) 2005-10-18 2011-04-27 株式会社日立製作所 端末装置
US8045512B2 (en) 2005-10-27 2011-10-25 Qualcomm Incorporated Scalable frequency band operation in wireless communication systems
US20070100244A1 (en) 2005-10-31 2007-05-03 Chin-Shu Lin Wrist-worn monitor for heartbeat detection
US7454841B2 (en) 2005-11-01 2008-11-25 Hunter Engineering Company Method and apparatus for wheel alignment system target projection and illumination
USD547211S1 (en) 2005-11-10 2007-07-24 Dias M Carlos Wrist watch
CN100514314C (zh) 2005-12-28 2009-07-15 松下电工株式会社 网络设备系统
KR100761262B1 (ko) 2005-12-28 2007-09-28 엘지전자 주식회사 이동통신단말기의 문자입력 장치
RU2319997C2 (ru) 2005-12-30 2008-03-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. Электронное устройство для выполнения запрограммированных функций (варианты) и способ ввода команд в подобном устройстве
US7860536B2 (en) 2006-01-05 2010-12-28 Apple Inc. Telephone interface for a portable communication device
USD537409S1 (en) 2006-01-10 2007-02-27 Sony Corporation Combined charger and infrared ray emitter
JP5220278B2 (ja) 2006-01-27 2013-06-26 任天堂株式会社 ゲーム装置および手書き入力プログラム
USD537371S1 (en) 2006-02-03 2007-02-27 Bell & Ross B.V. Watch
USD529402S1 (en) 2006-02-13 2006-10-03 Nike, Inc. Portion of a watch
USD528928S1 (en) 2006-02-14 2006-09-26 Nike, Inc. Portion of a watch
US8730156B2 (en) 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
KR100754674B1 (ko) 2006-03-10 2007-09-03 삼성전자주식회사 휴대 단말의 메뉴 선택 방법 및 장치
USD537738S1 (en) 2006-03-17 2007-03-06 Citizen Tokei Kabushiki Kaisha Wrist watch case with band
CN101404928B (zh) 2006-03-21 2011-08-31 皇家飞利浦电子股份有限公司 用户状况的指示
USD545305S1 (en) 2006-03-22 2007-06-26 Mulcahy Michael R Personal data assistant, particularly for the visually impaired
JP4516042B2 (ja) 2006-03-27 2010-08-04 株式会社東芝 機器操作装置および機器操作方法
USD574263S1 (en) 2006-03-28 2008-08-05 The British Masters Sa Wristwatch
US9395905B2 (en) 2006-04-05 2016-07-19 Synaptics Incorporated Graphical scroll wheel
GB2437592A (en) * 2006-04-10 2007-10-31 Skype Ltd Indicating communication events on an alternative interface whilst running an application on another interface
US8644396B2 (en) * 2006-04-18 2014-02-04 Qualcomm Incorporated Waveform encoding for wireless applications
US8683362B2 (en) 2008-05-23 2014-03-25 Qualcomm Incorporated Card metaphor for activities in a computing device
US7382691B2 (en) 2006-04-21 2008-06-03 Nixon, Inc. Multifunction watch system and method
USD543122S1 (en) 2006-05-10 2007-05-22 Ronald Lafever Combined flexible band and clip-on watch
US7558622B2 (en) 2006-05-24 2009-07-07 Bao Tran Mesh network stroke monitoring appliance
US7539532B2 (en) 2006-05-12 2009-05-26 Bao Tran Cuffless blood pressure monitoring appliance
USD574262S1 (en) 2006-05-19 2008-08-05 Lorenz S.P.A. Wrist watch
US20070271513A1 (en) 2006-05-22 2007-11-22 Nike, Inc. User Interface for Remotely Controlling a Digital Music Player
EP1860534A1 (en) 2006-05-22 2007-11-28 LG Electronics Inc. Mobile terminal and menu display method thereof
US7620610B2 (en) * 2006-06-27 2009-11-17 Microsoft Corporation Resource availability for user activities across devices
USD554636S1 (en) 2006-06-27 2007-11-06 Qualcomm Incorporated Media display unit
KR100782927B1 (ko) 2006-06-27 2007-12-07 삼성전자주식회사 휴대용 단말기에서 문자 입력 장치 및 방법
USD558209S1 (en) 2006-07-28 2007-12-25 Microsoft Corporation Docking station
USD558208S1 (en) 2006-07-28 2007-12-25 Microsoft Corporation Docking station
USD558207S1 (en) 2006-07-28 2007-12-25 Microsoft Corporation Docking station
US8511890B2 (en) 2006-08-27 2013-08-20 Nike, Inc. Rocking bezel control
US20080126933A1 (en) 2006-08-28 2008-05-29 Apple Computer, Inc. Method and apparatus for multi-mode traversal of lists
USD602858S1 (en) 2006-09-06 2009-10-27 Amx Llc Remote control charging base
US8243017B2 (en) 2006-09-11 2012-08-14 Apple Inc. Menu overlay including context dependent menu icon
US8564543B2 (en) 2006-09-11 2013-10-22 Apple Inc. Media player with imaged based browsing
USD550614S1 (en) 2006-09-22 2007-09-11 10Charge, Inc. Battery charger
JP2008089039A (ja) 2006-09-29 2008-04-17 Jtekt Corp 円すいころ軸受及びディファレンシャル装置
US7714839B2 (en) 2006-09-29 2010-05-11 Sony Ericsson Mobile Communications Ab Jog dial for mobile terminal
US7463557B2 (en) 2006-10-06 2008-12-09 Timex Group B.V. Electronic device with changeable display configurations
US7925986B2 (en) 2006-10-06 2011-04-12 Veveo, Inc. Methods and systems for a linear character selection display interface for ambiguous text input
US7667148B2 (en) 2006-10-13 2010-02-23 Apple Inc. Method, device, and graphical user interface for dialing with a click wheel
US8355709B2 (en) 2006-10-23 2013-01-15 Qualcomm Incorporated Device that determines whether to launch an application locally or remotely as a webapp
USD575289S1 (en) 2006-12-11 2008-08-19 Hon Hai Precision Ind. Co., Ltd. Dock connector
USD545697S1 (en) 2007-01-10 2007-07-03 Nike, Inc. Portion of a watch
KR100896055B1 (ko) 2007-01-15 2009-05-07 엘지전자 주식회사 회전입력장치 구비 이동단말기 및 그 디스플레이 방법
US8311530B2 (en) 2007-01-26 2012-11-13 Research In Motion Limited Touch entry of password on a mobile device
US7966039B2 (en) 2007-02-02 2011-06-21 Microsoft Corporation Bidirectional dynamic offloading of tasks between a host and a mobile device
US8789053B2 (en) 2007-04-05 2014-07-22 Newton Howard Task execution and delegation by autonomous mobile agents based on intent knowledge base
CN101675652A (zh) 2007-04-26 2010-03-17 诺基亚公司 在移动通信终端中用于不同模式之间切换的改进的方法和装置
USD590277S1 (en) 2007-04-27 2009-04-14 New Heritage Ltd. Watch case
USD590727S1 (en) 2007-04-27 2009-04-21 New Heritage Ltd. Watch case
WO2008137708A1 (en) 2007-05-04 2008-11-13 Gesturetek, Inc. Camera-based user input for compact devices
USD604643S1 (en) 2007-05-16 2009-11-24 Suunto Oy Multi-function wristwatch
US8442015B2 (en) 2007-07-20 2013-05-14 Broadcom Corporation Method and system for an atomizing function of a mobile device
JP2009005320A (ja) 2007-06-21 2009-01-08 Rumiko Aso 腕時計型携帯電話
US10178965B2 (en) 2007-06-22 2019-01-15 Ipventure, Inc. Activity monitoring system for pregnant women
KR101515089B1 (ko) 2007-08-16 2015-04-24 삼성전자 주식회사 그래픽 사용자 인터페이스 제공 장치 및 방법
US8676273B1 (en) 2007-08-24 2014-03-18 Iwao Fujisaki Communication device
US8593404B2 (en) 2007-08-27 2013-11-26 Blackberry Limited Reduced key arrangement for a mobile communication device
US7778118B2 (en) 2007-08-28 2010-08-17 Garmin Ltd. Watch device having touch-bezel user interface
ES1066912Y (es) 2007-09-13 2008-07-01 Fagor S Coop Dispositivo de control remoto para aparatos electrodomesticos
JP5184018B2 (ja) 2007-09-14 2013-04-17 京セラ株式会社 電子機器
JP4960812B2 (ja) 2007-09-14 2012-06-27 株式会社リコー 画像処理装置、負荷分散システム及び負荷分散プログラム
KR101615472B1 (ko) 2007-09-24 2016-04-25 애플 인크. 전자 장치 내의 내장형 인증 시스템들
JP2009081309A (ja) 2007-09-26 2009-04-16 Fujifilm Corp 有機半導体組成物、及びそれを用いた有機電子デバイス
KR100949581B1 (ko) 2007-10-08 2010-03-25 주식회사 자코드 통신단말기의 문자/숫자 입력장치 및 입력방법
US8031172B2 (en) 2007-10-12 2011-10-04 Immersion Corporation Method and apparatus for wearable remote interface device
US8639214B1 (en) 2007-10-26 2014-01-28 Iwao Fujisaki Communication device
US20090134838A1 (en) 2007-11-27 2009-05-28 Puthalath Koroth Raghuprasad Circular self-powered magnetic generator
USD564367S1 (en) 2007-11-30 2008-03-18 Nike, Inc. Watch
US20090167486A1 (en) 2007-12-29 2009-07-02 Shah Rahul C Secure association between devices
US9467850B2 (en) 2007-12-31 2016-10-11 Intel Corporation Handheld device association via shared vibration
US7946758B2 (en) 2008-01-31 2011-05-24 WIMM Labs Modular movement that is fully functional standalone and interchangeable in other portable devices
RU74259U1 (ru) 2008-02-19 2008-06-20 Татаренков Валерий Владимирович Мобильный телефон-браслет
US8555207B2 (en) 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
US9398046B2 (en) 2008-03-06 2016-07-19 Qualcomm Incorporated Image-based man-in-the-middle protection in numeric comparison association models
US20090234967A1 (en) * 2008-03-17 2009-09-17 Nokia Corporation Method, system, and apparatus for transferring P2P file distribution tasks between devices
JP2009245122A (ja) 2008-03-31 2009-10-22 Fujitsu Ltd 認証装置、電子機器、その認証方法及び認証プログラム
USD585898S1 (en) 2008-04-01 2009-02-03 Sdi Technologies, Inc. Base unit for digital media player
US8949743B2 (en) 2008-04-22 2015-02-03 Apple Inc. Language input interface on a device
EP2279504A4 (en) * 2008-05-08 2013-12-18 Robert P Stratton REMOTE CONTROL SYSTEM AND METHOD
US20090280861A1 (en) 2008-05-09 2009-11-12 Ashana Sabana Nisha Khan Multifunctional all-in-one detachable wrist wireless mobile communication device
US8638229B2 (en) 2008-05-29 2014-01-28 Garmin Switzerland Gmbh Swim watch
US8295879B2 (en) 2008-05-30 2012-10-23 Motorola Mobility Llc Devices and methods for initiating functions based on movement characteristics relative to a reference
DE102008027746A1 (de) 2008-06-11 2009-12-17 Kirner, Markus A. Armbanduhranordnung mit Mobiltelefon
JP2009301485A (ja) 2008-06-17 2009-12-24 Olympus Corp 情報表示システムおよびそれを用いた携帯情報端末
US8112526B2 (en) * 2008-06-24 2012-02-07 International Business Machines Corporation Process migration based on service availability in a multi-node environment
US8447704B2 (en) 2008-06-26 2013-05-21 Microsoft Corporation Recognizing gestures from forearm EMG signals
US8078873B2 (en) 2008-06-30 2011-12-13 Intel Corporation Two-way authentication between two communication endpoints using a one-way out-of-band (OOB) channel
US20100020033A1 (en) 2008-07-23 2010-01-28 Obinna Ihenacho Alozie Nwosu System, method and computer program product for a virtual keyboard
KR101546774B1 (ko) 2008-07-29 2015-08-24 엘지전자 주식회사 휴대 단말기 및 그 동작제어 방법
US20100039393A1 (en) 2008-08-15 2010-02-18 At&T Intellectual Property I, L.P. Text entry on touch screen cellphones by different pressure levels
JP4899108B2 (ja) 2008-08-24 2012-03-21 照彦 矢上 腕時計型電子メモ装置
US8319742B2 (en) 2008-08-26 2012-11-27 Research In Motion Limited Portable electronic device and method of controlling same
KR20100028465A (ko) 2008-09-04 2010-03-12 백상주 포인터의 드래그 방향에 따른 문자 또는 메뉴입력 방법
US20100070913A1 (en) 2008-09-15 2010-03-18 Apple Inc. Selecting an item of content in a graphical user interface for a portable computing device
JP2010073830A (ja) 2008-09-17 2010-04-02 Sumitomo Metal Mining Co Ltd リードフレーム及びリードフレームの製造方法
US20100082485A1 (en) 2008-09-30 2010-04-01 Apple Inc. Portable point of purchase devices and methods
US9026462B2 (en) 2008-09-30 2015-05-05 Apple Inc. Portable point of purchase user interfaces
KR101537596B1 (ko) 2008-10-15 2015-07-20 엘지전자 주식회사 이동 단말기 및 이것의 터치 인식 방법
US8335993B1 (en) 2008-10-24 2012-12-18 Marvell International Ltd. Enhanced touch sensitive interface and methods and software for making and using the same
JP4506890B2 (ja) 2008-10-28 2010-07-21 トヨタ自動車株式会社 歩行補助装置
USD596610S1 (en) 2008-11-07 2009-07-21 Cheng Uei Precision Industry Co., Ltd. Wrist type mobile phone
US9201582B2 (en) 2008-11-11 2015-12-01 Canon Kabushiki Kaisha Display control apparatus and display control method
US8503932B2 (en) 2008-11-14 2013-08-06 Sony Mobile Comminications AB Portable communication device and remote motion input device
JP5343523B2 (ja) * 2008-11-17 2013-11-13 富士通株式会社 ジョブ管理装置、ジョブ管理方法およびジョブ管理プログラム
JP4752900B2 (ja) 2008-11-19 2011-08-17 ソニー株式会社 画像処理装置、画像表示方法および画像表示プログラム
JP2010122934A (ja) 2008-11-20 2010-06-03 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9355554B2 (en) 2008-11-21 2016-05-31 Lenovo (Singapore) Pte. Ltd. System and method for identifying media and providing additional media content
US8289162B2 (en) * 2008-12-22 2012-10-16 Wimm Labs, Inc. Gesture-based user interface for a wearable portable device
AU326155S (en) 2008-12-22 2009-06-01 Swarovski Aktiengesselschaft Wrist watch
US20100167646A1 (en) 2008-12-30 2010-07-01 Motorola, Inc. Method and apparatus for device pairing
US9591118B2 (en) 2009-01-01 2017-03-07 Intel Corporation Pose to device mapping
USD596509S1 (en) 2009-01-08 2009-07-21 Seiko Watch Kabushiki Kaisha Watch case
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US8326221B2 (en) 2009-02-09 2012-12-04 Apple Inc. Portable electronic device with proximity-based content synchronization
EP2220997A1 (en) 2009-02-24 2010-08-25 Koninklijke Philips Electronics N.V. Device, system and method for monitoring motion sequences
US8098141B2 (en) 2009-02-27 2012-01-17 Nokia Corporation Touch sensitive wearable band apparatus and method
USD596959S1 (en) 2009-03-05 2009-07-28 Zino Davidoff Trading Ag Watch case
CA131721S (fr) 2009-03-06 2010-03-25 Rado Uhren Ag Montre
US20100245078A1 (en) * 2009-03-26 2010-09-30 Wellcore Corporation Wearable Motion Sensing Device
US20100250789A1 (en) * 2009-03-27 2010-09-30 Qualcomm Incorporated System and method of managing memory at a portable computing device and a portable computing device docking station
US9189472B2 (en) 2009-03-30 2015-11-17 Touchtype Limited System and method for inputting text into small screen devices
JP5325641B2 (ja) 2009-04-08 2013-10-23 Ｊｘ日鉱日石エネルギー株式会社 間接内部改質型固体酸化物形燃料電池の停止方法
BRPI1016159A2 (pt) 2009-04-26 2018-08-07 Nike Int Ltd "dispositivo para monitorar o desempenho atlético de um usuário, e, dispositivo portátil de monitoramento de atividade atlética."
US20120069027A1 (en) 2009-04-28 2012-03-22 Wataru Yamazaki Input device
JP5263833B2 (ja) 2009-05-18 2013-08-14 国立大学法人 奈良先端科学技術大学院大学 ウェアラブルコンピュータに用いるリング型インタフェース、インタフェース装置、およびインタフェース方法
EP2256592A1 (en) 2009-05-18 2010-12-01 Lg Electronics Inc. Touchless control of an electronic device
US8287320B2 (en) 2009-05-22 2012-10-16 John Mezzalingua Associates, Inc. Coaxial cable connector having electrical continuity member
US8294105B2 (en) 2009-05-22 2012-10-23 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting offset gestures
USD615955S1 (en) 2009-05-26 2010-05-18 Samsung Electronics Co., Ltd. Mobile phone
JP5282661B2 (ja) 2009-05-26 2013-09-04 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
USD626550S1 (en) 2009-05-26 2010-11-02 Implanet PDA device
JP4679677B2 (ja) 2009-05-27 2011-04-27 パナソニック株式会社 行動認識装置
US20100304673A1 (en) * 2009-05-29 2010-12-02 Junichi Yoshizawa Wireless Communication Apparatus and Wireless Communication Method
US9239740B2 (en) 2009-06-16 2016-01-19 Microsoft Technology Licensing, Llc Program partitioning across client and cloud
US8560465B2 (en) 2009-07-02 2013-10-15 Samsung Electronics Co., Ltd Execution allocation cost assessment for computing systems and environments including elastic computing systems and environments
US9189156B2 (en) 2009-07-14 2015-11-17 Howard Gutowitz Keyboard comprising swipe-switches performing keyboard actions
US8818274B2 (en) 2009-07-17 2014-08-26 Qualcomm Incorporated Automatic interfacing between a master device and object device
US9439736B2 (en) 2009-07-22 2016-09-13 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method for controlling a remote medical device guidance system in three-dimensions using gestures
US9000887B2 (en) 2009-07-23 2015-04-07 Qualcomm Incorporated Method and apparatus for communicating control information by a wearable device to control mobile and consumer electronic devices
US8245234B2 (en) 2009-08-10 2012-08-14 Avaya Inc. Credit scheduler for ordering the execution of tasks
USD612269S1 (en) 2009-08-13 2010-03-23 P.S.L. Limited Slap-on watch
JP5254906B2 (ja) 2009-08-27 2013-08-07 京セラ株式会社 電子機器
US8060560B2 (en) * 2009-08-27 2011-11-15 Net Power And Light, Inc. System and method for pervasive computing
US8572375B2 (en) 2009-09-23 2013-10-29 Microsoft Corporation Device pairing based on graphically encoded data
US8717291B2 (en) 2009-10-07 2014-05-06 AFA Micro Co. Motion sensitive gesture device
GB2474536B (en) 2009-10-13 2011-11-02 Pointgrab Ltd Computer vision gesture based control of a device
US8279052B2 (en) 2009-11-04 2012-10-02 Immersion Corporation Systems and methods for haptic confirmation of commands
WO2011066343A2 (en) 2009-11-24 2011-06-03 Next Holdings Limited Methods and apparatus for gesture recognition mode control
US10095276B2 (en) 2009-11-25 2018-10-09 Visa International Service Association Information access device and data transfer
USD627718S1 (en) 2009-12-11 2010-11-23 Black & Decker Inc. Charger base for a hand-held vacuum cleaner
KR20110069958A (ko) 2009-12-18 2011-06-24 삼성전자주식회사 프로젝터 기능의 휴대 단말기의 데이터 생성 방법 및 장치
CA135976S (en) 2009-12-23 2011-11-24 Simone Dalla Libera Watch
US9229779B2 (en) * 2009-12-28 2016-01-05 Empire Technology Development Llc Parallelizing heterogeneous network communications in smart devices based on selection of task allocation strategy
US20120256959A1 (en) 2009-12-30 2012-10-11 Cywee Group Limited Method of controlling mobile device with touch-sensitive display and motion sensor, and mobile device
KR101626621B1 (ko) 2009-12-30 2016-06-01 엘지전자 주식회사 원형 디스플레이부를 구비한 이동 통신 단말기의 데이터 제어 방법 및 이를 적용한 이동 통신 단말기
EP2341420A1 (en) 2010-01-04 2011-07-06 Research In Motion Limited Portable electronic device and method of controlling same
KR101697937B1 (ko) 2010-01-08 2017-02-01 삼성전자주식회사 멀티프로세서 시스템에서 동적 태스크 마이그레이션을 위한 방법 및 시스템
CN101815326B (zh) 2010-01-11 2011-06-15 北京邮电大学 基于协商的无线传感器网络任务分配方法
WO2011096702A2 (ko) 2010-02-03 2011-08-11 고려대학교 산학협력단 문자 입력 장치 및 방법
US8869263B2 (en) 2010-02-26 2014-10-21 Blackberry Limited Wireless communications system providing mobile device authentication bypass based upon user-wearable security device and related methods
US20120194551A1 (en) 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with user-action based command and control of external devices
US20110219427A1 (en) 2010-03-04 2011-09-08 RSSBus, Inc. Smart Device User Authentication
US8686955B2 (en) 2010-03-11 2014-04-01 Apple Inc. Device, method, and graphical user interface for performing character entry
KR101477530B1 (ko) 2010-03-12 2014-12-30 뉘앙스 커뮤니케이션즈, 인코포레이티드 이동 전화의 터치 스크린과 함께 사용하기 위한 다중 모드 문자 입력 시스템
KR101659023B1 (ko) 2010-03-15 2016-09-23 엘지전자 주식회사 와치형 이동 단말기
US8370878B2 (en) * 2010-03-17 2013-02-05 Verizon Patent And Licensing Inc. Mobile interface for accessing interactive television applications associated with displayed content
CH702862A1 (fr) 2010-03-30 2011-09-30 Comme Le Temps Sa Montre bracelet à affichage électronique.
US9811385B2 (en) * 2010-04-28 2017-11-07 Wind River Systems, Inc. Optimizing task management
KR101695810B1 (ko) * 2010-05-07 2017-01-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP5681865B2 (ja) 2010-05-10 2015-03-11 レノボ・イノベーションズ・リミテッド（香港） ユーザーインターフェース装置
US8683377B2 (en) 2010-05-12 2014-03-25 Adobe Systems Incorporated Method for dynamically modifying zoom level to facilitate navigation on a graphical user interface
US20130057774A1 (en) * 2010-05-19 2013-03-07 Sharp Kabushiki Kaisha Reproduction device, display device, television receiver, system, recognition method, program, and recording medium
US20110289519A1 (en) 2010-05-21 2011-11-24 Frost Gary R Distributing workloads in a computing platform
US20110296351A1 (en) 2010-05-26 2011-12-01 T-Mobile Usa, Inc. User Interface with Z-axis Interaction and Multiple Stacks
US8750857B2 (en) * 2010-06-04 2014-06-10 Qualcomm Incorporated Method and apparatus for wireless distributed computing
US8935317B2 (en) 2010-06-23 2015-01-13 Microsoft Corporation Dynamic partitioning of applications between clients and servers
USD631373S1 (en) 2010-06-29 2011-01-25 Worldwide Watch Company Limited Watch
WO2012009335A1 (en) 2010-07-14 2012-01-19 Dynavox Systems Llc A wearable speech generation device
US9532734B2 (en) 2010-08-09 2017-01-03 Nike, Inc. Monitoring fitness using a mobile device
JP5234066B2 (ja) 2010-08-25 2013-07-10 横河電機株式会社 機器情報表示装置及び機器情報表示方法
SG187534A1 (en) 2010-08-29 2013-03-28 Vascode Technologies Ltd A system and methods for multi-tasking in a clientless mobile phone
US9007304B2 (en) 2010-09-02 2015-04-14 Qualcomm Incorporated Methods and apparatuses for gesture-based user input detection in a mobile device
WO2012033891A2 (en) 2010-09-08 2012-03-15 Martin Malek Electronic display wearable item
KR101219933B1 (ko) * 2010-09-13 2013-01-08 현대자동차주식회사 증강현실을 이용한 차량 내 디바이스 제어 시스템 및 그 방법
WO2012037200A2 (en) 2010-09-15 2012-03-22 Spetalnick Jeffrey R Methods of and systems for reducing keyboard data entry errors
USD645360S1 (en) 2010-09-17 2011-09-20 Simpel, LLC Slap band watch
USD669369S1 (en) 2010-09-20 2012-10-23 Daniel Rasumowsky Watch
US8595289B2 (en) 2010-09-21 2013-11-26 Telefonaktiebolaget L M Ericsson (Publ) Cloud phone with distributed processing
US20120075204A1 (en) * 2010-09-27 2012-03-29 Google Inc. Using a Touch-Sensitive Display of a Mobile Device with a Host Computer
US20130165180A1 (en) * 2010-09-27 2013-06-27 Adobe Systems Incorporated Integrating Operation Of Consumer Electronic Devices
JP2012073830A (ja) 2010-09-29 2012-04-12 Pioneer Electronic Corp インターフェース装置
US8345412B2 (en) 2010-10-01 2013-01-01 Hex Holdings, Llc Wrist band for portable electronic devices
US9462444B1 (en) 2010-10-04 2016-10-04 Nortek Security & Control Llc Cloud based collaborative mobile emergency call initiation and handling distribution system
US8506158B2 (en) 2010-10-12 2013-08-13 P.S.L. Limited Watch
AU334766S (en) 2010-10-13 2011-01-24 Swarovski Ag Case for a wristwatch
US20120096345A1 (en) 2010-10-19 2012-04-19 Google Inc. Resizing of gesture-created markings for different display sizes
US8635630B2 (en) * 2010-10-25 2014-01-21 Microsoft Corporation Application lifetime management
US9086741B2 (en) 2010-10-29 2015-07-21 Microsoft Corporation User input device
JP2012098771A (ja) 2010-10-29 2012-05-24 Sony Corp 画像処理装置および方法、並びに、プログラム
US8814754B2 (en) * 2010-11-01 2014-08-26 Nike, Inc. Wearable device having athletic functionality
KR20120049757A (ko) * 2010-11-09 2012-05-17 엘지전자 주식회사 증강현실정보 표시 방법 및 이를 이용하는 이동 단말기
US8184983B1 (en) * 2010-11-12 2012-05-22 Google Inc. Wireless directional identification and subsequent communication between wearable electronic devices
USD640948S1 (en) 2010-11-15 2011-07-05 Hook-Link, LLC Magnetically hooking bracelet
JP2012108771A (ja) 2010-11-18 2012-06-07 Panasonic Corp 画面操作システム
US8195313B1 (en) 2010-11-19 2012-06-05 Nest Labs, Inc. Thermostat user interface
JP5733656B2 (ja) 2010-11-25 2015-06-10 公立大学法人会津大学 ジェスチャ認識装置及びジェスチャ認識方法
US9155168B2 (en) 2010-12-03 2015-10-06 Surefire, Llc Wearable lighting device
CN102572565A (zh) * 2010-12-15 2012-07-11 深圳市同洲软件有限公司 一种移动终端控制数字电视接收终端方法、装置和系统
EP2659666A4 (en) 2010-12-30 2014-10-08 Thomson Licensing METHOD AND SYSTEM FOR PROVIDING ADDITIONAL CONTENT LINKED TO DISPLAYED CONTENT
USD640936S1 (en) 2011-01-01 2011-07-05 Teresa Teixeia Combined watch and bracelet
USD636686S1 (en) 2011-01-04 2011-04-26 Nike, Inc. Watch
EP2474950B1 (en) 2011-01-05 2013-08-21 Softkinetic Software Natural gesture based user interface methods and systems
US9436286B2 (en) 2011-01-05 2016-09-06 Qualcomm Incorporated Method and apparatus for tracking orientation of a user
USD651099S1 (en) 2011-01-10 2011-12-27 Montblanc-Simplo Gmbh Watch case
EP2666070A4 (en) 2011-01-19 2016-10-12 Hewlett Packard Development Co METHOD AND SYSTEM FOR MULTIMODAL CONTROL AND GESTURE CONTROL
US8699948B2 (en) 2011-01-25 2014-04-15 Sony Corporation Connection method for near field communication
US10631246B2 (en) 2011-02-14 2020-04-21 Microsoft Technology Licensing, Llc Task switching on mobile devices
US9645986B2 (en) 2011-02-24 2017-05-09 Google Inc. Method, medium, and system for creating an electronic book with an umbrella policy
USD678081S1 (en) 2011-03-14 2013-03-19 Montblanc-Simplo Gmbh Watchcase
JPWO2012124250A1 (ja) 2011-03-15 2014-07-17 パナソニック株式会社 オブジェクト制御装置、オブジェクト制御方法、オブジェクト制御プログラム、及び集積回路
US8655027B1 (en) 2011-03-25 2014-02-18 The United States of America, as represented by the Director, National Security Agency Method of image-based user authentication
EP2691935A1 (en) 2011-03-29 2014-02-05 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
WO2012135563A1 (en) 2011-03-31 2012-10-04 Sony Mobile Communications Ab System and method for establishing a communication session
US10630795B2 (en) * 2011-03-31 2020-04-21 Oath Inc. Systems and methods for transferring application state between devices based on gestural input
US10061387B2 (en) 2011-03-31 2018-08-28 Nokia Technologies Oy Method and apparatus for providing user interfaces
US8811964B2 (en) 2011-04-04 2014-08-19 Numera, Inc. Single button mobile telephone using server-based call routing
USD661206S1 (en) 2011-04-06 2012-06-05 Garmin Switzerland Gmbh Electronic device
USD659093S1 (en) 2011-04-08 2012-05-08 The Gillette Company Charger
KR101836403B1 (ko) * 2011-04-12 2018-04-19 엘지전자 주식회사 디스플레이 장치의 리모콘 기능을 수행하는 이동 단말기
US8928589B2 (en) 2011-04-20 2015-01-06 Qualcomm Incorporated Virtual keyboards and methods of providing the same
JP5824859B2 (ja) * 2011-05-02 2015-12-02 船井電機株式会社 携帯端末
RU2621644C2 (ru) 2011-05-06 2017-06-06 Мэджик Лип, Инк. Мир массового одновременного удаленного цифрового присутствия
JP5988036B2 (ja) 2011-05-18 2016-09-07 パナソニックＩｐマネジメント株式会社 通信制御システムおよびその方法、ならびに通信装置およびその方法、プログラム
KR101844222B1 (ko) 2011-05-27 2018-04-02 엘지전자 주식회사 이동 단말기 및 이것의 모드 제어 방법
JP2012248067A (ja) 2011-05-30 2012-12-13 Canon Inc 情報入力装置、その制御方法、および制御プログラム
KR20120134732A (ko) * 2011-06-03 2012-12-12 삼성전자주식회사 원격제어기를 이용하여 웹 브라우징을 수행하는 장치 및 방법
US20120316456A1 (en) 2011-06-10 2012-12-13 Aliphcom Sensory user interface
US20120317024A1 (en) 2011-06-10 2012-12-13 Aliphcom Wearable device data security
KR20120137032A (ko) 2011-06-10 2012-12-20 현대모비스 주식회사 전동식 동력 조향장치의 제어방법
KR101199454B1 (ko) 2011-06-17 2012-11-07 변동주 장식용 반사체를 이용한 조명등
KR101819506B1 (ko) 2011-06-28 2018-01-17 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
US8194036B1 (en) 2011-06-29 2012-06-05 Google Inc. Systems and methods for controlling a cursor on a display using a trackpad input device
KR101251250B1 (ko) * 2011-07-01 2013-04-08 알서포트 주식회사 원격 디바이스 드라이버를 이용한 원격 제어 시스템 및 원격 디바이스 드라이버를 이용한 원격 제어 방법
RU2455676C2 (ru) 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
US8184070B1 (en) 2011-07-06 2012-05-22 Google Inc. Method and system for selecting a user interface for a wearable computing device
US9069164B2 (en) 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
US8228315B1 (en) 2011-07-12 2012-07-24 Google Inc. Methods and systems for a virtual input device
US20130018659A1 (en) 2011-07-12 2013-01-17 Google Inc. Systems and Methods for Speech Command Processing
US8179604B1 (en) 2011-07-13 2012-05-15 Google Inc. Wearable marker for passive interaction
US20130021374A1 (en) 2011-07-20 2013-01-24 Google Inc. Manipulating And Displaying An Image On A Wearable Computing System
US9015708B2 (en) 2011-07-28 2015-04-21 International Business Machines Corporation System for improving the performance of high performance computing applications on cloud using integrated load balancing
US9256361B2 (en) 2011-08-03 2016-02-09 Ebay Inc. Control of search results with multipoint pinch gestures
USD650706S1 (en) 2011-08-08 2011-12-20 Blue Sky SRL Wrist watch
US8641306B2 (en) 2011-08-16 2014-02-04 Argotext Wristwatch keyboard
US9720708B2 (en) 2011-08-19 2017-08-01 Advanced Micro Devices, Inc. Data layout transformation for workload distribution
USD661275S1 (en) 2011-08-19 2012-06-05 Cox Communications, Inc. Mobile communications device with wrist band
US10152294B2 (en) * 2011-08-23 2018-12-11 Htc Corporation Mobile device and method of running two platform systems or applications thereon
USD654431S1 (en) 2011-08-29 2012-02-21 Eveready Battery Company, Inc. Charger for a lighting device
US9529448B2 (en) 2011-08-31 2016-12-27 Farzan Fallah Data entry systems and methods
US9173090B2 (en) 2011-09-15 2015-10-27 Teletech Holdings, Inc. Method for activating services associated with a product via a service center supporting a variety of products
US8941560B2 (en) * 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
US9672049B2 (en) 2011-09-22 2017-06-06 Qualcomm Incorporated Dynamic and configurable user interface
CN103034362B (zh) 2011-09-30 2017-05-17 三星电子株式会社 移动终端中处理触摸输入的方法和设备
US9336687B2 (en) 2011-10-11 2016-05-10 Teletech Holdings, Inc. Method for providing learning courses via a service center supporting a variety of products
US8707211B2 (en) 2011-10-21 2014-04-22 Hewlett-Packard Development Company, L.P. Radial graphical user interface
US8467270B2 (en) 2011-10-26 2013-06-18 Google Inc. Smart-watch with user interface features
US8279716B1 (en) 2011-10-26 2012-10-02 Google Inc. Smart-watch including flip up display
US8935629B2 (en) 2011-10-28 2015-01-13 Flipboard Inc. Systems and methods for flipping through content
US9936036B2 (en) 2011-10-28 2018-04-03 Sharp Laboratories Of America, Inc. Method and system for indirectly establishing a unique communication channel between a plurality of devices
CN102368200A (zh) 2011-10-28 2012-03-07 青岛海信移动通信技术股份有限公司 一种触摸屏解锁方法及具有触摸屏的电子产品
US9164589B2 (en) 2011-11-01 2015-10-20 Intel Corporation Dynamic gesture based short-range human-machine interaction
WO2013067392A1 (en) 2011-11-02 2013-05-10 Hendricks Investment Holdings, Llc Device navigation icon and system, and method of use thereof
US9310889B2 (en) 2011-11-10 2016-04-12 Blackberry Limited Touchscreen keyboard predictive display and generation of a set of characters
US9288229B2 (en) 2011-11-10 2016-03-15 Skype Device association via video handshake
US9007302B1 (en) 2011-11-11 2015-04-14 Benjamin D. Bandt-Horn Device and user interface for visualizing, navigating, and manipulating hierarchically structured information on host electronic devices
US9183658B2 (en) 2011-11-14 2015-11-10 Microsoft Technology Licensing, Llc Animation creation and management in presentation application programs
US20130120106A1 (en) 2011-11-16 2013-05-16 Motorola Mobility, Inc. Display device, corresponding systems, and methods therefor
US20130132848A1 (en) 2011-11-18 2013-05-23 Apple Inc. Application interaction via multiple user interfaces
US9286901B1 (en) 2011-11-23 2016-03-15 Evernote Corporation Communication using sound
US20140330900A1 (en) 2011-11-23 2014-11-06 Evernote Corporation Encounter-driven personal contact space
US9162144B2 (en) 2011-12-05 2015-10-20 Microsoft Technology Licensing, Llc Portable device pairing with a tracking system
KR101242390B1 (ko) 2011-12-29 2013-03-12 인텔 코오퍼레이션 사용자를 인증하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
US9137627B2 (en) 2011-12-30 2015-09-15 Linkedin Corporation Systems and methods for mobile device pairing
USD664880S1 (en) 2012-01-18 2012-08-07 Nike, Inc. Wristband
USD664881S1 (en) 2012-01-18 2012-08-07 Nike, Inc. Wristband
USD671858S1 (en) 2012-01-18 2012-12-04 Nike, Inc. Wristband
EP2618239B1 (en) 2012-01-19 2016-10-05 BlackBerry Limited Next letter prediction for virtual keyboard
US9026461B2 (en) 2012-01-23 2015-05-05 Bank Of America Corporation Enhanced mobile application for assisting users at a point of transaction
US9367085B2 (en) 2012-01-26 2016-06-14 Google Technology Holdings LLC Portable electronic device and method for controlling operation thereof taking into account which limb possesses the electronic device
US8872849B2 (en) 2012-01-27 2014-10-28 Microsoft Corporation Relational rendering of multi-faceted data
US20130198056A1 (en) 2012-01-27 2013-08-01 Verizon Patent And Licensing Inc. Near field communication transaction management and application systems and methods
KR20130088512A (ko) * 2012-01-31 2013-08-08 한국전자통신연구원 클러스터 컴퓨팅 환경에서의 자원 관리 장치 및 방법
US20140368980A1 (en) * 2012-02-07 2014-12-18 Google Inc. Technical Support and Remote Functionality for a Wearable Computing System
JP5193404B2 (ja) 2012-02-10 2013-05-08 オリンパスイメージング株式会社 情報機器
US20130211843A1 (en) 2012-02-13 2013-08-15 Qualcomm Incorporated Engagement-dependent gesture recognition
US9186077B2 (en) * 2012-02-16 2015-11-17 Google Technology Holdings LLC Method and device with customizable power management
USD687736S1 (en) 2012-02-16 2013-08-13 Christopher D. Wycoff Bracelet with removable chip
WO2013130682A1 (en) 2012-02-27 2013-09-06 5 Examples, Inc. Date entry system controllers for receiving user input line traces relative to user interfaces to determine ordered actions, and related systems and methods
US8947382B2 (en) 2012-02-28 2015-02-03 Motorola Mobility Llc Wearable display device, corresponding systems, and method for presenting output on the same
US20130254705A1 (en) 2012-03-20 2013-09-26 Wimm Labs, Inc. Multi-axis user interface for a touch-screen enabled wearable device
US10332112B2 (en) 2012-03-27 2019-06-25 International Business Machines Corporation Authentication for transactions using near field communication
USD680541S1 (en) 2012-04-11 2013-04-23 Coby Electronics Corp. Docking station for a portable media player
USD672255S1 (en) 2012-04-16 2012-12-11 I'M SpA Watch
GB2506231A (en) 2012-04-30 2014-03-26 Blackberry Ltd Touchscreen keyboard with correction of previously input text
US20130300719A1 (en) 2012-05-10 2013-11-14 Research In Motion Limited Method and apparatus for providing stylus orientation and position input
CN102681786B (zh) 2012-05-14 2014-12-24 华为技术有限公司 文本选择的方法及装置
WO2013186948A1 (ja) * 2012-06-15 2013-12-19 株式会社ニコン 電子機器、容器、容器の製造方法、及び容器用装着具
CN102779002B (zh) 2012-06-19 2015-05-20 邓朝进 一种触摸屏键盘
US9256366B2 (en) 2012-08-14 2016-02-09 Google Technology Holdings LLC Systems and methods for touch-based two-stage text input
US9619282B2 (en) 2012-08-21 2017-04-11 Lenovo (Singapore) Pte. Ltd. Task scheduling in big and little cores
US9360997B2 (en) 2012-08-29 2016-06-07 Apple Inc. Content presentation and interaction across multiple displays
US9310881B2 (en) 2012-09-13 2016-04-12 Intel Corporation Methods and apparatus for facilitating multi-user computer interaction
US20140078065A1 (en) 2012-09-15 2014-03-20 Ahmet Akkok Predictive Keyboard With Suppressed Keys
US20140095695A1 (en) * 2012-09-28 2014-04-03 Ren Wang Cloud aware computing distribution to improve performance and energy for mobile devices
US10234941B2 (en) * 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
US8963806B1 (en) 2012-10-29 2015-02-24 Google Inc. Device authentication
US9373230B2 (en) 2012-10-31 2016-06-21 Wal-Mart Stores, Inc. Customer reprint of a physical receipt from an electronic receipt
US9477313B2 (en) 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
US10551928B2 (en) 2012-11-20 2020-02-04 Samsung Electronics Company, Ltd. GUI transitions on wearable electronic device
US8994827B2 (en) 2012-11-20 2015-03-31 Samsung Electronics Co., Ltd Wearable electronic device
US9030446B2 (en) 2012-11-20 2015-05-12 Samsung Electronics Co., Ltd. Placement of optical sensor on wearable electronic device
US10423214B2 (en) 2012-11-20 2019-09-24 Samsung Electronics Company, Ltd Delegating processing from wearable electronic device
US11237719B2 (en) * 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
US10185416B2 (en) 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
US11372536B2 (en) 2012-11-20 2022-06-28 Samsung Electronics Company, Ltd. Transition and interaction model for wearable electronic device
US20140181758A1 (en) 2012-12-20 2014-06-26 Research In Motion Limited System and Method for Displaying Characters Using Gestures
US10063598B2 (en) 2012-12-28 2018-08-28 Nokia Technologies Oy Method and apparatus for establishing, authenticating, and accessing a content channel
EP2956845A2 (en) 2013-02-17 2015-12-23 Keyless Systems Ltd Improved data entry systems
US9274685B2 (en) 2013-03-15 2016-03-01 Google Technology Holdings LLC Systems and methods for predictive text entry for small-screen devices with touch-based two-stage text input
US20140282274A1 (en) 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a gesture performed with at least two control objects
US20140306898A1 (en) 2013-04-10 2014-10-16 Barnesandnoble.Com Llc Key swipe gestures for touch sensitive ui virtual keyboard
TW201525625A (zh) 2013-08-23 2015-07-01 Sicpa Holding Sa 用於使用一石英振盪器驗證的方法及系統
CN103488420A (zh) 2013-09-02 2014-01-01 宇龙计算机通信科技(深圳)有限公司 虚拟键盘调整的方法和装置
US9100395B2 (en) 2013-09-24 2015-08-04 International Business Machines Corporation Method and system for using a vibration signature as an authentication key
US9450682B2 (en) 2013-10-07 2016-09-20 International Business Machines Corporation Method and system using vibration signatures for pairing master and slave computing devices
CA2841371A1 (en) * 2014-01-31 2015-07-31 Usquare Soft Inc. Devices and methods for portable processing and application execution
US9022291B1 (en) 2014-07-24 2015-05-05 Apple Inc. Invisible optical label for transmitting information between computing devices
US10326590B2 (en) 2014-11-11 2019-06-18 Intel Corporation Technologies for trusted device on-boarding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101078100B1 (ko) * 2002-04-22 2011-10-28 술바누스 캐피탈 엘.엘.씨. 그래픽 유저 인터페이스를 사용하여 컴퓨터 프로그램들을네비게이팅하는 시스템 및 방법
US20120092383A1 (en) * 2009-07-03 2012-04-19 Hysek Joerg Wristwatch with a touch screen and method for displaying on a touch-screen watch

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160105999A (ko) * 2015-03-01 2016-09-09 삼성전자주식회사 전원 제어 방법 및 장치
KR102335910B1 (ko) 2015-03-01 2021-12-06 삼성전자주식회사 전원 제어 방법 및 장치

Also Published As

Publication number Publication date
KR20140064689A (ko) 2014-05-28
KR102186458B1 (ko) 2020-12-03
WO2014081175A1 (en) 2014-05-30
CN104919421B (zh) 2020-02-07
KR102087989B1 (ko) 2020-03-11
EP2733597A2 (en) 2014-05-21
EP2733608A3 (en) 2016-08-24
KR20140064690A (ko) 2014-05-28
US20220121339A1 (en) 2022-04-21
EP2733608B1 (en) 2019-09-11
AU2013260681B2 (en) 2019-08-15
EP2733608A2 (en) 2014-05-21
JP2014102839A (ja) 2014-06-05
KR20140064691A (ko) 2014-05-28
CN104919421A (zh) 2015-09-16
US20140143784A1 (en) 2014-05-22
JP6421911B2 (ja) 2018-11-14
JP6330995B2 (ja) 2018-05-30
JP2014102841A (ja) 2014-06-05
EP2733597B1 (en) 2019-01-23
EP2733597A3 (en) 2016-06-08
US11237719B2 (en) 2022-02-01
AU2013260681A1 (en) 2014-06-05
JP2014102838A (ja) 2014-06-05
JP6553328B2 (ja) 2019-07-31

Similar Documents

Publication Publication Date Title
JP6804586B2 (ja) 着用式電子デバイスでのｇｕｉ転移
US11240408B2 (en) Wearable electronic device
US20220244826A1 (en) Transition and Interaction Model for Wearable Electronic Device
KR102186456B1 (ko) 착용식 전자 디바이스를 위한 전이 및 상호작용 모델
KR102186459B1 (ko) 디바이스의 움직임을 포함하는, 착용식 전자 디바이스로의 사용자 제스처 입력
KR102185364B1 (ko) 착용식 전자 디바이스에 대한, 그 디바이스의 외향 센서를 포함하는 사용자 제스처 입력
KR102209064B1 (ko) 착용식 전자 디바이스로부터 프로세싱의 위임
KR102125560B1 (ko) 착용식 전자 디바이스 상에 광학 센서의 배치
JP6463598B2 (ja) 着用式電子デバイスからのプロセッシングの委任

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right