KR102319421B1 - 대화형 디스플레이 상 텍스트 입력 - Google Patents

대화형 디스플레이 상 텍스트 입력 Download PDF

Info

Publication number
KR102319421B1
KR102319421B1 KR1020167026992A KR20167026992A KR102319421B1 KR 102319421 B1 KR102319421 B1 KR 102319421B1 KR 1020167026992 A KR1020167026992 A KR 1020167026992A KR 20167026992 A KR20167026992 A KR 20167026992A KR 102319421 B1 KR102319421 B1 KR 102319421B1
Authority
KR
South Korea
Prior art keywords
user
display
gesture
delete delete
input
Prior art date
Application number
KR1020167026992A
Other languages
English (en)
Other versions
KR20160128378A (ko
Inventor
에바 오펜버그
링크 후앙
캐시 김
프라나브 미스트리
사지드 사디
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20160128378A publication Critical patent/KR20160128378A/ko
Application granted granted Critical
Publication of KR102319421B1 publication Critical patent/KR102319421B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0236—Character input methods using selection techniques to select from displayed items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 실시예에 따르면, 비 일시적인 컴퓨터 판독가능 저장 매체는 소형 디스플레이 상에 하나 이상의 문자이거나, 하나 이상의 문자를 포함하는 대화형 요소를 디스플레이하도록 하는 명령을 포함한다. 상기 명령은 입력에 기초하여, 하나 이상의 대화형 요소 또는 문자를 식별할 수 있다.

Description

대화형 디스플레이 상 텍스트 입력{TEXT INPUT ON AN INTERACTIVE DISPLAY}
본 개시는 일반적으로 대화형(interactive) 디스플레이 상의 텍스트 입력에 관한 것이다.
전자 디바이스들은 디바이스의 사용자에게 정보를 디스플레이하는 디스플레이 화면을 포함할 수 있다. 또한, 전자 디바이스는 사용자로부터 입력을 수신하는 입력 화면을 포함할 수 있다 때때로 입력 화면 및 디스플레이 화면은 동일하거나, 동일한 면을 공유할 수 있다. 디바이스의 사용자는 디스플레이 화면 상의 컨텐트를 시청하는 동안에, 입력 화면을 통해 디바이스에 입력을 제공할 수 있다. 입력 화면과 디스플레이 화면이 동일한 경우, 동일한 화면 상에 컨텐트를 입력하는 동안에, 사용자는 디스플레이 화면 상의 컨텐트를 시청할 수 있다. 예를 들어, 사용자는 디스플레이 화면 상에 디스플레이된 버튼 또는 아이콘과 상호작용하거나, 숫자들, 문자들(characters), 심볼들(symbols), 또는 숫자들, 문자들, 심볼들의 조합들과 같은 텍스트를 디바이스의 입력 화면에 입력할 수 있다.
본 개시의 일 실시예는 각각의 위치는 문자들의 집합 중 하나의 문자에 대응하는, 복수의 위치들을 가지는 대화형 요소를 소형 디스플레이 상에 디스플레이하고, 상기 문자들의 집합 중 적어도 일부의 문자는 상기 디스플레이 상에 동시에 디스플레이하지 않는 단계; 입력에 기초하여, 상기 대화형 요소 내의 제 1 위치를 식별하는 단계; 및 상기 제 1 위치에 대응하는 제 1 문자를 상기 디스플레이 상에 디스플레이하는 단계를 실행하기 위해, 하나 이상의 프로세서에 의해 실행될 수 있는 동작 가능한 명령을 포함하는 하나 이상의 비 일시적인 컴퓨터 판독가능 저장 매체를 제공한다.
본 개시의 일 실시예는 각각의 위치는 문자들의 집합 중 하나의 문자에 대응하는, 복수의 위치들을 가지는 대화형 요소를 소형 디스플레이 상에 디스플레이하고, 상기 문자들의 집합 중 적어도 일부의 문자는 상기 디스플레이 상에 동시에 디스플레이하지 않는 단계; 입력에 기초하여, 상기 대화형 요소 내의 제 1 위치를 식별하는 단계; 및 상기 제 1 위치에 대응하는 제 1 문자를 상기 디스플레이 상에 디스플레이하는 단계를 실행하기 위해, 하나 이상의 프로세서에 의해 실행될 수 있는 동작 가능한 명령을 포함하는 하나 이상의 비 일시적인 컴퓨터 판독가능 저장 매체를 제공한다.
문자들의 집합은 영어 알파벳을 포함한다.
대화형 요소는 문자들의 집합 중 어떤 문자도 포함하지 않는다.
디스플레이는 직사각형 디스플레이를 포함하고, 대화형 요소는 직사각형 디스플레이의 가장자리를 따라 디스플레이된 제 1 바(bar)를 포함한다.
사용자로부터의 입력은 사용자의 손가락과 제 1 위치에 대응하는 디스플레이의 부분 사이의 접촉을 포함하고, 대화형 요소 내에서 제 1 위치부터 제 2위치까지 디스플레이와의 지속적인 접촉을 포함하는 손가락의 움직임을 결정하는 단계; 디스플레이로부터 제 1 문자를 제거하는 단계; 제 2 위치에 대응하는 제 2 문자를 디스플레이 상에 디스플레이하는 단계를 실행하기 위한 동작 가능한 명령을 더 포함한다.
사용자로부터의 입력은 사용자의 손가락과 제 1 위치에 대응하는 디스플레이의 부분 사이의 접촉을 포함하고, 사용자의 손가락이 제 1 위치에 대응하는 디스플레이의 부분에 접촉하는 동안에, 제 1 문자는 디스플레이의 제 1 부분 상에 디스플레이되고, 사용자가 디스플레이로부터 손가락을 제거했는지 결정하는 단계; 및 제 1 문자를 디스플레이의 제 2 부분 상에 디스플레이하는 단계를 실행하기 위한 동작 가능한 명령을 더 포함한다.
디스플레이는 원형 디스플레이를 포함하고, 대화형 요소는 원형 디스플레이의 가장자리를 따라 디스플레이된 곡선 바(curved bar)를 포함한다.
대화형 요소는 디스플레이의 가장자리를 따르는 제 1 바를 포함한다.
대화형 요소는 제 1 바와 평행하고, 인접하는 제 2 바를 더 포함하고, 제 1 바는 문자들의 집합 중 하나 이상의 문자를 포함하고, 제 2 바는 하나 이상의 제안된 문자열을 포함한다.
사용자가 제 2 바 상에 스와이핑 제스처(swiping gesture)를 실행했는지 결정하는 단계; 및 스와이핑 제스처에 대응하여, 제 2 바 내의 하나 이상의 제안된 문자열의 일부를 하나 이상의 다른 제안된 문자열로 대체하는 단계를 실행하기 위한 동작 가능한 명령을 더 포함한다.
사용자의 손가락이 제 1 위치에 대응하는 디스플레이의 제 1 부분에 접촉하였는지 결정하는 단계; 및 사용자의 손가락이 바의 외부인 디스플레이의 제 2 위치로, 바에 실질적으로 수직으로 연속적으로 움직이는지 결정하는 단계를 실행하기 위한 동작 가능한 명령을 더 포함한다.
사용자가 제 1 바 상에 스와이핑 제스처를 실행했는지 결정하는 단계; 및 스와이핑 제스처에 대응하여, 제 1 바 내의 하나 이상의 문자의 일부를 하나 이상의 다른 문자로 대체하는 단계를 실행하기 위한 동작 가능한 명령을 더 포함한다.
대화형 요소는 제 1 바와 평행하고, 인접하는 제 2 바를 더 포함하고, 제 1 바는 문자들의 집합 중 하나 이상의 문자를 포함하고, 제 2 바는 제 1 바 내에 디스플레이된 문자들을 변경하도록 동작 가능한 하나 이상의 아이콘을 포함한다.
하나 이상의 아이콘은, 제 1 바 내 문자들의 대문자화(capitalization)를 변경하고, 제 1 바 내 문자들의 조판(typesetting)을 변경하며, 제 1 바 내 숫자들을 디스플레이하고, 제 1 바 내 글자(letter)들을 디스플레이하며, 제 1 바 내 심볼(symbol)들을 디스플레이하도록 하는 것을 포함한다.
문자들은 문자 구성요소들을 포함한다.
디스플레이는 원형 디스플레이를 포함하고, 대화형 요소는 디스플레이의 반원형(semi-circular) 부분을 포함하고, 반원형 부분은 적어도 하나의 문자의 디스플레이를 포함한다.
웨어러블 디바이스 내의 매체는, 디스플레이; 디스플레이에 대해 회전 가능한 요소; 회전 가능한 요소의 회전을 검출하는 검출기; 및 디바이스 본체와 결합된 밴드를 포함한다.
회전 가능한 요소의 회전을 결정하는 단계; 및 회전에 기초하여, 반원형 부분 내 적어도 하나의 문자를 문자들의 집합 중 다른 문자로 대체하는 단계를 실행하기 위한 동작 가능한 명령을 더 포함한다.
본 개시의 일 실시예는 각각의 위치는 문자들의 집합 중 하나의 문자에 대응하는, 복수의 위치들을 가지는 대화형 요소를 디스플레이하고, 문자들의 집합 중 적어도 일부의 문자는 디스플레이 상에 동시에 디스플레이하지 않는 소형 디스플레이; 및 입력에 기초하여, 대화형 요소 내의 제 1 위치를 식별하고, 제 1 위치에 대응하는 제 1 문자를 디스플레이하도록 디스플레이를 제어하는 프로세서를 포함하는 디바이스를 제공한다.
대화형 요소는 디스플레이의 가장자리를 따르는 바를 포함한다.
입력은 디스플레이 상에 이루어지는 제스처를 포함하고, 프로세서는 제스처에 기초하여 제 1 위치를 식별한다.
본 개시의 일 실시예는 디스플레이 표면의 중심을 포함하는 안쪽 부분을 가지는 소형 디스플레이의 표면의 바깥쪽 부분(portion)의 실질적인 부분(part) 상에 복수의 문자들을 디스플레이하는 단계; 입력에 기초하여, 하나 이상의 디스플레이된 문자를 식별하는 단계; 및 하나 이상의 식별된 문자를 포함하는 입력된 텍스트를 디스플레이의 부분 상에 디스플레이하는 단계를 실행하기 위해, 하나 이상의 프로세서에 의해 실행 수 있는 동작 가능한 명령을 포함하는 하나 이상의 비 일시적인 컴퓨터 판독가능 저장 매체를 제공한다.
디스플레이는 실질적으로 원형 디스플레이를 포함하고, 바깥쪽 및 안쪽 부분은 실질적으로 원형이다.
웨어러블 디바이스 내의 매체는, 디스플레이; 디스플레이에 대해 회전 가능한 요소; 회전 가능한 요소의 회전을 검출하는 검출기; 및 디바이스 본체와 결합된 밴드를 포함한다.
회전 가능한 요소의 회전을 결정하는 단계; 및 회전에 기초하여, 바깥쪽 부분 상에 디스플레이된 적어도 하나의 문자를 선택하는 단계를 실행하기 위한 동작 가능한 명령을 더 포함한다.
바깥쪽 부분은 디스플레이의 표면 근처이거나, 바깥쪽 가장자리에 있다.
디스플레이는 실질적으로 직사각형 디스플레이를 포함하고, 바깥쪽 및 안쪽 부분은 실질적으로 직사각형이다.
바깥쪽 부분은 디스플레이의 표면 근처이거나, 바깥쪽 가장자리에 있다.
사용자로부터의 입력은 사용자의 손가락에 의해 하나 이상의 디스플레이된 문자 상, 또는 주위에 이루어진 스와이핑 제스처를 포함한다.
사용자로부터의 입력에 기초하여, 사용자의 손가락과 안쪽 부분 사이의 접촉; 안쪽 부분에서 바깥쪽 부분으로의 사용자의 손가락의 제 1 움직임; 제 1 움직임을 수행한 후에, 사용자의 손가락에 의해 스와이핑된 제 1 문자; 바깥쪽 부분에서 안쪽 부분으로의 사용자의 손가락의 제 2 움직임; 안쪽 부분에서 바깥쪽 부분으로의 사용자의 손가락의 제 3 움직임; 및 제 3움직임을 수행한 후에, 사용자의 손가락에 의해 스와이핑된 제 1 문자를 식별하기 위해 실행되는 동작 가능한 명령들을 포함한다.
제 3 움직임은 바깥쪽 부분에서 또는 중심 근처에서 디스플레이의 중심으로의 스와이핑을 포함한다.
실행될 경우 동작 가능한 명령은, 식별된 문자들에 기초하여, 바깥쪽 부분 상에 디스플레이된 하나 이상의 문자를 제거하거나, 하이라이트하거나, 강조하지 않기 위해, 실행될 수 있다.
본 개시의 일 실시예는 각각의 대화형 요소는 복수의 문자들 및 복수의 문자들이 그룹된 것을 나타내는 시각 표시자(visual indicator)를 포함하는, 복수의 대화형 요소들을 소형 디스플레이의 제 1 부분 상에 디스플레이하는 단계; 대화형 요소의 복수의 문자들로부터 적어도 하나의 문자를 대화형 요소 내에 디스플레이하는 단계; 및 입력에 기초하여, 하나 이상의 대화형 요소를 식별하는 단계를 실행하기 위해, 하나 이상의 프로세서에 의해 실행될 수 있는 동작 가능한 명령을 포함하는 하나 이상의 비 일시적인 컴퓨터 판독가능 저장 매체를 제공한다.
복수의 대화형 요소들은, 계층의 제 1 층에서의 제 1 대화형 요소, 및 계층의 제 2 층에서의 제 2 대화형 요소를 포함한다.
제 1 대화형 요소 내의 복수의 문자들은, 제 2 대화형 요소 내의 복수의 문자들 보다 빈번하게 이용된 문자들을 포함한다.
제 1 대화형 요소는, 각각의 열은 하나 이상의 문자를 포함하는, 복수의 열들을 가지는 제 1 행, 또는 각각의 행은 하나 이상의 문자를 포함하는 복수의 행들을 가지는 제 1 열을 포함하고, 제 2 대화형 요소는 각각의 열은 하나 이상의 문자를 포함하는, 복수의 열들을 가지는 디스플레이의 가장자리와 제 1 행 사이의 제 2 행, 또는 각각의 행은 하나 이상의 문자를 포함하는, 복수의 행들을 가지는 디스플레이의 가장자리와 제 1 열 사이의 제 2 열을 포함한다.
복수의 대화형 요소들을 디스플레이하기 위해, 제 1 대화형 요소를 디스플레이 상에 디스플레이하는 단계; 및 사용자의 손의 일부에 의해 이루어진 제스처에 대응하여, 제 2 대화형 요소를 디스플레이 상에 디스플레이하는 단계를 실행하기 위한 동작 가능한 명령을 포함한다.
제스처는 사용자의 손가락과 제 1 대화형 요소 사이의 접촉, 및 제 1대화형 요소에서 디스플레이의 가장자리 방향으로의 지속적인 움직임을 포함한다.
시각 표시자는 대화형 요소의 둘레(perimeter)의 하나 이상의 선(line)을 포함한다.
시각 표시자는 대화형 요소 내 복수의 문자들 각각의 근처에 아이콘을 포함한다.
시각 표시자는 대화형 요소 내 복수의 문자들의 색(coloring)을 포함한다.
시각 표시자는 사용자로부터의 입력에 대응하여 나타난다.
사용자로부터의 입력은 사용자의 손가락과 대화형 요소 사이의 접촉을 포함하고, 대화형 요소의 외부에 대화형 요소의 문자들을 디스플레이하는 단계; 대화형 요소에서 대화형 요소의 외부에 디스플레이된 문자들 중 하나의 문자로 사용자의 손가락의 움직임을 식별하는 단계; 및 디스플레이에 입력하기 위한 문자를 선택하는 단계를 실행하기 위한 동작 가능한 명령을 포함한다.
복수의 대화형 요소들은 대화형 요소들의 행을 포함하고, 대화형 요소의 외부에 디스플레이된 문자들은 문자들의 열을 포함하거나, 또는 복수의 대화형 요소들은 대화형 요소들의 열을 포함하고, 대화형 요소의 외부에 디스플레이된 문자들은 문자들의 행을 포함한다.
사용자로부터의 입력은 식별된 대화형 요소의 적어도 하나의 문자를 식별하고, 입력은 하나 이상의 사용자 손가락에 의한 대화형 요소 상 탭의 횟수, 미리 결정된 탭의 횟수에 대응하는 대화형 요소 내 각각의 문자; 또는 사용자의 손가락과 대화형 요소 사이의 접촉의 지속 시간, 하나 이상의 미리 결정된 지속 시간에 대응하는 대화형 요소 내 각각의 문자를 포함한다.
도 1은 웨어러블 전자 디바이스의 예시적인 실시예를 도시한다.
도 2는 디바이스의 예시적인 스택업(stack-up)을 도시한다.
도 3a-3e는 디바이스의 예시적인 폼 팩터(form factor)들을 도시한다.
도 4a는 디바이스 본체의 예시적인 단면을 도시한다.
도 4b-4c는 디바이스의 구성요소들 사이의 예시적인 연결들을 도시한다.
도 5a-5f는 디바이스의 예시적인 디스플레이들을 도시한다.
도 6a-6c는 디바이스 디스플레이의 예시적인 단면들을 도시한다.
도 7a-7d는 디바이스 본체에 대한 예시적인 외부 요소들을 도시한다.
도 8a-8c는 디바이스 본체에 대한 예시적인 외부 요소들을 도시한다.
도 9는 디바이스의 예시적인 밀봉 링(sealing ring)을 도시한다.
도 10은 디바이스의 예시적인 고정 링(retention ring)을 도시한다.
도 11은 디바이스 착용의 다양한 예시적인 실시예들을 도시한다.
도 12a-12b는 디바이스의 본체에 부착된 밴드를 도시한다.
도 13a-13i는 디바이스의 밴드를 고정하거나 부착하기 위한 예시적인 실시예들을 도시한다.
도 14a-14d는 디바이스 상의 예시적인 카메라의 배치들을 도시한다.
도 15는 밴드 및 광학 센서를 가지는 예시적인 디바이스를 도시한다.
도 16은 사용자, 디바이스 및 객체를 포함하는 예시적인 뷰잉 트라이앵글(viewing triagle)을 도시한다.
도 17은 디바이스의 광학 센서에 대한 예시적인 시야각(angle of view)을 도시한다.
도 18a-18b는 디바이스의 예시적인 광학 센서들을 도시한다.
도 19는 디바이스의 예시적인 센서 감지 시스템을 도시한다.
도 20a-20c는 디바이스에 사용할 수 있는 예시적인 충전기들을 도시한다.
도 21a-21b는 디바이스에 사용할 수 있는 예시적인 충전기들을 도시한다.
도 22a-22b는 디바이스에 사용할 수 있는 예시적인 충전부들을 도시한다.
도 23은 디바이스에 사용할 수 있는 충전부에 대한 예시적인 충전 스킴(scheme)을 도시한다.
도 24는 디바이스에서 사용할 수 있는 충전부에 대한 예시적인 충전 스킴을 도시한다.
도 25a-25e는 에너지 저장공간, 디바이스 내 충전, 및 충전부의 예시적인 실시예들을 도시한다.
도 26은 예시적인 충전부의 구조를 도시한다.
도 27-92는 디바이스 사용의 예시적인 제스처들을 도시한다.
도 93a-93b는 디바이스에의 예시적인 사용자 입력들을 도시한다.
도 94a-94c는 디바이스에의 예시적인 사용자 입력들을 도시한다.
도 95a-95d는 디바이스에의 예시적인 사용자 터치 입력을 도시한다.
도 96a-96b는 디바이스의 예시적인GUI(graphical user interface) 모델들을 도시한다.
도 97은 디바이스의 예시적인GUI 모델을 도시한다.
도 98a-98g는 디바이스의 예시적인GUI 모델들을 도시한다.
도 99는 디바이스의 예시적인 GUI 모델을 도시한다.
도 100a-100c는 디바이스의 예시적인 GUI 모델들을 도시한다.
도 101a-101b는 디바이스의 GUI의 예시적인 스크린들을 도시한다.
도 102a-102d는 디바이스의 GUI의 예시적인 스크린들을 도시한다.
도 103a-103d는 디바이스의 GUI의 예시적인 스크린들을 도시한다.
도 104는 디바이스의 GUI의 예시적인 메뉴를 도시한다.
도 105a-105d는 디바이스의 GUI의 예시적인 메뉴들을 도시한다.
도 106a-106c는 디바이스의 GUI의 예시적인 메뉴들을 도시한다.
도 107a-107c는 디바이스의 GUI의 예시적인 메뉴들을 도시한다.
도 108는 디바이스의 GUI의 예시적인 메뉴들을 도시한다.
도 109a-109c는 디바이스의 GUI의 예시적인 메뉴들을 도시한다.
도 110a-110b는 디바이스의 GUI 내 스크롤링의 예시들을 도시한다.
도 111a-111c는 디바이스의 GUI 내 스크롤링의 예시들을 도시한다.
도 112는 디바이스의 GUI 내 오버레이(overlay) 및 배경 컨텐트의 예시들을 도시한다.
도 113a-113c는 디바이스의 GUI 내 오버레이 및 배경 컨텐트의 예시들을 도시한다.
도 114a-114b는 디바이스의 GUI 내 예시적인 시각적 전환 효과들을 도시한다.
도 115a-115b는 디바이스의 GUI 내 예시적인 시각적 전환 효과들을 도시한다.
도 116a-116b는 디바이스의 GUI 내 예시적인 시각적 전환 효과들을 도시한다.
도 117a-117b는 디바이스의 GUI 내 예시적인 시각적 전환 효과들을 도시한다.
도 118a-118b는 디바이스의 GUI 내 예시적인 시각적 전환 효과들을 도시한다.
도 119a-119c는 디바이스의 GUI 내 예시적인 시각적 전환 효과들을 도시한다.
도 120a-120c는 디바이스의 GUI 내 예시적인 시각적 전환 효과들을 도시한다.
도 121a-121b는 디바이스의 GUI 내 예시적인 시각적 전환 효과들을 도시한다.
도 122는 디바이스의 GUI 내 물리적인 모델의 예시적인 사용을 도시한다.
도 123은 디바이스의 GUI의 예시적인 스크린들을 도시한다.
도 124는 디바이스의 GUI의 예시적인 스크린들을 도시한다.
도 125는 디바이스 내 자동 카메라 활성을 위한 예시적인 방법을 도시한다.
도 126은 디바이스의 위임(delegation)을 위한 예시적인 방법을 도시한다.
도 127은 디바이스를 포함하는 예시적인 위임 모델들을 도시한다.
도 128은 디바이스의 위임(delegation)을 위한 예시적인 방법을 도시한다.
도 129a-129d는 디바이스의 예시적인 모드들을 도시한다.
도 130은 디바이스의 예시적인 모드를 도시한다.
도 131a-131d는 디바이스의 예시적인 모드들을 도시한다.
도 132는 디바이스 상에서 증강 현실 기능들을 제공하기 위한 예시적인 방법을 도시한다.
도 133은 디바이스에서 동작할 수 있는 예시적인 네트워크 환경을 도시한다.
도 134는 디바이스와 타겟 디바이스 사이의 예시적인 페어링(pairing)을 도시한다.
도 135는 타겟 디바이스와 디바이스를 페어링하기 위한 예시적인 방법을 도시한다.
도 136은 디바이스의 GUI의 예시적인 화면들을 도시한다.
도 137은 디바이스를 포함하는 예시적인 컴퓨터 시스템을 도시한다.
도 138a-138e는 텍스트 입력을 위한 디스플레이 부분, 입력된 텍스트를 디스플레이하기 위한 부분, 및 입력 가능한 텍스트를 디스플레이하기 위한 부분을 포함하는 예시적인 원형 디스플레이를 가지는 예시적인 디바이스를 도시한다.
도 139a-139f는 텍스트 입력을 위한 디스플레이 부분, 입력된 텍스트를 디스플레이하기 위한 부분, 및 입력 가능한 텍스트를 디스플레이하기 위한 부분을 포함하는 예시적인 원형 디스플레이를 가지는 예시적인 디바이스를 도시한다.
도 140a-140b는 텍스트 입력을 위한 디스플레이 부분, 입력된 텍스트를 디스플레이하기 위한 부분, 입력 가능한 텍스트를 디스플레이하기 위한 부분, 및 선택 가능한 문자열들을 사용자에게 제안하기 위한 부분을 포함하는 예시적인 원형 디스플레이를 가지는 예시적인 디바이스를 도시한다.
도 141a-141b는 사용자가 수기 텍스트를 입력할 수 있는 부분을 가지는 예시적인 디바이스를 도시한다.
도 142a-142b는 사용자가 가이드된(guided) 수기 텍스트를 입력할 수 있는 부분을 가지는 예시적인 디바이스를 도시한다.
도 143a-143b는 사용자가 가이드된 수기 텍스트를 입력할 수 있는 부분을 가지는 예시적인 디바이스를 도시한다.
도 144a-144b는 사용자가 가이드된 수기 텍스트를 입력할 수 있는 부분을 가지는 예시적인 디바이스를 도시한다.
도 145a-145b는 디바이스 상에 텍스트를 입력하기 위해 예시적인 디바이스의 센서에 의해 캡쳐될 수 있는 예시적인 제스처들을 도시한다.
도 146a-146c는 영어 알파벳을 디스플레이하는 소형 디스플레이들에 대한 예시적인 문자 레이아웃들을 도시한다.
도 146d-146e는 선택된 텍스트의 예시적인 하이라이팅(highlighting)을 도시한다.
도 147a-147c는 이전에 선택된 문자들에 기초하여 디스플레이된 선택 가능한 문자들을 수정하는 예시들을 도시한다.
도 148a-148c는 예시적인 원형 디스플레이의 바깥 가장자리(outer edge)상에 디스플레이된 예시적인 문자 집합들에 대한 예시적인 레이아웃들을 도시한다.
도 149a-149c는 예시적인 직사각형 디스플레이 상에 디스플레이된 예시적인 문자 집합들에 대한 예시적인 레이아웃들을 도시한다.
도 150a-150d는 디스플레이에 입력할 문자들을 나타내는 예시적인 계층적 레이아웃들을 도시한다.
도 151a-151d는 예시적인 디스플레이들 상에 입력할 문자들을 선택하기 위한 예시적인 제스처들을 도시한다.
도 152a-152c는 디스플레이 상에 텍스트를 입력하기 위한 예시적인 인터페이스들을 도시한다.
도 153a-153b는 디스플레이 상에 텍스트를 입력하기 위한 예시적인 인터페이스들을 도시한다.
도 154a-154d는 디스플레이 상에 텍스트를 입력하기 위한 예시적인 인터페이스들을 도시한다.
도 155a-155d는 사용자가 디스플레이 상에 텍스트를 입력함에 따라 문자들을 재배열하는 예시적인 인터페이스들을 도시한다.
도 156a-156p는 디스플레이 상에 입력하기 위한 문자들의 예시적인 그룹핑(grouping)들을 도시한다.
도 157a-157d는 디스플레이 상에 입력하기 위한 문자들의 예시적인 그룹핑들을 도시한다.
도 158a-158b는 디스플레이 상에 입력하기 위한 문자들의 예시적인 그룹핑들을 도시한다.
도 159a-159f는 디스플레이 상에 문자들을 입력하기 위한 예시적인 대화형 요소들을 가지는 예시적인 디스플레이들을 도시한다.
도 160은 디스플레이 상에 문자들 및 제안된 문자열들을 입력하기 위한 예시적인 대화형 요소들을 가지는 예시적인 디스플레이를 도시한다.
도 161은 디스플레이 상에 문자들을 입력하기 위한 예시적인 대화형 요소들을 가지는 예시적인 디스플레이를 도시한다.
도 162는 디스플레이 상에 문자들 및 제안된 문자열들을 입력하기 위한 예시적인 대화형 요소들을 가지는 예시적인 디스플레이를 도시한다.
도 163은 디스플레이 상에 문자들을 입력하기 위한 예시적인 대화형 요소들을 가지는 예시적인 디스플레이를 도시한다.
도 164a-164b는 디스플레이 상에 문자들을 입력하기 위한 예시적인 대화형 요소들을 가지는 예시적인 디스플레이들을 도시한다.
도 165는 예시적인 문자 부분들을 이용하여 예시적인 디스플레이에 입력할 문자들을 구성하기 위한 예시적인 인터페이스를 도시한다.
도 1은 웨어러블 전자 디바이스(100)의 예시적인 실시예를 도시한다. 디바이스(100)는 디바이스(100)의 회로, 구조, 및 디스플레이 중 일부 또는 전부를 포함하는 본체(105)를 포함할 수 있다. 예를 들어, 본체(105)는 디바이스(100)의 처리 데이터 저장 구성요소들(processing data storage components), 메모리, 센서들, 배선, 또는 통신 구성요소들 중 일부 또는 전부를 포함할 수 있다. 일 실시예에 따르면, 디바이스(100)는 디스플레이를 포함할 수 있다. 디스플레이는 원형 디스플레이(110)로 도시된 바와 같이 원형 형태와 같은 임의의 적합한 형태나 모양을 가질 수 있다. 여기에 적절하게 도시된 바와 같이, 원형 디스플레이는 원형 디스플레이들 또는 타원형 디스플레이들과 같은 원형과 유사한 디스플레이들을 포함할 수 있다. 일 실시예에 따르면, 디바이스(100)는 디스플레이에 대한 요소를 포함할 수 있다. 본원에 이용된 바와 같이, 디스플레이에 대한 요소는 디스플레이 또는 디스플레이가 위치하거나 탑재된 본체를 에워싸는 회전 가능한 요소를 포함할 수 있다. 예를 들어, 요소는 원형 디스플레이(110)에 대한 외곽 링(outer ring)(115)일 수 있다. 일 실시예에 따르면, 디스플레이에 대한 요소는 디스플레이 또는 본체에 대해 움직일 수 있다. 예를 들어, 외곽 링(115)은 후술한 바와 같이, 디바이스(100)의 본체에 대해 회전할 수 있다. 일 실시예에 따르면, 디바이스(100)는 본체(105)에 부착된 밴드(120)를 포함할 수 있다. 일 실시예에 따르면, 후술한 바와 같이 디바이스(100)는 본체(105) 내에 부착되거나, 본체(105)에 부착되거나, 밴드(125)에 부착된 카메라를 포함하는 카메라 모듈(125)과 같은 센서 모듈을 포함할 수 있다.
일 실시예에 따르는 웨어러블 전자 디바이스는, 사용자가 디바이스(100)와 상호작용하기 위한 적어도 하나의 방법을 제공하는 외곽 링과 같은 요소에 의해 에워싸질 수 있는 디바이스(100)의 본체 내부에, 처리 시스템 및 디스플레이 시스템 중 일부 또는 전부가 맞도록하는 스택업(stack-up, 200)을 포함할 수 있다. 부가적으로 또는 대체적으로, 일 실시예는 보다 상세히 설명된 바와 같이 추가적인 기능을 위해 밴드로 통합된 외부 구성요소들을 포함할 수 있다.
도 2는 웨어러블 전자 디바이스의 예시적인 스택업(200)을 도시한다. 도 2에 도시된 바와 같이, 스택업(200)의 구성요소들 중 일부 또는 전부는 도 2의 예시 내에서 원형인 디바이스의 형태를 채택할 수 있다. 스택업(200)은 보호 유리 층(또는 다른 적합한 투명 고체 물질)(205)을 포함할 수 있다.
다른 구성요소들은 보호 유리 층(205)에 적층(laminate)되거나, 베이스(245)에 부착될 수 있다. 부가적으로 또는 대체적으로, 보호 유리 층(205)은 기계적으로 외곽 링(235) 또는 다른 적합한 디바이스의 본체의 구성요소에 연결될 수 있다.
보호 유리 층(205) 바로 아래는 터치 감지(touch-sensitive) 층(210)일 수 있다. 터치 감지 층(210)은 임의의 적합한 물질로 구성될 수 있고, 저항성(resistive), 표면 탄성파(surface acoustic wave), 용량성(capacitive)(상호 용량성(mutual capacitive) 또는 자기 용량성(self-capacitive) 포함), 적외선(infrared), 광학(optical), 분산성(dispersive)과 같은 임의의 적합한 유형이 될 수 있다.
터치 감지 층(210)은 보호 유리 층(205)에 직접 적용되거나, 보호 유리 층(205) 위에 적층되거나, 보호 유리 층(205)에 물리적으로 부착될 수 있다. 터치 감지 층(210)은 완전히 이차원 터치 표면이거나, 다수의 용량성 버튼들 또는 영역들(areas)과 같은 터치 감지식 구역들(regions)로 구성될 수 있다. 상세하게 설명된 바와 같이, 터치 감지 층(210)은 터치 표면의 가장자리에서 플렉시블 커넥터(flexible connector)를 통하여 프로세서 보드(215)에 연결될 수 있다.
터치 감지 층(210) 아래에는 이전에 또는 앞서 말한 층들 중 어느 한 층에 적층되거나 기계적으로 부착된 원형 디스플레이(215)가 있을 수 있다. 일 실시예에 따르면, 적층(lamination)은 눈부심을 줄이고, 내부 반사를 줄여 디스플레이 가독성(legibility)을 향상시킬 수 있다. 후술할 바와 같이, 디스플레이(215)는 대칭 또는 비대칭일 수 있는 외곽 비활성 영역을 가질 수 있다. 디스플레이(215)는 시각적으로 대칭적인 표시를 위해 보호 층(205)에 대해 축 방향으로 중심이 되도록 위치할 수 있다. 디스플레이 (215)는 발광 다이오드(LED), 유기 발광 다이오드(OLED), 또는 액정 디스플레이(LCD)와 같은 임의의 적합한 형태일 수 있다. 일 실시예에 따르면, 디스플레이(215)는 플렉시블(flexible)할 수 있다. 일 실시예에 따르면, 디스플레이(215)는 부분적으로 투명할 수 있다. 일 실시예에 따르면, 디스플레이(215)는 반투명일 수 있다.
디스플레이(215)의 아래는 배터리(220)일 수 있고, 일 실시예에서, 배터리(220)는 배터리(220)의 크기에 영향을 주지 않고 베이스(245)의 직경이 감소될 수 있도록 위치할 수 있다. 배터리(220)는, 예를 들어, 리튬 이온 기반의 배터리와 같은, 임의의 적합한 형태일 수 있다. 배터리(220)는 디바이스의 원형 형태를 사용할 수도 있고, 도시된 바와 같이, 직사각형 형태와 같은 임의의 적합한 형태를 사용할 수도 있다. 일 실시예에 따르면, 배터리(220)는 디바이스 내에 플로트(float)할 수 있다. 예를 들어, 디바이스는 열 팽창을 수용하기 위해, 배터리(220)의 위, 아래, 또는 주위에 공간을 가질 수 있다. 일 실시예에 따르면, 햅틱 액추에이터(haptic actuator)들 또는 다른 전자 장치와 같은 높은 높이의 구성요소들은 최적의 패킹(packing)을 위해 배터리 가장자리 너머의 추가적인 공간에 위치할 수 있다. 일 실시예에 따르면, 프로세서 보드(225)로부터의 커넥터(connector)들은 디바이스의 전체 높이를 줄이기 위한 공간에 위치할 수 있다.
배터리(220)의 아래에는 프로세서 보드(225)가 있을 수 있다. 프로세서 보드(225)는 예를 들어 하나 이상의 제어부(processing unit), 구동부(drive unit), 센싱부(sense units), 캐시(cache), 메모리 요소, 또는 집적 회로와 같은 임의의 적합한 프로세싱 구성요소들을 포함할 수 있다. 프로세서 보드(225)는 하나 이상의 프로세서 보드 구성요소의 온도를 모니터링(monitoring)하고 제어하기 위해, 하나 이상의 열 센서 또는 냉각부(cooling unit) (예를 들어, 환풍기(fan))를 포함할 수 있다. 일 실시예에 따르면, 디바이스의 본체(105) 자체가 열 싱크(heat sink)로서의 역할을 수행할 수 있다.
프로세서 보드(225) 아래에는 하나 이상의 외곽 링(235)에 의해 둘러싸인 인코더(230)가 있을 수 있다. 아래에 보다 상세히 설명된 바와 같이, 인코더(230)는 임의의 적합한 형태일 수 있으며, 도 2에 도시된 바와 같이, 외곽 링(235)의 일부이거나, 별도의 구성요소일 수 있다. 일 실시예에 따르면, 외곽 링(235)은 외곽 링(235)의 정지 또는 외곽 링(235)의 위치 감지에 대한 촉각(haptic feel)을 제공할 수 있다. 도 2에 도시된 바와 같이, 인코더(230)가 디바이스 본체로부터 분리된 기계적인 인코더일 경우, 인코더(235)는 외곽 링(235)을 지지할 수 있다. 예를 들어, 일 실시예에 따르는 인코더(230)는 베이스(245)에 고정되고, 베이스(245) 또는 밴드(240)와의 연결은 인코더(230)의 중심과 같은 인코더(230)의 일부를 통과할 수 있다. 일 실시예에 따르면, 프로세서 보드(225) 및 위의 하나 이상의 층은 인코더(235)를 통과하는 센트럴 포스트(central post)에 부착될 수 있다. 포스트는 디바이스의 구성요소들에서 포스트로 기계적인 힘을 전송할 수 있다. 또한, 포스트는 인코더(230)의 부담(strain)을 줄이기 위해, 프로세서 보드(225) 및 디스플레이(215)와 같이 인코더 보다는 포스트에 의해 지지되는 구성요소들을 허용할 수 있다. 일 실시예에 따르면, 외곽 링(235)는 프롱(prong)들 또는 다른 적합한 연결들을 통해 인코더(230)의 가동 부분에 부착될 수 있다.
디바이스 본체는 베이스(245)로 마무리 지을 수 있다. 베이스(245)는 외곽 링(235)과 같은 하나 이상의 회전 가능한 구성요소에 대하여 고정될 수 있다. 일 실시예에 따르면, 여기에 상세히 설명된 바와 같이, 베이스(245)는 밴드(240)와 연결될 수 있다. 예를 들어, 밴드(240) 내 유선 통신 구성요소들에서 프로세싱 보드(225)로의 예시적인 일부의 회로적인 연결과 같이, 연결들은 기계적이거나 전기적일 수 있다. 일 실시예에 따르면, 커넥터들은 인코더 및 밴드들에 대한 앵커 지점(anchor point)들을 피하도록 위치할 수 있다. 일 실시예에 따르면, 밴드(240)는 베이스(245)로부터 분리될 수 있다. 여기에 보다 상세히 설명된 바와 같이, 밴드(240)는 하나 이상의 내부 커넥터(250), 하나 이상의 광학 센싱 모듈(255), 또는 하나 이상의 다른 센서들을 포함할 수 있다. 일 실시예에 따르면, 디바이스의 내부 또는 내부의 일부는 외부 환경으로부터 밀봉될 수 있다.
본 개시는 웨어러블 전자 디바이스(100)의 스택업(200) 내의 구성요소들, 구성요소들의 형태, 크기, 순서, 연결, 및 기능에 대해서 설명하지만, 본 개시는 디바이스(100)와 같은 웨어러블 디바이스가 임의의 적합한 형태, 크기, 연결 순서를 갖거나 임의의 적합한 방법으로 통신하는 임의의 적합한 구성요소들을 포함할 수 있음을 고려한다. 일 예시로서, 배터리(220)는 도 2에 도시된 스택업(200)보다 아래에 배치될 수 있다. 다른 예시로서, 디바이스의 본체는, 도 3 a에 예시로서 도시된 바와 같이, 타원형(ellipsoid) 또는 원반형(disk-like), 도 3b에 예시로서 도시된 바와 같이, 한쪽 끝으로 폭이 가늘어지는 형태, 또는 경사진 모서리(315)를 도시하는 도 3c 및 도 3d에 예시로서 도시된 바와 같이, 또는 모서리에서 경사지거나 둥근 임의의 적합한 폼 팩터(form factor)를 가질 수 있다. 도 3e는 추가적으로 디바이스 본체의 예시적인 폼 팩터들을 도시한다. 예를 들어, 예시적인 본체들(320a - 320e)은 평평한 보호 커버나 디스플레이, 또는 굽은 보호 커버나 디스플레이를 가지는 다각형 형태를 가질 수 있다. 다른 예시로서, 본체들(325a - 325d)은 평평한 보호 커버나 디스플레이, 또는 굽은 보호 커버나 디스플레이를 가지는 부분적으로 굽은 형태를 가질 수 있다. 본체들(330a - 330c)은 굽은 형태를 가질 수 있다. 예시적인 하나 이상의 내부 구성요소들과 같은, 디바이스 본체의 하나 이상의 내부 구성요소들은 구성요소들이 자리한 본체에 적합한 임의의 폼 팩터를 가질 수 있다.
도 4a는 디바이스 본체의 예시적인 단면을 도시한다. 도시된 바와 같이, 디바이스의 본체는 예를 들어 약 43mm와 같은 너비 D1을 가진다. 일 실시예에 따르면, 외곽 링과 OLED 디스플레이 사이에 예를 들어 0.3mm를 상한으로 하는 약간의 간격 D4을 포함할 수 있다. 유사하게, 또한 예를 들어 0.2mm와 같은 외곽 링과 유리 보호 커버(예를 들어 약 42.6mm와 같은 너비 D3를 가지는)사이의 거리가 있을 수 있다. 일 실시예에 따르면, 유리 보호 커버와 외곽 링 사이의 간격은 디스플레이와 외곽 링 사이의 거리보다 클 수 있다. 외곽 링(톱니(serration)를 포함할 수 있는)은 예를 들어 1.0mm의 너비 D2를 가질 수 있다.
도 4b 및 4c는 디바이스의 구성요소들 사이의 예시적인 연결들의 집합을 도시한다. 도 4b는 디스플레이(410) 위의 터치 유리(405)를 도시한다. 디스플레이는 예를 들어 접착 실란트(adhesive sealant, 425)를 갖는 내부 본체의 상단에 부착된다. 디스플레이 연성 인쇄 회로(Display flexible printed circuit, 430)는 디바이스 본체 내에서 디스플레이와 전자 제품(electronics)을 연결한다. 접착 실링 막(adhesive sealing membrane, 445)은 밴드(450)와 디바이스를 연결하는 데 사용될 수 있고, 하나 이상의 고정 링(retention ring, 435)은 외곽 링(415)와 내부 본체를 연결하는 데 사용될 수 있다. 일 실시예에 따르면, 고정 링(435)들은 외곽 링(415)의 수직 축 상의 비틀림을 방지할 수 있고, 외곽 링(415)과 유리 커버 사이의 물리적 공간을 제공할 수 있다. 보호 유리 층은 내부 본체의 상단에 자리하여, 내부 본체에 대한 환경적인 밀봉(environmental seal)을 제공할 수 있다.
예를 들어, 도 4c는 외곽 링을 디바이스 본체에 부착시키는 예시적인 고정 링(465)을 도시하고, 외곽 링과 내부 본체 사이에 환경적인 밀봉을 제공한다. 부가적으로 또는 대체적으로, 아마 테프론(TEFLON)과 같은 소수성 물질로 코팅된 플록 타입 물질(flock-type material)은 틈(cavity) 내에 물과 먼지의 침입을 방지하는 데 사용될 수 있다. 다른 일 예시로서, 외곽 링은 외곽 링과 내부 본체 사이의 틈을 통해 이동하는 공기(및 수증기 또는 다른 입자들)를 방지하는 금속 또는 플라스틱 링을 가지고 내부 본체에 밀봉될 수 있다. 간격(455)은 내부 디바이스 본체에 대한 회전과 같은 외곽 링의 움직임을 허용할 수 있다. 접착 실란트(460)는 디스플레이를 본체에 부착시키고, 디스플레이와 내부 본체의 구성요소들 사이의 환경적인 밀봉을 제공할 수 있다.
일 실시예에 따르면, 디바이스의 디스플레이는 원형 또는 타원형 형태를 가지고, 예를 들어 LCD 디스플레이 및 OLED 디스플레이와 같은 원형 디스플레이부를 제공한다. 디스플레이부는 디스플레이 모듈 내에 가시 영역이 중앙에 위치하도록 고정될 수 있다. 디스플레이부가 오프셋(offset) 디자인을 가져야 하면, 하나 이상의 적절한 마스킹(masking)은 원형 및 정확하게 놓여진 시각적인 아웃라인(visual outline)을 제공하기 위해 디스플레이의 눈에 띄지 않는 부분(obscure part)에 이용될 수 있다.
일 실시예에 따르면, 디스플레이 모듈은 디바이스의 사용자 인터페이스(user interface)의 일부인 외곽 링을 가진다. 외곽 링은 밴드가 디바이스의 하단 및 내부 부분을 안정하게 잡을 동안에 회전할 수 있다. 도 5a는 다른 디바이스 구성요소들에 대한 디바이스의 디스플레이의 예시적인 평면도(top-view)를 도시한다. 외곽 링(510)은 디바이스(508)의 전면(512)에 부착될 수 있거나, 전면(512)에 독립적일 수 있다. 일 실시예에 따르면, 디스플레이(506)를 둘러싼 외곽 링(510)의 회전에 관계 없이, 디스플레이(506)는 회전하지 않는다. 이는 디스플레이(506)가 밴드(502)에 부착된 디스플레이 모듈의 일부(504)에 부착함으로써 달성될 수 있거나, 디스플레이부가 회전하는 동안에 디스플레이된 컨텐트를 그대로 유지하도록 프로그래밍함으로써 달성될 수 있다. 후자의 경우에, 디스플레이된 컨텐트는 디스플레이부에 의해 디스플레이된 영상의 시각적인 수직 축이 항상 밴드에 대해 평행을 유지하도록 회전된다.
디스플레이 모듈은 디스플레이와 동일한 표면 상, 또는 디스플레이와 동일한 표면 근처에서 하나 이상의 센서를 추가적으로 포함할 수 있다. 예를 들어, 디스플레이 모듈은 카메라 또는 다른 광학 센서, 마이크로폰(microphone), 또는 안테나를 포함할 수 있다. 하나 이상의 센서는 비활성 영역 또는 디스플레이에 위치할 수 있다. 예를 들어, 도 5b는 디스플레이(520) 아래의 배터리와 동일 평면 상에 위치한 카메라 모듈(516), 및 디스플레이(520)의 투명한 부분 아래에 위치한 광학 개구(514)를 가진 디바이스(522)를 도시한다. 카메라 모듈(516)은 디스플레이(520)에 대한 격자선 커넥터들(518) 사이에 위치할 수 있다. 임의의 카메라 또는 다른 적합한 센서들은 도 5c의 비활성 영역(526)에 위치한 안테나(524)와 같이, 디스플레이와 동일 평면 상에 위치할 수 있다. 부가적으로 또는 대체적으로, 센서들은 디스플레이의 아래 또는 위에 위치할 수 있거나, 임의의 적절한 위치 내 또는 디바이스의 외부 본체 상에 위치할 수 있거나, 임의의 적절한 위치 내 또는 디바이스의 밴드 내에 위치할 수 있거나, 여기에 보다 상세히 설명된 바와 같이 전술한 위치들의 임의의 적절한 조합일 수 있다. 예를 들어, 전면 카메라(front-facing-camera)는 디스플레이의 아래에 위치하거나, 디스플레이 상에 위치하거나, 디스플레이의 위에 위치할 수 있다.
일 실시예에 따르면, 도 5d에 도시된 바와 같이 원형 디스플레이의 패키징(packaging)은 비활성 영역을 포함한다. 기존의 디스플레이에서, 디스플레이를 구동시키는 연이은 구동 선(row drive line)들은 비활성 영역들을 따라 아래로 라우팅되거나(routed), 모서리를 따르는 송신용 집적 칩(driver integrated chip)에 직접적으로 연결되기보다는 가장 가까운 옆 모서리에 라우팅된다. 다수의 접근들은 디스플레이의 비활성 영역의 양을 줄이기 위해 취해질 수 있다. 예를 들어, 일 실시예는 격자 제어선들(gird control lines, 532)을 디스플레이를 구동하는 것에서 디스플레이의 한 모서리를 구동하는 것으로 재 라우팅(rerouting)함으로써 비활성 영역의 크기를 줄인다. 도 5d는 디스플레이(536)의 한 모서리에 라우팅되고, 선들을 디바이스(528)의 프로세싱 중심(processing center)에 라우팅하는 커넥터(538)에 연결된 격자 제어선들(532)을 도시한다. 이 배치에서, 비활성 영역(530)은 최소화될 수 있다.
도 5e는 하나 이상의 마스크(550)에 의해 중심에 마스크된 원형의 영역을 가진, 다각형 형태의 디스플레이 아웃라인을 생성하여 디바이스(540)의 디스플레이(554)의 비활성 영역을 줄이는 것에 대한 다른 예시적인 실시예를 도시한다. 커넥터(552)는 다각형 디자인으로 배열된다. 격자선의 행(546) 및 열(542)은 가장 가까운 커넥터(552)로 라우팅된다. 일 실시예에 따르면, 커넥터(552)는 디스플레이 뒤에서 구동 칩을 전달하는 연성 회로(flexible circuit)에 연결된다. 연결의 밀도(density) 감소 때문에, 도 5e의 전자 제품(electronics)은 연성 인쇄 회로 기판(flexible printed circuit board, FPC 기판)에 연결되기 쉽고, 따라서 수율(yield)이 증가할 수 있다. 또한, 구동 집적 회로(driver integrated circuit)을 디스플레이 뒤에 이동함으로써, 하나 이상의 비활성 영역(548)은 집적회로를 안정되고 평평한 표면을 유지시키면서 더 감소될 수 있다. 이 디자인은 특히 OLED 디스플레이들에 적합하지만, FPC기판이 연결되기 전에 백라이트부(backlight unit, BLU)가 장치 상에 적층될 수 있음을 가정하면, LCD들에도 이용될 수 있다. 위의 예시는 커넥터(552)들의 다각형 배열을 도시하지만, 픽셀(pixel)들이 격자 선에 도달되면, 임의의 적합한 커넥터(552)들의 배열도 이용될 수 있다.
도 5f는 예시적인 물리적 배열 및 디바이스의 디스플레이의 크기(sizing)를 도시한다. 디바이스는 예를 들어 약 41.1mm와 같은 직경 D4를 가진다. 디바이스는 예를 들어 약 1.55mm와 같은 너비 D3를 갖는 하나 이상의 비활성 영역을 포함한다. 디바이스는 예를 들어 약 38mm와 같은 직경 D2를 갖는 가시 영역을 포함한다. 디바이스는 열 라인(564)들 및 행 라인(566)들에 대한 커넥터(568)들을 포함한다. 커넥터(568)들은 예를 들어 약 0.2mm와 같은 너비 D1을 갖는 하나 이상의 FPC 결합(570, FPC bond)에 의해 디바이스와 결합될 수 있다. 커넥터(568)는 예를 들어 약 6mm와 같은 너비 D5를 가질 수 있다. 디스플레이 커넥터 FPC(556)는 커넥터(568)에서 구동 칩(558)으로의 예시적인 회로와 같은 디스플레이의 아래 또는 디스플레이 본체의 뒤에 있을 수 있는 디스플레이의 전자 제품과 연결하는데 이용될 수 있다.
도 6a - 6c는 디바이스의 제조(manufacturing)을 포함하는 디바이스 디스플레이의 예시적인 단면을 도시한다. 도 6a에서, 핫바 나이프(605)는 디스플레이의 전자 제품과 디바이스의 프로세싱 전자 제품을 결합하는 연성 인쇄 회로(610)에 납땜하기 위해 사용될 수 있다. 이 과정 동안에, 지지대(support, 615)는 FPC(610)을 안정화하기 위해 사용될 수 있다. 도 6b는 접히고(부분(625)), 접착제(630)을 이용하여 디스플레이의 뒷부분에 접착되어 연결된 FPC(620)를 도시한다. 도 6c는 예시적인 완성된 디스플레이를 도시한다. FPC(645)는 보호 디스플레이 유리(635)의 뒤에 적층되어 있고, 유리(635)의 앞으로 구부러져 있고, 마이크로밴드(microband, 649)를 통해 유리(635)의 앞으로 부착된다. 접착제(650)는 디바이스에 FPC(645)를 연결한다. FPC(645)는 접착체(650)에 의해 디바이스에 연결된 구동 칩(655)을 패스 오버(pass over) 한다.
일 실시예에 따르면, 모든 프로세싱 및 RF 구성요소들은 RF 신호가 디바이스의 밖으로 통과하도록 허용하는 도전을 생성할 수 있는 디바이스의 본체 내에 위치한다. 도 5c에 도시된 바와 같이, FPC 기판은 추가적으로 디스플레이 자체에 스트립 라인(strip line), 스터브(stub), 세라믹, 또는 다른 안테나(또는 다른 적합한 센서들)을 디스플레이와 동일한 평면에 장착하도록 허용하는 연결이 없는 다각형의 측면에 부착될 수 있다. 도 5c의 안테나가 디스플레이와 동일 평면에 위치함에 따라, 디스플레이의 밀집한 그물 배선(mesh of wiring)(예를 들어, 도 5e에 도시된 바와 같은)으로부터의 간섭은 감소한다.
일 실시예에 따르면, 디스플레이는 금속 실드를 이용하여, 메인 프로세서 보드에 의한 전자기 간섭으로부터 보호될 수 있다. 일 실시예에 따르면, 금속 실드는 또한 배터리에 대한 열 싱크로써 이용될 수 있고, 따라서 배터리의 충전 또는 방전 속도를 향상시킬 수 있다.
일 실시예에 따르면, 웨어러블 전자 디바이스는 디바이스의 본체에 대한 하나 이상의 외부 요소(임의의 적합한 형태일 수 있는)를 포함할 수 있다. 도 7a는 디스플레이(705)에 대한 예시적인 외곽 링(710)에 의한 외부 요소를 도시한다. 외곽 링(710)은 예를들어 스테인리스 스틸(stainless steel) 또는 알루미늄과 같은 임의의 적합한 물질로 구성될 수 있다. 일 실시예에 따르면, 외곽 링(710)은 한 방향 또는 양 방향으로 회전할 수 있거나, 예를 들어 스위치에 기초하여 두 구성들을 이용할 수도 있다. 일 실시예에 따르면, 제 1 외곽 링은 한 방향으로 회전하는 반면에, 제 2 외곽 링은 반대 방향으로 회전할 수 있다. 외곽 링(710)은 고정 링(715)에 의해 디바이스의 베이스(720)에 결합될 수 있다. 도 7b는 델린 링(Delrin ring, 715a) 또는 스프린트 스틸 고정 링(sprint steel retention ring, 715b)에 의해 베이스(720)에 부착된 외곽 링(710)을 도시한다. 스프링 또는 클립(725)은 링들을 베이스(720)에 부착시킨다. 도 7c-7d는 베이스(720)의 대응하는 포스트에 조여진 나사(725)를 통해 베이스(720)에 부착된 고정 링(715)를 도시한다. 디바이스는 도 7c에 도시된 바와 같이 파스너/스페이서(fastener/spacer, 730)를 포함할 수 있다.
일 실시예에 따르면, 외부 요소의 멈춤쇠(detent) 또는 인코더(적절하게 상호 교환적으로 사용될 수 있는)는 사용자에게 예를 들어 요소가 여기에서 상효교환적으로 사용될 수 있는 한 단계 또는 증분(increment)를 이동할 때, 사용자가 결정하도록 허용하는 멈춤쇠에 의해 제공되는 햅틱(haptic) 피드백(예를 들어, 촉각을 이용한 클릭)을 제공할 수 있다. 이 클릭은 기계적인 연결(예를 들어, 스프링(spring) 메커니즘)을 통해 직접적으로 생성되거나, 햅틱 액추에이터(예를 들어, 모터 또는 압전 액추에이터(piezo actuator))를 통해 전자적으로 생성될 수 있다. 예를 들어, 모터는 링의 움직임에 저항을 제공할 수 있다. 예를 들어, 저항은 기계적인 멈춤쇠 시스템에 의해 제공된 상대적으로 높고 낮은 토크(torque)를 시뮬레이션하여, 저항을 제공하기 위해 짧아지고, 더 적은 저항을 제공하기 위해 짧아지지 않은 것일 수 있다. 다른 예시로서, 자기 시스템은 멈춤쇠의 햅틱 감각을 제공하기 위해 이용될 수 있다. 예를 들어, 솔레노이드(solenoid) 메커니즘은 필요에 따라 멈춤쇠 스프링 또는 탈진기(escapement)를 풀기 위해 이용될 수 있다. 스프링 또는 탈진기는 실제로 기계적인 피드백을 제공한다.
하지만, 이 배열은 디바이스가 멈춤쇠들의 크기가 변경된 것과 같은 느낌을 생성하도록 멈춤쇠를 정확한 간격으로 다시 맞물리게하는(re-engaging) 동안에 필요한 경우 복수의 멈춤쇠들을 생략하는 것을 허용한다. 다른 예시로서, 회전가능한 외부 요소(예를 들어, 외곽 링)는 토크를 증가시키고 멈춤쇠 피드백을 시뮬레이션하는 멈춤쇠 위치에서 링을 끌어당기기 위해 이용된 전자기 같은 것에 의해 자화될 수 있다. 다른 예시로서, 회전 가능한 외부 요소는 대응하는 디바이스 본체 내의 자극들을 물리치거나 끌어당기는 북극과 남극을 교대로 나오게 할 수 있다. 다른 예시로서, 제자리에 있는 영구 자석은 전자석이 이용되지 않을 때, 프리휠(freewheel)을 방지하기 위해 링을 잠그는데 이용될 수 있다. 다른 예시로서, 전자석 대신에, 쉽게 자화될 수 있는 강자성 합금(ferromagnetic alloy)은 솔레노이드 내에서 사용될 수 있다. 이는 솔레노이드의 전자기장이 코어의 자기 방향을 재 프로그램(reprogram)하는 것을 허용하여, 솔레노이드 자체가 풀리더라도 자기 구동의 효과가 유지되도록 한다. 본 개시는 멈춤쇠, 멈춤쇠와 같은 시스템, 및 인코더에 대한 특정 예시들을 제공하지만, 본 개시는 임의의 적합한 멈춤쇠, 멈춤쇠와 같은 시스템, 또는 인코더를 고려할 수 있다.
도 8a는 외곽 링(805)의 내부 표면 상에 에칭된(etched) 스프링 기반의 멈춤쇠 시스템를 위한 노치(notch)들을 가진 외곽 링(805)을 도시한다. 스프링(820)은 스프링 포스트(810)에 부착된다. 고정 링(815)은 델린(Delrin), 철, 또는 임의의 적합한 물질로 만들어질 수 있고, 분할되거나 고체/연속일 수 있다. 도 8b는 도시된 멈춤쇠로부터 햅틱 피드백을 제공하기 위해 용수철이 든(spring-loaded) 요소를 맞물리게하는 작은 노치(830)들을 갖는 예시적인 외곽 링을 도시한다. 전자 피드백 시스템의 경우, 피드백은 링의 움직임과 빠르게 동기화될 수 있고, 링의 연속 운동들이 서로 구별될 수 있도록 충분한 공격(attack)과 감쇠율(decay rate)을 가져야 한다.
일 실시예에 따르면, 외곽 링은 어떤 클릭 또는 스텝핑(stepping) 없이 자유롭게(예를 들어, 연속적으로) 회전가능할 수 있다. 일 실시예에 따르면, 링은 예를 들면 외곽 링이 있어야 하는 회전 모드를 나타내는 사용자 입력에 기초하여, 연속적인 회전 및 단계/증분씩의 회전이 모두 가능하다. 추가적으로 또는 대체적으로, 링은 한 방향으로 자유롭게 회전할 수 있고, 또한 다른 방향으로 단계적으로 회전할 수도 있다. 다른 기능은 이용된 회전 모드에 기초하여 발생할 수 있다. 예를 들면, 연속 모드에서의 회전은 예를 들어 볼륨(volume) 또는 줌(zooming)과 같은 연속적인 파라미터를 변경할 수 있지만, 증분 모드(incremental mode)에서의 회전은 예를 들어 여기에 상세히 설명된 바와 같이 메뉴 아이템 또는 리스트 내의 연락처와 같은 이산적인 파라미터를 변경할 수 있다. 일 실시예에 따르면, 자유롭게 회전하는 링은 사용자에게, 예를 들어 점성 매체 내에서 링을 회전하도록 하는 것과 같이(예를 들어, 더 빠르게 링이 회전할수록, 더 회전을 저항하도록 하는) 힘이 적용된 햅틱 피드백을 제공할 수 있다. 일 실시예에 따르면, 예를 들어 제스처의 일부에 대해 회전하거나, 회전 모드를 변경하도록 회전하는 외곽 링의 축 방향으로 외곽 링은 눌리거나 올려질 수 있다. 일 실시예에 따르면, 외곽 링은 터치 감지(touch-sensitive) 부분을 가질 수 있다.
일 실시예에 따르면, 인코더 또는 멈춤쇠는 디바이스 본체에 대한 외곽 링의 위치를 결정하기 위해 사용될 수 있다. 도 2의 인코더(230)에 도시된 바와 같이, 일 실시예는 디바이스의 본체에 부착된 인코더를 이용한다. 일 실시예에 따르면, 인코더는 도 8b의 인쇄 광학 요소(printed optical element, 825)에 도시된 바와 같이, 외곽 링 자체의 내부 표면의 일부이다. 이러한 실시예에서, 외곽 링은 직접 인코더의 회전하는 부분으로서의 역할을 한다. 광학 인코더 패턴은 내부 표면 상에 인쇄되고, 프로세싱 보드 상의 광학 모듈에 의해 판독된다. 외곽 링의 내부의 인코더는 검출기에 대한 충분한 광학적 콘트라스트(optical contrast)를 가져야하며, 예를 들어 인쇄 또는 레이저-에칭(laser-etching)을 통해 외곽 링 상에 에칭될 수 있다.
안쪽 및 바깥쪽 링들은 오염 물질이 디바이스의 내부로 들어가는 것을 방지하는 동안에 꽉 맞게(tight fit) 유지하는 테플론(Teflon) 또는 델린(Delrin)과 같은 물질로 만들어진 저 마찰 링(예를 들어, 도 8c의 링(840)과 같은)으로 환경적으로 밀봉될 수 있다. 일 실시예에 따르면, 안쪽 링 상의 립(lip)은 여전히 자유로운 회전을 허용하는 동안 두 링들이 결합되도록 허용하면서, 바깥쪽 링 상의 유사한 립과 맞물리게할 수 있다. 안쪽 링의 하단에의 큰 립은 아래로부터의 환경적인 위험을 피함으로써 더 밀봉되게 한다. 도 9에 도시된 바와 같이, 일 실시예에 따르면, 밀봉 링(915)은 그립 영역(grip area, 910)을 포함할 수 있는 베이스의 그루브(905)에 꼭 들어맞을 수 있다.
일 실시예에 따르면, 디바이스의 본체에 외곽 링을 연결하는 고정 링은 외곽 링 상의 압력을 검출하기 위해 스트레인 게이지(straing gage)를 가질 수 있다. 일 예시로서, 도 10은 링 주위에 대칭적으로 위치한 네 개의 스트레인 게이지들(또한 내부 본체에 연결된)에 연결된 고정 링을 도시한다. 여기에 사용된 바와 같이, 네 개의 스트레인 게이지들은 변형(strain)을 검출하는 전자 구성요소일 수 있다. 대칭적 배치의 결과로써, 도 10의 최상위 링에 도시된 바와 같이, 링은 링의 평면 내에서 단지 디바이스에 대해 움직이고, 따라서 한 쪽 끝이 압축하면 다른 쪽 끝이 길어지기 때문에, 정상적인 움직임 또는 외곽 링과의 접촉은 대체로 외곽 링 상에 비대칭적인 변형을 가져올 수 있다. 반면에, 외곽 링의 큰 부분을 압박하는 것은 반대 쌍의 스트레인 게이지 상에 대칭적 변형을 가져올 수 있다(예를 들어, 압력 하에서 링의 연장 때문에). 두 쌍의 스트레인 게이지 사이의 변형의 상대적인 차이는 외곽 링의 의도적인 압박과 정상적인 움직임 또는 외곽 링의 접촉을 구별할 수 있다. 본 개시는 고정 링의 스트레인 게이지의 수와 위치의 특정 예시들을 설명하지만, 본 개시는 구성요소 상의 압력을 검출하기 위해, 디바이스의 임의의 적합한 구성요소 내의 임의의 적절한 개수의 스트레인 게이지의 배치를 고려할 수 있다. 일 예시로서, 스트레인 게이지는 디바이스의 밴드 상에 위치할 수 있거나, 또는 외곽 링 내에 위치할 수 있다.
변형(strain)이 스트레인 게이지, 또는 임의의 적합한 변형 또는 압력 검출 시스템을 포함하는 구성요소 상에 위치할 때, 검출된 변형은 임의의 적합한 기능을 야기할 수 있다. 예를 들어, 사용자가 외곽 링을 스퀴징(squeezing)하는 것과 같은 변형이 외곽 링 상에 위치할 때, 피드백이 사용자에게 제공될 수 있다. 피드백은 예를 들어 촉각 피드백(예를 들어, 진동, 흔들림(shaking), 가열/냉각), 경적 소리 또는 특정 사용자-정의 톤 재생과 같은 청각 피드백, 시각 피드백(예를 들어, 디바이스의 디스플레이에 의한), 또는 임의의 다른 적합한 피드백 또는 전술한 것들의 조합과 같은, 임의의 적합한 형태를 가질 수 있다. 링을 압박하는 것과 연관된 기능은 여기에 보다 상세히 설명된다. 또한, 본 개시는 임의의 적합한 구성요소들 상에 위치하고 임의의 적합한 구성요소들에 의해 검출된 변형 또는 압력을 원인으로 하는 임의의 적합한 기능을 고려한다.
웨어러블 전자 디바이스는 디바이스를 사용자에게 고정시키기 위해, 밴드에 부착될 수 있다. 여기에서, 밴드와 관련하여 디바이스를 사용자에게 고정시키기 위한 임의의 적합한 장치를 포괄할 수 있다. 디바이스를 사용자에게 고정시키기 위한 임의의 적합한 장치는 예시적으로 도 14a에 도시된 바와 같은, 사용자의 팔, 손목, 허리, 또는 다리 주위에 착용할 수 있는 기존의 밴드(1405); 예시적으로 도 14b에 도시된 바와 같은, 옷의 일부에 고정하기 위한 클립(1415); 예시적으로 도 14c에 도시된 바와 같은, 목걸이 또는 팔찌(1420) 구성; 도 14d에 도시된 바와 같은, 열쇠고리(keychain, 1425) 또는 예를 들어 사용자의 주머니와 같은 디바이스를 고정시키기 위한 다른 액세서리 구성; 또는 임의의 적합한 구성일 수 있다. 위의 각각의 실시예들은 디바이스, 밴드, 또는 본체 상에 위치한 카메라(1410)을 포함할 수 있다. 도 11은 예를 들어 목 주위에 착용(1105); 옷에 고정(예를 들어, 흉부에 고정(1110)); 벨트 상에 착용(1115); 부속물 상에 착용(예를 들어, 팔에 착용(1120)); 손목에 착용(1125); 또는 주머니 내(1130)와 같은 디바이스를 착용에 대한 다양한 실시예들을 도시한다. 본 개시가 밴드 및 사용자에게 디바이스를 고정시키기 위한 특정 예시들을 설명하지만, 본 개시는 임의의 적합한 밴드들 또는 사용자에게 디바이스를 고정시키기 위한 임의의 적합한 방법 또한 고려할 수 있다.
일 실시예에 따르면, 센서들 및 대응하는 전자제품들은 적절하게 밴드에 부착될 수 있다. 예를 들어, 도 14a-14c의 밴드들은 광학 센서를 갖기에 적합할 수 있다. 도시된 특정 실시예들은 터치 감지 영역을 포함하기에 적합할 수 있다. 본 개시는 통신 구성요소들(예를 들어, 안테나), 환경적인 센서들, 또는 관성 센서(inertial sensor)들과 같은 임의의 적합한 센서들 또는 전자제품들을 포함하는 임의의 적합한 밴드들을 고려할 수 있다. 일 실시예에 따르면, 밴드는 디바이스로부터 탈착될 수 있고, 디바이스에 부착되지 않았을 때, 멀리서 디바이스와 통신할 수 있다. 일 실시예에 따르면, 밴드 내의 전기적 구성요소와 연관된 배선(wiring)은 예를 들어 디바이스의 부피를 최소화하거나, 디바이스 내부 구성요소들의 전자기 간섭을 최소화하기 위해, 또한 밴드 내에 수용될 수 있다.
예를 들면, 높은 레벨의 내부 EMI를 야기할 수 있는(예를 들어, 카메라 또는 통신 시스템), 추가적인 부피를 필요로 할 수 있는(예를 들어, 배터리 또는 스피커), 메인 본체의 환경적인 밀봉을 필요로 할 수 있는(예를 들어, 전원/데이터 커넥터), 또는 사용자의 피부와의 추가적인 접촉을 필요로 할 수 있는(예를 들어, 생체 센서(biometric sensor)들) 디바이스들은 디바이스의 밴드 내에 적어도 일부의 전자제품들을 수용함으로써 이익을 얻을 수 있다. 일 실시예에 따르면, 배선이 밴드 내에 포함되는 경우, 디스플레이 모듈은, 예를 들어, 전자적인 연결들이 만들어지거나, 또는 외곽 링이 회전할 때 꼬이지 않는 밴드를 통해, 밴드에 부착될 수 있다. 모듈은 사용자에 의해 탈부착 가능한 디스플레이 모듈 또는 디바이스 본체와 같은 사용자가 제거할 수 있는 커넥터를 이용할 수 있다. 디바이스에 밴드가 부착되는 예시로서, 도 12a에 도시된 밴드(1215)는 하나 이상의 포스트(1205)위에 위치함으로써 본체에 부착될 수 있고, 이후 패스너(예를 들어, 스크류)(1210)를 이용하여 포스트에 고정될 수 있다. 일 실시예에 따르면, 패스너 및 포스트에 더하여, 도 12b에 도시된 바와 같이, 밴드를 디바이스에 고정시키기 위해, 고정 플레이트(1215)가 이용될 수 있다. 본 개시는 밴드와 디바이스 사이에 임의의 적합한 인터페이스를 고려할 수 있다. 예를 들어, USB 인터페이스는 예를 들어 디바이스와 본체 사이에 또는 디바이스의 구성요소들과 밴드의 구성요소들 사이에 데이터 통신을 위해, 밴드와 디바이스의 본체 사이에 제공될 수 있다. 일 실시예에 따르면, 인터페이스는 디바이스의 사용자가 디바이스의 밴드를 용이하게 탈착하거나, 부착하거나, 변경하는 것을 가능하게 한다.
본 개시는 도 14a에 도시된 바와 같이, 예를 들어 사용자에 의해 착용될 때, 밴드를 밴드 자신에게 연결하기 위한 임의의 적합한 구조를 고려한다. 예를 들어, 도 13a는 카메라 모듈(1310)을 갖는 밴드(1305)를 디바이스의 웨어러(wearer, 1300)에 고정하는 예시적인 구조들을 도시한다. 패스너들은 하나 이상의 스냅(1315), 구멍들(1320, 1335) 및 대응하는 구성요소들, 클랩스(clasp, 1340), 또는 푸시 버튼(1330)을 가진 클립(1325)을 포함할 수 있다. 도 13b는 클립들(1311, 1303)을 이용하여 밴드(1301)을 웨어러에 고정시키는 예시적인 메커니즘을 도시한다. 구성요소(1309)는 밴드(1301)을 고정시키기 위해 다른 쪽 구성요소(1307) 상의 구멍에 끼운다. 도 13b는 클립들(1303, 1311)에 대한 예시적인 내부 메커니즘을 더 도시한다. 클립(1313)(대응하는 클립(1311))의 구성요소(1317)은 구멍(1323) 내 자석에 끌어당겨질 수 있는 하나 이상의 자석 부분을 포함할 수 있다. 예를 들면, 구성요소(1317)은 자신의 바깥 모서리에 자석 부분을 포함할 수 있고, 다른 극의 자석은 구성요소(1317)의 자석을 끌어당기기 위해, 스프링(1319)의 앞에 위치할 수 있다. 이후, 구성요소(1317)는 자석들을 결합시킴으로써 클립(1311)을 클립(1313)에 고정시켜, 구멍(1323)을 메울 수 있다. 일단 삽입되면, 구성요소(1321)은 구성요소 (1317)을 구멍(1323)의 바깥쪽으로 밀어, 스프링(1319)를 끌어당기기 위해 이용될 수 있다. 클립(1311)은 클립(1313)으로부터 분리될 수 있다. 구성요소(1317) 상의 자석 및 구멍(1323) 내의 자석에 더하여, 예를 들어 스프링(1319)이 끌어당겨질 때, 클립(1313)의 제거를 돕기 위해, 또는 클립(1303)에 고정되지 않을 때, 클립(1313)으로부터 구성요소(1317)가 들락거리는 것을 방지하기 위해, 자석들은 또한 클립(1313) 내에 위치할 수 있다. 예를 들면, 하나 이상의 자석은 각각의 구성요소의 자석들(따라서, 구성요소들 자체)을 클립(1313)의 중심 쪽으로 끌어당기면서, 구성요소(1317)로부터 등거리에 있고, 구성요소(1317)와 동일 평면 내에 있는 클립(1313)의 중심에 위치할 수 있다.
도 13c는 예를 들어 구멍(1329) 및 구성요소들(1337, 1341)의 이용을 통하여, 패스너들(1331, 1333)을 이용하여, 밴드(1327)을 고정시키는 예시적인 구조를 도시한다. 도 13c는 패스너들(1331, 1333)의 내부 구조를 도시한다. 패스너(1339, 대응하는 패스너(1333))는 구성요소(1337)를 포함한다. 패스너(1343, 대응하는 패스너(1331))가 패스너(1339)에 끼워질 때, 구성요소(1341)는 구성요소(1337)에 부착되고, 패스너(1339)의 립이 연장됨으로써 고정될 수 있다. 패스너(1339)가 립을 위로 당길 때, 구성요소(1341)를 패스너(1339)의 립을 지나 이동시키고, 패스너(1339)를 패스너(1343)로부터 제거하는 것을 가능하게 하면서, 구성요소(1337)를 점점 밖으로 나오게 할 수 있다. 일 실시예에 따르면, 자석들은 함께 고정하게 하기 위해, 패스너들(1331, 1333) 내에 또는 패스너들(1331, 1333) 상에 위치할 수 있다. 예를 들어, 자석은 각각의 구성요소(1337, 1341)의 모서리에 위치할 수 있다. 패스너(1343)가 패스너(1337)을 안으로 끌어들일 때(또는 그 반대), 자석들은 구성요소(1337)에 구성요소(1341)를 끌어당기고, 고정시킨다. 또한, 예를 들어, 구성요소(1337)로부터 구성요소(1341)를 제거하도록 돕기 위해, 또는 패스너(1339)에 고정되지 않을 때, 패스너(1343)로부터 구성요소(1341)가 들락거리는 것을 방지하기 위해, 자석은 패스너(1343) 내에 위치할 수 있다. 예를 들면, 하나 이상의 자석은 각각의 구성요소의 끝에 있는 자석들(따라서, 구성요소들 자체)을 패스너(1343)의 중심 쪽으로 끌어당기면서, 구성요소(1341)로부터 등거리에 있고, 구성요소(1341)와 동일 평면 내에 있는 패스너(1343)의 중심에 위치할 수 있다.
도 13d는 패스너들(1349, 1353)을 이용하여 밴드(1351)을 부착시키는 것에 대한 대체적인 배치를 도시한다. 부착되면, 구성요소(1359, 둥근 모양 수 있는)를 구멍(1363)으로부터 떼어내고, 패스너(1361, 대응하는 패스너(1349))를 패스너(1357)로부터 제거하면서, 또한 역으로, 패스너(1357, 대응하는 패스너(1353))는 뒤틀릴(twisted) 수 있다. 일 실시예에 따르면, 하나 이상의 자석은 패스너들(1357, 1361) 각각을 서로에게 고정시키도록 이용될 수 있고, 패스너들(1357, 1361) 각각을 서로로부터 제거하는데 이용될 수도 있다. 일 실시에에 따르면, 하나 이상의 자석은 패스너들(1357, 1361) 각각을 서로에게 고정시키도록 이용될 수 있거나, 패스너들(1357, 1361) 각각을 서로로부터 제거하는데 이용될 수 있다. 예를 들면, 자석들은 구성요소(1359)를 구멍(1363)으로 끌어당기고, 패스너(1361)를 패스너(1357)에 고정시키면서, 구멍(1363) 내에 위치할 수 있고, 구성요소(1359)의 바깥쪽(볼록한) 가장자리에 위치할 수 있다. 다른 예시로서, 예를 들어 구성요소(1359)를 구멍(1363)으로부터 제거하도록 돕기 위해, 또는 패스너(1357)에 고정되지 않을 때, 구성요소(1359)가 패스너(1361)로부터 들락거리는 것을 방지하기 위해, 구성요소(1359)를 패스너(1361)로 끌어당기면서, 자석들은 구성요소(1359)의 안쪽 가장자리(예를 들어, 구성요소(1359)의 오목한 표면 상에)에 위치할 수 있다. 구성요소들이 구멍(1363)까지 연장되지 않을 때, 대응하는 자석들은 접촉하는 패스너(1361)의 표면 상에 위치할 수 있다. 즉, 이 자석들은 구성요소(1359)를 패스너(1361)에 고정시키면서, 구성요소(1359)의 오목한 표면 상의 자석들을 끌어당길 수 있다(일 실시예에서, 궁극적으로 직접 접촉하도록).
도 13e-13g는 예를 들어 디바이스(1367)가 사용자에게 착용되었을 때, 카메라 모듈(1373)을 가진 밴드(1369)를 밴드 자신에 부착하는 예시적인 실시예들을 도시한다. 도 13e에서, 밴드(1369)의 한 측면 상의 하나 이상의 자석(1371)은 밴드(1369)의 다른 측면 상의 하나 이상의 자석(1379)을 끌어당길 수 있다. 도 13h에 도시된 자기 스트립(magnetic strip, 1307)과 같이, 자석은 부분적으로 밴드를 교차하는 자성 물질의 스트립들일 수 있다. 또는, 도 13i에 도시된 스트립들(1321, 1327)과 같이, 자석들은 완전히 밴드를 교차하는 자성 물질의 스트립일 수 있다. 또는, 도 13f에 도시된 바와 같이, 자석들은 자성 물질의 영역(1393)일 수 있다. 자석들(1371, 1379)에 더하여, 밴드(1369)는 홀(hole, 1391) 및 밴드(1369)를 디바이스(1367)의 웨어러에 고정시키기 위한 하나 이상의 포스트(1377)를 포함할 수 있다. 도 13g는 홀드들(holds, 1383, 1398)을 이용하여 디바이스(1367)의 웨어러에 밴드(1381)를 부착시키기 위해, 패스너(1371)(예를 들어, 커버링(1395)를 가진 너트)에 고정시키는 패스너(1387)(예를 들어, 스크류(1396))을 도시한다.
일 실시예에 따르면, 전기적인 구성요소들을 포함하는 밴드는 또한 도 2에 도시된 커넥터(250)와 같은 기존의 물리적인 접촉 커넥터를 포함할 수 있다. 커넥터는 예를 들어 충전, 시스템 업데이트, 디버깅(debugging), 또는 데이터 전송을 위한 디바이스와의 연결을 허용할 수 있다. 이러한 커넥터는 다양하게 구현될 수 있거나, 충전 케이블이 접촉에 의해 연결할 수 있는 도금된(plated) 표면일 수 있다. 이러한 커넥터들은 환경 및 인체로부터의 수분에의 노출로 인한 부식을 방지하기 위해 귀금속으로 도금될 수 있다. 일 실시예에 따르면, 물리적 커넥터들은 단지 전원을 켜기 위해 이용될 수 있고, 데이터는 블루투스(Bluetooth), NFC(near field communication) 기술, 또는 와이파이(WI-FI)와 같은 근거리 통신 모달리티(modality)들을 이용하여 전송될 수 있다.
일 실시예에 따르면, 밴드는 디바이스의 에너지 저장을 증가시키기 위해, 플렉시블 배터리(flexible battery, 예를 들어 리튬 기반 배터리)들을 수용하기 위해 이용될 수 있다. 에너지 저장 용량이 총 부피에 얽매이는 것과 같이, 밴드 내부의 배터리들은 디바이스 본체의 총 크기에 영향 없이, 부피가 제한된 웨어러블 디바이스의 저장 용량을 증가시킨다.
후술하는 바와 같이, 웨어러블 전자 디바이스는 디바이스 상 또는 디바이스 내에 하나 이상의 센서를 포함할 수 있다. 예를 들어, 웨어러블 전자 디바이스는 하나 이상의 광학 센서 또는 깊이 센서(depth sensor)를 포함할 수 있다. 광학 센서들은 예를 들어 디바이스의 전면, 사용자의 신체의 바깥쪽을 향하는 밴드, 반대 면을 향하는 밴드, 사용자의 신체 쪽을 향하는 밴드, 또는 전술한 것들의 임의의 적합한 조합과 같은 임의의 적합한 위치에 위치할 수 있다. 도 15는 바깥쪽을 향하는 광학 센서(1505)를 가진 밴드를 가진 디바이스(1500)를 도시한다. 밴드 상의 광학 센서의 배치는 디바이스 본체 내의 차광을 허용하여, 무게 및 부피를 절약하면서, 케이스 내에 고주파 신호의 수를 감소시킬 수 있다.
도 14a-14d는 웨어러블 전자 디바이스의 다른 실시예들에 대한 예시적인 카메라 배치를 도시한다. 일 실시예에 따르면, 카메라 입력 처리를 위한 전자제품은 또한 도 1에 도시된 하우징(125)과 같이, 예를 들어 카메라를 수용하는 볼케이노(volcano) 형태와 같이, 밴드 내에 위치할 수 있다. 일 실시예에 따르면, 다른 센서들은 예를 들어 디바이스의 밴드 상의 광학 센서처럼 동일한 하우징 내와 같이, 광학 센서 근처에 위치할 수 있다. 예를 들면, 디스플레이 또는 디바이스 환경의 검출을 향상시키기 위해, 또는 사용자가 가리키는 객체 또는 제스처를 통해 상호작용하는 객체를 결정하기 위해, 깊이 센서는 광학 카메라와 함께 이용될 수 있다.
일 실시예에 따르면, 밴드 상의 광학 센서의 배치는 미리 결정된 범위 내에서 사용자에 의해 조절될 수 있다. 일 실시예에 따르면, 밴드 상의 광학 센서의 배치는 사용의 편리를 목적으로 하여 최적화될 수 있다. 예를 들어, 도 15에 도시된 바와 같이, 사용자가 디바이스를 사용자의 손목에 착용하면, 대략 사용자의 손바닥이 지면과 평행할 때, 광학 센서가 사용자의 신체로부터 바깥쪽을 향하는 것을 목표하도록, 광학 센서(1505)는 바깥쪽을 향하도록 배치될 수 있다.
일 실시예에 따르면, 광학 센서는 센서가 사용자의 신체로부터 바깥쪽을 가리키는 동안에 사용자가 디바이스의 디스플레이를 볼 수 있도록 배치될 수 있다. 따라서, 도 15에 도시된 뷰잉 트라이앵글(viewing triangle)과 같이, 센서에 의해 캡쳐된 물리적 씬(scene)에 대해 사용자의 시야를 가리지 않고, 사용자는 센서에 의해 캡쳐되고, 디바이스에 의해 디스플레이된 컨텐트(content)를 볼 수 있다. 디바이스(1600)의 디스플레이(1620)는 예를 들어, 디스플레이가 적절하게 볼 수 있는 볼륨(volume) 내에서 연관된 뷰잉 콘(viewing cone)을 가질 수 있다. 도 16에서, 사용자(1615)는 (1) 실제 트로피(1610)를 볼 수 있고, (2) 실제 트로피에서 센서(1605)를 겨냥함으로써, 디스플레이(1620)의 뷰잉 콘 내에서 디바이스(1600)의 디스플레이(1620) 상의 트로피의 이미지를 볼 수 있다. 센서(1605)는 센서(1605)에 의해 적절히 캡쳐될 수 있는 이미지들 내 볼륨에 대응하는 연관된 시야각(angle of view)을 가진다. 도 16에 예시에 유의하여, 디바이스(1600)의 디스플레이(1620)를 사용자를 향하는 방향으로 유지하는 동안에, 센서(1605)는 사용자가 편리하게 센서(1605)를 바깥쪽으로 겨냥하도록 배치될 수 있다. 또한, 디바이스(1600)가 사용자가 트로피(1610)를 보는 것을 방해하지 않고, 사용자가 편리하게 센서(1605)를 바깥쪽으로 겨냥하도록 센서(1605)가 배치될 수 있다.
도 17은 광학 센서에 대한 예시적인 시야각을 도시한다. 객체(1725)가 광학 센서(1705)의 시야각 내에 있을 때, 사용자는 객체(1725) 및 디바이스(1700) 상에 디스플레이된 객체(1725)의 이미지(1710) 또는 이미지(1715)를 모두 볼 수 있다. 예를 들어, 사용자의 손(1720)이 시야각 내에 있는 경우, 사용자는 객체(1725), 손(1720), 및 디바이스의 디스플레이(1700) 상의 객체(1725) 및 손(1720)의 이미지(1710)를 볼 수 있다. 반면에, 손(1720)이 센서(1705)의 시야각 내에 있지 않은 경우, 손(1720)은 디스플레이(1700) 상에 표시된 이미지(1715)에 의해 디스플레이되지 않는다. 사용자에 의해 착용될 때, 동일한 또는 다른 센서들에 의해 캡쳐되는 제스처(예를 들어, 핀칭(pinching), 탭핑(tapping), 잡아당기기(pulling toward), 밀기(pushing away)와 같은 디바이스의 시야각 내 객체를 선택하는 제스처)를 수행하는 동안에, 디바이스의 센서는 센서의 시야각 내의 사용자의 손/팔/손가락들을 캡쳐할 수 있다.
사용자에 의해 착용될 때, 디바이스가 객체에 대한 사용자 시야를 가리지 않고, 사용자의 시선이 디바이스의 디스플레이의 뷰잉 콘 내에 있을 동안에, 센서 및 디스플레이는 디바이스에서 디스플레이될 객체가 디바이스의 시야각 내에 있도록 향할 수 있다. 일 실시예에 따르면, 예를 들어, 디스플레이된 이미지에서 또는 디스플레이된 이미지의 근처에서 디스플레이의 일부를 탭핑함으로써, 센서의 시야각 내에서 제스처를 수행함으로써, 또는 임의의 적절한 방법에 의해, 사용자는 센서에 의해 캡쳐되거나 디바이스 상에 디스플레이된 이미지와 상호작용할 수 있다. 이 상호작용은 관련된 객체에, 예를 들어, 객체의 사진을 캡쳐함으로써, 또는 객체가 페어링/통신 능력을 가지면, 객체와 페어링(pairing)함으로써, 또는 객체와 통신함으로써, 객체를 식별하고, 객체에 대한 정보를 결정하고, 디스플레이 상에 적어도 일부의 정보를 디스플레이하는 일부 기능을 제공할 수 있다.
일 실시예에 따르면, 광학 센서 또는 깊이 센서 모듈(적절하게, 상호 교환적으로 이용될 수 있는)은, 도 18a에 도시된 바와 같이, 메인 인쇄 회로 기판(PCB)상에 직접 장착되면, 광학 센서가 이용할 수 있는 버스(bus)의 간단한 연장을 통해 디바이스와 통신할 수 있다. 도 18a에서, 광학 센서(1825)는 연성 인쇄 회로 또는 배선(1820) 너머로 도 18a의 예시에서 디바이스(1805) 내에 또는 디바이스(1805) 상에 위치하고, 메인 인쇄 회로 기판을 수용하는 통합 제어부(integrated control, 1810)에 데이터를 전송한다. 도 18b는 또한 광학 센서(1855)를 갖는 광학 센서 모듈(1860) 상 또는 광학 센서 모듈(1860) 내의 광학 센서 집적 회로(1850)를 도시한다. 디바이스(1830)의 메인 인쇄 회로 기판과 카메라 모듈(1860) 내의 전자제품 사이의 통신은 연성 인쇄 회로(1845)를 통해 발생한다. 도 18b의 배치는 집적 회로가 데이터를 압축하고, 그렇지 않으면 데이터를 처리하고, 더 적은 신호 라인(line)들을 요구하거나, 더 적은 데이터의 전송을 요구하는 방법을 통해 전송하도록 허용한다. 사용자가 디바이스를 착용할 때, 밴드는 구부러져야 해서, 라인의 수가 적을수록 바람직하기 때문에, 이는 유익할 수 있다. 이러한 접근은 라인의 수를 하나 또는 두 신호 라인과 두 전원 라인들로 감소시킬 수 있어서, 포장(packaging), 성형(molding), 안정성에 유리하다. 일 실시예에 따르면, 전술된 하나 이상의 전자제품은 긴 고주파 케이블로부터 전자기 간섭을 방지하기 위해, 보호(shield)되어야 한다. 병렬 버스의 이용은 일반적인 경우이며, 더 큰 케이블 또는 FPC의 이용을 요구할 수 있다.
일 실시예에서, 도 18a - 18b에 도시된 바와 같이, 카메라 제어 집적 회로는 광학 모듈에서 소형 회로 기판 상에 직접 장착될 수 있다. 웨어러블 전자 디바이스는 임의의 적합한 센서들을 포함할 수 있다. 일 실시예에 따르면, 하나 이상의 센서 또는 센서에 대응하는 전자제품은 디바이스의 밴드 상에, 또는 디바이스의 본체 내에, 또는 디바이스의 본체 상에, 또는 디바이스의 본체 내 및 디바이스의 본체 상 둘 다에 위치할 수 있다. 센서들은 서로 통신할 수 있으며, 예를 들어 직접 전기 연결, NFC, 또는 블루투스와 같은 임의의 적합한 유선 또는 무선 통신을 통하여, 처리 및 저장 구성요소들과 통신할 수 있다. 센서들은 컨텍스트(예를 들어, 환경), 또는 디바이스, 사용자, 애플리케이션, 다른 디바이스, 다른 디바이스 상에서 실행되는 애플리케이션의 상태를 검출할 수 있다. 본 개시는 웨어러블 전자 디바이스의 임의의 적합한 위치에서 임의의 적합한 센서의 구성을 포함하는 웨어러블 전자 디바이스를 고려한다. 또한, 본 개시는 여기에 설명된 임의의 적합한 입력을 수신하거나, 여기에 설명된 임의의 적합한 기능 또는 서비스와 제공과 관련되거나, 그렇지 않으면 포함하는 것을 시작하는 임의의 적합한 센서를 고려한다. 예를 들면, 터치 감지 센서(touch-sensitive sensor)들은 여기에 보다 상세히 설명된 바와 같이, 디바이스 상에 디스플레이된 그래픽 유저 인터페이스(GUI, graphical user interface)들 간의 전이(transition)를 수반할 수 있다. 본 개시는 적절하게, 웨어러블 디바이스, 센서의 활성화/비활성화, 센서의 감도, 또는 센서 프로세싱의 사용자 맞춤형(user-customizable) 우선순위와 연관된 기능을 더 고려한다.
도 19는 예시적인 센서 검출 시스템 및 웨어러블 전자 디바이스에 대한 예시적인 센서들을 도시한다. 센서들은 센서 특정 포맷(sensor-specific format) 내의 데이터를 디바이스의 센서 허브 서브시스템(sensor hub subsystem)으로 전송한다. 예를 들면, 센싱부(19a) 내의 예시적인 센서 모듈(1924)는 하나 이상의 얼굴 검출 카메라(1902), 외향 카메라(1904), 얼굴 근접 센서(1906), 얼굴 터치 센서(1908), 밴드 터치 센서(1910), 어쿠스틱 피부 터치 센서(acoustic skin touch sensor, 1912), 관성 측정 시스템(inertial measurement system, IMU, 1914), 중력 벡터 센서(1916), 터치 센서들(1918, 1920), 및 임의의 적합한 센서(1922)를 포함할 수 있다. 센서로부터의 데이터는 예시적인 센서 허브 모듈(1944) 내에 도시된 센서 허브(19b)로 전송된다. 단계 1928 및 1930에서, 데이터는 필요한 경우 조정되고(conditioned), 노이즈를 제거하며, 잠긴 상태 검출기(locked state detector, 1942)로 전송된다. 잠긴 상태 검출기(1942)는 디바이스가 비활성 상태일 때를 검출하고, 디바이스를 다시 활성화할 수 있는 제스처 또는 다른 적합한 입력에 대한 센서 데이터를 모니터링(monitoring)하는 동안에, 필요한 경우, 전력을 보존하기 위해 센서를 비활성화한다. 예를 들어, 숫자 제스처 검출기(numeric gesture detector)는 센서 출력을 수신하고, 결과를 결정하기 위해, 하나 이상의 숫자 임계값들의 출력을 비교한다.
휴리스틱 제스처 검출기(heuristic gesture detector, 1934)는 센서 출력을 수신하고, 하나 이상의 임계값에 AND 연산 규칙을 적용하는 것과 같은, 하나 이상의 결정 트리(decision tree)에 기초하여, 결정을 내린다. 패턴 기반 제스처 검출기(pattern-based gesture detector, 1938)는, 예를 들어, 제스처가 수행될 때 센서 출력의 경험적 평가(empirical evaluation)에 의해 결정된 패턴과 같은, 제스처 패턴(1940)의 미리 결정된 라이브러리에 대해 센서 입력을 평가한다. 하나 이상의 제스처 우선순위 디코더(gesture priority decoder, 1948)는, 검출된 제스처들 중 하나가 특정 애플리케이션 또는 시스템-레벨 프로세스에 기능을 제공하도록 이용되어야 하는 경우를 결정하기 위해, 제스처 검출기, 잠긴 상태 검출기, 또는 제스처 검출기 및 잠긴 상태 검출기 둘 다로부터의 출력을 평가한다. 일 실시예에 따르면, 더 넓게, 디바이스가 활성화된 경우, 애플리케이션-요청(application-requested) 또는 시스템-요청(system-requested) 센서 검출기들은 차례로 활성화되고, 검출기들의 데이터를 센서 우선순위 디코더로 데이터를 제공한다. 일 실시예에 따르면, 우선순위 검출기는 복수의 센서들 중 어느 것이 프로세스로 입력되는지 결정한다. 본 개시는 복수의 센서들로부터의 조합된 입력이 각각의 센서 입력과 개별적으로 연관된 기능과는 다른 기능과 연관될 수 있음을 고려한다.
디코더는 센서가 충분히 확실하게 검출된 경우라고 결정하고, 센서 데이터를 센서 허브 드라이버(sensor hub driver)에 제공한다. 드라이버는 애플리케이션 프로그래밍 인터페이스(API)를 차례로 필수적인 출력 및 네비게이션을 생산하는 엔드 애플리케이션(end application) 및 시스템 컨트롤러에 제공한다. 예를 들어, 도 19는 예시적인 센서 허브 드라이버(1950), 애플리케이션 API(1952), 예를 들어, 적절한 시스템 기능(예를 들어, 디바이스의 GUI를 통한 시스템-레벨 네비게이션(1962))을 결정하기 위한 시스템 네비게이션 컨트롤러(1954), 및 애플리케이션(1956)에 대한 애플리케이션-레벨 제스처 우선순위 검출기를 도시한다. 도 19의 센서 허브(19b) 및 애플리케이션 프로세서(19c, 예시적인 애플리케이션 프로세서 모듈(1964) 내에 도시된)가 별개로 도시되어 있고, 센서 허브(19b) 및 애플리케이션 프로세서(19c)는 동일하거나 유사한 적어도 일부의 구성요소들에 의해 나타내어진다(그리고 기능이 수행된다). 특정 실시예에서, 센서 허브(19b) 및 애플리케이션 프로세서(19c)의 구성요소들 및 기능들을 기술하는 경계는 어느 정도 포함될 수 있다. 도 19에 도시된 경계는 단지 예시적인 일 실시예에 불과하다. 센서 자체에서 실행되는 기능들 및 센서 허브 시스템 및 애플리케이션 프로세서의 구성요소들은 밴드에서 발생하거나, 디바이스 본체 내에 있거나, 둘 다 일 수 있다. 특정 실시예들은 센서 데이터를 수신하고 처리하기 위해, 하나 이상의 센서 허브, 애플리케이션 프로세서, 또는 센서허브 또는 애플리케이션 프로세서의 구성요소들을 이용할 수 있다.
센서들은 예를 들어 검출기 또는 데이터 조정기(data conditioner)에 의해 간단하게 필터링되거나 새로 포맷되어, 내부적으로 센서 데이터를 생산할 수 있다. 원시 데이터(raw data)는 애플리케이션 API에 의한 처리(ingestion)를 위해 데이터 포맷터(data formatter)에 의해 일정한 포맷으로 포맷될 수 있다. 인식기(recognizer)들은 숫자 모델(numeric model, 결정 트리와 같은)들, 휴리스틱 모델(heuristic model)들, 패턴 인식, 또는 임의의 적합한 하드웨어들, 소프트웨어들, 및 제스처 입력과 같은 센서 데이터를 검출하기 위한 기술들을 이용할 수 있다. 인식기들은 API에 의해 활성화 되거나(enabled), 비활성화 될(disabled) 수 있다. 이 경우에, 관련된 센서들은 인식기가 센서로부터 데이터를 수신하지 않거나, 센서 데이터를 인식하지 못하는 경우, 또한 활성화 되지 않을 수 있다.
디바이스는 많은 다른 센서 출력들을 검출하기 위해 동일한 검출기를 허용하는 센서 출력의 데이터 베이스를 포함할 수 있다. API에 의해 생산된 요청에 따라, 센서 우선순위 디코더는 공급된 기준에 기초하여, 센서 출력을 통과시키거나 막을 수 있다. 기준은 API의 디자인의 기능일 수 있다. 일 실시예에 따르면, 인식기들은 센서 출력을 검출하기 위해, 하나 이상의 센서의 출력을 처리(ingest)할 수 있다.
일 실시예에 따르면, 복수의 센서들은 유사한 정보를 검출하기 위해 이용될 수 있다. 예를 들어, 일반적인 카메라 및 깊이 감지 카메라는 모두 손가락을 검출하는 데 이용될 수 있고, 자이로스코프(gyroscope) 및 자력계(magnetometer)는 모두 방향을 검출하기 위해 이용될 수 있다. 적절하게, 센서 정보에 의존하거나 센서 정보를 이용하는 기능은 비용, 에너지 사용, 이용 빈도와 같은 실행 및 런타임(runtime)을 고려하여, 센서들을 대체하거나 센서들 중에 선택할 수 있다.
센서들은 임의의 적합한 유형일 수 있고, 여기에 도시된 바와 같이, 디바이스의 본체 내, 디바이스의 본체 상, 밴드 내, 밴드 상, 또는 전술한 바들의 적절한 조합에 위치할 수 있다. 일 실시예에 따르면, 센서들은 예를 들어 적외선 센서, 광학 센서, 음향 센서(acoustic sensor), 또는 임의의 적합한 깊이 센서 또는 근접 센서와 같은, 하나 이상의 깊이 센서 또는 근접 센서(적절하게, 용어는 상호교환적으로 이용될 수 있음)를 포함할 수 있다. 예를 들어, 깊이 센서는, 예를 들어 사용자의 손, 손가락, 또는 얼굴이 디스플레이 근처에 올 경우 검출하기 위해, 디바이스의 디스플레이 상 또는 디바이스의 디스플레이 근처에 위치할 수 있다. 다른 예시로서, 여기에 보다 상세히 도시된 바와 같이, 깊이 센서들은 깊이 센서가 가리키는 시야각 내의 사용자의 손가락과 같은 임의의 객체를 검출할 수 있다. 여기에 보다 상세히 도시된 바와 같이, 깊이 센서는 또한, 또는 대체적으로, 디바이스의 밴드 상에 위치할 수 있다. 일 실시예에 따르면, 센서들은 디바이스의 본체, 밴드, 또는 디바이스의 본체 및 밴드 상에 하나 이상의 터치 감지 영역(touch sensitive area)을 포함할 수 있다.
터치 감지 영역들은 예를 들어, 저항, 탄성 표면파, 정전 용량(상호 용량 또는 자체 용량), 적외선, 광, 분산, 또는 임의의 적합한 기술들과 같은 임의의 적합한 터치 감지 기술들을 이용할 수 있다. 터치 감지 영역들은 예를 들어 스와이프, 탭, 하나 이상의 특정 영역 또는 하나 이상의 특정 지점에서의 접촉, 또는 복수 터치 접촉(예를 들어, 디스플레이 상의 두 개 이상의 손가락 핀칭(pinching) 또는 디스플레이 상에 두 개 이상의 손가락 회전)과 같은 임의의 적합한 접촉을 검출할 수 있다. 여기에 보다 상세히 도시된 바와 같이, 터치 감지 영역들은 디바이스의 본체, 링, 또는 밴드의 적어도 일부를 포함할 수 있다. 다른 센서와 같이, 특정 실시예에서 터치 감지 영역들은, 예를 들어 컨텍스트(context), 전력 고려, 또는 사용자 설정에 기초하여, 활성화되거나 비활성화될 수 있다. 예를 들어, 링의 터치 감지 부분은 링이 고정된(예를 들어, 회전하지 않는) 경우 활성화되고, 링이 자유롭게 회전하는 경우 비활성화될 수 있다. 일 실시예에 따르면, 센서들은 적합한 카메라들 또는 광학 깊이 센서들과 같은 하나 이상의 광학 센서를 포함할 수 있다.
일 실시예에 따르면, 센서들은 가속도계(accelerometer), 자이로스코프, 자력계, GPS 칩, 또는 나침반과 같은 하나 이상의 관성 센서 또는 방향 센서를 포함할 수 있다. 일 실시예에 따르면, 관성 센서 또는 방향 센서로부터의 출력은 장치를 활성화 또는 잠금 해제하거나, 하나 이상의 제스처를 검출하거나, 디바이스의 디바이스 스크린 또는 페어링된 디바이스의 디스플레이 스크린 상의 컨텐트와 상호작용하거나, 특정 데이터에 접근하거나, 디바이스 또는 페어링된 디바이스의 특정 기능을 활성화 시키거나, 디바이스 본체와 밴드 사이 또는 디바이스와 페어링된 디바이스 사이에 통신을 시작하거나, 또는 임의의 적합한 기능을 수행하기 위해 이용될 수 있다. 일 실시예에 따르면, 센서들은 디바이스의 컨텍스트를 결정하기 위해, 예를 들어 사용자의 말 또는 주변 소리(ambient sound)의 검출에 대한 하나 이상의 마이크를 포함할 수 있다. 또한, 일 실시예에 따르면, 디바이스는 디바이스 본체 또는 밴드 상에 하나 이상의 스피커를 포함할 수 있다.
일 실시예에 따르면, 센서들은 네트워크 디바이스(예를 들어, 서버 또는 라우터(router)), 스마트폰, 컴퓨팅 디바이스, 디스플레이 디바이스(예를 들어, 텔레비전 또는 키오스크), 오디오 시스템, 비디오 시스템, 다른 웨어러블 전자 디바이스, 또는 밴드와 디바이스의 본체 사이와 같은, 다른 디바이스들과 통신하기 위한 구성요소들을 포함할 수 있다. 센서들은 임의의 적합한 주파수에서 전송 또는 수신을 위한 NFC 리더(reader)/비콘(beacon), 블루투스 기술, 또는 안테나를 포함할 수 있다.
일 실시예에 따르면, 센서들은 예를 들어 압전기(piezoelectrics), 압력 센서, 힘 센서, 관성 센서(전술한 바와 같은), 변형/스트레스(strain/ stress) 센서, 또는 기계적인 액추에이터와 같은 디바이스의 햅틱 사용자 입력을 수신하거나 검출하는 센서들을 포함할 수 있다. 센서들은 디바이스 상의 임의의 적합한 위치에 위치할 수 있다. 일 실시예에 따르면, 디바이스의 구성요소들은 또한 사용자에게 햅틱 피드백을 제공할 수 있다. 예를 들어, 하나 이상의 링, 표면, 또는 밴드는 진동하거나, 빛 또는 소리를 생성할 수 있다.
일 실시예에 따르면, 웨어러블 전자 디바이스는 온도 센서, 습도 센서, 또는 고도계(altimeter)와 같은 하나 이상의 주변 환경에 대한 센서를 포함할 수 있다.
일 실시예에 따르면, 웨어러블 전자 디바이스는 웨어러블 디바이스의 사용자의 신체적 특징(physical attribute)을 감지하기 위한 하나 이상의 센서를 포함할 수 있다. 센서들은 디바이스의 밴드, 또는 사용자의 피부와 접촉하는 디바이스의 베이스와 같은 임의의 적합한 영역에 위치할 수 있다. 일 예시로서, 센서들은 사용자가 웨어러블 디바이스 근처에서 피부(또는 피부를 덮는 옷)를 문지르거나, 디바이스의 근처에서 피부를 탭하거나, 사용자의 팔을 위아래로 움직여 디바이스를 움직이는 경우와 같이 사용자의 피부의 진동을 검출하는 어쿠스틱 센서들을 포함할 수 있다. 추가적인 예시로서, 센서는 하나 이상의 체온 센서, 산소포화도 측정기(pulse oximeter), 갈바닉 피부 반응 센서(galvanic-skin-response sensor), 정전 용량 이미지 센서, 근전도 센서(electromyography sensor), 생체 데이터 판독기(예를 들어, 지문 또는 눈), 및 임의의 적합한 센서를 포함할 수 있다. 이러한 센서들은 사용자에게 사용자 상태 피드백을 제공할 수 있고, 미리 결정된 기능(예를 들어, 당뇨병을 위한 인슐린과 같은 특정 약물을 취하도록 알림)을 시작하기 위해 이용될 수 있고, 감지된 정보를 멀리 떨어진 장치(예를 들어, 진료소 내 단말기)와 통신할 수 있다.
웨어러블 전자 디바이스는 디바이스를 충전하거나 전력을 공급하기 위한 하나 이상의 충전 구성요소를 포함할 수 있다. 충전 구성요소들은 정전 용량성 충전, 전자기적 충전, 세류 충전(trickle charging), 직접 전기 접촉, 태양, 운동, 유도, 또는 지능적 충전(예를 들어, 배터리의 조건 또는 상태에 기초한 충전, 및 충전 행동에 따라서 수정)과 같은 임의의 적합한 충전 방법을 이용할 수 있다. 충전 구성요소들은 디바이스의 본체 내, 디바이스의 본체 상, 디바이스의 밴드 내, 디바이스의 밴드 상과 같은 디바이스의 임의의 적합한 부분에 위치할 수 있다. 예를 들어, 도 20a는 충전 구성요소와 충전기를 연결하기 위한 슬롯(2005)를 가진 충전기(2000)을 도시한다. 예를 들어, 슬롯(2005)은 마찰, 기계적인 구조, 자기(magnetism), 또는 프롱(prong) 및 충전기(200)는 직접 전기적으로 접촉하는 충전 구성요소로부터의 프롱을 수용하고 보호하기 위한 다른 임의의 적합한 기술을 이용할 수 있다. 도 20c는 접촉자(contacts, 2020)을 통해 충전기(2022)와 밴드(2010)사이에 회로 연결을 만들기 위한 포고 스타일 커넥터(pogo-style connector)를 이용하는 밴드(2010) 상의 프롱(2015)를 도시한다. 일 실시예에 따르면, 프롱(2015)는 충전기(2022)상에 있을 수 있고, 도 20a의 슬롯(2005)은 밴드 또는 웨어러블 디바이스의 본체 상에 있을 수 있다. 일 실시예에 따르면, 접촉자(2020, 예를 들어 포고 스타일 커넥터)는 밴드 또는 디바이스를 충전하기 위한 충전기 사이에 회로를 만들기 위해 이용될 수 있는 디바이스의 본체 상에 있을 수 있다.
도 20a의 충전기(2020)는 임의의 적합한 유선 또는 무선 연결에 의해 임의의 적합한 전원(power source)(예를 들어, 교류(AC) 콘센트로부터의 전력 또는 컴퓨팅 디바이스 상의 USB 포트로부터의 직류(DC) 전력)에 연결될 수 있다.
충전기(200)는 아크릴과 같은 임의의 적합한 물질로 만들어질 수 있고, 특정 실시예에서, 지지에 따라 고무와 같은 미끄럼 방지 물질을 가질 수 있다. 일 실시예에 따르면, 충전기(2000)는 도 20b에 도시된 바와 같이, 예를 들어, 벽에 부착될 수 있는 것과 같이, 표면에 고정되거나 부착될 수 있다. 부착은 예를 들어 기계적인, 자기적인, 또는 접착적인 임의의 적합한 기술에 의해 만들어질 수 있다. 일 실시예에 따르면, 웨어러블 전자 디바이스는 충전기에 부착되는 동안에 완전하게 이용 가능할 수 있다. 예를 들어, 충전 구성요소가 디바이스의 본체 상에 위치할 경우, 사용자가 디바이스 또는 디바이스와 통신하는 다른 디바이스와 상호작용하는 동안에, 디바이스는 충전기에 자리할 수 있다.
웨어러블 전자 디바이스 내의 충전 구성요소의 다른 예시로서, 도 21a-21b는 추가적으로 예를 들어 유도 충전기(inductive charger)를 이용하는 예시적인 충전기들을 도시한다. 도 21a-21b에 도시된 바와 같이, 밴드는 하나 이상의 충전 코일(2110)을 포함할 수 있다. 전술한 바와 같이, 본 개시는 디바이스의 본체 내, 또는 디바이스의 본체 상 또는 추가적으로 또는 대체적으로 디바이스의 밴드 상에 포함된 충전 코일(또는 임의의 다른 적합한 충전 구성요소)을 고려한다. 자기장(2105)은 예를 들어 충전 표면(2115) 또는 충전 코일(2110)을 통과하는 충전 표면(2120)에 의해 발생된다. 도 21b의 충전 표면(2120)은 충전 표면(2115)에 대해 충전 코일(2110)을 통하여 자기장(2105)의 밀도를 향상시킬 수 있고, 충전 표면(2115)에 대한 더 정확한 배치를 허용할 수 있어, 시스템의 전하 전송률(charge transfer rate)을 향상시킬 수 있다. 본 개시는 적절한 경우, 충전이 디바이스의 본체 내의 구성요소, 디바이스의 본체 상의 구성요소, 밴드 내의 구성요소, 밴드 상의 구성요소, 또는 밴드 내 또는 밴드 상의 구성요소들에 전력을 공급할 수 있다.
일 실시예에 따르면, 밴드 또는 디바이스는 무선 충전 방법을 위한 안테나를 구현할 수 있다. 무선 충전이 철 금속의 부재 하에서 최적으로 동작하기 때문에, 코일이 단지 드라이버와 동일 평면상에 위치하는 것 보다는 충전 드라이버의 극 사이(전술한 바와 같이)에 있게 허용함으로써, 향상된 무선 충전 전송 용량을 허용하는 동안에, 디바이스의 본체에 대한 물질의 더 넓은 선택을 허용한다. 도 2에 도시되고, 전술한 바와 같이, 활성 밴드(active band)는 또한 기존의 내부 물리적인 접촉 커넥터(250)를 포함할 수 있다.
일 실시예에 따르면, 내부 전하 저장소(internal charge reservoir)를 가진 충전부는 웨어러블 전자 디바이스에 관련이 있다. 벽에 전원을 연결하는 경우, 충전부는 부착된 디바이스 및 충전부의 내부 저장소 둘 다를 충전할 수 있다. 전원을 연결하지 않는 경우, 저장소가 고갈될 때까지, 충전부는 여전히 저장소의 전력으로부터 부착된 디바이스를 충전할 수 있다. 충전기가 디바이스 없이 전원에 연결되는 경우, 충전기는 스스로를 충전하여, 나중에 디바이스에 추가적인 전력을 제공할 수 있다. 따라서, 여기에 도시된 충전부는 전원에 연결하여 이용 가능하고, 전원에 연결하지 않고도 이용 가능하다. 예를 들어, 사용자가 여행중이거나, 비행기에 있거나, 기차역이거나, 외부이거나, 또는 디바이스를 충전할 필요가 있지만 전원에 액세스할 수 없는 곳에 있는 경우와 같이, 사용자가 전원에 연결할 수 없는 경우 동안에도 충전부는 불완전하게 충전된 디바이스에 전력을 공급할 수 있다. 충전기가 디바이스를 충전하는 동안에, 디바이스는 대기 중(standby), 사용 중, 또는 둘 다 일 수 있고, 타겟 디바이스의 소프트웨어 또는 하드웨어에 어떠한 변경도 필요하지 않다. 본 개시의 하나 이상의 실시예들의 추가적인 이점은 가져야 하는 항목의 수를 감소시키며, 충전기 및 전원 팩(power pack) 둘 다의 이점을 제공하고, 이동할 때 충전기를 운반하기 유용하고, 디바이스의 배터리 수명을 연장시키기 위해 가져야 하는 케이블 및 커넥터의 수를 감소시키는 점을 포함하는 것이다. 본 개시는 충전부가 웨어러블 전자 디바이스를 포함하나 이에 제한되지 않는 임의의 적합한 전자 디바이스들에 적용될 수 있음을 고려한다.
도 22a-22b는 예시적인 충전부(2210)와 디바이스(2200)와의 예시적인 연결(2205) 및 연결들(2215, 2220)의 특정 실시예들을 도시한다. 예를 들어, 도 22a는 충전부(2210)과 디바이스(2200) 및 충전부(2210)과 외부 전원과의 케이블 연결을 도시한다. 다른 예시로서, 도 22b는 디바이스(2200)에서 충전부(2210)로의 케이블 연결 및 충전부(2210)에서 전원으로의 직접 연결을 도시한다. 본 개시는 디바이스, 충전부, 및 충전부를 충전하는 전원과의 임의의 적합한 연결들을 고려한다. 예를 들어, 디바이스에의 연결 및 전원에의 연결은 둘 다 직접적이거나, 케이블을 통하거나, 또는 무선 연결일 수 있다.
위에 도시된 바와 같이, 충전부가 외부 전원에 연결되지 않은 경우, 충전부의 내부 전하 저장소로부터 디바이스를 충전할 수 있고, 충전부 자체, 또는 연결된 디바이스를 충전할 수 있으며, 외부 전원에 연결된 경우, 충전부 및 연결된 디바이스 둘 다를 충전할 수도 있다. 본 개시는 충전부와 디바이스 사이에 전하를 할당하기 위한 임의의 적합한 스킴(scheme)을 고려한다. 할당 스킴은 디바이스 내부 전하의 양, 충전부 내부 전하의 양, 디바이스에 의해 소모되는 전력량, 외부 전원의 충전 용량, 또는 전술한 것들의 임의의 적합한 조합에 의존할 수 있다. 추가적으로 또는 대체적으로, 충전 임계값은 어떤 할당 스킴을 이용할지 결정할 수 있다. 예를 들어, 한 충전 스킴은 디바이스에 전하가 거의 가득 차있고, 충전부에 전하가 거의 없는 경우에 이용될 수 있고, 다른 충전 스킴은 디바이스에 거의 남아있는 전하가 없는 경우에 이용될 수 있다.
도 23-24는 충전부 및 연결된 디바이스에 대한 예시적인 충전 스킴을 도시한다. 예를 들어, 도 24에 도시된 바와 같이, 단계 S2400에서 디바이스가 충전기에 연결되면, 단계 S2405에서 디바이스가 완전히 충전되었는지 결정한다. 디바이스가 완전히 충전되었다면, 더 이상의 충전은 일어나지 않는다. 디바이스가 완전히 충전되지 않았다면, 단계 S2410에서 충전기가 선간 전압(line voltage)과 같은 외부 전원에 연결되었는지 결정한다. 충전기가 외부 전원에 연결되었다면, 단계 S2425에서, 디바이스는 외부 전원으로부터 충전된다. 충전기가 외부 전원에 연결되지 않았다면, 단계 S2415에서, 충전기에 전력이 남아있는지 결정한다. 충전기에 전력이 남아있다면, 단계 S2420에서, 디바이스는 충전부가 선간 전압에 연결되어 있는 경우, 충전부의 저장소보다는 선간 전압과 같은 충전기의 내부 전원으로부터 충전된다. 도 23은 유사한 결정 트리를 도시한다. 디바이스가 충전기에 연결되면(단계 S2300), 단계 S2310에서 디바이스가 완전히 충전되었는지 결정하고, 디바이스가 완전히 충전되지 않았다면, 디바이스는 충전기에 연결된 전원으로부터 충전된다(단계 S2315). 유사하게, 단계 S2320에서 충전기가 완전히 충전되었는지 결정하고, 충전기가 완전히 충전되지 않았다면, 단계 2325에서, 충전부는 전원으로부터 충전된다. 일 실시예에 따르면, 충전 스킴은 사용자에 의해 결정되거나, 사용자에 맞추어 이용될 수 있다.
도 25a-25e는 디바이스 및 충전부 내의 에너지 저장과 충전에 대한 예시적인 실시예를 도시한다. 도 25a에 도시된 실시예에서, 디바이스의 전하 저장소(2500) 및 충전부의 전하 저장소(2520)는 둘 다 고갈되어 있다. 도 25b-25c는 충전부가 외부 전원(2510)에 연결된 후의 디바이스의 전하 저장소(2500) 및 충전부의 전하 저장소(2505)를 도시한다. 잠시 후, 충전부 및 디바이스 각각에 총 전하 용량의 동일한 퍼센트가 주어지도록 충전이 분배되면서 동시에 충전된다. 도 25c에 도시된 바와 같이, 일정 시간이 지난 후에, 디바이스의 전하 저장소(2500) 및 충전부의 전하 저장소(2505) 모두 완전히 충전된다. 여기에 도시된 바와 같이, 디바이스 또는 충전부에 할당된 전하의 양은 임의의 적합한 전하 할당 스킴에 기초하여 달라질 수 있다. 예를 들어, 충전부의 전력 변환 성능(power conversion capability)이 제한되고, 충전부의 저장소는 거의 가득차 있고, 디바이스의 전하 저장소는 거의 비어있거나, 또는 디바이스의 에너지 수요가 매우 높으면, 충전부는 충전부의 내부를 충전하기 전에, 디바이스의 충전을 우선으로 할 수 있다. 다른 예시로서, 충전부의 충전은 미리 결정된 임계 전하에 도달될 때까지 계속될 수 있다.
도 25d-25e는 충전부가 외부 전원에 연결되지 않은 경우, 충전부와 디바이스 사이의 전하 이동을 도시한다. 도 25d에 도시된 바와 같이, 디바이스의 저장소(2500)에 전하가 거의 남아있지 않은 디바이스는 완전히 충전된 저장소(2505)를 가진 충전부에 연결된다. 전술한 바와 같이, 본 개시는 충전기가 외부 전원에 연결되지 않은 경우, 디바이스의 충전기 사이의 임의의 적합한 전하 할당을 고려한다. 할당 스킴은 충전부가 외부 전원과 연결된 경우의 할당 스킴과 동일할 수도 있고, 다를 수도 있다. 예를 들어, 도 25e는 디바이스의 전하 저장소(2500)의 전하를 최대화하는 할당 스킴을 도시한다. 충전부가 여전히 전하를 갖고 있는 한, 디바이스가 완전히 충전되거나, 충전부의 전하 저장소(2505)가 완전히 빌 때까지, 디바이스의 충전은 계속된다.
도 26은 예시적인 충전부(2600)의 예시적인 내부 구조를 도시한다. 선간 전압 변환기(line voltage converter, 2605)는 고전압선(2610)으로부터 저전압 직류를 생성한다. 이 전압은 충전을 위해 연결(2620)을 통해 연결될 수 있는 배터리 충전기/조정기(battery charger/regulator, 2630) 및 커넥터(2615) 모두에 공급된다. 배터리 충전기(2630)는 에너지 저장소(배터리(2635))를 충전하기 위해, 선간 전압 변환기(2605)로부터 이용 가능한 전력을 이용한다. 충전기는 디바이스와 동일하게 전력을 분배하거나, 디바이스의 수요가 높은 경우 더 적은 분배(디바이스 우선)를, 충전기의 내부 전력 저장이 적은 경우, 더 큰 분배(충전기 우선)를 취할 수 있다. 상기 우선순위는 사용자가 선택할 수 있다.
도 26의 예시에 계속하여, 선간 전압 변환기(2605)가 전력을 공급하지 않는 경우, 충전기/조정기(2630)는 배터리(2635) 상의 전력으로부터 적절하게 충전 전압을 생산한다. 충전기/조정기(2630)는 항상 켜져 있거나, 디바이스에 연결됨으로써 켜지거나, 사용자가 디바이스를 충전하기 원한다는 것을 나타내는 버튼을 누름으로써 켜질 수 있다. 일단 활성화되면, 충전기/조정기(2630)는 내부 저장량이 고갈될 때까지, 디바이스를 충전한다. 내부 저장량이 고갈되는 시점에서, 일부 전하는 배터리(2635) 수명을 증가시키기 위해, 배터리(2635) 내에 여전히 남아 있지만, 사용자가 이용할 수는 없다. 디바이스는 배터리 수명을 희생하여 긴급 사용 시간을 최소화하기 위해, 일부 에너지에의 액세스를 허용하는 긴급 모드를 포함할 수 있다. 충전기/조정기(2630)는 디바이스의 플러그를 뽑거나, 디바이스가 충전 완료를 나타내는 최소한의 에너지량을 끌어올 때까지, 에너지의 제공을 계속할 수 있다. 마지막으로, 충전기/조정기(2630)는 예비로 마련해 둔 잔여 에너지 량을 사용자에게 보여주는 온 디맨드(on-demand) 디스플레이를 포함할 수 있다. 디스플레이가 일반적으로 에너지를 사용하기 때문에, 버튼 또는 다른 입력은 제한된 시간 동안 디스플레이를 작동시키기 위해 이용될 수 있다. 도 26은 예시적인 충전부(2600)의 예시적인 내부 구조를 도시하지만, 본 개시는 임의의 적합한 충전부의 임의의 적합한 내부 구조를 고려하고, 충전부가 임의의 적합한 크기 또는 형태일 수 있음을 고려한다.
일 실시예에 따르면, 디바이스의 기능 또는 구성요소들(예를 들어, 센서)은 예를 들어 전력을 보존하거나, 불필요한 기능을 줄이거나 제거하기 위해, 활성화되거나 비활성화될 수 있다. 예를 들어, 잠금 상태 검출기는 디바이스가 비활성화된 경우를 검출하고, 제스처 또는 디바이스를 다시 활성화시킬 수 있는 다른 적합한 입력에 대한 센서 데이터를 모니터링하는 동안에, 필요한 경우 전력을 보존하기 위해 센서를 비활성화 할 수 있다. 디바이스는 수면 모드 또는 완전한 활성 모드와 같은 하나 이상의 전력 모드를 가질 수 있다. 일 예시로서, 일 실시예에서 디바이스는 팔에 착용되고, 디바이스의 터치 표면은 일반적인 이용 동안에 객체 및 사용자와 접촉할 수 있다. 우연히 활성화되는 것을 방지하기 위해, 디바이스의 본체 또는 밴드 내의 가속도계 또는 다른 관성 센서는 지구 중력에 대해 디바이스의 대략적인 위치를 측정하기 위해 이용될 수 있다. 중력 벡터가 디바이스의 측면을 향하도록 검출되는 경우(예를 들어, 디바이스가 사용자의 측면에 있다고 결정되거나, 디바이스가 사용자를 가리키지 않는다고 결정된 경우), 터치 스크린은 잠길 수 있고, 디스플레이는 에너지 이용을 줄이기 위해 비활성화 될 수 있다.
중력 벡터가 디바이스의 아래를 지시한다고 결정된 경우(예를 들어, 디바이스가 대략 수평이어서, 사용자가 디바이스를 보고 있거나, 디바이스를 사용하고 있다고 결정하도록 하는 경우), 시스템은 디바이스의 전원을 켤 수 있고, 또한 상호작용을 위한 터치 스크린을 활성화시킬 수 있다. 일 실시예에 따르면, 디바이스를 깨우거나 잠그는 중력 벡터의 방향에 더하여 또는 대체적으로, 중력 벡터의 방향의 변화 속도 또는 중력 벡터의 크기가 디바이스를 ??우거나 잠그는 데 이용될 수 있다. 예를 들어, 중력 벡터의 변화 속도가 미리 결정된 시간 동안 0 이면(즉, 장치가 미리 결정된 시간 동안 특정 위치에 있는 경우), 디바이스는 깨어나거나, 잠기지 않을 수 있다. 다른 예시로서, 디바이스 내의 하나 이상의 관성 센서는 디스플레이 또는 다른 적합한 구성요소 또는 애플리케이션을 활성화시키기 위한 특정 제스처 또는 제스처의 시퀀스를 검출할 수 있다. 일 실시예에 따르면, 디바이스의 인코더는 우연히 활성화되어, 디바이스를 시야각까지 가져오는 동안에 사용자가 선택을 변경할 수 있도록, 활성화 상태가 지속되게 할 수 있다. 다른 실시예에 따르면, 인코더는 컨텍스트나 사용자 입력에 기초하여 비활성화될 수 있다.
전력 보존에 부가적으로 또는 대체적으로, 특정 실시예는 하나 이상의 사용자에 대해 보안을 제공하기 위해, 하나 이상의 센서, 특정 기능, 또는 특정 애플리케이션을 잠글 수 있다. 적절한 센서들은 디바이스 또는 웨어러블 디바이스와 페어링되거나 통신하는 다른 디바이스의 보안 양상(secure aspect)의 활성화 또는 잠금 해제를 검출할 수 있다. 예를 들어, 디바이스 또는 디바이스의 터치 감지 영역 상에서 수행된 특정 제스처는 디바이스의 하나 이상의 보안 양상을 해제할 수 있다. 다른 예시로서, 디바이스의 회전 가능한 링의 특정 회전 또는 회전 시퀀스는 링의 회전 자체로 또는 사용자 입력과 결합하여, 디바이스의 하나 이상의 보안 양상을 해제할 수 있다. 예를 들어, 사용자는 숫자 또는 그림과 같은 심볼(symbol)의 고유 시퀀스로 회전 가능한 링을 회전하게 할 수 있다. 회전 가능한 링을 회전하는 데 이용된 회전 입력의 시퀀스를 수신하는 것에 대하여, 디스플레이는 여기에 보다 상세히 설명된 각각의 회전 입력에 대응하는 특정 심볼을 디스플레이할 수 있다. 일 실시예에 따르면, 이용된 심볼은 사용자 특정적(user-specific)(예를 들어, 디바이스 상에 저장된 사용자 사진, 디바이스에 의해 접근 가능한 사진, 또는 사용자에 의해 미리 선택된 심볼)일 수 있다. 일 실시예에 따르면, 미리 결정된 잠금 해제 숫자 또는 미리 결정된 시간 후에, 다른 심볼들은 사용자에게 표시될 수 있다. 전술된 예시적인 입력들은 부가적으로 또는 대체적으로, 디바이스, 특정 애플리케이션, 또는 특정 데이터에의 액세스 양상을 활성화/비활성화하기 위해 이용될 수 있다. 본 개시가 디바이스의 보안 양상을 잠금 해제하는 사용자 입력의 특정 예시들을 설명하지만, 본 개시는 디바이스의 보안 양상을 해제하기 위한 임의의 적합한 입력 또는 입력들의 조합을 고려한다. 본 개시는 보안 양상을 해제하기 위한, 또는 사용자 맞춤형(user-customizable)일 수 있는, 디바이스의 활성화/비활성화 구성요소에 대한 입력 또는 다른 적합한 파라미터를 고려한다.
일 실시예에 따르면, 웨어러블 전자 디바이스는 디바이스와 함께 또는 디바이스 상에서 수행되는 하나 이상의 제스처를 검출할 수 있다. 제스처는 임의의 적합한 유형일 수 있고, 임의의 적합한 센서(예를 들어, 관성 센서, 터치 센서, 카메라, 또는 깊이 센서)에 의해 검출될 수 있고, 임의의 적합한 기능과 연관될 수 있다. 예를 들어, 하나 이상의 깊이 센서는 제스처를 캡쳐하기 위해 하나 이상의 카메라와 함께 이용될 수 있다. 일 실시예에 따르면, 몇몇의 센서들 또는 카메라들은 제스처 또는 제스처와 연관된 배경의 검출의 정확성을 증진시키기 위해 이용될 수 있다. 적절하게, 제스처를 검출하기 위해 이용되는 센서들(또는 제스처와 연관된 기능을 시작하기 위해 이용되는 프로세싱)은, 전술한 바와 같이, 전력을 보존하거나 보안을 제공하기 위해 활성화되거나 비활성화될 수 있다.
위에서 살펴본 바와 같이, 도 19는 예시적인 센서 검출 시스템 및 제스처 검출, 프로세싱, 및 우선순위화(prioritization)의 특정 실시예들을 도시한다. 일 실시예에 따르면, 특정 애플리케이션은 특정 제스처 또는 모든 가능한 제스처에 동의할(subscribe) 수 있거나, 사용자는 어떤 제스처가 어떤 애플리케이션에 의해 검출되어야 하는지를 선택할 수 있다. 일 실시예에 따르면, 제스처는 웨어러블 디바이스를 이용하는 동안에 다른 디바이스의 조작을 포함할 수 있다. 예를 들어, 제스처는 웨어러블 디바이스를 조준하거나(aiming), 이동하거나, 이용하는 동안에, 다른 디바이스를 흔드는 것을 포함할 수 있다. 본 개시는 여기에 설명된 임의의 제스처가 적절하게 다른 디바이스의 조작을 포함할 수 있음을 고려한다. 후술되는 예시 또는 도시가 제스처의 특정 측면 또는 속성을 포함하지만, 본 개시는 제스처의 임의의 적합한 측면 또는 속성과 여기에 설명된 센서의 조합을 고려할 수 있다.
일 실시예에 따르면, 제스처는 적어도 사용자의 손, 및 예를 들어 사용자의 다른 손목과 같은, 디바이스가 착용되는 부속지(appendage) 상에서의 제스처를 포함할 수 있다. 일 실시예에 따르면, 예를 들어, 사용자는 디바이스의 광학 센서(예를 들어, 카메라 또는 깊이 센서)를 적절하게 조준하기 위해, 디바이스가 착용된 손/팔을 이용할 수 있고, 특정 제스처를 수행하기 위해 다른 팔/손/손가락을 이동시키거나 위치시킬 수 있다. 여기에 설명되고 도 16-17에 도시된 바와 같이, 일 실시예에 따르면, 목표로 한 씬(scene)은 디바이스의 디스플레이 상에 디스플레이될 수 있어서, 사용자는 실제 씬, 및 디바이스 상에 디스플레이된 바와 같은 씬 모두, 및 시야각 내에 있다면 사용자의 손/팔/손가락을 볼 수 있다. 일 실시예에 따르면, 디스플레이된 씬은 센서에 의해 검출되고, 제스처에 의해 수행하기 위해 이용되는 손/팔/손가락을 포함할 수 있다.
도 27-28은 사용자가 디바이스 상의(예를 들어, 도시된 바와 같이 디바이스의 밴드 상의) 외향(예를 들어, 사용자의 신체에서 떨어진) 센서(outward-facing sensor)를 조준하고, 제스처를 수행하기 위해 사용자의 다른 손/팔/손가락을 움직이거나 위치시키는 예시적인 제스처들을 도시한다. 도 27에서, 예를 들어, 외향 센서는 센서의 시야각 내 객체를 검출하고(단계 S2705), 외향 센서(객체를 검출하는 동일한 센서일 수 있는)가 객체를 가리키는 하나 이상의 손가락을 검출하고(단계 S2710), 가리키는 손가락(들)이 정지한 것으로 결정되는 경우(단계 S2715), 제스처가 검출된다(단계 S2720). 도 19를 참조하여, 외향 카메라에 의해 캡쳐된 원시 제스처 데이터(raw gesture data)는 조정되고 노이즈가 제거될 수 있고, 휴리스틱 제스처 검출기로 전송될 수 있다. 제스처 우선순위 디코더는 제스처 데이터를 처리하고, 제스처가 충분히 확실하게 식별된 때를 결정한다. 제스처가 식별된 경우, 제스처는 API를 엔드 애플리케이션들 및 시스템 컨트롤러들에 제공하는 센서 허브 드라이버로 전송된다.
제스처와 연관된 기능의 예시로서, 카메라는 객체에 초점을 맞출 수 있고, 객체가 검출되고, 이후 가리켜진 객체는 디스플레이 상에 나타날 수 있고, 객체에 대한 정보는 디스플레이 상에 나타날 수 있고, 디스플레이된 컨텐트는 다른 디바이스의 디스플레이(예를 들어, 객체가 다른 디바이스일 때)에 전송될 수 있다. 도 28은 도 27의 제스처와 유사한 예시적인 제스처를 도시하지만, 도시된 제스처는 손가락의 탭핑(tapping) 모션(예를 들어, 손가락(들)이 센서로부터 멀리 움직이는)을 검출하는 외향 센서를 포함할 수 있다. 예를 들어, 도 28의 제스처는 단계 S2805에서, 카메라(또는 다른 적합한 센서)의 씬 내 객체를 검출하고, 단계 S2810에서, 씬 내 손가락을 검출하고, 단계 S2815에서, 손가락의 측면 이동이 부족함을 검출하고, 단계 S2820에서, 센서로부터 더 멀리 이동하는 손가락 끝(finger tip)을 검출하고, 단계 S2825에서, 제스처를 검출하는 단계를 포함할 수 있다. 도 28에 도시된 제스처는 임의의 적합한 기능을 제공할 수 있다. 예를 들어, 디스플레이 스크린 상에 디스플레이된 객체들 중에서 탭핑된 객체가 선택될 수 있다.
도 29-30은 사용자의 손가락들 및 손의 이동을 따라 외향 센서에 의해 검출된 객체에 대한 예시적인 제스처를 도시한다. 예를 들어, 도 29는 외향 센서가 두 손가락이 떨어진 것을 검출하고(단계 S2915), 두 손가락이 함께 모이는 것(예를 들어, 핀칭(pinching) 움직임)을 검출하고(단계 S2920), 이후 핀칭된 손가락이 센서 쪽으로 이동하는 것(단계 S2925)을 도시한다. 손가락들이 함께 모이고, 센서 쪽으로 이동하는 움직임은 동시에 또는 순차적으로 일어날 수 있고, 단계들을 순차적으로(또는 순차적인 단계들 사이의 시간), 또는 동시에 수행하는 것은 각각 다른 제스처일 수 있다. 도 30에서, 도시된 두 손가락들은 처음에 거의 함께 있었고(단계 S3010), 외향 센서는 손가락들이 떨어져 이동하는 것을 검출하고(단계 S3020), 손이 멀리 이동하는 것을 검출한다(단계 S3015). 도 30에 있어서, 손가락들 및 손의 이동은 동시에 또는 적합한 순서에 따라 일어날 수 있다. 또한, 도 29-30의 단계들은 제스처를 형성하기 위해 조합될 수 있다. 예를 들어, 손가락들을 함께 핀칭하고, 센서로부터 멀리 이동하는 것은 단일한 제스처일 수 있다. 특정 실시예에서, 검출된 손가락들 또는 손은 다른 디바이스를 조작할 수 있고, 조작은 제스처의 일부를 형성할 수 있다. 여기에 설명된 예시적인 제스처에 있어서, 본 개시는 도 29-30에 도시된 제스처와 연관된 임의의 적합한 기능을 고려할 수 있다.
도 31-32에서는 모든 손가락들이 제스처를 수행하기 위해 이용된다는 것을 제외하고는, 도 29-30과 유사한 예시적인 제스처들을 도시한다. 도 31에서, 손가락들은 처음에 가까이에서(예를 들어, 주먹) 검출되고(단계 S3105), 주먹이 센서로부터 멀리 이동하는 것이 검출되고(단계 S3110), 센서는 주먹이 열리는 것을 검출한다(단계 S3115). 다시, 도시된 단계들의 순서는 임의의 적합한 순서로 발생할 수 있다. 도 32는 도 31의 역을 도시한다. 도 31-32는 임의의 적합한 기능과 연관될 수 있다. 예를 들어, 도 31은 디바이스 상에 디스플레이된 컨텐츠의 전부 또는 일부를 도 31에 도시된 텔레비전과 같은 다른 디바이스로 전송하는 예시를 도시한다. 마찬가지로, 도 32의 제스처는 다른 디바이스 상에 디스플레이된 컨텐트의 전부 또는 일부를 웨어러블 디바이스의 디스플레이로 당길 수 있다. 예를 들어 도 31-32의 제스처들은 사용자가 스마트폰, 태블릿, 개인 컴퓨팅 디바이스, 스마트 기기(예를 들어, 냉장고, 자동 온도 조절 장치(thermostat), 또는 세탁기), 또는 임의의 적합한 디바이스와 같은 다른 디바이스의 근처에서 웨어러블 디바이스에 제스처를 수행할 때 실행될 수 있다. 도시된 기능들은 단지 도 31-32에 도시된 제스처들과 연관된 기능의 예시들일 수 있고, 본 개시는 다른 적합한 제스처가 설명된 기능을 수행할 수 있음을 고려한다.
도 33-37은 센서 앞에서 스와이핑(swiping)하는 손 또는 팔의 일부를 검출하는 외향 센서를 도시한다. 일 실시예에 따르면, 손의 앞면으로 스와이핑하는 것과 손의 뒷면으로 스와이핑 하는 것은 다른 제스처일 수 있다. 도 33-34는 단계 S3310-S3315에서 손을 오른쪽에서 왼쪽으로 스와이핑하는 동작을 도시하고, 단계 S3410-S3415에서 센서의 시야각을 넘어 왼쪽에서 오른쪽으로 스와이핑하는 동작을 도시한다. 도 35-37은 단계 S3510-S3515(또한, 단계 S3735-S3740)에서 손을 아래에서 위로 스와이핑하고, 단계 S3610-S3615(또한, 단계 S3710-S3715)에서 센서의 시야각을 넘어 위에서 아래로 스와이핑하는 동작을 도시한다. 도시된 바와 같이, 손은 처음에 시야각 내에서 시작할 수 있고, 시야각을 통과하여, 시야각을 빠져나갈 수 있다(도 36에 도시된 바와 같이); 손은 시야각의 바깥에서 시작할 수 있고, 시야각을 통과하여, 시야각을 빠져나갈 수 있다(도 37에 도시된 바와 같이); 손은 시야각 밖에서 시작하여, 시야각의 일부를 통과하여, 시야각 내에 남아있을 수 있다(도 33-35에 도시된 바와 같이); 또는 시야각 내에서 시작하여, 시야각의 일부를 통과하여, 시야각 내에 남아있을 수 있다.
본 개시는 예를 들어 45도 아래에서 들어가고, 디바이스의 오른쪽으로 이동하여, 디바이스의 위쪽과 디바이스의 왼쪽에서 상대적으로 45도에서 빠져나가는 것과 같이 손이 다른 각도에서 스와이핑될 수 있음을 고려한다. 또한, 본 개시는 직선 보다는 곡선 스와이프 또는 삼각형 스와이프와 같이 움직임이 있는 손 스와이프를 검출하는 것을 고려한다. 본 개시는 도 33-37에 도시된 임의의 또는 전부의 제스처와 연관된, 예를 들어, 디바이스 상에 디스플레이된 사용자 인터페이스들 사이 또는 활성화된 애플리케이션들 사이 또는 디바이스 상에 디스플레이된 애플리케이션들 사이의 전환, 애플리케이션들을 열거나 닫음, 또는 디스플레이된 컨텐트(예를 들어, 문서, 웹 페이지, 또는 이미지)를 통한 스크롤링(scrolling) 과 같은 임의의 적합한 기능을 고려한다. 반복하여, 본 개시는 도 33-37과 관련하여 설명된 기능과 연관된 임의의 적합한 제스처를 고려한다.
도 38-39는 단계 S3805에서 외향 센서가 시야각 내의 사용자의 손을 검출하고, 단계 S3815에서 하나 이상의 손가락이 한 방향을 가리키는 것(일 실시예에 따르면, 사용자의 손 또는 팔의 일부를 따라)을 검출하는 예시적인 제스처들을 도시한다. 검출된 제스처는 검출된 손가락들 또는 검출된 손가락들이 가리키는 방향에 의존한다. 예를 들어, 도 38에 도시된 바와 같이, 단계 S3820에서 손가락은 위쪽을 가리키는 엄지일 수 있고, 도 39에 도시된 바와 같이, 단계 S3920에서 손가락은 아래쪽을 가리키는 엄지일 수 있다. 디바이스 또는 연관된 디바이스 상에서 국지적으로 파일을 저장 또는 삭제하거나, 설정 또는 다른 컨텐트의 변경을 승인하거나 승인하지 않는 것과 같은 임의의 적합한 기능은 도 38-39에 도시된 제스처들과 연관될 수 있다.
도 40은 외향 센서의 시야각 내 복수의 손가락들 또는 손의 일부에 의해 만들어진 형태를 포함하는 예시적인 제스처를 도시한다. 도 40에 도시된 바와 같이, 단계 S4010에서, 형태는 링일 수 있고, 단계 S4015에서, 제스처는 특정 방향을 가리키는 형태를 포함하지 않는 손가락을 포함할 수 있다. 도 40에 도시된 바와 같이, 단계 S4020에서, 제스처는 미리 결정된 시간 동안 형태를 유지하는 것(가능하게는 다른 손가락들로)을 포함할 수 있다.
도 41-42는 사용자의 손가락이나 손으로 외향 센서의 전부 또는 일부를 덮는 것(covering)을 포함하는 예시적인 제스처들을 도시한다. 단계 S4105에서, 엄지를 아래로 향하는 형태의 제스처로 디바이스의 상단으로부터 센서를 덮는 것은(도 41에 도시된 바와 같이), 단계 S4210에서, 디바이스의 하단으로부터 센서를 덮는 것(도 42에 도시된 바와 같이), 또는 디바이스의 측면으로부터 센서를 덮는 것과는 다른 제스처일 수 있다. 덮는 방향은 예를 들어, 디바이스를 덮을 때 손의 형태, 디바이스를 덮을 때 손의 방향, 외향 센서가 덮어진(예를 들어, 디스플레이 및 외향 센서가 덮어짐을 검출) 방향을 가리키는 다른 센서로부터의 데이터, 또는 다른 임의의 적합한 기술에 의해 검출될 수 있다.
도 43-44는 하나 이상의 사용자의 손가락 또는 손/팔의 일부가 외향 센서의 시야각 내에서 검출되고(단계 S4305/S4405), 이후 특정 제스처를 수행(단계 S4310/S4320/S4410/S4420)하기 위해, 시야각(또는 프레임(frame)) 내에서 이동하는 예시적인 제스처들을 도시한다. 일 실시예에 따르면, 제스처는 임의의 적합한 움직임일 수 있거나, 특정 패턴의 움직임일 수 있다. 일 실시예에 따르면, 제스처는 손가락들 또는 검출된 손/팔의 일부와 연관될 수 있다. 예를 들어, 한 가리키는 손가락은 단계 S4305의 제스처와 연관될 수 있거나(도 43에 도시된 바와 같이), 복수의 손가락들/한 손바닥은 단계 S4405의 제스처와 연관될 수 있다(도 44에 도시된 바와 같이). 일 실시예에 따르면, 손바닥의 방향(예를 들어, 앞, 뒤, 일정 각도(at an angle))이 검출될 수 있고, 제스처와 연관될 수 있다.
도 45는, 단계 S4505에서, 복수의 손가락들 또는 사용자의 손/팔의 형태를 검출하고, 단계 S4510/S4520에서, 시야각 내 형태의 이동을 검출하는 것을 포함하는 예시적인 제스처를 도시한다. 도 45는 외향 센서의 시야각 도처에서(throughout) 이동하는 도 40의 형태를 도시한다.
도 46은 하나 이상의 손가락(사용자의 손/팔의 일부 또는 전부) 및 손가락의 초기 방향을 검출하고, 이후 방향의 변화 또는 시간에 걸쳐 방향 변화의 속도를 검출하는 것을 포함하는 예시적인 제스처를 도시한다. 예를 들어, 도 46은, 단계 S4605에서, 시야각 내 두 손가락들을 검출하고, 단계 S4610에서, 시야각 내 손가락들과 손의 가장자리(edge)를 검출하고, 단계 S4615에서, 손가락이 C 형태를 만드는 것을 검출하고, 단계 S4620에서, C 형태의 초기 방향을 디코딩하고, 단계 S4625에서, C 형태의 방향의 변화를 디코딩하고, 단계 S4630에서, C 형태의 상대적인 회전 값을 결정하고, 단계 S4635에서, 제스처를 검출하는 것을 도시한다. 본 개시는 사용자의 손가락/손/팔에 의해 만들어진 임의의 적합한 형태를 고려한다.
도 47은 외향 센서의 시야각 내 특정 위치에서 손가락의 수의 검출을 포함하는 예시적인 제스처를 도시한다. 예를 들어, 도 47은, 단계 S4705에서, 시야각 내 예를 들어, 뻗은(outstretched) 엄지, 뻗은 엄지 및 손가락, 또는 뻗은 엄지 및 두 손가락들과 같은, 손가락 끝(fingertip)들을 검출하는 것을 도시한다. 단계 S4710에서, 특정 손가락 끝 방향 구성을 검출하고, 단계 S4725에서의 제스처를 검출하기 위해, 단계 S4715에서, 적어도 손가락의 숫자 카운트로의 구성의 맵핑(mapping)이 수행된다. 각각의 디스플레이된 이미지는 다른 제스처일 수 있다. 본 개시는 제스처를 포함하는 손가락득의 임의의 적합한 위치를 고려한다. 여기에 설명된 다른 제스처의 예시로서, 본 개시는 제스처와 연관된 임의의 적합한 기능을 고려한다. 예를 들어, 도 47의 각각의 제스처는 전화, 이메일, 또는 문자 연락처와 연관될 수 있고, 검출된 제스처는 할당된 제스처의 연락처의 전화, 이메일, 또는 문자를 활성화시킬 수 있다. 일 실시예에 따르면, 손/팔/손가락의 위치는 어떤 연락 방법이 제스처와 연관된 연락처(contact)에 이용될 지 나타낼 수 있다.
도 48-49는 디바이스 상의 듀얼 센서(dual sensors)를 포함하는 예시적인 제스처들을 도시한다. 예를 들어, 도 48은 디바이스의 하단 밴드 부분 상의 센서를 도시한다. 센서는 디바이스에 대한 사용자의 다른 손의 위치를 검출하고, 센서로부터 손의 분리(separation)를 검출한다. 일 실시예에 따르면, 제스처는 예를 들어 디바이스 내 하나 이상의 관성 센서를 통해 공급된 추가적인 정보에 의해, 또는 씬의 변화를 통해 디바이스의 이동을 검출하는 내향(예를 들어, 사용자의 신체를 향하는) 카메라에 의해, 두 손들이 이동함을 결정하는 것을 포함할 수 있다. 예를 들어, 도 48의 단계 S4805에서, 시야각 내의 손이 검출된다. 단계 S4810에서, 센서는 손이 핀칭된 형태임을 검출하고, 단계 S4815에서, 동일한 또는 다른 센서는 디바이스가 수평 방향임을 검출한다. 단계 S4820에서, 디바이스에 대한 손의 이동을 검출하고, 단계 S4825에서, 상대적인 위치를 평가한다. 단계 S4830에서, 제스처가 검출된다.
유사하게, 도 49는 또한 시야각 내 사용자의 손의 검출 및 이후 디바이스의 센서로부터 멀리 떨어지는 것을 포함하는 예시적인 제스처를 도시한다. 하지만, 도 49에서, 디바이스의 센서는 디바이스의 상단에 위치한다(예를 들어, 전면 센서(front-facing sensor)). 일 예시로서, 단계 S4905에서, 손은 전면 카메라의 시야각 내에서 검출된다. 단계 S4910에서, 손은 핀칭된 형태로 검출되고, 단계 S4915에서, 디바이스가 수직 방향임이 검출된다. 단계 S4920에서, 손은 디바이스에 가깝게 또는 멀리 이동하고, 단계 S4925에서, 상대적인 위치 평가가 수행되고, 단계 S4930에서, 그 지점에서 제스처가 검출된다.
도 50-58은 적어도 하나의 전면 센서(예를 들어, 디바이스 상단의 센서)에 의해 검출된 예시적인 제스처들을 도시한다. 도 50-58의 제스처들 중 하나는 임의의 다른 적합한 위치(예를 들어, 전술한 바와 같은, 외향)의 센서에 의해 검출될 수 있고, 다른 위치의 센서에 의해 검출된 제스처들 중 하나는 적절하게 전면 센서에 의해 검출될 수 있다. 도 50은 디바이스의 상단을 호버링(hovering)하는 하나 이상의 손가락 끝(fingertip)을 포함하는 예시적인 제스처를 도시하고, 단계 S5005에서, 전면 센서는 손가락 끝을 검출하고, 단계 S5020의 제스처를 검출하기 위해, 단계 S5010 및 S5015에서, 손가락 끝의 위치 또는 손가락 끝의 움직임(또는 움직임 부족)을 검출한다. 도 51은 각각 단계 S5105 및 S5110이 단계 S5005 및 S5010과 동일한 예시적인 제스처를 도시한다. 그러나, 단계 S5115에서, 검출된 손가락 끝은 전면 센서로부터 멀리 이동한다. 일 실시예에 따르면, 제스처는 각각에 대해, 예를 들어 단계 S5120에서 멀리 이동하는 것과 같이, 위치를 변경하는 하나 이상의 손가락 끝을 검출하는 것을 포함할 수 있다.
도 52는, 단계 S5205에서, 센서에 의해 검출된 손가락 끝들, 단계 S5210에서, 손가락 끝들이 함께 이동하는 것, 단계 S5215에서, 손가락들이 디바이스 쪽으로 이동하는 것, 단계 S5225의 제스처를 검출하기 위해, 단계 S5220에서, 움직임의 지속 시간을 도시한다. 도 53에 도시된 바와 같이, 일 실시예에 따르면, 제스처는 센서를 향한 손가락 끝들의 움직임에 더하여, 손가락 끝들의 상대적인 위치 변화을 검출하는 것을 포함한다. 예를 들어, 단계 S5305에서, 하나 이상의 손가락이 전면에서 검출되고, 단계 S5310에서, 손가락들이 위쪽 또는 아래쪽으로 움직이는 것이 검출되고, 단계 S5305에서, 제스처가 검출된다. 일 실시예에 따르면, 도 50-52는 제스처가 검출되는지, 또는 다른 지속 시간이 다른 제스처를 포함하는지를 결정할 수 있다.
도 54-57은 하나 이상의 손가락의 움직임 또는 디바이스의 표면을 가로지르는(즉, 센서의 전면을 가로지르는) 손/팔 부분의 움직임을 포함하는 예시적인 제스처들을 도시한다. 도시된 바와 같이, 제스처는 이용된 손가락의 개수(예를 들어, 두 손가락들 대 손바닥 전체), 디바이스의 표면을 가로지르는 움직임의 방향(예를 들어, 상하 또는 좌우), 디바이스의 표면을 가로지르는 움직임의 지속 시간, 검출된 손가락들 또는 손/팔의 디바이스의 표면에의 근접도, 디바이스의 표면의 부분(예를 들어, 전체 또는 일부분, 및 관련된 위치의 일부(예를 들어, 하반부)), 또는 검출된 부분이 처음에 센서의 시야각의 전면에 있었는지, 시야각을 벗어나 있었는지, 시야각 끝에 있었는지, 또는 시야각 끝을 벗어나 있었는지에 의존할 수 있다. 예를 들어, 도 54의 제스처는 전면 상에 검출된 하나 또는 두 손가락을 검출하는 단계 S5405, 왼쪽으로 움직이는 손가락을 검출하는 단계 S5410, 및 제스처를 검출하는 단계 S5415를 포함할 수 있다.
다른 예시로서, 도 55는 전면 상에 검출된 하나 또는 두 손가락을 검출하는 단계 S5505, 오른쪽으로 움직이는 손가락을 검출하는 단계 S5510, 및 제스처를 검출하는 단계 S5515를 포함할 수 있다. 다른 예시로서, 도 56은 손가락이 검출되지 않는 단계 S5605, 왼쪽으로부터 시야각에 들어가는 복수의 손가락들을 검출하는 단계 S5610, 전면이 덮인 것을 검출하는 단계 S5615, 손가락들이 프레임(frame)을 빠져 나오는 것을 검출하는 단계 S5620, 및 제스처를 검출하는 단계 S5625를 포함할 수 있다. 또 다른 예시로서, 도 57은 손가락이 검출되지 않는 단계 S5705, 오른쪽으로부터 시야각에 들어가는 복수의 손가락들을 검출하는 단계 S5710, 전면이 완전히 덮인 것을 검출하는 단계 S5715, 손가락들이 프레임(frame)을 빠져 나오는 것을 검출하는 단계 S5720, 및 제스처를 검출하는 단계 S5725를 포함할 수 있다. 여기에 도시된 모든 제스처들과 같이, 임의의 적합한 상기 요인들(및 임의의 적합한 제스처와 연관된 요인들)의 조합은 제스처 및 제스처에 대응하는 기능을 결정하기 위해 이용될 수 있다. 임의의 적합한 기능은 예를 들어, 그래픽 유저 인터페이스(graphical user interface, GUI) 스크린들간의 전환, 디스플레이된 컨텐트를 통한 스크롤링(scrolling), 또는 이용 가능한 애플리케이션들 또는 서로 통신하거나 페어링(pairing)하는 디바이스들을 통한 스크롤링과 같은 제스처와 연관될 수 있다.
도 58은 디바이스의 가장자리 상에 검출된 하나 이상의 손가락을 포함하는 예시적인 제스처를 도시하고, 디바이스 가장자리의 전부 또는 일부 주위의 손가락들의 움직임을 포함할 수 있다. 예를 들어, 도 58에 도시된 바와 같이, 제스처는 손가락이 검출되지 않는 단계 S5805, 전면의 가장자리에서 하나의 손가락을 검출하는 단계 S5810, 가장자리를 따라 움직이는 손가락을 검출하는 단계 S5815, 디바이스와 관련된 손가락의 각운동(angular motion)을 디코딩하는(decoding) 단계 S5820, 및 제스처를 검출하는 단계 S5825를 포함할 수 있다. 상기 제스처와 연관된 기능의 일 예시로서, 손가락의 이동은 디바이스 상에 디스플레이된 컨텐트의 전부 또는 일부를 회전하게 할 수 있다.
일 실시예에 따르면, 제스처는 예를 들어 디바이스를 착용하는 팔에 의한 것과 같은 웨어러블 디바이스의 움직임을 포함할 수 있다. 움직임은 관성 센서, 방향 센서, 또는 이들의 임의의 적합한 조합과 같은 임의의 적합한 센서들에 의해 검출될 수 있다. 도 59-66은 디바이스와 관련된 중력 벡터(예를 들어, 디바이스 표면의 방향을 가리키거나, 또는 베이스를 통하여 아래쪽을 가리키는)의 검출을 포함하고, 중력 벡터와 관련된 디바이스의 이후 움직임을 검출하는 예시적인 제스처들을 도시한다. 예를 들어, 도 59는 표면을 통하여 아래를 가리키는 중력 벡터를 검출하는 단계 S5905, 중력 벡터가 가리키는 것과 동일한 축을 따라 디바이스의 가속도를 검출하는 단계 S5910, 디바이스의 가속도의 지속 시간을 검출하는 단계 S5915, 제스처를 검출하는 단계 S5920을 포함할 수 있다.
도 60은 중력 벡터가 (표면 보다는) 베이스를 통하여 아래를 가리키는 단계 S6005를 제외하고는, 도 59의 제스처와 실질적으로 유사하다. 도 61은 예를 들어 디바이스가 사용자의 신체 옆에 있지 않은 것과 같이 디바이스의 방향/위치를 결정하기 위해 중력 벡터를 이용하는 제스처를 도시한다. 검출된 방향(예를 들어, 중력 벡터에 수직)으로부터 디바이스의 움직임은 검출될 수 있고, 제스처를 야기한다. 예를 들어, 단계 S6105에서, 검출된 중력 방향은 팔이 신체의 측면에 있지 않다는 것을 나타낼 수 있고, 단계 S6110에서, 디바이스의 횡방향 가속도(lateral acceleration)이 검출될 수 있고, 단계 S6115에서, 일정 시간 동안 가속도가 검출될 수 있고, 단계 S6120에서, 제스처가 검출될 수 있다. 도 59-61이 나타내듯이, 움직임의 양상(예를 들어, 가속도 지속 시간)을 검출하는 것은 제스처를 유발할 수 있고, 움직임의 양상의 범위(움직임의 지속시간의 범위)는 각각 다른 제스처와 대응될 수 있다.
도 62-63은 디바이스의 회전 움직임을 도시한다. 도 61에서와 같이, 디바이스의 초기 방향 또는 위치의 검출은 제스처 검출의 일부일 수 있다. 예를 들어, 도 62의 제스처는 팔이 신체의 측면에 있지 않음을 나타내는 중력 벡터를 검출하는 단계 S6205, 일부 회전 움직임을 검출하는 단계 S6210, 회전 움직임의 반지름이 팔꿈치 움직임 정도로 충분히 큰지 평가하는 단계 S6215, 상대적 회전을 평가하는 단계 S6220, 및 제스처를 검출하는 단계 S6225를 포함할 수 있다. 다른 예시로서, 도 63의 제스처는 팔이 신체의 측면에 있지 않음을 나타내는 중력 벡터를 검출하는 단계 S6305, 일부 회전 움직임을 검출하는 단계 S6310, 회전 움직임의 반지름이 손목 움직임 정도로 충분히 작은지 평가하는 단계 S6315, 상대적 회전을 평가하는 단계 S6320, 및 제스처를 검출하는 단계 S6325를 포함할 수 있다. 도 62-63에 도시된 바와 같이, 제스처는 예를 들어 주로 어깨로부터의 회전(도 62), 주로 팔꿈치로부터의 회전(도 63), 또는 임의의 다른 적합한 회전과 같은 디바이스의 회전 유형을 평가하는 단계를 포함할 수 있다. 회전의 반지름에 있어 부가적으로 또는 대체적으로, 제스처는 회전량, 회전 시간, 회전의 반지름 가속도(radial acceleration), 회전의 임의의 다른 적합한 양상, 또는 이들의 임의의 적합한 조합을 검출하는 단계를 포함할 수 있다.
도 61-63과 같이, 도 64는 디바이스의 초기 방향 또는 위치의 검출을 포함하는 제스처를 나타낸다. 예를 들어, 도 64의 제스처는 팔이 신체의 측면에 있지 않음을 나타내는 중력 벡터를 검출하는 단계 S6405, 팔의 축을 따르는 팔의 횡방향 가속도를 검출하는 단계 S6410, 가속도의 지속 시간을 검출하는 단계 S6415, 및 제스처를 검출하는 단계 S6420을 포함할 수 있다. 도 65는 예를 들어 축을 따르는 디바이스의 가속도와 같은, 디바이스를 착용하는 부속지(appendage)의 축을 따르는 디바이스의 움직임을 포함할 수 있다. 제스처는 움직임의 경로를 따르는 충격(예를 들어, 손에 의한 정지, 또는 객체와의 접촉) 및 이후의 움직임의 역전을 포함할 수 있다. 왕복(back-and-forth) 운동은 움직임이 멈추거나, 예를 들어 사용자의 측면과 같은 어떤 위치로 손이 돌아올 때까지 반복될 수 있다. 일 실시예에 따르면, 다른 제스처들은 왕복 움직임의 수 또는 빈도에 기초할 수 있다. 예를 들어, 도 65의 제스처는 디바이스의 초기 방향 또는 위치의 검출을 포함하는 제스처를 나타낸다. 예를 들어, 도 65의 제스처는 팔이 신체의 측면에 있지 않음을 나타내는 중력 벡터를 검출하는 단계 S6505, 손이 움직이는 중인지 검출하는 단계 S6510, 움직임의 경로를 따라 임펄스(impulse, 충격(impact))를 검출하는 단계 S6515, 동일한 직선 경로를 따라 손의 역 움직임을 검출하는 단계 S6520, 적합하게 단계 S6515 및 S6520을 반복하고, 일정 시간 동안 움직임의 정지를 검출하는 단계 S6525, 및 제스처를 검출하는 단계 S6530을 포함할 수 있다.
도 66-68은 사용자 맞춤형(user-customizable) 또는 사용자 창작형(user-creatable)일 수 있는, 미리 결정된 움직임 템플릿(template)과 매칭되는 움직임의 검출에 기초하는 예시적인 제스처들을 도시한다. 일 실시예에 따르면, 맞춤형 제스처들은 디바이스의 초기 위치 또는 방향, 움직임 또는 특정 방향으로의 움직임의 양상, 움직임의 시작 및 정지, 움직임의 지속 시간, 또는 임의의 다른 적합한 움직임 파라미터(parameter)를 포함할 수 있다. 일 실시예에 따르면, 파라미터들의 일부 또는 전부는 사용자 맞춤형(user-customizable)일 수 있다. 일 실시예에 따르면, 검출된 제스처는 검출된 움직임을 가장 가까운 이용 가능한 움직임 템플릿에 매칭(matching)시킴으로써, 결정될 수 있다. 예를 들어, 도 66-68에 도시된 바와 같이, 제스처는 수평 위치 또는 팔이나 손가락의 움직임에 대응될 수 있다. 예를 들어, 도 66에 도시된 바와 같이, 제스처는 디바이스의 베이스의 하단을 통해 아래로 향하는 중력 벡터를 검출하는 단계 S6605, 앞쪽 및 안쪽으로의 움직임을 검출하는 단계 S6610, 움직임 템플릿에 매칭하는 단계 S6615(예를 들어, 도 19의 휴리스틱(heuristic), 숫자, 또는 패턴 기반의 제스처 인식 모듈을 이용), 및 제스처를 검출하는 단계 S6620을 포함할 수 있다.
도 67은 디바이스의 베이스의 하단을 통해 옆으로 향하는 중력 벡터를 검출하는 단계 S6705, 앞쪽 및 안쪽으로의 움직임을 검출하는 단계 S6710, 움직임 템플릿에 매칭하는 단계 S6715(예를 들어, 도 19의 휴리스틱(heuristic), 숫자, 또는 패턴 기반의 제스처 인식 모듈을 이용), 및 제스처를 검출하는 단계 S6720을 포함할 수 있다. 도 68은 팔이 신체의 측면에 있지 않음을 나타내는 중력 벡터를 검출하는 단계 S6805, 디바이스의 움직임을 검출하는 단계 S6810, 움직임의 정지를 검출하는 단계 S6815, 움직임 템플릿에 매칭하는 단계 S6820, 가장 잘 매칭되는 움직임 템플릿을 선택하는 단계 S6825, 및 제스처를 검출하는 단계 S6830을 포함할 수 있다. 도 66-68은 특정 움직임 템플릿에 대응하는 맞춤형 제스처들의 특정 예시들을 도시한다. 본 개시는 디바이스의 사용자에 의해 지정될 수 있는(customizable) 임의의 적합한 센서에 의해 검출된 임의의 적합한 제스처들(또는 제스처들의 임의의 양상)을 고려할 수 있다.
일 실시예에 따르면, 제스처는 어떤 비-움직임 또는 비-방향 입력을 검출하는 단계를 선택적으로 포함할 수 있다. 예를 들어 도 69-71은 도시된 제스처들이 음향 검출을 요구하지 않을지라도, 음향(acoustics) 검출을 포함하는 제스처를 도시한다. 도 69는 디바이스의 일부 움직임(예를 들어, 사용자의 얼굴로 보내지는 디바이스) 이전의, 음향 출력(예를 들어, 전화 발신 또는 수신 벨 소리) 또는 응답을 도시한다. 예를 들어, 단계 S6905에서, 음성(audio) 응답 또는 출력이 시작되고, 단계 S6910에서, 위쪽을 향한 움직임이 검출되고, 단계 S6915에서, 위쪽을 향한 움직임이 정지되고, 단계 S6920에서, 중력 벡터는 미리 결정된 윈도우(window) 내에 있고, 단계 S6925에서, 제스처가 검출된다. 일 실시예에 따르면, 도시된 바와 같이, 제스처는 특정 방향 또는 특정 방향 윈도우의 중력 벡터를 검출하는 단계를 포함할 수 있다. 도 69의 제스처는 또한 사용자의 손/손가락들의 위치를 검출하는 단계를 포함할 수 있다. 도 69에 도시된 제스처와 연관될 수 있는 기능의 일 예시로서, 손가락들을 표시된 위치에서 귀 또는 얼굴 근처로 가져올 경우, 사용자는 전화를 걸거나 받을 수 있다. 도 70및 단계 S7005-S7025는 도 69에 설명된 것과 유사한 특성을 갖는 예시적인 제스처를 도시하나, 사용자의 손/손가락들의 다른 방향을 포함한다.
도 71은 디바이스와 연관된 마이크에 의해 검출되는, 사용자에 의해 생성된 음향(예를 들어, 사용자가 손가락을 모아 스냅(snapping fingers together)함으로써)을 포함하는 예시적인 제스처를 도시한다. 예를 들어, 도 71은 팔이 신체의 측면에 있지 않음을 나타내는 중력 벡터를 검출하는 단계 S7105, 상대적으로 높은 가속도의 움직임을 검출하는 단계 S7110, 하나 이상의 음향 주파수의 급격한 변화를 검출하는 단계 S7115, 및 제스처를 검출하는 단계 S7120을 포함할 수 있다. 도 71에 도시된 바와 같이, 스냅 움직임(snap motion)은 홀로 스냅함으로써 생성된 움직임(예를 들어, 사용자의 손/피부의 진동 또는 스냅에 의한 회전의 변화 정도 또는 속도)에 의해서만 검출될 수 있거나, 스냅함으로써 생성된 청각 입력과 움직임의 조합에 의해 검출될 수 있다. 일 실시예에 따르면, 확인은 제스처를 검출하기 위한 움직임의 미리 결정된 시간 내에서 검출되어야 한다.
도 72-73은 디바이스가 있는 팔을 횡방향 또는 종방향으로 흔드는 것과 같은, 디바이스의 주기적인 움직임을 포함하는 예시적인 제스처들을 도시한다. 도 72는 팔이 신체의 측면에 있지 않음을 나타내는 중력 벡터를 검출하는 단계 S7205, 디바이스가 축에서 횡방향으로 전진하는 것을 검출하는 단계 S7210, 디바이스가 동일 축에서 후진하는 것을 검출하는 단계 S7215, 바람직하게 단계 S7210 및 S7215를 반복하고, 제스처를 검출하는 단계 S7220을 포함하는 제스처를 도시한다. 도 73은 팔이 신체의 측면에 있지 않음을 나타내는 중력 벡터를 검출하는 단계 S7305, 디바이스가 축에서 종방향으로 전진하는 것을 검출하는 단계 S7310, 디바이스가 동일 축에서 후진하는 것을 검출하는 단계 S7315, 바람직하게 단계 S7310 및 S7315를 반복하고, 제스처를 검출하는 단계 S7320을 포함하는 제스처를 도시한다. 도 74는 사용자의 신체에 대한 디바이스의 위치/방향의 조정을 포함하는 예시적인 제스처를 도시한다. 예를 들어, 도 74의 제스처는 팔이 신체의 옆에 있음을 나타내는 중력 벡터를 검출하는 단계 S7405, 팔이 신체 옆에 있지 않음을 나타내는 중력 벡터를 검출하는 단계 S7410, 및 제스처를 검출하는 단계 S7415를 포함할 수 있다. 예를 들어 저전력 상태에서 장치를 깨우는 것과 같은, 임의의 적합한 기능은 도 72-75의 제스처와 연관될 수 있다.
도 75는 디바이스의 높이 또는 디바이스의 시작부터 정지까지의 디바이스의 높이의 상대적인 변화를 포함하는 예시적인 제스처를 도시한다. 제스처는 디바이스의 높이뿐만 아니라, 제스처 이전, 제스처 동안, 또는 제스처 후의 디바이스의 방향을 포함할 수 있다. 예를 들어, 제스처는 팔이 신체의 옆에 있음을 나타내는 중력 벡터를 검출하는 단계 S7505, 위쪽으로의 움직임을 검출하는 단계 S7510, 위쪽으로의 움직임의 정지를 검출하는 단계 S7515, 중력 벡터가 디바이스의 베이스의 측면을 통해 가리키는 단계 S7520, 및 제스처를 검출하는 단계 S7525를 포함할 수 있다. 예를 들어 디바이스와 페어링된 장치를 활성화시키는 것, 방에 있는 하나 이상의 조명을 켜는 것, 또는 디바이스 근처의 장치를 활성화시키는 것과 같은, 임의의 적합한 기능은 도 75의 제스처와 연관될 수 있다.
일 실시예에 따르면, 제스처는 웨어러블 디바이스의 본체 또는 밴드와 직접적으로 상호작용하는 단계를 포함할 수 있다. 예를 들어, 도 76은 사용자의 손목에 대해 착용한 밴드의 터치 감지 영역에의 접촉을 포함하는 제스처를 도시한다. 제스처는 디바이스가 잠금 상태에 있지 않은 것을 검출하는 단계 S7605, 밴드 상에 터치가 없음을 검출하는 단계 S7610, 밴드 상의 터치를 검출하는 단계 S7615, 터치 위치를 디코딩하는 단계 S7620, 및 제스처를 검출하는 단계 S7625를 포함할 수 있다. 도 77은 예를 들어 디바이스 또는 디바이스의 양상을 잠금 해제하기 위해, 복수의 위치에서의 터치들이 하나의 제스처로 결정될 수 있다는 것을 도시한다. 제스처는 디바이스가 잠금 상태에 있지 않은 것을 검출하는 단계 S7705, 밴드 상에 터치가 없음을 검출하는 단계 S7710, 밴드 상의 터치를 검출하는 단계 S7715, 터치 위치를 디코딩하는 단계 S7720, 액션(action)을 디코딩하는 단계 S7725, 및 제스처를 검출하는 단계 S7730을 포함할 수 있다.
도 78은 디바이스의 터치 감지 영역과 접촉하는 단계, 및 디바이스와 접촉을 유지하는 동안에 터치 감지 영역을 가로질러 슬라이딩하는 단계를 포함할 수 있다. 제스처는 디바이스가 잠금 상태에 있지 않음을 검출하는 단계 S7805, 밴드 상에 터치가 없음을 검출하는 단계 S7810, 밴드 상의 터치를 검출하는 단계 S7815, 터치 지점(들)의 이동을 검출하는 단계 S7820, 상대적인 움직임을 디코딩하는 단계 S7825, 및 제스처를 검출하는 단계 S7830을 포함할 수 있다. 일 실시예에 따르면, 제스처는 접촉의 지속 시간, 접촉의 물리적 영역(예를 들어, 하나 또는 두 손가락으로), 접촉의 순서(sequence), 접촉에 의해 생성된 압력, 또는 임의의 다른 적합한 접촉과 관련된 속성을 포함할 수 있다. 도 76-78이 밴드 상의 터치 감지 영역에의 접촉을 도시할 지라도, 본 개시는 제스처가 디바이스의 밴드, 링, 디스플레이, 또는 이들의 임의의 적합한 조합과 같은 디바이스의 임의의 적합한 위치 상의 터치 감지 영역에의 접촉을 포함할 수 있다는 것을 고려한다. 예를 들어, 도 79-80은 도 77-78의 제스처와 유사하게, 디바이스의 링 상의 터치 감지 영역에의 접촉을 도시한다. 예를 들어, 제스처는 디바이스가 잠금 상태에 있지 않음을 검출하는 단계 S7905, 링 상에 터치가 없음을 검출하는 단계 S7915, 링 상의 터치를 검출하는 단계 S7920, 및 제스처를 검출하는 단계 S7925를 포함할 수 있다.
다른 예시로서, 제스처는 디바이스가 잠금 상태에 있지 않음을 검출하는 단계 S8005, 링 상에 터치가 없음을 검출하는 단계 S8010, 링 상의 터치를 검출하는 단계 S8015, 터치 지점의 이동을 검출하는 단계 S8020, 상대적인 움직임을 디코딩하는 단계 S8025, 및 제스처를 검출하는 단계 S8030을 포함할 수 있다. 도 81은 디바이스 표면의 터치 감지 영역에의 멀티-터치(multi-touch) 접촉, 및 예를 들어, 터치 감지 영역에 접촉하는 손가락들의 움직임 또는 디바이스가 착용된 손목/손의 이동에 의해 야기되는 접촉 지점들의 이후 움직임 검출을 포함하는 제스처를 도시한다. 제스처는 디바이스가 잠금 상태에 있지 않음을 검출하는 단계 S8105, 표면 상에 터치가 없음을 검출하는 단계 S8110, 표면 상에 적어도 두 손가락들의 터치를 검출하는 단계 S8115, 터치 지점들의 이동을 검출하는 단계 S8120, 상대적인 움직임을 디코딩하는 단계 S8125, 및 제스처를 검출하는 단계 S8130을 포함할 수 있다. 손목/손의 움직임은, 예를 들어 디바이스의 관성 센서에 의해 검출될 수 있고, 터치 지점들을 다른 방식으로 이동시키는 것은 두 개의 다른 제스처를 허용한다.
도 82는 디바이스 상 또는 디바이스 내의 하나 이상의 근접 센서, 또는 디바이스 상 또는 디바이스 근처의 관성 센서에 의해 검출되는, 디바이스와의 초기 접촉을 포함하는 제스처를 도시한다. 제스처는 예를 들어 사용자가 장치를 착용하는 것을 나타내는, 접촉의 지속을 검출하는 단계를 포함할 수 있다. 예를 들어, 제스처는 후방 또는 밴드 근접 센서와 접촉이 없음을 검출하는 단계 S8205, 근접 센서에 의한 접촉을 검출하는 단계 S8210, 접촉의 지속을 검출하는 단계 S8215, 및 제스처를 검출하는 단계 S8220을 포함할 수 있다. 도 82의 제스처는 잠들어 있는 디바이스(sleeping device)를 잠금 해제하거나, 켤 수 있거나, 또는 임의의 다른 적합한 기능을 제공할 수 있다.
일 실시예에 따르면, 제스처는 디바이스 근처의 피부와의 접촉을 포함할 수 있다. 도 83은 디바이스를 착용한 곳 근처의 피부 상의 탭핑(tapping)을 포함하는 제스처를 도시한다. 탭핑은 디바이스의 진동 센서에 의해 검출될 수 있다. 탭핑 움직임은 예를 들어 탭핑 제스처에 의해 생성된 소리를 검출하는 하나 이상의 음향 센서에 의해 확인될 수 있다. 예를 들어, 제스처는 디바이스가 잠금 상태에 있음을 검출하는 단계 S8305, 상대적으로 높은 가속도의 움직임을 검출하는 단계 S8310, 예를 들어 탭(tap)하는 소리를 검출하는 단계 S8315, 움직임 또는 소리를 패턴에 매칭시키는 단계 S8320, 및 제스처를 검출하는 단계 S8325를 포함할 수 있다. 도 84는 전술한 도 83의 센서에 의해 검출되고 확인될 수 있는, 디바이스 근처의 피부를 스와이핑(swiping)하는 것을 포함하는 제스처를 도시한다. 예를 들어, 제스처는 디바이스가 잠금 상태에 있음을 검출하는 단계 S8405, 상대적으로 높은 가속도의 움직임을 검출하는 단계 S8410, 예를 들어 탭(tap)하는 소리를 검출하는 단계 S8415, 피부 상의 횡방향 이동 소리 또는 진동을 검출하는 단계 S8420, 움직임 또는 소리를 패턴에 매칭시키는 단계 S8425, 및 제스처를 검출하는 단계 S8430을 포함할 수 있다.
일 실시예에 따르면, 제스처는 디바이스를 착용하지 않은 손으로 만든 은유적인(metaphoric) 제스처를 검출하는 단계를 포함할 수 있다. 예를 들어, 상기 제스처는 예를 들어 디바이스를 착용하지 않은 손이 센서의 시야각 내에 있도록 향하는 디바이스의 디스플레이 상이거나 근처에 있는 임의의 적합한 전면 센서에 의해 검출될 수 있다. 도 85는 전면 센서가 손가락들의 탭핑과 같은 복수의 손가락들의 움직임을 검출하는 것을 포함하는 예시적인 제스처를 도시한다. 예를 들어, 제스처는 디바이스가 미리 결정된 방향인지 결정하는 단계 S8505, 손가락 끝을 검출하는 단계 S8510, 손가락 끝의 움직임을 검출하는 단계 S8515 또는 탭 소리를 검출하는 단계 S8525, 및 하나 이상의 제스처를 검출하는 단계 S8520 및 S8530을 포함할 수 있다. 도 86은 한 손가락의 움직임을 포함하는 예시적인 제스처를 도시한다. 예를 들어, 제스처는 디바이스가 미리 결정된 방향인지 결정하는 단계 S8605, 손가락 끝을 검출하는 단계 S8610, 손가락 끝의 움직임을 검출하는 단계 S8615 또는 탭 소리를 검출하는 단계 S8625, 및 하나 이상의 제스처를 검출하는 단계 S8620을 포함할 수 있다.
도 87은 객체를 잡은 손의 이동을 검출하는 단계, 객체의 움직임을 검출하는 단계, 객체를 추적하는(locking on) 단계, 이후 객체의 움직임을 검출하는 단계를 포함하는 제스처를 도시한다. 특정 예시로서, 제스처는 디바이스가 미리 결정된 방향인지 결정하는 단계 S8705, 손을 검출하는 단계 S8710, 손의 움직임을 검출하는 단계 S8715, 손과 함께 움직이는 추가적인 객체를 검출하는 단계 S8720, 객체를 추적하는 단계 S8725, 객체의 움직임을 검출하는 단계 S8730, 및 제스처를 검출하는 단계 S8735를 포함할 수 있다. 예를 들어, 객체는 또는 스타일러스와 같은 도구(stylus-like implement) 일 수 있다. 예를 들어, 디바이스 상에 또는 웨어러블 디바이스와 통신하는 다른 디바이스 상에 텍스트를 생성/저장하기 위해, 디바이스 상의 전면 센서는 도구의 쓰기 움직임(writing motion)을 검출할 수 있다. 도 87의 예시는 디스플레이 또는 다른 쓰기 표면(writing surface) 상에 작성된 컨텐트(written content)를 실제로 생성하지 않고, 사용자가 도면, 노트, 또는 다른 작성된 컨텐트를 생성하는 것을 허용할 수 있다.
여기에 보다 상세히 설명된 바와 같이, 임의의 적합한 제스처 또는 제스처들의 조합은 증강 현실(augmented-reality, AR) 기능에 영향을 주거나, 증강 현실 기능을 시작하기 위해 이용될 수 있고, AR 기능을 이용하여 작업을 수행하도록 이용될 수 있다. 예를 들어, 도 85-87의 제스처들은 가상 키보드, 가상 마우스, 또는 가상 터치 스크린과 사용자의 상호작용을 캡쳐하는데 이용될 수 있고, 전술한 상호작용들은 웨어러블 디바이스 또는 임의의 다른 적합한 페어링된 디바이스 상에 입력을 생성할 수 있다. 본 개시가 은유적인 제스처들 및 객체 검출(및 연관된 기능)의 특정 예시를 설명하지만, 본 개시는 임의의 적합한 은유적인 제스처들, 임의의 적합한 객체들의 검출, 및 상기 제스처들과 연관된 임의의 적합한 기능을 고려할 수 있다.
일 실시예에 따르면, 제스처는 디바이스가 부착되거나 착용되는 모든 부속지(entire appendage)들을 포함할 수 있다. 예를 들어, 도 88-92는 디바이스를 착용한 팔의 움직임을 포함하는 예시적인 제스처들을 도시한다. 제스처들은 팔의 초기 위치를 검출하는 단계(예를 들어, 중력 벡터의 방향을 검출하는 가속도계(accelerometer)를 통해), 디바이스의 움직임을 검출하는 단계(팔을 통해), 중력 벡터에 대응하는 변화를 검출하는 단계, 및 팔의 움직임의 정지를 검출하는 단계를 포함할 수 있다. 제스처들은 움직임 지속 시간, 움직임의 양(예를 들어, 움직임의 큰 반지름을 검출하고, 팔 전체가 이동했음을 확인하는 것), 움직임의 가속도, 또는 임의의 다른 적합한 움직임 관련 특성들을 검출하는 단계를 더 포함할 수 있다. 도 88-92에 도시된 바와 같이, 제스처들은 머리 위로, 전면으로, 측면으로, 후면으로, 이동하는 팔의 움직임 또는 초기 높은 시작 위치에서의 하강하는 팔의 움직임을 검출하는 단계를 포함할 수 있다. 예를 들어, 제스처는 팔이 신체의 측면에 있음을 나타내는 중력 벡터를 검출하는 단계 S8805, 손의 상향 움직임을 검출하는 단계 S8810, 손이 머리 위에 있음을 나타내는 중력 벡터를 검출하는 단계 S8815, 손의 이동 정지를 검출하는 단계 S8820, 및 제스처를 검출하는 단계 S8825를 포함할 수 있다.
다른 예시로서, 제스처는 손이 신체의 측면에 있음을 나타내는 중력 벡터를 검출하는 단계 S8905, 손의 위쪽 및 앞쪽으로의 움직임을 검출하는 단계 S8910, 손이 수평임을 나타내는 중력 벡터를 검출하는 단계 S8915, 손의 움직임 정지를 검출하는 단계 S8920, 및 제스처를 검출하는 단계 S8925를 포함할 수 있다. 다른 예시로서, 제스처는 손이 수평임을 나타내는 중력 벡터를 검출하는 단계 S9005, 손의 아래쪽 및 뒤쪽으로의 움직임을 검출하는 단계 S9010, 손이 측면에 있음을 나타내는 중력 벡터를 검출하는 단계 S9015, 손의 움직임 정지를 검출하는 단계 S9020, 및 제스처를 검출하는 단계 S9025를 포함할 수 있다. 다른 예시로서, 제스처는 손이 신체의 측면에 있음을 나타내는 중력 벡터를 검출하는 단계 S9105, 손의 위쪽 및 뒤쪽으로의 움직임을 검출하는 단계 S9110, 손이 수평임을 나타내는 중력 벡터를 검출하는 단계 S9115, 손의 움직임 정지를 검출하는 단계 S9120, 및 제스처를 검출하는 단계 S9125를 포함할 수 있다. 다른 예시로서, 제스처는 손이 신체의 측면에 있음을 나타내는 중력 벡터를 검출하는 단계 S9205, 손의 위쪽 및 바깥쪽으로의 움직임을 검출하는 단계 S9210, 손이 수평임을 나타내는 중력 벡터를 검출하는 단계 S9215, 손의 움직임 정지를 검출하는 단계 S9220, 및 제스처를 검출하는 단계 S9225를 포함할 수 있다. 일 실시예에 따르면, 제스처들은 단지 디바이스를 착용한 부속지의 움직임보다는 몸 전체의 움직임을 포함할 수 있다.
일 실시예에 따르면, 예를 들어 외곽 링, 터치 감지 인터페이스(예를 들어, 터치 감지 층), 사용자에 의해 수행되는 제스처(여기에 도시된), 또는 스피치(speech) 인터페이스(예를 들어, 음성 입력 및 텍스트 입력, 통신, 또는 검색을 포함하는 애플리케이션에 대한 스피치 인식)을 포함하는 다양한 입력 메커니즘 또는 유형을 통해 사용자는 디바이스와 상호작용할 수 있다. 또한, 일 실시예에 따르면, 사용자는 어떤 입력 메커니즘 또는 유형을 통해 디바이스의 원형 디스플레이 상에 표시된 GUI와 상호작용할 수 있다.
웨어러블 전자 디바이스의 사용자는 외곽 링을 이용함으로써 디바이스(예를 들어, 원형 디스플레이 상에 표시된 GUI를 포함하는)와 상호작용할 수 있다. 일 실시예에 따르면, 외곽 링은 터치 감지식일 수 있고, 사용자가 링의 하나 이상의 부분에 터치하는 것은 디바이스에의 입력으로 검출되고, 디바이스에 의해 수행되는 하나 이상의 동작을 야기하는 것으로 해석될 수 있다. 예를 들어, 입력은 한 손가락으로 링을 스와이핑(swiping)하는 것, 두 개 이상의 손가락들로 링을 스와이핑하는 것, 하나 이상의 손가락으로 회전 제스처를 수행하는 것, 또는 링을 스퀴징(squeezing)하는 것을 포함할 수 있다. 일 실시예에 따르면, 링의 물리적 회전이 디바이스에의 입력으로 작용 할 수 있도록, 외곽 링은 회전할 수 있다. 또한, 일 실시예에 따르면, 외곽 링은 클릭(예를 들어, 아래로 누름)되거나 스퀴징될 수 있다. 외곽 링의 어떤 실시예들은 적절하게 조합될 수 있고, 링은 터치 감지 가능, 회전 가능, 클릭 가능(또는 누름 가능), 또는 스퀴징 가능 중 하나 이상일 수 있다. 외곽 링의 다른 양상(예를 들어, 터치, 회전, 클릭, 누름, 또는 스퀴징)으로부터의 입력은 예를 들어 사용자에 의해 제공된 입력의 양상의 조합에 따라 다르게 해석될 수 있다. 일 예시로서, 외곽 링의 회전은 링의 클릭 또는 누름과 조합된 회전과는 상이한 입력을 나타낼 수 있다. 또한, 사용자가 외곽 링을 통해 입력을 제공할 때, 여기에 도시된 햅틱 피드백, 청각 피드백, 또는 시각 피드백을 포함하는 피드백이 사용자에게 제공될 수 있다.
도 93a는 화살표(9310)에 의해 나타난 외곽 링 상의 사용자 클릭(예를 들어, 아래로 누름)의 일 예시를 도시한다. 도 93b는 화살표 (9320)에 의해 나타난 사용자의 외곽 링 스퀴징의 일 예시를 도시한다. 도 94a는 사용자의 외곽 링 회전의 일 예시를 도시한다. 디바이스의 GUI의 컨텐트(9410)은 회전에 따라 변화한다(예를 들어, 오른쪽으로). 도 94b는 링 스스로 회전하지 않고, 사용자가 터치 감지 링 상에 회전 제스처를 수행하는 일 예시를 도시한다. 디바이스의 GUI의 컨텐트(9420)은 회전에 따라 변화한다(예를 들어, 오른쪽으로). 도 94c는 링을 누르거나 클릭하는 동시에 사용자가 외곽 링을 회전시키는 일 예시를 도시한다. 디바이스의 GUI의 컨텐트(9430)은 회전 및 누름 또는 클릭에 따라 변화한다(예를 들어, 오른쪽으로).
일 실시예에 따르면, 디바이스의 터치 감지 인터페이스(예를 들어, 터치 감지 층)는 사용자의 터치 입력을 받아들이고, 디바이스가 사용자 터치의 x-y좌표들을 결정하도록 허용하고, 터치 접촉의 복수의 지점들(예를 들어, 터치 감지 층의 다른 영역들에서)을 식별하고, 터치 상호작용의 다른 시간 길이를 구별(예를 들어, 스와이핑, 싱글 탭핑(single tapping), 또는 더블 탭핑(double tapping)을 포함하는 제스처들을 구별)할 수 있다. 터치 제스처들(여기에 도시된)은 복수 방향의 스와이핑 또는 드래깅(dragging), 핀칭(pinching), 더블 탭핑, 디스플레이 상에서 누르기(pressing) 또는 밀기(pushing) (위 또는 아래 방향으로 디스플레이의 물리적 이동을 야기하는), 길게 누르기, 멀티 터치(예를 들어, 터치 감지 인터페이스 상의 어느 곳에서 복수의 손가락들, 또는 터치 또는 제스처에 대한 도구들을 이용), 또는 회전 터치 제스처들을 포함할 수 있다.
도 95a는 디바이스에 입력을 제공하기 위해, 사용자가 터치 감지 인터페이스(예를 들어, 터치 감지 층)를 탭핑(9510)하는 일 예시를 도시한다. 사용자 탭핑의 정확한 x-y좌표는 터치 감지 인터페이스(예를 들어, 터치 감지 층)로부터의 입력을 통해 디바이스에 의해 결정될 수 있다. 도 95b는 시계방향 회전 제스처(9515), 반 시계방향 회전 제스처(9520), 수직 스와이프 제스처(9525), 및 수평 스와이프 제스처(9530) 각각의 사용자 수행의 일 예시를 도시한다. 도 95c는 각각 하나, 둘, 또는 세 지점의 접촉(9535)(예를 들어, 하나, 둘, 또는 세 손가락들 또는 도구들과 함께)을 동시에 이용하여, 사용자가 디스플레이(멀티 터치 감지 능력을 갖는 터치 감지 층을 포함하는)를 터치하는 일 예시를 도시한다. 도 95d는 터치 감지 인터페이스에 복수의 접촉 지점을 가지는 터치 제스처를 사용자가 수행하는 일 예시를 도시한다. 사용자는 이 예시에서 두 손가락으로 확대 제스처(9540), 핀칭 제스처(9545), 시계방향 회전 제스처(9550), 반 시계방향 회전 제스처(9555)를 수행할 수 있다.
일 실시예에 따르면, 디바이스의 GUI는 상호작용 및 전환 모델에 따라 동작할 수 있다. 예를 들어, 상기 모델은 애플리케이션, 기능 서브 모드, 확인(confirmation), 컨텐트, 제어, 활성 아이콘, 행동, 또는 다른 특징 또는 요소를 포함하는 모드들이 디바이스의 GUI내에서 어떻게 구성될 수 있는지(예를 들어, 계층) 결정할 수 있다.
일 실시예에 따르면, GUI는 각각이 디바이스의 다른 모드 또는 애플리케이션(또는 서브 모드, 기능, 확인, 컨텐트 또는 임의의 다른 특징)에 대응하는 복수의 최상위 스크린들을 포함한다. 상기 애플리케이션들 각각은 상호작용 계층 및 GUI의 전환 모델의 동일 레벨 상에 있을 수 있다. 도 96a는 각각이 다른 애플리케이션에 대응하는 복수의 최상위 스크린들(9602-9606 및 9610-9614), 및 시계에 대응하는 하나의 최상위 스크린(9680, 홈 스크린)이 있는 GUI 내의 계층 레이아웃의 일 예시를 도시한다. GUI 내의 상태 전환은 디바이스의 사용자와 같은 입력 소스로부터의 입력에 의해 유발되는 결과일 수 있다. 디바이스의 사용자 입력 또는 다른 입력 소스로부터의 입력(예를 들어, 외곽 링, 터치 감지 인터페이스, 제스처, 스피치, 또는 센서를 포함하는 다양한 입력 메커니즘 또는 유형을 통한)은 GUI 내의 전환(예를 들어, 한 최상위 스크린에서 다른 스크린으로)를 야기할 수 있다. 예를 들어, 입력은 GUI가 홈 스크린(9608)(예를 들어, 시계)에서 다른 애플리케이션(예를 들어, 애플리케이션 3 또는 애플리케이션 4)로 전환되거나 한 애플리케이션에서 다른 애플리케이션으로 전환되도록 야기할 수 있다. 예를 들어, 사용자가 외곽 링을 오른쪽으로 회전하면, GUI는 홈 스크린(9680)을 애플리케이션 4(9610)로 전환할 수 있고, 사용자가 외곽 링을 왼쪽으로 회전하면, GUI는 홈 스크린(9680)을 애플리케이션 3(9606)으로 전환할 수 있다. 또 다른 실시예에 따르면, 컨텍스트(context)(예를 들어, 센서들 또는 디바이스 상의 다른 입력 소스들에 의해 결정되는)는 GUI가 홈 스크린(9608)에서 한 애플리케이션으로 전환되거나, 한 애플리케이션에서 다른 애플리케이션으로 전환되도록 야기할 수 있다.
일 실시예에 따르면, 모델은 홈 스크린에 대하여 좌측 및 우측 측면을 구별하여 실시하는 것을 포함할 수 있다. 일 예시로서, 하나 이상의 최상위 스크린은 고정되거나(예를 들어, 항상 사용자가 이용 가능하도록), 컨텍스트와 관련되거나 동적인(예를 들어, 컨텍스트에 따라 이용 가능하도록) GUI의 상호 작용 또는 전환 모델의 계층 내의 모드 또는 애플리케이션(또는 다른 특징들)과 연관될 수 있다. 예를 들어, 컨텍스트 관련 스크린은 사용자가 가장 최근에 사용한 모드, 애플리케이션, 또는 기능, 사용자가 가장 최근에 추가한(예를 들어, 다운로드) 모드, 애플리케이션, 또는 기능, 임시 등록 디바이스(ad-hoc registered device)(예를 들어, 이용된 바와 같이 디바이스의 통신 범위에 들어가거나 나가는), 사용자가 즐겨 찾기한 모드, 애플리케이션, 또는 기능(예를 들어, 사용자가 명시적으로 지정한), 또는 사용자를 위해 제안된 모드, 애플리케이션, 또는 기능(예를 들어, 사용자의 이전 활동 또는 현재 컨텍스트에 기초한)을 반영할 수 있다. 도 96b는 컨텍스트 관련 또는 동적 애플리케이션들(9616-9620) 및 고정 애플리케이션들(9624-9628)이 분리되어 컨텍스트 관련 애플리케이션들을 좌측(홈 시계 스크린(9622)에 대하여)에 포함하고, 고정 애플리케이션들을 우측에 포함하도록 그룹화된, GUI 내 계층 레이아웃의 일 예시를 도시한다. 일 예시로서, 동적 애플리케이션 01(9620)은 가장 최근에 이용된 애플리케이션일 수 있고, 동적 애플리케이션 02(9618)은 두 번째로 최근에 이용된 애플리케이션일 수 있다.
일 실시예에 따르면, GUI의 상호작용 및 전환 모델의 계층의 최상위 레벨은 표면들(faces)만을 포함할 수 있고, 계층의 다음 레벨은 애플리케이션들(또는 임의의 다른 특징들)을 포함할 수 있다. 일 예시로서, 계층의 최상위 레벨은 홈 스크린(예를 들어, 시계), 및 각각의 표면이 다른 유형의 배경, 모드 또는 바탕 화면(예를 들어, 사용자 맞춤형), 날씨 정보, 달력, 또는 일상 생활 정보와 같은 활동과 대응하는 하나 이상의 표면을 포함할 수 있다. 각각의 표면은 임의의 다른 디스플레이된 정보에 더하여 시간을 표시할 수 있다. 또한, 표면은 사용자가 선택할 수 있거나(예를 들어, 임의의 적합한 입력 메커니즘 또는 유형을 통해), 컨텍스트(예를 들어, 사용자의 활동)에 기초하여 자동적으로 변경될 수 있다. 홈 스크린의 좌측 표면은 컨텍스트와 관련될 수 있고, 홈 스크린의 우측 표면은 고정될 수 있다. 도 97은 표면들(9710-9770)(시계 표면(9740)을 포함하는)을 포함하는 최상위 레벨 계층 및 애플리케이션들(9715-9775)을 포함하는 다음 레벨 계층이 있는 GUI 내 계층 레이아웃의 일 예시를 도시한다.
일 실시예에 따르면, 디바이스의 사용자 입력 또는 다른 입력 소스(예를 들어, 외곽 링, 터치 감지 인터페이스, 제스처, 스피치, 또는 센서를 포함하는 다양한 입력 메커니즘 또는 유형을 통해)로부터의 입력, 또는 디바이스의 사용자의 컨텍스트는 GUI의 상호작용 및 전환 모델 계층의 한 레벨의 스크린에서 계층의 다른 레벨의 스크린으로의 GUI 내 전환을 야기할 수 있다. 예를 들어, 선택 이벤트 또는 사용자 입력(예를 들어, 디스플레이의 터치 또는 탭, 음성 입력, 눈 응시(eye gazing), 외곽 링의 클릭 또는 누름, 외곽 링 스퀴징, 임의의 적합한 제스처, 센서에 의해 검출된 내부 근육 움직임, 또는 다른 센서 입력)은 최상위 레벨 스크린에서 한 레벨 더 깊이 중첩된(nested) 계층의 스크린으로 GUI내 전환을 야기할 수 있다. 예를 들어, 현재 스크린이 애플리케이션과 연관된 최상위 레벨 스크린이면, 선택 이벤트(예를 들어, 고리를 누름)는 애플리케이션을 선택하고, 한 층 더 깊이 중첩된 스크린으로GUI의 전환을 야기한다. 예를 들어, 두 번째 스크린은 선택된 애플리케이션의 특징과의 상호작용을 허용한다. 일 실시예에 따르면, 두 번째 스크린은 선택된 애플리케이션의 주요 기능에 대응할 수 있다. 이 때, 다수의 스크린이 있을 수 있고, 중첩된 층 및 각각의 스크린들은 선택된 애플리케이션의 다른 기능 또는 특징에 대응할 수 있다. 유사하게, 사용자에 의한 뒤로(back) 선택 입력 또는 이벤트(예를 들어, 외곽 링을 두 번 누름(double pressing) 또는 디스플레이의 특정 부분에서 터치 제스처)는 한 스크린(예를 들어, 특정 애플리케이션의 특징)에서 한 레벨 더 높은 계층의 다른 스크린(예를 들어, 최상위 애플리케이션 스크린)으로 GUI 내 전환을 야기할 수 있다.
도 98a는 기능에 대한 상호작용 또는 전환 모델 동작, 또는 디바이스의 특정 애플리케이션의 모드(9805), 기능의 이용 또는 적용(9810)을 도시한다. 일 예시로서, 카메라 애플리케이션이면, 카메라 애플리케이션의 기능, 모드, 또는 다른 요소들은 사진 모드, 비디오 모드(예를 들어, 라이브 뷰를 가진), 및 플래시 온/오프의 전환을 포함할 수 있다. 다양한 기능들, 모드들, 또는 다른 요소들은 모델 계층의 한 층 내에서의 전환을 통해 액세스될 수 있다. 층 내 전환(intra-layer transition)은 디바이스의 사용자와 같은 입력 소스로부터의 특정 유형의 전환 이벤트 또는 입력을 수신하거나 결정하는 단계에서, 또는 디바이스 사용자의 특정 컨텍스트를 결정하는 단계에서 일어날 수 있다. 일 실시예에 따르면, 전환 이벤트 입력은 또한, 예를 들어, 디스플레이의 터치 또는 탭, 음성 입력, 눈 응시, 외곽 링의 클릭 또는 누름, 외곽 링의 스퀴징, 임의의 적합한 제스처, 센서에 의해 검출된 내부 근육 움직임, 또는 다른 센서 입력을 포함할 수 있다. 애플리케이션의 기능, 모드 또는 다른 요소를 선택하고 이용하기 위해, 사용자는 계층의 더 깊은 층으로의 GUI내 층 간 전환(inter-layer transition)을 야기하는 특정 유형의 선택 이벤트 또는 입력(예를 들어, 디스플레이의 탭 또는 터치, 외곽 링의 클릭 또는 누름, 특정 제스처, 센서 입력)을 제공할 수 있다.
일 예시로서, 비디오를 촬영하기 위해, 사용자는 카메라 애플리케이션의 비디오 모드 특징과 관련된 스크린을 탭할 수 있다. 계층의 깊은 층에서 비디오를 촬영하면, 사용자는 가능하다면 상기 층에서 다른 옵션(option)들(예를 들어, 비디오 모드와 관련된 옵션들) 사이의 GUI 전환을 야기할 수 있다. 일 실시예에 따르면, 사용자는 더 깊은 층으로의 GUI 전환을 야기하는, 깊은 층 내에서의 옵션들 중 하나를 선택할 수 있다. 일 예시로서, 일단 비디오 모드에서 비디오를 녹화하면, 사용자는 GUI를 더 깊은 층으로 전환하기 위해, 디스플레이를 다시 탭 할 수 있고, 이 경우에, 비디오 녹화를 중지할 수 있는 옵션을 포함할 수 있다. 또한, 특정 유형의 선택 이벤트 또는 입력(예를 들어, 여기에 도시된 뒤로입력)을 제공함으로써, 계층의 더 높은 층으로 되돌아갈 수 있다. 일 예시로서, 일단 비디오 모드에서 비디오를 녹화하면, 사용자는 비디오 녹화를 취소하도록 하고, 카메라 애플리케이션의 비디오 모드 특징(예를 들어, 계층의 층의 특징들 에서)과 연관된 스크린에서 GUI 전환을 야기하는 디스플레이의 특정 뒤로 부분을 터치할 수 있다. GUI의 계층의 상호작용 및 전환 모델은 임의의 층의 개수 및 한 층 내 임의의 요소(예를 들어, 기능 또는 콘텐트)의 개수를 가질 수 있다.
도 98b는 디바이스 상의 컨텐트(9815)에 대한 상호작용 및 전환 모델 동작의 일 예시를 도시한다. 예시적인 모델에서, 컨텐트는 사용자가 컨텐트(9815)(예를 들어, 사진)를 선택하고, 계층 내 더 깊은 층으로 GUI가 전환되면, 컨텐트와 관련된 옵션들(예를 들어, 사진 삭제 또는 사진 공유와 같은 옵션들))의 메뉴 내 첫 번째 옵션(9820)이 보여지는 것을 제외하고는, 애플리케이션과 유사하게 동작한다. 도 98c는 디바이스 상의 제어(9825)에 대한 상호작용 및 전환 모델의 동작의 일 예시를 도시한다. 제어 요소는 가능한 값들의 범위를 넘어 값을 변경할 수 있다는 점에서 손잡이처럼 기능할 수 있다. 디바이스에의 사용자 입력(예를 들어, 오른쪽 또는 왼쪽으로 외곽 링을 회전)은 제어 요소(9825)와 관련된 값 또는 상태(9830)을 변경할 수 있다. 제어 요소에 의해 변경된 값은 실질적으로 자연에서 연속적(예를 들어, 카메라의 줌 레벨 또는 텔레비전의 볼륨 레벨)이거나, 실질적으로 자연에서 이산적(예를 들어, 텔레비전의 채널)일 수 있다. 일 실시예에 따르면, 제어 요소에 의해 변경된 값이 자연에서 이산적인 경우에, 특정 사용자 입력(예를 들어, 외곽 링을 누름)은 값의 선택을 이행(commit)할 수 있다. 도 98d는 디바이스 상의 애플리케이션 (9835) 및 애플리케이션의 주요 기능(9840)에 대한 상호작용 및 전환 모델 동작의 일 예시를 도시한다. 일 예시로서, 디바이스의 각각의 모드 또는 기능(예를 들어, 카메라 또는 증강 현실 기능)은 디바이스의 애플리케이션일 수 있다. 층 내 전환(예를 들어, 외곽 링의 회전과 같은 특정 사용자 입력을 수신하는 단계가 수행됨)은 사용자가 디바이스의 애플리케이션, 모드, 또는 기능을 변경하는 것을 허용한다. 층 간 전환(예를 들어, 디스플레이 상의 탭과 같은 특정 사용자 입력을 수신하는 단계가 수행됨)은 사용자가 선택된 애플리케이션, 모드, 또는 기능과 관련된 계층의 더 깊은 층으로 들어가는 것(또는 깊은 층을 빠져 나오는 것)을 허용한다.
도 98e는 디바이스의 액션(action, 9845)(예를 들어, 애플리케이션 내의)에 대한 상호작용 및 전환 모델 동작의 일 예시를 도시한다. 일 예시로서, 카메라 애플리케이션 내에서, 캡쳐된 이미지가 선택될 수 있고, 이미지 삭제, 페이스북에 이미지 공유, 트위터에 이미지 공유, 또는 이미지를 이메일로 전송과 같은 하나 이상의 액션이 선택된 이미지에 대해서 이용 가능할 수 있다. 이 예시에서, 액션 층 내에서 GUI 전환(예를 들어, 외곽 링의 회전 과 같은 특정 사용자 입력을 수신하는 단계를 수행함)은 사용자가 취할 다른 액션들을 볼 수 있도록 허용한다. 층 간 전환(예를 들어, 디스플레이 상의 탭과 같은 특정 사용자 입력을 수신하는 단계를 수행함)은 사용자가 선택된 액션과 관련된 계층의 더 깊은 층으로 들어가는 것(또는 깊은 층을 빠져 나오는 것)을 허용한다. 이 예시에서, 액션(9845)를 선택함으로써 더 깊은 층으로 들어가는 것은 이차 정보(9850) 또는 확인(예를 들어, 애플리케이션이 선택된 공유 서비스로 이미지를 전송)을 보여준다. 확인(9855)(예를 들어, 이미지가 전송되었다는 확인)은 또한 깊은 층에서 표시될 수 있다. GUI는 자동으로 상위 층(예를 들어, 액션 층)으로 되돌아올 수 있다. 그러나, 확인 정보를 포함하는 계층의 더 깊은 층이 있을 수 있고, GUI에 사용자 입력에 의해 또는 자동으로 상기 깊은 층으로 들어갈 수 있다.
도 98f는 아이콘(예를 들어, 최상위 레벨 온/오프 옵션을 포함하는 활성 아이콘(9860) 및 아이콘 상태의 전환(9865)에 대한 상호작용 및 전환 모델 동작의 일 예시를 도시한다. 일 예시로서, 디바이스와 통신적으로 페어링된 텔레비전은 텔레비전 화면과 같은 활성 아이콘에 의해 나타내어질 수 있다. 텔레비전의 전원이 꺼져있을 때에도, 텔레비전은 디바이스 GUI의 메뉴에 나타날 수 있지만, 이용되기 전에 텔레비전은 켜져 있어야 한다. 사용자가 텔레비전이 꺼져있을 때(9860), 텔레비전을 선택(예를 들어, 텔레비전 아이콘이 GUI에 의해 디스플레이 상에 디스플레이될 때, 탭핑함으로써)하면, GUI는 텔레비전이 켜지는(9865) 상호작용 및 전환 모델 계층의 더 깊은 층의 상태로 전환될 수 있다.
도 98g에 도시된 바와 같이, 텔레비전이 켜질 때, 텔레비전과 관련된 아이콘(9870)(예를 들어, GUI 모델의 최상위 층에 디스플레이되는) 텔레비전이 켜졌다는 것을 직접적으로 나타내는 아이콘(9875)로 변경될 수 있다. 사용자가 다시 텔레비전을 선택하면(지금), GUI는 텔레비전의 기능 또는 능력(예를 들어, 볼륨 또는 채널의 변경)이 노출된 계층의 더 깊은 층으로 전환될 수 있다. 일 실시예에 따르면, 다시 텔레비전을 끄는 옵션은, 전원을 끄는 기능에의 더 빠른 액세스를 가능하게 하기 위해(예를 들어, 사용자가 우연히 텔레비전을 켜는 경우), 계층의 더 깊은 층 내 첫 번째 메뉴 항목일 수 있다. 일 실시예에 따르면, 전원이 꺼져있을 때, 사용자가 텔레비전을 선택하면, 텔레비전이 켜지고, 텔레비전과 연관된 아이콘은 계층의 다른 층으로 또는 다른 사용자 인터페이스로의 GUI 전환 없이 텔레비전이 켜졌음을 직접적으로 나타내도록 변경될 수 있다. 그러므로, 활성 텔레비전 아이콘은 계층의 최상위 레벨(예를 들어, 메인 메뉴) 내에서 직접적으로 페어링된 텔레비전의 상태를 나타낼 수 있다.
도 99는 이미지 캡쳐 애플리케이션에 대한 GUI 계층의 상호작용 및 전환 모델의 일 예시를 도시한다. 이 예시에서, 애플리케이션 선택(스크린(9900)에서) 후에, 도달한 첫 번째 스크린(9902)는 애플리케이션의 라이브 뷰(live view)기능에 대응할 수 있다. 비디오 모드(9904), 줌(9906), 또는 플래시(9908)를 포함하는 이미지 캡쳐 애플리케이션의 다른 고정된 특징들은 선택된 애플리케이션의 홈 주요 기능 스크린(9902)의 오른쪽에서 이용 가능할 수 있다. 동적으로 또는 컨텍스트 관련하여 선택된 애플리케이션의 이용 가능한 특징들(예를 들어, 캡쳐된 이미지(9910))은 홈 주요 기능 스크린(9902)의 왼쪽에서 이용 가능할 수 있다. 계층의 기능 층에서 선택 이벤트는 계층 내 다른 더 깊은 중첩된 층으로 GUI 전환을 야기할 수 있다. 예를 들어, 사용자가 줌기능을 선택하면, GUI는 사용자가 임의의 적합한 입력(예를 들어, 줌을 증가하기 위해 외곽 링을 오른쪽으로 회전 또는 줌을 감소하기 위해 외곽 링을 왼쪽으로 회전)으로 카메라의 줌 설정을 제어할 수 있는 스크린(9912)로 전환될 수 있다. 유사하게, 사용자는 다른 특징들의 상태(예를 들어, 플래시 특징의 온/오프 전환(9914), 또는 사진 모드에서 비디오 모드(9916)으로 전환), 컨텐트 브라우징(browse)(예를 들어, 9918-9922), 액션(9924-9930)이 수행되는 계층의 더 깊은 층으로 들어가는 것, 또는 일단 액션이 선택되면, 확인(9932-9928)이 제공되는 계층의 또 다른 더 깊은 층으로 들어가는 것을 제어할 수 있다.
일 실시예에 따르면, 상호작용 레이아웃은 디바이스의 GUI의 상호작용 및 전환 모델을 구성할 수 있다. 상호작용 레이아웃은 임의의 적합한 상호작용 모델에 적용될 수 있고, 예를 들어, 디바이스의 GUI 내 임의의 특정 유형의 움직임 또는 애니메이션에 의존할 필요는 없다. 상호작용 레이아웃의 특정 예시들이 후술될 지라도, 임의의 적합한 상호작용 레이아웃은 상호작용 및 전환 모델을 구성하기 위해 이용될 수 있다.
일 예시로서, 패닝(panning) 선형 상호작용 레이아웃은 디바이스의 GUI의 상호작용 및 전환 모델을 구성할 수 있다. 패닝 선형 유형 GUI에서, 레이아웃 내의 요소들 또는 특징들은 현재 디스플레이된 요소 또는 특징의 왼쪽 및 오른쪽에 배치될 수 있다. 외곽 링을 시계방향 또는 반 시계방향으로 회전하는 것과 같은 사용자 입력은 모델 계층의 단일 층 내에서 이동할 수 있다. 일 예시로서, 외곽 링을 시계방향으로 한 회전 증분 회전하는 것은 요소 또는 특징을 오른쪽으로 디스플레이(예를 들어, 다음 요소)할 수 있고, 외곽 링을 반 시계방향으로 한 회전 증분 회전하는 것은 요소 또는 특징을 왼쪽으로 디스플레이(예를 들어, 이전 요소)할 수 있다. 일 실시예에 따르면, 시계방향 또는 반 시계방향으로의 빠른 회전은 GUI가 가속 브라우징을 수행하도록 야기할 수 있다. 이러한 실시예에서, 단일 턴은 여기에 도시된 바와 같이, 단일 요소 또는 특징 보다는 복수의 요소들 또는 특징들을 통해 GUI를 전환하도록 야기할 수 있다. 다른 사용자 입력은 모델 계층 내 층간(예를 들어, 깊은 층 또는 높은 층 중 하나)을 이동할 수 있다. 일 예시로서, 사용자가 디스플레이의 터치 감지 층을 터치하거나 탭하면, GUI는 모델 계층 내 하나 더 깊은 층(예를 들어, 사용자 선택을 확인 또는 선택과 관련된 옵션들을 제공)으로 전환될 수 있다. 터치 또는 탭 기반 입력의 대체 또는 추가 중 하나인 사용자에 의한 임의의 적합한 입력은 GUI의 모델 계층의 층간 전환을 야기할 수 있다.
다른 예시로서, 사용자가 디스플레이의 터치 감지 층의 특정 구역(예를 들어, 뒤로 버튼으로 지정된)을 누르거나, 사용자가 디스플레이의 터치 감지 층을 더블 탭하면, GUI는 모델 계층의 하나 더 높은 층(예를 들어, 이전 층)으로 전환될 수 있다. 예를 들어, 사용자가 디스플레이 또는 스크린을 길게 누르면, GUI는 홈 스크린(예를 들어, 시계)로 되돌아올 수 있다. 추가적인 사용자 입력 없이, 미리 결정된 시간(예를 들어, 타임아웃 기간(timeout period)) 후에, GUI는 또한 홈 스크린으로 되돌아올 수 있다. 여기에 도시된 바와 같이, 예를 들어, 사용자가 외곽 링을 시계방향 또는 반 시계방향으로 회전시키기를 시작하면, GUI는 동일 층 내에서 전환되고, 다음 사용자 인터페이스 요소 또는 특징(예를 들어, 동일 층 내의 이동 경로 아이콘(breadcrumb icon))은 오른쪽 또는 왼쪽으로 각각, 현재 사용자 인터페이스 요소 또는 기능이 사라질 동안에 나타나기를 시작할 수 있다.
도 100a는 예시적인 패닝 선형 상호작용 레이아웃을 도시한다. 이 예시에서, GUI 요소들(10001, 10002, 10003, 및 10004)은 패닝 선형 유형 GUI의 상호작용 및 전환 모델 계층의 동일 층에 존재한다. GUI 요소들(10002a, 10002b, 및 10002c)는 계층의 두 번째 깊은 층에 있는 요소들이고, 요소(10002)의 서브 요소들이다. 일 예시로서, 첫 번째 층은 디바이스와 페어링된 디바이스들을 포함할 수 있다. 요소(10001)는 자동차를 나타낼 수 있고, 요소(10002)는 텔레비전을 나타낼 수 있고, 요소(10003)는 모바일 폰을 나타낼 수 있고, 요소(10004)는 집 온도 조절 장치(home thermostat)를 나타낼 수 있다. 요소(10002a)는 텔레비전에 대한 볼륨 제어 요소일 수 있고, 요소(10002b)는 텔레비전에 대한 채널 제어 요소일 수 있고, 요소(10002c)는 텔레비전에 대한 픽처(picture) 제어 요소일 수 있다. 또 다른 예시로서, 사용자가 링을 클릭하면(예를 들어, 링을 한번 아래로 누름), GUI는 계층의 한 층 더 깊이로 전환될 수 있고, 이후 깊은 층의 서브-요소들은 링을 회전함으로써, 패닝될 수 있다. 대체적으로, 사용자는 링을 아래로 누르는 동시에, 링을 회전시킴으로써, 깊은 층의 서브-요소들을 패닝할 수 있다. 디바이스는 어떻게 사용자 입력이 층간 이동을 위해 사용되는지 선택하기 위해, 스위치를 포함할 수 있다.
다른 예시로서, 패닝 방사형(radial)(또는 패닝 원형) 상호작용 레이아웃은 디바이스의 GUI의 상호작용 및 전환 모델을 구성할 수 있다. 패닝 방사형 유형 GUI에서, 층 내 요소들 또는 특징들은 현재 디스플레이된 요소 또는 특징의 상하에 배치될 수 있다. 외곽 링을 시계방향 또는 반 시계방향으로 회전하는 것과 같은 사용자 입력은 모델 계층의 층간을 이동할 수 있다. 일 예시로서, 외곽 링을 시계방향으로 한 회전 증분 회전하는 것은 GUI를 모델 계층 내 하나 더 깊은 층으로 전환(예를 들어, 특정 애플리케이션의 층으로 들어감 또는 애플리케이션의 선택을 확인)할 수 있고, 외곽 링을 반 시계방향으로 한 회전 증분 회전하는 것은 GUI를 모델 계층 내 하나 더 높은 층으로 전환(예를 들어, 특정 애플리케이션에서 이전 층으로 빠져나옴)할 수 있다. 일 실시예에 따르면, 시계방향 또는 반 시계방향으로의 빠른 회전은 여기에 도시된 바와 같이 GUI가 가속 브라우징을 수행하도록 야기할 수 있다. 이러한 실시예에서, 단일 회전 증분은 단일 층보다는 복수의 층을 통해 GUI를 전환하도록 야기할 수 있다. 다른 사용자 입력은 모델 계층 내에서 층 내 이동할 수 있다. 일 예시로서, 사용자가 디스플레이의 터치 감지 층을 터치하거나 탭하면, GUI는 다른 요소 또는 특징(예를 들어, 현재 디스플레이된 요소 아래의 요소)으로 전환될 수 있다. 도 100a는 예시적인 패닝 선형 상호작용 레이아웃을 도시한다. 이 예시에서, GUI 요소들(10001, 10002, 10003, 및 10004)은 패닝 선형 유형 GUI의 상호작용 및 전환 모델 계층의 동일 층에 존재한다.
다른 예시로서, 사용자가 디스플레이의 터치 감지 층의 특정 구역(예를 들어, 뒤로 버튼으로 지정된)을 누르거나, 사용자가 디스플레이의 터치 감지 층을 더블 탭하면, GUI는 이전 요소 또는 특징(예를 들어, 현재 디스플레이된 요소 위의 요소)으로 전환될 수 있다. 예를 들어, 사용자가 디스플레이 또는 스크린을 길게 누르면, GUI는 홈 스크린(예를 들어, 시계)로 되돌아올 수 있다. 추가적인 사용자 입력 없이, 미리 결정된 시간(예를 들어, 타임아웃 기간(timeout period)) 후에, GUI는 또한 홈 스크린으로 되돌아올 수 있다. 여기에 도시된 바와 같이, 예를 들어, 사용자가 외곽 링을 시계방향 또는 반 시계방향으로 회전시키기 시작하면, GUI는 다른 층으로 전환되고, 다음 사용자 인터페이스 요소 또는 특징(예를 들어, 다른 층 내)은 현재 사용자 인터페이스 요소 또는 기능이 사라질 동안에 나타나기를 시작할 수 있다. 도 100b는 예시적인 패닝 방사형 상호작용 레이아웃을 도시한다. 이 예시에서, GUI 요소들(10001, 10002, 10003, 및 10004)은 패닝 방사형 유형 GUI의 상호작용 및 전환 모델 계층의 동일 층에 존재한다. GUI 요소들(10002a, 10002b, 및 10002c)는 계층의 두 번째 깊은 층에 있는 요소들이고, 요소(10002)의 서브 요소들이다. 일 예시로서, 첫 번째 층은 디바이스와 페어링된 디바이스들을 포함할 수 있다 요소(10001)는 자동차를 나타낼 수 있고, 요소(10002)는 텔레비전을 나타낼 수 있고, 요소(10003)는 모바일 폰을 나타낼 수 있고, 요소(10004)는 집 온도 조절 장치(home thermostat)를 나타낼 수 있다. 요소(10002a)는 텔레비전에 대한 볼륨 제어 요소일 수 있고, 요소(10002b)는 텔레비전에 대한 채널 제어 요소일 수 있고, 요소(10002c)는 텔레비전에 대한 픽처(picture) 제어 요소일 수 있다.
또 다른 예시로서, 아코디언 유형 상호작용 레이아웃은 디바이스의 GUI의 상호작용 및 전환 모델을 구성할 수 있다. 아코디언 유형 GUI에서, 복수 레이어들의 요소들 또는 특징들은 원형 리스트 구조로 배치될 수 있다. 예를 들어, 리스트 구조 내에서 마지막 요소 또는 제 1 방향의 특징(예를 들어, 디바이스의 마지막 고정된 애플리케이션)과 연관된 스크린을 지나 제 1 방향으로 회전(예를 들어, 외곽 링을 회전함으로써)하는 것은 마지막 요소 또는 제 2방향의 특징(예를 들어, 디바이스의 가장 최근에 이용된 컨텍스트 관련 애플리케이션)과 연관된 스크린으로의 GUI 전환을 야기할 수 있다. 제 1 방향으로 계속 회전하는 것은 컨텍스트 관련 애플리케이션과 연관된 스크린을 통해 역 순으로(예를 들어, 가장 덜 최근에 이용된 것(least-recently)에서 가장 최근에 이용된 것(most-recently)으로) GUI의 전환을 야기한다. 유사하게, 가장 덜 최근에 이용된 컨텍스트 관련 애플리케이션의 스크린을 지나 제 2 방향으로 회전하는 것은 마지막으로 고정된 애플리케이션과 연관된 스크린으로 GUI 전환을 야기할 수 있고, 제 2 방향으로 계속 회전하는 것은 고정된 애플리케이션의 화면을 통해 역 순으로(예를 들어, 마지막으로 고정된 애플리케이션에서, 첫 번째, 홈 스크린에 인접한 애플리케이션으로) GUI 전환을 야기할 수 있다. 아코디언 유형 GUI에서, 현재 디스플레이된 요소 또는 특징은 서브 요소들 또는 서브 특징들이 단일 층 리스트 구조의 일부가 될 수 있도록,확대될 수 있다(예를 들어, 사용자에 의해 선택되면).
일 실시예에 따르면, 서브-요소들을 가진 요소 또는 특징은 예를 들어 서브-요소들의 보이는 가장자리를 통해, 서브 요소들을 가진 것을 나타낼 수 있다(디스플레이 된 경우). 외곽 링을 시계방향 또는 반 시계방향으로 회전하는 것과 같은 사용자 입력은 모델 계층의 단일 층 내에서 이동할 수 있고, 단일 층은 요소들 또는 특징들뿐만 아니라, 선택된 요소 또는 특징의 서브-요소들 또는 서브-특징들도 포함할 수 있다. 일 예시로서, 외곽 링을 시계방향으로 한 회전 증분 회전하는 것은 요소 또는 특징을 오른쪽으로 디스플레이(예를 들어, 다음 요소)할 수 있고, 외곽 링을 반 시계방향으로 한 회전 증분 회전하는 것은 요소 또는 특징을 왼쪽으로 디스플레이(예를 들어, 이전 요소)할 수 있다. 일 실시예에 따르면, 시계방향 또는 반 시계방향으로의 빠른 회전은 GUI가 가속 브라우징을 수행하도록 야기할 수 있다. 이러한 실시예에서, 단일 턴은 여기에 도시된 바와 같이, 단일 요소 또는 특징 보다는 복수의 요소들 또는 특징들을 통해 GUI를 전환하도록 야기할 수 있다. 다른 사용자 입력은 모델 내 요소 또는 특징의 선택 또는 확대를 야기할 수 있다. 일 예시로서, 사용자가 디스플레이의 터치 감지 층을 터치하거나 탭하면, GUI는 기존 층 내 디스플레이된 특징 또는 요소를 확대할 수 있고, 서브-요소 또는 서브-특징으로의 전환을 야기할 수 있다.
다른 예시로서, 사용자가 디스플레이의 터치 감지 층의 특정 구역(예를 들어, 뒤로 버튼으로 지정된)을 누르거나, 사용자가 디스플레이의 터치 감지 층을 더블 탭하면, GUI는 확대된 서브-요소들 또는 서브-특징들을 축소시킬 수 있고, 리스트 내 요소 또는 특징으로 전환할 수 있다. 예를 들어, 사용자가 디스플레이 또는 스크린을 길게 누르면, GUI는 홈 스크린(예를 들어, 시계)로 되돌아올 수 있다. 추가적인 사용자 입력 없이, 미리 결정된 시간(예를 들어, 타임아웃 기간(timeout period)) 후에, GUI는 또한 홈 스크린으로 되돌아올 수 있다. 여기에 도시된 바와 같이, 예를 들어, 사용자가 외곽 링을 시계방향 또는 반 시계방향으로 회전시키기를 시작하면, GUI는 동일 층 내에서 전환되고, 다음 사용자 인터페이스 요소 또는 특징(예를 들어, 동일 층 내의 이동 경로 아이콘(breadcrumb icon))은 오른쪽 또는 왼쪽으로 각각, 현재 사용자 인터페이스 요소 또는 기능이 사라질 동안에 나타나기를 시작할 수 있다. 도 100c는 예시적인 아코디언 유형의 상호작용 레이아웃을 도시한다. 이 예시에서, GUI 요소들(10001, 10002, 10003, 및 10004)은 아코디언 유형 GUI의 상호작용 및 전환 모델의 동일 층에 존재한다. 요소(10002)가 사용자에 의해 선택되었기 때문에, GUI 서브-요소들(10002a, 10002b, 및 10002c)은 확대되고, 또한 모델의 동일 층 내 리스트 구조에 포함된다. 즉, GUI는 서브-요소(10002c)에서 서브-요소(10002b)로 전환되거나, 서브-요소(10002c)에서 직접적으로 요소(10003)로 전환될 수 있다. 그러나, 사용자가 서브-요소들을 축소하고자 하면(예를 들어, 요소(10002)와 연관된 스크린을 다시 탭핑하는 것과 같은 뒤로 입력을 통해), 리스트 구조는 다시GUI 요소들(10001, 10002, 10003, 및10004)만을 포함할 것이다.
일 실시예에 따르면, 디바이스의 사용자에 의해 수신된 입력에 기초하여, GUI는 홈 스크린으로 이동할 수 있다. 예를 들어, 사용자 입력은 터치 감지 층을 누르고 홀드하기(예를 들어, 길게 누름(long press)), 디스플레이를 누르고 홀드하기, 외곽 링을 누르고(예를 들어, 클릭) 홀드하기, 외곽 링을 스퀴징하고 홀드하기, 디바이스의 표면(예를 들어, 디스플레이)을 덮기, 디바이스의 특정 센서를 덮기, 디바이스의 표면을 아래로 돌리기, 소프트웨어 버튼(여기에 도시된)을 누르기, 디바이스 상의 하드웨어 버튼을 누르기, 또는 디바이스를 흔들기(또는 임의의 다른 적합한 제스처)를 포함할 수 있다. 전술한 입력들 중 어느 하나 또는 전술한 입력들의 어떤 변화(예를 들어, 더 짧은 지속 시간을 포함하는)는 상호작용 및 전환 모델 내에서 뒤로 이동하기 위한 사용자 입력으로써 이용될 수 있다.
도 101a - 101b는 GUI 내 뒤로 소프트 웨어 버튼 레이아웃의 예시들을 도시한다. 도 101a에서, 디스플레이의 아랫부분(10110)에 사용자 터치 입력을 수신하는 것은 GUI가 선택을 확인하거나, 모델 계층 내 하나 더 깊은 층으로 전환하도록 야기할 수 있다. 디바이스의 윗부분(10120)에 사용자 터치 입력을 수신하는 것은 GUI가 뒤로 또는 모델 계층 내 하나 더 높은 층으로 전환하도록 야기할 수 있다. 도 101b는 뒤로 전환되는 곳을 사용자에게 나타내는 이동 경로 아이콘(10135)를 포함하는 뒤로 구역(10130)을 가진 유사한 레이아웃을 도시한다. 일 실시예에 따르면(예를 들어, 터치의 정확한 x-y 좌표들을 결정하기 위해, 터치 감지 층이 동작 가능할 때), 디스플레이의 어떤 구역은 뒤로 구역, 확인/선택 구역, 또는 임의의 다른 적합한 기능적인 구역으로 지정될 수 있다.
일 실시예에 따르면, 디바이스의 GUI는 예를 들어 리스트를 포함하는 특정 유형의 컨텐트를 디스플레이할 수 있다. 도 102a는 항목들(items)의 수직 리스트를 디스플레이하는 예시적인 GUI를 도시한다. 사용자 입력(예를 들어, 임의의 적합한 입력 메커니즘 또는 유형)은 GUI의 선택 프레임(10205)을 수직 리스트의 요소들을 통해 이동하도록 야기할 수 있다. 일 예시로서, 사용자가 시계 방향으로 회전시키는 경우, 선택 프레임(10205)은 수직 리스트의 상단을 수직 리스트의 하단쪽으로 이동시킬 수 있다. 외곽 링의 각각의 회전 증분(예를 들어, 외곽 링이 이산적인 증분으로 움직이는 경우)은 선택 프레임(10205)을 리스트 내에서 한 항목을 이동하도록 야기할 수 있다. 도 102a의 예시에서, 사용자가 링을 시계방향으로 회전하게 함에 따라, 리스트의 디스플레이된 항목들은 일정하게 유지될 수 있고, 선택 프레임(10205)은 리스트의 항목들을 통해 아래쪽으로 이동할 수 있다. 다른 실시예에서, 선택 프레임(10205)이 일정하게 유지될 수 있으며(예를 들어, 디스플레이의 중앙에), 리스트의 항목들(예를 들어, 한번에 한 항목)은 링의 회전 방향에 따라 상하로 이동할 수 있다.
도 102b는 항목들의 수평 리스트를 디스플레이하는 예시적인 GUI를 도시한다. 사용자 입력(예를 들어, 임의의 적합한 입력 메커니즘 또는 유형)은 GUI의 선택 프레임(10210)을 수평 리스트의 요소들을 통해 이동하도록 야기할 수 있다. 일 예시로서, 사용자가 시계 방향으로 회전시키는 경우, 선택 프레임(10210)은 수평 리스트의 좌측에서 수평 리스트의 우측으로 이동시킬 수 있다. 외곽 링의 각각의 회전 증분(예를 들어, 외곽 링이 이산적인 증분으로 움직이는 경우)은 선택 프레임(10210)을 리스트 내에서 한 항목을 이동하도록 야기할 수 있다. 도 102b의 예시에서, 사용자가 링을 시계 방향으로 회전하게 함에 따라, 선택 프레임(10210)은 일정하게 유지될 수 있고, 리스트의 항목들은 시계 방향 회전에 대응하여 왼쪽으로 이동할 수 있다(예를 들어, 한번에 한 항목). 다른 실시예에서, 리스트의 디스플레이된 항목들은 일정하게 유지될 수 있고, 선택 프레임(10210)은 외곽 링의 회전 방향에 따라, 리스트의 항목들을 통해 왼쪽이나 오른쪽으로 이동할 수 있다.
일 실시예에 따르면, 디바이스의 GUI는 예를 들어 차트(chart) 또는 텍스트(text)를 포함하는 연속(또는 실질적으로 연속적인) 컨텐트를 수직 또는 수평으로 디스플레이할 수 있다. 일 실시예에 따르면, 사용자 입력(예를 들어, 임의의 적합한 입력 메커니즘 또는 유형)은 GUI의 선택 지시자(selection indicatior)가 연속 컨텐트를 통해 이동하도록 야기할 수 있다. 다른 실시예에 따르면, 사용자 입력은 컨텐트가 수평 방향, 수직 방향, 또는 사용자 입력에 맵핑된 다른 임의의 방향(및 선택 지시자가 존재하면, 일정한 위치를 유지할 수 있는)으로 디스플레이의 안과 밖으로 이동하도록 야기할 수 있다. 도 102c의 예시에서, 온도 차트가 디스플레이된다. 사용자가 외곽 링을 시계 방향으로 회전함에 따라, 선택 지시자(10220)은 디스플레이의 중앙에 남아있고, 컨텐트는 디스플레이의 오른쪽에서 안으로 들어가, 왼쪽을 향하여 디스플레이 밖으로 나간다. 도 102d의 예시에서, 텍스트(10230)의 큰 조각의 일부가 디스플레이된다. 사용자가 외곽 링을 시계 방향으로 회전함에 따라, 추가적인 텍스트는 디스플레이의 하단에서 들어가, 디스플레이의 상단으로 빠져 나간다.
도 103a-103d는 디바이스의 GUI에 디스플레이된 예시적인 달력 애플리케이션을 도시한다. 도 103a에서, 사용자는 외곽 링을 클릭하거나 눌러서(화살표(10305)에 의해 지시된), GUI가 옵션들 위로 이동(Go Up), 주간(Weekly)(기본 설정(default setting)), 월간(Montly), 및 일간(Daily)을 가진 원형 메뉴(10310)을 디스플레이 하도록 야기한다. 도 103c에서, 사용자는 외곽 링을 클릭하거나 눌러서(화살표(10315)에 의해 지시된), 주간 선택을 확인하고, GUI가 사용자의 달력에서 주간 보기(weekly view, 10320)를 디스플레이 하도록 야기한다.
일 실시예에 따르면, GUI는 디스플레이 보다 큰 크기의 컨텐트를 디스플레이할 수 있다. 이러한 실시예에서, GUI는 모든 컨텐트가 한번에 디스플레이 내에 디스플레이될 수 있도록 컨텐트의 크기를 조정(scale)하거나, 컨텐트를 잘라낼(crop) 수 있다(그렇지 않으면, 축소하거나(shrink), 알맞게(fit)). 다른 실시예에 따르면, GUI는 컨텐트의 크기를 변경하지 않고, 대신에 예를 들어 스크롤링(scrolling)을 이용하여(여기에 도시된), 한번에 컨텐트의 일부를 통해 사용자에게 보여주기 위한 능력을 제공할 수 있다.
일 실시예에 따르면, 디바이스는 원형 디스플레이를 포함하고, GUI는 원형 탐색기(navigation) 및 메뉴 레이아웃을 포함한다. 본 개시는 임의의 형상의 디스플레이를 고려하지만, 임의의 적합한 GUI에 대한 탐색기 또는 메뉴 레이아웃도 고려될 수 있다. 예를 들어, 메뉴 레이아웃은 사용자에게, 사용자가 GUI의 상호 작용 및 전환 모델 계층 내 어느 곳에 위치하는지 시각적 표시를 제공할 수 있다. 메뉴 레이아웃은 또한 사용자가 메뉴 항목들의 다른 유형들을 구별할 뿐만 아니라, 메뉴 옵션들의 전체 뷰를 볼 수 있도록 허용하는 시각 표시자를 제공할 수 있다. 또한, 메뉴는 임의의 적합한 배경 또는 디바이스의 컨텐트 위에 디스플레이될 수 있다.
도 104는 각각의 세그먼트(10410)가 메뉴 내 한 항목 또는 옵션 및 항목들을 분리하는 시각적 갭(visual gap, 10420)을 나타내는 예시적인 원형 메뉴 레이아웃을 도시한다. 기본 항목 또는 현재 선택된 항목(10430)은 시각적 디스플레이의 상단에 있을 수 있고(그러나, 디스플레이의 어느 곳이든 될 수 있음), 사용자가 사용하는 동안에 디바이스 디스플레이를 다른 방향으로 향하게 하더라도 디바이스의 상단에 남아있을 수 있다. 도 105a - 105b는 원형 메뉴 내 항목을 브라우징하는 예시를 도시한다. 사용자가 외곽 링을 시계 방향으로 회전하는 것과 같은 입력을 제공할 수 있고, 상기 사용자 입력에 대응하여, 메뉴(10520) 내 다음 항목(예를 들어, 현재 선택된 항목(10510)의 오른쪽)은 선택을 위해 하이라이트될 수 있다. 일 실시예에 따르면, 디스플레이 중심 내 컨텐트(10530)는 사용자의 회전 입력을 반영하여 자동으로 변경될 수 있거나, 사용자가 다른 입력을 제공(예를 들어, 일단 원하는 메뉴 항목이 하이라이트되면, 외곽 링을 누르거나 클릭)한 후에만 변경될 수 있다. 도 105c-105d는 외곽 링을 회전함으로써, 메뉴(1055) 내 다음 항목(예를 들어, 현재 선택된 항목(10540)의 시계 방향 또는 오른쪽)을 선택하기 위해 하이라이트 되도록 하는, 원형 메뉴를 브라우징하는 예시를 도시한다. 이 예시에서, 사용자 입력은 또한 현재 선택된 메뉴 항목에 대응하는 하이라이트된 메뉴 세그먼트를 가리키는 중앙 포인터(10560)의 회전을 야기한다. 이 예시에서, 디스플레이의 중앙 내 컨텐트는 사용자 회전을 반영하도록 자동으로 변경된다.
도 106a-106c는 각각 디바이스의 GUI에 대한 원형 메뉴 레이아웃의 다른 정렬 및 배열을 도시한다. 예를 들어, 원형 메뉴는 직접 디스플레이의 경계 상에 디스플레이 되거나(도 106에 도시된 바와 같이), 디스플레이의 내부에 표시되거나, 디스플레이의 배경 위에 오버레이(overlay)로써 표시될 수 있다(도 106b-106c에 도시된 바와 같이). 도 107a-107c는 디바이스의 GUI의 원형 메뉴 레이아웃의 다른 형태 및 정렬을 도시한다. 예시로서, 메뉴는 원(10710)에 배열된 선 세그먼트(다양한 크기 가능), 반원(10720)에 배열된 선 세그먼트, 또는 원 또는 반원에 배열된 점들(10730, 10740)을 포함할 수 있다. 일 실시예에 따르면, 현재 선택된 시각 표시자(visual indicator) 또는 기본 메뉴 항목(10732)은 디스플레이의 상단 중앙에 남아있을 수 있고, 메뉴(10734) 내 항목의 시각 표시자는 사용자 입력에 기초하여 왼쪽 또는 오른쪽으로 이동할 수 있다(도 107c). 다른 실시예에 따르면, 현재 선택된 시각 표시자 또는 기본 항목(10732)은 고정된 위치를 유지하는 메뉴의 항목의 시각 표시자를 통해 이동할 수 있다(도 107b). 일 실시에에 따르면, 세그먼트 또는 점 대신에, 메뉴 내 항목의 시각 표시자는 메뉴 항목과 연관된 아이콘(예를 들어, 이동 경로 아이콘)일 수 있다. 도 108은 원형일 필요는 없고, 디스플레이를 도처에 산재되어 있는 메뉴 항목들(10810)의 표시자의 레이아웃을 포함하는 임의의 적합한 레이아웃일 수 있는, 메뉴 레이아웃을 도시한다. 사용자 입력(예를 들어, 외곽 링의 회전)과 함께, 메뉴 레이아웃 내 항목 위치에 따라, 다른 항목들이 선택될 수 있다. 일 예시로서, 사용자가 시계 방향으로 회전시키면, 시계 방향의 다음 메뉴 항목(10820)이 선택될 수 있다.
도 109a-109c는 현재 선택되거나 디스플레이된 메뉴 항목(10915)의 좌측 및 우측(예를 들어, 모델 계층의 상호 작용 및 전환) 메뉴 항목들에 대한 다른 메뉴 레이아웃들을 도시한다. 도 109a에서, 모든 메뉴 항목들(10910)은 디스플레이 주위의 원형 메뉴에 균등하게 분배되어있다. 도 109b에서, 메뉴는 현재 디스플레이되거나 선택된 메뉴 항목(10915)의 좌측 항목(10910)및 우측 항목의 구별(예를 들어, 여기에 도시된 상호 작용 및 전환 모델에 따라)을 나타내는 갭을 포함한다. 도 109c는 현재 선택되거나 디스플레이된 항목(10915)의 오른쪽 보다는 왼쪽에 더 많은 항목들(10910)이 있어, 선택 가능한 항목들의 수를 제공하도록 원형 메뉴의 좌측 세그먼트들의 크기가 조정되는 예시를 도시한다.
도 110a에 도시된 바와 같이, 메뉴 항목들이 다수인 경우(예를 들어, 40개의 캡쳐된 이미지와 같은 특정 임계 값을 초과한 경우), 원형 메뉴의 세그먼트들은 사라질 수 있고, 사용자에게 표시된 시각 표시자는 사용자에게 다양한 메뉴 항목들을 통해 원형으로 스크롤 하도록 허용하는 스크롤 바(scroll bar, 11020)일 수 있다. 다른 실시예에 따르면, 유사한 스크롤 바 유형의 시각 표시자(11020)는 디바이스의 사용자가 값들의 고정 범위(11030)을 초과하는 절대값 또는 고정 값(예를 들어, 카메라 줌 레벨)을 조정하도록 허용할 수 있다. 또 다른 실시예에 따르면, 스크롤 바 유형의 시각 표시자의 길이는 사용자에게 소정 값의 레벨을 표시할 수 있다. 도 111a - 111c에 도시된 바와 같이, 예를 들어, 사용자가 볼륨 레벨을 증가시키기 위해 링을 돌리는 것과 같이(예를 들어, 시계 방향), 사용자가 디바이스의 외곽 링을 이용하여 텔레비전의 볼륨을 제어하면, 시각 표시자(11120)는 디스플레이 전체를 에워싸거나, 거의 에워쌀 때까지, 길어질 수 있다.
일 실시예에 따르면, GUI는 참조 또는 배경 컨텐트의 항목뿐만 아니라, 참조 또는 배경 컨텐트에 대해 수행될 이용 가능한 액션 또는 기능의 표시도 디스플레이할 수 있다. 도 112는 참조 컨텐트 및 컨텍스트 관련 오버레이 액션들 또는 기능들의 GUI 내 예시적인 레이아웃을 도시한다. 예를 들어, 참조 또는 배경 컨텐트를 모호하게 하는 것을 최소화하기 위해, 다른 유형의 레이아웃들(예를 들어, 도시된 것들을 포함)은 표시된 다른 유형의 참조 또는 배경 컨텐트에 기초하여 선택될 수 있다. 예를 들어, 참조 또는 배경 컨텐트가 사람의 사진이면, 사진의 중앙을 모호하게 하지 않는 오버레이가 선택될 수 있다. 일 실시예에 따르면, 참조 또는 배경 컨텐트(예를 들어, 오버레이 뒤)의 픽셀의 지각적인 명도(perceptual brightness)는 픽셀 단위 기초로 결정될 수 있다. 컨텍스트 관련 오버레이와 참조 또는 배경 컨텐트(예를 들어, 이미지)간의 콘트라스트가 매우 낮은 경우(예를 들어, 미리 결정된 임계값에 기초하여), 밑에 있는 색을 역 방향으로 미는 블러 처리된 드롭 섀도우(blurred drop shadow)가 이용될 수 있다. 예시적인 알고리즘은 오버레이 아래의 픽셀을 결정하는 단계, 픽셀의 채도(saturation)를 감소시키는 단계, 시각적 명도를 반전시키는 단계(예를 들어, 색은 동일하게 유지하지만, 명도는 콘트라스트를 생성하기 위해 선택함), 블러 (blur)처리하는 단계, 및 아래의 참조 또는 배경 컨텐트와 오버레이 사이를 합성하는 단계를 포함할 수 있다.
도 113a - 113c는 배경 또는 참조 컨텐트(여기에서, 디바이스의 카메라에 의해 캡쳐된 이미지)와 함께 구성된 컨텍스트 관련 오버레이들(11310-11350)의 예시들을 도시한다. 도시된 바와 같이, 컨텍스트 관련 오버레이는 사용자가 액션 또는 기능을 수행(예를 들어, 이미지 삭제(11310), 이미지 공유(11325), 커피 검색(11330), 레스토랑 검색(11350), 또는 즐겨찾는(favorite) 위치 설정(11350))하도록 허용하거나, 사용자에게 확인을 제공하거나(예를 들어, 이미지가 공유되었음(11320)), 또는 사용자에게 임의의 다른 유형의 정보를 제공할 수 있다. 일 실시예에 따르면, 컨텍스트 관련 오버레이들은 상호작용 및 전환 모델 계층의 최상위 레벨을 제외하고는 GUI 의 메뉴 레이아웃 내 어디에서나 이용될 수 있다.
일 실시예에 따르면, 디바이스의 GUI 내 디스플레이된 아이콘들은 디바이스의 에너지 또는 배터리 사용을 최적화할 수 있다. 일 예시로서, 아이콘은 주로 얇은 흰 선(stroke)으로 구성된 아이콘을 가진 검은 배경을 포함할 수 있다. 이는 디스플레이의 흰색 의 양을 매우 적게 하여, GUI가 이용되는 동안에 디스플레이의 에너지 소모를 감소시킨다. GUI에 디스플레이된 아이콘들은 또한 실시간 알림을 포함할 수 있다. 예를 들어, 모바일 폰 아이콘은 새로운 음성 메일 개수의 알림을 포함할 수 있고, 이메일 아이콘은 새로운 이메일 개수의 알림을 포함할 수 있고, 채팅 아이콘은 새로운 채팅 메시지 개수의 알림을 포함할 수 있고, 전화 아이콘은 부재중 전화의 개수의 알림을 포함할 수 있다. 일 실시예에 따르면, 디바이스의 GUI는 사용자-생성 컨텐트(예를 들어, 사진, 파일, 연락처, 알림, 또는 스케쥴)에 대해 흑백 이외의 색을 디스플레이한다. 메뉴 항목들을 포함하는 다른 정보는 흑백으로 디스플레이할 수 있다.
일 실시예에 따르면, 한 요소(예를 들어, 특징, 컨텐트 항목, 또는 아이콘)에서 다른 요소(예를 들어, 사용자 입력을 수신)로 GUI 가 전환됨에 따라, GUI는 시각 전환 효과를 디스플레이할 수 있다. 예를 들어, 상기 전환 효과는 디바이스의 사용자에 의해 수신된 입력의 유형에 의존할 수 있다. 일 예시로서, 디스플레의 상의 단일 터치는 특정 전환 효과를 유발할 수 있지만, 외곽 링의 회전은 다른(잠재적으로 오버랩) 집합의 전환 효과들을 유발할 수 있다.
일 실시예에 따르면, 터치 감지 층 상에 사용자의 터치 입력은 중심 방향의 확대, 방향 슬라이딩(directional sliding), 및 확대 또는 축소를 포함하는 전환 효과를 유발할 수 있다. 도 114a는 중심 방향 모드 또는 기능 확대 또는 확장을 도시한다. 도 114b는 중심 방향 모드 또는 기능 축소 또는 수축을 도시한다. 도 115a는 아이 콘의 중심 방향 확대를 도시한다. 도 115b는 아이콘의 중심 방향 축소를 도시한다. 도 116a는 트위스트 움직임(twisting motion)을 가진 중심 방향 아이콘 확대의 예시를 도시한다. 도 116b는 트위스트 움직임을 가진 중심 방향 아이콘 축소의 예시를 도시한다. 도 117a는 아이콘 바깥 중심 방향 전개 및 확대의 예시를 도시한다. 도 117b는 아이콘 안 중심 방향 폴딩(folding) 및 축소의 예시를 도시한다. 도 118a는 디스플레이에 수직 슬라이딩하며, 언마스킹(unmasking)에 의해 드러나는 텍스트의 예시를 도시한다. 도 118b는 디스플레이의 좌측에서 우측으로 수평 슬라이딩하는 텍스트의 예시를 도시한다. 도 118c는 마스킹된(masked) 구역(예를 들어, 컨텍스트 관련 오버레이(contextual overlay))내 디스플레이의 좌측에서 우측으로 수평 슬라이딩하는 텍스트의 예시를 도시한다. 도 119a는 컨텐트 또는 아이콘에 대해 오른쪽에서 왼쪽으로 수평 슬라이드 전환을 도시한다. 도 119b는 페이딩 효과(fading effect)와 함께, 오른쪽에서 왼쪽으로 수평 슬라이드 전환을 도시한다. 아이콘 또는 컨텐트가 스크린의 경게에 도달하면, 점진적으로 희미해지며(fade out) 스크린을 빠져 나오고, 아이콘 또는 컨텐트가 스크린의 경계를 통과함에 따라, 점진적으로 선명해지며(fade in) 스크린으로 들어온다. 도 119c는 크기 조정 효과와 함께, 오른쪽에서 왼쪽으로 수평 슬라이드 전환을 도시한다. 컨텐트 또는 아이콘이 축소되며 스크린을 빠져 나오고, 컨텐트 또는 아이콘이 전체 크기까지 확대되며 스크린으로 들어온다.
일 실시에에 따르면, 사용자가 외곽 링을 회전시키는 것은 줌(zooming), 직접 슬라이딩(directional sliding), 블러링(blurring), 마스킹(masking), 페이지 폴딩(page folding), 회전 이동, 가속 움직임을 포함하는 시각 전환 효과를 유발할 수 있다. 도 120a는 외곽 링의 저-가속 회전에 대응하는 전환의 예시를 도시한다. 상기 예시에서, 한 회전 증분은 한 항목에 대응할 수 있고, 반 시계 방향으로 한 턴(예를 들어, 회전 증분)은 다음 요소(예를 들어, 아이콘 또는 컨텐트 항목)가 요소들의 크기 조정 없이, 왼쪽에서 오른쪽으로 스크린으로 들어오는 것을 야기할 수 있다. 도 120b - 120c는 외곽 링의 고-가속 회전에 대응하여 함께 전환하는 예시를 도시한다. 이 예시에서, 반 시계방향 단일 턴(예를 들어, 회전 증분)은 사용자가 링의 턴을 멈출 때까지, GUI가 복수의 요소들(크기를 축소하여, 스크린 왼쪽에서 들어가, 스크린 오른쪽으로 빠져 나올 수 있음)을 통해, 빠르게 이동하도록 야기할 수 있다. 사용자가 외곽 링의 턴을 멈추는 경우, 요소는 보통 크기로 축소할 수 있고, 단일 아이콘 또는 컨텐트 항목이 디스플레이를 채울 수 있다. 도 121a는 외곽 링의 회전에 대응하여 컨텐트가 줌-인 하는 GUI 내 전환의 예시를 도시한다. 도 121b는 제 1 스크린이 애니메이션으로 접혀(fold over), 제 2 스크린(예를 들어, 다음 특징 또는 컨텐트 항목을 위해)이 사용자에게 디스플레이되는 GUI 내 전환의 예시를 도시한다.
일 실시예에 따르면, 디바이스의 GUI는 사용자의 움직임을 고려하고, 사용자 움직임을 반영하여 시각적 피드백을 생성하는 물리적 모델을 포함할 수 있다. 일 예시로서, 사용자에 의한 활성 입력(예를 들어, 특정 제스처의 형태로)이 있으면, 사용자의 움직임은 디바이스의 하나 이상의 센서로부터의 입력을 통해 연속적으로 추적될 수 있다. 시각적 피드백은 사용자 인터페이스 내 사용자 움직임을 반영할 수 있으나, 밑에 있는 컨텐트가 그대로 있어서, 제스처가 등록될 수 있고, 시차(parallax)가 UI 특징들 또는 제어들과 밑에 있는 컨텐트를 구별하기 위해 이용될 수 있다. 일 실시예에 따르면, 물리적 모델은 감쇠(damping)을 가진 일반화된 스프링(spring) 모델을 포함할 수 있다. 이 모델에서, 항목들은 층에 배치될 수 있다. 더 깊은 층은 항목들을 고정시키는 물리적 모델에서 뻑뻑한 스프링을 가질 수 있다. 이는 디바이스가 이동할 때, 사용자 인터페이스의 아래 층이 약간 이동하도록 할 수 있지만, 윗층은 더 많이 이동할 수 있어, 시차감(sense of parallax)을 생성한다. 또한, 스프링 모델은 더 유동성이 있고, 부드러운 움직임을 만들어 움직임을 지연시키는 감쇠를 포함할 수 있다. 도 122는 GUI 내 물리적 모델의 이용 예시를 도시한다. 사용자는 디바이스(100)을 사용자의 팔에 착용할 수 있다. 일단 사용자가 팔을 아래로 움직이면, 스크린 상에 디스플레이된 아이콘(12110)(예를 들어, 전구)는 사용자의 움직임을 반영하여 움직인다. 그러나, 스크린의 아래에 있는 컨텐트(예를 들어, 배경 이미지)는 움직이지 않는다. 예를 들어, 시각적 혼잡 때문에, 많은 아이콘들 또는 메뉴 항목들이 동시에 디스플레이되는 것을 허용하지 않는 크기의 디스플레이일 경우, 플로팅(floating) 아이콘 또는 메뉴 항목의 유형은 도움이 될 수 있다. 또한, 상기 플로팅 동작의 유형은 또한 사용자에게 이벤트를 표시하기 위한 알림 수단으로 이용될 수 있다.
일 실시예에 따르면, 디바이스의 GUI 는 디바이스의 기본 화면(default screen) 또는 바탕화면(wallpaper)로서, 표면(face)을 포함할 수 있고, 표면은 상호 작용 및 전환 모델 계층의 일부(예를 들어, 계층의 최상위 층 내 또는 홈 화면으로서)일 수 있다. 여기에 설명된 바와 같이, 표면들은 사용자 활동에 컨텍스트 관련하여 자동으로 응답하는, 변경 가능한 애플리케이션들 또는 모드들일 수 있다. 일 예시로서, 표면들은 사용자의 환경, 필요, 맛, 위치, 활동, 센서 데이터, 제스처, 또는 스케쥴에 따라 변경될 수 있다. 표면의 이용 가능성(또는 한 표면에서 다른 표면으로 GUI 내 전환)은 컨텍스트 정보에 기초하여 결정될 수 있다. 일 예시로서, 사용자의 달력에 예정된 다가오는 이벤트가 있으면, 디바이스의 표면은 사용자에게 다가오는 이벤트 정보를 디스플레이하는 달력 표면으로 변경될 수 있다. 다른 예시로서, 사용자가 사용자의 집 부근에 있다고 결정되면(예를 들어, GPS 데이터에 기초), 디바이스의 표면은 홈-오토메이션(home-automation) 애플리케이션과 연관된 표면으로 변경될 수 있다. 또 다른 예시로서, 사용자가 활동적으로 움직인다고 결정되면(예를 들어, 심박수 또는 각성 센서(arousal sensor)에 기초, 또는 가속도계에 기초), 디바이스의 표면은 측정된 사용자의 맥박, 소모된 칼로리, 활동(예를 들어, 달리기)이 시작된 후 경과된 시간, 및 시각을 보여주는 피트니스 모드로 변경될 수 있다.
임의의 적합한 센서 데이터(예를 들어, 생체 센서, 초점 센서, 또는 운전하는 동안에 사용자의 손 위치를 결정할 수 있는 센서를 포함하는 센서로부터의 데이터)는 컨텍스트 및 사용자에게 디스플레이하기 위한 적절한 표면을 결정하기 위해 이용될 수 있다. 사용자의 디바이스 사용 이력(historical usage)(예를 들어, 사용자가 피트니스 수업에서와 같이 특정 시간에 피트니스 애플리케이션을 사용할 때)은 또한 어떤 표면이 디바이스에 디스플레이될지 결정할 수 있다. 일 예시로서, 사용자가 운동하는 경향이 있는 특정 시간에, 디바이스는 사용자의 피트니스 모드에 대한 필요를 예상할 수 있다. 컨텍스트 관련 표면은 또한 알림의 억제(예를 들어, 사용자가 운전 중으로 결정되거나, 디바이스가 착용되지 않으면) 또는 알림이 표시되는 방법(예를 들어, 시각 또는 청각)의 변경과 연관될 수 있다. 일 실시예에 따르면, 디바이스의 표면은 디바이스 상의 임의의 애플리케이션과 연관될 필요가 없고, 디바이스의 디스플레이 상의 바탕 화면 또는 배경일 수 있다. 표면은 정보의 특정 채널(예를 들어, 달력 피드(calendar feed), 건강 또는 날씨 피드(health or activity feed), 알림, 날씨 피드(weather feed), 또는 뉴스)에 전용될 수 있다. 일 예시로서, 심각한 날씨 알림 또는 경보(예를 들어, 날씨 피드로부터 수신된)는 알림에 따라 날씨 표면이 디스플레이 상에 디스플레이 되도록 야기할 수 있다. 표면은 표면의 유형에 관계 없이 시간(예를 들어, 아날로그 또는 디지털 포맷으로)을 디스플레이할 수 있다. 표면은 사용자에 의해 지정될 수 있다. 사용자 지정 또는 취향은 사용자에 의해 명시적으로 입력될 수 있거나(예를 들어, 디바이스 상의 관리 소프트웨어 또는 페어링된 디바이스), 직접 디바이스에 의해 학습될 수 있다(예를 들어, 시간이 지남에 따라 모델을 생성하도록 센서 및 사용 데이터를 이용). 도 123은 아날로그 시계(12310), 원형 메뉴 레이아웃(12320)을 갖는 아날로그 시계, 및 날씨 표면(12340)을 포함하는 예시적인 표면을 도시한다. 도 124는 달력 및 약속 정보가 디스플레이된 디바이스에 대한 예시적인 표면들(12410-12440)의 집합을 도시한다.
일 실시예에 따르면, 디바이스는 사용자의 다리에 착용될 수 있고(사용자 얼굴을 불명료하게 하지 않고, 사용자가 디바이스를 잡을 필요 없이), 증강 현실(AR) 기능을 포함할 수 있다. AR 기능은 디바이스의 카메라를 조준하는 신체 움직임의 이용에 기초할 수 있고, 이는 사용자의 자기수용 감각 때문에 높은 정밀도를 갖는 목표를 고려할 수 있다. 이 유형의 시스템은 디바이스의 사용자가 디스플레이 상의 객체 버전(예를 들어, 디스플레이의 카메라에 의해 캡쳐된)을 보는 동시에 현실 세계의 객체를 보도록 허용할 수 있다. AR 기능의 예시는 도 16에 도시되어 있다. 이러한 AR 시스템은 정렬된 카메라(aligned camera) 및 사용자 반대편 다리의 상의 센서를 이용하여 시스루(see-through) 기능을 허용할 수 있다. 여기에 도시된 바와 같이, 다양한 AR 애플리케이션은 이 유형의 배치에 의해 가능할 수 있다. 일 실시예에 따르면, 애플리케이션은 즉각적이고 기회적인 이용이 가능하도록 디바이스를 특별히 디자인할 수 있다. 또한, 위임 모델은, 처리 요건 또는 에너지 사용 관점에서 더 적은(또는 없는) 페널티를 초래하면서, 디바이스 상에서 실행 가능한 애플리케이션의 폭을 향상시키기 위해, 외부 소스의 이용을 허용하는 디바이스 상에 제공될 수 있다. 일 실시예에 따르면, 디바이스는 제어할 수 있거나, 다른 디바이스(예를 들어, 네트워크를 통해 발견된 주변 디바이스 및 통신적으로 페어링된 디바이스)에 의해 제어될 수 있다. 이 유형의 제어는 근접성, 제스처, 또는 기존의 인터페이스에 의해 달성될 수 있다. 여기에 상술한 바와 같이, 페어링은 디바이스의 카메라를 포함하는 다양한 기술을 이용하여 달성될 수 있다.
도 125는 디바이스에 대한 예시적인 자동 카메라 활성 결정 흐름을 도시한다. 일 실시예에 따르면, 카메라가 활성되어 있는지, 및 카메라의 자동 활성화(예를 들어, 객체 인식)가 가능한지 여부는 현재 디바이스가 있는 애플리케이션 또는 모드에 의존할 수 있다. 일 실시예에 따르면, 자동 카메라 활성화는 디바이스상에서 가능할 수 있다(단계 S12510). 자동 활성화가 가능하면(단계 S12520에서 결정), 그리고 디바이스 상에 충분한 CPU 용량 및 전력이 있으면(예를 들어, 이미지로부터 관심 특징(feature of interest)을 계산하기 위해, 단계 S12530에서 결정), 또한, 카메라가 미리 결정된 시간 동안 사용자에 의해 목표된 위치에 꾸준히 유지하고 있으면(예를 들어, 웨어러블 디바이스상의 관성 측정부에 의해 검출된 바와 같이, 또는 이미지 블러링에 의해 계산된 바와 같이, 단계 S12540에서 결정), 단계 S12560 에서, 디바이스의 카메라(예를 들어, 외향 카메라)는 하나 이상의 이미지를 자동으로 캡쳐, 처리, 디스플레이할 수 있다. 다른 실시예에 따르면, 카메라는 활성화 될 수 있고, 항상 이미지를 검색한다. 또 다른 실시에에 따르면, 사용자가 수동으로 이미지 캡쳐를 유발할 경우에만(예를 들어, 외곽 링을 누르거나 클릭, 디스플레이를 탭핑, 단계 S12550에서 결정), 카메라는 이미지를 캡쳐하고, 특징 인식을 수행할 수 있다.
일 실시예에 따르면, 카메라가 활성화되는 경우(임의의 적합한 방법에 의해), 증강 현실(AR) 기능은 활성화될 수 있다. AR 기능은 자동으로 활성화될 수 있다(예를 들어, 디바이스 상에 이용 가능한 CPU 용량 및 전력에 따라). 다른 실시에에 따르면, AR 기능은 임의의 적합한 사용자 입력을 통해 사용자에 의해 명시적으로 활성화될 수 있다. 예를 들어, 사용자는 AR 기능을 활성화시키기 위해, 디바이스 상에 터치 입력을 제공할 수 있다. 일 예시로서, 사용자는 새와 같은 객체를 캡쳐할 수 있고(예를 들어, 디바이스의 카메라가 새를 가리킴으로써), 사용자는 디바이스 상에 디스플레이되는 새의 이미지를 터치할 수 있다. 예를 들어, 이 동작은 디바이스의 AR 기능을 활성화시킬 수 있어, 디바이스가 새를 객체로 인식하고, 새에 대한 정보를 사용자에게 되돌려주도록 야기한다. 다른 실시예에서, 여기에 도시된 바와 같이, 사용자는 AR 기능을 활성화시킬 뿐만 아니라 AR 기능을 이용한 작업을 수행하기 위해(예를 들어, 디바이스의 카메라 관점에서 타이핑(typing) 제스처를 수행함으로써 가상 키보드를 이용), 하나 이상의 제스처를 수행할 수 있다.
일 실시예에 따르면, 디바이스가 디바이스의 관심 특성을 계산하기 위한 능력을 갖고 있지 않으면, 디바이스는 이미지를 캡쳐할 수 있고, 이미지를 통신적으로 결합된 디바이스(예를 들어, 휴대 전화 또는 퍼스널 컴퓨터와 같은 주변 디바이스) 또는 관심 특징을 원격으로 계산할 수 있는 인터넷 기반 서비스에 전송할 수 있다. 일단 관심 특징이 결정되면, 인터넷 기반 서비스 또는 로컬 데이터 카탈로그는 인식된 개체에 대한 추가 정보를 참조할 수 있다. 정보가 발견되면, 관련 데이터는 인식된 특징과 함께 디바이스의 사용자에게 디스플레이될 수 있다.
일 실시예에 따르면, 디바이스는 소형 폼 팩터를 가질 수 있고, 이용 가능한 메모리, 프로세싱, 및 에너지 관점에서 제한될 수 있다. 예를 들어, 위임 모델은 디바이스가 하나 이상의 프로세싱 작업을 주변 디바이스들(예를 들어, 휴대 전화 또는 퍼스널 컴퓨터) 또는 네트워크 기반 서비스 또는 인터넷 기반 서비스에 위임하는 것을 허용할 수 있다. 일 예시로서, 위임할 수 있는 작업에 대해, 작업을 필요로 하는 애플리케이션은 작업의 지연 민감도(latency sensitivity), 처리 요건, 및 네트워크 페이로드(payload) 크기를 포함하는, 작업의 특성 또는 프로필을 가진 시스템(예를 들어, 디바이스의 운영체제의 커널(kernel))을 제공한다. 이는 전체 위임 가능한 작업의 위임 가능한 하위 작업 각각에 대해 수행될 수 있다. 작업들이 종종 파이프 라인화되기(pipelined) 때문에, 작업 파이프라인의 인접하는 덩어리들(contiguous chunks)이 위임될 수 있다. 일 실시예에 따르면, 시스템은 디바이스의 하나 이상의 특성의 측정을 수행하거나, 디바이스의 하나 이상의 특성의 모델을 구축할 수 있다. 디바이스의 특성은, 예를 들어 총 설치된 메모리, 최대 CPU 속도, 최대 배터리 에너지, 또는 네트워크 인터페이스의 최대 대역폭을 포함하는 디바이스의 하드웨어 구성요소들의 속성인, 디바이스의 정적인 속성을 포함할 있다. 또한, 디바이스의 특성은, 예를 들어 이용 가능한 메모리, 현재 CPU 용량, 이용 가능한 에너지, 현재 네트워크 연결, 네트워크 기반 서비스들의 이용 가능성, 하나 이상의 사용자의 평균 사용자 행동 집계(tally), 또는 예측되거나 예상되는 작업 처리 시간(예를 들어, 주어진 특정 이용 시나리오)를 포함하는 디바이스의 동작 속성인, 디바이스의 동적인 속성을 포함할 수 있다.
일 실시예에 따르면, 미래 디바이스 동작 결정을 돕기 위해, 디바이스는 디바이스 특성의 이전 및 현재 특성을 포함하는 모델을 가질 수 있다. 작업 특성 또는 프로필 및 측정 또는 모델에 기초할 뿐만 아니라, 작업이 디바이스에서 실행될 수 있는지에 기초하여, 시스템은 작업 또는 작업 파이프라인의 하나 이상의 부분을 위임할 수 있다(또는 위임하지 않을 수 있다). 예를 들어, 디바이스의 이용 가능한 메모리가 작업 처리(예를 들어, 비디오 재생)를 지원할 수 없으면, 작업의 하나 이상의 부분은 위임될 수 있다. 다른 예시로서, 디바이스의 CPU 용량이 작업 처리를 지원할 수 없으면(예를 들어, 기존의 로드(load) 때문에, CPU의 용량이 고갈되면), 작업의 하나 이상의 부분은 위임될 수 있다. 다른 예시로서, 디바이스의 배터리 레벨이 낮고, 배터리가 예상 작업 처리 시간만큼 디바이스에 에너지를 제공할 수 없을 것으로 예상되면, 작업의 하나 이상의 부분은 위임될 수 있다. 다른 예시로서, 디바이스의 네트워크 연결이 적거나 존재하지 않으면, 작업의 하나 이상의 부분은 위임될 수 있다(예를 들어, 디바이스가 또한 충분한 이용 가능한 메모리, CPU 용량, 및 에너지를 가지면). 다른 예시로서, 하나 이상의 네트워크 기반 서비스가 디바이스에 이용 가능하고(예를 들어, 처리를 위한 클라우드 기반 서비스), 디바이스가 적합한 네트워크 연결을 가지면(예를 들어, 좋은 이용 가능한 대역폭), 작업의 하나 이상의 부분은 위임될 수 있다. 다른 예시로서, 디바이스의 사용자가 통상적으로(예를 들어, 역사적으로) 비디오 재생을 위임하면, 비디오 재생 작업의 하나 이상의 부분은 위임될 수 있다. 다른 예시로서, 예측된 작업 처리 시간(예를 들어, 디바이스 특성의 이전 및 현재 측정을 포함하는 모델에 기반한 예측)이 소정 임계값(예를 들어, 몇 분) 이상이면, 작업은 위임될 수 있다.
디바이스의 임의의 적합한 특성(예를 들어, 정적 또는 동적 속성)의 임의의 적합한 조합은 작업을 위임할 지 결정하기 위해 이용될 수 있다. 또한, 디바이스의 작업의 임의의 적합한 특성(예를 들어, 지연 민감도, 처리 요건, 또는 네트워크 페이로드 크기를 포함하는 작업 프로필 또는 작업 특성을 포함)은 디바이스 특성 단독으로 또는 결합하여, 작업을 위임할 지 결정하기 위해 이용될 수 있다. 또한, 임의의 디바이스 모델(예를 들어, 디바이스 동작)은 단독으로 또는 디바이스와 결합하여 이용될 수 있거나, 작업 특성은 작업을 위임할 지 결정하기 위해 이용될 수 있다. 일 실시예에 따르면, 디바이스와 페어링된 디바이스는 또한 위임 모델을 포함할 수 있고, 페어링된 디바이스(예를 들어, 휴대 전화)는 페어링된 디바이스 자체의 에너지 모델, 연결, 런타임 요구(runtime requirement), 및 실행 가능성(feasibility)에 기초하여 작업을 위임하는 단계와 동일한 단계를 수행할 수 있다. 위임된 작업은 처리되거나, 페어링된 디바이스(예를 들어, 휴대 전화)에서 완료될 때까지 실행될 수 있고, 위임된 작업의 처리 결과는 디바이스로 되돌아갈 수 있다. 일 실시예에 따르면, 어떤 네트워크 연결도 없거나, 디바이스의 범위 내에 페어링된 디바이스가 없는 경우, 디바이스는 독립(standalone) 모드(예를 들어, 처리 작업의 위임 없이)에서 동작할 수 있다. 디바이스가 연결을 회복하거나, 디바이스가 디바이스와 페어링하면, 작업 위임은 재개될 수 있다.
도 126은 디바이스의 위임 모델의 예시적인 알고리즘을 도시한다. 이 예시에서, 위임 가능한 작업 처리는 디바이스 상에서 시작한다(단계 S12610). 디바이스의 시스템은 전력 사용 분석 및 예측을 수행한다(단계 S12620)(예를 들어, 사용자의 에너지 사용 이력(12630) 및 디바이스의 충전 예상 시간(12640)에 기초). 전술한 바에 기초하여, 단계 S12650에서, 시스템은 위임 가능한 작업의 요구 가동 시간을 위해 충분히 충전되어 있는지 결정한다. 충분히 충전되어 있으면, 디바이스의 시스템은 전력 사용을 증가시키고(단계 S12660), 디바이스 자체에서 위임 가능한 작업을 처리할 수 있다(단계 S12670). 그러나, 디바이스가 요구 가동 시간만큼 충분히 충전되어 있지 않으면, 페어링된 디바이스의 에너지 상태를 결정하기 위해(단계 S12690), 페어링된 디바이스(예를 들어, 휴대 전화)에 쿼리(query)할 수 있다(단계 S12680). 휴대 전화의 예시에서, 휴대 전화가 요구 가동 시간만큼 충분히 충전되어 있으면, 작업은 휴대 전화에서 처리될 수 있다(단계 S12694). 그러나, 휴대 전화가 충분히 충전되어 있지 않으면, 단계 S12692에서, 시스템은 디바이스가 인터넷 기반 서비스(예를 들어, 클라우드) 또는 다른 네트워크 기반 서비스에 연결되어 있는지 결정할 수 있다. 디바이스가 연결되어 있지 않으면, 디바이스는 휴대 전화에 처리를 위임할 수 있다(단계 S12694). 디바이스가 연결되어 있으면, 디바이스는 클라우드에 처리를 위임할 수 있고(단계 S12696), 작업이 처리된 후에, 결과가 디바이스로 되돌아온다. 일 실시예에 따르면, 위임 가능한 작업은 디바이스에 의해 하나 이상의 페어링된 디바이스(예를 들어, 모바일 폰 또는 퍼스널 컴퓨터) 또는 네트워크/인터넷 서비스에 분할되어, 위임될 수 있다. 즉, 위임 가능한 작업 또는 프로세스의 위임 가능한 하위 작업은 디바이스에 의해 다른 위치로 위임될 수 있다.
본 개시는 특정 디바이스(디바이스의 패밀리(family) 또는 범위)에 대한 위임 모델이 동적이거나 컨텍스트와 관련될 수 있음을 고려한다. 일 예시로서, 위임 모델은 이용 가능한 메모리, CPU 용량, 특정 디바이스(또는 디바이스의 패밀리)의 이용 가능한 에너지, 시간이 지남에 따라 변할 수 있는 요인들을 고려할 수 있다. 위임 모델은 네트워크 기반 서비스 또는 클라우드 기반 서비스(및 각각의 용량)뿐만 아니라, 시간이 지남에 따라 변할 수 있는 네트워크 연결(예를 들어, 대역폭 및 지연 시간(latency))도 또한 고려할 수 있다. 예를 들어, 도 127을 참조하면, 제 1 위임 모델(12710)(예를 들어, 내년에 제조된 장치에 적용 가능)에 따라, 대부분의 처리는 디바이스와 페어링된 디바이스(예를 들어, 스마트폰)에 균등하게 분배될 수 있고, 소량만이 클라우드 기반 서비스의 서버에 위임될 수 있다. 제 2 위임 모델(12720)(예를 들어, 3년 내에 제조된 디바이스에 적용 가능)에 따라, 대부분의 처리는 디바이스에 의해 국지적으로 처리될 수 있다(예를 들어, 메모리, CPU, 소형 폼 팩터의 에너지 용량의 예측된 진보 때문에). 제 2 위임 모델(12720)에서, 처리는 서버에 위임될 수 있고(예를 들어, 향상된 네트워크 연결 때문에, 제 1 위임 모델(12710)보다 많이), 소량의 위임만이 로컬 페어링 디바이스에 일어날 수 있다. 제 3 위임 모델(12730)(예를 들어, 5년 내에 제조된 디바이스에 적용 가능)에 따라, 모든 또는 거의 모든 작업 처리는 디바이스와 클라우드 기반 서비스에 균등하게 분배될 수 있고, 로컬 페어링 디바이스에는 전혀 또는 거의 위임되지 않는다. 위임 모델에 의해 고려된 요인들이 동적이므로, 많은 위임 모델들이 생성될 수 있다. 일 예시로서, 한 위임 모델에 따라, 모든 또는 거의 모든 작업들이 디바이스에서 국지적으로 수행될 수 있고, 또한, 모든 또는 거의 모든 작업들이 다른 위임 모델의 디바이스에 의해 위임될 수 있다.
디바이스는 페어링된 처리-풍부 디바이스(예를 들어, 휴대 전화, 컴퓨터, 태블릿, 텔레비전, 셋톱 박스(set-top box), 냉장고, 세탁기 또는 건조기)에, 또는 에너지 보존 또는 각각의 위치에 대역폭 연결에 기초한 인터넷에 기능을 위임하도록 선택할 수 있다. 예를 들어, 강력한 프로세서를 가진 디바이스는 에너지가 낮을 때 페어링된 디바이스에 위임할 수 있고, 페어링된 디바이스가 충분한 예비 전력을 가지고 있지 않을 때 인터넷 서비스로 위임하는 것을 선택할 수 있다. 이와 같이, 디바이스의 시스템은 인터넷 연결이 많이 지연되면, 데이터 전송의 크기를 줄이기 위해, 국지적으로 처리하는 것을 선택할 수 있다.
일 실시예에 따르면, 애플리케이션 전체 또는 애플리케이션의 일부는 사용자에 의해 디바이스에서 페어링된 디바이스로 위임될 수 있고, 그 반대일 수도 있다. 위임은 애플리케이션 별로 발생할 수 있다. 타겟 디바이스(예를 들어, 텔레비전)의 애플리케이션이 디바이스에 위임될 때, 디바이스의 애플리케이션을 로딩(load)하기 위해, 타겟 디바이스는 페어링된 연결(아마도 스마트폰 또는 개인 컴퓨터와 같은 중간 디바이스(intermediary device)를 통해)을 통해 요청을 전송할 수 있다. 이후, 디바이스는 페어링된 장치(예를 들어, 텔레비전)를 실행하는 서버에 클라이언트와 같이 동작할 수 있다. 유사하게, 디바이스에서 실행되는 애플리케이션은 페어링된 디바이스에 위임될 수 있다(예를 들어, 디바이스에서 재생되는 비디오는 페어링된 텔레비전에서 재생되도록 위임될 수 있다). 예를 들어, 디바이스가 제 1 애플리케이션을 실행하고, 디바이스의 사용자가 제 2 애플리케이션과 상호작용 하기 원하면, 디바이스는 제 1 애플리케이션의 작업이 다른 디바이스(예를 들어, 페어링된 텔레비전)에 의해 처리되도록, 자동으로 위임할 수 있다.
도 128은 위임 모델에 따라 디바이스 동작 결정 흐름의 예시를 도시한다. 이 예시에서, 이미지 캡쳐 애플리케이션은 디바이스 상에 실행된다. 디바이스에서 씬이 캡쳐되고(단계 S12810), 디바이스는 이미지 특징 계산을 위한 충분한 CPU 용량이 있는지 결정한다(단계 S12820). 디바이스가 충분한 CPU 용량을 가지고 있으면, 씬(scene)의 관심 특징(feature of interest)을 국지적으로 계산한다(단계 S12830). 디바이스가 충분한 CPU 용량을 가지고 있지 않으면, 디바이스는 첫 번째로 더 큰 처리 능력을 가진 다른 디바이스(예를 들어, 모바일 폰 또는 퍼스널 컴퓨터)와 통신적으로 페어링할 지 결정할 수 있다(단계 S12840). 다른 디바이스와 페어링하면, 페어링된 디바이스가 이미지의 관심 특징을 계산할 수 있도록, 디바이스는 페어링된 디바이스에 데이터를 전송할 수 있다(단계 S12850). 다른 디바이스와 페어링하지 않으면, 인터넷 기반(예를 들어, 클라우드) 서비스와 연결되어 있는지 결정할 수 있다(단계 S12860). 인터넷 기반 서비스와 연결되어 있지 않으면, 디바이스는 더 이상 동작을 수행하지 않는다. 인터넷 기반 서비스와 연결되어 있으면, 서비스가 씬의 관심 특징을 계산할 수 있도록, 디바이스는 클라우드 서비스에 데이터를 전송할 수 있다(단계 S12870). 예를 들어, SURF를 포함하는 임의의 적합한 알고리즘을 이용하여 관심 특징은 계산될 수 있다(어디에서든지 계산됨). 이 예시에서, 어떤 매치가 발견되는지 결정하기 위해, 관심 특징(매치가 발견되면, 관련 관심 정보)은 로컬 카탈로그 또는 인터넷 기반 서비스와 비교될 수 있다(단계 S12880). 매치가 발견되면(단계 S12890), 결과는 디바이스의 사용자에게 표시될 수 있다(단계 S12895). 매치가 발견되지 않으면, 더 이상의 동작이 수행되지 않는다.
일 실시예에 따르면, 카메라 또는 디바이스의 다른 광학 센서는 사용자에 의해 수행된 임의의 제스처(예를 들어, 카메라와 현실 세계의 타겟 사이의 공간에서)를 인식하기 위해 이용될 수 있다. 예를 들어, 제스처는 표시된 데이터(예를 들어, 텍스트를 포함하는 서명과 같은 현실 세계 타겟) 상에 수행하는데 이용될 수 있거나, 증강 현실 기능이 수행될 수 있는 특정 항목들을 가리키는데 이용될 수 있다. 예를 들어, 사용자는 사인의 단어를 가리킬 수 있어서, 디바이스가 단어를 번역하고, 사용자에게 번역을 디스플레이 하도록 할 수 있다. 도 17은 디바이스의 카메라에 의해 캡쳐된 이미지의 두 예시들을 도시한다. 첫 번째 예시에서, 트럭(1725) 및 디바이스의 사용자의 손(1720)은 모두 디바이스의 카메라의 시야각(1705) 내에 있고, 디바이스에 의해 디스플레이된다(1710에서 보여짐). 예를 들어, 트럭 상에서 사용자에 의해 수행된 제스처는 예를 들어 AR 기능을 제공하기 위해, 디바이스에 의해 인식될 수 있고, 처리될 수 있다. 두 번째 예시에서, 트럭만이 카메라의 시야각 내에 있어서(1715에서 보여짐), 사용자에 의해 수행된 제스처는 디바이스에 의해 캡쳐되거나 인식되지 않는다. 제스처 인식은 또한 디바이스에 의해 위임될 수 있다.
일 실시예에 따르면, 객체들 또는 이미지들은 디바이스의 카메라의 뷰 프레임(farme of view) 내에 있는 경우, 디바이스에 의해 인식될 수 있다. 여기에 설명된 바와 같이, 디바이스가 객체를 인식하는 복수의 방법들이 존재한다. 일 예시로서, 사용자에 의해 수행된 제스처(예를 들어, 특정 객체를 가리키는 포인팅 제스처(pointing gesture))는 디바이스가 AR 기능을 활성화시키게 할 수 있고, 디바이스가 객체를 인식하도록 야기할 수 있다. 다른 예시로서, 예를 들어 사용자가 소정 시간 동안 특정 객체(예를 들어, 텍스트 섹션)에 카메라를 위치시키는 경우, 자동 객체 인식이 발생한다. 세 번째 예시로서, 디바이스의 카메라가 관심 객체를 갭쳐할 때, 객체 인식 또는 AR 기능은, 예를 들어, 사용자가 디스플레이를 탭하거나 터치(또는, 예를 들어, 외곽 링 클릭)할 경우, 사용자에 의해 명시적으로 허용될 수 있다. 어떤 경우, 먼 물체 인식은 계산 집약적이고(computationally intensive), 에러가 발생하기 쉬울 수 있다(error-prone). 일 실시예에 따르면, 정확성을 높이기 위해, 제한적인 집합(예를 들어, 잡지 또는 카탈로그 또는 식물 잎 또는 책 커버와 같은 특정 유형의 객체의 카탈로그의 페이지)이 적용될 수 있다. 디바이스의 시스템 설계자가 선택할 수 있는 이미지로부터의 특징 벡터를 계산하기 위한 복수의 선택들이 존재한다. 어떤 경우, 데이터베이스 선택의 가능한 매치들이 디바이스에 복제되기 때문에, 다른 접근들 사이의 특징 벡터 변환은 계산 비용이 많이 들 수 있다. 여기에 설명된 바와 같이, 특징 벡터의 계산은 위임될 수 있다.
일 실시예에 따르면, 다양한 유형의 바코드가 디바이스에 의해 인식될 수 있다. 바코드는 인터넷 기반 서비스에 추가적인 데이터뿐만 아니라, 구매 옵션, 또는 미래에 다시 보기 위한 바코드 항목 북마크를 쿼리(query)하기 위해 이용될 수 있다. 이차원 바코드는 일반적으로 직접 읽혀질 수 있지만, 특히 작거나 일차원 바코드의 인식률을 향상시키기 위해, 디바이스의 시스템은 추가적인 근접 포커스 모드(close-focus mode)를 제공할 수 있다. 여기에 설명된 바와 같이, 시스템이 바코드를 해독할 능력이 없으면, 단순히 카메라를 포커스하고, 사진을 촬영하고, 먼 서비스를 위한 인식을 위임할 수 있다. 도 129a-129d는 예시적인 바코드 인식 모드를 도시한다. 디바이스는 한 항목을 가리킬 수 있고(도 129a), 항목을 인식할 수 있고(도 129b), 항목에 대해 인터넷으로부터 획득한 부가 정보를 디스플레이할 수 있고(도 129c), 항목을 구입하기 위해 사용자에게 인터페이스를 제공할 수 있다(도 129d).
일 실시예에 따르면, 디바이스는 번역을 수행할 수 있다. 번역 기능은 두 부분으로 분할될 수 있다: 광학 문자 인식(OCR), 및 인식된 문자, 단어, 또는 구문의 번역. OCR은 디바이스에서 완료될 수 있고, 디바이스에 의해 번역되는 데이터의 양을 줄이기 위해, 위임될 수 있다(예를 들어, 페어링된 처리 디바이스에). 간단한 단어 번역은 디바이스 상에서 수행될 수 있거나, 위임될 수 있다(예를 들어, 페어링된 처리 디바이스에). 여기에 설명된 다른 기능과 함께, 인식 또는 번역 프로세스의 전부 또는 일부는 필요한 경우 위임될 수 있다. 도 130에 도시된 바와 같이(예를 들어, 단어 Warning), 사용자는 번역될 단어를 가리키는 제스처를 선택적으로 사용할 수 있다. 개별 단어가 공백으로 국한되기 때문에(circumscribed by white space), 시스템은 번역을 시도하기 전에, 단어를 분할할 수 있다. 또한, 디바이스가 낮은 지연시간을 가진 OCR을 수행할 수 있으면, 디바이스가 올바른 텍스트를 타겟팅하고 정확하게 인식할 때, 사용자가 알도록 텍스트를 사용자에게 표시할 수 있다. 자동 OCR이 활성화되면, 디바이스는 자동으로 외향 카메라의 시야각 내 이미지들을 식별할 수 있고, 식별된 이미지들에 대한 정보를 디바이스의 디스플레이 상에 표시할 수 있다. 자동 번역이 활성화되면, 디바이스는 자동으로 외향 카메라의 시야각 내 텍스트를 번역할 수 있고, 번역된 텍스트를 디바이스의 디스플레이 상에 표시할 수 있다.
도 131a - 131d는 바코드 인식 모드(도 131a), 이미지 인식 모드(도 131b), OCR 및 번역 모드(도 131c), 및 객체 인식 모드(도 131d)를 포함하는 여기에 설명된 다양한 증강 현실 모드들에서 동작하는 디바이스의 예시들을 도시한다.
도 132는 디바이스에 대한 증강 현실 시스템의 동작의 전체 흐름의 예시를 도시한다. 이 예시가 이미지 캡쳐 애플리케이션을 도시하지만, 임의의 적합한 작업 또는 디바이스 상의 프로세스는 유사한 흐름을 따를 수 있다. 또한, 디바이스가 이미지를 캡쳐한 후, 및 디바이스가 사용자에게 결과를 디스플레이하기 전의 임의의 작업은 디바이스에 의해 위임될 수 있다(적절하게). 이 예시에서, 디바이스의 카메라로부터의 이미지는 캡쳐되고(이미지 캡쳐 섹션(13210)에서), 전처리되고(pre-processed)(섹션(13220)에서), 특징이 추출되고 이미지 인식 결과를 생성하기 위해 인식되고(섹션(13230)에서), 임의의 객체가 인식될 수 있다(섹션(13240)에서). 객체 데이터는 디바이스의 사용자에 의해 동작할 수 있게 포맷될 수 있다. 사용자는 디바이스의 증강 현실 모드를 활성화시킬 수 있고(13211)(예를 들어, 사용자 제스처 또는 디바이스의 카메라가 미리 결정된 시간 동안 객체를 가리키는 것을 통해), 카메라의 시야각 내 이미지(13212)가 카메라 이미지(13214)를 생성하기 위해, 디바이스 카메라(13213)에 의해 캡쳐될 수 있다(예를 들어, 사용자 입력 또는 자동 카메라 활성과 같은 이벤트 유발에 기초하여).
이 시점에서, 전처리 단계(13220)가 실행될 수 있다. 예를 들어, 전처리(13220)는 콘트라스트 증강(contrast enhancement), 계조 변환(grayscale conversion), 선명화(sharpening), 또는 다운-샘플링(down-sampling)을 포함할 수 있다. 일 실시예에 따르면, 카메라는 카메라 앞의 어떤 것이든 처리되고 인식될 수 있는 일반적인 증강 현실 모드에서 동작할 수 있다. 다른 실시예에 따르면, 카메라는 특정 모드(예를 들어, OCR, 바코드, 또는 비쥬얼 마커(visual marker))에서 동작할 수 있고, 어떤 모드의 경우 특정 항목만을 인식할 수 있다. 일 실시예에 따르면, 이미지가 알려진 형태, 심볼(symbol), 형태 또는 심볼의 조직(예를 들어, 카메라 또는 디바이스가 OCR 모드, 바코드 모드, 또는 비쥬얼 마커 모드에 있으면)을 포함할 수 있다고 결정되면, AR 이미지 처리는 제 1 경로로 진행될 수 있다. 제 1 경로는 예비 처리(13221)에서 시작하여, 세그먼트화(segmentation, 13231)(예를 들어, 심볼, 또는 문자 또는 단어와 같은 심볼 그룹 경계를 결정할 수 있음)로 진행하고, 하나 이상의 광학 문자 인식(13234)(예를 들어, 이미지가 문자를 포함한다고 결정되면, 문자가 무엇인지 결정), 바코드 인식(13235)(예를 들어, 이미지가 바코드를 포함한다고 결정되면, 바코드를 인식)또는 비쥬얼 마커 인식(13236)(예를 들어, 모든 다른 유형의 비쥬얼 마커들에 대해, 다른 유형의 비쥬얼 마커들을 인식)을 시작한다. 제 1 경로의 결과들은 객체 인식기(object recognizer, 13242)로 전송된다. 일 실시예에 따르면, 이미지가 알 필요가 없는 특징들을 포함한다고 결정되면, AR 이미지 처리는 제 2 경로로 진행될 수 있다. 제 2 경로는 특징 추출(13222)(예를 들어, 모서리 또는 선의 존재, 선의 각도의 변화, 관심 지점(point of interest), 또는 패턴이 캡쳐된 이미지 내에서 검출됨)에서 시작한다. 제 2 경로는 이미지의 특징을 인식 데이터베이스(13233)(예를 들어, 디바이스, 로컬 페어링된 디바이스, 또는 먼 서버 또는 컴퓨터에 존재할 수 있음)로부터의 특징 데이터와 비교하여, 이미지 인식(13232)을 진행한다. 이미지 인식 비교 결과들(13237)이 제공되고, 객체 인식기(13242)로 전송된다. 객체 인식 섹션(13240)에서, 제 1 경로 및 제 2 경로는 객체 인식기(13242)로 수렴한다.
여기에서, 객체 데이터베이스(13241)로부터의 결과들은 객체를 인식하기 위해 이용된다(예를 들어, 이미지 인식 데이터베이스(13233)을 이용하여 인식된 휴대 전화는 특정 브랜드 및 휴대 전화 모델임). 객체 인식기(13242)에 의해 인식된 객체에 대한 객체 데이터(13243)(예를 들어, 인식된 휴대 전화 모델의 가격 또는 휴대 전화를 구입할 수 있는 장소)는 제공될 수 있다. 텍스트에 대해, 정의 또는 번역이 발생될 수 있고, 사용자에게 디스플레이된다. 바코드에 대해, 상품 정보 및 인식된 객체를 구입하기 위한 링크가 사용자에게 디스플레이된다. 일 실시예에 따르면, 데이터는 순수하게 설명적일 수 있고(예를 들어, 휴대전화의 가격), 활성화될 수 있다(사용자가 휴대전화를 구매할 수 있는 링크). 데이터가 액션 데이터(13244)를 포함하면, 액션 제어부(13250)(디바이스의 사용자를 위해 GUI를 제어, 포맷, 출력하는)는 액션 데이터(예를 들어, 휴대전화를 구매하기 위한 링크)를 포함하는 UI를 사용자에게 표시할 수 있다(13255). 사용자가 액션(예를 들어, 링크를 클릭)을 선택하면(13260), 액션 제어부는 액션 UI를 사용자에게 표시한다(13265)(예를 들어, 링크 열기). 액션이 확인되면(13270), 액션(예를 들어, 링크와 연관된 웹페이지를 실제로 열기)이 수행된다(13275).
도 133은 예시적인 네트워크 환경을 도시한다. 여기에 설명된 바와 같이, 일 실시예에 따르면, 디바이스(13310)는 다른 디바이스들(예를 들어, 주변 디바이스들)과 페어링될 수 있다. 디바이스는 직접 개인 영역 네트워크(13220)(동일한 네트워크의 다른 디바이스들을 통해 로컬 영역 네트워크로 연결(bridge)될 수 있음)에 연결될 수 있거나, 디바이스는 직접 로컬 영역 네트워크(13330)에 연결될 수 있다. 예를 들어, 개인 영역 네트워크(13220)는 블루투스(BLUETOOTH), NFC, 또는 지그비(ZIGBEE)와 같은 비 와이파이(WI-FI) 라디오 기술을 포함할 수 있다. 예를 들어, 개인 영역 네트워크(13220)는 스마트 미디어 게이트웨이(smart media gateway, 13322)(예를 들어, 미디어 서버), 스마트 TV(13324), 다른 처리 제공자(processing provider, 13326), 또는 휴대전화(13328)을 포함할 수 있다. 휴대전화(13328)는 디바이스가 셀룰러 네트워크(13340)에 연결될 수 있도록 하고, 셀룰러 네트워크(13340)에서 인터넷(13350)으로 연결할 수 있다. 예를 들어, 로컬 영역 네트워크(13330)는 인증하거나 인증하지 않는 와이파이를 포함할 수 있다. 예를 들어, 로컬 영역 네트워크(13330)는 로컬 무선 네트워크 라우터(13332), 스마트 미디어 디바이스들(13334), 스마트 기기들(smart appliances, 13336), 및 홈 오토메이션 기술(home automation technology, 13338)을 포함할 수 있다. 차례로, 로컬 영역 네트워크(13330)는 예를 들어, 인터넷 서비스(예를 들어, 전용 클라우드 서비스(13352) 또는 다른 클라우드 서비스 파트너(13354))에 연결하는 로컬 라우터(13332)를 통해, 글로벌 네트워크(13350)에 연결될 수 있다.
일부 디바이스들은 직접 액세스(예를 들어, 개인 영역 네트워크를 통해) 또는 로컬 영역 네트워크 둘 중 하나를 통해 디바이스에 접근할 수 있다. 디바이스에 의해 접근할 수 있는 디바이스들은 디바이스와 페어링될 수 있고, 디바이스에 의해 제어될 수 있거나, 디바이스를 제어할 수 있다. 예를 들어, 디바이스는 임의의 적합한 RF 기술을 이용하여, 개인 영역 네트워크 또는 로컬 영역 네트워크(13330)에 연결할 수 있다. 도 133에 도시된 바와 같이, 주위의 타겟 디바이스에 페어링하는 것은 먼저 RF 네트워크를 통해 일어날 수 있다. 이는 디바이스에게 근처(nearby)가 무엇인지 알 수 있게 해준다. 이는 개인 영역 네트워크(예를 들어, 애드혹(ad-hoc) 또는 개인 간 네트워크(peer-to-peer network))를 통해 일어날 수 있고, 802.11 무선(예를 들어, 로컬 영역 네트워크)과 같은 매개 네트워크(mediated network)를 이용할 수 있다. 일단 이웃으로 설정되면, 디바이스는 근처 디바이스가 페어링 모드로 들어가도록 요청할 수 있다. 이는 직접적으로 또는 모바일 폰과 같은 많은 연결 옵션들을 가진 페어링된 처리 디바이스를 통해 수행될 수 있다. 일단 타겟 디바이스가 페어링 모드로 들어가면, 타겟 디바이스의 페어링 신호를 나타낼 수 있다. 예를 들어, 디스플레이를 가진 디바이스들은 디스플레이 상에 시각적 태그(visual tag)를 표시할 수 있지만, 다른 디바이스들은 식별하기 위한 스캐너를 허용하는 NFC 태그를 활성화시킬 수 있다. 리스트로부터의 선택 또는 핀 코드(pin code)에 의한 선택과 같은 다른 접근들도 이용될 수 있다. 일단 디바이스가 유일하게(uniquely) 페어링 타겟으로 식별되면, 디바이스는 페어링을 완성(finalize)하기 위해, 타겟 디바이스와 보안 토큰(security token)을 주고받을 수 있다.
도 134는 타겟 디바이스를 디바이스와 페어링하기 위해 이용될 수 있는 다른 유형의 페어링 기술의 예시를 도시한다. 휴대전화와 같은 스마트 디바이스일 수 있는 타겟 디바이스는 수동 NFC 태그(13402) 또는 능동 NFC 송신기(13404)(디바이스의 NFC 태그 판독기(13420) 및 NFC 디코더(13428)에 의해 인식될 수 있음); NFC 디코더(13428)(디바이스의 NFC 태그 작성기(NFC tag writier, 13422)에 의해 작성된 NFC 태그를 인식할 수 있음); 수동 시각 태그(passive visual tag, 13408)(예를 들어, 스티커), 바코드(13410), 또는 다른 디스플레이 정보(13412)(디바이스의 카메라(13424)에 의해 인식될 수 있음); 또는 다른 페어링 시스템(13416)을 포함할 수 있다. 타겟 디바이스의 능동 태그 생성기(active tag generator, 13414)는 디스플레이 정보(13412)를 생성하거나, 타겟 디바이스의 다른 페어링 시스템(13416)에 정보(디바이스의 페어링 코드 디코더(13438)를 가진 미러 페어링 시스템(mirror pairing system, 13426)에 의해 인식됨)를 제공할 수 있다. 디바이스는 데이터를 디바이스와 페어링 될 수 있는 다른 타겟 디바이스들에 전송하기 위해, NFC 태그에 데이터를 기록할 수 있다(NFC 태그 작성기(13422)를 가지고). 디바이스에 의해 작성된 태그들은 타겟 디바이스 상의 NFC 태그 디코더들(13406)에 의해 인식될 수 있다.
디바이스는 모두 디바이스의 카메라(13424)로부터 입력을 받는 바코드 디코더(13430), 시각 태그 디코더(13432), 이미지 인식기(13434), 또는 다른 이미지 기반 디코더(13436)(예를 들어, QR 코드, 로고, 또는 LED의 점멸 패턴에 대한 디코더))를 포함하는 많은 디코더들 중 하나를 포함할 수 있다. 디바이스가 페어링 정보를 수신하고, 인식한 후에, 디바이스는 타겟 디바이스와 페어링을 진행하기 위해, 관련 정보를 디코딩한다(예를 들어, 다양한 디코더를 통해). 일 실시예에 따르면, 페어링은 움직임을 이용하여 달성될 수 있다 움직임-감지 타겟 디바이스(예를 들어, 모바일 폰 또는 원격)는 디바이스와 타겟 디바이스를 같은 손으로 잡고 움직임으로써, 디바이스와 페어링될 수 있다(예를 들어, 두 디바이스들이 가속도계를 포함하면, 움직임의 유사한 패턴이 검출될 수 있고, 디바이스를 페어링하는 데 이용될 수 있음). 다른 예시로서, 고정된 타겟 디바이스는 디바이스와 타겟 디바이스를 같은 손으로 잡는 동안에, 예를 들어, 고정된 타겟 디바이스를 랜덤 패턴으로 탭핑함으로써, 디바이스와 페어링될 수 있다(예를 들어, 두 디바이스들이 터치 감지를 포함하면, 탭핑의 유사한 패턴이 검출될 수 있고, 디바이스를 페어링하는 데 이용될 수 있음). 또한, 페어링은 오디오를 이용하여 수행될 수 있다디바이스와 타겟 디바이스가 모두 오디오 수신 기능을 가지면, 사용자는 두 디바이스들이 검출하고, 페어링 설정하는 소리를 만들 수 있다(예를 들어, 문구 말하기). 디바이스의 임의의 적합한 기술(예를 들어, 증강 현실 기능을 포함)은 로컬 디바이스와 페어링하고, 로컬 디바이스를 제어하는 데 이용될 수 있다. 디바이스 및 타겟 디바이스는 각각 다른 가능한 중간 네트워크 디바이스(13440) 및 로컬 영역 네트워크(13450)로 연결될 수 있다.
도 135는 타겟 디바이스와 디바이스를 페어링하는 프로세스(예를 들어, 여기에 설명된 임의의 방법을 이용하여)의 예시를 도시한다. 일단 페어링 모드가 활성화되면(단계 S13510), 디바이스는 RF 네트워크가 페어링할 수 있는 타겟 디바이스를 포함하는지 결정한다(단계 S13512). RF 네트워크가 페어링할 수 있는 타겟 디바이스를 포함하면, 더 이상의 동작이 수행되지 않는다(예를 들어, 디바이스는 주기적으로 스캔을 계속할 수 있다). RF 네트워크가 페어링할 수 있는 타겟 디바이스를 포함하지 않으면, 디바이스는 페어링할 수 있는 디바이스가 페어링 모드로 들어가도록 요청할 수 있다(단계 S13514). 이후, 디바이스는 다른 이용 가능한 기술들을 통해, 이용 가능한 타겟 디바이스들을 스캔을 진행할 수 있다(임의의 순서로, 또는 병렬 방식으로). 이는 NFC 태그 스캔(단계 S13516), 카메라의 시야각 내 시각 태그 스캔(단계 S13518), 카메라의 시야각 내 바코드 스캔(단계 S13520), 또는 임의의 다른 방법(단계 S13522)을 포함할 수 있다. 타겟 디바이스가 상기 방법들 중 하나를 통해 검출되면, 타겟 디바이스는 디바이스와 페어링된다(단계 S13524). 일단 페어링이 일어나면, 디바이스는 사용자에게 페어링된 디바이스(들)을 제어하기 위한 메뉴 항목들을 표시할 수 있다. 디바이스는 페어링된 디바이스들의 시각 및 움직임 기반 제스처 제어 모두를 허용할 수 있다. 예를 들어, 사용자는 페어링된 텔레비전의 채널을 변경하기 위해, 제스처를 수행(예를 들어, 손 웨이브)할 수 있거나, 또는 디바이스에서 페어링된 디바이스로 비디오 미디어를 전송하기 위해, 핀칭 제스처를 수행(예를 들어, AR 기능을 이용하여)할 수 있다. RF 네트워크를 통해 매개된 디바이스 제어는 로컬 및 보안 가능(securable) 둘 다 일수 있다.
도 136은 활성 ON/OFF 아이콘(13610), 즐겨찾기 채널(13620), 현재 채널 디스플레이(13630), 및 볼륨(13640)을 포함하는 페어링되고, 제어되는 텔레비전에 대한 디바이스 상에서 가능한 예시적인 제어를 도시한다. 여기에 설명된 바와 같이, 임의의 적합한 사용자 입력은 페어링된 디바이스의 기능을 제어하기 위해 이용될 수 있다. 예를 들어, 채널을 변경하거나, 볼륨을 조정하거나, 페어링된 텔레비전의 다른 기능을 제어하기 위해, 제스처 입력, 클릭 또는 누름(press) 입력, 또는 터치 입력이 이용될 수 있다.
일 실시예에 따르면, 디바이스의 페어링 및 제어 모델은 다음과 같은 특성을 포함할 수 있다. 디바이스는 멀리 있는 디바이스의 하나 이상의 기능과 상호작용 하거나, 멀리 있는 디바이스(예를 들어, 제어 가능한 온도 조절기(thermostat)과 같은 앱세서리(appcessory))의 하나 이상의 기능을 제어하는, 애플리케이션의 호스트(host)로서 기능할 수 있다. 이전에 애플리케이션에 대한 호스트였던 스마트 폰(또는 다른 국지적으로 페어링된 디바이스)은, 단지 디바이스가 상호작용과 관련된 소정 기능을 위임할 수 있거나, 멀리 있는 디바이스를 제어할 수 있는(예를 들어, 멀리 있는 디바이스에 장거리 무선 연결, 멀리 있는 디바이스에 명령 전송, 멀리 있는 디바이스로부터 데이터 수신, 또는 작업 처리), 로컬 타겟 디바이스로 기능할 수 있다. 멀리 있는 앱세서리 디바이스의 제어는, 예를 들어, 시각적 수단(예를 들어, 카메라 이용) 또는 움직임-기반 제스처들을 포함하는 임의의 적합한 방법을 이용하여, 디바이스에 의해 수행될 수 있다. 다른 실시예에 따르면, 국지적으로 페어링된 스마트 폰은 멀리 있는 앱세서리와 상호작용하는 애플리케이션에 대한 호스트로서의 기능을 계속할 수 있다. 그러나, 디바이스는 데이터 입력에 대한 사용자 인터페이스의 일부 또는 전부, 및 애플리케이션에 대한 출력 및 애플리케이션으로부터의 출력(예를 들어, 스마트 폰에 의해 호스트되는 애플리케이션의 라이트(light) 버전)을 제공할 수 있다. 예를 들어, 사용자는 디바이스를 이용하여 애플리케이션을 제어할 수 있지만, 스마트 폰은 여전히 애플리케이션의 호스트로서 기능할 수 있다.
일 실시예에 따르면, 디바이스는 하나 이상의 서비스와 함께 동작할 수 있다. 이 서비스들은 보안, 에너지, 홈 오토메이션 및 제어, 컨텐트 공유, 헬스 케어, 스포츠 및 엔터테인먼트, 상업, 운송 수단, 및 사회적 애플리케이션을 포함하는 카테고리들에 속할 수 있다.
예시적인 보안 애플리케이션은 다음을 포함한다. 디바이스는 사용자 근처의 다른 디바이스(예를 들어, 디바이스와 페어링된)에 사용자(잠금 해제된 디바이스를 착용한)를 인증할 수 있다. 디바이스는 예를 들어, 디바이스의 외곽 링 회전을 포함하는 임의의 적합한 입력을 이용하여, 사용자에 의해 입력된 코드를 가지고 잠금 해제될 수 있다. 일 예시로서, 사용자가 외곽 링을 회전시키는(또는 누르거나 클릭하는) 동안에, 디스플레이는 사용자에 의한 회전(또는 누름 또는 클릭)에 대응하는 영숫자(alphanumeric) 또는 심볼(symbolic) 데이터를 표시할 수 있다. 예를 들어, 사용자가 시계 방향으로 한 회전 증분 만큼 외곽 링을 회전시키면(또는, 예를 들어, 외곽 링을 한 번 클릭하거나 누르면), 디스플레이는 사용자에게 "1"을 표시할 수 있다. 사용자가 시계 방향으로 두 회전 증분 만큼(예를 들어, 천 분의 일 초(millisecond)와 같은, 소정 시간 내) 외곽 링을 회전시키면(또는, 예를 들어, 외곽 링을 두 번 클릭하거나 누르면), 디스플레이는 사용자에게 "2"를 표시할 수 있다. 일 실시예에 따르면, 사용자에 의한 회전(또는 누름 또는 클릭)에 대응하는 영숫자 또는 심볼 데이터의 디스플레이는 사용자가 번호 잠금장치(combination lock)의 메타포(metaphor)를 이용하여, 디바이스를 잠금 해제하도록 허용할 수 있다. 디바이스는 또한 생체 데이터(예를 들어, 사용자의 피부 또는 뼈 서명(bone signature)에 의한)를 이용하여 잠금 해제할 수 있다.
에너지 애플리케이션의 예시에서, 디바이스는 자동으로 방 또는 사용자가 위치한 다른 위치의 에너지 소비에 대한 정보를 디스플레이할 수 있다. 디바이스는 또한 다른 페어링된 디바이스들의 에너지 소비에 대한 정보를 디스플레이할 수 있고, 사용자의 위치 변화에 따라, 동적으로 모든 정보를 업데이트할 수 있다.
홈 제어 애플리케이션의 예시에서, 예를 들어, 외곽 링의 회전 또는 제스처 입력을 이용하여, 사용자는 페어링된 홈-제어 디바이스들을 선택할 수 있고, 직접 제어할 수 있다.
공유를 제어하기 위해, 또는 디바이스에 컨텐트를 전송하거나, 디바이스로부터 컨텐트를 전송받기 위해(예를 들어, 여기에 설명된 바와 같이 디바이스에서 재생되는 비디오를 페어링된 텔레비전에 전송), 사용자는 제스처를 이용할 수 있다. 또한, 보조 정보(auxiliary information)(예를 들어, 영화 자막)는 다른 더 큰 디바이스(영화를 재생하는 텔레비전 화면)에 컨텐트를 표시하기 위해, 디바이스에 제공될 수 있다.
디바이스는 자동으로 헬스 케어 컨텍스트(예를 들어, 사용자가 운동하거나 자면)를 결정할 수 있다. 디바이스가 상기 컨텍스트를 결정하는 경우, 디바이스는 헬스 케어 컨텍스트(예를 들어, 운동 중 심박수, 운동 중 이동, 운동 시간, 운동 중 맥박 산소 포화도(pulse oximetry), 수면 패턴, 수면 시간, 또는 갈바닉(galvanic) 피부 반응의 기록에 대한)에 대응하는 애플리케이션을 열 수 있다. 예를 들어, 디바이스는 사용자의 건강 관련 데이터(예를 들어, 심박수, 운동, 또는 맥박 산소 포화도)를 측정할 수 있고, 데이터의 일부 또는 전부를 페어링된 디바이스 또는 서버에 전송할 수 있다. 헬스 케어 컨텍스트에 도시되어 있지만, 관련 컨텍스트의 결정(예를 들어, 사용자 행동에 기초하여), 대응하는 애플리케이션 열기, 데이터 기록, 또는 데이터 전송은 임의의 적합한 컨텍스트에서 적용될 수 있다.
디바이스는 예를 들어, 자동으로 사용자의 골프 스윙을 평가하고, 교정을 제안하는 것과 같은, 스포츠 관련 애플리케이션을 지원할 수 있다.
상업 설정에서, 사용자가 제품을 집어들 때(pick up), 디바이스는 자동으로 제품을 식별할 수 있고(예를 들어, RFID, NFC, 바코드 인식, 또는 객체 인식을 이용), 제품에 대한 정보(예를 들어, 영양 정보, 소스 정보, 또는 후기) 또는 제품 구매를 위한 옵션에 대한 정보를 제공할 수 있다. 예를 들어, 제품에 대한 지불은 디바이스 상의 시각 바코드 기술을 이용하여 달성될 수 있다. 일 실시예에 따르면, NFC, RFID, 또는 임의의 다른 적합한 형태의 근거리 통신을 이용하여, 디바이스는 제품에 대해 비용을 지불하기 위해 이용될 수 있다. 예를 들어, 지불하는 동안에, 사용자 정보는 사용자의 생체 정보(예를 들어, 뼈 서명 또는 피부 서명)를 검출할 수 있는 디바이스에 의해 인증된다. 사용자가 사용자의 쇼핑 리스트(예를 들어, 디바이스에 저장된) 또는 다른 리스트(예를 들어, 사용자 친구의 위시 리스트)에 있는 제품 근처에 있을 때, 디바이스는 또한 자동으로 사용자에게 지시(indication)(예를 들어, 진동)를 제공할 수 있다.
디바이스는 하나 이상의 차량을 잠금 해제하거나 구동하는 키로서 기능할 수 있다. 예를 들어, 전술한 바와 같이, 차량을 잠금 해제하거나 구동시키기 위해(NFC 기술을 이용하여), 사용자는 외곽 링을 이용하여 코드를 입력할 수 있다. 일 실시예에 따르면, 사용자 생체 정보 및 사용자에 의해 입력된 코드는 모두 차 기반 애플리케이션의 보안 강화를 허용하면서, 차를 잠금 해제하기 위해 요구될 수 있다. 또한, 각각의 프로필이 차량 설정(예를 들어, 온도 또는 시트(seat) 위치)을 포함하는, 하나 이상의 사용자에 대한 프로필들을 포함할 수 있다. 다른 예시로서, 디바이스를 잠금 해제할뿐만 아니라, 차를 운전할 동안에 어떤 사용자 프로필을 로드할지 결정하기 위해, 특정 사용자의 생체 정보가 이용될 수 있다. 디바이스와 차량의 근접성은 자동으로 차량이 차량 설정 또는 사용자 프로필을 구현하도록 야기할 수 있다. 디바이스는 또한 GPS 네비게이션을 동작할 수 있다(예를 들어, 디바이스에 직접 또는 휴대 전화와 페어링되고, 휴대전화를 제어하는 경우 중 하나).
디바이스는 혼합-현실(mixed-reality) 게임 또는 멀티-플레이어 현실-기반 게임에 대한 지원을 제공하는 서비스에 액세스할 수 있고, 서비스와 함께 동작할 수 있다, 예를 들어, 기능은 등록, 사용자 데이터 관리(예를 들어, 사용자 프로필 및 레벨 달성 또는 공급 목록(inventories of supplies)과 같은 게임 관련 데이터), 및 성취 리스트를 포함할 수 있다. 디바이스의 기능 및 서비스는 또한 약한 무선 통신 채널을 관리하고, 제 3자(third party) 게임 서버에 통합된 API를 제공하는 연결 관리(예를 들어, 집중 기능(concentrator functionality))를 포함할 수 있다.
디바이스는 디바이스의 사용자가 위치, 체크 인, 또는 다양한 서비스들이 사용자의 위치 및 상태에 관한 최신 정보의 일관된 저장소에 액세스하도록 허용하는 다른 위치 기반 데이터를 게시하도록 허용하는 서비스에 액세스할 수 있고, 서비스와 함께 동작할 수 있다. 일 예시로서, 디바이스의 사용자는 유사한 디바이스들을 이용하여 친구들을 찾을 수 있다. 서비스 및 디바이스는 함께 상태 업데이트, 프로필 관리, 애플리케이션 액세스 권한, 블랙리스트, 또는 사용자 간 액세스 권한을 처리할 수 있다. 서비스는 믿을 수 있고, 개인 정보에 대한 터치포인트를 집중시킨다. 특정 실시예에 따르면, 통합된 위치 서비스에의 액세스를 결합시킴으로써, 에너지 및 배터리 수명을 아낄 수 있다. 일 실시예에 따르면, 소정 기능 토큰은 사용자 위치에 기초하여 이용 가능할 수 있다. 예를 들어, 애플리케이션은 토큰이 이용 가능하고, 그에 따라 동작하는지 알기 위해, 디바이스를 확인할 수 있다. 서버 측에서, API는 개발자가 토큰의 이용을 참조하거나, 보완(redemption)하는 것을 허용할 수 있다. 일 실시예에 따르면, 정보는 디바이스에 의해 다른 사용자에게(예를 들어, 다른 한 사용자, 또는 방송 모드에서 복수 사용자들에게) 분배될 수 있다.
디바이스는 디바이스가 설문 조사(poll)를 전송 및 수신하도록 하는 통합된 설문 조사 인터페이스를 제공하는 서비스에 액세스할 수 있고, 서비스와 함께 동작할 수 있다. 디바이스 및 서비스는 함께 분포 리스트(distribution list), 득점 기준(scoring criteria), 및 설문 조사 이용 가능 프레임(예를 들어, 시간 및 지리 모두)을 관리할 수 있다. 이 서비스는 제 3자가 애플리케이션을 작성하고, 온라인 API듣을 통해 결과를 다시 수신하기 위해 API들을 이용할 수 있도록, 디바이스 및 서버에 노출될 수 있다.
일 실시예에 따르면, 디바이스는 디바이스의 원형 디스플레이 상에 텍스트, 이미지, 또는 다른 정보의 표시에 대한 최적화를 제공하는 서비스에 액세스할 수 있고, 서비스와 함께 동작할 수 있다. 일 예시로서, 웹사이트가 렌더링 되거나(rendered), 컴퓨터 모니터 상에 디스플레이를 위해 포맷될 수 있지만(formatted), 이미지를 강조하고, 텍스트를 자름으로써, 서비스는 소형, 원형 디스플레이를 위한 렌더링 및 포맷팅을 맞춤 제작할 수 있다(customize). 예를 들어, 맞춤 제작된 렌더링 및 포맷팅은 디바이스와 하나 이상의 서버 또는 국지적으로 페어링된 디바이스 사이에서 작업이 위임될 수 있다. 서비스는 또한 뉴스 또는 광고 서비스를 포함할 수 있다.
도 137은 예시적인 컴퓨터 시스템(13700)을 도시한다. 일 실시예에 따르면, 하나 이상의 컴퓨터 시스템(13700)은 여기에 설명되거나 도시된 하나 이상의 방법의 하나 이상의 단계를 수행한다. 일 실시예에 따르면, 하나 이상의 컴퓨터 시스템(13700)은 여기에 설명되거나 도시된 기능을 제공한다. 일 실시예에 따르면, 하나 이상의 컴퓨터 시스템(13700)상에서 실행되는 소프트웨어는 여기에 설명되거나 도시된 하나 이상의 방법의 하나 이상의 단계를 수행하고, 여기에 설명되거나 도시된 기능을 제공한다. 특정 실시예는 하나 이상의 컴퓨터 시스템(13700)의 하나 이상의 부분을 포함한다. 여기에서, 컴퓨터 시스템에 대한 참조는 컴퓨팅 디바이스를 포함할 수 있고, 적절하게, 그 반대일수도 있다. 또한, 컴퓨터 시스템에 대한 참조는 적절하게 하나 이상의 컴퓨터 시스템을 포함할 수 있다.
본 개시는 임의의 적합한 수의 컴퓨터 시스템(13700)을 고려한다. 본 개시는 임의의 적합한 물리적 형태를 취하는 컴퓨터 시스템(13700)을 고려한다. 제한하는 것이 아닌 일 예시로서, 컴퓨터 시스템(13700)은 임베디드 컴퓨터 시스템, 시스템-온-칩(system-on-chip, SOC), 단일 보드 컴퓨터 시스템(SBC)(예를 들어, 컴퓨터-온-모듈(COM) 또는 시스템-온-모듈(SOM)과 같은), 데스크탑 컴퓨터 시스템, 랩탑 또는 노트북 컴퓨터 시스템, 양방향 키오스크, 메인 프레임(main frame), 컴퓨터 시스템 망(mesh), 모바일 전화, PDA, 서버, 태블릿 컴퓨터 시스템, 하나 이상의 전술한 것들의 조합일 수 있다. 적절하게, 컴퓨터 시스템(13700)은 단일로 또는 분산되어; 복수의 위치들에 걸쳐; 복수의 기기들에 걸쳐; 복수의 데이터 센터들에 걸쳐; 또는 하나 이상의 네트워크에서 하나 이상의 클라우드 구성요소를 포함할 수 있는 클라우드 내에서, 하나 이상의 컴퓨터 시스템(13700)을 포함할 수 있다. 적절하게, 실질적인 공간 또는 시간의 제약 없이, 하나 이상의 컴퓨터 시스템(13700)은 여기에 설명되거나 도시된 하나 이상의 방법의 하나 이상의 단계를 수행할 수 있다. 제한하는 것이 아닌 일 예시로서, 하나 이상의 컴퓨터 시스템(13700)은 실시간 또는 일괄 모드(batch mode)에서 여기에 설명되거나 도시된 하나 이상의 방법의 하나 이상의 단계를 수행할 수 있다. 적절하게, 하나 이상의 컴퓨터 시스템(13700)은 다른 시간 또는 다른 위치에서 여기에 설명되거나 도시된 하나 이상의 방법의 하나 이상의 단계를 수행할 수 있다.
일 실시예에 따르면, 컴퓨터 시스템(13700)은 프로세서(13702), 메모리(13704), 저장부(13706), 입/출력(I/O) 인터페이스(13708), 통신 인터페이스(13710), 및 버스(13712)를 포함한다. 본 개시가 특정하게 배치된 특정 수의 특정 구성요소들을 갖는 특정 컴퓨터 시스템을 설명하고 도시하지만, 본 개시는 임의의 적합한 배치를 갖는 임의의 적합한 수의 임의의 적합한 구성 요소들을 갖는 임의의 적합한 컴퓨터 시스템을 고려한다.
일 실시예에 따르면, 프로세서(13702)는 컴퓨터 프로그램을 구성하는 것과 같은 명령을 실행하기 위한 하드웨어를 포함한다. 제한하는 것이 아닌 일 예시로서, 프로세서(13702)는 내부 레지스터(register), 내부 캐시, 메모리(13704), 또는 저장부(13706)으로부터 명령을 실행(retrieve)(또는추출(fetch))할 수 있고; 명령을 디코딩 및 실행하고; 하나 이상의 결과를 내부 레지스터, 내부 캐시, 메모리(13704), 또는 저장부(13706)에 기록한다. 일 실시예에 따르면, 프로세서(13702)는 데이터, 명령, 또는 주소(address)에 대한 하나 이상의 내부 캐시를 포함할 수 있다. 본 개시는 적절하게 임의의 적합한 수의 임의의 적합한 내부 캐시를 포함하는 프로세서(13702)를 고려한다. 제한하는 것이 아닌 일 예시로서, 프로세서(13702)는 하나 이상의 명령 캐시, 하나 이상의 데이터 캐시, 하나 이상의 변환 색인 버퍼(translation lookaside buffer, TLB)를 포함할 수 있다. 명령 캐시 내의 명령은 메모리(13704) 또는 저장부(13706) 내 명령의 사본(copy)일 수 있으며, 명령 캐시는 프로세서(13702)에 의해 명령의 실행 속도를 높일 수 있다. 데이터 캐시 내의 데이터는 메모리(13704) 또는 저장부(13706) 내 명령을 동작하기 위해 프로세서(13702)에서 실행되는 명령에 대한 데이터; 이후에 프로세서(13702)에서 실행되는 명령에 의해 액세스하기 위한, 또는 메모리(13704) 또는 저장부(13706)에 기록하기 위한, 프로세서(13702)에서 실행된 이전 명령들의 결과; 또는 다른 적합한 데이터의 사본(copy)일 수 있다. 데이터 캐시는 프로세서(13702)에 의해 동작을 읽거나 쓰는 속도를 높일 수 있다. TLB는 프로세서(13702)에 대한 가상 주소 변환 속도를 높일 수 있다.
일 실시예에 따르면, 프로세서(13702)는 데이터, 명령, 또는 주소에 대한 하나 이상의 내부 레지스터를 포함할 수 있다. 본 개시는 적절하게 임의의 적합한 수의 임의의 적합한 내부 레지스터를 포함하는 프로세서(13702)를 고려한다. 적절하게, 프로세서(13702)는 하나 이상의 산술 논리 장치(arithmetic logic unit, ALU)를 포함할 수 있거나; 멀티 코어(multi-core) 프로세서일 수 있거나; 또는 하나 이상의 프로세서(13702)를 포함할 수 있다. 본 개시가 특정 프로세서를 도시 및 설명하지만, 본 개시는 임의의 적합한 프로세서를 고려한다.
일 실시예에 따르면, 메모리(13704)는 프로세서(13702)에서 실행하기 위한, 또는 데이터가 프로세서(13702)에서 동작하기 위한 명령을 저장하는 메인 메모리를 포함한다. 제한하는 것이 아닌 일 예시로서, 컴퓨터 시스템 (13700)은 저장부(13706) 또는 다른 소스(예를 들어, 다른 컴퓨터 시스템(13700)과 같은)에서 메모리(13704)로 명령을 로드할 수 있다. 이후, 프로세서(13702)는 메모리(13704)에서 내부 레지스터 또는 내부 캐시로 명령을 로드할 수 있다. 명령을 실행하기 위해, 프로세서(13702)는 내부 레지스터 또는 내부 캐시를 검색하고, 디코딩할 수 있다. 명령을 실행하는 동안에 또는 명령을 실행한 후에, 프로세서(13702)는 하나 이상의 결과(중간 또는 최종 결과일 수 있는)를 내부 레지스터 또는 내부 캐시에 기록할 수 있다. 이후, 프로세서(13702)는 하나 이상의 결과를 메모리(13704)에 기록할 수 있다.
일 실시예에 따르면, 프로세서(13702)는 하나 이상의 내부 레지스터, 하나 이상의 내부 캐시, 또는 메모리(13704) 내의 명령들만을 실행하고(저장부(13706) 또는 다른 곳 과는 달리), 하나 이상의 내부 레지스터, 하나 이상의 내부 캐시, 또는 메모리(13704) 내의 데이터 만을 동작시킨다(저장부(13706) 또는 다른 곳과는 달리). 하나 이상의 메모리 버스(각각이 어드레스 버스 및 데이터 버스를 포함할 수 있음)는 프로세서(13702)와 메모리(13704)를 결합시킬 수 있다. 후술되는 바와 같이, 버스(13712)는 하나 이상의 메모리 버스를 포함할 수 있다. 일 실시예에 따르면, 하나 이상의 메모리 관리 장치(MMU)는 프로세서(13702) 및 메모리(13704) 사이에 있으며, 프로세서(13702)에 의해 요청된 메모리(13704)에의 접근을 용이하게 한다. 일 실시예에 따르면, 메모리(13704)는 랜덤 액세스 메모리(random access memory, RAM)을 포함한다. 적절하게, RAM은 휘발성 메모리일 수 있고, 적절하게, RAM은 동적 RAM (DRAM), 또는 정적 RAM(SRAM)일 수 있다. 또한, 적절하게, RAM은 싱글 포트 RAM(single-ported RAM) 또는 멀티 포트 RAM(multi-ported RAM)일 수 있다. 본 개시는 임의의 적합한 RAM을 고려한다. 적절하게, 메모리(13704)는 하나 이상의 메모리(13704)를 포함할 수 있다. 본 개시가 특정 메모리를 설명 및 도시하지만, 본 개시는 임의의 적합한 메모리를 고려한다.
일 실시예에 따르면, 저장부(13706)는 데이터 또는 명령을 위한 대용량 저장 장치(mass storage)를 포함한다. 제한하는 것이 아닌 일 예시로서, 저장부(13706)는 하드 디스크 드라이브(hard disk drive, HDD), 플로피 디스크 드라이브(floppy disk drive), 플래시 메모리(flash memory), 광 디스크(optical disc), 광 자기 디스크(magneto-optical disc), 자기 테이프(magnetic tape), USB(universal serial bus), 또는 전술한 것들의 둘 이상의 조합을 포함할 수 있다. 적절하게, 저장부(13706)는 삭제할 수 있는 또는 삭제 할 수 없는(또는 고정된) 미디어를 포함할 수 있다. 적절하게, 저장부(13706)는 컴퓨터 시스템(13700)의 내부 또는 외부에 있을 수 있다. 일 실시예에 따르면, 저장부(13706)는 비 휘발성 고체 상태의 메모리이다. 일 실시예에 따르면, 저장부(13706)는 ROM(read-only memory)을 포함한다. 적절하게, ROM은 마스크 프로그래밍 롬(mask-programmed ROM), 프로그램 가능 ROM(PROM), 소거 가능 PROM(EPROM), 전기적 소거 가능 PROM(EEPROM), 전기적 변경 가능 ROM(EAROM), 또는 플래시 메모리 또는 전술한 것들의 둘 이상의 조합일 수 있다. 본 개시는 임의의 적합한 물리 형태를 취하는 대용량 저장 장치를 고려한다. 적절하게, 저장부(13706)은 프로세서(13702)와 저장부(13706) 사이의 통신을 용이하게하는 하나 이상의 저장 제어부를 포함할 수 있다. 적절하게, 저장부(13706)는 하나 이상의 저장부(13706)을 포함할 수 있다. 본 개시가 특정 저장부를 설명 및 도시하지만, 본 개시는 임의의 적합한 저장부를 고려한다.
일 실시예에 따르면, I/O 인터페이스(13708)는 컴퓨터 시스템(13700)과 하나 이상의 I/O 장치 사이의 통신에 대한 하나 이상의 인터페이스를 제공하는 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어 모두를 포함한다. 적절하게, 컴퓨터 시스템(13700)은 하나 이상의 I/O 장치를 포함할 수 있다. 하나 이상의 I/O 장치는 사람과 컴퓨터 시스템(13700) 사이의 통신을 가능하게 한다. 제한하는 것이 아닌 일 예시로서, I/O 장치는 키보드, 키 패드, 마이크, 모니터, 마우스, 프린터, 스캐너, 스피커, 스틸 카메라(still camera), 스타일러스(stylus), 태블릿, 터치 스크린, 트랙볼(trackball), 비디오 카메라, 다른 적합한 I/O 장치, 또는 전술한 것들의 둘 이상의 조합을 포함할 수 있다. I/O 장치는 하나 이상의 센서를 포함할 수 있다. 본 개시는 임의의 적합한 I/O 장치 및 임의의 적합한 I/O 장치에 대한 임의의 적합한 I/O 인터페이스(13708)를 고려한다. 적절하게, I/O 인터페이스(13708)는 프로세서(13702)가 하나 이상의 I/O 장치를 구동시키는 것을 가능하게 하는 하나 이상의 장치 또는 소프트웨어 드라이버를 포함할 수 있다. 적절하게, I/O 인터페이스(13708)는 하나 이상의 I/O 인터페이스(13708)를 포함할 수 있다. 본 개시가 특정 I/O 인터페이스를 설명 및 도시하지만, 본 개시는 임의의 적합한 I/O 인터페이스를 고려한다.
일 실시예에 따르면, 통신 인터페이스(13710)는 컴퓨터 시스템(13700)과 하나 이상의 다른 컴퓨터 시스템(13700) 또는 하나 이상의 네트워크 사이의 하나 이상의 통신(예를 들어, 패킷(packet)-기반 통신과 같은)에 대한 인터페이스를 제공하는 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어 모두를 포함한다. 제한하는 것이 아닌 일 예시로서, 통신 인터페이스(13710)는 네트워크 인터페이스 컨트롤러(NIC), 이더넷(Ethernet) 또는 다른 유선-기반 네트워크와 통신하기 위한 네트워크 어댑터(network adapter), 무선 NIC(WNIC), 또는 와이파이(WI-FI) 네트워크와 같은 무선 네트워크와 통신하기 위한 무선 어댑터를 포함하는 네트워크를 포함할 수 있다. 본 개시는 임의의 적합한 네트워크 및 임의의 적합한 네트워크에 대한 임의의 적합한 통신 인터페이스(13710)를 고려한다. 제한하는 것이 아닌 일 예시로서, 컴퓨터 시스템(13700)은 애드혹(ad hoc) 네트워크, 개인 영역 네트워크(PAN), 로컬 영역 네트워크(LAN), 광역 네트워크(WAN), 도시권 통신망(MAN), 신체 영역 통신망(body area network, BAN), 또는 인터넷의 하나 이상의 부분, 또는 전술한 것들의 둘 이상의 조합과 통신할 수 있다. 하나 이상의 네트워크의 하나 이상의 부분은 유선 또는 무선일 수 있다. 일 예시로서, 무선 PAN(예를 들어, 블루투스 WPAN, 와이파이 네트워크, WI-MAX 네트워크, 셀룰러 텔레폰 네트워크(cellular telephone network)(예를 들어, 글로벌 이동 통신 시스템(GSM) 네트워크와 같은), 또는 다른 적합한 무선 네트워크 또는 전술한 것들의 둘 이상의 조합과 통신할 수 있다. 적절하게, 컴퓨터 시스템(13700)은 전술한 임의의 네트워크에 대한 임의의 적합한 통신 인터페이스(13710)를 포함할 수 있다. 적절하게, 통신 인터페이스(13710)는 하나 이상의 통신 인터페이스(13710)를 포함할 수 있다. 본 개시가 특정 통신 인터페이스를 설명 및 도시하지만, 본 개시는 임의의 적합한 통신 인터페이스를 고려한다.
일 실시예에 따르면, 버스(13712)는 컴퓨터 시스템(13700)의 구성요소들 서로에 결합하게 하는 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어 모두를 포함한다. 제한하는 것이 아닌 일 예시로서, 버스(13712)는 가속 그래픽 포트(accelerated graphics port, AGP) 또는 다른 그래픽 버스, 향상된 산업 표준 아키텍처(enhanced industry standard architecture, EISA) 버스, 전면 버스(front-side bus, FSB), 하이퍼 트랜스포트(hypertransport, HT) 인터커넥트(interconnect), 산업 표준 아키텍처(ISA) 버스, 인피니밴드(INFINIBAND) 인터커넥트, 로우 핀 카운트(low-pin-count, LPC) 버스, 메모리 버스, 마이크로 채널 아키텍처(MCA) 버스, 주변 구성요소 인터커넥트(peripheral component interconnect, PCI) 버스, PCI-익스프레스(PCIe) 버스, 직렬 진보 기술 부착(serial advanced technology attachmenr, SATA) 버스, 비디오 전자 표준 협회 로컬(video electronics standards association local, VLB) 버스, 또는 다른 적합한 버스 또는 전술한 것들의 둘 이상의 조합을 포함할 수 있다. 적절하게, 버스(13712)는 하나 이상의 버스(13712)를 포함할 수 있다. 본 개시는 특정 버스를 설명 및 도시하지만, 본 개시는 임의의 적합한 버스 또는 인터커넥트를 고려한다.
본원에서, 컴퓨터 판독 가능한 저장 매체 또는 미디어는 하나 이상의 반도체 기반 회로 또는 다른 집적 회로(ICs)(예를 들어, 필드 프로그래머블 게이트 어레이(FPGAs) 또는 애플리케이션-특정 ICs(asics)와 같은), 하드 디스크 드라이브(HDDs), 하이브리드 하드 드라이브(HHDs), 광 디스크, 광 디스크 드라이브(ODDs), 광 자기 디스크, 광 자기 드라이브, 플로피 디스켓(floppy diskettes), 플로피 디스크 드라이브(FFDs), 자기 테이프, 고체 상태 드라이브(SSDs), RAM 드라이브, 보안 디지털 카드 또는 드라이브, 임의의 다른 적합한 컴퓨터 판독 가능 비 일시적 저장 매체, 또는 적절하게 전술한 것들의 둘 이상의 임의의 적합한 조합을 포함할 수 있다. 컴퓨터 판독가능 저장 매체는 휘발성, 비 휘발성, 또는 적절하게 비 휘발성 및 휘발성의 조합일 수 있다.
일 실시예에 따르면, 디스플레이는 텍스트 입력, 심볼 입력, 또는 텍스트 입력과 심볼 입력의 임의의 적합한 조합과 같은 사용자 입력을 제공할 수 있다. 예를 들어, 텍스트(text) 및 심볼(symbol)은 활자(letter), 단어(word), 숫자 심볼(numerical symbol), 문장 부호(punctuation) 등과 같은 영숫자(alphanumeric) 문자, 중국 문자, 일본 문자 등과 같은 로고그램(logogram), 또는 하나 이상의 언어의 단어 또는 문법과 같은 임의의 심볼, 문자, 또는 시각적으로 소통하기 위해 이용되는 심볼들과 문자들의 조합, 또는 전술한 것들의 임의의 적합한 조합을 포함할 수 있다.
달리 언급하지 않는 한, 아래의 본 개시는 위의 텍스트 예시의 전부 또는 일부를 참조할 수 있다.
일 실시예에 따르면, 텍스트는 모바일 디바이스 의 디스플레이 또는 여기에서 보다 상세히 설명된 웨어러블 전자 디바이스와 같은 웨어러블 디바이스의 디스플레이와 같은 비교적 작은 전자 디스플레이에 입력될 수 있다. 본 개시는 열쇠고리 크기 스크린, 시계 크기 스크린, 디지털 카메라 스크린, 소형 텔레비전 스크린, 소형 태블릿 스크린, 및 임의의 다른 유형의 스크린을 포함하는 소형 디지털 디바이스들과 같은, 임의의 적합한 소형 디스플레이를 포함하는 임의의 적합한 디스플레이에 상에 입력된 텍스트를 고려한다. 본 개시는 정사각형 스크린, 직사각형 스크린, 원형 스크린, 타원형 스크린, 또는 임의의 다른 적합한 형태의 스크린과 같은 임의의 적합한 형태의 스크린을 고려한다. 일 실시예에 따르면, 디스플레이 상의 텍스트 입력은, 예를 들어, 사용자의 손가락 또는 스타일러스와 같은 도구를 이용하여, 디스플레이와 상호작용하는 것을 포함할 수 있다. 일 실시예에 따르면, 디스플레이 상의 텍스트 입력은, 예를 들어, 여기에서 보다 상세히 설명된 전자 웨어러블 디바이스의 회전 가능한 요소와 같은, 디바이스의 디스플레이가 아닌 부분과 상호작용하는 것을 포함할 수 있다. 일 실시예에 따르면, 텍스트 입력은, 예를 들어, 마이크, 가속도계, 자이로스코프, 광학 센서, 또는 임의의 다른 적합한 요소와 같은, 디바이스의 임의의 적합한 요소와 상호작용하는 것, 또는 디바이스의 임의의 적합한 요소를 활성화시키는 것을 포함할 수 있다. 본 개시는 임의의 적합한 디바이스의 요소와 상호작용하거나 임의의 적합한 디바이스의 요소를 활성화 시키는 것을 포함하는 임의의 적합한 수단을 이용하여 임의의 적합한 디스플레이의 임의의 적합한 디스플레이 상에 텍스트 입력을 고려한다.
일 실시예에 따르면, 텍스트 입력은 하나 이상의 손가락, 또는 펜 또는 스타일러스와 같은 사용자가 드는 추가적인 도구와 같은, 사용자의 손(들)의 하나 또는 두 부분에 의한 입력을 포함할 수 있다. 일 실시예에 따르면, 하나 이상의 문자, 단어, 또는 사용자가 이미 입력한 문자 또는 디스플레이 상에 디스플레이된 컨텐트와 같은, 컨텍스트에 기초한 하나 이상의 문자 또는 단어의 조합을 제안하거나 선택하기 위한 예측 방법을 이용할 수 있다. 일 실시예에 따르면, 텍스트는 존재하는 시각적 컨텐트(visual content)의 상단에 입력될 수 있어서, 소형 디스플레이와 같은 디스플레이의 적어도 일부에서 사용자로부터 입력받는 동시에 시각적 피드백을 제공하는 것을 가능하게 한다. 여기에 보다 상세히 설명된 바와 같이, 텍스트 입력은 특정 문자, 숫자, 심볼, 및 공백 또는 줄 바꿈(line break)을 생성하기 위해, 문자를 삭제하기 위해, 또는 대문자와 소문자 사이와 같은 문자 사이의 전환을 위해 이용될 수 있다.
도 138a는 텍스트 입력에 대한 디스플레이 부분, 입력된 텍스트를 디스플레이하는 부분, 및 입력 가능한 텍스트를 디스플레이하는 부분을 포함하는 예시적인 원형 디스플레이(13802)를 가진 예시적인 디바이스를 도시한다. 도 138의 예시에서, 입력 가능한 텍스트는 디스플레이(13802)의 외곽 에지(edge) 주위에 원형으로 배열된 문자 집합(character set, 13804)을 포함한다. 도 138a에 도시된 문자 집합(13804)이 영어 알파벳의 대문자를 포함하지만, 본 개시는 문자 집합(13804)이 문자(character), 글자(letter), 숫자, 심볼, 또는 전술한 것들의 임의의 조합을 포함하는, 임의의 적합한 텍스트일 수 있음을 고려한다. 도 139d-139f는, 도 139e의 원형 디스플레이(13904)의 바깥 부분과 같은, 디스플레이 상에 디스플레이 할 수 있는, 입력 가능한 텍스트의 예시들을 도시한다. 도 139a에 도시되고, 여기에 보다 상세히 설명된 바와 같이, 디스플레이는 텍스트 입력을 용이하게 하기 위해 이용될 수 있는 회전 가능한 요소(13906)과 같은, 디스플레이를 에워싸는 회전 가능한 요소를 포함할 수 있다.
도 138a의 디스플레이(13802)는, 예를 들어, Hello. It was.와 같은 디스플레이된 텍스트를 포함한다. 커서(cursor)는 Hello.의 ll 뒤에 나타난다. 커서는 예를 들어, 텍스트를 입력하거나 삭제하는 등을 위해, 현재 텍스트 상호작용 위치를 나타내기 위해 이용될 수 있다. 일 실시예에 따르면, 텍스트 입력은 공백을 생성하기 위해, 디스플레이(13802)와 상호작용하는 것을 포함할 수 있다. 일 실시예에 따르면, 스와이프 제스처, 탭 제스처, 또는 전술한 것들의 임의의 적합한 조합이 공백을 생성하기 위해 이용될 수 있다. 예를 들어, 사용자는 하나 이상의 손가락을 도 138b의 터치 위치(13806)에 놓을 수 있고, 공백을 생성하기 위해 왼쪽으로 스와이프할 수 있다. 공백은 커서의 위치 또는 터치 위치(13806)에 가장 가까운 텍스트의 위치에서 생성될 수 있다. 다른 예시로서, 사용자는 하나 이상의 손가락을 도 138c의 터치 위치(13808)에 놓을 수 있고, 공백을 생성하기 위해 오른쪽으로 스와이프할 수 있다. 본 개시는 공백을 생성하기 위해 사용자가 위 또는 아래와 같은 임의의 적합한 위치로 스와이프할 수 있음을 고려한다.
일 실시예에 따르면, 사용자는 디스플레이(13802)를 탭핑함으로써, 공백을 입력할 수 있다. 예를 들어, 사용자는 도 138d의 터치 위치(13810) 또는 터치 위치(13810) 주위를 한 손가락으로 탭할 수 있다. 공백을 생성하기 위해, 사용자는 한번 또는 두번과 같은 임의의 적합한 횟수만큼 터치 위치(13810) 또는 터치 위치(13810) 주위를 탭할 수 있다. 일 실시예에 따르면, 공백을 입력하기 위해, 사용자는 터치 위치를 미리 결정된 시간동안 터치하고 홀드(hold)할 수 있다. 일 실시예에 따르면, 사용자는 디스플레이(13802)의 도 138e의 위치들(13812)과 같은 두 위치를 실질적으로 동시에 터치함으로써, 공백을 입력할 수 있다. 공백을 입력하기 위해, 사용자는 한번 또는 두번과 같은 임의의 적합한 횟수만큼 위치들 또는 위치들 주위를 터치할 수 있다. 도 138d 및 도 138e에 도시된 바와 같이, 일 실시예에 따르면, 공백을 입력하기 위한 터치 위치들은 디스플레이된 텍스트 또는 디스플레이된 텍스트의 주위일 수 있다. 그러나, 터치 위치들은 디스플레이의 임의의 적합한 부분일 수 있다. 본 개시가 공백을 입력하기 위한 예시적인 텍스트 입력 방법을 설명하지만, 본 개시는 상기 방법이 임의의 적합한 문자를 입력하기 위해 이용될 수 있음을 고려한다.
또한, 본 개시는 상기 방법들 중 어느 하나는 하나 이상의 문자, 단어, 또는 단어의 일부를 삭제하기 위해 이용될 수 있음을 고려한다. 예를 들어, 상기 방법들 중 어느 하나는 가장 최근에 입력된 문자 또는 단어, 또는 커서의 왼쪽 문자나 커서의 오른쪽 문자를 삭제하기 위해 이용될 수 있다. 일 실시에에 따르면, 문자 또는 단어를 삭제하기 위한 입력은, 예를 들어, 도 138b의 터치 위치(13806)으로부터 왼쪽으로 스와이핑함으로써, 디스플레이된 텍스트 부분에서 일어날 수 있다. 일 실시예에 따르면, 회전 가능한 요소는 텍스트 입력 또는 삭제에서, 추가할 텍스트를 선택하기 위해 이용될 수 있다. 예를 들어, 디바이스는, 도 139a에 도시된 링(13906)과 같이, 디스플레이를 에워싸는 회전 가능한 링을 포함할 수 있다. 링을 임의의 적합한 방향으로 회전하면 하나 이상의 문자를 선택할 수 있다. 예를 들어, 도 139a에 도시된 바와 같이 커서가 위치하는 경우, 도 139c에 도시된 바와 같이, Heljo 단어를 선택하기 위해 링(13906)을 반 시계방향으로 회전시킬 수 있다. 이후, 사용자는 도 139c의 터치 위치(13908)로부터 오른쪽으로 스와이핑하는 것과 같은, 임의의 적합한 방법을 이용하여, 선택된 텍스트를 삭제할 수 있다.
전술된 방법들 중 어느 하나는 마침표(period)와 같은 문장 부호(punctuation)와 같은 심볼을 입력하기 위해 이용될 수 있다. 방법들은 또한 적절하게 입력 가능한 텍스트의 유형들 사이의 디스플레이를 전환하도록 이용될 수 있다. 예를 들어, 도 139d 도 139f 사이에서 디스플레이를 전환하기 위해, 사용자는 디스플레이를 탭 또는 스와이프하거나, 회전 가능한 요소를 회전시킬 수 있다. 임의의 유형의 텍스트를 입력하거나 삭제하기 위한 것과 같이, 본 개시는 디스플레이 가능한 텍스트 사이의 전환이, 예를 들어, 하나 이상의 탭, 스와이프, 핀치(예를 들어, 둘 이상의 손가락들로 핀치-인(pinch-in) 또는 핀치-아웃(pinch-out)), 또는 전술한 것들의 임의의 적합한 조합과 같은, 임의의 적합한 제스처에 의해 달성될 수 있음을 고려한다.
일 실시예에 따르면, 사용자는, 예를 들어, 사용자가 커서를 표시하고자 하는 디스플레이된 텍스트의 위치에서 탭핑하는 것과 같은, 임의의 적합한 제스처에 의해 커서 위치를 선택할 수 있다.
일 실시예에 따르면, 사용자가 텍스트를 입력함에 따라, 디스플레이는 하나 이상의 제안된 문자, 단어, 또는 단어의 일부를 디스플레이할 수 있다. 예를 들어, 도 140a의 디스플레이(14002)는 리본(14008)에 제안된 텍스트를 도시한다. 예를 들어, 회전 가능한 요소(14006)을 회전, 리본(또는 임의의 다른 적합한 디스플레이의 부분)을 왼쪽, 오른쪽, 위쪽, 또는 아래쪽으로 스와이핑, 임의의 적합한 제스처 또는 조합을 디스플레이 상에 실행, 또는 전술한 것들의 임의의 적합한 조합과 같은, 임의의 적합한 방법에 의해, 사용자는 리본(14008)에 디스플레이 된 단어와 같은 제안된 텍스트들 사이를 왔다 갔다(toggle)할 수 있다. 예를 들어, 사용자는 디스플레이된 제안들 사이를 이동하기 위해 회전 요소(14006)를 이용할 수 있고, 텍스트 입력을 위한 하나 이상의 문자(14004)를 선택하기 위해 터치 기능을 이용할 수 있다. 일 실시예에 따르면, 리본(14008)은, 예를 들어, 하이라이트된 부분에 제스처를 수행함으로써, 사용자가 제안을 선택하면, 입력될, 제안된 텍스트를 나타내는 하이라이트된 부분을 포함할 수 있다. 일 실시예에 따르면, 다른 제안된 텍스트 옵션들 사이에서 전환하기 위해, 사용자는 왼쪽에서 오른쪽으로 또는 오른쪽에서 왼쪽으로 스와이프할 수 있다. 일 실시예에 따르면, 사용자는, 공백 문자를 추가하기 위해, 왼쪽에서 오른쪽으로 스와이프할 수 있고, 가장 최근에 입력된 문자를 삭제하기 위해, 오른쪽에서 왼쪽으로 스와이프할 수 있고, 다른 제안된 텍스트 옵션들 사이에서 전환하기 위해, 아래쪽에서 위쪽으로 또는 위쪽에서 아래쪽으로 스와이프할 수 있다. 일 실시예에 따르면, 사용자는, 공백 문자를 추가하기 위해, 오른쪽에서 왼쪽으로 스와이프할 수 있고, 가장 최근에 입력된 문자를 삭제하기 위해, 왼쪽에서 오른쪽으로 스와이프할 수 있고, 다른 제안된 텍스트 옵션들 사이에서 전환하기 위해, 아래쪽에서 위쪽으로 또는 위쪽에서 아래쪽으로, 두 손가락 스와이프를 실행할 수 있다. 일 실시예에 따르면, 사용자는, 다른 제안된 텍스트 옵션들 사이에서 전환하기 위해, 오른쪽에서 왼쪽으로 또는 왼쪽에서 오른쪽으로 스와이프할 수 있고, 공백 문자를 추가하기 위해, 회전 가능한 요소를 오른쪽으로 회전시킬 수 있고, 가장 최근에 입력된 문자를 삭제하기 위해, 회전 가능한 요소를 왼쪽으로 회전시킬 수 있다.
일 실시예에 따르면, 텍스트 입력은, 하나 이상의 손가락, 또는 펜 또는 스타일러스와 같은 사용자가 드는 추가적인 도구와 같은, 사용자의 손(들)의 하나 또는 두 부분에 의한 수기 입력을 포함할 수 있다. 일 실시예에 따르면, 수기 입력은 하나 이상의 문자, 단어, 또는 사용자가 이미 입력한 문자 또는 디스플레이 상에 디스플레이된 컨텐트와 같은, 컨텍스트에 기초한 하나 이상의 문자 또는 단어의 조합을 제안하거나 선택하기 위한 예측 방법을 이용할 수 있다. 일 실시예에 따르면, 수기 텍스트는 존재하는 시각적 컨텐트(visual content)의 상단에 입력될 수 있어서, 소형 디스플레이와 같은 디스플레이의 적어도 일부에서 사용자로부터 입력받는 동시에 시각적 피드백을 제공하는 것을 가능하게 한다. 여기에 보다 상세히 설명된 바와 같이, 수기 텍스트 입력은 특정 문자, 공백, 또는 줄 바꿈을 생성하기 위해, 문자를 삭제하기 위해, 또는 대문자와 소문자 사이와 같은 문자, 숫자, 또는 심볼 사이의 전환을 위해 이용될 수 있다. 일 실시예에 따르면, 수기 입력은, 예를 들어, 터치 감지 디스플레이, 광학 센서, 움직임 센서, 또는 임의의 다른 적합한 센서 또는 센서들의 조합과 같은, 디바이스의 센서에 의해 캡쳐된 제스처를 포함할 수 있다.
도 141a는 수기 입력 부분(14106) 및 입력된 텍스트 부분(14104)을 포함하는 예시적인 디스플레이(14102)를 도시한다. 일 실시예 및 여기에 설명된 다른 실시예들에 대해, 본 개시는 입력된 텍스트 부분(14104) 및 수기 입력 부분(14106)가 적어도 일부에서 오버랩(overlap)될 수 있음을 고려한다. 일 실시예에 따르면, 부분(14106)은 컨텐트를 디스플레이하는 디스플레이 부분(14102)을 포함할 수 있어서, 더 많은 스크린 공간을 이용할 수 있다. 예를 들어, 부분(14106)은 키보드 또는 문자 선택에 의해 입력될 수 있는 다른 문자 디스플레이의 상단에 있을 수 있다. 따라서, 텍스트를 입력하기 위해, 사용자는 텍스트 또는 드로우 텍스트(draw text)를 선택할 수 있다. 본 개시는 디스플레이의 형태 및 크기에 기초하여, 부분(14012) 및 부분(14106)이 임의의 적합한 형태 또는 크기를 가질 수 있음을 고려한다. 예를 들어, 원형 디스플레이 상에 표시된 경우, 부분(14014) 및 부분(14106)은 원의 일부일 수 있다. 도 141a의 예시에서, 사용자의 손가락이 각각의 문자를 디바이스의 디스플레이 표면에 그리는 경우, 텍스트는 스크린 상의 입력일 수 있다. 추가적인 특징들은 사용자가 더 빨리 텍스트를 입력하는 것을 도울 수 있다. 디스플레이(14102)의 윗부분에 있는 디스플레이 부분(14104)는 입력되고 있거나 입력된 텍스트를 표시한다. 도 141a의 예시는 사용자가 부분(14106) 상에서 M을 그리기를 완료함에 따라, 입력 부분(14104) 내의 M을 도시한다. 본 개시는 사용자가 임의의 적합한 수기 입력을 이용하여 텍스트를 입력할 수 있음을 고려한다. 예를 들어, 도 141a가 문자 M을 생성하기 위해 드로잉 M의 이용을 도시하지만, 예를 들어, 사용자는 공백을 생성하기 위해, 부분(14106)에서 오른쪽으로 스와이프할 수 있음을 고려한다.
일 실시예에 따르면, 텍스트 예측은 텍스트 입력을 돕기 위해 이용될 수 있다. 예를 들어, 도 141b는 디스플레이의 부분(14108) 내 제안된 텍스트를 도시한다. 부분 (14108) 내 제안된 단어는 사용자에 의한 부분(14106) 내 텍스트 입력을 고려한다. 추가 제안들에 액세스하기 위해, 예를 들어, 부분(14108) 상에서 스와이핑 함으로써, 사용자는 부분(14108) 내 제안된 텍스트들을 이동할 수 있다. 본 개시는 부분(14108)이 부분(14108)이 디스플레이되는 물리적 디스플레이의 크기 및 형태에 의존하여, 임의의 적합한 크기 및 형태를 가질 수 있음을 고려한다.
일 실시예에 따르면, 패턴과 같은 하나 이상의 비쥬얼 가이드(visual guide)는 수기 텍스트의 사용자 입력을 용이하게 하기 위해 디스플레이될 수 있다. 비쥬얼 가이드들은 텍스트를 입력하기 위해 필요한 제스처를 실행하는 사용자를 도울 수 있다. 일 실시예에 따르면, 비쥬얼 가이드는 항상 디스플레이될 수 있고, 사용자의 요청에 따라 디스플레이될 수 있고, 사용자가 하나 이상의 실수를 저질렀을 때(예를 들어, 사용자가 자주 방금 입력된(just-entered) 수기 문자를 삭제할 때) 디스플레이될 수 있고, 사용자가 처음 수기 기능을 이용할 때 디스플레이될 수 있고, 또는 임의의 다른 적합한 시간에 디스플레이될 수 있다. 일 실시예에 따르면, 각각의 문자는 패턴 내에서 여러가지 표현을 가질 수 있어서, 사용자는 텍스트를 입력하기 위해 하나 이상의 방법을 사용할 수 있다. 도 142a는 격자(grid) 형태의 비쥬얼 가이드(14204)를 가진 예시적인 디스플레이(14202)를 도시한다. 디스플레이(14202)는 텍스트(14206)과 같은 입력된 텍스트를 디스플레이하는 부분을 포함할 수 있다. 사용자의 손가락(들) 또는 펜과 같은 도구를 이용하여, 사용자는 문자를 입력하기 위해 그리드(14204)의 하나 이상의 라인을 따라갈 수 있다(trace). 도 142b는 영문 알파벳 내 A-K의 대소문자 경우를 입력하기 위해 이용될 수 있는 예시적인 트레이스(trace)를 도시한다. 격자 라인의 형상과 같은 격자의 디스플레이, 상대적인 배열, 및 비쥬얼 패턴은 디바이스, 스크린 크기, 텍스트 입력의 목적에 따라 달라질 수 있다. 일 실시예에 따르면, 숫자 또는 심볼에 대한 입력은 동일한 격자에 통합될 수 있거나, 또는 숫자 또는 심볼 자신을 위한 특정 격자를 가질 수 있다. 예를 들어, 숫자만이 유효한 입력인 경우, 도 142a에 도시된 격자 보다 더 단순한 격자가 제공될 수 있다. 본 개시는 텍스트 입력을 위한 임의의 적합한 격자의 형태 및 패턴을 고려한다. 도 143a 143b 및 도 144a - 144b는 텍스트(14404) 및 텍스트(14406) 각각을 입력하기 위한 예시적인 격자(14304) 및 격자(14404)를 가진 예시적인 디스플레이(14302) 및 디스플레이(144402)를 도시한다.
일 실시예에 따르면, 사용자는 디바이스의 디스플레이 이외에, 표면에 텍스트를 쓸 수 있고, 쓰여진 텍스트는 디바이스에 의해 캡쳐될 수 있고, 디바이스의 디스플레이 상에 디스플레이될 수 있다. 디바이스는 광학 센서에 의하거나, 디지털 페이퍼 또는 다른 디바이스에 유선 또는 무선 연결된 펜 쓰기에 의한 것과 같은, 임의의 적절한 방법에 의해 쓰여진 텍스트를 캡쳐할 수 있다. 일 실시예에 따르면, 텍스트는 직접적으로 디스플레이에 전송될 수 있고, 또한, 수정, 삭제, 또는 텍스트의 직접 사용과 같은 관련된 액션은 사용자에 의해 디스플레이 상에 이용 가능할 수 있다. 일 실시예에 따르면, 스크린 또는 디바이스 자체를 터치하지 않고, 사용자가 직접 사용하거나 전송하기 위해, 위의 옵션들은 또한 연결된 펜을 이용할 수 있다. 예를 들어, 사용자는, 예를 들어, 버튼을 이용하거나, 텍스트 뒤에 특정 심볼을 그리거나, 펜으로 표면을 탭핑 또는 더블 탭핑과 같은 특정 제스처를 수행하거나, 또는 전술한 것들의 다른 임의의 적합한 조합에 의한, 펜을 이용한 물리적인 입력 방법들 중 하나에 의해 텍스트를 이용하거나 전송할 수 있다.
일 실시예에 따르면, 사용자는 디바이스의 디스플레이로 제한되지 않는 제스처를 이용하여, 텍스트를 입력할 수 있다. 예를 들어, 일 실시예에 따르면, 제스처는 디바이스의 광학 센서의 앞에서 만들어진 문자를 표시하는 심볼과 같은, 수기 심볼일 수 있다. 본 개시는 제스처가 여기에 설명된 웨어러블 디바이스와 관련하여 설명된 센서들 중 하나와 같은, 임의의 적합한 광학 센서에 의해 캡쳐될 수 있음을 고려한다. 일 실시예에 따르면, 제스처는 디바이스를 착용하거나 드는 팔 또는 손에 의해 이루어질 수 있다. 본 개시는 여기에 설명된 웨어러블 디바이스와 관련되어 설명된 제스처들 및 센서들을 포함하여, 임의의 적합한 제스처가 임의의 적합한 센서에 의해 캡쳐될 수 있음을 고려한다.
도 145a는 웨어러블 디바이스(14502)의 디스플레이(14504)에 텍스트를 입력하기 위해 이용되는 예시적인 제스처 입력을 도시한다. 사용자의 손가락에 의해 이루어지는(14514) 문자의 기입 또는 추적(14512)과 같은 제스처는, 광학 센서(14508)에 의해 캡쳐될 수 있고, 디스플레이(14504) 상의 텍스트(14506)와 같이 입력할 수 있다. 제스처는 허공에서(in the air) 또는 임의의 적합한 표면에서 수행될 수 있다. 일 실시예에 따르면, 디바이스(14502)는 웨어러블 디바이스(14502)가 착용된 사용자의 팔(14516)의 움직임을 캡쳐하기 보다는, 가속도계와 같은 하나 이상의 센서를 포함할 수 있다. 예를 들어, 팔(14516)은 문자(14512)를 추적할 수 있고, 움직임은 디바이스(14502)에 의해 검출될 수 있고, 디스플레이(14504) 상에 디스플레이될 수 있다.
도 145b에 도시된 바와 같이, 텍스트의 시각적 표현에 반드시 대응하지는 않는 제스처에 의해 텍스트가 입력될 수 있다. 예를 들어, 디바이스(14502)의 디스플레이에 하나 이상의 텍스트 문자를 입력하기 위해, 웨어러블 디바이스(14502)를 착용한 팔(14518)의 엄지 및 중지와 같은 사용자의 손가락들이 함께 모일 수 있다. 제스처들은 손가락(들)의 움직임을 검출하는 광학 센서, 또는 엄지와 중지의 만남에 의해 생성된 진동을 검출하기 위한 마이크와 같은 임의의 적합한 센서에 의해 캡쳐될 수 있다. 제스처들은 허공, 표면, 또는 허공 및 표면에서 수행될 수 있다. 독립적으로 표면에서 수행된 경우, 제스처는 사용자의 손가락들 및 손이 터치한 위치의 감지에 기초할 수 있다. 각각의 문자는 특정 손가락들 또는 특정 손가락의 부분들에 의해 수행된 제스처에 대응할 수 있다. 예를 들어, 엄지가 중지의 앞을 터치하는 것은 a에 대응할 수 있고, 엄지가 중지의 가운데를 터치하는 것은 c에 대응할 수 있고, 엄지가 검지의 앞을 터치하는 것은 e에 대응할 수 있다. 일 실시예에 따르면, 엄지와 약지의 조합은 영어 알파벳과 같은 문자의 전체 집합을 맵핑할 수 있다. 일 실시예에 따르면, 텍스트 입력은 둘 이상의 손가락들이 서로에 접촉하는 횟수에 적어도 부분적으로 의존할 수 있다. 예를 들어, 검지를 엄지로 세 번 터치하는 것은 c에 대응할 수 있다. 본 개시는 임의의 적합한 언어 또는 통신 스킴(scheme)으로 작성된 임의의 적합한 텍스트에 대응하는 임의의 적합한 제스처를 고려한다.
일 실시예에 따르면, 제스처는 사용자가 입력하고자 하는 문자의 유형(예를 들어, 대문자, 소문자, 숫자, 등)을 식별할 수 있다. 일 실시예에 따르면, 제스처는 입력 텍스트를 나타내기 위해 표면 상에서 수행될 수 있다. 예를 들어, 특정 문자 또는 단어가 표면에 탭한 횟수 또는 길이 및/또는 표면에 탭하기 위해 이용된 손가락의 개수의 적어도 일부에 기초하여 입력될 수 있다. 일 실시예에 따르면, 사용자는 특정 제스처에 대응하는 특정 문자, 문자들의 조합, 또는 단어를 프로그래밍할 수 있다. 본 개시가 특정 문자를 생성하기 위해 특정 제스처를 수행하는 것을 설명하지만, 본 개시는 임의의 제스처 또는 제스처들의 조합(손 만을 이용한 제스처 및 표면을 포함하는 제스처)이 적절하게 단어, 심볼, 또는 단어 및 심볼의 부분을 생성하기 위해 이용될 수 있음을 고려한다.
일 실시예에 따르면, 문자들의 전체 집합은 디스플레이 상에 디스플레이될 수 있다. 스와이핑, 탭핑, 물리적 상호작용, 회전 가능한 요소 이용, 여기에 설명된 선택 방법들 중 어느 하나, 또는 임의의 다른 적합한 방법과 같은, 임의의 적합한 방법에 의해, 사용자는 각각의 디스플레이된 문자에 직접 액세스할 수 있다. 일 실시예에 따르면, 문자들의 공간 분포는 디스플레이의 문자 빈도, 문자 조합 빈도, 문자 인접성, 및 문자들의 집합 내 총 문자 개수뿐만 아니라, 물리적 파라미터에 기초할 수 있다.
도 146a 146c는 영어 알파벳을 디스플레이하는 소형 디스플레이에 대한 예시적인 문자 레이아웃을 도시하고, 도 146c에서, 추가적인 일반 문장 부호를 도시한다. 예를 들어, 도 146a의 디스플레이(14602)는 원형 형태를 가질 수 있고, 문자 집합(14604)은 디스플레이(14602)의 외곽 링에 디스플레이될 수 있다. 디스플레이(14606)는 정사각형 또는 직사각형 형태를 가질 수 있고, 문자 집합(14608)은 디스플레이(14606)의 바깥 둘레(outer perimeter)에 디스플레이될 수 있다. 문자 집합(14612)이, 디스플레이(14612) 의 도 146c에 도시된 바와 같이, 아래 부분과 같은, 정사각형 또는 직사각형 부분을 차지하는 동안에, 디스플레이(14612)는 정사각형 또는 직사각형 형태를 가질 수 있다. 본 개시는 임의의 적합한 디스플레이 형태 및 문자 집합 레이아웃을 고려한다. 문자 집합의 디스플레이의 정확한 레이아웃은 특정 디바이스, 스크린 크기 및 애플리케이션에 따라 달라질 수 있다.
일 실시예에 따르면, 디스플레이 상에 디스플레이된 문자(또는 다른 적합한 텍스트 부분)는 사용자에 의해 선택된 경우 강조될 수 있다. 예를 들어, 도 146d 146e는 사용자의 손가락에 의해 선택된 문자(14614, 14616)의 예시적인 강조를 도시한다. 일 실시예에 따르면, 사용자의 손가락이 스크린 주위를 이동함에 따라, 강조(14614) 또는 강조(14616)는 스크린에서 제거되지 않고 이동할 수 있다. 일단 손가락이 스크린에서 제거되면, 강조된 문자는 제거될 때 입력된다. 일 실시예에 따르면, 어떤 문자도 강조되지 않은 경우, 어떤 문자도 추가되지 않는다. 시각적 강조는, 사용자가 다음에 나타날 가능성이 높은 문자를 향하게 하도록, 또는 이미 입력된 문자들과 함께 단어를 생성할 수 없는 문자들을 완전히 제거하도록 추가적으로 이용될 수 있다. 정확한 위치에 터치하지 않는 실수는 단어 예측 및 인식에 의해 수정될 수 있다. 도 146d 146e의 예시들이 예시적인 특정 선택 방법에 기초한 강조를 도시하지만, 본 개시는 임의의 적합한 선택 방법이 이용될 때 강조하는 것을 고려한다.
다른 키보드 형식의 문자의 순서는 예시적인 것이고, 하나 이상의 다음과 같은 임의의 적합한 고려 사항에 기초하여 달라질 수 있다. 임의의 적합한 고려사항은 알파벳 순서; 일반적인(쿼티(qwerty)) 키보드 레이아웃과의 유사성; 예를 들어, 에러 가능성을 최소화하기 위해, 더 나은 단어 예측을 제공하기 위해, 그리고 손가락에 의해 덮인 스크린의 일부에 타이핑하는 동안에 사용자에게 보이게 하기 위해, 서로 옆에 있지 않고 가능한 한 멀리 위치하게 한 후에 자주 발생하는 문자들; 예를 들어, 빠른 타이핑을 허용하기 위해, 서로 옆에 위치하게 한 후에 자주 발생하는 문자들; 예를 들어, 문자들을 선택할 때, 디스플레이된 문자들의 나머지를 사용자게 용이하게 볼 수 있도록, 가장 자주 이용되는 문자를 오른쪽/아래쪽에 더 위치시키는 것; 또는, 예를 들어, 타이핑하는 동안에, 더 나은 정확성을 허용하기 위해, 빈번하게 이용되는 문자를 스크린의 가장자리보다 많은 레터들이 더 가까울 수 있는 스크린의 중심으로부터 멀리 위치시키는 것이 있을 수 있다. 예를 들어, 도 149a 149c는 디바이스의 디스플레이(14902)의 특정 레이아웃들(14904, 14906, 14908)을 도시한다.
일 실시예에 따르면, 하나 이상의 문자의 모양은, 디바이스의 디스플레이 상에 입력된 문자 또는 입력되고 있는 문자와 같은 디바이스의 컨텍스트(context)에 기초하여, 변경될 수 있다. 일 실시예에 따르면, 문자 변경은 예측된 또는 다음에 선택될 가능성이 높은 문자에 대한 사용자의 주의를 끌기 위해 이용될 수 있다. 일 실시예에 따르면, 문자 변경은, 디스플레이에서 문자를 제거, 디스플레이 상에 문자의 크기를 변경, 디스플레이 상에 문자의 투명도(opacity)를 변경(예를 들어, 문자를 더 투명하게 만듦), 디스플레이 주위에 문자를 이동(예를 들어, 어떤 문자를 더 눈에 띄게 보이도록 만듦), 또는 임의의 다른 적합한 방법을 포함할 수 있다.
도 147a 147c는 디스플레이(14702) 상에 사용자에 의해 선택되는 문자에 기초하여 문자를 변경하는 예시를 도시한다. 도 147a에서, 사용자는 디스플레이(14702) 상에 디스플레이된 전체 문자 집합(14704)으로부터 문자를 선택한다. 사용자는 이후 도 147c의 디스플레이(14702)에 디스플레이될 문자(14706)을 선택할 수 있다. 전체 문자 집합이 도 147a에 도시되어 있지만, 도 147b는 디스플레이(14702) 상의 H 표시에 기초하여, 소정 문자만을 디스플레이한다. 예를 들어, 선택될 가능성이 높은 문자들은, 문자 집합(14708)에 도시된 바와 같이, 모음(vowel)들을 굵게(bold) 함으로써, 강조될 수 있는 반면에, H 다음에 선택될 가능성이 희박한 문자들은 완전히 제거될 수 있다. 도 147c는 도 147a에서 사용자가 E를 선택한 것에 기초하여, 문자들의 제거 및 강조를 도시하는 다른 예시적인 문자 집합(14112)를 도시한다. 일 실시예에 따르면, 일단 하나 이상의 문자가 타이핑되면, 선택될 가능성이 낮은 문자들(예를 들어, 선택된 언어에서 단어를 형성하지 않는 것들)이 보이지 않게 되고, 예를 들어, 문자를 입력하는 사용자를 더 빠르고 덜 정확하게 돕기 위해, 나머지 단어들의 가상 터치 영역이 증가할 수 있다.
본 개시가 문자들의 집합들의 예시적인 레이아웃들을 설명하지만, 본 개시는 임의의 적합한 레이아웃을 고려한다. 예를 들어, 도 147a 147c는 시계 방향으로 배열된 알파벳 문자들을 도시한다. 도 148a는 반 시계방향으로 배열됨에 따라 첫 번째 및 마지막 문자를 도시한다(추가적인 문자들은 도 148a 148c에 도시되지 않음). 도 148c는 첫 번째와 마지막 문자 사이의 공백(14808)을 포함하는 반 시계방향 배열을 도시한다. 공백(14808)은 도 147a의 Z 및 A를 분리하는 공백보다 크다. 도 148b는 또한 도 147a에 도시된 끝 문자들 사이의 공백보다 상대적으로 큰 공백을 포함하는 시계방향 배열을 도시한다.
일 실시예에 따르면, 문자 레이아웃은 계층 또는 레벨 기반 구조로 표시될 수 있다. 도 150a 150d는 예시적인 계층적인 레이아웃을 도시한다. 도 150a는 첫 번째 레벨(15004) 및 두 번째 레벨(15006)을 가진 문자 레이아웃을 포함하는 디스플레이(15002)를 도시한다. 일 실시예에 따르면, 레벨(15004)는 사용자가 가장 빈번하게 선택하는 문자들을 포함할 수 있다. 일 실시예에 따르면, 레벨(15004)에 있는 문자를 탭하는 것은 해당 문자를 입력하는 결과를 낳는다. 일 실시예에 따르면, 레벨(15004)보다 하위 행을 탭하면, 터치 지점에 가장 가까운 레벨(15004) 내 문자가 입력될 수 있다. 일 실시예에 따르면, 사용자는 레벨(15004)에서 레벨(15006) 내 원하는 문자로, 아래쪽으로 스와이핑함으로써, 레벨(15006) 내 문자들을 선택할 수 있다.
일 실시예에 따르면, 계층화된 키보드는, 예를 들어, 가장 자주 선택된 문자들을 가지는 키보드와 같은, 작은 키보드로 압축될 수 있다. 여기에 보다 상세히 설명된 바와 같이, 압축은, 컨텍스트, 또는 사용자 명령에 기초할 수 있고, 디스플레이(특히 비교적 작은 스크린)의 비-문자 부분 상의 컨텐트에 대해 사용자가 용이하게 볼 수 있게 한다. 도 150b 150d는 도 150a에 디스플레이된 키보드의 압축된 버전들(15010, 15012, 15014)을 도시한다. 도 150b에 도시된 바와 같이, 일 실시예에 따르면, 일단 사용자가 첫 번째 레벨에서 두 번째 레벨로 스와이핑하면, 사용자는 두 번째 레벨에서 문자를 선택하기 위해 두 번?? 레벨 내에서 수평으로 스와이프할 수 있다.
일 실시예에 따르면, 디스플레이에 디스플레이된 문자들을 거쳐 사용자의 손가락들 중 하나와 같은, 객체를 연속적으로 스와이핑 함으로써, 사용자는 문자를 입력할 수 있다. 따라서, 사용자는 하나의 제스처로 한 단어 또는 복수의 단어들을 형성할 수 있는 복수의 문자들을 선택할 수 있다. 정확한 위치를 터치하지 않는 실수는 단어 예측 및 인식에 의해 수정될 수 있다. 일 실시예에 따르면, 사용자가 손가락을 디스플레이에서 제거할 때, 스와이핑된 문자들은 디스플레이에 추가된다. 일 실시예에 따르면, 텍스트 입력 후에, 공백 문자는 자동으로 추가될 수 있다. 일 실시예에 따르면, 제스처(수평 또는 수직 스와이프 또는 더블 탭과 같은)와 같은 임의의 적합한 입력은 공백 문자를 마침표, 쉼표, 또는 임의의 다른 적합한 문자로 변경할 수 있다. 본 개시는 여기에 보다 상세히 설명된 특정 예시들, 문자의 추가, 제거, 강조, 또는 재배열과 같은, 임의의 적합한 텍스트 변경을 포함하는 임의의 적합한 배열 또는 문자들의 디스플레이가 디스플레이 상에 디스플레이할 문자들을 선택하기 위해 스와이핑하는 것과 관련하여 이용될 수 있음을 고려한다. 예를 들어, 사용자가 문자를 스와이핑함에 따라, 도 147a 147c의 예시에서 설명한 바와 같이, 문자는 제거되거나 강조될 수 있다. 일 실시예에 따르면, 스와이핑은, 도 146a 146b에 도시된 바와 같이, 디스플레이의 가장자리 주위에 배열된 문자 집합을 가진 디스플레이의 중앙 근처와 같은, 미리 결정된 디스플레이의 위치에서 시작할 수 있다. 일 실시예에 따르면, 문자열을 생성하는 스와이핑 제스처를 가진 각각의 문자열을 동등하게 함으로써, 스와이핑은 일반적으로 입력된 문자열의 사용자 입력을 용이하게 할 수 있다.
도 151a 151d는 예시적인 문자 집합 배열들 및 디스플레이 상에 예시적인 문자열을 생성하는 예시적인 스와이핑 제스처를 도시한다. 도 151a는 직사각형 문자 집합(15104)를 포함하는 직사각형 디스플레이(15102)를 도시한다. 도 151a에 도시된 바와 같이, 문자열 apple을 생성하기 위해, 사용자의 손가락(15108)은 문자 집합(15104)을 거쳐 스와이핑 제스처(15106)을 생성할 수 있다. 도 151b에서, 사용자는 도시된 손가락 위치에서 시작하여, 디스플레이(15114) 상에 문자열 world를 생성하기 위해, 문자 집합(15112)를 거쳐 제스처(15114)를 생성할 수 있다. 도 151c에서, 사용자는 디스플레이(15116) 상에 문자열 upper를 생성하기 위해, 문자 집합(15118)을 거쳐 스와이핑 함으로써, 제스처(15122)를 생성할 수 있다. 도 151d에서, 사용자는 디스플레이(15126) 상에 문자열 hea를 생성하기 위해, 문자 집합(15124)을 거쳐 스와이핑 함으로써, 제스처(15128)를 생성할 수 있다. 일 실시예에 따르면, 첫 번째 문자가 스와이핑된 후 문자를 입력하기 위해, 사용자는 디스플레이의 중앙과 같은 디스플레이의 특정 영역으로 돌아와야 할 수 있다. 예를 들어, 도 151d에서, 사용자가 h를 스와이프한 후에, 사용자가 중앙을 통해 통과할 때까지 다른 문자가 입력되지 않고, e가 입력된 후에도, 동일하다. 일 실시예에 따르면, 도 151d에 도시된 바와 같이, 문자를 통해 스와이핑 함으로써, 선택이 일어날 수 있다. 일 실시예에 따르면, 도 151c에 도시된 바와 같이, 스와이핑 모션으로 문자를 에워쌈으로써, 선택이 일어날 수 있다.
일 실시예에 따르면, 사용자의 손가락이 스크린 상에 한 연속 드래그를 수행함으로써, 텍스트가 추가될 수 있다. 연속 애니메이션으로 손가락을 이동함에 따라, 디스플레이된 문자 집합이 이동하고, 모든 선택된 문자와 함께 추가될 문자들의 새로운 집합이 나타난다. 손가락의 해제는 애니메이션을 일시 정지할 수 있고, 따라서 사용자가 다른 기능들에 액세스할 수 있게 한다. 일단 스크린이 다시 터치되면, 일시 정지된 타이핑이 계속될 수 있다. 두 문자들 사이 또는 어떤 특정 문자들 사이의 공백은 또한 문자 집합 내에서 선택될 수 있다.
도 152a는 예시적인 텍스트 입력 부분(15204)를 도시한다. 예를 들어, 터치 지점(15206)에서 부분(15204) 또는 부분(15204)의 근처로 디스플레이(15202)상에서 스와이핑 함으로써, 사용자는 부분(15204)으로부터 문자들을 선택할 수 있다. 도 152b는 텍스트 입력의 예시를 도시한다. 사용자의 손가락이 부분(15210)을 가진 컨텍스트에 가까워지거나, 들어옴으로써, 선택을 위한 문자들을 가진 열들(15208)이 나타날 수 있다. 일 실시예에 따르면, 열들(15208)의 일부 또는 전부는 사용자가 문자들을 선택함에 따라 변경될 수 있고, 일부는 이미 선택된 문자들을 디스플레이할 수 있다. 예를 들어, 가장 왼쪽의 두 열(15208)에 의해 표시된 바와 같이, 사용자는 h 및 e를 선택했을 수 있다. 도 152c에 도시된 바와 같이, 도 152c의 열(15208)과 같은 열 내에서 수직으로 스와이핑 함으로써, 사용자는 열 내의 문자들을 선택할 수 있다. 일 실시예에 따르면, 디스플레이에 손가락 접촉을 유지하는 동안에, 이전에 선택된 문자들을 삭제하기 위해, 사용자는 이전에 선택된 문자를 통해 역으로 스와이프할 수 있다. 본 개시는 텍스트 선택 영역(15204)이 디스플레이(15202)의 임의의 적합한 부분에 임의의 적합한 형태를 취할 수 있음을 고려한다. 예를 들어, 일부는 수평 방향일 수 있고, 대응하는 애니메이션은 사용자 선택을 위한 문자들의 행으로 나타날 수 있다.
일 실시예에 따르면, 사용자의 손가락을 스크린 상에 한 연속 드래그를 수행함으로써, 텍스트가 입력될 수 있다. 예를 들어, 손가락은 도 153a의 터치 지점(15310)으로 나타난 바와 같이, 스크린의 하단의 중심과 같은, 미리 결정된 위치에 위치할 수 있다. 터치 지점(15310) 근처에 행(15308)을 끌어당겨, 문자 집합(15306)쪽으로 약간 이동함으로써, 사용자는 문자들을 선택할 수 있다. 텍스트 입력은 디스플레이 부분(15304) 상에 디스플레이될 수 있다. 예를 들어, 도 153a에서, 사용자가 h 후에 e를 터치 지점(15310)으로 끌어당긴다. 사용자는 문자들을 선택하고, 문자들의 방향으로 이동함으로써, 특정 문자들을 터치 지점(15310) 근처로 끌어당길 수 있다. 예를 들어, 도 153b에서, 터치 지점(15310)에서 문자 쪽으로 움직임으로써, 사용자는 f를 선택하였다. 따라서, hf는 부분(15304)에 디스플레이된다. 일 실시예에 따르면, 터치 지점에서 뒤쪽으로 이동(예를 들어, 행(15308)으로부터 멀리 이동)하는 것은 이전에 입력된 문자들을 삭제한다.
도 154a 154b는 직사각형 디스플레이의 둘레에 디스플레이된 문자 집합(15404)에 대한 전술한 실시예를 도시한다. 예를 들어, 도 154의 터치 지점(15408)과 같은, 디스플레이의 중앙 부분(15402)에 손가락을 위치시키고, 원하는 문자(들) 쪽으로 움직임으로써, 사용자는 문자들을 선택한다. 도 154b는 터치 지점(15408) 근처로 끌어당겨진 문자 집합(15410)을 도시한다. 일 실시예에 따르면, 정사각형(15406)과 같은 특정 문자는 공백을 입력할 수 있다. 일 실시예에 따르면, 부분(15402) 상에 왼쪽 또는 오른쪽 스와이프와 같은 제스처를 수행함으로써, 사용자는 이전에 입력된 문자를 삭제할 수 있다. 도 154c 154d는 원형 문자 집합(15414) 및 원형 중앙 부분(15412)를 가진, 기능적으로 유사한 원형 디스플레이를 도시한다. 예를 들어, 터치 지점(15416)에서 터치 지점(15416) 근처로 문자를 끌어당겨 이동시킴으로써, 도 154d의 문자 집합에 의해 디스플레이된 바와 같이, 사용자는 문자를 선택할 수 있다.
일 실시예에 따르면, 예를 들어, 연속 스와이핑하는 동안에 문자를 선택하는 것과 같이, 사용자가 문자를 입력으로 선택함에 따라, 문자들은 재배열될 수 있다.
도 155a - 155d는 스와이핑 동안에 문자 재배열의 예시들을 도시한다. 도 155a는 입력 텍스트 디스플레이 영역(15502) 및 초기 문자 집합(15504)를 가진 디스플레이를 도시한다. 초기 문자 집합은, 문자 집합의 가운데로 모음이 나타나는 것과 같은 임의의 적합한 구성을 가질 수 있다. 도 155b에서, 사용자는 터치 지점(15506)에서 문자 a를 선택하였고, 문자 집합(15508)은 문자 집합(15504)에 대하여 재배열된다. 예를 들어, a 다음에 입력될 가능성이 높은 문자는 터치 지점(15506) 가까이로 이동될 수 있다. 도 155c 155d는, 사용자가 스와이핑 함으로써 텍스트를 입력함에 따라, 문자 집합(15510) 및 문자 집합(15512) 각각에 대한 추가적인 재배열들을 도시한다. 여기에 설명된 스와이핑의 다른 예시들과 함께, 문자를 선택하기 위해, 문자에 일시 정지함으로써, 스와이핑 제스처 동안에, 사용자는 문자를 선택할 수 있다. 따라서, 사용자는 단순히 문자에 일시 정지하지 않고, 문자를 통해 통과함으로써, 사용자의 현재 터치 지점 바로 다음이 아닌 문자를 선택할 수 있다. 일 실시예에 따르면, 왼쪽 또는 오른쪽으로 스와이프와 같은 특정 제스처는 공백과 같은 특정 문자, 또는 이전 문자를 삭제하는 것과 같은 특정 기능을 야기할 수 있다.
일 실시예에 따르면, 소형 디스플레이 스크린은 제한된 버튼의 집합 또는 입력 필드(input field)를 초래할 수 있다. 예를 들어, 각각의 작은 가상 버튼을 치는 어려움을 보상하기 위해, 디스플레이는 복수의 터치 영역들로 그룹된 문자 집합을 포함할 수 있다. 일 실시예에 따르면, 다른 레이아웃들 및 그룹핑들은 문자 빈도, 문자 조합 빈도, 문자 인접성, 및/또는 컨텍스트 뿐만 아니라, 스크린의 상호작용의 물리적인 파라미터들에 기초할 수 있다.
일 실시예에 따르면, 사용자가 입력하고자 하는 문자(들)을 포함하는 그룹을 탭핑함으로써, 사용자는 텍스트를 입력할 수 있다. 이후, 단어 예측 엔진은 탭핑된 조합으로부터 의도되었을 가능성이 높은 문자열(예를 들어, 단어)을 계산한다. 일 실시예에 따르면, 추가적인 제안 단어들이 표시될 수 있거나, 선택된 단어로부터 액세스 가능할 수 있고, 사용자는 추가적인 단어들로부터, 예를 들어, 스와이핑에 의해 선택할 수 있다. 일 실시예에 따르면, 사용자는 미리 결정된 시간 내에 미리 결정된 회수로 그룹을 누름으로써, 각각의 문자를 선택할 수 있다. 각각의 미리 결정된 횟수는 특정 문자에 대응한다. 일 실시예에 따르면, 사용자는 원하는 문자가 나타나거나 입력될 때까지 그룹을 누르고 홀드(hold)함으로써, 각각의 문자를 그룹으로부터 선택할 수 있다.
도 156a 156h는 직사각형 스크린 상의 특정 그룹핑(15604)을 도시한다. 선택된 텍스트는 디스플레이 부분(15602)에 표시된다. 도 도 156a 156h에 도시된 바와 같이, 본 개시는 임의의 적합한 수, 형태, 위치, 분배, 영역, 및 문자의 종류 또는 유형을 가지는 임의의 적합한 그룹을 고려한다. 도 156i는 그룹들(15160) 및 텍스트 디스플레이 부분(15608)을 가진 원형 디스플레이를 도시한다. 도 156j 156n은 그룹들 및 다양한 유형의 텍스트 입력 영역을 가진 원형 디스플레이를 도시한다. 예를 들어, 도 156j는 입력 텍스트는 부분(15614)에 디스플레이될 수 있지만, 디스플레이의 하부 반원에 배열된 그룹들(15612)을 도시한다. 그룹들은, 예를 들어, 특정 문자들을 포함하는 반원형 그룹(15616)을 포함할 수 있다. 도 156l은 원형 디스플레이의 큰 부분에 배치된 그룹들(15618)을 도시하는데, 원형 디스플레이의 큰 부분은 충분히 커서 그룹(15620)은 원을 구성한다. 도 156n은 디스플레이의 쿼터(quarter)에 배치된 그룹들(15622)과 함께, 디스플레이의 가운데 또는 가운데 근처의 수평 부분에 배치된 텍스트 디스플레이 영역(15624)을 도시한다.
도 156o는 텍스트 디스플레이 부분(15626) 및 그룹들(15628)에 배열된 문자 집합을 가진 직사각형 디스플레이를 도시한다. 일 실시예에 따르면, 그룹들은 그룹의 윤곽을 그리는 선과는 다른 비쥬얼 인디케이터에 의해 나타내어질 수 있다. 예를 들어, 도 156p는 터치 지점들(15630, 15632)와 같은 보이는 터치 지점에 의한 그룹들을 도시한다. 각각의 그룹은 터치 지점과 가장 가까운 문자들로 구성된다. 예를 들어, 터치 지점(15630)은 문자 Q, W, 및 A를 포함한다. 일 실시예에 따르면, 사용자가 그룹 또는 그룹 내 문자를 터치할 때, 상기 그룹의 비쥬얼 인디케이터는 강조되고, 사용자가 선택한 그룹을 변경할 수 있게 한다.
일 실시예에 따르면, 사용자는 문자를 포함하는 그룹 상에 제스처를 수행함으로써 문자를 선택할 수 있다. 도 157a는 텍스트 디스플레이 부분(15702) 및 그룹들(15706)을 가진 직사각형 디스플레이를 도시한다. 사용자는 터치 지점(15708)을 손가락(15710)으로 터치하는 것과 같이, 그룹을 터치함으로써, 문자를 선택할 수 있다. 그룹으로부터 선택된 특정 문자는 터치 지점으로부터의 스와이프의 길이 및/또는 방향에 의해 결정될 수 있다. 예를 들어, 도 157a에서, f 보다는 g를 선택하기 위해, 사용자는 더 오른쪽에서 스와이프할 수 있다. 일 실시예에 따르면, 사용자의 선택을 용이하게 하기 위해, 그룹 내의 문자들은 디스플레이상에 디스플레이될 수 있다. 예를 들어, 도 157b는 사용자가 터치 지점(15716)을 터치한 경우, 수직 행에 디스플레이된 그룹(15717) 내의 문자들을 도시한다. 디스플레이된 위치로 스와이핑하는 것은 상기 위치에 디스플레이된 문자의 선택을 야기한다.
도 157c는 문자(15722)의 확대된 미리보기를 가진 문자 집합(15720)의 수평 레이아웃을 도시한다. 사용자는 터치 지점(15724)과 같은 곳에서 문자를 터치함으로써, 또는 원하는 문자를 선택하기 위해, 스크린을 터치하고 수평 또는 수직으로 스와이핑 함으로써, 문자를 선택할 수 있다. 선택된 문자는 텍스트 입력 영역(15718)에 디스플레이될 수 있다. 도 157d는 그룹들(15728)을 가진 예시적인 문자 집합을 도시한다. 사용자는 문자들을 입력하기 위해 그룹에서 텍스트 입력 영역(15726)으로 그룹들을 걸쳐 스와이프한다. 예를 들어, 디스플레이 상에 "Apple"을 입력하기 위해, 사용자는 스와이프 제스처(15730)를 실행할 수 있다. 다른 예시적인 실시예로서, 스와이핑 제스처를 수행하는 중 또는 후에 그룹으로부터 선택하기 위해, 사용자는 문자를 통해 스와이핑 함으로써, 문자를 선택할 수 있거나, 또는 문자 예측 엔진이 적절한 문자를 결정할 수 있다. 일 실시예에 따르면, 문자열이 디스플레이(15726) 상에 입력된 후에, 공백이 자동으로 추가될 수 있다. 일 실시예에 따르면, 제스처(수평 또는 수직 스와이프 또는 더블 탭과 같은)는 공백 문자를 마침표, 쉼표, 또는 임의의 다른 적합한 문자(들)로 변경할 수 있다.
도 158a 158b는 손목에 착용 가능한 디바이스의 스크린 상에 텍스트 입력을 용이하게 하는 키보드를 도시한다. 손가락이 스크린에서 시작하는 코너(corner)로부터 문자 집합을 위치시킴으로써, 스크린의 나머지 큰 부분은 사용자가 텍스트를 입력하는 동안에 사용자에게 보여질 수 있다. 도 158a에서와 같이, 왼 손에 디바이스를 착용하는 경우, 사용자는 오른쪽 하단 코너로부터 문자 집합(15804)과 오른손으로 상호작용할 수 있다. 디스플레이의 텍스트 입력 영역(15802)에 텍스트를 입력하기 위해, 사용자는 터치 지점(15806)으로부터, 또는터치 지점(15806) 상에 탭핑 또는 스와이핑 함으로써, 문자들을 선택할 수 있다. 도 158b에서와 같이, 오른 손에 디바이스를 착용하는 경우, 텍스트를 입력하기 위해, 사용자는, 예를 들어, 터치 지점(15810)으로부터, 또는터치 지점(15810) 상에 탭핑 또는 스와이핑 함으로써, 문자 집합(15808)(일 실시예에 따르면, 문자 집합(15804)의 미러 이미지(mirror image)이거나 아닐 수 있는)에 액세스할 수 있다. 일 실시예에 따르면, 추가적인 문자들에 액세스하기 위해, 사용자는 도 158a- 158b의 문자 집합의 반원을 회전할 수 있다. 덜 사용된 문자들이 스크린 상에 스와이프되는 동안에, 자주 사용된 문자들이 영구적으로 또는 처음에 표시될 수 있다. 일 실시예에 따르면, 손목에 착용 가능한 디바이스는 사용자가 디바이스를 착용하고 있는 손을 감지할 수 있고, 따라서, 디스플레이를 향할 수 있다.
일 실시예에 따르면, 특히 비교적 작은 스크린을 가진 디바이스에 있어, 예를 들어, 키보드와 같은, 사용자가 텍스트를 입력할 수 있는 스크린 공간을 가능한 적게 포함 할 수있는 인터페이스를 갖는 것이 바람직 할 수있다. 일 실시예에 따르면, 문자의 입력을 용이하게 하기 위해, 각각의 문자가 스크린 상에 구별된 위치를 가질 수 있지만, 하나 또는 매우 적은 문자들이 스크린에 동시에 표시될 수 있다.
도 159a 159c는 예시적인 텍스트 입력 인터페이스 디스플레이들을 도시한다. 입력 요소(또는 상호적인 요소)(15906)은 문자를 입력하기 위해 이용된다. 각각의 문자는 리본이라고 불릴 수 있는 입력 요소(15906) 내 특정 위치에 대응할 수 있다. 예를 들어, 도 159a는 위치(15908)에 대응하는 M을 도시한다. 선택되는 문자는 디스플레이 영역(15904)에서 사용자에게 디스플레이될 수 잇지만, 다른 컨텐트는 디스플레이 영역(15902)에 디스플레이될 수 있다. 다른 실시예에 적용될 수 있는 바와 같이, 예를 들어, 영역(15904)이 비교적 투명하여 사용자가 영역(15902)의 부분을 영역(15904)를 통해 볼 수 있도록, 디스플레이 영역(15904)은 디스플레이 영역(15902)에 오버레이될 수 있다. 문자들은 알파벳 순서와 같은 임의의 적합한 순서로 배열될 수 있다. 사용자가 입력 요소(15906)를 하나 이상의 손가락으로 터치하는 동안에, 입력 요소(15906)를 따라 손가락(들)을 슬라이딩하는 것은 디스플레이 영역(15904)에 디스플레이된 선택된 문자를 변경할 수 있다.
예를 들어, 도 159b는 A에 대응하는 터치 지점(15910)을 도시하고, 도 159b는 Z에 대응하는 터치 지점(15912)을 도시한다. 손가락이 입력 요소(15906)로부터 떨어지는 경우, 선택되었던 문자가 디스플레이에 텍스트로써 추가된다. 키보드와 함께, 작은 공백 공간만이 소형 스크린 상에 필요하지만, 사용자는 여전히 큰 문자 집합에 빠르게 액세스할 수 있다. 시간이 지남에 따라, 사용자는 문자들의 위치에 익숙해질 수 있고, 따라서 원하는 문자를 찾기 위해 스와이핑을 덜하게 될 수 있다. 일 실시예에 따르면, 디스플레이 영역(15904) 상에 제스처를 수행하는 것은 디스플레이된 텍스트를 추가, 수정, 제거, 또는 그렇지 않으면 변경할 수 있다. 일 예시로서, 오른쪽에서 왼쪽으로 스와이핑하는 것은 공백을 추가할 수 있지만, 왼쪽에서 오른쪽으로 스와이핑하는 것은 마지막으로 입력된 문자 또는 문자열을 삭제할 수 있다.
본 개시는 텍스트에 대한 리본이 디스플레이의 임의의 적합한 위치를 취할 수 있음을 고려한다. 예를 들어, 도 159d 159f는 디스플레이(15914) 상에 수직 터치 요소(15916)를 도시한다. 도 159d는 M에 대응하는 터치 위치(15918)을 도시하고, 도 159e는 A에 대응하는 터치 위치(15920)을 도시하고, 도 159f는 Z에 대응하는 터치 위치(15922)을 도시한다.
도 160은 텍스트 입력 영역(16004)을 가진 디스플레이(16002) 및 제안된 문자열 영역(16006)을 도시한다. 영역(16006)은 입력 영역(16004)으로부터 문자가 선택된 후에 나타날 수 있고, 제안된 문자열들은 사용자에 의해 선택될 가능성에 의해 분류될 수 있다. 예를 들어, 영역(16006)을 위 또는 아래로 스와이핑 함으로써, 사용자는 리스트를 브라우징할 수 있거나(browse), 또는 입력 영역(16004)으로부터 텍스트 입력을 계속할 수 있다. 예를 들어, 텍스트 입력 영역(16004)을 위 또는 아래로 스와이핑하는 것과 같은, 임의의 적합한 방법에 의해, 사용자는 문자들 사이에서 이동할 수 있다. 일 실시예에 따르면, 도 159a 159f에 도시된 바와 같이, 디스플레이 영역(16004)은 리본일 수 있다. 본 개시는 영역들(16002, 16004, 16006)이 임의의 적합한 형태 또는 크기를 취할 수 있고, 임의의 적합한 형태를 가진 디스플레이의 임의의 적합한 영역에 위치할 수 있음을 고려한다.
도 161은 텍스트 입력 영역(16104)을 가진 디스플레이(16102)를 도시한다. 사용자는 네비게이션 아이콘들(16108, 16110)을 이용하여 문자들 사이를 이동할 수 있다. 사용자가 현재 이동하는 문자 또는 문자열이 영역(16106)에 디스플레이된다. 예를 들어, 도 161에서, 사용자는 M으로 이동했다. 일 실시예에 따르면, 아이콘(16108)의 선택은 앞 또는 뒤로 한 문자를 이동할 수 있고, 아이콘(16110)의 선택은 앞 또는 뒤로 미리 결정된 단계의 개수를 이동할 수 있다. 아이콘(16108) 또는 아이콘(16110) 버튼을 누르는 것을 유지함으로써, 영역(16104)에 디스플레이된 문자(들)은 버튼이 해제될 때까지 계속 돌 수 있다. 아이콘들(16018, 16110)과의 상호작용은, 디스플레이 스크린 상의 가상 버튼 보다는 물리적인 버튼과의 상호작용과 같은, 임의의 적합한 방법에 의해 일어날 수 있다.
도 162는 텍스트 입력 영역(16206) 및 제안된 텍스트 영역(16204)을 가진 디스플레이(16202)를 도시한다. 예를 들어, 입력 영역(16206)을 수평으로 스와이핑함으로써, 문자 집합 내 문자들이 브라우징될 수 있다. 예를 들어, 지난 영역(16204)에 수직 스와이프 제스처와 같은, 미리 결정된 거리만큼 문자를 위로 빠르게 스와이핑 함으로써, 사용자는 문자를 입력할 수 있다. 일 실시예에 따르면, 제안된 텍스트 영역(16204)은 수평으로 스와이핑 함으로써 또한 스크롤(scroll)될 수 있고, 제안된 문자열의 선택은 원하는 열을 위로 가볍게 휙 넘김으써(flicking up) 이루어질 수 있다.
도 163은 스와이프 가능한 디스플레이 부분들(16304, 16306)을 가진 디스플레이 스크린을 도시한다. 일 실시예에 따르면, 스와이프 가능한 부분(16304)은 사용자 선택을 위한 문자들을 포함할 수 있고, 부분(16306)은 알파벳 문자, 숫자, 심볼, 유형 설정, 대문자화, 또는 임의의 다른 적합한 문자 또는 문자 관련 기능 사이에 부분(16304)을 토글(toggle)하는 기능을 포함할 수 있다. 예를 들어, 터치 영역(16308)상의 문자를 탭핑함으로써, 사용자는 입력 문자를 텍스트 디스플레이 부분(16302)를 입력할 수 있다.
본 개시는 텍스트 입력이 여기에 도시된 바와 같이 임의의 적합한 방법에 이해 이루어질 수 있음을 고려한다. 도 164a - 164b는 디바이스(16402)의 디스플레이 상에 텍스트를 입력하고 선택하기 위해, 원형 디바이스(16402)의 회전 가능한 요소(16406)을 이용한 예시적인 방법을 도시한다. 각각의 문자와 같이 입력될 텍스트는 디스플레이 부분(16404) 상에 디스플레이될 수 있다. 사용자는 회전 가능한 요소(16406)을 회전시킴으로써, 문자들 사이를 이동할 수 있다. 예를 들어, 부분(16404)에 디스플레이된 문자는 각각의 회전 단계에 따라 알파벳 순서대로 문자별로 변경할 수 있다. 여러 단계들을 빠른 회전 한번에 회전하는 것은 가속된 문자 선택을 위해 일대일 1비율을 변경할 수 있다. 시계방향으로 회전함으로써, 선택은 다음 문자로 이동할 수 있고, 반 시계방향으로 회전함으로써, 선택은 이전 문자로 이동할 수 있다. 예를 들어, 요소(16406)를 반 시계방향으로 한 단계 회전함에 따라 "B"에서 "A"로 전환될 수 있다. 디스플레이된 문자를 탭핑하거나. 짧은 시간동안 기다리는 것은 선택된 문자를 입력된 텍스트로서 추가할 수 있다. 일 실시예에 따르면, 선택을 위한 하나 이상의 문자가 디스플레이될 수 있다. 예를 들어, 도 164b는 입력 부분(16408) 상에 표시된 추가적인 문자들을 도시한다. 문자(16410)과 같은 문자들 중 하나가 다른 것들에 비해 강조될 수 있고, 이는 사용자가 영역(16408)을 탭하거나, 미리 결정된 시간동안 기다리면, 강조된 문자가 입력될 것임을 나타낸다.
도 165는 부분(16506)과 같은 문자 부분들을 포함하는 텍스트 입력 부분(16504)을 도시한다. 예를 들어, 적절한 부분을 스와이핑 또는 탭핑 함으로써, 문자들은 사용자가 선택할 수 있는 문자 부분으로 만들어질 수 있다. 예를 들어, 만들어지고 있는 문자로서 또는 완성된 문자가 구성된 후에, 생성된 문자들은 텍스트 디스플레이 부분(16502)에 디스플레이될 수 있다.
본 개시는 아이콘들, 및 키보드들 및 다른 여기에 설명된 버튼들을 포함하는 텍스트의 입력에 대한 디스플레이 영역들이 디바이스의 컨텍스트 또는, 사용자 명령에 기초하여, 또는 연달아 디스플레이될 수 있다.
명시적으로 달리 언급되거나, 문맥 상 달리 언급되지 않는 한, 여기에서, 또는은 배제적인 것이 아니고 포함적인 것이다. 따라서, 명시적으로 달리 언급되거나, 문맥 상 달리 언급되지 않는 한, 여기에서, A 또는 B는 A, B, 또는 A 및 B를 의미한다. 또한, 명시적으로 달리 언급되거나, 문맥 상 달리 언급되지 않는 한, 및은 개별 및 연대 모두를 의미할 수 있다. 따라서, 명시적으로 달리 언급되거나, 문맥 상 달리 언급되지 않는 한, 여기에서, A 및 B는 A 및B, 개별적으로 또는 연대적으로를 의미한다.
본 개시의 범위는 여기에 설명되거나 도시된 예시적인 실시예들에 대해, 본 기술분야의 통상의 기술자가 이해할수 있는 모든 변경, 대체, 변동, 변화, 및 변형을 포함한다. 본 개시의 범위는 여기에 설명되거나 도시된 예시적인 실시예들에 제한되지 않는다. 또한, 본 개시가 특정 구성요소, 요소, 특징, 기능, 동작. 또는 단계를 포함하는 각각의 실시예들을 설명 및 도시하지만, 실시예들 중 어느 하나는 여기에 설명되거나, 도시된 구성요소, 요소, 특징, 기능, 동작, 또는 단계 중 어느 하나에 본 기술분야의 통상의 기술자가 이해할수 있는 임의의 조합 또는 치환을 포함할 수 있다. 또한, 장치, 또는 시스템, 또는, 장치 또는 시스템의 구성요소에 대해 첨부된 청구 범위를 참조하여, 특정 기능을 수행하기 위해, 적용되거나, 배열되거나, 가능하게 되거나, 구성되거나, 활성화되거나, 동작 가능하거나, 또는 실시하도록, 장치, 시스템, 구성요소를 포함할 수 있다. 장치, 시스템, 또는 구성요소가 적용되거나, 배열되거나, 가능하게 되거나, 구성되거나, 활성화 되거나, 동작 가능하거나, 또는 실시 가능하기만 하면, 특정 기능이 활성화되거나, 켜지거나, 또는 잠금 해제되거나 또는 그렇지 않을 수 있다.
본 개시가 웨어러블 디바이스의 컨텍스트 내의 특정 구조, 특징, 상호작용, 및 기능을 설명하지만, 본 개시는 이러한 구조, 특징, 상호작용, 또는 기능이 적절하게 임의의 적합한 전자 디바이스(예를 들어, 스마트 폰, 태블릿, 카메라, 또는 개인 컴퓨팅 디바이스)에 적용되거나, 임의의 적합한 전자 디바이스에 대해 이용되거나, 임의의 적합한 전자 디바이스에서 이용될 수 있음을 고려한다.

Claims (56)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 디바이스가 문자를 입력하는 방법에 있어서,
    제1 영역과 상기 제1 영역과 분리된 제2 영역을 포함하고, 디스플레이 표면의 중심을 포함하는 안쪽 부분을 가지는 디스플레이의 표면의 바깥쪽 부분(portion)의 실질적인 부분(part) 상에 복수의 문자들을 디스플레이하는 단계;
    입력에 기초하여, 하나 이상의 디스플레이된 문자를 식별하는 단계; 및
    상기 입력이 발생하였다는 결정에 대한 응답으로, 상기 하나 이상의 식별된 문자를 포함하는 입력된 텍스트를 상기 디스플레이의 부분 상에 디스플레이하는 단계;를 포함하고,
    상기 입력에 기초하여, 하나 이상의 디스플레이된 문자를 식별하는 단계;는,
    상기 안쪽 부분의 상기 제1 영역에 대한 사용자의 손가락 간의 접촉를 식별하는 단계;
    상기 디스플레이에 대해 상기 사용자의 손가락이 접촉하는 동안, 상기 안쪽 부분의 상기 제1 영역에서 상기 안쪽 부분의 상기 제2 영역을 통과하여 상기 바깥쪽 부분으로 향하는 상기 사용자의 손가락의 제1 움직임을 식별하는 단계; 및
    상기 제1 움직임의 수행 후에, 상기 사용자의 손가락에 의해 스와이핑된 제1 문자를 식별하는 단계;를 포함하고,
    상기 제1 영역과의 접촉은 상기 하나 이상의 디스플레이된 문자를 식별하기 위해 요구되는 접촉인, 방법.
  23. 제 22항에 있어서,
    상기 디스플레이는 실질적으로 원형 디스플레이를 포함하고, 상기 바깥쪽 및 상기 안쪽 부분은 실질적으로 원형인, 방법.
  24. 제 23항에 있어서, 상기 디바이스는,
    상기 디스플레이에 대해 회전 가능한 요소;
    상기 회전 가능한 요소의 회전을 검출하는 검출기; 및
    상기 디바이스의 본체와 결합된 밴드;를 포함하는, 방법.
  25. 제 24항에 있어서,
    상기 회전 가능한 요소의 상기 회전을 결정하는 단계; 및
    상기 회전에 기초하여, 상기 바깥쪽 부분 상에 디스플레이된 적어도 하나의 문자를 선택하는 단계;를 더 포함하는, 방법.
  26. 제 23항에 있어서,
    상기 바깥쪽 부분은 상기 디스플레이의 표면 근처이거나, 바깥쪽 가장자리에 있는, 방법.
  27. 제 22항에 있어서,
    상기 디스플레이는 실질적으로 직사각형 디스플레이를 포함하고, 상기 바깥쪽 및 상기 안쪽 부분은 실질적으로 직사각형인, 방법.
  28. 제 27항에 있어서,
    상기 바깥쪽 부분은 상기 디스플레이의 표면 근처이거나, 바깥쪽 가장자리에 있는, 방법.
  29. 삭제
  30. 제 22항에 있어서, 제2 입력이 발생했다는 결정에 응답하여 제2 문자를 식별하는 단계;를 더 포함하고, 상기 제2 입력은,
    상기 디스플레이에 대해 상기 사용자의 손가락이 접촉하는 동안, 상기 바깥쪽 부분에서 상기 안쪽 부분의 상기 제2 영역을 통과하여 상기 안쪽 부분의 상기 제1 영역으로의 상기 사용자의 손가락의 제2 움직임;
    상기 디스플레이에 상기 사용자의 손가락이 접촉된 상태에서, 상기 안쪽 부분의 제1 영역에서 상기 안쪽 부분의 상기 제2 영역을 통과하여 상기 바깥쪽 부분으로의 상기 사용자의 손가락의 제3 움직임; 및
    상기 제3 움직임을 수행한 후에, 상기 사용자의 손가락에 의해 스와이핑된 상기 제1 문자;를 포함하는, 방법.
  31. 제 30항에 있어서,
    상기 제3 움직임은 상기 바깥쪽 부분에서 또는 중심 근처에서 상기 디스플레이의 상기 중심으로의 스와이핑을 포함하는, 방법.
  32. 제 22항에 있어서,
    식별된 문자들에 기초하여, 상기 바깥쪽 부분 상에 디스플레이된 하나 이상의 문자를 제거, 하이라이트, 또는 강조하지 않는 동작 중 적어도 하나를 수행하는 단계;를 더 포함하는, 방법.
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 디바이스에 있어서,
    디스플레이;
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서에 의해 실행될 수 있는 동작 가능한 명령을 포함하는 메모리;를 포함하고,
    상기 적어도 하나의 프로세서는,
    제1 영역과 상기 제1 영역과 분리된 제2 영역을 포함하고, 상기 디스플레이의 표면의 중심을 포함하는 안쪽 부분을 가지는 상기 디스플레이의 표면의 바깥쪽 부분(portion)의 실질적인 부분(part) 상에 복수의 문자들을 디스플레이하고,
    입력에 기초하여, 하나 이상의 디스플레이된 문자를 식별하고,
    상기 입력이 발생하였다는 결정에 대한 응답으로, 상기 하나 이상의 식별된 문자를 포함하는 입력된 텍스트를 상기 디스플레이의 부분 상에 디스플레이하며,
    상기 적어도 하나의 프로세서는,
    상기 안쪽 부분의 상기 제1 영역에 대한 사용자의 손가락 간의 접촉을 식별하고,
    상기 디스플레이에 대해 상기 사용자의 손가락이 접촉하는 동안, 상기 안쪽 부분의 상기 제1 영역에서 상기 안쪽 부분의 상기 제2 영역을 통과하여 상기 바깥쪽 부분으로 향하는 상기 사용자의 손가락의 제1 움직임을 식별하고,
    상기 제1 움직임의 수행 후에, 상기 사용자의 손가락에 의해 스와이핑된 제1 문자를 식별하고,
    상기 제1 영역과의 접촉은 상기 하나 이상의 디스플레이된 문자를 식별하기 위해 요구되는 접촉인, 디바이스.
  47. 제 46항에 있어서,
    상기 디스플레이는 실질적으로 원형 디스플레이를 포함하고, 상기 바깥쪽 및 상기 안쪽 부분은 실질적으로 원형인, 디바이스.
  48. 제 47항에 있어서, 상기 디바이스는,
    상기 디스플레이에 대해 회전 가능한 요소;
    상기 회전 가능한 요소의 회전을 검출하는 검출기; 및
    상기 디바이스의 본체와 결합된 밴드;를 더 포함하는, 디바이스.
  49. 제 48항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 회전 가능한 요소의 상기 회전을 결정하고,
    상기 회전에 기초하여, 상기 바깥쪽 부분 상에 디스플레이된 적어도 하나의 문자를 선택하는, 디바이스.
  50. 제 47항에 있어서,
    상기 바깥쪽 부분은 상기 디스플레이의 표면 근처이거나, 바깥쪽 가장자리에 있는, 디바이스.
  51. 제 46항에 있어서,
    상기 디스플레이는 실질적으로 직사각형 디스플레이를 포함하고, 상기 바깥쪽 및 상기 안쪽 부분은 실질적으로 직사각형인, 디바이스.
  52. 제 51항에 있어서,
    상기 바깥쪽 부분은 상기 디스플레이의 표면 근처이거나, 바깥쪽 가장자리에 있는, 디바이스.
  53. 제 46항에 있어서, 상기 적어도 하나의 프로세서는, 제2 입력이 발생했다는 결정에 응답하여 제2 문자를 식별하고,
    상기 제2 입력은,
    상기 디스플레이에 대해 상기 사용자의 손가락이 접촉하는 동안, 상기 바깥쪽 부분에서 상기 안쪽 부분의 상기 제2 영역을 통과하여 상기 안쪽 부분의 상기 제1 영역으로의 상기 사용자의 손가락의 제2 움직임,
    상기 디스플레이에 상기 사용자의 손가락이 접촉된 상태에서, 상기 안쪽 부분의 제1 영역에서 상기 안쪽 부분의 상기 제2 영역을 통과하여 상기 바깥쪽 부분으로의 상기 사용자의 손가락의 제3 움직임, 및
    상기 제3 움직임을 수행한 후에, 상기 사용자의 손가락에 의해 스와이핑된 상기 제1 문자를 포함하는, 디바이스.
  54. 제 53항에 있어서,
    상기 제3 움직임은 상기 바깥쪽 부분에서 또는 중심 근처에서 상기 디스플레이의 상기 중심으로의 스와이핑을 포함하는, 디바이스.
  55. 제 46항에 있어서, 상기 적어도 하나의 프로세서는,
    식별된 문자들에 기초하여, 상기 바깥쪽 부분 상에 디스플레이된 하나 이상의 문자를 제거하거나, 하이라이트하거나, 강조하지 않도록 구성된, 디바이스.
  56. 제1 영역과 상기 제1 영역과 분리된 제2 영역을 포함하고, 디스플레이 표면의 중심을 포함하는 안쪽 부분을 가지는 디스플레이의 표면의 바깥쪽 부분(portion)의 실질적인 부분(part) 상에 복수의 문자들을 디스플레이하는 단계;
    입력에 기초하여, 하나 이상의 디스플레이된 문자를 식별하는 단계;
    상기 입력에 기초하여, 하나 이상의 디스플레이된 문자를 식별하는 단계;는,
    상기 안쪽 부분의 상기 제1 영역에 대한 사용자의 손가락 간의 접촉를 식별하는 단계;
    상기 디스플레이에 대해 상기 사용자의 손가락이 접촉하는 동안, 상기 안쪽 부분의 상기 제1 영역에서 상기 안쪽 부분의 상기 제2 영역을 통과하여 상기 바깥쪽 부분으로 향하는 상기 사용자의 손가락의 제1 움직임을 식별하는 단계; 및
    상기 제1 움직임의 수행 후에, 상기 사용자의 손가락에 의해 스와이핑된 제1 문자를 식별하는 단계;를 포함하고,
    상기 제1 영역과의 접촉은 상기 하나 이상의 디스플레이된 문자를 식별하기 위해 요구되는 접촉이며,
    상기 입력이 발생하였다는 결정에 대한 응답으로, 상기 하나 이상의 식별된 문자를 포함하는 입력된 텍스트를 상기 디스플레이의 부분 상에 디스플레이하는 단계;를 실행하기 위해, 하나 이상의 프로세서에 의해 실행될 수 있는 동작 가능한 명령을 포함하는 하나 이상의 비 일시적인 컴퓨터 판독가능 저장 매체.
KR1020167026992A 2014-02-28 2015-03-02 대화형 디스플레이 상 텍스트 입력 KR102319421B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461946509P 2014-02-28 2014-02-28
US61/946,509 2014-02-28
US14/633,673 US10691332B2 (en) 2014-02-28 2015-02-27 Text input on an interactive display
US14/633,673 2015-02-27
PCT/KR2015/001992 WO2015130150A1 (en) 2014-02-28 2015-03-02 Text input on an interactive display

Publications (2)

Publication Number Publication Date
KR20160128378A KR20160128378A (ko) 2016-11-07
KR102319421B1 true KR102319421B1 (ko) 2021-10-29

Family

ID=54006783

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167026992A KR102319421B1 (ko) 2014-02-28 2015-03-02 대화형 디스플레이 상 텍스트 입력

Country Status (5)

Country Link
US (1) US10691332B2 (ko)
EP (1) EP3111314A4 (ko)
KR (1) KR102319421B1 (ko)
CN (1) CN106233240B (ko)
WO (1) WO2015130150A1 (ko)

Families Citing this family (137)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997020305A1 (en) * 1995-11-30 1997-06-05 Virtual Technologies, Inc. Tactile feedback man-machine interface device
US8074172B2 (en) 2007-01-05 2011-12-06 Apple Inc. Method, system, and graphical user interface for providing word recommendations
TWI439960B (zh) 2010-04-07 2014-06-01 Apple Inc 虛擬使用者編輯環境
US9459781B2 (en) 2012-05-09 2016-10-04 Apple Inc. Context-specific user interfaces for displaying animated sequences
NL2010357C2 (en) * 2013-02-14 2014-08-18 Optelec Dev B V Low vision device and method for recording and displaying an object on a screen.
US11422695B2 (en) * 2013-03-27 2022-08-23 Texas Instruments Incorporated Radial based user interface on touch sensitive screen
KR20160016747A (ko) * 2013-06-07 2016-02-15 임머숀 코퍼레이션 햅틱 효과 핸드쉐이크 잠금 해제
US9465985B2 (en) 2013-06-09 2016-10-11 Apple Inc. Managing real-time handwriting recognition
USD791793S1 (en) 2013-12-05 2017-07-11 Nikon Corporation Display screen with graphical user interface
USD765668S1 (en) * 2013-12-05 2016-09-06 Nikon Corporation Display screen with graphical user interface
USD750646S1 (en) * 2013-12-26 2016-03-01 Omron Healthcare Co., Ltd. Display screen of mobile device with graphical user interface
JP2017508229A (ja) * 2014-02-28 2017-03-23 グプタ ヴィカスＧＵＰＴＡ， Ｖｉｋａｓ ジェスチャによって操作する手首装着型カメラシステム
CN105204796B (zh) * 2014-06-17 2019-01-15 联想(北京)有限公司 一种信息处理方法及电子设备
USD763866S1 (en) * 2014-06-26 2016-08-16 Xiaomi Inc. Display screen or portion thereof with a graphical user interface
USD763865S1 (en) * 2014-06-26 2016-08-16 Xiaomi Inc. Display screen or portion thereof with a graphical user interface
USD751090S1 (en) * 2014-06-26 2016-03-08 Xiaomi Inc. Display screen or portion thereof with a graphical user interface
USD760735S1 (en) * 2014-06-26 2016-07-05 Xiaomi Inc. Display screen or portion thereof with a graphical user interface
EP3161603B1 (en) 2014-06-27 2019-10-16 Apple Inc. Manipulation of calendar application in device with touch screen
USD789974S1 (en) * 2014-07-18 2017-06-20 Xiaomi Inc. Display screen or portion thereof with animated graphical user interface
WO2016014601A2 (en) 2014-07-21 2016-01-28 Apple Inc. Remote user interface
USD823312S1 (en) * 2014-08-11 2018-07-17 Sony Corporation Display panel or screen with graphical user interface
US10452253B2 (en) 2014-08-15 2019-10-22 Apple Inc. Weather user interface
EP3189406B1 (en) 2014-09-02 2022-09-07 Apple Inc. Phone user interface
US10261674B2 (en) * 2014-09-05 2019-04-16 Microsoft Technology Licensing, Llc Display-efficient text entry and editing
CN105446608A (zh) * 2014-09-25 2016-03-30 阿里巴巴集团控股有限公司 信息搜索方法、信息搜索装置及电子装置
KR20170120174A (ko) * 2015-03-03 2017-10-30 임머숀 코퍼레이션 웨어러블 장치 표면 햅틱 상호 작용
WO2016144385A1 (en) 2015-03-08 2016-09-15 Apple Inc. Sharing user-configurable graphical constructs
US9690400B2 (en) * 2015-04-21 2017-06-27 Dell Products L.P. Information handling system interactive totems
US11243640B2 (en) 2015-04-21 2022-02-08 Dell Products L.P. Information handling system modular capacitive mat with extension coupling devices
US9720446B2 (en) 2015-04-21 2017-08-01 Dell Products L.P. Information handling system projected work space calibration
US9804733B2 (en) 2015-04-21 2017-10-31 Dell Products L.P. Dynamic cursor focus in a multi-display information handling system environment
US9983717B2 (en) 2015-04-21 2018-05-29 Dell Products L.P. Disambiguation of false touch inputs at an information handling system projected user interface
US9921644B2 (en) 2015-04-21 2018-03-20 Dell Products L.P. Information handling system non-linear user interface
US9804718B2 (en) 2015-04-21 2017-10-31 Dell Products L.P. Context based peripheral management for interacting with an information handling system
US10139854B2 (en) 2015-04-21 2018-11-27 Dell Products L.P. Dynamic display resolution management for an immersed information handling system environment
US9791979B2 (en) 2015-04-21 2017-10-17 Dell Products L.P. Managing inputs at an information handling system by adaptive infrared illumination and detection
US9720550B2 (en) 2015-04-21 2017-08-01 Dell Products L.P. Adaptable input active zones at an information handling system projected user interface
US9753591B2 (en) 2015-04-21 2017-09-05 Dell Products L.P. Capacitive mat information handling system display and totem interactions
US11106314B2 (en) 2015-04-21 2021-08-31 Dell Products L.P. Continuous calibration of an information handling system projected user interface
USD795917S1 (en) 2015-05-17 2017-08-29 Google Inc. Display screen with an animated graphical user interface
US10042548B2 (en) 2015-06-02 2018-08-07 Facebook, Inc. Methods and systems for providing user feedback using an emotion scale
US11327640B2 (en) 2015-06-05 2022-05-10 Apple Inc. Providing complications on an electronic device
US10175866B2 (en) 2015-06-05 2019-01-08 Apple Inc. Providing complications on an electronic watch
US9916075B2 (en) 2015-06-05 2018-03-13 Apple Inc. Formatting content for a reduced-size user interface
US10572571B2 (en) * 2015-06-05 2020-02-25 Apple Inc. API for specifying display of complication on an electronic watch
KR101685891B1 (ko) * 2015-07-21 2016-12-13 현대자동차주식회사 터치 입력장치 및 터치 입력장치의 제어방법
KR102430941B1 (ko) * 2015-08-11 2022-08-10 삼성전자주식회사 생체 상태 정보 제공 방법 및 이를 지원하는 전자 장치
EP3337583B1 (en) 2015-08-20 2024-01-17 Apple Inc. Exercise-based watch face
USD823859S1 (en) * 2015-08-28 2018-07-24 Snap Inc. Display screen portion having graphical user interface with transitional icon
USD786297S1 (en) * 2015-09-02 2017-05-09 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
USD786914S1 (en) * 2015-09-07 2017-05-16 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
KR102483379B1 (ko) * 2015-09-21 2023-01-02 삼성디스플레이 주식회사 표시장치
US20170102697A1 (en) * 2015-10-08 2017-04-13 General Motors Llc Selecting a vehicle function to control using a wearable electronic device
USD786916S1 (en) * 2015-10-29 2017-05-16 Samsung Electronics Co., Ltd. Display screen or portion thereof with graphical user interface
US10137777B2 (en) 2015-11-03 2018-11-27 GM Global Technology Operations LLC Systems and methods for vehicle system control based on physiological traits
KR102413657B1 (ko) * 2015-11-05 2022-06-28 삼성전자주식회사 회전체의 회전 인식 방법 및 그 방법을 처리하는 전자 장치
US20170131775A1 (en) * 2015-11-10 2017-05-11 Castar, Inc. System and method of haptic feedback by referral of sensation
JP6470674B2 (ja) * 2015-12-22 2019-02-13 ミネベアミツミ株式会社 携帯機器
USD800768S1 (en) * 2015-12-24 2017-10-24 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
USD800767S1 (en) * 2015-12-24 2017-10-24 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
KR102588521B1 (ko) * 2016-01-04 2023-10-13 삼성전자주식회사 전자 장치에서 데이터를 표시하는 장치 및 방법
USD813888S1 (en) * 2016-02-04 2018-03-27 Coway Co., Ltd. Display screen with graphical user interface
KR101767070B1 (ko) * 2016-04-21 2017-08-10 현대자동차주식회사 차량, 및 그 제어방법
USD801985S1 (en) * 2016-05-27 2017-11-07 Samsung Electronics Co., Ltd. Display screen with graphical user interface
DK201770423A1 (en) 2016-06-11 2018-01-15 Apple Inc Activity and workout updates
DK179329B1 (en) 2016-06-12 2018-05-07 Apple Inc Handwriting keyboard for monitors
US10514822B2 (en) * 2016-08-24 2019-12-24 Motorola Solutions, Inc. Systems and methods for text entry for multi-user text-based communication
US10496216B2 (en) 2016-11-09 2019-12-03 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
US10139951B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system variable capacitance totem input management
US10146366B2 (en) 2016-11-09 2018-12-04 Dell Products L.P. Information handling system capacitive touch totem with optical communication support
US10139930B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system capacitive touch totem management
US10139973B2 (en) 2016-11-09 2018-11-27 Dell Products L.P. Information handling system totem tracking management
EP3555865A4 (en) * 2016-12-13 2020-07-08 Magic Leap, Inc. RENDERING OF 3D OBJECTS BY DETECTING CHARACTERISTICS
USD823879S1 (en) * 2016-12-22 2018-07-24 Omron Healthcare Co., Ltd. Display screen with graphical user interface for a sphygmomanometer with wireless communication device
CN106686497B (zh) * 2016-12-27 2020-04-24 广东小天才科技有限公司 一种可穿戴设备的音量调整方法及可穿戴设备
US20180232136A1 (en) * 2017-02-14 2018-08-16 Fitbit, Inc. Gestural swipe user input
CN106873899A (zh) * 2017-03-21 2017-06-20 网易（杭州）网络有限公司 输入信息的获取方法及装置、存储介质和处理器
USD846566S1 (en) * 2017-03-27 2019-04-23 Samsung Electronics Co., Ltd. Display screen or portion thereof with transitional graphical user interface
US10627911B2 (en) 2017-04-25 2020-04-21 International Business Machines Corporation Remote interaction with content of a transparent display
DK179412B1 (en) 2017-05-12 2018-06-06 Apple Inc Context-Specific User Interfaces
US11120264B2 (en) 2017-06-02 2021-09-14 Apple Inc. Augmented reality interface for facilitating identification of arriving vehicle
US10558278B2 (en) 2017-07-11 2020-02-11 Apple Inc. Interacting with an electronic device through physical movement
WO2019071594A1 (zh) * 2017-10-09 2019-04-18 华为技术有限公司 一种显示处理方法及电子设备
US11301836B2 (en) * 2017-10-12 2022-04-12 Ncr Corporation Portable point-of-sale (POS) device
USD843864S1 (en) 2017-11-07 2019-03-26 Fitbit, Inc. Low-profile fitness tracker
US10134084B1 (en) * 2017-11-17 2018-11-20 Capital One Services, Llc Augmented reality systems for facilitating a purchasing process at a merchant location
US10459528B2 (en) 2018-02-28 2019-10-29 Dell Products L.P. Information handling system enhanced gesture management, control and detection
GB2572386B (en) * 2018-03-28 2021-05-19 Canon Europa Nv An image processing system and an image processing method
CN108594935B (zh) * 2018-04-10 2021-09-07 努比亚技术有限公司 一种穿戴设备控制方法、设备及计算机可读存储介质
US11327650B2 (en) * 2018-05-07 2022-05-10 Apple Inc. User interfaces having a collection of complications
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
DK180078B1 (en) 2018-05-07 2020-03-31 Apple Inc. USER INTERFACE FOR AVATAR CREATION
US10978018B2 (en) * 2018-05-29 2021-04-13 Samsung Electronics Co., Ltd. Virtual reality resource management for virtual reality head mounted display devices
US11023055B2 (en) * 2018-06-01 2021-06-01 Apple Inc. Devices, methods, and graphical user interfaces for an electronic device interacting with a stylus
USD871435S1 (en) * 2018-06-06 2019-12-31 Fennec Corp. Display screen or portion thereof with animated graphical user interface
US10817077B2 (en) 2018-06-28 2020-10-27 Dell Products, L.P. Information handling system touch device context aware input tracking
US10852853B2 (en) 2018-06-28 2020-12-01 Dell Products L.P. Information handling system touch device with visually interactive region
US10635199B2 (en) 2018-06-28 2020-04-28 Dell Products L.P. Information handling system dynamic friction touch device for touchscreen interactions
US10761618B2 (en) 2018-06-28 2020-09-01 Dell Products L.P. Information handling system touch device with automatically orienting visual display
US10664101B2 (en) 2018-06-28 2020-05-26 Dell Products L.P. Information handling system touch device false touch detection and mitigation
US10795502B2 (en) 2018-06-28 2020-10-06 Dell Products L.P. Information handling system touch device with adaptive haptic response
US10831346B2 (en) * 2018-10-30 2020-11-10 International Business Machines Corporation Ergonomic and sensor analysis based user experience design
USD910011S1 (en) 2019-04-25 2021-02-09 Fitbit, Inc. Smart watch
USD910617S1 (en) 2018-11-06 2021-02-16 Firbit, Inc. Smart watch
US11131967B2 (en) 2019-05-06 2021-09-28 Apple Inc. Clock faces for an electronic device
CN113157190A (zh) 2019-05-06 2021-07-23 苹果公司 电子设备的受限操作
US11960701B2 (en) 2019-05-06 2024-04-16 Apple Inc. Using an illustration to show the passing of time
US11194467B2 (en) 2019-06-01 2021-12-07 Apple Inc. Keyboard management user interfaces
KR20210016752A (ko) * 2019-08-05 2021-02-17 윤현진 중증 환자를 위한 영문 입력자판
USD923652S1 (en) * 2019-08-23 2021-06-29 Beijing Xiaomi Mobile Software Co., Ltd. Display screen or portion thereof with animated graphical user interface
US10878782B1 (en) 2019-09-09 2020-12-29 Apple Inc. Techniques for managing display usage
USD900810S1 (en) * 2019-09-20 2020-11-03 Shenzhen Yawell Intelligent Technology Co., Ltd. Smart bracelet
USD901492S1 (en) * 2019-09-26 2020-11-10 Shenzhen Yawell Intelligent Technology Co., Ltd. Smart bracelet
USD900809S1 (en) * 2019-11-04 2020-11-03 Shenzhen Yawell Intelligent Technology Co., Ltd. Smart bracelet
US11009969B1 (en) 2019-12-03 2021-05-18 International Business Machines Corporation Interactive data input
USD901493S1 (en) * 2019-12-12 2020-11-10 Jinfeng Gao Smart watch
CN111064847B (zh) * 2019-12-14 2021-05-07 惠州Tcl移动通信有限公司 一种防误触方法、装置、存储介质及电子设备
US11360651B2 (en) * 2020-02-14 2022-06-14 Dtoor Inc. Spc Mobile communication system with charging station and circular user interface
JP1670002S (ko) * 2020-03-17 2020-10-12
JP1684573S (ko) * 2020-03-17 2021-05-10
CN115552375A (zh) 2020-05-11 2022-12-30 苹果公司 用于管理用户界面共享的用户界面
DK181103B1 (en) 2020-05-11 2022-12-15 Apple Inc User interfaces related to time
US11921998B2 (en) * 2020-05-11 2024-03-05 Apple Inc. Editing features of an avatar
US11372659B2 (en) 2020-05-11 2022-06-28 Apple Inc. User interfaces for managing user interface sharing
USD973680S1 (en) * 2020-09-02 2022-12-27 Mitsubishi Heavy Industries, Ltd. Display screen with graphical user interface
US11694590B2 (en) 2020-12-21 2023-07-04 Apple Inc. Dynamic user interface with time indicator
US11720239B2 (en) 2021-01-07 2023-08-08 Apple Inc. Techniques for user interfaces related to an event
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11995230B2 (en) 2021-02-11 2024-05-28 Apple Inc. Methods for presenting and sharing content in an environment
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
US11921992B2 (en) 2021-05-14 2024-03-05 Apple Inc. User interfaces related to time
US20220374085A1 (en) * 2021-05-19 2022-11-24 Apple Inc. Navigating user interfaces using hand gestures
US11714536B2 (en) 2021-05-21 2023-08-01 Apple Inc. Avatar sticker editor user interfaces
US20220382383A1 (en) * 2021-05-27 2022-12-01 Arlo Technologies, Inc. Monitoring System and Method Having Gesture Detection
US11776190B2 (en) 2021-06-04 2023-10-03 Apple Inc. Techniques for managing an avatar on a lock screen
WO2023049705A1 (en) * 2021-09-23 2023-03-30 Apple Inc. Devices, methods, and graphical user interfaces for content applications
US11949808B2 (en) * 2022-03-04 2024-04-02 Humane, Inc. Context-sensitive home screens for use with wearable multimedia devices

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001060137A (ja) * 1999-08-23 2001-03-06 Seiko Epson Corp 情報処理装置および情報入力方法
US20140049477A1 (en) * 2012-08-14 2014-02-20 Motorola Mobility Llc Systems and Methods for Touch-Based Two-Stage Text Input

Family Cites Families (494)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2473226A (en) 1946-08-22 1949-06-14 Sheldon Lillian Wrist band
US3062369A (en) 1960-08-30 1962-11-06 Esber E Moubayed Leak-proof variable-volume holder for frozen confections
US3477285A (en) 1967-08-04 1969-11-11 Joseph M Krafft Four-lobed diametral-strain gage
US3915534A (en) 1967-08-15 1975-10-28 Joslyn Mfg & Supply Co Grounded surface distribution apparatus
USD249874S (en) 1976-10-12 1978-10-10 Texas Instruments Incorporated Digital wrist watch
US4757456A (en) 1981-05-19 1988-07-12 Ralph Benghiat Device and method for utility meter reading
US4427303A (en) 1982-06-17 1984-01-24 Hermann Hirsch Leder Und Kunstoffwarenfabrik Electronic wristwatch
USD282914S (en) 1983-10-13 1986-03-11 Jeffrey Maron Indicator watch
USD284949S (en) 1984-04-16 1986-08-05 Kong Hung W Watch frame
USD299463S (en) 1985-08-21 1989-01-17 Divetronic Ag Wrist computer for divers
USD297121S (en) 1985-12-03 1988-08-09 Porsche Design Gmbh Sport watch
US4636047A (en) 1986-03-21 1987-01-13 Green Ronald N Wrist watch mirror accessory
USD302664S (en) 1986-09-08 1989-08-08 Dawson Jr Melvyn H Electronic watch
USD300678S (en) 1987-06-11 1989-04-11 Moulinex, Societe Anonyme Re-charging stand for a cordless electric iron
US4906207A (en) 1989-04-24 1990-03-06 W. L. Gore & Associates, Inc. Dielectric restrainer
USD362396S (en) 1990-06-27 1995-09-19 Chester Edna L Wristwatch
USD335263S (en) 1990-06-28 1993-05-04 Willis John E Wristband
USD351558S (en) 1991-11-06 1994-10-18 Junho Moon Wrist watch
US6400996B1 (en) 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
USD355132S (en) 1992-02-28 1995-02-07 Kenneth Williams Combined sweatband and watch
USD347589S (en) 1992-03-12 1994-06-07 Labate Joseph A Wrist band and mounting for a tape measure
US5418760A (en) 1992-08-18 1995-05-23 Casio Computer Co., Ltd. Electronic devices with a liquid crystal display
USD356960S (en) 1993-02-03 1995-04-04 Societe Nouvelle Chaumet S.A. Watch with band portions
US5361169A (en) 1993-04-29 1994-11-01 Deal Jerry L Diver's mirror
USD365550S (en) 1993-05-17 1995-12-26 Timex Corporation Personal digital assistant to be worn on a wrist
USD366036S (en) 1993-05-28 1996-01-09 Timex Corporation Personal digital assistant to be worn on a wrist
USD386696S (en) 1995-02-16 1997-11-25 Christophe Walch Multipiece plastic wristwatch
US5832296A (en) 1995-04-26 1998-11-03 Interval Research Corp. Wearable context sensitive user interface for interacting with plurality of electronic devices of interest to the user
USD372878S (en) 1995-05-09 1996-08-20 Danny Finnegan Workman's magnetic wrist band for holding small metal objects
JPH0985983A (ja) 1995-09-21 1997-03-31 Canon Inc プリンタ制御装置
US6636635B2 (en) 1995-11-01 2003-10-21 Canon Kabushiki Kaisha Object extraction method, and image sensing apparatus using the method
USD383985S (en) 1995-12-22 1997-09-23 Doris Davenport Combination watch and pager
US6047301A (en) 1996-05-24 2000-04-04 International Business Machines Corporation Wearable computer
USD384661S (en) 1996-08-28 1997-10-07 Garmin Corporation Portable handheld combination GPS and communication transceiver
JP3321053B2 (ja) 1996-10-18 2002-09-03 株式会社東芝 情報入力装置及び情報入力方法及び補正データ生成装置
US20040210479A1 (en) 1996-10-25 2004-10-21 Ipf, Inc. Internet-based brand marketing communication instrumentation network for deploying, installing and remotely programming brand-building server-side driven multi-mode virtual kiosks on the World Wide Web (WWW), and methods of brand marketing communication between brand marketers and consumers using the same
US6747680B1 (en) 1999-12-13 2004-06-08 Microsoft Corporation Speed-dependent automatic zooming interface
WO1999025152A2 (en) 1997-11-07 1999-05-20 Via, Inc. Interactive devices and methods
USD410854S (en) 1997-12-11 1999-06-15 Imus Co., Ltd. Wrist watch
US5915580A (en) 1997-12-24 1999-06-29 Outer Circle Products, Ltd. Container covering
USD401515S (en) 1998-01-23 1998-11-24 Yacov Yida Watch
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
USD404317S (en) 1998-02-05 1999-01-19 Bernice M Cameron Bottle mounted timer
JP2000050133A (ja) 1998-02-10 2000-02-18 Asulab Sa 低電力消費の携帯用物体、特にカメラおよび無線デ―タ伝送手段を含む時計
US6031525A (en) * 1998-04-01 2000-02-29 New York University Method and apparatus for writing
JPH11298362A (ja) 1998-04-06 1999-10-29 Sony Corp 小型携帯端末
USD416814S (en) 1998-05-15 1999-11-23 Nancy Lynn Welsh Ring having a time piece mounted within its central finger opening
US6573883B1 (en) 1998-06-24 2003-06-03 Hewlett Packard Development Company, L.P. Method and apparatus for controlling a computing device with gestures
US7854684B1 (en) 1998-06-24 2010-12-21 Samsung Electronics Co., Ltd. Wearable device
JP3627531B2 (ja) 1998-09-30 2005-03-09 セイコーエプソン株式会社 情報処理装置
JP2002528811A (ja) 1998-10-28 2002-09-03 ヴィーア・インコーポレイテッド 柔軟−剛性ユーザーインターフェースデバイス及び方法
JP3988102B2 (ja) 1998-11-06 2007-10-10 富士フイルム株式会社 腕装着型カメラ
US7225229B1 (en) 1998-12-18 2007-05-29 Tangis Corporation Automated pushing of computer user's context data to clients
USD413817S (en) 1998-12-18 1999-09-14 Casio Keisanki Kabushiki Kaisha Watch case with global positioning system
USD422223S (en) 1998-12-22 2000-04-04 Gucci Timepieces Sa Wristwatch
US20040209657A1 (en) 1999-01-04 2004-10-21 Yoram Ghassabian Wrist-mounted telephone device
JP2000267797A (ja) 1999-03-15 2000-09-29 Seiko Epson Corp 情報処理装置
US7293231B1 (en) 1999-03-18 2007-11-06 British Columbia Ltd. Data entry for personal computing devices
GB2350523B (en) 1999-05-26 2003-11-26 Nokia Mobile Phones Ltd Communication device
US6359837B1 (en) 1999-06-30 2002-03-19 Casio Computer Co., Ltd. Camera, camera system, information recording system, timepiece, and link system for camera and timepiece
ES2262279T3 (es) 1999-08-25 2006-11-16 Swatch Ag Reloj comprendiendo un dispositivo de mando sin contacto de un cursor de ordenador.
USD433949S (en) 1999-10-04 2000-11-21 Chanel, Inc. Wrist watch case
US6424743B1 (en) 1999-11-05 2002-07-23 Motorola, Inc. Graphical handwriting recognition user interface
JP2001167054A (ja) 1999-12-09 2001-06-22 Casio Comput Co Ltd 携帯情報機器、認証装置及び認証システム
USD434675S (en) 1999-12-13 2000-12-05 Casio Keisanki Kabushiki Kaisha Watch case with global positioning system
JP2001251542A (ja) 1999-12-28 2001-09-14 Casio Comput Co Ltd 携帯型撮像機器
JP2005174356A (ja) 2000-02-01 2005-06-30 Toshiba Corp 方向検出方法
GB2365676B (en) 2000-02-18 2004-06-23 Sensei Ltd Mobile telephone with improved man-machine interface
GB0004688D0 (en) 2000-02-28 2000-04-19 Radley Smith Philip J Bracelet
US6597345B2 (en) 2000-03-03 2003-07-22 Jetway Technologies Ltd. Multifunctional keypad on touch screen
JP2001344039A (ja) 2000-03-31 2001-12-14 Seiko Epson Corp 情報処理装置、情報処理装置の制御方法および情報処理装置の制御プログラム
USD453005S1 (en) 2000-04-26 2002-01-22 Dinh Van Wrist-watch
JP4042340B2 (ja) 2000-05-17 2008-02-06 カシオ計算機株式会社 情報機器
JP2001344352A (ja) 2000-05-31 2001-12-14 Toshiba Corp 生活支援装置および生活支援方法および広告情報提供方法
USD455356S1 (en) 2000-06-19 2002-04-09 Rainer Saffer Watch
US7016707B2 (en) 2000-06-21 2006-03-21 Seiko Epson Corporation Mobile telephone and radio communication device cooperatively processing incoming call
US6714233B2 (en) 2000-06-21 2004-03-30 Seiko Epson Corporation Mobile video telephone system
US6556222B1 (en) 2000-06-30 2003-04-29 International Business Machines Corporation Bezel based input mechanism and user interface for a smart watch
US7477890B1 (en) 2000-06-30 2009-01-13 International Business Machines Corporation Demand pull—multichannel asynchronous data and application synchronization for pervasive devices
US7081905B1 (en) 2000-06-30 2006-07-25 International Business Machines Corporation Method and apparatus for dynamically controlling scroller speed employed for a user interface of a wearable appliance
US6477117B1 (en) 2000-06-30 2002-11-05 International Business Machines Corporation Alarm interface for a smart watch
JP3785902B2 (ja) 2000-07-11 2006-06-14 インターナショナル・ビジネス・マシーンズ・コーポレーション デバイス、デバイスの制御方法、ポインタの移動方法
JP2002099476A (ja) 2000-09-26 2002-04-05 Sanyo Electric Co Ltd ソフトウェア配信方法、ソフトウェア配信装置、およびこれらを利用可能なユーザ端末
USD463296S1 (en) 2000-10-23 2002-09-24 Eseoghene Esther Sanomi Wrist radius watch
JP3948260B2 (ja) 2000-11-22 2007-07-25 松下電器産業株式会社 テキスト入力方法及びその装置
JP2002257955A (ja) 2000-12-25 2002-09-11 Seiko Epson Corp 通信機能付腕時計装置、情報表示方法、制御プログラム及び記録媒体
JP3613177B2 (ja) 2000-12-26 2005-01-26 インターナショナル・ビジネス・マシーンズ・コーポレーション 入力対象選択装置及び方法
USD460430S1 (en) 2000-12-28 2002-07-16 Seiko Instruments Inc. Mobile phone
US20020135615A1 (en) 2001-01-31 2002-09-26 Microsoft Corporation Overlaid display for electronic devices
US20020101457A1 (en) 2001-01-31 2002-08-01 Microsoft Corporation Bezel interface for small computing devices
US6744427B2 (en) * 2001-03-01 2004-06-01 International Business Machines Corporation Character input interface for compact electronic devices
US6937135B2 (en) 2001-05-30 2005-08-30 Hewlett-Packard Development Company, L.P. Face and environment sensing watch
JP2003018923A (ja) 2001-07-09 2003-01-21 Onga Eng:Kk ハウス開閉装置
US6774796B2 (en) 2001-08-01 2004-08-10 Motorola, Inc. Master authenticator
EP1282018A1 (en) 2001-08-03 2003-02-05 Nokia Corporation A wearable electronic device
USD459352S1 (en) 2001-08-10 2002-06-25 Michael C. Giovanniello Wireless mouse wristband
US20130080143A1 (en) 2011-09-27 2013-03-28 Paul E. Reeves Unified desktop docking behavior with device as master
US20030046228A1 (en) 2001-08-28 2003-03-06 Jean-Marc Berney User-wearable functional jewelry with biometrics and smartcard to remotely sign and/or authenticate to e-services
US7634403B2 (en) 2001-09-05 2009-12-15 Voice Signal Technologies, Inc. Word recognition using word transformation commands
JP2003131785A (ja) 2001-10-22 2003-05-09 Toshiba Corp インタフェース装置および操作制御方法およびプログラム製品
US6990662B2 (en) 2001-10-31 2006-01-24 Hewlett-Packard Development Company, L.P. Method and system for offloading execution and resources for resource-constrained networked devices
US6744423B2 (en) 2001-11-19 2004-06-01 Nokia Corporation Communication terminal having a predictive character editor application
US8176432B2 (en) 2001-11-20 2012-05-08 UEI Electronics Inc. Hand held remote control device having an improved user interface
US7091964B2 (en) 2001-11-30 2006-08-15 Palm, Inc. Electronic device with bezel feature for receiving input
TWI258647B (en) 2001-12-27 2006-07-21 Asulab Sa Control method for executing functions in a diary watch
GB0201074D0 (en) 2002-01-18 2002-03-06 3G Lab Ltd Graphic user interface for data processing device
GB2384395A (en) 2002-01-19 2003-07-23 Hewlett Packard Co Personal article capable of receiving specified items or data
US7111788B2 (en) 2002-04-22 2006-09-26 Nokia Corporation System and method for navigating applications using a graphical user interface
WO2003096669A2 (en) 2002-05-10 2003-11-20 Reisman Richard R Method and apparatus for browsing using multiple coordinated device
US8001488B1 (en) 2002-05-31 2011-08-16 Hewlett-Packard Development Company, L.P. User interface dial with display
JP2004021893A (ja) 2002-06-20 2004-01-22 Sony Corp 携帯情報通信端末、プログラムおよび該プログラムを記録した記録媒体
US9886309B2 (en) 2002-06-28 2018-02-06 Microsoft Technology Licensing, Llc Identity-based distributed computing for device resources
US6968508B2 (en) 2002-07-30 2005-11-22 Motorola, Inc. Rotating user interface
JP2004072450A (ja) 2002-08-07 2004-03-04 Casio Comput Co Ltd 電子カメラ
US7386855B2 (en) 2002-08-12 2008-06-10 Ntt Docomo, Inc. Application mobility service
USD474982S1 (en) 2002-08-15 2003-05-27 Nike, Inc. Portion of a watch
US7036007B2 (en) 2002-09-09 2006-04-25 Intel Corporation Firmware architecture supporting safe updates and multiple processor types
JP2004184396A (ja) 2002-10-09 2004-07-02 Seiko Epson Corp 表示装置、時計、表示装置の制御方法、制御プログラムおよび記録媒体
JP2004178584A (ja) 2002-11-26 2004-06-24 Asulab Sa 機能、装置、又は所定の場所にアクセスするためのタッチスクリーンによるセキュリティコードの入力方法、及びその方法を実行するためのデバイス
US7199786B2 (en) 2002-11-29 2007-04-03 Daniel Suraqui Reduced keyboards system using unistroke input and having automatic disambiguating and a recognition method using said system
US20040130581A1 (en) 2003-01-03 2004-07-08 Microsoft Corporation Interaction model
JP2004259063A (ja) 2003-02-26 2004-09-16 Sony Corp ３次元オブジェクトの表示処理装置、表示処理方法およびコンピュータプログラム
JP2004288172A (ja) 2003-03-04 2004-10-14 Sony Corp 入力装置、情報端末装置およびモード切替方法
US7096048B2 (en) 2003-04-01 2006-08-22 Sanders Donald T Portable communications device
KR100617681B1 (ko) 2003-04-15 2006-08-28 삼성전자주식회사 휴대용 단말기의 회전키 장치 사용 방법
EP1624732A4 (en) 2003-05-14 2009-01-21 Panasonic Corp DEVICE AND METHOD FOR TURNING A HIGH VOLTAGE DISCHARGE LAMP
US20040261031A1 (en) 2003-06-23 2004-12-23 Nokia Corporation Context dependent auxiliary menu elements
US7567239B2 (en) 2003-06-26 2009-07-28 Motorola, Inc. Method and system for message and note composition on small screen devices
KR100590528B1 (ko) 2003-06-28 2006-06-15 삼성전자주식회사 착용형 손가락 움직임 감지장치 및 이를 이용한 손가락의움직임 감지방법
US20050001821A1 (en) 2003-07-02 2005-01-06 Low Tse How Option selector and electronic device including such an option selector
US7874917B2 (en) 2003-09-15 2011-01-25 Sony Computer Entertainment Inc. Methods and systems for enabling depth and direction detection when interfacing with a computer program
US7478390B2 (en) 2003-09-25 2009-01-13 International Business Machines Corporation Task queue management of virtual devices using a plurality of processors
US20050137470A1 (en) 2003-12-08 2005-06-23 Rosenthal Robert D. Method and apparatus for low blood glucose level detection
KR100571428B1 (ko) 2003-12-24 2006-04-17 한국전자통신연구원 착용형 인터페이스 장치
WO2005065404A2 (en) 2003-12-31 2005-07-21 James Marin Rotating bezel watch
US7872669B2 (en) 2004-01-22 2011-01-18 Massachusetts Institute Of Technology Photo-based mobile deixis system and related techniques
USD546712S1 (en) 2004-02-13 2007-07-17 Cartier Creation Studio Sa Watch
US7398151B1 (en) 2004-02-25 2008-07-08 Garmin Ltd. Wearable electronic device
WO2005083546A1 (en) 2004-02-27 2005-09-09 Simon Richard Daniel Wearable modular interface strap
JP2005244676A (ja) 2004-02-27 2005-09-08 Dowango:Kk リモコンシステム
GB2411337B (en) 2004-02-27 2006-12-06 Simon Richard Daniel Modular interface strap for multi-unit wristband and necklace assemblies
US8886298B2 (en) 2004-03-01 2014-11-11 Microsoft Corporation Recall device
US7301529B2 (en) 2004-03-23 2007-11-27 Fujitsu Limited Context dependent gesture response
EP1728142B1 (en) 2004-03-23 2010-08-04 Fujitsu Ltd. Distinguishing tilt and translation motion components in handheld devices
US7173604B2 (en) 2004-03-23 2007-02-06 Fujitsu Limited Gesture identification of controlled devices
US20060081714A1 (en) 2004-08-23 2006-04-20 King Martin T Portable scanning device
TWI370979B (en) 2004-05-14 2012-08-21 Ibm Grid computing system, information processing unit, job execution request generation unit, control method, program, and recording medium
US7404146B2 (en) 2004-05-27 2008-07-22 Agere Systems Inc. Input device for portable handset
JP4379214B2 (ja) 2004-06-10 2009-12-09 日本電気株式会社 携帯端末装置
US7840681B2 (en) 2004-07-30 2010-11-23 International Business Machines Corporation Method and apparatus for integrating wearable devices within a SIP infrastructure
US20060253010A1 (en) 2004-09-28 2006-11-09 Donald Brady Monitoring device, method and system
USD519396S1 (en) 2004-10-06 2006-04-25 Giochi Preziosi S.P.A. Strap for a watch
US20060092177A1 (en) 2004-10-30 2006-05-04 Gabor Blasko Input method and apparatus using tactile guidance and bi-directional segmented stroke
USD526973S1 (en) 2004-11-17 2006-08-22 Xirrus, Inc. Electronic device housing
WO2006059454A1 (ja) 2004-11-30 2006-06-08 Konica Minolta Holdings, Inc. 情報処理装置
TWM277958U (en) 2004-12-31 2005-10-11 Ind Tech Res Inst An flexible displaying device for electronic information includes a device housing
US20060149652A1 (en) 2005-01-06 2006-07-06 Fellenstein Craig W Receiving bid requests and pricing bid responses for potential grid job submissions within a grid environment
US20060197835A1 (en) 2005-03-04 2006-09-07 Anderson Robert C Wrist-attached display system for unmanned vehicle imagery and communication
USD527297S1 (en) 2005-03-22 2006-08-29 Rolex Watch U.S.A., Inc. Watch face
JP2006279137A (ja) 2005-03-28 2006-10-12 Sharp Corp リモコンシステム
US20060224766A1 (en) 2005-03-31 2006-10-05 Malackowski Donald W Operating room communication bus and method
US20060288233A1 (en) 2005-04-25 2006-12-21 Douglas Kozlay Attachable biometric authentication apparatus for watchbands and other personal items
ITUD20050074A1 (it) 2005-05-11 2006-11-12 Eurotech S P A Dispositivo di risparmio energetico per un'apparecchiatura elettronica portatile
US8117540B2 (en) 2005-05-18 2012-02-14 Neuer Wall Treuhand Gmbh Method and device incorporating improved text input mechanism
US9606634B2 (en) 2005-05-18 2017-03-28 Nokia Technologies Oy Device incorporating improved text input mechanism
US20060271867A1 (en) 2005-05-27 2006-11-30 Wang Kong Q Mobile communications terminal and method therefore
DK1900103T3 (da) 2005-06-16 2011-08-15 Firooz Ghassabian Datainputsystem
US7487467B1 (en) 2005-06-23 2009-02-03 Sun Microsystems, Inc. Visual representation and other effects for application management on a device with a small screen
US20070004969A1 (en) 2005-06-29 2007-01-04 Microsoft Corporation Health monitor
JP2007014471A (ja) 2005-07-06 2007-01-25 Sumitomo Precision Prod Co Ltd 無線センサ端末
USD550105S1 (en) 2005-07-18 2007-09-04 Garmin Ltd. GPS exercise monitoring device
KR100814395B1 (ko) 2005-08-30 2008-03-18 삼성전자주식회사 조그 키와 사방향 키를 이용한 사용자 인터페이스 제어장치 및 그 방법
JP2007064758A (ja) 2005-08-30 2007-03-15 Sony Corp 携帯型電子機器、表示制御プログラム、表示制御方法、時計装置
JP4676303B2 (ja) 2005-10-18 2011-04-27 株式会社日立製作所 端末装置
US20070100244A1 (en) 2005-10-31 2007-05-03 Chin-Shu Lin Wrist-worn monitor for heartbeat detection
US7454841B2 (en) 2005-11-01 2008-11-25 Hunter Engineering Company Method and apparatus for wheel alignment system target projection and illumination
USD547211S1 (en) 2005-11-10 2007-07-24 Dias M Carlos Wrist watch
KR100761262B1 (ko) 2005-12-28 2007-09-28 엘지전자 주식회사 이동통신단말기의 문자입력 장치
EP1890238B1 (en) 2005-12-28 2011-10-19 Panasonic Electric Works Co., Ltd. Distributed functional processing system in a network
US7860536B2 (en) 2006-01-05 2010-12-28 Apple Inc. Telephone interface for a portable communication device
USD537409S1 (en) 2006-01-10 2007-02-27 Sony Corporation Combined charger and infrared ray emitter
JP5220278B2 (ja) 2006-01-27 2013-06-26 任天堂株式会社 ゲーム装置および手書き入力プログラム
USD537371S1 (en) 2006-02-03 2007-02-27 Bell & Ross B.V. Watch
USD529402S1 (en) 2006-02-13 2006-10-03 Nike, Inc. Portion of a watch
USD528928S1 (en) 2006-02-14 2006-09-26 Nike, Inc. Portion of a watch
US8730156B2 (en) 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
KR100754674B1 (ko) 2006-03-10 2007-09-03 삼성전자주식회사 휴대 단말의 메뉴 선택 방법 및 장치
USD537738S1 (en) 2006-03-17 2007-03-06 Citizen Tokei Kabushiki Kaisha Wrist watch case with band
US8436810B2 (en) 2006-03-21 2013-05-07 Koninklijke Philips Electronics N.V. Indication of the condition of a user
USD545305S1 (en) 2006-03-22 2007-06-26 Mulcahy Michael R Personal data assistant, particularly for the visually impaired
JP4516042B2 (ja) 2006-03-27 2010-08-04 株式会社東芝 機器操作装置および機器操作方法
USD574263S1 (en) 2006-03-28 2008-08-05 The British Masters Sa Wristwatch
US9395905B2 (en) * 2006-04-05 2016-07-19 Synaptics Incorporated Graphical scroll wheel
GB2437592A (en) 2006-04-10 2007-10-31 Skype Ltd Indicating communication events on an alternative interface whilst running an application on another interface
US8644396B2 (en) 2006-04-18 2014-02-04 Qualcomm Incorporated Waveform encoding for wireless applications
US7382691B2 (en) 2006-04-21 2008-06-03 Nixon, Inc. Multifunction watch system and method
USD543122S1 (en) 2006-05-10 2007-05-22 Ronald Lafever Combined flexible band and clip-on watch
US7558622B2 (en) 2006-05-24 2009-07-07 Bao Tran Mesh network stroke monitoring appliance
US7539532B2 (en) 2006-05-12 2009-05-26 Bao Tran Cuffless blood pressure monitoring appliance
USD568175S1 (en) 2006-05-19 2008-05-06 Lorenz S.P.A. Wrist watch
EP1860534A1 (en) 2006-05-22 2007-11-28 LG Electronics Inc. Mobile terminal and menu display method thereof
KR100782927B1 (ko) * 2006-06-27 2007-12-07 삼성전자주식회사 휴대용 단말기에서 문자 입력 장치 및 방법
USD554636S1 (en) 2006-06-27 2007-11-06 Qualcomm Incorporated Media display unit
US20080018591A1 (en) 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
USD558207S1 (en) 2006-07-28 2007-12-25 Microsoft Corporation Docking station
USD558209S1 (en) 2006-07-28 2007-12-25 Microsoft Corporation Docking station
USD558208S1 (en) 2006-07-28 2007-12-25 Microsoft Corporation Docking station
US8511890B2 (en) 2006-08-27 2013-08-20 Nike, Inc. Rocking bezel control
USD602858S1 (en) 2006-09-06 2009-10-27 Amx Llc Remote control charging base
US8243017B2 (en) 2006-09-11 2012-08-14 Apple Inc. Menu overlay including context dependent menu icon
US8564543B2 (en) 2006-09-11 2013-10-22 Apple Inc. Media player with imaged based browsing
USD550614S1 (en) 2006-09-22 2007-09-11 10Charge, Inc. Battery charger
JP2008089039A (ja) 2006-09-29 2008-04-17 Jtekt Corp 円すいころ軸受及びディファレンシャル装置
US7714839B2 (en) 2006-09-29 2010-05-11 Sony Ericsson Mobile Communications Ab Jog dial for mobile terminal
US7463557B2 (en) 2006-10-06 2008-12-09 Timex Group B.V. Electronic device with changeable display configurations
US7925986B2 (en) 2006-10-06 2011-04-12 Veveo, Inc. Methods and systems for a linear character selection display interface for ambiguous text input
US7667148B2 (en) 2006-10-13 2010-02-23 Apple Inc. Method, device, and graphical user interface for dialing with a click wheel
US8355709B2 (en) 2006-10-23 2013-01-15 Qualcomm Incorporated Device that determines whether to launch an application locally or remotely as a webapp
USD575289S1 (en) 2006-12-11 2008-08-19 Hon Hai Precision Ind. Co., Ltd. Dock connector
USD545697S1 (en) 2007-01-10 2007-07-03 Nike, Inc. Portion of a watch
KR100896055B1 (ko) 2007-01-15 2009-05-07 엘지전자 주식회사 회전입력장치 구비 이동단말기 및 그 디스플레이 방법
US8311530B2 (en) 2007-01-26 2012-11-13 Research In Motion Limited Touch entry of password on a mobile device
US7966039B2 (en) 2007-02-02 2011-06-21 Microsoft Corporation Bidirectional dynamic offloading of tasks between a host and a mobile device
US8789053B2 (en) 2007-04-05 2014-07-22 Newton Howard Task execution and delegation by autonomous mobile agents based on intent knowledge base
EP2153631B1 (en) 2007-04-26 2020-02-12 Nokia Technologies Oy Improved method and apparatus for switching between different modes in a mobile communication terminal
USD590727S1 (en) 2007-04-27 2009-04-21 New Heritage Ltd. Watch case
USD590277S1 (en) 2007-04-27 2009-04-14 New Heritage Ltd. Watch case
US8472665B2 (en) 2007-05-04 2013-06-25 Qualcomm Incorporated Camera-based user input for compact devices
USD604643S1 (en) 2007-05-16 2009-11-24 Suunto Oy Multi-function wristwatch
US8442015B2 (en) 2007-07-20 2013-05-14 Broadcom Corporation Method and system for an atomizing function of a mobile device
JP2009005320A (ja) 2007-06-21 2009-01-08 Rumiko Aso 腕時計型携帯電話
US10178965B2 (en) 2007-06-22 2019-01-15 Ipventure, Inc. Activity monitoring system for pregnant women
KR101515089B1 (ko) 2007-08-16 2015-04-24 삼성전자 주식회사 그래픽 사용자 인터페이스 제공 장치 및 방법
US8676273B1 (en) 2007-08-24 2014-03-18 Iwao Fujisaki Communication device
US8593404B2 (en) 2007-08-27 2013-11-26 Blackberry Limited Reduced key arrangement for a mobile communication device
US7778118B2 (en) 2007-08-28 2010-08-17 Garmin Ltd. Watch device having touch-bezel user interface
ES1066912Y (es) 2007-09-13 2008-07-01 Fagor S Coop Dispositivo de control remoto para aparatos electrodomesticos
JP4960812B2 (ja) 2007-09-14 2012-06-27 株式会社リコー 画像処理装置、負荷分散システム及び負荷分散プログラム
JP5184018B2 (ja) 2007-09-14 2013-04-17 京セラ株式会社 電子機器
CN107066862B (zh) 2007-09-24 2022-11-25 苹果公司 电子设备中的嵌入式验证系统
KR100949581B1 (ko) 2007-10-08 2010-03-25 주식회사 자코드 통신단말기의 문자/숫자 입력장치 및 입력방법
US8031172B2 (en) 2007-10-12 2011-10-04 Immersion Corporation Method and apparatus for wearable remote interface device
US8639214B1 (en) 2007-10-26 2014-01-28 Iwao Fujisaki Communication device
US20090134838A1 (en) 2007-11-27 2009-05-28 Puthalath Koroth Raghuprasad Circular self-powered magnetic generator
USD564367S1 (en) 2007-11-30 2008-03-18 Nike, Inc. Watch
US20090167486A1 (en) 2007-12-29 2009-07-02 Shah Rahul C Secure association between devices
US9467850B2 (en) 2007-12-31 2016-10-11 Intel Corporation Handheld device association via shared vibration
US7946758B2 (en) 2008-01-31 2011-05-24 WIMM Labs Modular movement that is fully functional standalone and interchangeable in other portable devices
RU74259U1 (ru) 2008-02-19 2008-06-20 Татаренков Валерий Владимирович Мобильный телефон-браслет
US8555207B2 (en) 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
US9398046B2 (en) 2008-03-06 2016-07-19 Qualcomm Incorporated Image-based man-in-the-middle protection in numeric comparison association models
US20090234967A1 (en) 2008-03-17 2009-09-17 Nokia Corporation Method, system, and apparatus for transferring P2P file distribution tasks between devices
USD585898S1 (en) 2008-04-01 2009-02-03 Sdi Technologies, Inc. Base unit for digital media player
US8949743B2 (en) 2008-04-22 2015-02-03 Apple Inc. Language input interface on a device
US20110287757A1 (en) 2008-05-08 2011-11-24 Unify4Life Corporation Remote control system and method
US20090280861A1 (en) 2008-05-09 2009-11-12 Ashana Sabana Nisha Khan Multifunctional all-in-one detachable wrist wireless mobile communication device
US8638229B2 (en) 2008-05-29 2014-01-28 Garmin Switzerland Gmbh Swim watch
US8295879B2 (en) 2008-05-30 2012-10-23 Motorola Mobility Llc Devices and methods for initiating functions based on movement characteristics relative to a reference
DE102008027746A1 (de) 2008-06-11 2009-12-17 Kirner, Markus A. Armbanduhranordnung mit Mobiltelefon
JP2009301485A (ja) 2008-06-17 2009-12-24 Olympus Corp 情報表示システムおよびそれを用いた携帯情報端末
US8112526B2 (en) 2008-06-24 2012-02-07 International Business Machines Corporation Process migration based on service availability in a multi-node environment
US8447704B2 (en) 2008-06-26 2013-05-21 Microsoft Corporation Recognizing gestures from forearm EMG signals
US8078873B2 (en) 2008-06-30 2011-12-13 Intel Corporation Two-way authentication between two communication endpoints using a one-way out-of-band (OOB) channel
US20100020033A1 (en) 2008-07-23 2010-01-28 Obinna Ihenacho Alozie Nwosu System, method and computer program product for a virtual keyboard
KR101546774B1 (ko) 2008-07-29 2015-08-24 엘지전자 주식회사 휴대 단말기 및 그 동작제어 방법
US20100039393A1 (en) 2008-08-15 2010-02-18 At&T Intellectual Property I, L.P. Text entry on touch screen cellphones by different pressure levels
JP4899108B2 (ja) 2008-08-24 2012-03-21 照彦 矢上 腕時計型電子メモ装置
US8319742B2 (en) 2008-08-26 2012-11-27 Research In Motion Limited Portable electronic device and method of controlling same
KR20100028465A (ko) 2008-09-04 2010-03-12 백상주 포인터의 드래그 방향에 따른 문자 또는 메뉴입력 방법
US20100070913A1 (en) 2008-09-15 2010-03-18 Apple Inc. Selecting an item of content in a graphical user interface for a portable computing device
US9026462B2 (en) 2008-09-30 2015-05-05 Apple Inc. Portable point of purchase user interfaces
US20100082485A1 (en) 2008-09-30 2010-04-01 Apple Inc. Portable point of purchase devices and methods
KR101537596B1 (ko) 2008-10-15 2015-07-20 엘지전자 주식회사 이동 단말기 및 이것의 터치 인식 방법
US8335993B1 (en) * 2008-10-24 2012-12-18 Marvell International Ltd. Enhanced touch sensitive interface and methods and software for making and using the same
JP4506890B2 (ja) 2008-10-28 2010-07-21 トヨタ自動車株式会社 歩行補助装置
USD596610S1 (en) 2008-11-07 2009-07-21 Cheng Uei Precision Industry Co., Ltd. Wrist type mobile phone
US9201582B2 (en) 2008-11-11 2015-12-01 Canon Kabushiki Kaisha Display control apparatus and display control method
US8503932B2 (en) 2008-11-14 2013-08-06 Sony Mobile Comminications AB Portable communication device and remote motion input device
JP5343523B2 (ja) 2008-11-17 2013-11-13 富士通株式会社 ジョブ管理装置、ジョブ管理方法およびジョブ管理プログラム
JP4752900B2 (ja) 2008-11-19 2011-08-17 ソニー株式会社 画像処理装置、画像表示方法および画像表示プログラム
JP2010122934A (ja) 2008-11-20 2010-06-03 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9355554B2 (en) 2008-11-21 2016-05-31 Lenovo (Singapore) Pte. Ltd. System and method for identifying media and providing additional media content
AU326155S (en) 2008-12-22 2009-06-01 Swarovski Aktiengesselschaft Wrist watch
US8289162B2 (en) 2008-12-22 2012-10-16 Wimm Labs, Inc. Gesture-based user interface for a wearable portable device
US20100167646A1 (en) 2008-12-30 2010-07-01 Motorola, Inc. Method and apparatus for device pairing
US9591118B2 (en) 2009-01-01 2017-03-07 Intel Corporation Pose to device mapping
USD596509S1 (en) 2009-01-08 2009-07-21 Seiko Watch Kabushiki Kaisha Watch case
US9569001B2 (en) 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US8326221B2 (en) 2009-02-09 2012-12-04 Apple Inc. Portable electronic device with proximity-based content synchronization
EP2220997A1 (en) 2009-02-24 2010-08-25 Koninklijke Philips Electronics N.V. Device, system and method for monitoring motion sequences
US8098141B2 (en) 2009-02-27 2012-01-17 Nokia Corporation Touch sensitive wearable band apparatus and method
USD596959S1 (en) 2009-03-05 2009-07-28 Zino Davidoff Trading Ag Watch case
CA134135S (fr) 2009-03-06 2010-03-25 Rado Uhren Ag Montre
US20100245078A1 (en) 2009-03-26 2010-09-30 Wellcore Corporation Wearable Motion Sensing Device
US20100250789A1 (en) 2009-03-27 2010-09-30 Qualcomm Incorporated System and method of managing memory at a portable computing device and a portable computing device docking station
US9189472B2 (en) 2009-03-30 2015-11-17 Touchtype Limited System and method for inputting text into small screen devices
CN104793482B (zh) 2009-04-26 2019-01-04 耐克创新有限合伙公司 运动手表
US20120069027A1 (en) 2009-04-28 2012-03-22 Wataru Yamazaki Input device
CN101876878A (zh) * 2009-04-29 2010-11-03 深圳富泰宏精密工业有限公司 单词预测输入系统及方法
EP2256592A1 (en) 2009-05-18 2010-12-01 Lg Electronics Inc. Touchless control of an electronic device
JP5263833B2 (ja) 2009-05-18 2013-08-14 国立大学法人 奈良先端科学技術大学院大学 ウェアラブルコンピュータに用いるリング型インタフェース、インタフェース装置、およびインタフェース方法
US8287320B2 (en) 2009-05-22 2012-10-16 John Mezzalingua Associates, Inc. Coaxial cable connector having electrical continuity member
US8294105B2 (en) 2009-05-22 2012-10-23 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting offset gestures
JP5282661B2 (ja) 2009-05-26 2013-09-04 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
USD615955S1 (en) 2009-05-26 2010-05-18 Samsung Electronics Co., Ltd. Mobile phone
USD626550S1 (en) 2009-05-26 2010-11-02 Implanet PDA device
US8682608B2 (en) 2009-05-27 2014-03-25 Panasonic Corporation Behavior recognition apparatus
US20100304673A1 (en) 2009-05-29 2010-12-02 Junichi Yoshizawa Wireless Communication Apparatus and Wireless Communication Method
US9239740B2 (en) 2009-06-16 2016-01-19 Microsoft Technology Licensing, Llc Program partitioning across client and cloud
US8560465B2 (en) 2009-07-02 2013-10-15 Samsung Electronics Co., Ltd Execution allocation cost assessment for computing systems and environments including elastic computing systems and environments
CH701440A2 (fr) 2009-07-03 2011-01-14 Comme Le Temps Sa Montre-bracelet à écran tactile et procédé d'affichage sur une montre à écran tactile.
WO2011008861A2 (en) 2009-07-14 2011-01-20 Eatoni Ergonomics, Inc Keyboard comprising swipe-switches performing keyboard actions
US8818274B2 (en) 2009-07-17 2014-08-26 Qualcomm Incorporated Automatic interfacing between a master device and object device
US8245234B2 (en) 2009-08-10 2012-08-14 Avaya Inc. Credit scheduler for ordering the execution of tasks
USD612269S1 (en) 2009-08-13 2010-03-23 P.S.L. Limited Slap-on watch
US8060560B2 (en) 2009-08-27 2011-11-15 Net Power And Light, Inc. System and method for pervasive computing
JP5254906B2 (ja) 2009-08-27 2013-08-07 京セラ株式会社 電子機器
US8572375B2 (en) 2009-09-23 2013-10-29 Microsoft Corporation Device pairing based on graphically encoded data
US8717291B2 (en) 2009-10-07 2014-05-06 AFA Micro Co. Motion sensitive gesture device
GB2474536B (en) 2009-10-13 2011-11-02 Pointgrab Ltd Computer vision gesture based control of a device
US8279052B2 (en) 2009-11-04 2012-10-02 Immersion Corporation Systems and methods for haptic confirmation of commands
WO2011066343A2 (en) 2009-11-24 2011-06-03 Next Holdings Limited Methods and apparatus for gesture recognition mode control
US8907768B2 (en) 2009-11-25 2014-12-09 Visa International Service Association Access using a mobile device with an accelerometer
USD627718S1 (en) 2009-12-11 2010-11-23 Black & Decker Inc. Charger base for a hand-held vacuum cleaner
KR20110069958A (ko) 2009-12-18 2011-06-24 삼성전자주식회사 프로젝터 기능의 휴대 단말기의 데이터 생성 방법 및 장치
CA135976S (en) 2009-12-23 2011-11-24 Simone Dalla Libera Watch
US9229779B2 (en) 2009-12-28 2016-01-05 Empire Technology Development Llc Parallelizing heterogeneous network communications in smart devices based on selection of task allocation strategy
US20120256959A1 (en) 2009-12-30 2012-10-11 Cywee Group Limited Method of controlling mobile device with touch-sensitive display and motion sensor, and mobile device
KR101626621B1 (ko) 2009-12-30 2016-06-01 엘지전자 주식회사 원형 디스플레이부를 구비한 이동 통신 단말기의 데이터 제어 방법 및 이를 적용한 이동 통신 단말기
EP2341420A1 (en) * 2010-01-04 2011-07-06 Research In Motion Limited Portable electronic device and method of controlling same
KR101697937B1 (ko) 2010-01-08 2017-02-01 삼성전자주식회사 멀티프로세서 시스템에서 동적 태스크 마이그레이션을 위한 방법 및 시스템
CN101815326B (zh) 2010-01-11 2011-06-15 北京邮电大学 基于协商的无线传感器网络任务分配方法
WO2011096702A2 (ko) 2010-02-03 2011-08-11 고려대학교 산학협력단 문자 입력 장치 및 방법
US8869263B2 (en) 2010-02-26 2014-10-21 Blackberry Limited Wireless communications system providing mobile device authentication bypass based upon user-wearable security device and related methods
KR20110098477A (ko) * 2010-02-26 2011-09-01 신규호 원형자판을 이용한 문자입력방법 및 이를 지원하는 단말기
US20120194551A1 (en) 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with user-action based command and control of external devices
US20110219427A1 (en) 2010-03-04 2011-09-08 RSSBus, Inc. Smart Device User Authentication
US8686955B2 (en) * 2010-03-11 2014-04-01 Apple Inc. Device, method, and graphical user interface for performing character entry
JP5642809B2 (ja) * 2010-03-12 2014-12-17 ニュアンス コミュニケーションズ， インコーポレイテッド 携帯電話のタッチスクリーンとの使用等のためのマルチモーダルテキスト入力システム
KR101659023B1 (ko) 2010-03-15 2016-09-23 엘지전자 주식회사 와치형 이동 단말기
US8370878B2 (en) 2010-03-17 2013-02-05 Verizon Patent And Licensing Inc. Mobile interface for accessing interactive television applications associated with displayed content
CH702862A1 (fr) 2010-03-30 2011-09-30 Comme Le Temps Sa Montre bracelet à affichage électronique.
US9811385B2 (en) 2010-04-28 2017-11-07 Wind River Systems, Inc. Optimizing task management
JP5681865B2 (ja) 2010-05-10 2015-03-11 レノボ・イノベーションズ・リミテッド（香港） ユーザーインターフェース装置
US8683377B2 (en) 2010-05-12 2014-03-25 Adobe Systems Incorporated Method for dynamically modifying zoom level to facilitate navigation on a graphical user interface
US20130057774A1 (en) 2010-05-19 2013-03-07 Sharp Kabushiki Kaisha Reproduction device, display device, television receiver, system, recognition method, program, and recording medium
US20110289519A1 (en) 2010-05-21 2011-11-24 Frost Gary R Distributing workloads in a computing platform
US8750857B2 (en) 2010-06-04 2014-06-10 Qualcomm Incorporated Method and apparatus for wireless distributed computing
US8935317B2 (en) 2010-06-23 2015-01-13 Microsoft Corporation Dynamic partitioning of applications between clients and servers
USD631373S1 (en) 2010-06-29 2011-01-25 Worldwide Watch Company Limited Watch
WO2012009335A1 (en) 2010-07-14 2012-01-19 Dynavox Systems Llc A wearable speech generation device
US9532734B2 (en) 2010-08-09 2017-01-03 Nike, Inc. Monitoring fitness using a mobile device
JP5234066B2 (ja) 2010-08-25 2013-07-10 横河電機株式会社 機器情報表示装置及び機器情報表示方法
EP2612253A4 (en) 2010-08-29 2014-01-22 Vascode Technologies Ltd SYSTEM AND METHOD FOR MORE PROCESS OPERATION IN A CLIENT-FREE MOBILE TELEPHONE
US9007304B2 (en) 2010-09-02 2015-04-14 Qualcomm Incorporated Methods and apparatuses for gesture-based user input detection in a mobile device
US9489016B2 (en) 2010-09-08 2016-11-08 Live Lids, Inc. Electronic display wearable item
KR101219933B1 (ko) 2010-09-13 2013-01-08 현대자동차주식회사 증강현실을 이용한 차량 내 디바이스 제어 시스템 및 그 방법
EP2616908A2 (en) 2010-09-15 2013-07-24 Jeffrey R. Spetalnick Methods of and systems for reducing keyboard data entry errors
USD645360S1 (en) 2010-09-17 2011-09-20 Simpel, LLC Slap band watch
USD669369S1 (en) 2010-09-20 2012-10-23 Daniel Rasumowsky Watch
US8595289B2 (en) 2010-09-21 2013-11-26 Telefonaktiebolaget L M Ericsson (Publ) Cloud phone with distributed processing
US20130165180A1 (en) 2010-09-27 2013-06-27 Adobe Systems Incorporated Integrating Operation Of Consumer Electronic Devices
US20120075204A1 (en) 2010-09-27 2012-03-29 Google Inc. Using a Touch-Sensitive Display of a Mobile Device with a Host Computer
JP2012073830A (ja) 2010-09-29 2012-04-12 Pioneer Electronic Corp インターフェース装置
US8345412B2 (en) 2010-10-01 2013-01-01 Hex Holdings, Llc Wrist band for portable electronic devices
US9462444B1 (en) 2010-10-04 2016-10-04 Nortek Security & Control Llc Cloud based collaborative mobile emergency call initiation and handling distribution system
US8506158B2 (en) 2010-10-12 2013-08-13 P.S.L. Limited Watch
AU334766S (en) 2010-10-13 2011-01-24 Swarovski Ag Case for a wristwatch
US20120096345A1 (en) 2010-10-19 2012-04-19 Google Inc. Resizing of gesture-created markings for different display sizes
US8635630B2 (en) 2010-10-25 2014-01-21 Microsoft Corporation Application lifetime management
US9086741B2 (en) * 2010-10-29 2015-07-21 Microsoft Corporation User input device
JP2012098771A (ja) 2010-10-29 2012-05-24 Sony Corp 画像処理装置および方法、並びに、プログラム
US8814754B2 (en) 2010-11-01 2014-08-26 Nike, Inc. Wearable device having athletic functionality
US8184983B1 (en) 2010-11-12 2012-05-22 Google Inc. Wireless directional identification and subsequent communication between wearable electronic devices
USD640948S1 (en) 2010-11-15 2011-07-05 Hook-Link, LLC Magnetically hooking bracelet
JP2012108771A (ja) 2010-11-18 2012-06-07 Panasonic Corp 画面操作システム
US8195313B1 (en) 2010-11-19 2012-06-05 Nest Labs, Inc. Thermostat user interface
JP5733656B2 (ja) 2010-11-25 2015-06-10 公立大学法人会津大学 ジェスチャ認識装置及びジェスチャ認識方法
US9155168B2 (en) 2010-12-03 2015-10-06 Surefire, Llc Wearable lighting device
CN102572565A (zh) 2010-12-15 2012-07-11 深圳市同洲软件有限公司 一种移动终端控制数字电视接收终端方法、装置和系统
USD640936S1 (en) 2011-01-01 2011-07-05 Teresa Teixeia Combined watch and bracelet
USD636686S1 (en) 2011-01-04 2011-04-26 Nike, Inc. Watch
US9436286B2 (en) 2011-01-05 2016-09-06 Qualcomm Incorporated Method and apparatus for tracking orientation of a user
EP2474950B1 (en) 2011-01-05 2013-08-21 Softkinetic Software Natural gesture based user interface methods and systems
USD651099S1 (en) 2011-01-10 2011-12-27 Montblanc-Simplo Gmbh Watch case
CN103329066B (zh) 2011-01-19 2017-03-29 惠普发展公司，有限责任合伙企业 用于多模式手势控制的方法和系统
US10631246B2 (en) 2011-02-14 2020-04-21 Microsoft Technology Licensing, Llc Task switching on mobile devices
US9645986B2 (en) 2011-02-24 2017-05-09 Google Inc. Method, medium, and system for creating an electronic book with an umbrella policy
USD678081S1 (en) 2011-03-14 2013-03-19 Montblanc-Simplo Gmbh Watchcase
JPWO2012124250A1 (ja) 2011-03-15 2014-07-17 パナソニック株式会社 オブジェクト制御装置、オブジェクト制御方法、オブジェクト制御プログラム、及び集積回路
US8655027B1 (en) 2011-03-25 2014-02-18 The United States of America, as represented by the Director, National Security Agency Method of image-based user authentication
WO2012135545A1 (en) 2011-03-29 2012-10-04 Qualcomm Incorporated Modular mobile connected pico projectors for a local multi-user collaboration
US10061387B2 (en) 2011-03-31 2018-08-28 Nokia Technologies Oy Method and apparatus for providing user interfaces
CN103563346B (zh) 2011-03-31 2017-10-24 索尼移动通信公司 用于建立通信会话的系统和方法
WO2012135614A1 (en) 2011-03-31 2012-10-04 Aol Inc. Systems and methods for transferring application state between devices based on gestural input
US8811964B2 (en) 2011-04-04 2014-08-19 Numera, Inc. Single button mobile telephone using server-based call routing
USD661206S1 (en) 2011-04-06 2012-06-05 Garmin Switzerland Gmbh Electronic device
USD659093S1 (en) 2011-04-08 2012-05-08 The Gillette Company Charger
KR101836403B1 (ko) 2011-04-12 2018-04-19 엘지전자 주식회사 디스플레이 장치의 리모콘 기능을 수행하는 이동 단말기
US9152373B2 (en) 2011-04-12 2015-10-06 Apple Inc. Gesture visualization and sharing between electronic devices and remote displays
US8928589B2 (en) 2011-04-20 2015-01-06 Qualcomm Incorporated Virtual keyboards and methods of providing the same
JP5824859B2 (ja) 2011-05-02 2015-12-02 船井電機株式会社 携帯端末
RU2017118159A (ru) 2011-05-06 2018-10-30 Мэджик Лип, Инк. Мир массового одновременного удаленного цифрового присутствия
US8978120B2 (en) 2011-05-18 2015-03-10 Panasonic Intellectual Property Management Co., Ltd. Communication control system and method, and communication device and method
KR101844222B1 (ko) 2011-05-27 2018-04-02 엘지전자 주식회사 이동 단말기 및 이것의 모드 제어 방법
JP2012248067A (ja) 2011-05-30 2012-12-13 Canon Inc 情報入力装置、その制御方法、および制御プログラム
KR20120134732A (ko) 2011-06-03 2012-12-12 삼성전자주식회사 원격제어기를 이용하여 웹 브라우징을 수행하는 장치 및 방법
US20120317024A1 (en) 2011-06-10 2012-12-13 Aliphcom Wearable device data security
US20120316456A1 (en) 2011-06-10 2012-12-13 Aliphcom Sensory user interface
KR101819506B1 (ko) 2011-06-28 2018-01-17 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
US8194036B1 (en) 2011-06-29 2012-06-05 Google Inc. Systems and methods for controlling a cursor on a display using a trackpad input device
KR101251250B1 (ko) 2011-07-01 2013-04-08 알서포트 주식회사 원격 디바이스 드라이버를 이용한 원격 제어 시스템 및 원격 디바이스 드라이버를 이용한 원격 제어 방법
RU2455676C2 (ru) 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления
US8184070B1 (en) 2011-07-06 2012-05-22 Google Inc. Method and system for selecting a user interface for a wearable computing device
US9069164B2 (en) 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
US8228315B1 (en) 2011-07-12 2012-07-24 Google Inc. Methods and systems for a virtual input device
US20130018659A1 (en) 2011-07-12 2013-01-17 Google Inc. Systems and Methods for Speech Command Processing
US8179604B1 (en) 2011-07-13 2012-05-15 Google Inc. Wearable marker for passive interaction
US20130021374A1 (en) 2011-07-20 2013-01-24 Google Inc. Manipulating And Displaying An Image On A Wearable Computing System
US9015708B2 (en) 2011-07-28 2015-04-21 International Business Machines Corporation System for improving the performance of high performance computing applications on cloud using integrated load balancing
US9256361B2 (en) 2011-08-03 2016-02-09 Ebay Inc. Control of search results with multipoint pinch gestures
USD650706S1 (en) 2011-08-08 2011-12-20 Blue Sky SRL Wrist watch
US8641306B2 (en) 2011-08-16 2014-02-04 Argotext Wristwatch keyboard
US9720708B2 (en) 2011-08-19 2017-08-01 Advanced Micro Devices, Inc. Data layout transformation for workload distribution
USD661275S1 (en) 2011-08-19 2012-06-05 Cox Communications, Inc. Mobile communications device with wrist band
USD654431S1 (en) 2011-08-29 2012-02-21 Eveready Battery Company, Inc. Charger for a lighting device
US9529448B2 (en) 2011-08-31 2016-12-27 Farzan Fallah Data entry systems and methods
US9173090B2 (en) 2011-09-15 2015-10-27 Teletech Holdings, Inc. Method for activating services associated with a product via a service center supporting a variety of products
US8941560B2 (en) 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
CN103034362B (zh) 2011-09-30 2017-05-17 三星电子株式会社 移动终端中处理触摸输入的方法和设备
US9336687B2 (en) 2011-10-11 2016-05-10 Teletech Holdings, Inc. Method for providing learning courses via a service center supporting a variety of products
US8707211B2 (en) 2011-10-21 2014-04-22 Hewlett-Packard Development Company, L.P. Radial graphical user interface
US8279716B1 (en) 2011-10-26 2012-10-02 Google Inc. Smart-watch including flip up display
US8467270B2 (en) 2011-10-26 2013-06-18 Google Inc. Smart-watch with user interface features
US8935629B2 (en) 2011-10-28 2015-01-13 Flipboard Inc. Systems and methods for flipping through content
US9936036B2 (en) 2011-10-28 2018-04-03 Sharp Laboratories Of America, Inc. Method and system for indirectly establishing a unique communication channel between a plurality of devices
CN102368200A (zh) 2011-10-28 2012-03-07 青岛海信移动通信技术股份有限公司 一种触摸屏解锁方法及具有触摸屏的电子产品
WO2013063767A1 (en) 2011-11-01 2013-05-10 Intel Corporation Dynamic gesture based short-range human-machine interaction
WO2013067392A1 (en) 2011-11-02 2013-05-10 Hendricks Investment Holdings, Llc Device navigation icon and system, and method of use thereof
US9288229B2 (en) 2011-11-10 2016-03-15 Skype Device association via video handshake
US9310889B2 (en) 2011-11-10 2016-04-12 Blackberry Limited Touchscreen keyboard predictive display and generation of a set of characters
US9007302B1 (en) 2011-11-11 2015-04-14 Benjamin D. Bandt-Horn Device and user interface for visualizing, navigating, and manipulating hierarchically structured information on host electronic devices
US9183658B2 (en) 2011-11-14 2015-11-10 Microsoft Technology Licensing, Llc Animation creation and management in presentation application programs
US20130120106A1 (en) 2011-11-16 2013-05-16 Motorola Mobility, Inc. Display device, corresponding systems, and methods therefor
US20130132848A1 (en) 2011-11-18 2013-05-23 Apple Inc. Application interaction via multiple user interfaces
US8676123B1 (en) 2011-11-23 2014-03-18 Evernote Corporation Establishing connection between mobile devices using light
US20140330900A1 (en) 2011-11-23 2014-11-06 Evernote Corporation Encounter-driven personal contact space
US9162144B2 (en) 2011-12-05 2015-10-20 Microsoft Technology Licensing, Llc Portable device pairing with a tracking system
KR101242390B1 (ko) 2011-12-29 2013-03-12 인텔 코오퍼레이션 사용자를 인증하기 위한 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
US9137627B2 (en) 2011-12-30 2015-09-15 Linkedin Corporation Systems and methods for mobile device pairing
USD664880S1 (en) 2012-01-18 2012-08-07 Nike, Inc. Wristband
USD664881S1 (en) 2012-01-18 2012-08-07 Nike, Inc. Wristband
USD671858S1 (en) 2012-01-18 2012-12-04 Nike, Inc. Wristband
EP2618239B1 (en) 2012-01-19 2016-10-05 BlackBerry Limited Next letter prediction for virtual keyboard
US9026461B2 (en) 2012-01-23 2015-05-05 Bank Of America Corporation Enhanced mobile application for assisting users at a point of transaction
US9367085B2 (en) 2012-01-26 2016-06-14 Google Technology Holdings LLC Portable electronic device and method for controlling operation thereof taking into account which limb possesses the electronic device
US20130198056A1 (en) 2012-01-27 2013-08-01 Verizon Patent And Licensing Inc. Near field communication transaction management and application systems and methods
US8872849B2 (en) 2012-01-27 2014-10-28 Microsoft Corporation Relational rendering of multi-faceted data
JP5193404B2 (ja) 2012-02-10 2013-05-08 オリンパスイメージング株式会社 情報機器
US20130211843A1 (en) 2012-02-13 2013-08-15 Qualcomm Incorporated Engagement-dependent gesture recognition
US9186077B2 (en) 2012-02-16 2015-11-17 Google Technology Holdings LLC Method and device with customizable power management
USD687736S1 (en) 2012-02-16 2013-08-13 Christopher D. Wycoff Bracelet with removable chip
WO2013130682A1 (en) 2012-02-27 2013-09-06 5 Examples, Inc. Date entry system controllers for receiving user input line traces relative to user interfaces to determine ordered actions, and related systems and methods
US8947382B2 (en) 2012-02-28 2015-02-03 Motorola Mobility Llc Wearable display device, corresponding systems, and method for presenting output on the same
US20130254705A1 (en) 2012-03-20 2013-09-26 Wimm Labs, Inc. Multi-axis user interface for a touch-screen enabled wearable device
US10332112B2 (en) 2012-03-27 2019-06-25 International Business Machines Corporation Authentication for transactions using near field communication
USD680541S1 (en) 2012-04-11 2013-04-23 Coby Electronics Corp. Docking station for a portable media player
USD672255S1 (en) 2012-04-16 2012-12-11 I'M SpA Watch
WO2013163718A1 (en) 2012-04-30 2013-11-07 Blackberry Limited Touchscreen keyboard with correction of previously input text
US20130300719A1 (en) 2012-05-10 2013-11-14 Research In Motion Limited Method and apparatus for providing stylus orientation and position input
CN102681786B (zh) 2012-05-14 2014-12-24 华为技术有限公司 文本选择的方法及装置
CN102779002B (zh) 2012-06-19 2015-05-20 邓朝进 一种触摸屏键盘
US9619282B2 (en) 2012-08-21 2017-04-11 Lenovo (Singapore) Pte. Ltd. Task scheduling in big and little cores
US9360997B2 (en) 2012-08-29 2016-06-07 Apple Inc. Content presentation and interaction across multiple displays
US20140078065A1 (en) 2012-09-15 2014-03-20 Ahmet Akkok Predictive Keyboard With Suppressed Keys
US8963806B1 (en) 2012-10-29 2015-02-24 Google Inc. Device authentication
US9373230B2 (en) 2012-10-31 2016-06-21 Wal-Mart Stores, Inc. Customer reprint of a physical receipt from an electronic receipt
US10185416B2 (en) 2012-11-20 2019-01-22 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving movement of device
US8994827B2 (en) 2012-11-20 2015-03-31 Samsung Electronics Co., Ltd Wearable electronic device
US10551928B2 (en) 2012-11-20 2020-02-04 Samsung Electronics Company, Ltd. GUI transitions on wearable electronic device
US9477313B2 (en) 2012-11-20 2016-10-25 Samsung Electronics Co., Ltd. User gesture input to wearable electronic device involving outward-facing sensor of device
US11372536B2 (en) 2012-11-20 2022-06-28 Samsung Electronics Company, Ltd. Transition and interaction model for wearable electronic device
US9030446B2 (en) 2012-11-20 2015-05-12 Samsung Electronics Co., Ltd. Placement of optical sensor on wearable electronic device
US10423214B2 (en) 2012-11-20 2019-09-24 Samsung Electronics Company, Ltd Delegating processing from wearable electronic device
US11237719B2 (en) 2012-11-20 2022-02-01 Samsung Electronics Company, Ltd. Controlling remote electronic device with wearable electronic device
US20140181758A1 (en) 2012-12-20 2014-06-26 Research In Motion Limited System and Method for Displaying Characters Using Gestures
US10063598B2 (en) 2012-12-28 2018-08-28 Nokia Technologies Oy Method and apparatus for establishing, authenticating, and accessing a content channel
WO2014127337A2 (en) * 2013-02-17 2014-08-21 Keyless Systems Ltd. Improved data entry systems
US9274685B2 (en) 2013-03-15 2016-03-01 Google Technology Holdings LLC Systems and methods for predictive text entry for small-screen devices with touch-based two-stage text input
US20140282274A1 (en) 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a gesture performed with at least two control objects
US20140306898A1 (en) * 2013-04-10 2014-10-16 Barnesandnoble.Com Llc Key swipe gestures for touch sensitive ui virtual keyboard
CN103488420A (zh) 2013-09-02 2014-01-01 宇龙计算机通信科技(深圳)有限公司 虚拟键盘调整的方法和装置
US9022291B1 (en) 2014-07-24 2015-05-05 Apple Inc. Invisible optical label for transmitting information between computing devices
US10326590B2 (en) 2014-11-11 2019-06-18 Intel Corporation Technologies for trusted device on-boarding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001060137A (ja) * 1999-08-23 2001-03-06 Seiko Epson Corp 情報処理装置および情報入力方法
US20140049477A1 (en) * 2012-08-14 2014-02-20 Motorola Mobility Llc Systems and Methods for Touch-Based Two-Stage Text Input

Also Published As

Publication number Publication date
EP3111314A1 (en) 2017-01-04
EP3111314A4 (en) 2017-10-25
US20150248235A1 (en) 2015-09-03
US10691332B2 (en) 2020-06-23
WO2015130150A1 (en) 2015-09-03
CN106233240A (zh) 2016-12-14
KR20160128378A (ko) 2016-11-07
CN106233240B (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
KR102319421B1 (ko) 대화형 디스플레이 상 텍스트 입력
US11240408B2 (en) Wearable electronic device
US20220244826A1 (en) Transition and Interaction Model for Wearable Electronic Device
US20220121339A1 (en) Controlling Remote Electronic Device with Wearable Electronic Device
KR102186459B1 (ko) 디바이스의 움직임을 포함하는, 착용식 전자 디바이스로의 사용자 제스처 입력
KR102185364B1 (ko) 착용식 전자 디바이스에 대한, 그 디바이스의 외향 센서를 포함하는 사용자 제스처 입력
KR102209064B1 (ko) 착용식 전자 디바이스로부터 프로세싱의 위임
KR102125560B1 (ko) 착용식 전자 디바이스 상에 광학 센서의 배치
US10551928B2 (en) GUI transitions on wearable electronic device
JP6463598B2 (ja) 着用式電子デバイスからのプロセッシングの委任

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant