KR20190139335A - 스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법 - Google Patents

스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법 Download PDF

Info

Publication number
KR20190139335A
KR20190139335A KR1020197036353A KR20197036353A KR20190139335A KR 20190139335 A KR20190139335 A KR 20190139335A KR 1020197036353 A KR1020197036353 A KR 1020197036353A KR 20197036353 A KR20197036353 A KR 20197036353A KR 20190139335 A KR20190139335 A KR 20190139335A
Authority
KR
South Korea
Prior art keywords
stylus
touch
display
input
sensitive display
Prior art date
Application number
KR1020197036353A
Other languages
English (en)
Other versions
KR102187943B1 (ko
Inventor
제프리 트래어 번스타인
린다 엘. 동
마크 케이. 하인스타인
줄리안 미시그
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Priority to KR1020207034598A priority Critical patent/KR102354955B1/ko
Publication of KR20190139335A publication Critical patent/KR20190139335A/ko
Application granted granted Critical
Publication of KR102187943B1 publication Critical patent/KR102187943B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/13338—Input devices, e.g. touch panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Nonlinear Science (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Physics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

터치 감응형 디스플레이 및 전자 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서를 갖는 전자 디바이스는, 스타일러스의 터치 감응형 디스플레이에 대한 거리, 틸트, 및/또는 배향에 대응하는 스타일러스의 위치 상태를 검출하고; 스타일러스의 검출된 위치 상태에 대응하는 터치 감응형 디스플레이 상의 위치를 결정하고; 스타일러스가 터치 감응형 디스플레이를 터치하기 이전에, 결정된 위치의 터치 감응형 디스플레이 상에, 스타일러스의 위치 상태에 따라, 표시를 디스플레이하고; 스타일러스가 터치 감응형 디스플레이를 터치하기 이전에 스타일러스의 거리, 틸트, 및/또는 배향의 변경을 검출하고; 변경을 검출하는 것에 응답하여, 터치 감응형 디스플레이 상의 디스플레이된 표시를 업데이트한다.

Description

스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법{DEVICES AND METHODS FOR MANIPULATING USER INTERFACES WITH A STYLUS}
본 발명은 일반적으로 스타일러스로 사용자 인터페이스를 조작하는, 터치 감응형 표면을 갖는 전자 디바이스를 포함하지만, 이에 한정되지 않는 터치 감응형 표면을 갖는 전자 디바이스에 관한 것이다.
컴퓨터 및 다른 전자 컴퓨팅 디바이스를 위한 입력 디바이스로서의 터치 감응형 표면의 사용이 최근에 현저히 증가되어 왔다. 예시적인 터치 감응형 표면은 터치패드 및 터치 스크린 디스플레이를 포함한다. 그러한 표면은 디스플레이 상의 사용자 인터페이스 객체들을 조작하는 데 널리 사용된다.
사용자 인터페이스는 손가락 또는 스타일러스 입력으로 조작될 수 있다. 손가락 입력이 스타일러스 입력보다 더 일반적인데, 부분적으로 스타일러스를 사용하는 기존 방법이 번거롭고 비효율적이기 때문이다.
따라서, 본 명세서에 스타일러스로 사용자 인터페이스를 조작하기 위한 더 빠르고, 더 효율적인 방법을 구비한 전자 디바이스가 개시된다. 이러한 방법은 선택적으로 스타일러스로 사용자 인터페이스를 조작하기 위한 종래 방법을 보완하거나 대체한다. 그러한 방법들은 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 줄이고 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리 작동형 디바이스의 경우, 이러한 방법은 전력을 절약하여 배터리 충전 간격을 증가시킨다.
터치 감응형 표면을 갖는 전자 디바이스용 사용자 인터페이스들과 연관된 상기 결함들 및 다른 문제들은 개시된 디바이스들에 의해 감소되거나 제거된다. 일부 실시예들에서, 디바이스는 데스크톱 컴퓨터이다. 일부 실시예들에서, 디바이스는 휴대용(예컨대, 노트북 컴퓨터, 태블릿 컴퓨터, 또는 핸드헬드 디바이스)이다. 일부 실시예들에서, 디바이스는 터치패드를 갖는다. 일부 실시예들에서, 디바이스는 터치 감응형 디스플레이("터치 스크린" 또는 "터치 스크린 디스플레이"로도 알려짐)를 갖는다. 일부 실시예들에서, 디바이스는 그래픽 사용자 인터페이스(graphical user interface: GUI), 하나 이상의 프로세서, 메모리, 및 다수의 기능을 수행하기 위해 메모리에 저장되는 하나 이상의 모듈, 프로그램 또는 명령어 세트를 갖는다. 일부 실시예들에서, 사용자는 주로 터치 감응형 표면 상의 스타일러스 및/또는 손가락 접촉들 및 제스처들을 통해 GUI와 상호작용한다. 일부 실시예들에서, 기능들은 이미지 편집, 그리기, 프레젠팅(presenting), 워드 프로세싱, 웹사이트 제작, 디스크 저작, 스프레드시트 작성, 게임하기, 전화하기, 화상 회의, 이메일 보내기, 인스턴트 메시징(instant messaging), 운동 지원, 디지털 사진촬영, 디지털 비디오 녹화, 웹 브라우징, 디지털 음악 재생, 및/또는 디지털 비디오 재생을 선택적으로 포함한다. 이들 기능을 수행하기 위한 실행 가능한 명령어들은 선택적으로, 비일시적 컴퓨터 판독 가능한 저장 매체 또는 하나 이상의 프로세서에 의한 실행을 위해 구성된 다른 컴퓨터 프로그램 제품에 포함된다. 이들 기능을 수행하기 위한 실행 가능한 명령어들은 선택적으로, 일시적 컴퓨터 판독 가능한 매체 또는 하나 이상의 프로세서에 의한 실행을 위해 구성된 다른 컴퓨터 프로그램 제품에 포함된다.
본 명세서에 스타일러스의 위치 상태에 대응하는 표시를 디스플레이하고 업데이트하기 위한 개선된 방법을 갖는 전자 디바이스가 개시된다. 이러한 방법은 선택적으로 표시를 디스플레이하기 위한 종래 방법을 보완하거나 대체한다. 그러한 방법들은 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 줄이고 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리 작동형 디바이스의 경우, 이러한 방법은 전력을 절약하여 배터리 충전 간격을 증가시킨다.
일부 실시예들에 따라, 방법이 터치 감응형 디스플레이를 갖는 전자 디바이스에서 수행되며, 디바이스는 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서를 포함하고, 스타일러스는 대표적인 부분(예컨대, 스타일러스의 팁)을 포함한다. 방법은 스타일러스의 위치 상태를 검출하는 단계 - 스타일러스의 위치 상태는 스타일러스의 터치 감응형 디스플레이에 대한 거리, 스타일러스의 터치 감응형 디스플레이에 대한 틸트, 및/또는 스타일러스의 터치 감응형 디스플레이에 대한 배향에 대응함 -; 스타일러스의 검출된 위치 상태에 대응하는 터치 감응형 디스플레이 상의 위치를 결정하는 단계; 스타일러스가 터치 감응형 디스플레이를 터치하기 이전에 결정된 위치의 터치 감응형 디스플레이 상에, 스타일러스의 위치 상태에 따라, 표시를 디스플레이하는 단계; 스타일러스가 터치 감응형 디스플레이를 터치하기 이전에 스타일러스의 거리, 틸트, 및/또는 배향의 변경을 검출하는 단계; 및 변경을 검출하는 것에 응답하여, 터치 감응형 디스플레이 상의 디스플레이된 표시를 업데이트하는 단계를 포함한다.
일부 실시예들에 따라, 전자 디바이스는 사용자 인터페이스를 디스플레이하고 사용자 접촉(스타일러스 접촉 포함)을 수신하도록 구성된 터치 감응형 디스플레이 유닛, 디바이스와 연관된 스타일러스로부터 신호를 검출하도록 구성된 하나 이상의 센서 유닛; 및 터치 감응형 디스플레이 유닛 및 하나 이상의 센서 유닛과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은: 스타일러스의 위치 상태를 검출하고 - 스타일러스의 위치 상태는 스타일러스의 터치 감응형 디스플레이 유닛에 대한 거리, 스타일러스의 터치 감응형 디스플레이 유닛에 대한 틸트, 및/또는 스타일러스의 터치 감응형 디스플레이 유닛에 대한 배향에 대응함 -; 스타일러스의 검출된 위치 상태에 대응하는 터치 감응형 디스플레이 유닛 상의 위치를 결정하고; 스타일러스가 터치 감응형 디스플레이 유닛을 터치하기 이전에, 스타일러스의 위치 상태에 따라, 결정된 위치의 터치 감응형 디스플레이 유닛 상에 표시의 디스플레이를 인에이블하고; 스타일러스가 터치 감응형 디스플레이 유닛을 터치하기 이전에 스타일러스의 거리, 틸트, 및/또는 배향의 변경을 검출하고; 변경을 검출하는 것에 응답하여, 터치 감응형 디스플레이 유닛 상의 디스플레이된 표시를 업데이트하도록 구성된다.
따라서, 디스플레이, 터치 감응형 표면 및 선택적으로 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서를 갖는 전자 디바이스는 스타일러스의 위치 상태에 대응하는 표시를 디스플레이 및 업데이트하기 위한 더 빠르고, 더 효율적인 방법을 구비함으로써, 유효성, 효율성, 및 그러한 디바이스에 대한 사용자 만족도를 증가시킨다. 이러한 방법은 표시를 디스플레이하기 위한 종래 방법을 보완하거나 대체할 수 있다.
본 명세서에 스타일러스가 디바이스(예컨대, 디바이스의 터치 감응형 디스플레이)와 접촉하고 있는 동안 스타일러스의 위치 상태에 대응하는 표시를 디스플레이 및 업데이트하는 개선된 방법을 갖는 전자 디바이스가 개시된다. 이러한 방법은 선택적으로 표시를 디스플레이하기 위한 종래 방법을 보완하거나 대체한다. 그러한 방법들은 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 줄이고 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리 작동형 디바이스의 경우, 이러한 방법은 전력을 절약하여 배터리 충전 간격을 증가시킨다.
일부 실시예들에 따라, 방법이 터치 감응형 디스플레이를 갖는 전자 디바이스에서 수행되며, 디바이스는 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서를 포함하고, 스타일러스는 팁(또는 기타 대표적인 부분)을 포함한다. 방법은, 스타일러스 팁이 터치 감응형 디스플레이와 접촉하는 동안, 스타일러스의 위치 상태를 검출하는 단계 - 스타일러스의 위치 상태는 스타일러스 팁의 터치 감응형 디스플레이 상의 위치, 스타일러스의 터치 감응형 디스플레이에 대한 틸트, 및 스타일러스의 터치 감응형 디스플레이에 대한 배향에 대응함 -; 스타일러스의 검출된 위치 상태에 대응하는 터치 감응형 디스플레이 상의 제1 위치를 결정하는 단계; 터치 감응형 디스플레이 상의 제1 위치에 스타일러스의 검출된 위치 상태에 대응하는 표시를 디스플레이하는 단계 - 제1 위치는 스타일러스 팁의 터치 감응형 디스플레이 상의 위치로부터 제1 오프셋의 위치에 있음 -; 스타일러스의 배향의 변경을 검출하는 단계; 및, 스타일러스의 배향의 변경을 검출하는 것에 응답하여: 스타일러스의 배향의 변경에 대응하는 터치 감응형 디스플레이 상의 제2 위치를 결정하는 단계 - 제2 위치는 스타일러스 팁의 터치 감응형 디스플레이 상의 위치로부터 제2 오프셋의 위치에 있음 -; 및 터치 감응형 디스플레이 상의 제2 위치에 표시를 디스플레이하는 단계를 포함한다.
일부 실시예들에 따라, 전자 디바이스는 사용자 인터페이스를 디스플레이하고 사용자 접촉(스타일러스 접촉 포함)을 수신하도록 구성된 터치 감응형 디스플레이 유닛, 디바이스와 연관된 스타일러스로부터 신호를 검출하도록 구성된 하나 이상의 센서 유닛 - 스타일러스는 팁을 포함함 -, 및 터치 감응형 디스플레이 유닛 및 하나 이상의 센서 유닛과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은: 스타일러스 팁이 터치 감응형 디스플레이 유닛과 접촉하는 동안, 스타일러스의 위치 상태를 검출하고 - 스타일러스의 위치 상태는 스타일러스 팁의 터치 감응형 디스플레이 유닛 상의 위치, 스타일러스의 터치 감응형 디스플레이 유닛에 대한 틸트, 및 스타일러스의 터치 감응형 디스플레이 유닛에 대한 배향에 대응함 -; 스타일러스의 검출된 위치 상태에 대응하는 터치 감응형 디스플레이 유닛 상의 제1 위치를 결정하고; 터치 감응형 디스플레이 유닛 상의 제1 위치에 스타일러스의 검출된 위치 상태에 대응하는 표시의 디스플레이를 인에이블하고 - 제1 위치는 스타일러스 팁의 터치 감응형 디스플레이 유닛 상의 위치로부터 제1 오프셋의 위치에 있음 -; 스타일러스의 배향의 변경을 검출하고; 스타일러스의 배향의 변경을 검출하는 것에 응답하여: 스타일러스의 배향의 변경에 대응하는 터치 감응형 디스플레이 유닛 상의 제2 위치를 결정하고 - 제2 위치는 스타일러스 팁의 터치 감응형 디스플레이 유닛 상의 위치로부터 제2 오프셋의 위치에 있음 -; 및 터치 감응형 디스플레이 상에 제2 위치에서 표시의 디스플레이를 인에이블하도록 구성된다.
따라서, 터치 감응형 디스플레이 및 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서를 갖는 전자 디바이스는, 스타일러스가 디바이스(예컨대, 디바이스의 터치 감응형 디스플레이)와 접촉하는 동안 스타일러스의 위치 상태에 대응하는 표시를 디스플레이 및 업데이트하기 위한 더 빠르고, 더 효율적인 방법을 구비함으로써, 유효성, 효율성, 및 그러한 디바이스에 대한 사용자 만족도를 증가시킨다. 이러한 방법은 표시를 디스플레이하기 위한 종래 방법을 보완하거나 대체할 수 있다.
본 명세서에는 스타일러스로부터의 입력의 특성들에 따른 마크의 하나 이상의 특성을 조정하기 위한 개선된 방법을 구비한 전자 디바이스가 개시된다. 이러한 방법은 선택적으로 마크를 디스플레이하기 위한 종래 방법을 보완하거나 대체한다. 그러한 방법들은 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 줄이고 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리 작동형 디바이스의 경우, 이러한 방법은 전력을 절약하여 배터리 충전 간격을 증가시킨다.
일부 실시예들에 따라, 방법이 터치 감응형 표면 및 디스플레이를 갖는 전자 디바이스에서 수행되며, 디바이스는 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서를 포함한다. 방법은, 스타일러스로부터의 입력을 검출하는 단계; 스타일러스로부터의 입력의 복수의 특성을 결정하는 단계 - 입력의 특성들은 입력 동안 터치 감응형 표면에 대한 스타일러스의 배향, 및 입력 동안 터치 감응형 표면에 걸친 스타일러스의 이동 방향("방향성")을 포함함 -; 및 스타일러스로부터의 입력을 검출하는 것에 응답하여: 디스플레이 상에 디스플레이되는 마크를 생성하는 단계 - 마크는 불투명도, 폭, 및/또는 색상을 포함하는 특성들을 가짐 -; 및 스타일러스에 의해 모방되는 가상 드로잉 도구, 및 입력 동안 스타일러스로부터의 입력의 복수의 특성의 변경에 따라 마크의 하나 이상의 특성을 조정하는 단계를 포함한다.
일부 실시예들에 따라, 전자 디바이스는 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이 유닛, 사용자 접촉(스타일러스 접촉 포함)을 수신하도록 구성된 터치 감응형 표면 유닛, 디바이스와 연관된 스타일러스로부터 신호를 검출하도록 구성된 하나 이상의 센서 유닛, 및 디스플레이 유닛, 터치 감응형 표면 유닛 및 하나 이상의 센서 유닛과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은: 스타일러스로부터의 입력을 검출하고; 스타일러스로부터의 입력의 복수의 특성을 결정하고 - 입력의 특성들은 입력 동안 터치 감응형 표면 유닛에 대한 스타일러스의 배향, 및 입력 동안 터치 감응형 표면 유닛에 걸친 스타일러스의 이동 방향("방향성")을 포함함 -; 스타일러스로부터의 입력을 검출하는 것에 응답하여: 디스플레이 유닛 상에 디스플레이되는 마크를 생성하고 - 마크는 불투명도, 폭, 및/또는 색상을 포함하는 특성들을 가짐 -; 스타일러스에 의해 모방되는 가상 드로잉 도구, 및 입력 동안 스타일러스로부터의 입력의 복수의 특성의 변경에 따라 마크의 하나 이상의 특성을 조정하도록 구성된다.
따라서, 디스플레이, 터치 감응형 표면 및 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서를 갖는 전자 디바이스는 스타일러스로부터의 입력의 특성들에 따라 마크의 하나 이상의 특성을 조정하기 위한 더 빠르고, 더 효율적인 방법을 구비함으로써, 유효성, 효율성, 및 그러한 디바이스에 대한 사용자 만족도를 증가시킨다. 이러한 방법은 마크를 디스플레이하기 위한 종래 방법을 보완하거나 대체할 수 있다.
본 명세서에 스타일러스 입력 및 손가락 입력으로 메시지를 준비하는 개선된 방법을 구비한 전자 디바이스가 개시된다. 이러한 방법은 선택적으로 스타일러스 입력 및 손가락 입력으로 메시지를 준비하는 종래 방법을 보완하거나 대체한다. 그러한 방법들은 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 줄이고 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리 작동형 디바이스의 경우, 이러한 방법은 전력을 절약하여 배터리 충전 간격을 증가시킨다.
일부 실시예들에 따라, 방법이 터치 감응형 디스플레이를 갖는 전자 디바이스에서 수행되며, 디바이스는 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서를 포함한다. 방법은 터치 감응형 디스플레이 상에, 통신 애플리케이션의 사용자 인터페이스를 디스플레이하는 단계; 통신을 준비하기 위한 요청에 대응하는 입력을 검출하는 단계; 통신을 준비하기 위한 요청에 대응하는 입력을 검출하는 것에 응답하여: 입력이 손가락 입력이라는 결정에 따라, 텍스트 메시지를 타이핑하기 위한 키보드를 디스플레이하는 단계; 및 입력이 스타일러스 입력이라는 결정에 따라, 드로잉 메시지를 생성하기 위한 드로잉 캔버스를 디스플레이하는 단계를 포함한다.
일부 실시예들에 따라, 전자 디바이스는 사용자 인터페이스를 디스플레이하고 사용자 접촉(스타일러스 접촉 포함)을 수신하도록 구성된 터치 감응형 디스플레이 유닛, 디바이스와 연관된 스타일러스로부터 신호를 검출하도록 구성된 하나 이상의 센서 유닛, 및 터치 감응형 디스플레이 유닛 및 하나 이상의 센서 유닛과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은: 터치 감응형 디스플레이 유닛 상에, 통신 애플리케이션의 사용자 인터페이스의 디스플레이를 인에이블하고; 통신을 준비하기 위한 요청에 대응하는 입력을 검출하고; 통신을 준비하기 위한 요청에 대응하는 입력을 검출하는 것에 응답하여: 입력이 손가락 입력이라는 결정에 따라, 텍스트 메시지를 타이핑하기 위한 키보드의 디스플레이를 인에이블하고; 입력이 스타일러스 입력이라는 결정에 따라, 드로잉 메시지를 생성하기 위한 드로잉 캔버스의 디스플레이를 인에이블하도록 구성된다.
일부 실시예들에 따라, 방법은 터치 감응형 디스플레이를 갖는 전자 디바이스에서 수행되고, 디바이스는 제1 인물과 연관된다. 방법은 터치 감응형 디스플레이 상에 통신 애플리케이션의 사용자 인터페이스를 디스플레이하는 단계 - 사용자 인터페이스는 제1 인물과 제2 인물 사이의 인스턴트 메시지 대화를 포함하고, 인스턴트 메시지 대화는 제1 인물과 제2 인물 사이에 교환된 인스턴트 메시지가 들어있는 콘텐츠 풍선, 및 입력 영역을 디스플레이함 -; 디지털 이미지의 선택을 검출하는 단계 - 디지털 이미지는 복수의 색상을 포함함 -; 디지털 이미지의 선택을 검출하는 것에 응답하여: 입력 영역에 디지털 이미지를 디스플레이하는 단계; 및 입력 영역의 디지털 이미지 상에 드로잉하기 위한 색상들을 포함하는 색상 팔레트를 디스플레이하는 단계 - 색상 팔레트에 디스플레이되는 색상들은 디지털 이미지에 포함된 복수의 색상에 기초함 -; 색상 팔레트에서 제1 색상을 선택하는 입력을 검출하는 단계; 색상 팔레트의 제1 색상이 선택되어 있는 동안: 입력 영역의 디지털 이미지 상의 하나 이상의 드로잉 입력을 검출하는 단계; 및 하나 이상의 드로잉 입력에 따라 디지털 이미지 상에 제1 색상으로 드로잉하는 단계; 인스턴트 메시지처럼 드로잉된 디지털 이미지를 인스턴트 메시지 대화 속의 제2 인물에게 송신하기 위한 요청을 검출하는 단계; 인스턴트 메시지처럼 드로잉된 디지털 이미지를 송신하기 위한 요청을 검출하는 것에 응답하여: 인스턴트 메시지처럼 드로잉된 디지털 이미지를 인스턴트 메시지 대화 속의 제2 인물에게 송신하는 단계; 및 터치 감응형 디스플레이 상에, 인스턴트 메시지처럼 드로잉된 디지털 이미지를 인스턴트 메시지 대화에 디스플레이하는 단계를 포함한다.
일부 실시예들에 따라, 제1 인물과 연관된 전자 디바이스는 사용자 인터페이스를 디스플레이하고 사용자 접촉(스타일러스 접촉 포함)을 수신하도록 구성된 터치 감응형 디스플레이 유닛 및 터치 감응형 디스플레이 유닛과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은: 터치 감응형 디스플레이 유닛 상에 통신 애플리케이션의 사용자 인터페이스의 디스플레이를 인에이블하고 - 사용자 인터페이스는 제1 인물과 제2 인물 사이의 인스턴트 메시지 대화를 포함하고, 인스턴트 메시지 대화는 제1 인물과 제2 인물 사이에 교환된 인스턴트 메시지가 들어있는 콘텐츠 풍선, 및 입력 영역을 디스플레이함 -; 디지털 이미지의 선택을 검출하고 - 디지털 이미지는 복수의 색상을 포함함 -; 디지털 이미지의 선택을 검출하는 것에 응답하여: 입력 영역에 디지털 이미지의 디스플레이를 인에이블하고; 입력 영역의 디지털 이미지 상에 드로잉하기 위한 색상들을 포함하는 색상 팔레트의 디스플레이를 인에이블하고 - 색상 팔레트에 디스플레이되는 색상들은 디지털 이미지에 포함된 복수의 색상에 기초함 -; 색상 팔레트에서 제1 색상을 선택하는 입력을 검출하고; 색상 팔레트의 제1 색상이 선택되어 있는 동안: 입력 영역의 디지털 이미지 상의 하나 이상의 드로잉 입력을 검출하고; 하나 이상의 드로잉 입력에 따라 제1 색상으로 디지털 이미지 상에 드로잉하고; 인스턴트 메시지처럼 드로잉된 디지털 이미지를 인스턴트 메시지 대화 속의 제2 인물에게 송신하기 위한 요청을 검출하고; 인스턴트 메시지처럼 드로잉된 디지털 이미지를 송신하기 위한 요청을 검출하는 것에 응답하여: 인스턴트 메시지처럼 드로잉된 디지털 이미지를 인스턴트 메시지 대화 속의 제2 인물에게 송신하고; 터치 감응형 디스플레이 유닛 상에, 인스턴트 메시지처럼 드로잉된 디지털 이미지를 인스턴트 메시지 대화에 디스플레이하는 것을 인에이블하도록 구성된다.
일부 실시예들에 따라, 방법은 터치 감응형 디스플레이를 갖는 전자 디바이스에서 수행되고, 디바이스는 제1 인물과 연관된다. 방법은 터치 감응형 디스플레이 상에 통신 애플리케이션의 사용자 인터페이스를 디스플레이하는 단계 - 사용자 인터페이스는 제1 인물과 제2 인물 사이의 인스턴트 메시지 대화를 포함하고, 인스턴트 메시지 대화는 제1 인물과 제2 인물 사이에 교환된 인스턴트 메시지가 들어있는 콘텐츠 풍선, 및 입력 영역을 디스플레이함 -; 제2 인물이 인스턴트 메시지를 준비하고 있음을 나타내는 신호를 수신하는 단계; 제2 인물이 인스턴트 메시지를 준비하고 있음을 나타내는 신호를 수신하는 것에 응답하여: 제2 인물이 인스턴트 메시지를 타이핑하고 있다는 결정에 따라, 통신 애플리케이션의 사용자 인터페이스에 타이핑 메시지 준비 표시자를 디스플레이하는 단계; 및 제2 인물이 인스턴트 메시지를 드로잉하고 있다는 결정에 따라, 통신 애플리케이션의 사용자 인터페이스에, 타이핑 메시지 준비 표시자와 구분되는 드로잉 메시지 준비 표시자를 디스플레이하는 단계; 제2 인물에 의해 준비된 인스턴트 메시지를 수신하는 단계; 및, 디스플레이된 메시지 준비 표시자에 대응하는 제2 인물에 의해 준비된 인스턴트 메시지를 수신하는 것에 응답하여: 타이핑 메시지 준비 표시자 또는 드로잉 메시지 준비 표시자를 디스플레이하는 것을 중지하는 단계; 및 제2 인물에 의해 준비된 인스턴트 메시지를 포함하는 콘텐츠 풍선을 인스턴트 메시지 대화에 디스플레이하는 단계를 포함한다.
일부 실시예들에 따라, 제1 인물과 연관된 전자 디바이스는 사용자 인터페이스를 디스플레이하고 사용자 접촉(스타일러스 접촉 포함)을 수신하도록 구성된 터치 감응형 디스플레이 유닛 및 터치 감응형 디스플레이 유닛과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은: 터치 감응형 디스플레이 유닛 상에 통신 애플리케이션의 사용자 인터페이스의 디스플레이를 인에이블하고 - 사용자 인터페이스는 제1 인물과 제2 인물 사이의 인스턴트 메시지 대화를 포함하고, 인스턴트 메시지 대화는 제1 인물과 제2 인물 사이에 교환된 인스턴트 메시지가 들어있는 콘텐츠 풍선, 및 입력 영역을 디스플레이함 -; 제2 인물이 인스턴트 메시지를 준비하고 있음을 나타내는 신호를 수신하고; 제2 인물이 인스턴트 메시지를 준비하고 있음을 나타내는 신호를 수신하는 것에 응답하여: 제2 인물이 인스턴트 메시지를 타이핑하고 있다는 결정에 따라, 통신 애플리케이션의 사용자 인터페이스에 타이핑 메시지 준비 표시자의 디스플레이를 인에이블하고; 제2 인물이 인스턴트 메시지를 드로잉하고 있다는 결정에 따라, 통신 애플리케이션의 사용자 인터페이스에, 타이핑 메시지 준비 표시자와 구분되는 드로잉 메시지 준비 표시자의 디스플레이를 인에이블하고; 제2 인물에 의해 준비된 인스턴트 메시지를 수신하고; 디스플레이된 메시지 준비 표시자에 대응하는 제2 인물에 의해 준비된 인스턴트 메시지를 수신하는 것에 응답하여: 타이핑 메시지 준비 표시자 또는 드로잉 메시지 준비 표시자의 디스플레이를 인에이블하는 것을 중지하고; 제2 인물에 의해 준비된 인스턴트 메시지를 포함하는 콘텐츠 풍선의 디스플레이를 인스턴트 메시지 대화에 인에이블하도록 구성된다.
따라서, 터치 감응형 디스플레이 및 선택적으로 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서를 갖는 전자 디바이스는 스타일러스 입력 및 손가락 입력으로 메시지를 준비하는 더 빠르고, 더 효율적인 방법을 구비함으로써, 유효성, 효율성, 및 그러한 디바이스에 대한 사용자 만족도를 증가시킨다. 이러한 방법은 스타일러스 입력 및 손가락 입력으로 메시지를 준비하는 종래 방법을 보완하거나 대체할 수 있다.
본 명세서에 잠금 상태의 디바이스에서 드로잉 애플리케이션에 액세스하기 위한 개선된 방법을 구비한 전자 디바이스가 개시된다. 이러한 방법은 선택적으로 잠금 상태의 디바이스에서 드로잉 애플리케이션에 액세스하기 위한 종래 방법을 보완하거나 대체한다. 그러한 방법들은 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 줄이고 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리 작동형 디바이스의 경우, 이러한 방법은 전력을 절약하여 배터리 충전 간격을 증가시킨다.
일부 실시예들에 따라, 방법이 터치 감응형 디스플레이를 갖는 전자 디바이스에서 수행되며, 디바이스는 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서를 포함한다. 방법은, 전자 디바이스가 잠금 상태에 있는 동안: 터치 감응형 디스플레이 상의 잠금 화면 사용자 인터페이스를 디스플레이하는 단계; 잠금 화면 사용자 인터페이스를 터치 감응형 디스플레이 상에 디스플레이하는 동안, 터치 감응형 디스플레이 상에 드로잉하기 위한 스타일러스로부터의 제1 입력을 검출하는 단계; 드로잉하기 위한 스타일러스로부터의 제1 입력을 검출하는 것에 응답하여, 잠금 화면 사용자 인터페이스 위에, 스타일러스로부터의 제1 입력에 대응하는 드로잉의 하나 이상의 마크를 디스플레이하는 단계; 잠금 화면 사용자 인터페이스 상에, 스타일러스로부터의 제1 입력에 대응하는 드로잉의 하나 이상의 마크를 디스플레이하는 동안: 제한 모드의 드로잉 애플리케이션을 디스플레이하기 위한 스타일러스의 제2 입력을 검출하는 단계; 및, 드로잉 애플리케이션을 디스플레이하기 위한 스타일러스의 제2 입력을 검출하는 것에 응답하여, 제한 모드의 드로잉 애플리케이션을 실행하는 단계 및 드로잉 애플리케이션에서 드로잉의 하나 이상의 마크를 디스플레이하는 단계를 포함한다.
일부 실시예들에 따라, 전자 디바이스는 사용자 인터페이스를 디스플레이하고 사용자 접촉(스타일러스 접촉 포함)을 수신하도록 구성된 터치 감응형 디스플레이 유닛, 디바이스와 연관된 스타일러스로부터 신호를 검출하도록 구성된 하나 이상의 센서 유닛, 및 터치 감응형 디스플레이 유닛 및 하나 이상의 센서 유닛과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은: 전자 디바이스가 잠금 상태에 있는 동안: 터치 감응형 디스플레이 유닛 상의 잠금 화면 사용자 인터페이스의 디스플레이를 인에이블하고; 잠금 화면 사용자 인터페이스의 터치 감응형 디스플레이 유닛 상의 디스플레이를 인에이블하는 동안, 터치 감응형 디스플레이 유닛 상에 드로잉하기 위한 스타일러스로부터의 제1 입력을 검출하고; 드로잉하기 위한 스타일러스로부터의 제1 입력을 검출하는 것에 응답하여, 잠금 화면 사용자 인터페이스 위에, 스타일러스로부터의 제1 입력에 대응하는 드로잉의 하나 이상의 마크의 디스플레이를 인에이블하고; 잠금 화면 사용자 인터페이스 상에, 스타일러스로부터의 제1 입력에 대응하는 드로잉의 하나 이상의 마크의 디스플레이를 인에이블하는 동안: 제한 모드의 드로잉 애플리케이션을 디스플레이하기 위한 스타일러스로부터의 제2 입력을 검출하고; 드로잉 애플리케이션을 디스플레이하기 위한 스타일러스로부터의 제2 입력을 검출하는 것에 응답하여, 제한 모드의 드로잉 애플리케이션을 실행하고, 드로잉 애플리케이션에서 드로잉의 하나 이상의 마크의 디스플레이를 인에이블하도록 구성된다.
일부 실시예들에 따라, 방법이 터치 감응형 디스플레이를 갖는 전자 디바이스에서 수행되며, 디바이스는 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서를 포함한다. 방법은, 전자 디바이스가 잠금 상태에 있는 동안: 터치 감응형 디스플레이 상의 잠금 화면 사용자 인터페이스를 디스플레이하는 단계; 잠금 화면 사용자 인터페이스를 터치 감응형 디스플레이 상에 디스플레이하는 동안, 사용자 입력을 검출하는 단계; 사용자 입력이 스타일러스를 이용한 사전정의된 입력이라는 결정에 따라, 제한 세션에서 잠금 화면 사용자 인터페이스의 디스플레이를 드로잉 애플리케이션의 디스플레이로 대체하는 단계; 및 사용자 입력이 손가락 터치 입력이라는 결정에 따라, 잠금 화면 사용자 인터페이스의 디스플레이를 유지하는 단계 및 드로잉 애플리케이션의 디스플레이를 보류하는 단계를 포함한다.
일부 실시예들에 따라, 전자 디바이스는 사용자 인터페이스를 디스플레이하고 사용자 접촉(스타일러스 접촉 포함)을 수신하도록 구성된 터치 감응형 디스플레이 유닛, 디바이스와 연관된 스타일러스로부터 신호를 검출하도록 구성된 하나 이상의 센서 유닛, 및 터치 감응형 디스플레이 유닛 및 하나 이상의 센서 유닛과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은: 전자 디바이스가 잠금 상태에 있는 동안: 터치 감응형 디스플레이 유닛 상의 잠금 화면 사용자 인터페이스의 디스플레이를 인에이블하고; 잠금 화면 사용자 인터페이스의 터치 감응형 디스플레이 유닛 상의 디스플레이를 인에이블하는 동안, 사용자 입력을 검출하고; 사용자 입력이 스타일러스를 이용한 사전정의된 입력이라는 결정에 따라, 제한 세션에서 잠금 화면 사용자 인터페이스의 디스플레이를 드로잉 애플리케이션의 디스플레이로 대체하고; 사용자 입력이 손가락 터치 입력이라는 결정에 따라, 잠금 화면 사용자 인터페이스의 디스플레이를 유지하고 드로잉 애플리케이션의 디스플레이를 보류하도록 구성된다.
일부 실시예들에 따라, 방법이 터치 감응형 디스플레이를 갖는 전자 디바이스에서 수행되며, 디바이스는 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서를 포함한다. 방법은, 전자 디바이스가 잠금 상태에 있는 동안: 터치 감응형 디스플레이 상의 잠금 화면 사용자 인터페이스를 디스플레이하는 단계 - 잠금 화면 사용자 인터페이스는 잠금 화면 이미지를 포함함 -; 잠금 화면 사용자 인터페이스를 터치 감응형 디스플레이 상에 디스플레이하는 동안, 터치 감응형 디스플레이 상에서 스타일러스에 의한 제1 입력을 검출하는 단계 - 제1 입력을 검출하는 단계는: 제1 입력의 시작 시에 터치 감응형 디스플레이 상에서 스타일러스에 의한 최초 접촉을 검출하는 단계 -; 제1 입력 동안 터치 감응형 디스플레이를 가로지르는 스타일러스의 이동을 검출하는 단계; 및 제1 입력의 종료 시에 터치 감응형 디스플레이로부터 스타일러스의 리프트오프를 검출하는 단계; 스타일러스의 터치 감응형 디스플레이를 가로지르는 이동을 검출하는 것에 응답하여, 스타일러스의 터치 감응형 디스플레이를 가로지르는 이동에 따라 잠금 화면 이미지의 상부 상에 디스플레이되는 제1 마크를 드로잉하는 단계; 스타일러스의 터치 감응형 디스플레이로부터의 리프트오프를 검출하는 것에 응답하여: 잠금 화면 사용자 인터페이스를 디스플레이하는 것을 중지하는 단계 - 잠금 화면 이미지를 디스플레이하는 것을 중지하는 것을 포함함 -; 제한 세션 내의 드로잉 애플리케이션을 위한 사용자 인터페이스를 디스플레이하는 단계; 및 제1 입력 동안 스타일러스의 터치 감응형 디스플레이를 가로지르는 이동에 따라 드로잉된 제1 마크를, 제한 세션 내의 드로잉 애플리케이션을 위한 사용자 인터페이스 내에 디스플레이하는 단계; 제한 세션 내의 드로잉 애플리케이션을 위한 사용자 인터페이스를 디스플레이하는 동안, 터치 감응형 디스플레이 상의 스타일러스에 의한 제2 입력을 검출하는 단계; 및 터치 감응형 디스플레이 상의 스타일러스에 의한 제2 입력을 검출하는 것에 응답하여, 제한 세션 내의 드로잉 애플리케이션을 위한 사용자 인터페이스 내의 제1 마크와 함께 디스플레이되는 제2 마크를 드로잉하는 단계를 포함한다.
일부 실시예들에 따라, 전자 디바이스는 사용자 인터페이스를 디스플레이하고 사용자 접촉(스타일러스 접촉 포함)을 수신하도록 구성된 터치 감응형 디스플레이 유닛, 디바이스와 연관된 스타일러스로부터 신호를 검출하도록 구성된 하나 이상의 센서 유닛, 및 터치 감응형 디스플레이 유닛 및 하나 이상의 센서 유닛과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은: 전자 디바이스가 잠금 상태에 있는 동안: 터치 감응형 디스플레이 유닛 상의 잠금 화면 사용자 인터페이스의 디스플레이를 인에이블하고 - 잠금 화면 사용자 인터페이스는 잠금 화면 이미지를 포함함 -; 잠금 화면 사용자 인터페이스의 터치 감응형 디스플레이 유닛 상의 디스플레이를 인에이블하는 동안, 터치 감응형 디스플레이 유닛 상에서 스타일러스에 의한 제1 입력을 검출하고 - 제1 입력을 검출하는 것은: 제1 입력의 시작 시에 터치 감응형 디스플레이 유닛 상에서 스타일러스에 의한 최초 접촉을 검출하는 것; 제1 입력 동안 터치 감응형 디스플레이 유닛을 가로지르는 스타일러스의 이동을 검출하는 것; 및 제1 입력의 종료 시에 터치 감응형 디스플레이 유닛으로부터 스타일러스의 리프트오프를 검출하는 것을 포함함 -; 터치 감응형 디스플레이 유닛을 가로지르는 스타일러스의 이동을 검출하는 것에 응답하여, 터치 감응형 디스플레이 유닛을 가로지르는 스타일러스의 이동에 따라 잠금 화면 이미지의 상부 상에 디스플레이되는 제1 마크를 드로잉하고; 터치 감응형 디스플레이 유닛으로부터 스타일러스의 리프트오프를 검출하는 것에 응답하여: 잠금 화면 사용자 인터페이스의 디스플레이를 인에이블하는 것을 중지하고 - 잠금 화면 이미지를 디스플레이하는 것을 중지하는 것을 포함함 -; 제한 세션 내의 드로잉 애플리케이션을 위한 사용자 인터페이스의 디스플레이를 인에이블하고; 제1 입력 동안 터치 감응형 디스플레이 유닛을 가로지르는 스타일러스의 이동에 따라 드로잉된 제1 마크를, 제한 세션 내의 드로잉 애플리케이션을 위한 사용자 인터페이스 내의 디스플레이를 인에이블하고; 제한 세션 내의 드로잉 애플리케이션을 위한 사용자 인터페이스의 디스플레이를 인에이블하는 동안, 터치 감응형 디스플레이 유닛 상의 스타일러스에 의한 제2 입력을 검출하고; 터치 감응형 디스플레이 유닛 상의 스타일러스에 의한 제2 입력을 검출하는 것에 응답하여, 제한 세션 내의 드로잉 애플리케이션을 위한 사용자 인터페이스 내의 제1 마크와 함께 디스플레이되는 제2 마크를 드로잉하도록 구성된다.
따라서, 터치 감응형 디스플레이 및 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서를 갖는 전자 디바이스는 잠금 상태의 디바이스의 드로잉 애플리케이션에 액세스하기 위한 더 빠르고, 더 효율적인 방법을 구비함으로써, 유효성, 효율성, 및 그러한 디바이스에 대한 사용자 만족도를 증가시킨다. 이러한 방법은 잠금 상태의 디바이스의 드로잉 애플리케이션에 액세스하기 위한 종래 방법을 보완하거나 대체할 수 있다.
본 명세서에 스타일러스를 이용하는 가상 드로잉 도구를 선택 및 이용하는 더 빠르고, 더 효율적인 방법을 구비한 전자 디바이스가 개시된다. 이러한 방법은 선택적으로 스타일러스를 이용하는 가상 드로잉 도구를 모방하는 종래 방법을 보완하거나 대체한다. 그러한 방법들은 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 줄이고 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리 작동형 디바이스의 경우, 이러한 방법은 전력을 절약하여 배터리 충전 간격을 증가시킨다.
일부 실시예들에 따라, 방법이 디스플레이, 터치 감응형 표면, 및 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서를 갖는 전자 디바이스에서 수행된다. 방법은: 디스플레이 상에 전자 문서를 디스플레이하는 단계; 디스플레이 상에 전자 문서를 디스플레이하는 동안, 스타일러스로부터 제1 입력을 검출하는 단계 - 제1 입력을 검출하는 단계는 터치 감응형 표면 상에서 스타일러스에 의한 최초 접촉을 검출하는 단계를 포함함 -; 스타일러스의 틸트를 포함하는, 스타일러스로부터의 제1 입력의 복수의 특성을 결정하는 단계 - 스타일러스의 틸트는 터치 감응형 표면의 표면의 법선에 대한 각도임 -; 틸트가 제1 가상 드로잉 도구에 대한 하나 이상의 선택 기준을 충족한다는 결정에 따라, 스타일러스가 모방할 제1 가상 드로잉 도구를 선택하는 단계; 틸트가 제2 가상 드로잉 도구에 대한 하나 이상의 선택 기준을 충족한다는 결정에 따라, 스타일러스가 모방할 제2 가상 드로잉 도구를 선택하는 단계 - 제2 가상 드로잉 도구는 제1 가상 드로잉 도구와 구분됨 -; 및, 스타일러스가 모방할 제1 가상 드로잉 도구와 제2 가상 드로잉 도구 중 하나를 선택한 이후에, 스타일러스로부터의 제1 입력을 검출하는 것에 응답하여 선택된 가상 드로잉 도구를 이용하여 전자 문서에 마크를 생성하는 단계를 포함한다.
일부 실시예들에 따라, 전자 디바이스는 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이 유닛, 사용자 접촉(스타일러스 접촉 포함)을 수신하도록 구성된 터치 감응형 표면 유닛, 디바이스와 연관된 스타일러스로부터 신호를 검출하도록 구성된 하나 이상의 센서 유닛, 및 디스플레이 유닛, 터치 감응형 표면 유닛 및 하나 이상의 센서 유닛과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은: 디스플레이 유닛 상에 전자 문서의 디스플레이를 인에이블하고; 디스플레이 유닛 상에 전자 문서의 디스플레이를 인에이블하는 동안, 스타일러스로부터 제1 입력을 검출하고 - 제1 입력을 검출하는 것은 터치 감응형 표면 유닛 상에서 스타일러스에 의한 최초 접촉을 검출하는 것을 포함함 -; 스타일러스의 틸트를 포함하는, 스타일러스로부터의 제1 입력의 복수의 특성을 결정하고 - 스타일러스의 틸트는 터치 감응형 표면 유닛의 표면의 법선에 대한 각도임 -; 틸트가 제1 가상 드로잉 도구에 대한 하나 이상의 선택 기준을 충족한다는 결정에 따라, 스타일러스가 모방할 제1 가상 드로잉 도구를 선택하고; 틸트가 제2 가상 드로잉 도구에 대한 하나 이상의 선택 기준을 충족한다는 결정에 따라, 스타일러스가 모방할 제2 가상 드로잉 도구를 선택하고 - 제2 가상 드로잉 도구는 제1 가상 드로잉 도구와 구분됨 -; 스타일러스가 모방할 제1 가상 드로잉 도구와 제2 가상 드로잉 도구 중 하나를 선택한 이후에, 스타일러스로부터의 제1 입력을 검출하는 것에 응답하여 선택된 가상 드로잉 도구를 이용하여 전자 문서에 마크를 생성하도록 구성된다.
따라서, 디스플레이, 터치 감응형 표면, 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서, 및 선택적으로 터치 감응형 표면과의 접촉의 세기를 검출하기 위한 하나 이상의 센서를 갖는 전자 디바이스는 스타일러스를 이용하는 가상 드로잉 도구를 모방하는 더 빠르고, 더 효율적인 방법을 구비함으로써, 유효성, 효율성, 및 그러한 디바이스에 대한 사용자 만족도를 증가시킨다. 이러한 방법은 스타일러스를 이용하는 가상 드로잉 도구를 모방하는 종래 방법을 보완하거나 대체할 수 있다.
본 명세서에 손으로 그린 입력을 이용하여 캘린더에 이벤트를 생성하는 개선된 방법을 구비한 전자 디바이스가 개시된다. 이러한 방법은 선택적으로 캘린더 이벤트를 생성하는 종래 방법을 보완하거나 대체한다. 그러한 방법들은 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 줄이고 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리 작동형 디바이스의 경우, 이러한 방법은 전력을 절약하여 배터리 충전 간격을 증가시킨다.
일부 실시예들에 따르면, 방법이 터치 감응형 디스플레이를 갖는 전자 디바이스에서 수행된다. 방법은 터치 감응형 디스플레이 상에 전자 캘린더를 디스플레이하는 단계를 포함하고, 디스플레이되는 캘린더는 제1 일에 대응하는 영역을 포함한다. 방법은 터치 감응형 디스플레이 상의 손으로 그린 입력을 검출하는 단계를 추가로 포함하고, 손으로 그린 입력은 디스플레이되는 캘린더 내의 제1 일의 수직 부분(전체보다 작음) 위에 연장된다. 방법은, 손으로 그린 입력을 검출하는 것에 응답하여, 제1 일의 수직 부분 위에 손으로 그린 입력에 대응하는 그래픽을 디스플레이하는 단계를 추가로 포함한다. 방법은, 제1 일의 수직 부분 위에 손으로 그린 입력에 대응하는 그래픽을 디스플레이하는 동안, 전자 캘린더에 이벤트를 생성하기 위한 요청에 대응하는 입력을 검출하는 단계; 및, 전자 캘린더에 이벤트를 생성하기 위한 요청에 대응하는 입력을 검출하는 것에 응답하여, 전자 캘린더의 제1 일에, 시작 시간 및 종료 시간을 갖는 이벤트를 생성하는 단계를 추가로 포함하고, 이벤트의 시작 시간 및 종료 시간은 제1 일의 수직 부분에 따른다.
일부 실시예들에 따라, 전자 디바이스는 터치 감응형 디스플레이 유닛 및 터치 감응형 디스플레이 유닛과 결합된 프로세싱 유닛을 포함한다. 터치 감응형 디스플레이 유닛은 터치 감응형 디스플레이 유닛 상에 전자 캘린더를 디스플레이하도록 구성되고, 디스플레이되는 캘린더는 제1 일에 대응하는 영역을 포함한다. 터치 감응형 디스플레이 유닛은 터치 감응형 디스플레이 유닛 상의 손으로 그린 입력을 검출하도록 추가로 구성되고, 손으로 그린 입력은 디스플레이되는 캘린더 내의 제1 일의 수직 부분(전체보다 작음) 위에 연장된다. 터치 감응형 디스플레이 유닛은, 손으로 그린 입력을 검출하는 것에 응답하여, 제1 일의 수직 부분 위에 손으로 그린 입력에 대응하는 그래픽을 디스플레이하고; 제1 일의 수직 부분 위에 손으로 그린 입력에 대응하는 그래픽을 디스플레이하는 동안, 전자 캘린더에 이벤트를 생성하기 위한 요청에 대응하는 입력을 검출하도록 추가로 구성된다. 프로세싱 유닛은, 전자 캘린더에 이벤트를 생성하기 위한 요청에 대응하는 입력을 검출하는 것에 응답하여, 전자 캘린더의 제1 일에 시작 시간 및 종료 시간을 갖는 이벤트를 생성하도록 구성되고, 이벤트의 시작 시간 및 종료 시간은 제1 일의 수직 부분에 따른다.
따라서, 터치 감응형 디스플레이, 및 선택적으로 터치 감응형 표면과의 접촉의 세기를 검출하기 위한 하나 이상의 센서를 갖는 전자 디바이스는 캘린더 이벤트를 생성하는 더 빠르고, 더 효율적인 방법을 구비함으로써, 유효성, 효율성, 및 그러한 디바이스에 대한 사용자 만족도를 증가시킨다. 이러한 방법은 캘린더 이벤트를 생성하는 종래 방법을 보완하거나 대체할 수 있다.
본 명세서에 비디오의 일부분을 선택하는 개선된 방법을 구비한 전자 디바이스가 개시된다. 이러한 방법은 선택적으로 비디오의 일부분을 선택하는 종래 방법을 보완하거나 대체한다. 그러한 방법들은 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 줄이고 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리 작동형 디바이스의 경우, 이러한 방법은 전력을 절약하여 배터리 충전 간격을 증가시킨다.
일부 실시예들에 따르면, 방법이 터치 감응형 디스플레이를 갖는 전자 디바이스에서 수행된다. 방법은 편집되고 있는 비디오에 대한 타임라인 영역을 포함하는 비디오 편집 애플리케이션을 디스플레이하는 단계를 포함한다. 방법은 터치 감응형 디스플레이 상의 접촉에 의한 제스처를 검출하는 단계를 추가로 포함한다. 제스처는 접촉에 의한 타임라인 영역과의 최초 접촉 - 최초 접촉은 타임라인 영역 내의 제1 시간 위치에서 발생함 -; 타임라인 영역과의 최초 접촉 이후에 터치 감응형 디스플레이를 가로지르는 접촉의 이동; 및 타임라인 영역 내의 제2 시간 위치에 대응하는 터치 감응형 디스플레이 상의 위치에서의 접촉의 리프트 오프를 포함한다. 방법은, 터치 감응형 디스플레이 상의 접촉에 의한 제스처를 검출하는 것에 응답하여, 편집되고 있는 비디오의 일부분을 선택하는 단계를 추가적으로 포함한다. 비디오의 선택된 부분은 제1 시간 위치에서 시작하여 제2 시간 위치에서 종료한다.
일부 실시예들에 따르면, 전자 디바이스는 터치 감응형 디스플레이 유닛, 및 터치 감응형 디스플레이 유닛에 연결된 프로세싱 유닛을 포함한다. 터치 감응형 디스플레이 유닛은 비디오 애플리케이션을 디스플레이하도록 구성되고, 디스플레이되는 비디오 애플리케이션은 편집되고 있는 비디오에 대한 타임라인 영역을 포함한다. 프로세싱 유닛은 터치 감응형 디스플레이 유닛 상의 접촉에 의한 제스처를 검출하도록 구성된다. 제스처는 접촉에 의한 타임라인 영역과의 최초 접촉 - 최초 접촉은 타임라인 영역 내의 제1 시간 위치에서 발생함 -; 타임라인 영역과의 최초 접촉 이후에 터치 감응형 디스플레이 유닛을 가로지르는 접촉의 이동; 및 타임라인 영역 내의 제2 시간 위치에 대응하는 터치 감응형 디스플레이 유닛 상의 위치에서의 접촉의 리프트 오프를 포함한다. 프로세싱 유닛은 또한, 터치 감응형 디스플레이 유닛 상의 접촉에 의한 제스처를 검출하는 것에 응답하여, 편집되고 있는 비디오의 일부분을 선택하도록 구성되고, 비디오의 선택된 부분은 제1 시간 위치에서 시작하여 제2 시간 위치에서 종료한다.
따라서, 디스플레이, 터치 감응형 표면 및 선택적으로 터치 감응형 표면과의 접촉의 세기를 검출하기 위한 하나 이상의 센서를 갖는 전자 디바이스는 비디오의 일부분을 선택하는 더 빠르고, 더 효율적인 방법을 구비함으로써, 유효성, 효율성, 및 그러한 디바이스에 대한 사용자 만족도를 증가시킨다. 이러한 방법은 비디오의 일부분을 선택하는 종래 방법을 보완하거나 대체할 수 있다.
본 명세서에 스타일러스를 이용하여 메뉴를 디스플레이하고 사용하는 개선된 방법을 구비한 전자 디바이스가 개시된다. 이러한 방법은 선택적으로 메뉴를 디스플레이하고 사용하는 종래 방법을 보완하거나 대체한다. 그러한 방법들은 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 줄이고 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리 작동형 디바이스의 경우, 이러한 방법은 전력을 절약하여 배터리 충전 간격을 증가시킨다.
일부 실시예들에 따라, 방법은 터치 감응형 디스플레이를 갖는 전자 디바이스에서 수행되고, 디바이스는 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서를 포함한다. 방법은, 터치 감응형 디스플레이 상에 사용자 인터페이스를 디스플레이하는 단계; 터치 감응형 디스플레이 상에 사용자 인터페이스를 디스플레이하는 동안, 터치 감응형 디스플레이와 접촉하지 않고, 터치 감응형 디스플레이를 향해 이동하는 스타일러스를 검출하는 단계; 터치 감응형 디스플레이와 접촉하지 않고, 터치 감응형 디스플레이를 향한 검출된 스타일러스 이동이 하나 이상의 스타일러스 이동 기준을 충족하는지 결정하는 단계; 검출된 스타일러스 이동이 하나 이상의 스타일러스 이동 기준을 충족한다는 결정에 따라, 사용자 인터페이스 상에 중첩되는 메뉴를 디스플레이하는 단계 - 메뉴는 복수의 선택형 메뉴 옵션을 포함함 -; 복수의 선택형 메뉴 옵션 중 제1 메뉴 옵션의 선택을 검출하는 단계; 및, 복수의 선택형 메뉴 옵션 중 제1 메뉴 옵션의 선택을 검출하는 것에 응답하여: 제1 메뉴 옵션에 대응하는 동작을 수행하는 단계, 및 메뉴를 디스플레이하는 것을 중지하는 단계를 포함한다.
일부 실시예들에 따라, 전자 디바이스는 사용자 인터페이스를 디스플레이하고 사용자 접촉(스타일러스 접촉 포함)을 수신하도록 구성된 터치 감응형 디스플레이 유닛, 디바이스와 연관된 스타일러스로부터 신호를 검출하도록 구성된 하나 이상의 센서 유닛, 및 터치 감응형 디스플레이 유닛 및 하나 이상의 센서 유닛과 결합된 프로세싱 유닛을 포함한다. 프로세싱 유닛은: 터치 감응형 디스플레이 유닛 상에 사용자 인터페이스의 디스플레이를 인에이블하고; 터치 감응형 디스플레이 유닛 상에 사용자 인터페이스의 디스플레이를 인에이블하는 동안, 터치 감응형 디스플레이 유닛과 접촉하지 않고, 터치 감응형 디스플레이 유닛을 향해 이동하는 스타일러스를 검출하고; 터치 감응형 디스플레이 유닛과 접촉하지 않으면서, 터치 감응형 디스플레이 유닛을 향하는 검출된 스타일러스 이동이 하나 이상의 스타일러스 이동 기준을 충족하는지 결정하고; 검출된 스타일러스 이동이 하나 이상의 스타일러스 이동 기준을 충족한다는 결정에 따라, 사용자 인터페이스 상에 중첩되는 메뉴의 디스플레이를 인에이블하고 - 메뉴는 복수의 선택형 메뉴 옵션을 포함함 -; 복수의 선택형 메뉴 옵션 중 제1 메뉴 옵션의 선택을 검출하고; 복수의 선택형 메뉴 옵션 중 제1 메뉴 옵션의 선택을 검출하는 것에 응답하여: 제1 메뉴 옵션에 대응하는 동작을 수행하고, 메뉴를 디스플레이하는 것을 중지하도록 구성된다.
따라서, 터치 감응형 디스플레이 및 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서를 갖는 전자 디바이스는 스타일러스를 이용하여 메뉴를 디스플레이하고 사용하는 더 빠르고, 더 효율적인 방법을 구비함으로써, 유효성, 효율성, 및 그러한 디바이스에 대한 사용자 만족도를 증가시킨다. 이러한 방법은 메뉴를 디스플레이하기 위한 종래 방법을 보완하거나 대체할 수 있다.
일부 실시예들에 따르면, 전자 디바이스는 디스플레이, 터치 감응형 표면, 선택적으로 터치 감응형 표면과의 접촉들의 세기를 검출하는 하나 이상의 센서, 하나 이상의 프로세서, 메모리, 및 하나 이상의 프로그램을 포함하고; 하나 이상의 프로그램은 메모리에 저장되고 하나 이상의 프로세서에 의해 실행되도록 구성되고, 하나 이상의 프로그램은 본 명세서에 기재된 방법들 중 임의의 방법의 동작들을 수행하거나 수행하게 하는 명령어들을 포함한다. 일부 실시예들에 따르면, 컴퓨터 판독가능 저장 매체는, 디스플레이, 터치 감응형 표면, 및 선택적으로 터치 감응형 표면과의 접촉들의 세기를 검출하는 하나 이상의 센서를 갖는 전자 디바이스에 의해 실행될 때, 디바이스로 하여금 본 명세서에 설명된 방법들 중 임의의 동작들을 수행하거나 수행하게 하는 명령어들을 저장하고 있다. 일부 실시예들에 따라, 디스플레이, 터치 감응형 표면, 선택적으로 터치 감응형 표면과의 접촉의 세기를 검출하기 위한 하나 이상의 센서, 메모리, 및 메모리에 저장된 하나 이상의 프로그램을 실행하기 위한 하나 이상의 프로세서를 갖는 전자 디바이스 상의 그래픽 사용자 인터페이스는 본 명세서에 기재된 방법들 중 임의의 방법에서 기재된 바와 같이, 입력들에 응답하여 업데이트되는, 상기 방법들 중 임의의 방법으로 디스플레이되는 요소들 중 하나 이상을 포함한다. 일부 실시예들에 따르면, 전자 디바이스는, 디스플레이, 터치 감응형 표면, 및 선택적으로 터치 감응형 표면과의 접촉들의 세기를 검출하는 하나 이상의 센서; 및 본 명세서에 설명된 방법들 중 임의의 동작들을 수행하거나 수행하게 하기 위한 수단을 포함한다. 일부 실시예들에 따라, 디스플레이 및 터치 감응형 표면, 및 선택적으로 터치 감응형 표면과의 접촉의 세기를 검출하기 위한 하나 이상의 센서를 갖는 전자 디바이스에서의 사용을 위한 정보 처리 장치는, 본 명세서에 기재된 방법들 중 임의의 방법의 동작들을 수행하거나 수행하게 하는 수단을 포함한다.
따라서, 디스플레이, 터치 감응형 표면 및 선택적으로 터치 감응형 표면과의 접촉의 세기를 검출하기 위한 하나 이상의 센서를 갖는 전자 디바이스는 스타일러스로 사용자 인터페이스를 조작하기 위한 더 빠르고, 더 효율적인 방법을 구비함으로써, 유효성, 효율성, 및 그러한 디바이스에 대한 사용자 만족도를 증가시킨다. 이러한 방법은 스타일러스로 사용자 인터페이스를 조작하기 위한 종래 방법을 보완하거나 대체할 수 있다.
기술된 다양한 실시예들의 더 나은 이해를 위해, 유사한 도면 부호들이 도면들 전체에 걸쳐 대응하는 부분들을 나타내는 아래의 도면들과 관련하여, 아래의 발명을 실시하기 위한 구체적인 내용이 참고되어야 한다.
도 1a는 일부 실시예들에 따른, 터치 감응형 디스플레이를 갖는 휴대용 다기능 디바이스를 예시하는 블록도이다.
도 1b는 일부 실시예들에 따른, 이벤트 처리를 위한 예시적인 컴포넌트들을 예시하는 블록도이다.
도 2는 일부 실시예들에 따른, 터치 스크린을 갖는 휴대용 다기능 디바이스를 예시한다.
도 3은 일부 실시예들에 따른, 디스플레이 및 터치 감응형 표면을 갖는 예시적인 다기능 디바이스의 블록도이다.
도 4는 일부 실시예들에 따른, 예시적인 전자 스타일러스의 블록도이다.
도 5a 및 도 5b는 일부 실시예들에 따른, 터치 감응형 표면에 대한 스타일러스의 위치 상태를 예시한다.
도 6a는 일부 실시예들에 따른, 휴대용 다기능 디바이스 상의 애플리케이션들의 메뉴에 대한 예시적인 사용자 인터페이스를 예시한다.
도 6b는 일부 실시예들에 따른, 디스플레이와 별개인 터치 감응형 표면을 갖는 다기능 디바이스에 대한 예시적인 사용자 인터페이스를 예시한다.
도 7a 내지 도 7j는 일부 실시예들에 따른, 스타일러스의 위치 상태에 대응하는 표시를 디스플레이하고 업데이트하기 위한 예시적인 사용자 인터페이스를 예시한다.
도 8a 내지 도 8d는 일부 실시예들에 따른, 스타일러스의 위치 상태에 대응하는 표시를 디스플레이하고 업데이트하는 방법을 예시하는 흐름도이다.
도 9는 일부 실시예들에 따른, 전자 디바이스의 기능 블록도이다.
도 10a 내지 도 10k는 일부 실시예들에 따른, 스타일러스의 위치 상태에 대응하는 표시를 디스플레이하고 업데이트하기 위한 예시적인 사용자 인터페이스를 예시한다.
도 11a 내지 도 11d는 일부 실시예들에 따른, 스타일러스의 위치 상태에 대응하는 표시를 디스플레이하고 업데이트하는 방법을 예시하는 흐름도이다.
도 12는 일부 실시예들에 따른, 전자 디바이스의 기능 블록도이다.
도 13a 내지 도 13o는 일부 실시예들에 따른, 스타일러스로부터의 입력의 특성들에 따라 마크의 하나 이상의 특성을 조정하기 위한 예시적인 사용자 인터페이스를 예시한다.
도 14a 내지 도 14e는 일부 실시예들에 따른, 스타일러스로부터의 입력의 특성들에 따라 마크의 하나 이상의 특성을 조정하는 방법을 예시하는 흐름도이다.
도 15는 일부 실시예들에 따른, 전자 디바이스의 기능 블록도이다.
도 16a 내지 도 16n은 일부 실시예들에 따른, 스타일러스 입력 및 손가락 입력을 이용하여 메시지를 준비하기 위한 예시적인 사용자 인터페이스를 예시한다.
도 17a 내지 도 17c, 도 18a 및 도 18b, 및 도 19는 일부 실시예들에 따른, 스타일러스 입력 및 손가락 입력을 이용하여 메시지를 준비하는 방법을 예시하는 흐름도이다.
도 20a는 일부 실시예들에 따른, 전자 디바이스의 기능 블록도이다.
도 20b는 일부 실시예들에 따른, 전자 디바이스의 기능 블록도이다.
도 21a 내지 도 21q는 일부 실시예들에 따른, 잠금 상태의 디바이스의 드로잉 애플리케이션에 액세스하기 위한 예시적인 사용자 인터페이스를 예시한다.
도 22a 및 도 22b는 일부 실시예들에 따른, 잠금 상태의 디바이스의 드로잉 애플리케이션에 액세스하기 위한 방법을 예시하는 흐름도이다.
도 23a 및 도 23b는 일부 실시예들에 따른, 잠금 상태의 디바이스의 드로잉 애플리케이션에 액세스하기 위한 방법을 예시하는 흐름도이다.
도 24a 및 도 24b는 일부 실시예들에 따른, 잠금 상태의 디바이스의 드로잉 애플리케이션에 액세스하기 위한 방법을 예시하는 흐름도이다.
도 25는 일부 실시예들에 따른, 전자 디바이스의 기능 블록도이다.
도 26a 내지 도 26h는 일부 실시예들에 따른, 스타일러스를 이용하는 가상 드로잉 도구를 선택하고 사용하기 위한 예시적인 사용자 인터페이스를 예시한다.
도 27a 내지 도 27c는 일부 실시예들에 따른, 스타일러스를 이용하는 가상 드로잉 도구를 선택하고 사용하는 방법을 예시하는 흐름도이다.
도 28은 일부 실시예들에 따른, 전자 디바이스의 기능 블록도이다.
도 29a 내지 도 29h는 일부 실시예들에 따른, 캘린더 이벤트 생성을 위한 예시적인 사용자 인터페이스를 예시한다.
도 30a 내지 도 30d는 일부 실시예들에 따른, 캘린더 이벤트 생성의 방법을 예시하는 흐름도이다.
도 31은 일부 실시예들에 따른, 전자 디바이스의 기능 블록도이다.
도 32a 내지 도 32f는 일부 실시예들에 따른, 비디오의 일부분을 선택하기 위한 예시적인 사용자 인터페이스를 예시한다.
도 33a 및 도 33b는 일부 실시예들에 따른, 비디오의 일부분을 선택하는 방법을 예시하는 흐름도이다.
도 34는 일부 실시예들에 따른, 전자 디바이스의 기능 블록도이다.
도 35a 내지 도 35j는 일부 실시예들에 따른, 스타일러스를 이용하여 메뉴를 디스플레이하고 사용하기 위한 예시적인 사용자 인터페이스를 예시한다.
도 36a 내지 도 36c는 일부 실시예들에 따른, 스타일러스를 이용하여 메뉴를 디스플레이하고 사용하는 방법을 예시하는 흐름도이다.
도 37은 일부 실시예들에 따른, 전자 디바이스의 기능 블록도이다.
스타일러스를 이용하여 사용자 인터페이스들을 조작하기 위한 다수의 상이한 접근법들이 본 명세서에 기술된다. 그러한 접근법들 중 하나 이상을 사용하는 것(선택적으로 서로 함께)은 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 줄이고 보다 효율적인 인간-기계 인터페이스를 제공한다. 이를 통해 사용자들은 스타일러스를 터치 감응형 표면들을 갖는 디바이스와 함께 더 빠르고 더 효율적으로 사용할 수 있다. 배터리-작동형 디바이스들의 경우, 이러한 개선점들은 전력을 절약하여 배터리 충전 간격을 증가시킨다. 설명의 용이성을 위해, 이러한 접근법들 중 일부의 접근법들의 예시적인 예들을 포함하는 디바이스들 및 방법들이 하기와 같이 후술된다:
Figure pat00001
도 7a 내지 도 7j는 스타일러스가 터치 감응형 표면을 터치하기 전에 스타일러스의 위치 상태에 대응하는 표시를 디스플레이하고 업데이트하기 위한 예시적인 사용자 인터페이스를 예시한다. 도 8a 내지 도 8d는 스타일러스가 터치 감응형 표면을 터치하기 전에 스타일러스의 위치 상태에 대응하는 표시를 디스플레이하고 업데이트하는 방법을 예시하는 흐름도이다. 도 7a 내지 도 7j의 사용자 인터페이스를 이용하여 도 8a 내지 도 8d의 프로세스를 예시한다.
Figure pat00002
도 10a 내지 도 10k는 스타일러스가 터치 감응형 표면을 터치하는 동안 스타일러스의 위치 상태에 대응하는 표시를 디스플레이하고 업데이트하기 위한 예시적인 사용자 인터페이스를 예시한다. 도 11a 내지 도 11d는 스타일러스가 터치 감응형 표면을 터치하는 동안 스타일러스의 위치 상태에 대응하는 표시를 디스플레이하고 업데이트하는 방법을 예시하는 흐름도이다. 도 10a 내지 도 10k의 사용자 인터페이스를 이용하여 도 11a 내지 도 11d의 프로세스를 예시한다.
Figure pat00003
도 13a 내지 도 13o는 스타일러스로부터의 입력의 특성들에 따라 마크의 하나 이상의 특성을 조정하기 위한 예시적인 사용자 인터페이스를 예시한다. 도 14a 내지 도 14e는 스타일러스로부터의 입력의 특성들에 따라 마크의 하나 이상의 특성을 조정하는 방법을 예시하는 흐름도이다. 도 13a 내지 도 13o의 사용자 인터페이스를 이용하여 도 14a 내지 도 14e의 프로세스를 예시한다.
Figure pat00004
도 16a 내지 도 16n은 스타일러스 입력 및 손가락 입력을 이용하여 메시지를 준비하기 위한 예시적인 사용자 인터페이스를 예시한다. 도 17a 내지 도 17c, 도 18a 및 도 18b, 및 도 19는 스타일러스 입력 및 손가락 입력을 이용하여 메시지를 준비하는 방법을 예시하는 흐름도이다. 도 16a 내지 도 16n의 사용자 인터페이스를 이용하여 도 17a 내지 도 17c, 도 18a 및 도 18b, 및 도 19의 프로세스를 예시한다.
Figure pat00005
도 21a 내지 도 21q는 잠금 상태의 디바이스의 드로잉 애플리케이션에 액세스하기 위한 예시적인 사용자 인터페이스를 예시한다. 도 22a 및 도 22b, 도 23a 및 도 23b, 및 도 24a 및 도 24b는 잠금 상태의 디바이스의 드로잉 애플리케이션에 액세스하기 위한 방법을 예시하는 흐름도이다. 도 21a 내지 도 21q의 사용자 인터페이스를 이용하여 도 22a 및 도 22b, 도 23a 및 도 23b, 및 도 24a 및 도 24b의 프로세스를 예시한다.
Figure pat00006
도 26a 내지 도 26h는 스타일러스를 이용하는 가상 드로잉 도구를 선택하고 사용하기 위한 예시적인 사용자 인터페이스를 예시한다. 도 27a 내지 도 27c는 스타일러스를 이용하는 가상 드로잉 도구를 선택하고 사용하는 방법을 예시하는 흐름도이다. 도 26a 내지 도 26h의 사용자 인터페이스를 이용하여 도 27a 내지 도 27c의 프로세스를 예시한다.
Figure pat00007
도 29a 내지 도 29h는 캘린더 이벤트 생성을 위한 예시적인 사용자 인터페이스를 예시한다. 도 30a 내지 도 30d는 캘린더 이벤트 생성의 방법을 예시하는 흐름도이다. 도 29a 내지 도 29h의 사용자 인터페이스를 이용하여 도 30a 내지 도 30d의 프로세스를 예시한다.
Figure pat00008
도 32a 내지 도 32f는 비디오의 일부분을 선택하기 위한 예시적인 사용자 인터페이스를 예시한다. 도 33a 및 도 33b는 비디오의 일부분을 선택하는 방법을 예시하는 흐름도이다. 도 32a 내지 도 32f의 사용자 인터페이스를 이용하여 도 33a 및 도 33b의 프로세스를 예시한다.
Figure pat00009
도 35a 내지 도 35j는 스타일러스를 이용하여 메뉴를 디스플레이하고 사용하기 위한 예시적인 사용자 인터페이스를 예시한다. 도 36a 내지 도 36c는 스타일러스를 이용하여 메뉴를 디스플레이하고 사용하는 방법을 예시하는 흐름도이다. 도 35a 내지 도 35j의 사용자 인터페이스를 이용하여 도 36a 내지 도 36c의 프로세스를 예시한다.
예시적인 디바이스들
이제, 실시예들이 상세하게 참조될 것이며, 실시예들의 예들이 첨부 도면들에 예시된다. 하기의 상세한 설명에서, 많은 구체적인 상세사항들이 다양하게 기술된 실시예들의 완전한 이해를 제공하기 위해 설명된다. 그러나, 다양하게 기술된 실시예들이 이들 구체적인 상세사항 없이 실시될 수 있다는 것은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 명백할 것이다. 다른 예들에서, 잘 알려진 방법들, 절차들, 컴포넌트들, 회로들, 및 네트워크들은 실시예들의 양태들을 불필요하게 모호하게 하지 않기 위해 상세히 기술되지 않았다.
일부 예들에서, 용어들, 제1, 제2 등이 본 명세서에서 다양한 요소들을 기재하는 데 사용되지만, 이들 요소들은 이들 용어들로 제한되어서는 안 된다는 것이 또한 이해될 것이다. 이들 용어들은 하나의 요소를 다른 요소와 구별하는 데에만 사용된다. 예를 들면, 다양하게 기술된 실시예들의 범주로부터 벗어남이 없이, 제1 접촉이 제2 접촉으로 지칭될 수 있고, 유사하게, 제2 접촉이 제1 접촉으로 지칭될 수 있다. 제1 접촉 및 제2 접촉은 둘 다 접촉이지만, 문맥이 명확히 그렇지 않은 경우를 나타내지 않는 한, 그들이 동일한 접촉인 것은 아니다.
본 명세서에서 다양하게 기술된 실시예들의 설명에 사용되는 용어는 특정 실시예들을 기술하는 목적만을 위한 것이고, 제한하려는 의도는 아니다. 다양한 기술된 실시예들의 설명 및 첨부된 청구범위에 사용되는 바와 같이, 단수의 형태("a", "an", 및 "the")는 문맥상 명백히 달리 나타내지 않는다면 복수의 형태도 마찬가지로 포함하려는 것으로 의도된다. 또한, 본 명세서에서 사용되는 바와 같은 "및/또는"이라는 용어는 열거되는 연관된 항목들 중 하나 이상의 항목의 임의의 및 모든 가능한 조합들을 나타내고 그들을 포괄하는 것임이 이해될 것이다. 용어들 "포함한다(include)", "포함하는(including)", "포함한다(comprise)", 및/또는 "포함하는(comprising)"은, 본 명세서에서 사용될 때, 언급된 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 컴포넌트들, 및/또는 이들의 그룹들의 존재 또는 추가를 배제하지 않음이 추가로 이해될 것이다.
본 명세서에서 사용되는 바와 같이, "~는 경우(if)"라는 용어는, 선택적으로, 문맥에 따라 "~할 때(when)" 또는 "~ 시(upon)" 또는 "결정하는 것에 응답하여(in response to determining)" 또는 "검출하는 것에 응답하여(in response to detecting)"를 의미하는 것으로 해석된다. 유사하게, 구문 "결정된 경우" 또는 "[언급된 상태 또는 이벤트가] 검출된 경우"는, 선택적으로, 문맥에 따라 "결정 시" 또는 "결정한 것에 응답하여" 또는 "[언급된 상태 또는 이벤트] 검출 시" 또는 "[언급된 상태 또는 이벤트를] 검출한 것에 응답하여"를 의미하는 것으로 해석된다.
전자 디바이스들, 그러한 디바이스들에 대한 사용자 인터페이스들, 및 그러한 디바이스들을 사용하기 위한 연관된 프로세스들의 실시예들이 기술된다. 일부 실시예들에서, 디바이스는 PDA 및/또는 음악 재생기 기능들과 같은 다른 기능들을 또한 포함하는 휴대용 통신 디바이스, 예컨대 모바일 전화기이다. 휴대용 다기능 디바이스들의 예시적인 실시예들은 미국 캘리포니아주 쿠퍼티노 소재의 애플 인크.(Apple Inc.)로부터의 아이폰(iPhone)®, 아이팟 터치(iPod Touch)®, 및 아이패드(iPad)® 디바이스들을 제한 없이 포함한다. 터치 감응형 표면들(예를 들면, 터치 스크린 디스플레이들 및/또는 터치패드들)을 갖는 랩톱 또는 태블릿 컴퓨터들과 같은 다른 휴대용 전자 디바이스들이 선택적으로 사용된다. 일부 실시예들에서, 디바이스는 휴대용 통신 디바이스가 아니라 터치 감응형 표면(예컨대, 터치 스크린 디스플레이 및/또는 터치패드)을 갖는 데스크톱 컴퓨터임이 또한 이해되어야 한다.
이하의 논의에서, 디스플레이 및 터치 감응형 표면을 포함하는 전자 디바이스가 기술된다. 그러나, 전자 디바이스가 선택적으로 물리적 키보드, 마우스 및/또는 조이스틱과 같은 하나 이상의 다른 물리적 사용자 인터페이스 디바이스들을 포함한다는 것이 이해되어야 한다.
디바이스는 전형적으로, 드로잉 애플리케이션, 프레젠테이션 애플리케이션, 워드 프로세싱 애플리케이션, 웹사이트 제작 애플리케이션, 디스크 저작 애플리케이션, 스프레드시트 애플리케이션, 게임 애플리케이션, 전화 애플리케이션, 화상 회의 애플리케이션, 이메일 애플리케이션, 인스턴트 메시징 애플리케이션, 운동 지원 애플리케이션, 사진 관리 애플리케이션, 디지털 카메라 애플리케이션, 디지털 비디오 카메라 애플리케이션, 웹 브라우징 애플리케이션, 디지털 음악 재생기 애플리케이션, 및/또는 디지털 비디오 재생기 애플리케이션 중 하나 이상과 같은 다양한 애플리케이션들을 지원한다.
디바이스 상에서 실행되는 다양한 애플리케이션들은, 선택적으로, 터치 감응형 표면과 같은 적어도 하나의 보편적인 물리적 사용자 인터페이스 디바이스를 사용한다. 터치 감응형 표면의 하나 이상의 기능들뿐만 아니라 디바이스 상에 디스플레이되는 대응하는 정보는, 선택적으로, 하나의 애플리케이션으로부터 다음 애플리케이션으로 그리고/또는 각각의 애플리케이션 내에서 조정되고/되거나 변경된다. 이러한 방식으로, 디바이스의 (터치 감응형 표면과 같은) 통상적인 물리적 아키텍처는, 선택적으로, 사용자에게 직관적이고 투명한 사용자 인터페이스들을 이용하여 다양한 애플리케이션들을 지원한다.
이제, 터치 감응형 디스플레이들을 갖는 휴대용 디바이스들의 실시예들에 주목한다. 도 1a는 일부 실시예들에 따른, 터치 감응형 디스플레이 시스템(112)을 갖는 휴대용 다기능 디바이스(100)를 예시하는 블록도이다. 터치 감응형 디스플레이 시스템(112)은 때때로 편의상 "터치 스크린"이라고 지칭되고, 때때로 터치 감응형 디스플레이로 단순히 지칭된다. 디바이스(100)는 메모리(102)(선택적으로, 하나 이상의 컴퓨터 판독가능 저장 매체를 포함함), 메모리 제어기(120), 하나 이상의 프로세싱 유닛(CPU)(122), 주변기기 인터페이스(118), RF 회로부(108), 오디오 회로부(110), 스피커(111), 마이크로폰(113), 입/출력(I/O) 서브시스템(106), 기타 입력 또는 제어 디바이스들(116) 및 외부 포트(124)를 포함한다. 디바이스(100)는 선택적으로 하나 이상의 광 센서(optical sensor)(164)를 포함한다. 디바이스(100)는, 선택적으로, 디바이스(100) 상의 접촉들의 세기를 검출하기 위한 하나 이상의 세기 센서(165)(예컨대, 디바이스(100)의 터치 감응형 디스플레이 시스템(112)과 같은 터치 감응형 표면)를 포함한다. 디바이스(100)는 선택적으로 디바이스(100) 상의 촉각적 출력을 생성(예컨대, 디바이스(100)의 터치 감응형 디스플레이 시스템(112) 또는 디바이스(300)의 터치패드(355)와 같은 터치 감응형 표면 상의 촉각적 출력을 생성)하기 위한 하나 이상의 촉각적 출력 생성기(163)를 포함한다. 이들 컴포넌트는 선택적으로 하나 이상의 통신 버스 또는 신호 라인(103)을 통해 통신한다.
명세서 및 청구범위에 사용되는 바와 같이, "촉각적 출력"이라는 용어는 디바이스의 이전 위치에 대한 디바이스의 물리적 변위, 디바이스의 다른 컴포넌트(예컨대, 하우징)에 대한 디바이스의 컴포넌트(예컨대, 터치 감응형 표면)의 물리적 변위, 또는 사용자의 촉각을 이용하여 사용자에 의해 검출될 디바이스의 질량 중심에 대한 컴포넌트의 변위를 지칭한다. 예컨대, 디바이스 또는 디바이스의 컴포넌트가 터치에 민감한 사용자의 표면(예컨대, 사용자의 손의 손가락, 손바닥, 또는 다른 부위)과 접촉하는 상황에서, 물리적 변위에 의해 생성된 촉각적 출력은 사용자에 의해 디바이스 또는 디바이스의 컴포넌트의 물리적 특성들의 인지된 변화에 대응하는 촉감(tactile sensation)으로서 해석될 것이다. 예컨대, 터치 감응형 표면(예컨대, 터치 감응형 디스플레이 또는 트랙패드)의 이동은, 선택적으로, 사용자에 의해 물리적 액추에이터 버튼의 "다운 클릭(down click)" 또는 "업 클릭(up click)"으로서 해석된다. 일부 경우들에 있어서, 사용자는 사용자의 이동에 의해 물리적으로 눌리는(예컨대, 변위되는) 터치 감응형 표면과 연관된 물리적 액추에이터 버튼의 이동이 없는 경우에도 "다운 클릭" 또는 "업 클릭"과 같은 촉감을 느낄 것이다. 다른 예로서, 터치 감응형 표면의 이동은, 터치 감응형 표면의 평탄성의 변화가 없는 경우에도, 선택적으로, 사용자에 의해 터치 감응형 표면의 "거칠기(roughness)"로서 해석 또는 감지된다. 사용자에 의한 터치의 이러한 해석들이 사용자의 개별화된 감각 인지(sensory perception)에 영향을 받기 쉬울 것이지만, 대다수의 사용자들에게 보편적인 많은 터치 감각 인지가 있다. 따라서, 촉각적 출력이 사용자의 특정 감각 인지(예컨대, "업 클릭", "다운 클릭", "거칠기")에 대응하는 것으로서 기술될 때, 달리 언급되지 않는다면, 생성된 촉각적 출력은 전형적인(또는 평균적인) 사용자에 대한 기술된 감각 인지를 생성할 디바이스 또는 그의 컴포넌트의 물리적 변위에 대응한다.
디바이스(100)는 휴대용 다기능 디바이스의 일례일 뿐이고, 디바이스(100)는, 선택적으로, 도시된 것보다 더 많거나 더 적은 컴포넌트들을 갖거나, 선택적으로, 2개 이상의 컴포넌트들을 조합하거나, 또는 선택적으로 컴포넌트들의 상이한 구성 또는 배열을 갖는다는 것이 인식되어야 한다. 도 1a에 도시된 다양한 컴포넌트들은 하나 이상의 신호 처리 및/또는 주문형 집적 회로(application specific integrated circuit)들을 비롯한, 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합으로 구현된다.
메모리(102)는, 선택적으로, 고속 랜덤 액세스 메모리를 포함하고, 또한 선택적으로, 하나 이상의 자기 디스크 저장 디바이스, 플래시 메모리 디바이스, 또는 다른 비휘발성 솔리드 스테이트 메모리 디바이스(non-volatile solid-state memory device)와 같은 비휘발성 메모리를 포함한다. CPU(들)(122) 및 주변기기 인터페이스(118)와 같은 디바이스(100)의 다른 컴포넌트들에 의한 메모리(102)에의 액세스는 선택적으로 메모리 제어기(120)에 의해 제어된다.
주변기기 인터페이스(118)는 디바이스의 입력 및 출력 주변기기들을 CPU(들)(122) 및 메모리(102)에 연결하는 데 사용될 수 있다. 하나 이상의 프로세서(122)는 디바이스(100)에 대한 다양한 기능들을 수행하고 데이터를 처리하기 위해 메모리(102)에 저장된 다양한 소프트웨어 프로그램들 및/또는 명령어들의 세트들을 구동 또는 실행시킨다.
일부 실시예들에서, 주변기기 인터페이스(118), CPU(들)(122) 및 메모리 제어기(120)는, 선택적으로, 칩(104)과 같은 단일 칩 상에서 구현된다. 일부 다른 실시예들에서, 이들은 선택적으로 별개의 칩들 상에 구현된다.
RF(radio frequency) 회로부(108)는 전자기 신호들이라고도 지칭되는 RF 신호들을 수신 및 전송한다. RF 회로부(108)는 전기 신호들을 전자기 신호들로/로부터 변환하고, 전자기 신호들을 통해 통신 네트워크들 및 다른 통신 디바이스들과 통신한다. RF 회로부(108)는, 선택적으로, 안테나 시스템, RF 송수신기, 하나 이상의 증폭기들, 튜너, 하나 이상의 발진기들, 디지털 신호 프로세서, CODEC 칩셋, SIM(subscriber identity module) 카드, 메모리 등을 제한 없이 포함하는, 이들 기능들을 수행하기 위한 주지의 회로부를 포함한다. RF 회로부(108)는, 선택적으로, 무선 통신에 의해 월드 와이드 웹(World Wide Web, WWW)으로도 지칭되는 인터넷, 인트라넷 및/또는 무선 네트워크, 예컨대 셀룰러 전화 네트워크, 무선 LAN(local area network) 및/또는 MAN(metropolitan area network)과 같은 네트워크들 및 다른 디바이스들과 통신한다. 무선 통신은, 선택적으로, GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), HSDPA(high-speed downlink packet access), HSUPA(high-speed uplink packet access), EV-DO(Evolution, Data-Only), HSPA, HSPA+, DC-HSPDA(Dual-Cell HSPA), LTE(long term evolution), NFC(near field communication), W-CDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스(Bluetooth), Wi-Fi(Wireless Fidelity)(예컨대, IEEE 802.11a, IEEE 802.11ac, IEEE 802.11ax, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n), VoIP(voice over Internet Protocol), Wi-MAX, 이메일용 프로토콜(예컨대, IMAP(Internet message access protocol) 및/또는 POP(post office protocol)), 인스턴트 메시징(예컨대, XMPP(extensible messaging and presence protocol), SIMPLE(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions), IMPS(Instant Messaging and Presence Service)), 및/또는 SMS(Short Message Service), 또는 본 문헌의 출원일 현재 아직 개발되지 않은 통신 프로토콜을 포함한 임의의 다른 적합한 통신 프로토콜을 포함하지만 이들로 제한되지는 않는 복수의 통신 표준, 프로토콜 및 기술 중 임의의 것을 이용한다.
오디오 회로부(110), 스피커(111) 및 마이크로폰(113)은 사용자와 디바이스(100) 사이에서 오디오 인터페이스를 제공한다. 오디오 회로부(110)는 주변기기 인터페이스(118)로부터 오디오 데이터를 수신하고, 그 오디오 데이터를 전기 신호로 변환하고, 그 전기 신호를 스피커(111)로 전송한다. 스피커(111)는 전기 신호를 사람이 들을 수 있는 음파로 변환한다. 오디오 회로부(110)는 또한 마이크로폰(113)에 의해 음파로부터 변환된 전기 신호를 수신한다. 오디오 회로부(110)는 전기 신호를 오디오 데이터로 변환하고, 프로세싱을 위해 오디오 데이터를 주변기기 인터페이스(118)로 전송한다. 오디오 데이터는, 선택적으로, 주변기기 인터페이스(118)에 의해 메모리(102) 및/또는 RF 회로부(108)로부터 검색되고/되거나 메모리(102) 및/또는 RF 회로부(108)로 전송된다. 일부 실시예들에서, 오디오 회로부(110)는 또한 헤드셋 잭(예를 들면, 도 2의 212)을 포함한다. 헤드셋 잭은 출력-전용 헤드폰들, 또는 출력(예컨대, 한쪽 또는 양쪽 귀용 헤드폰) 및 입력(예컨대, 마이크로폰) 양쪽 모두를 갖는 헤드셋과 같은 분리가능한 오디오 입/출력 주변기기들과 오디오 회로부(110) 사이의 인터페이스를 제공한다.
I/O 서브시스템(106)은 터치 감응형 디스플레이 시스템(112) 및 기타 입력 또는 제어 디바이스들(116)과 같은, 디바이스(100) 상의 입/출력 주변기기들을 주변기기 인터페이스(118)와 연결한다. I/O 서브시스템(106)은 선택적으로 디스플레이 제어기(156), 광 센서 제어기(158), 세기 센서 제어기(159), 햅틱 피드백 제어기(161), 및 기타 입력 또는 제어 디바이스들을 위한 하나 이상의 입력 제어기들(160)을 포함한다. 하나 이상의 입력 제어기들(160)은 기타 입력 또는 제어 디바이스들(116)로부터/로 전기 신호들을 수신/전송한다. 기타 입력 또는 제어 디바이스들(116)은 선택적으로 물리적 버튼들(예컨대, 푸시 버튼, 로커 버튼(rocker button) 등), 다이얼, 슬라이더 스위치, 조이스틱, 클릭 휠 등을 포함한다. 일부 대안적인 실시예들에서, 입력 제어기(들)(160)는 선택적으로 키보드, 적외선 포트, USB 포트, 스타일러스, 및/또는 마우스와 같은 포인터 디바이스 중 임의의 것과 연결된다(또는 어떤 것에도 연결되지 않는다). 하나 이상의 버튼(예를 들면, 도 2의 208)은 선택적으로 스피커(111) 및/또는 마이크로폰(113)의 음량 제어를 위한 업/다운 버튼을 포함한다. 하나 이상의 버튼은 선택적으로 푸시 버튼(예를 들면, 도 2의 206)을 포함한다.
터치 감응형 디스플레이 시스템(112)은 디바이스와 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 제공한다. 디스플레이 제어기(156)는 터치 감응형 디스플레이 시스템(112)으로부터/으로 전기 신호들을 수신 및/또는 송신한다. 터치 감응형 디스플레이 시스템(112)은 사용자에게 시각적 출력을 표시한다. 시각적 출력은 선택적으로 그래픽, 텍스트, 아이콘, 비디오 및 이들의 임의의 조합(총칭하여 "그래픽"으로 지칭됨)을 포함한다. 일부 실시예들에서, 시각적 출력의 일부 또는 전부가 사용자 인터페이스 객체들에 대응한다.
터치 감응형 디스플레이 시스템(112)은 햅틱/촉각적 접촉에 기초하여 사용자로부터의 입력을 수용하는 터치 감응형 표면, 센서 또는 센서들의 세트를 갖는다. 터치 감응형 디스플레이 시스템(112) 및 디스플레이 제어기(156)는 (메모리(102) 내의 임의의 연관된 모듈들 및/또는 명령어들의 세트들과 함께) 터치 감응형 디스플레이 시스템(112) 상의 접촉(및 접촉의 임의의 이동 또는 중단)을 검출하고, 검출된 접촉을 터치 감응형 디스플레이 시스템(112) 상에 표시된 사용자 인터페이스 객체들(예컨대, 하나 이상의 소프트 키, 아이콘, 웹 페이지 또는 이미지)과의 상호작용으로 변환한다. 예시적인 실시예에서, 터치 감응형 디스플레이 시스템(112)과 사용자 사이의 접촉 지점은 사용자의 손가락 또는 스타일러스에 대응한다.
터치 감응형 디스플레이 시스템(112)은, 선택적으로, LCD(액정 디스플레이) 기술, LPD(발광 중합체 디스플레이) 기술, 또는 LED(발광 다이오드) 기술을 이용하지만, 다른 실시예들에서는 다른 디스플레이 기술들이 이용된다. 터치 감응형 디스플레이 시스템(112) 및 디스플레이 제어기(156)는 선택적으로 터치 감응형 디스플레이 시스템(112)과의 하나 이상의 접촉 지점을 결정하기 위해 정전용량, 저항, 적외선 및 표면 음향파 기술들과 다른 근접 센서 어레이들 또는 다른 요소들을 포함하지만 이들로 한정되지 않는, 현재 알려져 있거나 추후에 개발될 복수의 터치 감지 기술 중 임의의 것을 이용하여, 접촉 및 그의 임의의 이동 또는 중단을 검출한다. 예시적인 실시예에서, 미국 캘리포니아주 쿠퍼티노의 애플 인크.로부터의 아이폰®, 아이팟 터치®, 및 아이패드®에서 발견되는 것과 같은 투영형 상호 정전용량식 감지 기술(projected mutual capacitance sensing technology)이 이용된다.
터치 감응형 디스플레이 시스템(112)은, 선택적으로, 100dpi를 초과하는 비디오 해상도를 갖는다. 일부 실시예들에서, 터치 스크린 비디오 해상도는 400dpi를 초과한다(예를 들어, 500dpi, 800dpi, 또는 그 이상). 사용자는 선택적으로 스타일러스, 손가락 등과 같은 임의의 적합한 객체 또는 부속물을 이용하여 터치 감응형 디스플레이 시스템(112)과 접촉한다. 일부 실시예들에서, 사용자 인터페이스는 손가락 기반 접촉 및 제스처를 이용하여 작업하도록 설계되는데, 이는 터치 스크린 상의 손가락의 더 넓은 접촉 면적으로 인해 스타일러스 기반 입력보다 덜 정밀할 수 있다. 일부 실시예들에서, 디바이스는 대략적인 손가락 기반 입력을 사용자가 원하는 동작들을 수행하기 위한 정밀한 포인터/커서 위치 또는 커맨드로 변환한다.
일부 실시예들에서, 터치 스크린 외에도, 디바이스(100)는, 선택적으로, 특정 기능들을 활성화 또는 비활성화시키기 위한 터치 패드(도시되지 않음)를 포함한다. 일부 실시예들에서, 터치패드는, 터치 스크린과는 달리, 시각적 출력을 디스플레이하지 않는 디바이스의 터치 감응형 영역이다. 터치패드는 선택적으로 터치 감응형 디스플레이 시스템(112)으로부터 분리된 터치 감응형 표면 또는 터치 스크린에 의해 형성된 터치 감응형 표면의 연장부이다.
디바이스(100)는 또한 다양한 컴포넌트들에 전력을 공급하기 위한 전력 시스템(162)을 포함한다. 전력 시스템(162)은, 선택적으로, 전력 관리 시스템, 하나 이상의 전원들(예컨대, 배터리, 교류 전류(alternating current: AC)), 재충전 시스템, 전력 고장 검출 회로, 전력 변환기 또는 인버터, 전력 상태 표시자(예컨대, 발광 다이오드(LED)), 및 휴대용 디바이스들 내에서의 전력의 생성, 관리 및 분배와 연관된 임의의 다른 컴포넌트들을 포함한다.
디바이스(100)는 또한 선택적으로 하나 이상의 광 센서(164)를 포함한다. 도 1a는 I/O 서브시스템(106) 내의 광 센서 제어기(158)와 연결된 광 센서를 도시한다. 광 센서(들)(164)는 선택적으로 전하-결합 소자(charge-coupled device; CCD) 또는 CMOS(complementary metal-oxide semiconductor) 포토트랜지스터들을 포함한다. 광 센서(들)(164)는 하나 이상의 렌즈를 통해 투영된 주변환경으로부터의 광을 수신하고, 그 광을 이미지를 나타내는 데이터로 변환한다. 이미징 모듈(143)(카메라 모듈이라고도 지칭됨)과 함께, 광 센서(들)(164)는 선택적으로, 정지 이미지들 및/또는 비디오를 캡처한다. 일부 실시예들에서, 광 센서는 디바이스(100)의 전면 상의 터치 감응형 디스플레이 시스템(112)의 반대편인 디바이스의 배면 상에 위치되어, 터치 스크린은 정지 및/또는 비디오 이미지 획득을 위한 뷰파인더로서 사용될 수 있게 된다. 일부 실시예들에서, 사용자의 이미지가 획득되도록(예를 들어, 사용자가 터치 스크린 상에서 다른 화상 회의 참가자들을 보는 동안, 화상 회의를 위해, 셀카를 위해 등) 다른 광 센서가 디바이스의 전면 상에 위치된다.
디바이스(100)는 또한, 선택적으로, 하나 이상의 접촉 세기 센서들(165)을 포함한다. 도 1a는 I/O 서브시스템(106) 내의 세기 센서 제어기(159)와 연결된 접촉 세기 센서를 도시한다. 접촉 세기 센서(들)(165)는 선택적으로 하나 이상의 압전 저항 스트레인 게이지, 용량성 힘 센서, 전기적 힘 센서, 압전 힘 센서, 광학적 힘 센서, 용량성 터치 감응형 표면, 또는 다른 세기 센서들(예를 들면, 터치 감응형 표면 상의 접촉 힘(또는 압력)을 측정하는 데 사용되는 센서들)을 포함한다. 접촉 세기 센서(들)(165)는 주변환경으로부터 접촉 세기 정보(예를 들면, 압력 정보 또는 압력 정보를 대용하는 것)를 수신한다. 일부 실시예들에서, 적어도 하나의 접촉 세기 센서는 터치 감응형 표면(예컨대, 터치 감응형 디스플레이 시스템(112))과 함께 위치(collocate)되거나 그에 근접한다. 일부 실시예들에서, 적어도 하나의 접촉 세기 센서가 디바이스(100)의 전면 상에 위치된 터치 스크린 디스플레이 시스템(112)의 반대편인 디바이스(100)의 배면 상에 위치된다.
디바이스(100)는 또한 선택적으로 하나 이상의 근접 센서들(166)을 포함한다. 도 1a는 주변기기 인터페이스(118)와 연결된 근접 센서(166)를 도시한다. 대안적으로, 근접 센서(166)는 I/O 서브시스템(106) 내의 입력 제어기(160)와 연결된다. 일부 실시예들에서, 근접 센서는 다기능 디바이스가 사용자의 귀 근처에 위치될 때(예를 들면, 사용자가 전화 통화를 하고 있을 때), 터치 감응형 디스플레이 시스템(112)을 끄고 디스에이블시킨다.
디바이스(100)는 선택적으로 또한 하나 이상의 촉각적 출력 생성기(163)를 포함한다. 도 1a는 I/O 서브시스템(106) 내의 햅틱 피드백 제어기(161)와 연결된 촉각적 출력 생성기를 도시한다. 촉각적 출력 생성기(들)(163)는 선택적으로 스피커들 또는 다른 오디오 컴포넌트들과 같은 하나 이상의 전자음향 디바이스 및/또는 모터, 솔레노이드, 전기활성 중합체, 압전 액추에이터, 정전 액추에이터, 또는 다른 촉각적 출력 생성 컴포넌트(예를 들면, 전기 신호들을 디바이스 상의 촉각적 출력들로 변환하는 컴포넌트)와 같이 에너지를 선형 모션(linear motion)으로 변환하는 전자기계 디바이스들을 포함한다. 촉각적 출력 생성기(들)(163)는 햅틱 피드백 모듈(133)로부터 촉각적 피드백 생성 명령어들을 수신하여 디바이스(100)의 사용자에 의해 감지될 수 있는 디바이스(100) 상의 촉각적 출력들을 생성한다. 일부 실시예들에서, 적어도 하나의 촉각적 출력 생성기는 터치 감응형 표면(예컨대, 터치 감응형 디스플레이 시스템(112))과 함께 위치되거나 그에 근접하며, 선택적으로, 터치 감응형 표면을 수직으로(예컨대, 디바이스(100)의 표면 내/외로) 또는 측방향으로(예컨대, 디바이스(100)의 표면과 동일한 평면에서 전후로) 이동시킴으로써 촉각적 출력을 생성한다. 일부 실시예들에서, 적어도 하나의 촉각적 출력 생성기 센서는 디바이스(100)의 전면 상에 위치된 터치 감응형 디스플레이 시스템(112)의 반대편인 디바이스(100)의 배면 상에 위치된다.
디바이스(100)는 또한 선택적으로 디바이스의 위치(예컨대, 자세)에 관한 정보를 획득하기 위한(예컨대, 관성 측정 유닛(IMU)의 일부로서) 하나 이상의 가속도계(167), 자이로스코프(168), 및/또는 자력계(169)를 포함한다. 도 1a는 주변기기 인터페이스(118)와 연결된 센서들(167, 168, 169)을 도시한다. 대안적으로, 센서들(167, 168, 169)은 선택적으로 I/O 서브시스템(106) 내의 입력 제어기(160)와 연결된다. 일부 실시예들에서, 하나 이상의 가속도계로부터 수신된 데이터의 분석에 기초하여 터치 스크린 디스플레이 상에 세로보기(portrait view) 또는 가로보기(landscape view)로 정보가 표시된다. 디바이스(100)는 선택적으로 디바이스(100)의 위치에 관한 정보를 획득하기 위한 GPS(또는 GLONASS 또는 다른 글로벌 내비게이션 시스템) 수신기(도시하지 않음)를 포함한다.
일부 실시예들에서, 메모리(102)에 저장된 소프트웨어 컴포넌트들은 운영 체제(126), 통신 모듈(또는 명령어들의 세트)(128), 접촉/모션 모듈(또는 명령어들의 세트)(130), 위치결정 모듈(또는 명령어들의 세트)(131), 그래픽 모듈(또는 명령어들의 세트)(132), 햅틱 피드백 모듈(또는 명령어들의 세트)(133), 텍스트 입력 모듈(또는 명령어들의 세트)(134), 위성 위치확인 시스템(GPS) 모듈(또는 명령어들의 세트)(135), 및 애플리케이션들(또는 명령어들의 세트들)(136)을 포함한다. 게다가, 일부 실시예들에서, 메모리(102)는 도 1a 및 도 3에 도시된 바와 같이 디바이스/글로벌 내부 상태(157)를 저장한다. 디바이스/글로벌 내부 상태(157)는: 존재하는 경우, 어떤 애플리케이션들이 현재 활성인지를 나타내는 활성 애플리케이션 상태; 어떤 애플리케이션들, 뷰들 또는 다른 정보가 터치 감응형 디스플레이 시스템(112)의 다양한 구역들을 점유하는지를 나타내는 디스플레이 상태; 디바이스의 다양한 센서들 및 기타 입력 또는 제어 디바이스(116)들로부터 얻어진 정보; 및 디바이스의 위치 및/또는 자세에 관한 위치 및/또는 위치 정보를 포함하는 센서 상태 중 하나 이상을 포함한다.
운영 체제(126)(예컨대, iOS, 다윈(Darwin), RTXC, 리눅스(LINUX), 유닉스(UNIX), OS X, 윈도(WINDOWS), 또는 VxWorks와 같은 내장형 운영 체제)는 일반적인 시스템 태스크들(예컨대, 메모리 관리, 저장 디바이스 제어, 전력 관리 등)을 제어 및 관리하기 위한 다양한 소프트웨어 컴포넌트들 및/또는 드라이버들을 포함하고, 다양한 하드웨어 및 소프트웨어 컴포넌트들 사이의 통신을 용이하게 한다.
통신 모듈(128)은 하나 이상의 외부 포트(124)를 통한 다른 디바이스들과의 통신을 용이하게 하고, 또한 RF 회로부(108) 및/또는 외부 포트(124)에 의해 수신되는 데이터를 처리하기 위한 다양한 소프트웨어 컴포넌트들을 포함한다. 외부 포트(124)(예컨대, 범용 직렬 버스(Universal Serial Bus; USB), 파이어와이어(FIREWIRE) 등)는 다른 디바이스들에 직접적으로 또는 네트워크(예컨대, 인터넷, 무선 LAN 등)를 통해 간접적으로 결합하도록 구성된다. 일부 실시예들에서, 외부 포트는 미국 캘리포니아 주 쿠퍼티노 소재의 애플 인크.로부터의 일부 아이폰®, 아이팟 터치®, 및 아이패드® 디바이스들에서 사용되는 30-핀 커넥터와 동일하거나 유사하고/하거나 호환가능한 멀티 핀(예컨대, 30-핀) 커넥터이다. 일부 실시예들에서, 외부 포트는 미국 캘리포니아 주 쿠퍼티노 소재의 애플 인크.로부터의 일부 아이폰®, 아이팟 터치®, 및 아이패드® 디바이스들에서 사용되는 라이트닝 커넥터(Lightning connector)와 동일하거나 유사하고/하거나 호환가능한 라이트닝 커넥터이다.
접촉/모션 모듈(130)은, 선택적으로, (디스플레이 제어기(156)와 함께) 터치 감응형 디스플레이 시스템(112), 및 다른 터치 감응형 디바이스들(예컨대, 터치패드 또는 물리적 클릭 휠)과의 접촉을 검출한다. 접촉/모션 모듈(130)은 접촉이 발생했는지 결정하는 것(예컨대, 손가락-다운 이벤트(finger-down event)를 검출하는 것), 접촉의 세기(예컨대, 접촉의 힘 또는 압력, 또는 접촉의 힘 또는 압력을 대체하는 것)를 결정하는 것, 접촉의 이동이 있는지 결정하고 터치 감응형 표면을 가로지르는 이동을 추적하는 것(예컨대, 하나 이상의 손가락-드래그 이벤트(finger-dragging event)를 검출하는 것), 및 접촉이 중지되었는지 결정하는 것(예컨대, 손가락-업 이벤트(finger-up event) 또는 접촉 중단을 검출하는 것)과 같은, 접촉(예를 들어, 손가락에 의한, 또는 스타일러스에 의한)의 검출에 관련된 다양한 동작들을 수행하기 위한 소프트웨어 컴포넌트들을 포함한다. 접촉/모션 모듈(130)은 터치 감응형 표면으로부터 접촉 데이터를 수신한다. 일련의 접촉 데이터에 의해 표현되는 접촉 지점의 이동을 결정하는 것은, 선택적으로, 접촉 지점의 속력(크기), 속도(크기 및 방향), 및/또는 가속도(크기 및/또는 방향의 변화)를 결정하는 것을 포함한다. 이들 동작들은, 선택적으로, 단일 접촉들(예컨대, 한 손가락 접촉들 또는 스타일러스 접촉들)에 또는 복수의 동시 접촉(예컨대, "멀티터치"/다수의 손가락 접촉 및/또는 스타일러스 접촉)에 적용된다. 일부 실시예들에서, 접촉/모션 모듈(130) 및 디스플레이 제어기(156)는 터치패드 상의 접촉을 검출한다.
접촉/모션 모듈(130)은, 선택적으로, 사용자에 의해 입력된 제스처를 검출한다. 터치 감응형 표면 상에서의 상이한 제스처들은 상이한 접촉 패턴들(예컨대, 상이한 모션들, 타이밍들, 및/또는 검출된 접촉들의 세기들)을 갖는다. 따라서, 제스처는, 선택적으로, 특정 접촉 패턴을 검출함으로써 검출된다. 예를 들어, 손가락 탭 제스처(finger tap gesture)를 검출하는 것은 손가락-다운 이벤트를 검출한 다음에 손가락-다운 이벤트와 동일한 위치(또는 실질적으로 동일한 위치)(예를 들어, 아이콘의 위치)에서 손가락-업(들어올림) 이벤트를 검출하는 것을 포함한다. 다른 예로서, 터치 감응형 표면 상에서 손가락 스와이프 제스처(finger swipe gesture)를 검출하는 것은 손가락-다운 이벤트를 검출한 다음에 하나 이상의 손가락-드래그 이벤트를 검출하고, 그에 후속하여 손가락-업(들어올림) 이벤트를 검출하는 것을 포함한다. 유사하게, 탭, 스와이프, 드래그, 및 다른 제스처들은 선택적으로 스타일러스를 위한 특정 접촉 패턴을 검출함으로써 스타일러스를 위해 검출된다.
위치결정 모듈(131)은, 가속도계(167), 자이로스코프(168), 및/또는 자력계(169)와 함께, 선택적으로 참조의 특정 프레임에서 디바이스의 자세(롤, 피치 및/또는 요(yaw))와 같은 디바이스에 관한 위치 정보를 검출한다. 위치결정 모듈(130)은 디바이스의 위치를 검출하고 디바이스의 위치 변경을 검출하는 것과 관련된 다양한 동작을 수행하기 위한 소프트웨어 컴포넌트들을 포함한다. 일부 실시예들에서, 위치결정 모듈(131)은 디바이스에 대한 스타일러스의 위치 상태를 검출하는 것 및 스타일러스의 위치 상태에 대한 변경을 검출하는 것과 같은, 스타일러스에 관한 위치 정보를 검출하기 위한 디바이스와 함께 사용되고 있는 스타일러스로부터 수신된 정보를 사용한다.
그래픽 모듈(132)은 표시되는 그래픽의 시각적 임팩트(예컨대, 밝기, 투명도, 채도, 콘트라스트 또는 다른 시각적 속성)를 변경하기 위한 컴포넌트들을 포함하는, 터치 감응형 디스플레이 시스템(112) 또는 다른 디스플레이 상에서 그래픽을 렌더링 및 표시하기 위한 다양한 알려진 소프트웨어 컴포넌트들을 포함한다. 본 명세서에서 사용되는 바와 같이, "그래픽"이라는 용어는, 텍스트, 웹페이지들, 아이콘들(예컨대, 소프트 키들을 포함하는 사용자 인터페이스 객체들), 디지털 이미지들, 비디오들, 애니메이션들 등을 제한 없이 포함한, 사용자에게 표시될 수 있는 임의의 객체를 포함한다.
일부 실시예들에서, 그래픽 모듈(132)은 사용될 그래픽을 표현하는 데이터를 저장한다. 각각의 그래픽에는 선택적으로 대응하는 코드가 할당된다. 그래픽 모듈(132)은, 필요한 경우 좌표 데이터 및 다른 그래픽 속성 데이터와 함께, 디스플레이될 그래픽을 특정하는 하나 이상의 코드들을 애플리케이션들 등으로부터 수신하며, 이어서 스크린 이미지 데이터를 생성하여 디스플레이 제어기(156)에 출력한다.
햅틱 피드백 모듈(133)은 디바이스(100)와의 사용자 상호작용들에 응답하여 디바이스(100) 상의 하나 이상의 위치에서 촉각적 출력들을 생성하기 위하여 촉각적 출력 생성기(들)(163)에 의해 이용되는 명령어들을 생성하기 위한 다양한 소프트웨어 컴포넌트들을 포함한다.
선택적으로 그래픽 모듈(132)의 컴포넌트인 텍스트 입력 모듈(134)은 다양한 애플리케이션들(예컨대, 접촉(137), 이메일(140), IM(141), 브라우저(147), 및 텍스트 입력을 필요로 하는 임의의 다른 애플리케이션)에 텍스트를 입력하기 위한 소프트 키보드들을 제공한다.
GPS 모듈(135)은 디바이스의 위치를 결정하고, 이 정보를 다양한 애플리케이션들에서의 사용을 위해 (예컨대, 위치 기반 다이얼링에서 사용하기 위해 전화(138)에, 사진/비디오 메타데이터로서 카메라(143)에, 그리고 날씨 위젯들, 지역 옐로 페이지 위젯들 및 지도/내비게이션 위젯들과 같은 위치 기반 서비스들을 제공하는 애플리케이션들에) 제공한다.
애플리케이션들(136)은, 선택적으로, 다음의 모듈들(또는 명령어들의 세트들), 또는 이들의 서브세트 또는 수퍼세트(superset)를 포함한다:
Figure pat00010
연락처 모듈(137)(때때로 주소록 또는 연락처 목록으로 지칭됨);
Figure pat00011
전화 모듈(138);
Figure pat00012
화상 회의 모듈(139);
Figure pat00013
이메일 클라이언트 모듈(140);
Figure pat00014
인스턴트 메시징(IM) 모듈(141);
Figure pat00015
운동 지원 모듈(142);
Figure pat00016
정지 및/또는 비디오 영상들을 위한 카메라 모듈(143);
Figure pat00017
영상 관리 모듈(144);
Figure pat00018
브라우저 모듈(147);
Figure pat00019
캘린더 모듈(148);
Figure pat00020
선택적으로 날씨 위젯(149-1), 주식 위젯(149-2), 계산기 위젯(149-3), 알람 시계 위젯(149-4), 사전 위젯(149-5), 및 사용자에 의해 획득되는 다른 위젯들뿐 아니라 사용자 생성 위젯들(149-6) 중 하나 이상을 포함하는 위젯 모듈들(149);
Figure pat00021
사용자 생성 위젯들(149-6)을 만들기 위한 위젯 생성기 모듈(150);
Figure pat00022
검색 모듈(151);
Figure pat00023
선택적으로 비디오 플레이어 모듈 및 음악 플레이어 모듈로 구성된 비디오 및 음악 플레이어 모듈(152);
Figure pat00024
메모 모듈(153);
Figure pat00025
지도 모듈(154); 및/또는
Figure pat00026
비디오 편집 모듈(155).
선택적으로 메모리(102)에 저장된 다른 애플리케이션들(136)의 예들은 다른 워드 프로세싱 애플리케이션들, 다른 이미지 편집 애플리케이션들, 드로잉 애플리케이션들, 프레젠테이션 애플리케이션들, JAVA 인에이블형 애플리케이션들, 암호화, 디지털 권한 관리, 음성 인식 및 음성 복제를 포함한다.
터치 감응형 디스플레이 시스템(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 연락처 모듈(137)은, 하기를 비롯한, 주소록 또는 연락처 목록(예컨대, 메모리(102) 또는 메모리(370) 내의 연락처 모듈(137)의 애플리케이션 내부 상태(192)에 저장됨)을 관리하기 위한 실행가능한 명령어들을 포함한다: 이름(들)을 주소록에 추가하는 것; 주소록으로부터 이름(들)을 삭제하는 것; 전화번호(들), 이메일 주소(들), 물리적 주소(들) 또는 기타 정보를 이름과 연관시키는 것; 이미지를 이름과 연관시키는 것; 이름들을 분류 및 정렬하는 것; 전화(138), 화상 회의(139), 이메일(140) 또는 IM(141)에 의한 통신을 개시하고/하거나 용이하게 하기 위해 전화번호들 및/또는 이메일 주소들을 제공하는 것 등.
RF 회로부(108), 오디오 회로부(110), 스피커(111), 마이크로폰(113), 터치 감응형 디스플레이 시스템(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 및 텍스트 입력 모듈(134)과 함께, 전화 모듈(138)은, 전화번호에 대응하는 문자들의 시퀀스를 입력하고, 주소록(137) 내의 하나 이상의 전화번호에 액세스하고, 입력된 전화번호를 수정하고, 각각의 전화번호를 다이얼링하고, 대화를 하고, 대화가 완료된 때 접속해제하거나 끊도록 하는 실행가능한 명령어들을 포함한다. 전술한 바와 같이, 무선 통신은 선택적으로 복수의 통신 표준, 프로토콜 및 기술 중 임의의 것을 사용한다.
RF 회로부(108), 오디오 회로부(110), 스피커(111), 마이크로폰(113), 터치 감응형 디스플레이 시스템(112), 디스플레이 제어기(156), 광 센서(들)(164), 광 센서 제어기(158), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), 연락처 목록(137) 및 전화 모듈(138)과 함께, 화상 회의 모듈(139)은 사용자 명령어들에 따라 사용자와 한 명 이상의 다른 참여자들 사이의 화상 회의를 개시, 시행 및 종료하도록 하는 실행가능한 명령어들을 포함한다.
RF 회로부(108), 터치 감응형 디스플레이 시스템 (112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 이메일 클라이언트 모듈(140)은 사용자 명령어들에 응답하여 이메일을 작성, 전송, 수신, 및 관리하도록 하는 실행가능한 명령어들을 포함한다. 이미지 관리 모듈(144)과 함께, 이메일 클라이언트 모듈(140)은 카메라 모듈(143)로 촬영된 정지 또는 비디오 이미지들을 갖는 이메일들을 작성 및 송신하는 것을 매우 용이하게 한다.
RF 회로부(108), 터치 감응형 디스플레이 시스템(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 인스턴트 메시징 모듈(141)은, 인스턴트 메시지에 대응하는 문자들의 시퀀스를 입력하고, 이전에 입력된 문자들을 수정하고, (예를 들면, 전화 기반 인스턴트 메시지들을 위한 단문자 메시지 서비스(SMS) 또는 멀티미디어 메시지 서비스(Multimedia Message Service; MMS) 프로토콜을 이용하거나 인터넷 기반 인스턴트 메시지들을 위한 XMPP, SIMPLE, APN(Apple Push Notification Service) 또는 IMPS를 이용하여) 각각의 인스턴트 메시지를 송신하고, 인스턴트 메시지들을 수신하고, 수신된 인스턴트 메시지들을 보도록 하는 실행가능한 명령어들을 포함한다. 일부 실시예들에서, 송신 및/또는 수신된 인스턴트 메시지들은 선택적으로 그래픽, 사진, 오디오 파일, 비디오 파일 및/또는 MMS 및/또는 EMS(Enhanced Messaging Service)에서 지원되는 다른 첨부물들을 포함한다. 본 명세서에서 사용되는 바와 같이, "인스턴트 메시징"은 전화 기반 메시지들(예컨대, SMS 또는 MMS를 이용하여 전송된 메시지들) 및 인터넷 기반 메시지들(예를 들면, XMPP, SIMPLE, APN, 또는 IMPS를 이용하여 전송된 메시지들) 둘 다를 지칭한다.
RF 회로부(108), 터치 감응형 디스플레이 시스템(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), GPS 모듈(135), 지도 모듈(154), 및 음악 플레이어 모듈(152)과 함께, 운동 지원 모듈(142)은 (예컨대, 시간, 거리, 및/또는 열량 소비 목표와 함께) 운동들을 고안하고; 운동 센서(스포츠 디바이스 및 스마트 워치)와 통신하고; 운동 센서 데이터를 수신하고; 운동을 모니터링하는 데 사용되는 센서들을 교정하고; 운동을 위한 음악을 선택 및 재생하고; 운동 데이터를 디스플레이 저장 및 송신하도록 하는 실행가능한 명령어들을 포함한다.
터치 감응형 디스플레이 시스템(112), 디스플레이 제어기(156), 광 센서(들)(164), 광 센서 제어기(158), 접촉 모듈(130), 그래픽 모듈(132) 및 이미지 관리 모듈(144)과 함께, 카메라 모듈(143)은 정지 이미지들 또는 비디오(비디오 스트림을 포함함)를 캡처하고 이들을 메모리(102)에 저장하거나, 정지 이미지 또는 비디오의 특성을 수정하고/하거나, 메모리(102)로부터 정지 이미지 또는 비디오를 삭제하도록 하는 실행가능한 명령어들을 포함한다.
터치 감응형 디스플레이 시스템(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134) 및 카메라 모듈(143)과 함께, 이미지 관리 모듈(144)은 정지 및/또는 비디오 이미지들을 배열하거나, 수정(예컨대, 편집)하거나, 그렇지 않으면 조작하고, 라벨링하고, 삭제하고, (예컨대, 디지털 슬라이드 쇼 또는 앨범에) 표시하고, 저장하도록 하는 실행가능한 명령어들을 포함한다.
RF 회로부(108), 터치 감응형 디스플레이 시스템(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 브라우저 모듈(147)은 사용자 명령어들에 따라 인터넷을 브라우징하도록 - 웹 페이지들 또는 그들의 일부분뿐만 아니라 웹 페이지들에 링크된 첨부물들 및 다른 파일들을 검색, 그에 링크, 수신, 및 표시하는 것을 포함함 - 하는 실행가능한 명령어들을 포함한다.
RF 회로부(108), 터치 감응형 디스플레이 시스템(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), 이메일 클라이언트 모듈(140), 및 브라우저 모듈(147)과 함께, 캘린더 모듈(148)은 사용자 명령어들에 따라 캘린더들 및 캘린더들과 연관된 데이터(예컨대, 캘린더 엔트리들, 할 일 목록들 등)를 생성, 표시, 수정, 및 저장하도록 하는 실행가능한 명령어들을 포함한다.
RF 회로부(108), 터치 감응형 디스플레이 시스템(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134) 및 브라우저 모듈(147)과 함께, 위젯 모듈들(149)은, 선택적으로 사용자에 의해 다운로드 및 사용되거나(예컨대, 날씨 위젯(149-1), 주식 위젯(149-2), 계산기 위젯(149-3), 알람 시계 위젯(149-4) 및 사전 위젯(149-5)) 또는 사용자에 의해 생성되는(예컨대, 사용자 생성 위젯(149-6)) 미니-애플리케이션들이다. 일부 실시예들에서, 위젯은 HTML(Hypertext Markup Language) 파일, CSS(Cascading Style Sheets) 파일 및 자바스크립트(JavaScript) 파일을 포함한다. 일부 실시예들에서, 위젯은 XML(Extensible Markup Language) 파일 및 자바스크립트 파일(예컨대, Yahoo! 위젯들)을 포함한다.
RF 회로부(108), 터치 감응형 디스플레이 시스템(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134) 및 브라우저 모듈(147)과 함께, 위젯 생성기 모듈(150)은 위젯들을 생성(예를 들면, 웹 페이지의 사용자-지정 부분을 위젯으로 변경)하도록 하는 실행가능한 명령어들을 포함한다.
터치 감응형 디스플레이 시스템(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 검색 모듈(151)은 사용자 명령어들에 따라 하나 이상의 검색 기준(예컨대, 하나 이상의 사용자-지정 검색어)에 일치하는 메모리(102) 내의 텍스트, 음악, 사운드, 이미지, 비디오, 및/또는 다른 파일들을 검색하도록 하는 실행가능한 명령어들을 포함한다.
터치 감응형 디스플레이 시스템(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 오디오 회로부(110), 스피커(111), RF 회로부(108), 및 브라우저 모듈(147)과 함께, 비디오 및 음악 재생기 모듈(152)은 사용자가 MP3 또는 AAC 파일들과 같은 하나 이상의 파일 포맷으로 저장된 녹음된 음악 및 다른 사운드 파일들을 다운로드 및 재생하게 하는 실행가능한 명령어들, 및 비디오들을 (예컨대, 터치 감응형 디스플레이 시스템(112) 상에서, 또는 무선으로 또는 외부 포트(124)를 통해 접속된 외부 디스플레이 상에서) 표시하거나, 상영하거나, 그렇지 않으면 재생하도록 하는 실행가능한 명령어들을 포함한다. 일부 실시예들에서, 디바이스(100)는 선택적으로 아이팟®(애플 인크.의 상표)과 같은 MP3 플레이어의 기능을 포함한다.
터치 감응형 디스플레이 시스템(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 메모 모듈(153)은 사용자 명령어들에 따라 메모들, 할 일 목록들 등을 생성 및 관리하도록 하는 실행가능한 명령어들을 포함한다.
RF 회로부(108), 터치 감응형 디스플레이 시스템(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), GPS 모듈(135), 및 브라우저 모듈(147)과 함께, 지도 모듈(154)은 사용자 명령어들에 따라 지도 및 지도와 연관된 데이터(예컨대, 운전 방향; 특정한 위치에서의 또는 그 인근의 상점들 및 다른 관심 지점들에 관한 데이터, 및 다른 위치-기반 데이터)를 수신, 디스플레이, 변경, 및 저장하기 위한 실행가능한 명령어들을 포함한다.
터치 감응형 디스플레이 시스템(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 오디오 회로부(110), 스피커(111), 텍스트 입력 모듈(134)과 함께, 비디오 편집 모듈(155)은 사용자가 영화 및 기타 비디오를 편집할 수 있게 하는 실행가능한 명령어들을 포함한다(예컨대, 미국 캘리포니아주 쿠퍼티노 소재의 애플 인크의 iMovie®).
상기 식별된 모듈들 및 애플리케이션들 각각은 상기 설명된 하나 이상의 기능들 및 본 출원에 설명되는 방법들(예컨대, 컴퓨터 구현 방법들 및 본 명세서에 설명되는 다른 정보 처리 방법들)을 수행하기 위한 실행 가능 명령어들의 세트에 대응한다. 이들 모듈(즉, 명령어들의 세트들)은 별개의 소프트웨어 프로그램들, 절차들 또는 모듈들로서 구현될 필요가 없으며, 따라서 이들 모듈의 다양한 서브세트들이 선택적으로 다양한 실시예들에서 조합되거나 그렇지 않으면 재배열된다. 일부 실시예들에서, 메모리(102)가 선택적으로, 앞서 식별된 모듈들 및 데이터 구조들의 서브세트를 저장한다. 또한, 메모리(102)는 선택적으로 위에서 기술되지 않은 추가의 모듈들 및 데이터 구조들을 저장한다.
일부 실시예들에서, 디바이스(100)는 디바이스 상의 미리 정의된 세트의 기능들의 동작이 터치 스크린 및/또는 터치패드를 통해 전용으로 수행되는 디바이스이다. 터치 스크린 및/또는 터치 패드를 디바이스(100)의 동작을 위한 주 입력 제어 디바이스로서 사용함으로써, 디바이스(100) 상의 (푸시 버튼들, 다이얼들 등과 같은) 물리적 입력 제어 디바이스들의 수가 선택적으로 감소된다.
전적으로 터치 스크린 및/또는 터치패드를 통해 수행되는 미리 정의된 세트의 기능들은, 선택적으로, 사용자 인터페이스들 간의 내비게이션을 포함한다. 일부 실시예들에서, 터치패드는, 사용자에 의해 터치될 때, 디바이스(100)를 디바이스(100) 상에 디스플레이되는 임의의 사용자 인터페이스로부터 메인, 홈 또는 루트 메뉴로 내비게이팅한다. 이러한 실시예들에서, "메뉴 버튼"이 터치패드를 이용하여 구현된다. 일부 다른 실시예들에서, 메뉴 버튼은 터치패드 대신에 물리적 푸시 버튼 또는 다른 물리적 입력 제어 디바이스이다.
도 1b는 일부 실시예들에 따른, 이벤트 처리를 위한 예시적인 컴포넌트들을 예시하는 블록도이다. 일부 실시예들에서, 메모리((102, 도 1a) 또는 (370, 도 3))는 (예컨대, 운영 체제(126)에서의) 이벤트 분류기(170) 및 각각의 애플리케이션(136-1)(예컨대, 전술한 애플리케이션들(136, 137-155, 380-390) 중 임의의 것)을 포함한다.
이벤트 분류기(170)는 이벤트 정보를 수신하고, 이벤트 정보를 전달할 애플리케이션(136-1), 및 애플리케이션(136-1)의 애플리케이션 뷰(191)를 결정한다. 이벤트 분류기(170)는 이벤트 모니터(171) 및 이벤트 디스패처 모듈(174)을 포함한다. 일부 실시예들에서, 애플리케이션(136-1)은 애플리케이션이 활성 상태이거나 실행 중일 때 터치 감응형 디스플레이 시스템(112) 상에 디스플레이되는 현재 애플리케이션 보기(들)를 나타내는 애플리케이션 내부 상태(192)를 포함한다. 일부 실시예들에서, 디바이스/글로벌 내부 상태(157)는 이벤트 분류기(170)에 의해 어느 애플리케이션(들)이 현재 활성인지 결정하는 데 이용되며, 애플리케이션 내부 상태(192)는 이벤트 분류기(170)에 의해 이벤트 정보를 전달할 애플리케이션 뷰들(191)을 결정하는 데 이용된다.
일부 실시예들에서, 애플리케이션 내부 상태(192)는 애플리케이션(136-1)이 실행을 재개할 때 이용될 재개 정보, 애플리케이션(136-1)에 의해 디스플레이되고 있거나 디스플레이될 준비가 된 정보를 나타내는 사용자 인터페이스 상태 정보, 사용자가 애플리케이션(136-1)의 이전 상태 또는 뷰로 되돌아갈 수 있게 하기 위한 상태 큐(queue), 및 사용자에 의해 취해진 이전 동작들의 재실행(redo)/실행취소(undo) 큐 중 하나 이상과 같은 추가 정보를 포함한다.
이벤트 모니터(171)는 주변기기 인터페이스(118)로부터 이벤트 정보를 수신한다. 이벤트 정보는 서브-이벤트(예컨대, 멀티 터치 제스처의 일부로서 터치 감응형 디스플레이 시스템(112) 상의 사용자 터치)에 대한 정보를 포함한다. 주변기기 인터페이스(118)는 I/O 서브시스템(106) 또는 센서, 예컨대 근접 센서(166), 가속도계(들)(167), 자이로스코프(들)(168), 자력계(들)(169), 및/또는 (오디오 회로부(110)를 통한) 마이크로폰(113)으로부터 수신하는 정보를 전송한다. 주변기기 인터페이스(118)가 I/O 서브시스템(106)으로부터 수신하는 정보는 터치 감응형 디스플레이 시스템(112) 또는 터치 감응형 표면으로부터의 정보를 포함한다.
일부 실시예들에서, 이벤트 모니터(171)는 요청들을 미리결정된 간격으로 주변기기 인터페이스(118)로 전송한다. 이에 응답하여, 주변기기 인터페이스(118)는 이벤트 정보를 송신한다. 다른 실시예들에서, 주변기기 인터페이스(118)는 중요한 이벤트(예컨대, 사전결정된 잡음 임계치를 초과하는 입력 및/또는 사전결정된 지속기간 초과 동안의 입력을 수신하는 것)가 있을 때에만 이벤트 정보를 송신한다.
일부 실시예들에서, 이벤트 분류기(170)는 또한 히트 뷰(hit view) 결정 모듈(172) 및/또는 활성 이벤트 인식기 결정 모듈(173)을 포함한다.
히트 뷰 결정 모듈(172)은 터치 감응형 디스플레이 시스템(112)가 2 이상의 보기를 표시할 때 하나 이상의 보기 내에서 서브-이벤트가 발생한 장소를 결정하기 위한 소프트웨어 절차들을 제공한다. 뷰들은 사용자가 디스플레이 상에서 볼 수 있는 제어부들 및 다른 요소들로 구성된다.
애플리케이션과 연관된 사용자 인터페이스의 다른 양태는 본 명세서에서 때때로 애플리케이션 뷰들 또는 사용자 인터페이스 창(user interface window)들로 지칭되는 한 세트의 뷰들이며, 여기서 정보가 디스플레이되고 터치 기반 제스처가 발생한다. 터치가 검출되는 (각각의 애플리케이션의) 애플리케이션 뷰들은 선택적으로 애플리케이션의 프로그램 또는 뷰 계층구조 내의 프로그램 레벨들에 대응한다. 예를 들면, 터치가 검출되는 최하위 레벨의 뷰는 선택적으로 히트 뷰라고 지칭되고, 적절한 입력들로서 인식되는 이벤트들의 세트는 선택적으로 터치 기반 제스처를 시작하는 초기 터치의 히트 뷰에 적어도 부분적으로 기초하여 결정된다.
히트 뷰 결정 모듈(172)은 터치 기반 제스처의 서브이벤트들에 관련된 정보를 수신한다. 애플리케이션이 계층구조에서 조직화된 다수의 뷰들을 갖는 경우, 히트 뷰 결정 모듈(172)은 히트 뷰를, 서브이벤트를 처리해야 하는 계층구조 내의 최하위 뷰로서 식별한다. 대부분의 상황들에서, 히트 뷰는 개시되는 서브이벤트가 발생하는 최하위 레벨 뷰이다(즉, 이벤트 또는 잠재적 이벤트를 형성하는 서브이벤트들의 시퀀스 내의 제1 서브이벤트임). 일단 히트 뷰가 히트 뷰 결정 모듈에 의해 식별되면, 히트 뷰는 전형적으로 그것이 히트 뷰로서 식별되게 하는 것과 동일한 터치나 입력 소스에 관련된 모든 서브이벤트들을 수신한다.
활성 이벤트 인식기 결정 모듈(173)은 뷰 계층구조 내에서 어느 뷰 또는 뷰들이 서브이벤트들의 특정 시퀀스를 수신해야 하는지를 결정한다. 일부 실시예들에서, 활성 이벤트 인식기 결정 모듈(173)은 히트 뷰만이 서브이벤트들의 특정 시퀀스를 수신해야 하는 것으로 결정한다. 다른 실시예들에서, 활성 이벤트 인식기 결정 모듈(173)은 서브이벤트의 물리적 위치를 포함하는 모든 뷰들이 적극 참여 뷰(actively involved view)들인 것으로 결정하고, 그에 따라 모든 적극 참여 뷰들이 서브이벤트들의 특정 시퀀스를 수신해야 하는 것으로 결정한다. 다른 실시예들에서, 터치 서브이벤트들이 전적으로 하나의 특정 뷰와 연관된 영역으로 한정되었더라도, 계층구조 내의 상위 뷰들은 여전히 적극 참여 뷰들로서 유지될 것이다.
이벤트 디스패처 모듈(174)은 이벤트 정보를 이벤트 인식기(예컨대, 이벤트 인식기(180))에 송달한다. 활성 이벤트 인식기 결정 모듈(173)을 포함하는 실시예들에서, 이벤트 디스패처 모듈(174)은 이벤트 정보를 활성 이벤트 인식기 결정 모듈(173)에 의해 결정된 이벤트 인식기에 전달한다. 일부 실시예들에서, 이벤트 디스패처 모듈(174)은 이벤트 큐 내에 이벤트 정보를 저장하는데, 이벤트 정보는 각자의 이벤트 수신기 모듈(182)에 의해 검색된다.
일부 실시예들에서, 운영 체제(126)는 이벤트 분류기(170)를 포함한다. 대안적으로, 애플리케이션(136-1)은 이벤트 분류기(170)를 포함한다. 다른 실시예들에서, 이벤트 분류기(170)는 독립형 모듈이거나 접촉/모션 모듈(130)과 같이 메모리(102)에 저장된 또 다른 모듈의 일부이다.
일부 실시예들에서, 애플리케이션(136-1)은 복수의 이벤트 핸들러들(190) 및 하나 이상의 애플리케이션 뷰들(191)을 포함하며, 이들의 각각은 애플리케이션의 사용자 인터페이스의 각각의 뷰 내에 발생하는 터치 이벤트들을 처리하기 위한 명령어들을 포함한다. 애플리케이션(136-1)의 각각의 애플리케이션 뷰(191)는 하나 이상의 이벤트 인식기(180)를 포함한다. 전형적으로, 각자의 애플리케이션 뷰(191)는 복수의 이벤트 인식기(180)를 포함한다. 다른 실시예들에서, 이벤트 인식기들(180) 중 하나 이상은 사용자 인터페이스 키트(도시되지 않음) 또는 애플리케이션(136-1)이 방법들 및 다른 속성들을 물려받는 상위 레벨 객체와 같은 별개의 모듈의 일부이다. 일부 실시예들에서, 각각의 이벤트 핸들러(190)는 데이터 업데이터(176), 객체 업데이터(177), GUI 업데이터(178), 및/또는 이벤트 분류기(170)로부터 수신된 이벤트 데이터(179) 중 하나 이상을 포함한다. 이벤트 핸들러(190)는 선택적으로 데이터 업데이터(176), 객체 업데이터(177) 또는 GUI 업데이터(178)를 이용하거나 호출하여 애플리케이션 내부 상태(192)를 업데이트한다. 대안적으로, 애플리케이션 뷰들(191) 중 하나 이상은 하나 이상의 각자의 이벤트 핸들러(190)를 포함한다. 또한, 일부 실시예들에서, 데이터 업데이터(176), 객체 업데이터(177), 및 GUI 업데이터(178) 중 하나 이상은 각자의 애플리케이션 뷰(191) 내에 포함된다.
각자의 이벤트 인식기(180)는 이벤트 분류기(170)로부터 이벤트 정보(예컨대, 이벤트 데이터(179))를 수신하고 그 이벤트 정보로부터 이벤트를 식별한다. 이벤트 인식기(180)는 이벤트 수신기(182) 및 이벤트 비교기(184)를 포함한다. 일부 실시예들에서, 이벤트 인식기(180)는 또한 적어도 메타데이터(183) 및 이벤트 전달 명령어들(188)(선택적으로 서브이벤트 전달 명령어들을 포함함)의 서브세트를 포함한다.
이벤트 수신기(182)는 이벤트 분류기(170)로부터 이벤트 정보를 수신한다. 이벤트 정보는 서브이벤트, 예를 들어 터치 또는 터치 이동에 관한 정보를 포함한다. 서브이벤트에 따라, 이벤트 정보는 또한 서브이벤트의 위치와 같은 추가 정보를 포함한다. 서브이벤트가 터치의 모션과 관련되는 경우, 이벤트 정보는 또한 선택적으로 서브이벤트의 속력 및 방향을 포함한다. 일부 실시예들에서, 이벤트들은 하나의 배향으로부터 다른 배향으로(예컨대, 세로 배향으로부터 가로 배향으로, 또는 그 반대로)의 디바이스의 회전을 포함하며, 이벤트 정보는 디바이스의 현재 배향(디바이스 자세로도 지칭됨)에 관한 대응하는 정보를 포함한다.
이벤트 비교기(184)는 이벤트 정보를 미리정의된 이벤트 또는 서브이벤트 정의들과 비교하고, 그 비교에 기초하여, 이벤트 또는 서브이벤트를 결정하거나, 이벤트 또는 서브이벤트의 상태를 결정 또는 업데이트한다. 일부 실시예들에서, 이벤트 비교기(184)는 이벤트 정의들(186)을 포함한다. 이벤트 정의들(186)은 이벤트들(예컨대, 서브이벤트들의 사전정의된 시퀀스들), 예를 들어 이벤트 1(187-1), 이벤트 2(187-2) 등의 정의들을 포함한다. 일부 실시예들에서, 이벤트(187) 내의 서브-이벤트들은, 예를 들면 터치 시작, 터치 종료, 터치 이동, 터치 취소, 및 다중 터치를 포함한다. 일례에서, 이벤트 1(187-1)에 대한 정의는 디스플레이된 객체 상의 더블 탭(double tap)이다. 더블 탭은, 예를 들면 사전결정된 페이즈(phase) 동안의 디스플레이된 객체 상에의 제1 터치(터치 시작), 사전결정된 페이즈 동안의 제1 리프트 오프(lift-off)(터치 종료), 사전결정된 페이즈 동안의 디스플레이된 객체 상에의 제2 터치(터치 시작), 및 사전결정된 페이즈 동안의 제2 리프트 오프(터치 종료)를 포함한다. 다른 예에서, 이벤트 2(187-2)에 대한 정의는 디스플레이된 객체 상의 드래깅이다. 드래깅은, 예를 들면 미리결정된 페이즈 동안의 디스플레이된 객체 상의 터치(또는 접촉), 터치 감응형 디스플레이 시스템(112)를 가로지르는 터치의 이동, 및 터치의 리프트오프(터치 종료)를 포함한다. 일부 실시예들에서, 이벤트는 또한 하나 이상의 연관된 이벤트 핸들러들(190)에 대한 정보를 포함한다.
일부 실시예들에서, 이벤트 정의(187)는 각자의 사용자 인터페이스 객체에 대한 이벤트의 정의를 포함한다. 일부 실시예들에서, 이벤트 비교기(184)는 어느 사용자 인터페이스 객체가 서브이벤트와 연관되어 있는지 결정하도록 히트 테스트(hit test)를 수행한다. 예를 들면, 3개의 사용자 인터페이스 객체가 터치 감응형 디스플레이 시스템(112) 상에 표시된 애플리케이션 보기에서, 터치 감응형 디스플레이 시스템(112) 상에서 터치가 검출되는 경우, 이벤트 비교기(184)는 3개의 사용자 인터페이스 객체들 중 어느 것이 터치(서브-이벤트)와 연관되는지 결정하도록 히트 테스트를 수행한다. 각각의 디스플레이된 객체가 개별 이벤트 핸들러(190)와 연관된 경우, 이벤트 비교기는 어느 이벤트 핸들러(190)가 활성화되어야 하는지 결정하는 데 히트 테스트의 결과를 이용한다. 예를 들어, 이벤트 비교기(184)는 히트 테스트를 트리거하는 객체 및 서브이벤트와 연관된 이벤트 핸들러를 선택한다.
일부 실시예들에서, 각각의 이벤트(187)에 대한 정의는 또한 서브-이벤트들의 시퀀스가 이벤트 인식기의 이벤트 유형에 대응하는지 대응하지 않는지 여부가 결정된 후까지 이벤트 정보의 전달을 지연하는 지연된 동작들을 포함한다.
개별 이벤트 인식기(180)가 일련의 서브이벤트들이 이벤트 정의들(186) 내의 이벤트들 중 어떠한 것과도 매칭되지 않는 것으로 결정하면, 개별 이벤트 인식기(180)는 이벤트 불가능, 이벤트 실패, 또는 이벤트 종료 상태에 진입하고, 그 후 개별 이벤트 인식기는 터치 기반 제스처의 후속적인 서브이벤트들을 무시한다. 이러한 상황에서, 만일 있다면, 히트 뷰에 대해 활성 상태로 유지되는 다른 이벤트 인식기들이 진행 중인 터치 기반 제스처의 서브이벤트들을 계속해서 추적 및 프로세싱한다.
일부 실시예들에서, 개별 이벤트 인식기(180)는 이벤트 전달 시스템이 어떻게 적극 참여 이벤트 인식기들에 대한 서브이벤트 전달을 수행해야 하는지를 나타내는 구성가능한 속성들, 플래그(flag)들, 및/또는 목록들을 갖는 메타데이터(183)를 포함한다. 일부 실시예들에서, 메타데이터(183)는 이벤트 인식기들이 어떻게 서로 상호작용하는지, 또는 상호작용할 수 있는지를 나타내는 구성가능한 속성들, 플래그들, 및/또는 목록들을 포함한다. 일부 실시예들에서, 메타데이터(183)는, 서브이벤트들이 뷰 또는 프로그램 계층구조에서의 다양한 레벨들에 전달되는지 여부를 나타내는 구성가능한 속성들, 플래그들, 및/또는 목록들을 포함한다.
일부 실시예들에서, 각자의 이벤트 인식기(180)는 이벤트의 하나 이상의 특정 서브이벤트가 인식될 때 이벤트와 연관된 이벤트 핸들러(190)를 활성화한다. 일부 실시예들에서, 각자의 이벤트 인식기(180)는 이벤트와 연관된 이벤트 정보를 이벤트 핸들러(190)에 전달한다. 이벤트 핸들러(190)를 활성화시키는 것은 각자의 히트 뷰에 서브이벤트들을 전송(및 지연 전송)하는 것과는 별개이다. 일부 실시예들에서, 이벤트 인식기(180)는 인식된 이벤트와 연관된 플래그를 보내고, 그 플래그와 연관된 이벤트 핸들러(190)는 그 플래그를 캐치하고 미리 정의된 프로세스를 수행한다.
일부 실시예들에서, 이벤트 전달 명령어들(188)은 이벤트 핸들러를 활성화하지 않고 서브이벤트에 관한 이벤트 정보를 전달하는 서브이벤트 전달 명령어들을 포함한다. 대신에, 서브이벤트 전달 명령어들은 일련의 서브이벤트들과 연관된 이벤트 핸들러들에 또는 적극 참여 뷰들에 이벤트 정보를 전달한다. 일련의 서브이벤트들 또는 적극 참여 뷰들과 연관된 이벤트 핸들러들은 이벤트 정보를 수신하고 사전결정된 프로세스를 수행한다.
일부 실시예들에서, 데이터 업데이터(176)는 애플리케이션(136-1)에서 이용되는 데이터를 생성 및 업데이트한다. 예를 들어, 데이터 업데이터(176)는 연락처 모듈(137)에서 이용되는 전화번호를 업데이트하거나, 비디오 재생기 모듈(145)에서 이용되는 비디오 파일을 저장한다. 일부 실시예들에서, 객체 업데이터(177)는 애플리케이션(136-1)에서 이용되는 객체들을 생성 및 업데이트한다. 예를 들어, 객체 업데이터(177)는 새로운 사용자 인터페이스 객체를 생성하거나, 또는 사용자 인터페이스 객체의 위치를 업데이트한다. GUI 업데이터(178)는 GUI를 업데이트한다. 예를 들어, GUI 업데이터(178)는 터치 감응형 디스플레이 상의 디스플레이를 위해 디스플레이 정보를 준비하고 이를 그래픽 모듈(132)에 전송한다.
일부 실시예들에서, 이벤트 핸들러(들)(190)는 데이터 업데이터(176), 객체 업데이터(177), 및 GUI 업데이터(178)를 포함하거나 이들에 액세스한다. 일부 실시예들에서, 데이터 업데이터(176), 객체 업데이터(177), 및 GUI 업데이터(178)는 각자의 애플리케이션(136-1) 또는 애플리케이션 뷰(191)의 단일 모듈 내에 포함된다. 다른 실시예들에서, 이들은 2개 이상의 소프트웨어 모듈들 내에 포함된다.
터치 감응형 디스플레이 상의 사용자 터치들의 이벤트 처리에 관하여 전술한 논의는 또한 입력 디바이스들을 갖는 다기능 디바이스들(100)을 작동시키기 위한 다른 형태들의 사용자 입력들에도 적용되지만, 그 모두가 터치 스크린들 상에서 개시되는 것이 아니라는 것을 이해해야 한다. 예를 들어, 마우스 이동 및 마우스 버튼 누름은, 선택적으로 단일 또는 복수의 키보드 누름 또는 홀드; 터치패드 상에서의, 탭, 드래그, 스크롤 등과 같은 접촉 이동들; 펜 스타일러스 입력들; 디바이스의 이동; 구두 명령어들; 검출된 눈 이동들; 생체 측정 입력들; 및/또는 이들의 임의의 조합은, 인식될 이벤트를 정의하는 서브이벤트들에 대응하는 입력들로서 선택적으로 이용된다.
도 2는 일부 실시예들에 따른, 터치 스크린(예컨대, 터치 감응형 디스플레이 디바이스(112), 도 1a)을 갖는 휴대용 다기능 디바이스(100)를 예시한다. 터치 스크린은, 선택적으로, 사용자 인터페이스(UI)(200) 내에서 하나 이상의 그래픽을 디스플레이한다. 이러한 실시예는 물론 아래에 기술되는 다른 실시예들에서, 사용자는, 예를 들어, 하나 이상의 손가락들(202)(도면에서 축척대로 도시되지 않음) 또는 하나 이상의 스타일러스들(203)(도면에서 축척대로 도시되지 않음)을 이용하여 그래픽 상에 제스처를 행함으로써 그래픽들 중 하나 이상을 선택할 수 있다. 일부 실시예들에서, 하나 이상의 그래픽의 선택은 사용자가 하나 이상의 그래픽과의 접촉을 중단할 때 발생한다. 일부 실시예들에서, 제스처는 선택적으로 디바이스(100)와 접촉한 손가락의 하나 이상의 탭들, (좌에서 우로, 우에서 좌로, 위로 및/또는 아래로의) 하나 이상의 스와이프 및/또는 (우에서 좌로, 좌에서 우로, 위로 및/또는 아래로의) 롤링을 포함한다. 일부 구현예들 또는 상황들에서, 그래픽과 부주의하여 접촉되면 그 그래픽은 선택되지 않는다. 예를 들면, 선택에 대응하는 제스처가 탭일 때, 애플리케이션 아이콘 위를 스윕(sweep)하는 스와이프 제스처는 선택적으로, 대응하는 애플리케이션을 선택하지 않는다.
디바이스(100)는 또한 선택적으로 "홈" 또는 메뉴 버튼(204)과 같은 하나 이상의 물리적 버튼을 포함한다. 전술한 바와 같이, 메뉴 버튼(204)은 선택적으로, 디바이스(100) 상에서 선택적으로 실행되는 애플리케이션들의 세트 내의 임의의 애플리케이션(136)으로 내비게이션하는 데 사용된다. 대안적으로, 일부 실시예들에서, 메뉴 버튼은 터치 스크린 디스플레이 상에 표시된 GUI에서 소프트 키로서 구현된다.
일부 실시예들에서, 디바이스(100)는 터치 스크린 디스플레이, 메뉴 버튼(204), 디바이스의 전원을 켜거나/끄고 디바이스를 잠그기 위한 푸시 버튼(206), 음량 조절 버튼(들)(208), 가입자 식별 모듈(SIM) 카드 슬롯(210), 헤드 셋 잭(212), 및 도킹/충전 외부 포트(124)를 포함한다. 푸시 버튼(206)은 선택적으로 버튼을 누르고 버튼을 미리 정해진 시간 간격 동안 누른 상태로 유지함으로써 디바이스에서 전력을 온/오프시키고; 버튼을 누르고 사전정의된 시간 간격이 경과하기 전에 버튼을 누름해제함으로써 디바이스를 잠그고/잠그거나 디바이스를 잠금해제하거나 잠금해제 프로세스를 개시하는 데 사용된다. 일부 실시예들에서, 디바이스(100)는 또한 마이크로폰(113)을 통해 일부 기능들의 활성화 또는 비활성화를 위한 구두 입력을 수용한다. 디바이스(100)는 또한 선택적으로 터치 감응형 디스플레이 시스템(112) 상의 접촉들의 세기를 검출하기 위한 하나 이상의 접촉 세기 센서(165) 및/또는 디바이스(100)의 사용자를 위해 촉각적 출력들을 생성하기 위한 하나 이상의 촉각적 출력 생성기(163)를 포함한다.
도 3은 일부 실시예들에 따른, 디스플레이 및 터치 감응형 표면을 갖는 예시적인 다기능 디바이스의 블록도이다. 디바이스(300)가 휴대용일 필요는 없다. 일부 실시예들에서, 디바이스(300)는, 랩톱 컴퓨터, 데스크톱 컴퓨터, 태블릿 컴퓨터, 멀티미디어 재생기 디바이스, 내비게이션 디바이스, (어린이 학습 장난감과 같은) 교육용 디바이스, 게이밍 시스템, 또는 제어 디바이스(예컨대, 가정용 또는 산업용 제어기)이다. 디바이스(300)는 전형적으로 하나 이상의 프로세싱 유닛(CPU)(310), 하나 이상의 네트워크 또는 다른 통신 인터페이스들(360), 메모리(370), 및 이들 컴포넌트들을 상호접속시키기 위한 하나 이상의 통신 버스(320)를 포함한다. 통신 버스들(320)은 선택적으로 시스템 컴포넌트들을 상호접속시키고 이들 사이의 통신을 제어하는 회로부(때때로 칩셋이라고 지칭됨)를 포함한다. 디바이스(300)는 전형적으로 터치 스크린 디스플레이인 디스플레이(340)를 포함하는 입/출력(I/O) 인터페이스(330)를 포함한다. I/O 인터페이스(330)는 또한 선택적으로 키보드 및/또는 마우스(또는 기타의 포인팅 디바이스)(350) 및 터치패드(355), (예를 들면, 도 1a를 참조하여 전술한 촉각적 출력 생성기(들)(163)와 유사한) 디바이스(300) 상에 촉각적 출력들을 생성하기 위한 촉각적 출력 생성기(357), 센서들(359)(예를 들면, 도 1a를 참조하여 전술한 센서(들)(112, 164, 165, 166, 167, 168, 169)와 유사한 터치 감응형, 광, 접촉 세기, 근접, 가속도, 자세, 및/또는 자기 센서들)을 포함한다. 메모리(370)는 DRAM, SRAM, DDR RAM 또는 다른 랜덤 액세스 솔리드 스테이트 메모리 디바이스들과 같은 고속 랜덤 액세스 메모리를 포함하며; 선택적으로 하나 이상의 자기 디스크 저장 디바이스, 광 디스크 저장 디바이스, 플래시 메모리 디바이스, 또는 다른 비휘발성 솔리드 스테이트 저장 디바이스와 같은 비휘발성 메모리를 포함한다. 메모리(370)는 선택적으로 CPU(들)(310)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 일부 실시예들에서, 메모리(370)는 휴대용 다기능 디바이스(100)(도 1a)의 메모리(102)에 저장된 프로그램들, 모듈들, 및 데이터 구조들과 유사한 프로그램들, 모듈들, 및 데이터 구조들 또는 이들의 서브세트를 저장한다. 또한, 메모리(370)는, 선택적으로, 휴대용 다기능 디바이스(100)의 메모리(102) 내에 존재하지 않는 추가의 프로그램들, 모듈들 및 데이터 구조들을 저장한다. 예를 들어, 디바이스(300)의 메모리(370)는 선택적으로 드로잉 모듈(380), 프레젠테이션 모듈(382), 워드 프로세싱 모듈(384), 웹사이트 제작 모듈(386), 디스크 저작 모듈(388), 및/또는 스프레드시트 모듈(390)을 저장하고, 반면에 휴대용 다기능 디바이스(100)(도 1a)의 메모리(102)는 선택적으로 이러한 모듈들을 저장하지 않는다.
도 3에서의 앞서 식별된 요소들 각각은, 선택적으로, 전술된 메모리 디바이스들 중 하나 이상에 저장된다. 앞서 식별된 모듈들 각각은 앞서 기술된 기능을 수행하기 위한 명령어들의 세트에 대응한다. 앞서 확인된 모듈들 또는 프로그램들(즉, 명령어들의 세트들)은 별개의 소프트웨어 프로그램들, 절차들 또는 모듈들로서 구현될 필요가 없으며, 따라서 다양한 실시예들에서 이들 모듈의 다양한 서브세트들이 선택적으로 조합되거나 그렇지 않으면 재배열된다. 일부 실시예들에서, 메모리(370)는 선택적으로 위에서 식별된 모듈 및 데이터 구조체의 서브세트를 저장한다. 또한, 메모리(370)는 선택적으로 위에서 식별되지 않은 추가적인 모듈 및 데이터 구조체를 저장한다.
도 4는 일부 실시예들에 따른, 예시적인 전자 스타일러스(203)의 블록도이다. 전자 스타일러스(203)는 때때로 줄여서 스타일러스라고 불린다. 스타일러스(203)는 메모리(402)(선택적으로, 하나 이상의 컴퓨터 판독가능 저장 매체를 포함함), 메모리 제어기(422), 하나 이상의 프로세싱 유닛(CPU)(420), 주변기기 인터페이스(418), RF 회로부(408), 입/출력(I/O) 서브시스템(406), 및 기타 입력 또는 제어 디바이스들(416)을 포함한다. 스타일러스(203)는 선택적으로 외부 포트(424) 및 하나 이상의 광 센서(464)를 포함한다. 스타일러스(203)는 선택적으로 디바이스(100) 상(예컨대, 스타일러스(203)가 디바이스(100)의 터치 감응형 디스플레이 시스템(112)과 같은 터치 감응형 표면에 사용되는 경우) 또는 기타 표면 상(예컨대, 책상 표면)의 스타일러스(203)의 접촉들의 세기를 검출하기 위한 하나 이상의 세기 센서(465)를 포함한다. 스타일러스(203)는 선택적으로 스타일러스(203) 상에 촉각적 출력을 생성하기 위한 하나 이상의 촉각적 출력 생성기(463)를 포함한다. 이들 컴포넌트는 선택적으로 하나 이상의 통신 버스 또는 신호 라인(403)을 통해 통신한다.
일부 실시예들에서, 위에서 논의된 용어 "촉각적 출력"은 액세서리의 이전 위치에 대한 디바이스(예컨대, 디바이스(100))의 액세서리(예컨대, 스타일러스(203))의 물리적 변위, 액세서리의 다른 컴포넌트에 대한 액세서리의 컴포넌트의 물리적 변위, 또는 사용자의 촉감으로 사용자에 의해 검출될 액세서리의 무게 중심에 대한 컴포넌트의 변위를 지칭한다. 예컨대, 액세서리 또는 액세서리의 컴포넌트가 터치에 민감한 사용자의 표면(예컨대, 사용자의 손의 손가락, 손바닥, 또는 다른 부위)과 접촉하는 상황에서, 물리적 변위에 의해 생성된 촉각적 출력은 사용자에 의해 액세서리 또는 액세서리의 컴포넌트의 물리적 특성들의 인지된 변경에 대응하는 촉감(tactile sensation)으로서 해석될 것이다. 예를 들어, 컴포넌트(예컨대, 스타일러스(203)의 하우징)의 이동은, 선택적으로, 사용자에 의해 물리적 액추에이터 버튼의 "클릭"으로서 해석된다. 일부 경우들에서, 사용자는 사용자의 이동에 의해 물리적으로 눌리는(예컨대, 변위되는) 스타일러스와 연관된 물리적 액추에이터 버튼의 이동이 없는 경우에도 "클릭"과 같은 촉감을 느낄 것이다. 사용자에 의한 터치의 이러한 해석들이 사용자의 개별화된 감각 인지(sensory perception)에 영향을 받기 쉬울 것이지만, 대다수의 사용자들에게 보편적인 많은 터치 감각 인지가 있다. 따라서, 촉각적 출력이 사용자의 특정 감각 인지(예컨대, "클릭")에 대응하는 것으로서 기술될 때, 달리 언급되지 않는다면, 생성된 촉각적 출력은 전형적인(또는 평균적인) 사용자에 대한 기술된 감각 인지를 생성할 디바이스 또는 그의 컴포넌트의 물리적 변위에 대응한다.
스타일러스(203)는 전자 스타일러스의 일례일 뿐이고, 스타일러스(203)는, 선택적으로, 도시된 것보다 더 많거나 더 적은 컴포넌트들을 갖고, 선택적으로, 2개 이상의 컴포넌트들을 조합하거나, 또는 선택적으로 컴포넌트들의 상이한 구성 또는 배열을 갖는다는 것이 인식되어야 한다. 도 4에 도시된 다양한 컴포넌트들은, 하나 이상의 신호 처리 및/또는 주문형 집적 회로들을 비롯한, 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합으로 구현된다.
메모리(402)는 선택적으로 고속 랜덤 액세스 메모리를 포함하고, 선택적으로 또한 하나 이상의 플래시 메모리 디바이스, 또는 기타 비휘발성 솔리드 스테이트 메모리 디바이스와 같은 비휘발성 메모리를 포함한다. CPU(들)(420) 및 주변기기 인터페이스(418)와 같은 스타일러스(203)의 다른 컴포넌트들에 의한 메모리(402)에의 액세스는 선택적으로 메모리 제어기(422)에 의해 제어된다.
주변장치 인터페이스(418)는 스타일러스의 입력 및 출력 주변장치들을 CPU(들)(420) 및 메모리(402)에 연결하는 데 사용될 수 있다. 하나 이상의 프로세서(420)는 스타일러스(203)에 대한 다양한 기능들을 수행하고 데이터를 처리하기 위해 메모리(402)에 저장된 다양한 소프트웨어 프로그램들 및/또는 명령어들의 세트들을 구동 또는 실행시킨다.
일부 실시예들에서, 주변기기 인터페이스(418), CPU(들)(420) 및 메모리 제어기(422)는, 선택적으로, 칩(404)과 같은 단일 칩 상에서 구현된다. 일부 다른 실시예들에서, 이들은 선택적으로 별개의 칩들 상에 구현된다.
RF(radio frequency) 회로부(408)는 전자기 신호들이라고도 지칭되는 RF 신호들을 수신 및 송신한다. RF 회로부(408)는 전기 신호들을 전자기 신호들로/로부터 변환하고, 전자기 신호들을 통해 디바이스(100 또는 300), 통신 네트워크들, 및/또는 다른 통신 디바이스들과 통신한다. RF 회로부(408)는, 선택적으로, 안테나 시스템, RF 송수신기, 하나 이상의 증폭기, 튜너, 하나 이상의 발진기, 디지털 신호 프로세서, CODEC 칩셋, SIM(subscriber identity module) 카드, 메모리 등을 포함하지만 이에 한정되지 않는, 이들 기능들을 수행하기 위한 주지의 회로부를 포함한다. RF 회로부(408)는, 선택적으로, 무선 통신에 의해 월드 와이드 웹(World Wide Web, WWW)으로도 지칭되는 인터넷, 인트라넷 및/또는 무선 네트워크, 예컨대 셀룰러 전화 네트워크, 무선 LAN(local area network) 및/또는 MAN(metropolitan area network)과 같은 네트워크들 및 다른 디바이스들과 통신한다. 무선 통신은, 선택적으로, GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), HSDPA(high-speed downlink packet access), HSUPA(high-speed uplink packet access), EV-DO(Evolution, Data-Only), HSPA, HSPA+, DC-HSPDA(Dual-Cell HSPA), LTE(long term evolution), NFC(near field communication), W-CDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스(Bluetooth), Wi-Fi(Wireless Fidelity)(예컨대, IEEE 802.11a, IEEE 802.11ac, IEEE 802.11ax, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n), VoIP(voice over Internet Protocol), Wi-MAX, 이메일용 프로토콜(예컨대, IMAP(Internet message access protocol) 및/또는 POP(post office protocol)), 인스턴트 메시징(예컨대, XMPP(extensible messaging and presence protocol), SIMPLE(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions), IMPS(Instant Messaging and Presence Service)), 및/또는 SMS(Short Message Service), 또는 본 문헌의 출원일 현재 아직 개발되지 않은 통신 프로토콜을 포함한 임의의 다른 적합한 통신 프로토콜을 포함하지만 이들로 제한되지는 않는 복수의 통신 표준, 프로토콜 및 기술 중 임의의 것을 이용한다.
I/O 서브시스템(406)은 기타 입력 또는 제어 디바이스들(416)과 같은, 스타일러스(203) 상의 입/출력 주변기기들을 주변기기 인터페이스(418)와 연결한다. I/O 서브시스템(406)은 선택적으로 광 센서 제어기(458), 세기 센서 제어기(459), 햅틱 피드백 제어기(461), 및 기타 입력 또는 제어 디바이스들을 위한 하나 이상의 입력 제어기들(460)을 포함한다. 하나 이상의 입력 제어기(460)는 기타 입력 또는 제어 디바이스들(416)과 전기 신호를 수신/송신한다. 기타 입력 또는 제어 디바이스들(416)은 선택적으로 물리적 버튼들(예컨대, 푸시 버튼, 로커 버튼 등), 다이얼, 슬라이더 스위치, 클릭 휠 등을 포함한다. 일부 대안적인 실시예들에서, 입력 제어기(들)(460)는 선택적으로, 적외선 포트 및/또는 USB 포트 중 임의의 것과 연결된다(또는 어떤 것에도 연결되지 않는다).
스타일러스(203)는 또한 다양한 컴포넌트들에 전력을 공급하기 위한 전력 시스템(462)을 포함한다. 전력 시스템(462)은, 전력 관리 시스템, 하나 이상의 전원들(예컨대, 배터리, 교류 전류(alternating current, AC)), 재충전 시스템, 전력 고장 검출 회로, 전력 전환기 또는 인버터, 전력 상태 표시자(예컨대, 발광 다이오드(LED)), 및 휴대용 디바이스들 및/또는 휴대용 액세서리들 내에서의 전력의 생성, 관리 및 분배와 연관된 임의의 다른 컴포넌트들을 포함한다.
스타일러스(203)는 또한 선택적으로 하나 이상의 광 센서(464)를 포함한다. 도 4는 I/O 서브시스템(406) 내의 광 센서 제어기(458)와 연결된 광 센서를 도시한다. 광 센서(들)(464)는 선택적으로 전하-결합 소자(CCD) 또는 CMOS(complementary metal-oxide semiconductor) 포토트랜지스터들을 포함한다. 광 센서(들)(464)는 하나 이상의 렌즈를 통해 투영된 주변환경으로부터의 광을 수신하고, 그 광을 이미지를 나타내는 데이터로 변환한다.
스타일러스(203)는 선택적으로 또한 하나 이상의 접촉 세기 센서(465)를 포함한다. 도 4는 I/O 서브시스템(406) 내의 세기 센서 제어기(459)와 연결된 접촉 세기 센서를 도시한다. 접촉 세기 센서(들)(465)는 선택적으로 하나 이상의 압전 저항 스트레인 게이지, 용량성 힘 센서, 전기적 힘 센서, 압전 힘 센서, 광학적 힘 센서, 용량성 터치 감응형 표면, 또는 다른 세기 센서들(예를 들면, 표면 상의 접촉 힘(또는 압력)을 측정하는 데 사용되는 센서들)을 포함한다. 접촉 세기 센서(들)(465)는 주변환경으로부터 접촉 세기 정보(예를 들면, 압력 정보 또는 압력 정보를 대용하는 것)를 수신한다. 일부 실시예들에서, 적어도 하나의 접촉 세기 센서는 스타일러스(203)의 팁과 함께 또는 그것에 근접하게 배치된다.
스타일러스(203)는 선택적으로 또한 하나 이상의 근접 센서(466)를 포함한다. 도 4는 주변장치 인터페이스(418)와 연결된 근접 센서(466)를 도시한다. 대안적으로, 근접 센서(466)는 I/O 서브시스템(406) 내의 입력 제어기(460)와 연결된다. 일부 실시예들에서, 근접 센서는 전자 디바이스(예컨대, 디바이스(100))에 대한 스타일러스(203)의 근접성을 결정한다.
스타일러스(203)는 선택적으로 또한 하나 이상의 촉각적 출력 생성기(463)를 포함한다. 도 4는 I/O 서브시스템(406) 내의 햅틱 피드백 제어기(461)와 연결된 촉각적 출력 생성기를 도시한다. 촉각적 출력 생성기(들)(463)는 선택적으로 스피커들 또는 다른 오디오 컴포넌트들과 같은 하나 이상의 전자음향 디바이스 및/또는 모터, 솔레노이드, 전기활성 중합체, 압전 액추에이터, 정전 액추에이터, 또는 다른 촉각적 출력 생성 컴포넌트(예를 들면, 전기 신호들을 디바이스 상의 촉각적 출력들로 변환하는 컴포넌트)와 같이 에너지를 선형 모션으로 변환하는 전자기계 디바이스들을 포함한다. 촉각적 출력 생성기(들)(463)는 햅틱 피드백 모듈(433)로부터 촉각적 피드백 생성 명령어들을 수신하여 스타일러스(203)의 사용자에 의해 감지될 수 있는 스타일러스(203) 상의 촉각적 출력들을 생성한다. 일부 실시예들에서, 적어도 하나의 촉각적 출력 생성기는 스타일러스(203)의 길이(예컨대, 본체 또는 하우징)와 함께 또는 그것에 근접하게 배치되고, 선택적으로, 스타일러스(203)를 수직으로(예컨대, 스타일러스(203)의 길이와 평행한 방향으로) 또는 측방향으로(예컨대, 스타일러스(203)의 길이에 수직한 방향으로) 이동시킴으로써 촉각적 출력을 생성한다.
스타일러스(203)는 또한 선택적으로 스타일러스(203)의 위치 및 위치 상태에 관한 정보를 획득하기 위한(예컨대, 관성 측정 유닛(IMU)의 일부로서) 하나 이상의 가속도계(467), 자이로스코프(468), 및/또는 자력계(469)를 포함한다. 도 4는 주변기기 인터페이스(418)와 연결된 센서들(467, 468, 469)을 도시한다. 대안적으로, 센서들(467, 468, 469)은 선택적으로 I/O 서브시스템(406) 내의 입력 제어기(460)와 연결된다. 스타일러스(203)는 선택적으로 스타일러스(203)의 위치에 관한 정보를 획득하기 위한 GPS(또는 GLONASS 또는 다른 글로벌 내비게이션 시스템) 수신기(도시하지 않음)를 포함한다.
일부 실시예들에서, 메모리(402)에 저장된 소프트웨어 컴포넌트들은 운영 체제(426), 통신 모듈(또는 명령어들의 세트)(428), 접촉/모션 모듈(또는 명령어들의 세트)(430), 위치결정 모듈(또는 명령어들의 세트)(431), 및 위성 위치확인 시스템(GPS) 모듈(또는 명령어들의 세트)(435)을 포함한다. 또한, 일부 실시예들에서, 메모리(402)는 도 4에 도시된 바와 같이 디바이스/글로벌 내부 상태(457)를 저장한다. 디바이스/글로벌 내부 상태(457)는 다음 중 하나 이상을 포함한다: 센서 상태, 예컨대, 스타일러스의 다양한 센서들 및 기타 입력 또는 제어 디바이스들(416)로부터 얻어진 정보; 위치 상태, 예컨대, 디바이스(예컨대, 디바이스(100))에 대한 스타일러스의 자세(예컨대, 자세, 배향, 틸트, 롤 및/또는 거리로서, 도 5a 및 도 5b에 도시된 바와 같음)에 관한 정보; 및 스타일러스의 위치(예컨대, GPS 모듈(435)에 의해 결정됨)에 관한 위치 정보.
운영 체제(426)(예컨대, iOS, 다윈, RTXC, 리눅스(LINUX), 유닉스(UNIX), OS X, 윈도(WINDOWS), 또는 VxWorks와 같은 내장형 운영 체제)는 일반적인 시스템 태스크들(예컨대, 메모리 관리, 전력 관리 등)을 제어 및 관리하기 위한 다양한 소프트웨어 컴포넌트들 및/또는 드라이버들을 포함하고, 다양한 하드웨어 및 소프트웨어 컴포넌트들 사이의 통신을 용이하게 한다.
통신 모듈(428)은 선택적으로 하나 이상의 외부 포트(424)를 통해 다른 디바이스들과의 통신을 용이하게 하고, RF 회로부(408) 및/또는 외부 포트(424)에 의해 수신되는 데이터를 처리하기 위한 다양한 소프트웨어 컴포넌트들을 포함한다. 외부 포트(424)(예컨대, 범용 직렬 버스(USB), 파이어와이어(FIREWIRE) 등)는 다른 디바이스들에 직접 결합하거나 또는 네트워크(예컨대, 인터넷, 무선 LAN 등)를 통해 간접적으로 결합하도록 구성된다. 일부 실시예들에서, 외부 포트는 미국 캘리포니아 주 쿠퍼티노 소재의 애플 인크.로부터의 일부 아이폰®, 아이팟 터치®, 및 아이패드® 디바이스들에서 사용되는 라이트닝 커넥터와 동일하거나 유사하고/하거나 호환가능한 라이트닝 커넥터이다.
접촉/모션 모듈(430)은 선택적으로 스타일러스(203) 및 스타일러스(203)의 기타 터치 감응형 디바이스들(예컨대, 스타일러스(203)의 버튼 또는 기타 터치 감응형 컴포넌트들)과의 접촉을 검출한다. 접촉/모션 모듈(430)은 접촉의 검출(예컨대, 디바이스(100)의 터치 스크린(112)과 같은 터치 감응형 디스플레이, 또는 책상 표면과 같은 다른 표면을 이용한 스타일러스의 팁의 검출)과 관련된 다양한 동작들, 예컨대, 접촉이 발생했는지 결정하는 것(예컨대, 터치-다운 이벤트를 검출), 접촉의 세기(예컨대, 접촉의 힘 또는 압력 또는 접촉의 힘 또는 압력을 대체하는 것)를 결정하는 것, 접촉의 이동이 있는지 결정하고 (예컨대, 디바이스(100)의 터치 스크린(112)에 걸쳐) 이동을 추적하는 것, 및 접촉이 중지되었는지 결정하는 것(예컨대, 리프트오프 이벤트 또는 접촉의 중단을 검출)을 수행하기 위한 소프트웨어 컴포넌트들을 포함한다. 일부 실시예들에서, 접촉/모션 모듈(430)은 I/O 서브시스템(406)으로부터 접촉 데이터를 수신한다. 일련의 접촉 데이터에 의해 표현되는 접촉 지점의 이동을 결정하는 것은, 선택적으로, 접촉 지점의 속력(크기), 속도(크기 및 방향), 및/또는 가속도(크기 및/또는 방향의 변화)를 결정하는 것을 포함한다. 전술한 바와 같이, 일부 실시예들에서, 접촉의 검출과 관련된 이러한 동작들 중 하나 이상이 디바이스에 의해 접촉/모션 모듈(130)을 이용하여 (접촉/모션 모듈(430)을 이용하는 스타일러스에 추가하거나 대신하여) 수행된다.
접촉/모션 모듈(430)은 선택적으로 스타일러스(203)에 의한 제스처 입력을 검출한다. 스타일러스(203)를 이용한 상이한 제스처들은 상이한 접촉 패턴들(예컨대, 상이한 모션, 타이밍, 및/또는 검출 접촉들의 세기)을 갖는다. 따라서, 제스처는, 선택적으로, 특정 접촉 패턴을 검출함으로써 검출된다. 예를 들어, 단일 탭 제스처를 검출하는 것은 터치-다운 이벤트를 검출한 다음에 터치-다운 이벤트와 동일한 위치(또는 실질적으로 동일한 위치)(예컨대, 아이콘의 위치)에서 리프트오프 이벤트를 검출하는 것을 포함한다. 다른 예로서, 스와이프 제스처를 검출하는 것은 터치-다운 이벤트를 검출한 다음에 하나 이상의 스타일러스-드래깅 이벤트를 검출하고, 후속적으로 리프트오프 이벤트를 검출하는 것을 포함한다. 전술한 바와 같이, 일부 실시예들에서, 제스처 검출이 디바이스에 의해 접촉/모션 모듈(130)을 이용하여 (접촉/모션 모듈(430)을 이용하는 스타일러스에 추가하거나 대신하여) 수행된다.
위치결정 모듈(431)은, 가속도계(467), 자이로스코프(468), 및/또는 자력계(469)와 함께, 선택적으로 참조의 특정 프레임에서 스타일러스의 자세(롤, 피치 및/또는 요)와 같은 스타일러스에 관한 위치 정보를 검출한다. 위치결정 모듈(431)은, 가속도계(467), 자이로스코프(468), 및/또는 자력계(469)와 함께, 선택적으로 스타일러스의 플릭, 탭, 및 롤과 같은 스타일러스 이동 제스처들을 검출한다. 위치결정 모듈(431)은 스타일러스의 자세를 검출하는 것 및 특정 참조 프레임에서 스타일러스의 자세의 변경을 검출하는 것과 관련된 다양한 동작들을 수행하기 위한 소프트웨어 컴포넌트들을 포함한다. 일부 실시예들에서, 위치결정 모듈(431)은 디바이스에 대한 스타일러스의 위치 상태를 검출하고 디바이스에 대한 스타일러스의 위치 상태의 변경을 검출한다. 전술한 바와 같이, 일부 실시예들에서, 디바이스(100 또는 300)는 위치결정 모듈(131)을 이용하여 (위치결정 모듈(431)을 이용하는 스타일러스에 추가하여 또는 이를 대신하여) 디바이스에 대한 스타일러스의 위치 상태 및 스타일러스의 위치 상태의 변경을 결정한다.
햅틱 피드백 모듈(433)은 스타일러스(203)와의 사용자 상호작용들에 응답하여 스타일러스(203) 상의 하나 이상의 위치에서 촉각적 출력들을 생성하기 위하여 촉각적 출력 생성기(들)(463)에 의해 이용되는 명령어들을 생성하기 위한 다양한 소프트웨어 컴포넌트들을 포함한다.
GPS 모듈(435)은 스타일러스의 위치를 결정하고 다양한 애플리케이션들에서의 사용을 위해 (예컨대, 잃어버린 디바이스 및/또는 액세서리들을 찾기 위한 애플리케이션과 같은 위치-기반 서비스를 제공하는 애플리케이션들에) 이 정보를 제공한다.
상기 식별된 모듈들 및 애플리케이션들 각각은 상기 설명된 하나 이상의 기능들 및 본 출원에 설명되는 방법들(예컨대, 컴퓨터 구현 방법들 및 본 명세서에 설명되는 다른 정보 처리 방법들)을 수행하기 위한 실행 가능 명령어들의 세트에 대응한다. 이들 모듈(즉, 명령어들의 세트들)은 별개의 소프트웨어 프로그램들, 절차들 또는 모듈들로서 구현될 필요가 없으며, 따라서 이들 모듈의 다양한 서브세트들이 선택적으로 다양한 실시예들에서 조합되거나 그렇지 않으면 재배열된다. 일부 실시예들에서, 메모리(402)는 선택적으로 위에서 식별된 모듈 및 데이터 구조체의 서브세트를 저장한다. 또한, 메모리(402)는 선택적으로 위에서 식별되지 않은 추가적인 모듈 및 데이터 구조체를 저장한다.
도 5a 및 도 5b는 일부 실시예들에 따른 터치 감응형 표면(예컨대, 디바이스(100)의 터치 스크린(112))에 대한 스타일러스(203)의 위치 상태를 예시한다. 일부 실시예들에서, 스타일러스(203)의 위치 상태는 다음에 대응한다(또는 나타낸다): 터치 감응형 표면 상에 스타일러스의 팁(또는 기타 대표적인 부분)을 투영한 위치(예컨대, (x,y) 위치(504), 도 5a), 터치 감응형 표면에 대한 스타일러스의 배향(예컨대, 배향(506), 도 5a), 터치 감응형 표면에 대한 스타일러스의 틸트(예컨대, 틸트(512), 도 5b), 및/또는 터치 감응형 표면에 대한 스타일러스의 거리(예컨대, 거리(514), 도 5b). 일부 실시예들에서, 스타일러스(203)의 위치 상태는 스타일러스의 피치, 요, 및/또는 롤(예컨대, 터치 감응형 표면(예컨대, 터치 스크린(112)) 또는 바닥과 같은 특정 참조 프레임에 대한 스타일러스의 자세)에 대응한다(또는 나타낸다). 일부 실시예들에서, 위치 상태는 위치 파라미터들의 세트(예컨대, 하나 이상의 위치 파라미터)를 포함한다. 일부 실시예들에서, 위치 상태는 전자 디바이스(예컨대, 디바이스(100))에 송신되는 스타일러스(203)로부터의 하나 이상의 측정치에 따라 검출된다. 예를 들어, 스타일러스는 스타일러스의 틸트(예컨대, 틸트(512), 도 5b) 및/또는 배향(예컨대, 배향(506), 도 5a)을 측정하고, 측정치를 디바이스(100)에 송신한다. 일부 실시예들에서, 위치 상태는, 스타일러스(203)로부터의 하나 이상의 측정치에 따라 검출된 위치 상태 대신에 또는 이와 함께, 터치 감응형 표면(예컨대, 디바이스(100)의 터치 스크린(112))에 의해 감지되는, 스타일러스의 하나 이상의 전극으로부터의 미가공 출력에 따라 검출된다. 예를 들어, 터치 감응형 표면은 스타일러스의 하나 이상의 전극으로부터의 미가공 출력을 수신하고, 미가공 출력에 기초하여 (선택적으로, 스타일러스에 의해 생성된 센서 측정치에 기초하여 스타일러스에 의해 제공된 위치 상태 정보와 함께) 스타일러스의 틸트 및/또는 배향을 계산한다.
도 5a는 일부 실시예들에 따른, 터치 감응형 표면 바로 위의 관점에서 터치 감응형 표면(예컨대, 디바이스(100)의 터치 스크린(112))에 대한 스타일러스(203)를 예시한다. 도 5a에서, z 축(594)은 페이지로부터 벗어나는 방향을 가리키고(즉, 터치 스크린(112)의 평면에 수직한 방향), x 축(590)은 터치 스크린(112)의 제1 에지(예컨대, 길이)와 평행하고, y 축(592)은 터치 스크린(112)의 제2 에지(예컨대, 폭)와 평행하고, y 축(592)은 x 축(590)에 직교한다.
도 5a는 (x,y) 위치(504)에서 스타일러스(203)의 팁을 예시한다. 일부 실시예들에서, 스타일러스(203)의 팁은 터치 감응형 표면(예컨대, 터치 스크린(112))에 대한 스타일러스의 근접성을 결정하도록 구성된 스타일러스의 말단이다. 일부 실시예들에서, 터치 감응형 표면 상의 스타일러스의 팁의 투영은 직교 투영이다. 다시 말해서, 터치 감응형 표면 상의 스타일러스의 팁의 투영은 터치 감응형 표면의 표면에 수직하는 스타일러스 팁에서 터치 감응형 표면까지의 라인의 끝에 있는 점이다(예컨대, 스타일러스를 터치 감응형 표면에 수직한 경로를 따라 곧바로 이동시키면 스타일러스의 팁이 터치 감응형 표면을 터치하게 될 (x,y) 위치(504)). 일부 실시예들에서, 터치 스크린(112)의 좌하부 코너의 (x,y) 위치는 위치 (0,0)(예컨대, (0,0) 위치(502))이고, 터치 스크린(112) 상의 다른 (x,y) 위치는 터치 스크린(112)의 좌하부 코너에 상대적이다. 대안적으로, 일부 실시예들에서, (0,0) 위치는 터치 스크린(112)의 다른 위치에 (예컨대, 터치 스크린(112)의 중심에) 위치하고, 다른 (x,y) 위치들은 터치 스크린(112)의 (0,0) 위치에 대하여 상대적이다.
또한, 도 5a는 배향(506)을 갖는 스타일러스(203)를 예시한다. 일부 실시예들에서, 배향(506)은 터치 스크린(112) 상으로 스타일러스(203)의 투영(예컨대, 스타일러스(203)의 길이의 직교 투영 또는 터치 스크린(112) 상으로의 스타일러스(203)의 다른 두 지점의 투영 사이의 라인에 대응하는 라인)의 배향이다. 일부 실시예들에서, 배향(506)은 터치 스크린(112)과 평행한 평면 내의 적어도 하나의 축에 대하여 상대적이다. 일부 실시예들에서, 배향(506)은 터치 스크린(112)과 평행한 평면 내의 단일 축(예컨대, 축(508)으로서, 0 도에서 360 도까지 축(508)으로부터 시계방향 회전각을 이루며, 이는 도 5a에 도시된 바와 같음)에 대하여 상대적이다. 대안적으로, 일부 실시예들에서, 배향(506)은 터치 스크린(112)과 평행한 평면 내의 한 쌍의 축(예컨대, 도 5a에 도시된 바와 같이 x 축(590) 및 y 축(592), 또는 터치 스크린(112) 상에 디스플레이된 애플리케이션과 연관된 한 쌍의 축)에 대하여 상대적이다.
일부 실시예들에서, 표시(예컨대, 표시(516))가 터치 감응형 디스플레이(예컨대, 디바이스(100)의 터치 스크린(112)) 상에 디스플레이된다. 일부 실시예들에서, 표시(516)는 스타일러스가 터치 감응형 디스플레이를 터치하기 전에 스타일러스가 터치 감응형 디스플레이를 터치(또는 마크)할 곳을 도시한다. 일부 실시예들에서, 표시(516)는 터치 감응형 디스플레이 상에 드로잉되고 있는 마크의 일부분이다. 일부 실시예들에서, 표시(516)는 터치 감응형 디스플레이 상에 드로잉되고 있는 마크와 별개이고, 마크가 터치 감응형 디스플레이 상에 드로잉될 곳을 나타내는 가상 "펜 팁" 또는 기타 요소에 대응한다.
일부 실시예들에서, 표시(516)는 스타일러스(203)의 위치 상태에 따라 디스플레이된다. 예를 들어, 일부 환경들에서, 표시(516)는 (x,y) 위치(504)(도 5a 및 도 5b에 도시된 바와 같음)로부터 변위되고, 다른 환경에서, 표시(516)는 (x,y) 위치(504)로부터 변위되지 않는다(예컨대, 틸트(512)가 0 도일 때 표시(516)는 (x,y) 위치(504)에서 또는 근처에서 디스플레이됨). 일부 실시예들에서, 표시(516)는, 스타일러스의 위치 상태에 따라, 색상, 크기(또는 반지름 또는 면적), 불투명도, 및/또는 기타 특성들을 다양하게 디스플레이된다. 일부 실시예들에서, 디스플레이되는 표시는 터치 감응형 디스플레이 상의 유리층의 두께를 고려하여, 픽셀을 덮고 있는 "유리 상에" 표시를 디스플레이하지 않고, 터치 감응형 디스플레이의 "픽셀 상에" 표시를 이행하도록 한다.
도 5b는 일부 실시예들에 따른, 터치 감응형 표면의 측면 관점에서 터치 감응형 표면(예컨대, 디바이스(100)의 터치 스크린(112))에 대한 스타일러스(203)를 예시한다. 도 5b에서, z 축(594)은 터치 스크린(112)의 평면에 수직한 방향을 가리키고, x 축(590)은 터치 스크린(112)의 제1 에지(예컨대, 길이)와 평행하고, y 축(592)은 터치 스크린(112)의 제2 에지(예컨대, 폭)와 평행하고, y 축(592)은 x 축(590)에 직교한다.
도 5b는 틸트(512)를 갖는 스타일러스(203)를 예시한다. 일부 실시예들에서, 틸트(512)는 터치 감응형 표면의 표면의 법선(예컨대, 법선(510))(또한 줄여서 터치 감응형 표면의 법선으로 지칭됨)에 대한 각도이다. 도 5b에 도시된 바와 같이, 스타일러스가 터치 감응형 표면에 직각/수직(예컨대, 스타일러스(203)는 법선(510)과 평행함)할 때 틸트(512)는 0이고, 스타일러스가 터치 감응형 표면과 평행한 것에 더 가까이 틸트됨에 따라 틸트는 증가한다.
또한, 도 5b는 터치 감응형 표면에 대한 스타일러스(203)의 거리(514)를 예시한다. 일부 실시예들에서, 거리(514)는 터치 감응형 표면에 수직한 방향으로 스타일러스(203)의 팁에서 터치 감응형 표면까지의 거리이다. 예를 들어, 도 5b에서, 거리(514)는 스타일러스(203)의 팁에서 (x,y) 위치(504)까지의 거리이다.
용어 "x 축," "y 축," 및 "z 축"은 본 명세서에서 특정 도면에서 어떠한 방향을 예시하는 데 사용되며, 이 용어들이 절대적인 방향을 지칭하지 않음을 이해할 것이다. 다시 말해서, "x 축"은 임의의 개별적인 축일 수 있고, "y 축"은 x 축과 구분되는 특정 축일 수 있다. 전형적으로, x 축은 y 축과 수직이다. 유사하게, "z 축"은 "x 축" 및 "y 축"과 구분되며 전형적으로 "x 축" 및 "y 축" 둘 모두와 수직이다.
또한, 도 5b는 롤(518), 즉, 스타일러스(203)의 길이(장축)을 중심으로 한 회전을 예시한다.
이제 휴대용 다기능 디바이스(100) 상에서 선택적으로 구현되는 사용자 인터페이스들("UI")의 실시예들에 주목한다.
도 6a는 일부 실시예들에 따른, 휴대용 다기능 디바이스(100) 상의 애플리케이션들의 메뉴에 대한 예시적인 사용자 인터페이스를 예시한다. 유사한 사용자 인터페이스들이 선택적으로 디바이스(300) 상에 구현된다. 일부 실시예들에서, 사용자 인터페이스(600)는 하기의 요소들, 또는 그들의 서브세트나 수퍼세트를 포함한다:
Figure pat00027
셀룰러 및 Wi-Fi 신호들과 같은 무선 통신(들)에 대한 신호 강도 표시자(들)(602);
Figure pat00028
시간(604);
Figure pat00029
블루투스 표시자(605);
Figure pat00030
배터리 상태 표시자(606);
Figure pat00031
다음과 같은, 빈번하게 사용되는 애플리케이션들에 대한 아이콘들을 갖는 트레이(608):
o 부재중 전화 또는 음성 메일 메시지들의 수를 나타내는 표시자(614)를 선택적으로 포함하는, "전화"라고 라벨링된 전화 모듈(138)에 대한 아이콘(616);
o 읽지 않은 이메일들의 수를 나타내는 표시자(610)를 선택적으로 포함하는, "메일"이라고 라벨링된 이메일 클라이언트 모듈(140)에 대한 아이콘(618);
o "브라우저"라고 라벨링된 브라우저 모듈(147)에 대한 아이콘(620); 및
o "아이팟"이라고 라벨링된, 비디오 및 음악 플레이어 모듈(152)(또한 아이팟®(애플 인크의 상표) 모듈(152)로도 지칭됨)에 대한 아이콘(622); 및
Figure pat00032
다음과 같은 기타 애플리케이션들에 대한 아이콘들:
o "메시지"라고 라벨링된 IM 모듈(141)에 대한 아이콘(624);
o "캘린더"라고 라벨링된 캘린더 모듈(148)에 대한 아이콘(626);
o "사진"이라고 라벨링된 이미지 관리 모듈(144)에 대한 아이콘(628);
o "카메라"라고 라벨링된 카메라 모듈(143)에 대한 아이콘(630);
o "비디오 편집"이라고 라벨링된 비디오 편집 모듈(155)에 대한 아이콘(632);
o "주식"이라고 라벨링된 주식 위젯(149-2)에 대한 아이콘(634);
o "지도"라고 라벨링된 지도 모듈(154)에 대한 아이콘(636);
o "날씨"라고 라벨링된 날씨 위젯(149-1)에 대한 아이콘(638);
o "시계"라고 라벨링된 알람 시계 위젯(149-4)에 대한 아이콘(640);
o "운동 지원"이라고 라벨링된 운동 지원 모듈(142)에 대한 아이콘(642);
o "메모"라고 라벨링된 메모 모듈(153)에 대한 아이콘(644); 및
o 디바이스(100) 및 그것의 다양한 애플리케이션들(136)에 대한 설정에 액세스를 제공하는, 설정 애플리케이션 또는 모듈에 대한 아이콘(646).
도 6a에 예시된 아이콘 라벨들이 단지 예시적인 것임에 주목하여야 한다. 예를 들면, 일부 실시예들에서, 비디오 및 음악 플레이어 모듈(152)에 대한 아이콘(622)은 "음악" 또는 "음악 플레이어"로 라벨링된다. 기타 라벨들이 선택적으로 다양한 애플리케이션 아이콘들에 대해 사용된다. 일부 실시예들에서, 각자의 애플리케이션 아이콘에 대한 라벨은 각자의 애플리케이션 아이콘에 대응하는 애플리케이션의 이름을 포함한다. 일부 실시예들에서, 특정 애플리케이션 아이콘에 대한 라벨은 특정 애플리케이션 아이콘에 대응하는 애플리케이션의 이름과는 별개이다.
도 6b는 디스플레이(650)와 별개의 터치 감응형 표면(651)(예컨대, 태블릿 또는 터치패드(355), 도 3)을 갖는 디바이스(예컨대, 디바이스(300), 도 3) 상의 예시적인 사용자 인터페이스를 예시한다. 디바이스(300)는 또한, 선택적으로, 터치 감응형 표면(651) 상의 접촉들의 세기를 검출하기 위한 하나 이상의 접촉 세기 센서(예컨대, 센서들(359) 중 하나 이상) 및/또는 디바이스(300)의 사용자에 대한 촉각적 출력을 생성하기 위한 하나 이상의 촉각적 출력 생성기(359)를 포함한다.
도 6b는 디스플레이(650)와 별개의 터치 감응형 표면(651)(예컨대, 태블릿 또는 터치패드(355), 도 3)을 갖는 디바이스(예컨대, 디바이스(300), 도 3) 상의 예시적인 사용자 인터페이스를 예시한다. 후속하는 다수의 예들이 (터치 감응형 표면과 디스플레이가 조합된) 터치 스크린 디스플레이(112) 상의 입력들을 참조하여 제공될 것이지만, 일부 실시예들에서, 디바이스는 도 6b에 도시된 바와 같이 디스플레이와 별개인 터치 감응형 표면 상에서 입력들을 검출한다. 일부 실시예들에서, 터치 감응형 표면(예컨대, 도 6b의 651)은 디스플레이(예컨대, 650) 상의 주축(예컨대, 도 6b의 653)에 대응하는 주축(예컨대, 도 6b의 652)을 갖는다. 이들 실시예들에 따르면, 디바이스는 디스플레이 상의 각각의 위치들에 대응하는 위치들(예컨대, 도 6b에서, 660은 668에 대응하고, 662는 670에 대응함)에서 터치 감응형 표면(651)과의 접촉들(예컨대, 도 6b의 660 및 662)을 검출한다. 이러한 방식으로, 터치 감응형 표면(예컨대, 도 6b의 651) 상에서 디바이스에 의해 검출된 사용자 입력들(예컨대, 접촉들(660, 662) 및 그 이동들)은 터치 감응형 표면이 디스플레이와 별개인 경우 디바이스에 의해 다기능 디바이스의 디스플레이(예컨대, 도 6b의 650) 상의 사용자 인터페이스를 조작하는 데 사용된다. 유사한 방법들이, 선택적으로, 본 명세서에 기술된 다른 사용자 인터페이스들에 이용된다는 것이 이해되어야 한다.
추가로, 하기의 예들이 손가락 입력들(예컨대, 손가락 접촉들, 손가락 탭 제스처들, 손가락 스와이프 제스처들 등)을 주로 참조하여 주어지는 반면, 일부 실시예들에서, 손가락 입력들 중 하나 이상은 다른 입력 디바이스로부터의 입력(예컨대, 마우스 기반 입력 또는 스타일러스 입력)으로 대체되는 것이 이해되어야 한다. 예컨대, 스와이프 제스처는, 선택적으로, 마우스 클릭(예컨대, 접촉 대신)과 뒤이어 스와이프의 경로를 따른 커서의 이동(예컨대, 접촉의 이동 대신)으로 대체된다. 다른 예로서, (예컨대, 접촉의 검출 및 뒤이은 접촉을 검출하는 것을 중지하는 것 대신에) 커서가 탭 제스처의 위치 위에 위치되는 동안에 탭 제스처가 선택적으로 마우스 클릭으로 대체된다. 유사하게, 다수의 사용자 입력이 동시에 검출되는 경우, 다수의 컴퓨터 마우스가 선택적으로 동시에 사용되거나, 또는 마우스와 손가락 접촉들이 선택적으로 동시에 사용되는 것으로 이해하여야 한다.
본 명세서에 사용되는 바와 같이, "포커스 선택자"라는 용어는 사용자와 상호작용하고 있는 사용자 인터페이스의 현재 부분을 나타내는 입력 요소를 지칭한다. 커서 또는 다른 위치 마커를 포함하는 일부 구현예들에서, 커서가 특정 사용자 인터페이스 요소(예컨대, 버튼, 윈도우, 슬라이더 또는 다른 사용자 인터페이스 요소) 위에 있는 동안에 입력(예컨대, 누르기 입력)이 터치 감응형 표면(예컨대, 도 3에서의 터치 패드(355) 또는 도 6b에서의 터치 감응형 표면(651)) 상에서 검출될 때 특정 사용자 인터페이스 요소가 검출된 입력에 따라 조정되도록, 커서는 "포커스 선택자"로서의 역할을 한다. 터치 스크린 디스플레이 상의 사용자 인터페이스 요소들과의 직접적인 상호작용을 가능하게 하는 터치 스크린 디스플레이(예컨대, 도 1a에서의 터치 감응형 디스플레이 시스템(112) 또는 도 6a에서의 터치 스크린)를 포함하는 일부 구현예들에서, 입력(예컨대, 접촉에 의한 누르기 입력)이 특정 사용자 인터페이스 요소(예컨대, 버튼, 윈도우, 슬라이더 또는 다른 사용자 인터페이스 요소)의 위치에 있는 터치 스크린 디스플레이 상에서 검출될 때 특정 사용자 인터페이스 요소가 검출된 입력에 따라 조정되도록, 터치 스크린 상의 검출된 접촉은 "포커스 선택자"로서의 역할을 한다. 일부 구현예들에서, (예를 들어, 포커스를 하나의 버튼으로부터 다른 버튼으로 움직이는 탭 키 또는 화살표 키를 사용함으로써) 터치-스크린 디스플레이 상의 대응하는 커서의 이동 또는 접촉의 이동 없이 포커스가 사용자 인터페이스의 하나의 구역으로부터 사용자 인터페이스의 다른 구역으로 이동되며, 이러한 구현예들에서, 포커스 선택기는 사용자 인터페이스의 상이한 구역들 사이에서의 포커스의 이동에 따라 움직인다. 포커스 선택자가 가지는 특정 형태와 무관하게, 포커스 선택자는 일반적으로 (예컨대, 사용자가 상호작용하고자 하는 사용자 인터페이스의 요소를 디바이스에 나타내는 것에 의해) 사용자 인터페이스와의 사용자의 의도된 상호작용을 전달하기 위해 사용자에 의해 제어되는 사용자 인터페이스 요소(또는 터치 스크린 디스플레이 상의 접촉)이다. 예를 들어, 터치 감응형 표면(예컨대, 터치패드 또는 터치 스크린) 상에서 누르기 입력이 검출되는 동안 각자의 버튼 위의 포커스 선택자(예컨대, 커서, 접촉 또는 선택 상자)의 위치는 (디바이스의 디스플레이 상에 보여지는 다른 사용자 인터페이스 요소들과 달리) 사용자가 각자의 버튼을 활성화시키려고 하고 있다는 것을 나타낼 것이다.
명세서 및 청구범위에서 사용되는 바와 같이, 터치 감응형 표면 상에의 접촉의 "세기"라는 용어는 터치 감응형 표면 상에의 접촉(예컨대, 손가락 접촉 또는 스타일러스 접촉)의 힘 또는 압력(단위 면적 당 힘), 또는 터치 감응형 표면 상에의 접촉의 힘 또는 압력에 대한 대체물(대용물(proxy))을 지칭한다. 접촉의 세기는, 적어도 4개의 구별되는 값들을 포함하고 더 전형적으로는 수백 개(예컨대, 적어도 256개)의 구별되는 값들을 포함하는 일정 범위의 값들을 갖는다. 접촉의 세기는 다양한 접근법들, 및 다양한 센서들 또는 센서들의 조합들을 이용하여, 선택적으로 결정(또는 측정)된다. 예를 들어, 터치 감응형 표면 아래의 또는 그에 인접한 하나 이상의 힘 센서는 터치 감응형 표면 상의 다양한 지점들에서 힘을 측정하는 데 선택적으로 사용된다. 일부 구현들에서, 다수의 힘 센서들로부터의 힘 측정치들이 접촉의 추정되는 힘을 결정하기 위해 결합(예컨대, 가중 평균 또는 합)된다. 유사하게, 스타일러스의 압력 감응형 팁(tip)이 터치 감응형 표면 상의 스타일러스의 압력을 결정하는 데 선택적으로 사용된다. 대안으로, 터치 감응형 표면 상에서 검출된 접촉 면적의 크기 및/또는 그에 대한 변화들, 접촉 부근의 터치 감응형 표면의 커패시턴스 및/또는 그에 대한 변화들, 및/또는 접촉 부근의 터치 감응형 표면의 저항 및/또는 그에 대한 변화들은 터치 감응형 표면 상의 접촉의 힘 또는 압력에 대한 대체물로서 선택적으로 이용된다. 일부 구현예들에서, 접촉 힘 또는 압력에 대한 대체 측정치들은 세기 임계치가 초과되었는지 여부를 결정하는 데 직접 이용된다(예컨대, 세기 임계치는 대체 측정치들에 대응하는 단위로 기술된다). 일부 구현예들에서, 접촉 힘 또는 압력에 대한 대체 측정치들은 추정된 힘 또는 압력으로 변환되고, 추정된 힘 또는 압력은 세기 임계치가 초과되었는지 여부를 결정하기 위해 이용된다(예컨대, 세기 임계치는 압력의 단위로 측정된 압력 임계치임). 사용자 입력의 속성으로서 접촉의 세기를 사용하는 것은 그렇지 않았으면 어포던스(affordance)들을 (예컨대, 터치 감응형 디스플레이 상에) 표시하고 그리고/또는 (예컨대, 터치 감응형 디스플레이, 터치 감응형 표면, 또는 노브(knob) 또는 버튼과 같은 물리적/기계식 컨트롤을 통해) 사용자 입력을 수신하기 위한 제한된 실면적을 갖는 감소된 크기의 디바이스 상에서 사용자에 의해 용이하게 액세스 가능하지 않을 수 있는 부가적인 디바이스 기능에의 사용자 액세스를 가능하게 한다.
일부 실시예들에서, 접촉/모션 모듈(130 및/또는 430)은 동작이 사용자에 의해 수행되었는지 결정하기 위해(예컨대, 사용자가 아이콘을 "클릭"했는지 결정하기 위해) 하나 이상의 세기 임계치의 세트를 이용한다. 일부 실시예들에서, 적어도 세기 임계치들의 서브세트가 소프트웨어 파라미터들에 따라 결정된다(예컨대, 세기 임계치들은 특정 물리적 액추에이터들의 활성화 임계치들에 의해 결정되지 않으며, 디바이스(100)의 물리적 하드웨어를 변경함이 없이 조정될 수 있다). 예를 들면, 트랙패드 또는 터치 스크린 디스플레이의 마우스 "클릭" 임계치는 트랙패드 또는 터치 스크린 디스플레이 하드웨어를 변경함이 없이 넓은 범위의 사전정의된 임계치들 중 임의의 것으로 설정될 수 있다. 추가적으로, 일부 실시예들에서, 디바이스의 사용자는 (예컨대, 개별 세기 임계치들을 조정함으로써 그리고/또는 복수의 세기 임계치를 시스템 레벨 클릭 "세기" 파라미터로 한꺼번에 조정함으로써) 세기 임계치들의 세트 중의 하나 이상의 세기 임계치를 조정하기 위한 소프트웨어 설정들을 제공받는다.
명세서 및 청구범위에서 사용되는 바와 같이, 접촉의 "특성 세기(characteristic intensity)"라는 용어는 접촉의 하나 이상의 세기들에 기초한 접촉의 특성을 지칭한다. 일부 실시예들에서, 특성 세기는 다수의 세기 샘플들에 기초한다. 특성 세기는, 선택적으로, 사전정의된 수의 세기 샘플들, 또는 사전정의된 이벤트에 대해(예컨대, 접촉을 검출한 후에, 접촉의 리프트오프를 검출하기 이전, 접촉의 이동의 시작을 검출하기 이전 또는 후에, 접촉의 종료를 검출하기 이전, 접촉의 세기의 증가를 검출하기 이전 또는 후에, 및/또는 접촉의 세기의 감소를 검출하기 이전 또는 후) 사전결정된 기간(예컨대, 0.05, 0.1, 0.2, 0.5, 1, 2, 5, 10 초) 동안 수집된 세기 샘플들의 세트에 기초한다. 접촉의 특성 세기는, 선택적으로, 접촉의 세기들의 최대 값, 접촉의 세기들의 중간 값(mean value), 접촉의 세기들의 평균값(average value), 접촉의 세기들의 상위 10 백분위 값(top 10 percentile value), 접촉의 세기들의 최대 값의 절반의 값, 접촉의 세기들의 최대 값의 90 퍼센트의 값 등 중 하나 이상에 기초한다. 일부 실시예들에서, 접촉의 지속기간은 (예컨대, 특성 세기가 시간의 경과에 따른 접촉의 세기의 평균일 때) 특성 세기를 결정하는 데 사용된다. 일부 실시예들에서, 동작이 사용자에 의해 수행되었는지 여부를 결정하기 위해, 특성 세기가 하나 이상의 세기 임계치들의 세트와 비교된다. 예를 들어, 하나 이상의 세기 임계치의 세트는 제1 세기 임계치 및 제2 세기 임계치를 포함할 수 있다. 이 예에서, 제1 임계치를 초과하지 않는 특성 세기를 갖는 접촉의 결과, 제1 동작이 행해지고, 제1 세기 임계치를 초과하지만 제2 세기 임계치를 초과하지 않는 특성 세기를 갖는 접촉의 결과, 제2 동작이 행해지며, 제2 세기 임계치 초과의 특성 세기를 갖는 접촉의 결과, 제3 동작이 행해진다. 일부 실시예들에서, 특성 세기와 하나 이상의 세기 임계치 간의 비교는, 제1 동작 또는 제2 동작을 수행할지를 결정하기 위해 사용되기보다는, 하나 이상의 동작을 수행할지 여부(예컨대, 각각의 옵션을 수행할지 각각의 동작을 수행하는 것을 그만둘지)를 결정하기 위해 사용된다.
일부 실시예들에서, 특성 세기를 결정하기 위해 제스처의 일부분이 식별된다. 예를 들어, 터치 감응형 표면은 시작 위치로부터 이동하여 종료 위치(이 지점에서 접촉의 세기가 증가함)에 도달하는 연속적인 스와이프 접촉(예컨대, 드래그 제스처)을 수신할 수 있다. 이 예에서, 종료 위치에서의 접촉의 특성 세기는 스와이프 접촉 전체가 아니라 연속적인 스와이프 접촉의 일부분에만(예컨대, 종료 위치에서의 스와이프 접촉의 부분에만) 기초할 수 있다. 일부 실시예들에서, 접촉의 특성 세기를 결정하기 전에 스와이프 접촉의 세기들에 평활화 알고리즘(smoothing algorithm)이 적용될 수 있다. 예를 들어, 평활화 알고리즘은, 선택적으로, 비가중 이동 평균(unweighted sliding-average) 평활화 알고리즘, 삼각(triangular) 평활화 알고리즘, 메디안 필터(median filter) 평활화 알고리즘, 및/또는 지수(exponential) 평활화 알고리즘 중 하나 이상을 포함한다. 일부 상황들에서, 이 평활화 알고리즘들은 특성 세기를 결정하기 위해 스와이프 접촉의 세기들에서의 좁은 급등(spike)들 또는 급감(dip)들을 제거한다.
본 명세서에 기술된 사용자 인터페이스 도면들은 선택적으로 하나 이상의 세기 임계치(예컨대, 접촉 검출 세기 임계치 IT0, 가볍게 누르기 세기 임계치 ITL, 깊게 누르기 세기 임계치 ITD(예컨대, 적어도 초기에 IL 보다 높음), 및/또는 하나 이상의 기타 세기 임계치(예컨대, IL보다 낮은 세기 임계치 IH))에 대한 터치 감응형 표면 상의 접촉의 현재 세기를 도시하는 다양한 세기 다이어그램들을 포함한다. 이러한 세기 다이어그램은 통상적으로 디스플레이되는 사용자 인터페이스의 부분은 아니지만, 도면들의 해석에 도움을 주기 위해 제공된다. 일부 실시예들에서, 가볍게 누르기 세기 임계치는, 디바이스가 물리적 마우스의 버튼 또는 트랙 패드를 클릭하는 것과 전형적으로 연관된 동작들을 수행하게 될 세기에 대응한다. 일부 실시예들에서, 깊게 누르기 세기 임계치는, 디바이스가 물리적 마우스의 버튼 또는 트랙패드를 클릭하는 것과 전형적으로 연관된 동작들과는 상이한 동작들을 수행하게 될 세기에 대응한다. 일부 실시예들에서, 접촉이 가벼운 누르기 세기 임계치 미만의(예컨대, 그리고 공칭 접촉 검출 세기 임계치 IT0 (이 미만에서는 접촉이 더 이상 검출되지 않음) 초과의) 특성 세기로 검출될 때, 디바이스는 가벼운 누르기 세기 임계치 또는 깊은 누르기 세기 임계치와 연관된 동작을 수행함이 없이 터치 감응형 표면 상의 접촉의 이동에 따라 포커스 선택자를 이동시킬 것이다. 일반적으로, 달리 언급되지 않는 한, 이 세기 임계치들은 사용자 인터페이스 도면들의 상이한 세트들 사이에서 일관성이 있다.
일부 실시예들에서, 디바이스에 의해 검출된 입력들에 대한 디바이스의 응답은 입력 동안 접촉 세기에 기초한 기준들에 따라 달라진다. 예를 들어, 일부 "가볍게 누르기" 입력의 경우, 입력 중 제1 세기 임계치를 초과하는 접촉의 세기는 제1 응답을 트리거한다. 일부 실시예들에서, 디바이스에 의해 검출된 입력들에 대한 디바이스의 응답은 입력 중 접촉 세기 및 시간 기반 기준 둘 모두를 포함하는 기준들에 따라 달라진다. 예를 들어, 일부 "깊게 누르기" 입력의 경우, 가볍게 누르기에 대한 제1 세기 임계치보다 큰, 입력 중 제2 세기 임계치를 초과하는 접촉의 세기는, 제1 세기 임계치를 충족하는 것과 제2 세기 임계치를 충족하는 것 사이에서 지연 시간이 경과하는 경우에만, 제2 응답을 트리거한다. 이 지연 시간은 통상적으로 200 ms 미만의 지속기간(예컨대, 제2 세기 임계치의 크기에 따라 40, 100, 또는 120 ms이고, 제2 세기 임계치가 증가함에 따라 지연 시간이 증가함)이다. 이 지연 시간은 우발적 깊게 누르기 입력의 방지를 돕는다. 다른 예로서, 일부 "깊게 누르기" 입력의 경우, 제1 세기 임계치가 충족되는 시간 이후에 발생하는 민감도 감소 기간이 있다. 민감도 감소 기간 동안, 제2 세기 임계치가 증가된다. 제2 세기 임계치의 일시적인 증가는 또한 우발적 깊게 누르기 입력의 방지를 돕는다. 다른 깊게 누르기 입력의 경우, 깊게 누르기 입력의 검출에 대한 응답은 시간 기반 기준들에 따라 달라지지 않는다.
일부 실시예들에서, 입력 세기 임계치들 및/또는 대응하는 출력들 중 하나 이상은 하나 이상의 요인, 예컨대 사용자 설정, 접촉 모션, 입력 타이밍, 애플리케이션 실행, 세기가 적용되는 속도, 동시 입력의 수, 사용자 이력, 환경적 요인(예컨대, 주변 노이즈), 포커스 선택자 위치 등에 기초하여 달라진다. 예시적인 요인들이 미국 특허 출원 번호 제14/399,606호 및 제14/624,296호에 기술되고, 이는 본 명세서에 전체적으로 참조로서 포함된다.
가볍게 누르기 세기 임계치(ITL) 미만의 세기에서 가볍게 누르기 세기 임계치(ITL)와 깊게 누르기 세기 임계치(ITD) 사이의 세기로의 접촉의 특성 세기의 증가는, 때때로 "가볍게 누르기" 입력으로서 지칭된다. 깊게 누르기 세기 임계치(ITD) 미만의 세기에서 깊게 누르기 세기 임계치(ITD) 초과의 세기로의 접촉의 특성 세기의 증가는, 때때로 "깊게 누르기" 입력으로서 지칭된다. 접촉-검출 세기 임계치(IT0) 미만의 세기에서 접촉-검출 세기 임계치(IT0)와 가볍게 누르기 세기 임계치(ITL) 사이의 세기로의 접촉의 특성 세기의 증가는, 때때로 터치 표면 상의 접촉을 검출하는 것으로서 지칭된다. 접촉-검출 세기 임계치(IT0) 초과의 세기에서 접촉-검출 세기 임계치(IT0) 미만의 세기로의 접촉의 특성 세기의 감소는, 때때로 터치 표면으로부터 접촉의 리프트오프를 검출하는 것으로서 지칭된다. 일부 실시예들에서 IT0는 0(영)이다. 일부 실시예들에서 IT0는 0보다 크다. 일부 실시예들에서 음영이 있는 원 또는 타원은 터치 감응형 표면 상의 접촉의 세기를 나타내기 위해 사용된다. 일부 실시예들에서, 음영이 없는 원 또는 타원은 각각의 접촉의 세기를 특정하지 않으면서 터치 감응형 표면 상의 각각의 접촉을 나타내기 위해 사용된다.
본 명세서에 기술된 일부 실시예들에서, 하나 이상의 동작은, 각각의 누르기 입력을 포함하는 제스처를 검출하는 것에 응답하여 또는 각각의 접촉(또는 복수의 접촉)으로 수행되는 각각의 누르기 입력을 검출하는 것에 응답하여 수행되며, 여기서 각각의 누르기 입력은 누르기-입력 세기 임계치 초과의 접촉(또는 복수의 접촉)의 세기의 증가를 검출하는 것에 적어도 부분적으로 기초하여 검출된다. 일부 실시예들에서, 각각의 동작은, 누르기-입력 세기 임계치 초과의 각각의 접촉의 세기의 증가(예컨대, 각각의 동작은 각각의 누르기 입력의 "다운 스트로크"에서 수행됨)를 검출하는 것에 응답하여 수행된다. 일부 실시예들에서, 누르기 입력은 누르기-입력 세기 임계치 초과의 각각의 접촉의 세기의 증가 및 누르기-입력 세기 임계치 미만의 접촉의 세기의 후속적인 감소를 포함하며, 각각의 동작은 누르기-입력 임계치 미만의 각각의 접촉의 세기의 후속적인 감소(예컨대, 각각의 동작은 각각의 누르기 입력의 "업 스트로크"에서 수행됨)를 검출하는 것에 응답하여 수행된다.
일부 실시예들에서, 디바이스는 때때로 "지터(jitter)"로 지칭되는 돌발적인 입력들을 회피하기 위해 세기 히스테리시스를 채용하며, 여기서 디바이스는 누르기 입력 세기 임계치에 대한 미리정의된 관계를 갖는 히스테리시스 세기 임계치(예컨대, 히스테리시스 세기 임계치는 누르기 입력 세기 임계치보다 더 낮은 X 세기 단위이거나, 히스테리시스 세기 임계치는 누르기 입력 세기 임계치의 75%, 90% 또는 어떤 적절한 비율임)를 정의하거나 선택한다. 따라서, 일부 실시예들에서, 누르기 입력은 누르기-입력 세기 임계치 초과의 각각의 접촉의 세기의 증가 및 누르기-입력 세기 임계치에 대응하는 히스테리시스 세기 임계치 미만의 접촉의 세기의 후속적인 감소를 포함하며, 각각의 동작은 히스테리시스 세기 임계치 미만의 각각의 접촉의 세기의 후속적인 감소(예컨대, 각각의 동작은 각각의 누르기 입력의 "업 스트로크"에서 수행됨)를 검출하는 것에 응답하여 수행된다. 유사하게, 일부 실시예들에서, 누르기 입력은 디바이스가 히스테리시스 세기 임계치 이하에서의 세기로부터 누르기 입력 임계치 이상에서의 세기로의 접촉 세기 증가, 및 선택적으로, 히스테리시스 세기 이하에서의 세기로의 후속 접촉 세기 감소를 검출하는 경우에만 검출되고, 각자의 동작은 누르기 입력(예컨대, 주변환경에 따른 접촉 세기 증가 또는 접촉 세기 감소)을 검출한 것에 응답하여 수행된다.
설명의 편의상, 누르기-입력 세기 임계치와 연관된 누르기 입력에 응답하여 또는 누르기 입력을 포함하는 제스처에 응답하여 수행되는 동작들의 설명은, 선택적으로, 누르기-입력 세기 임계치 초과의 접촉의 세기의 증가, 히스테리시스 세기 임계치 미만의 세기로부터 누르기-입력 세기 임계치 초과의 세기로의 접촉의 세기의 증가, 누르기-입력 세기 임계치 미만의 접촉의 세기의 감소, 또는 누르기-입력 세기 임계치에 대응하는 히스테리시스 세기 임계치 미만의 접촉의 세기의 감소를 검출한 것에 응답하여 트리거된다. 또한, 동작이 누르기-입력 세기 임계치 미만의 접촉의 세기의 감소를 검출한 것에 응답하여 수행되는 것으로서 기술되어 있는 예들에서, 동작은, 선택적으로, 누르기-입력 세기 임계치에 대응하고 그보다 더 낮은 히스테리시스 세기 임계치 미만의 접촉의 세기의 감소를 검출한 것에 응답하여 수행된다. 위에서 설명한 바와 같이, 일부 실시예들에서, 이러한 응답들의 트리거링은 또한 시간 기반 기준들이 충족됨(예컨대, 제1 세기 임계치가 충족됨과 제2 세기 임계치가 충족되는 사이에 지연 시간이 경과됨)에 따라 달라진다.
사용자 인터페이스 및 연관된 프로세스
스타일러스가 터치 감응형 표면을 터치하기 전에 스타일러스의 위치 상태에 대응하는 표시를 디스플레이 및 업데이트하기
일부 전자 디바이스들은 디바이스와 연관된 스타일러스를 이용하여 디바이스의 터치 감응형 표면에 대한 추가적인 입력 방법을 제공한다. 예를 들어, 일부 셀룰러 폰, 랩톱, 및 태블릿들은 스타일러스로부터 입력을 수신할 수 있다. 그러나, 다양한 이유들(예컨대, 스타일러스 팁의 두께, 디바이스 상의 유리의 두께 등)로 인해, 사용자는, 스타일러스가 터치 감응형 표면을 터치하기 전에, 스타일러스 상호작용(예컨대, 마크 만들기)이 발생하는 곳을 정확하게 알기 어려울 수 있다. 아래 실시예들은, 스타일러스가 터치 감응형 디스플레이를 터치하기 전에, 스타일러스의 위치 상태(예컨대, 스타일러스의 디바이스의 터치 감응형 디스플레이에 대한 거리, 틸트, 및/또는 배향)에 따른 표시를 디스플레이 및 업데이트함으로써, 이 문제를 해결한다.
도 7a 내지 도 7j는 일부 실시예들에 따른, 스타일러스의 위치 상태에 대응하는 표시를 디스플레이하고 업데이트하기 위한 예시적인 사용자 인터페이스를 예시한다. 이 도면들에서의 사용자 인터페이스들은 도 8a 내지 도 8d에서의 프로세스들을 비롯한, 이하에 기술되는 프로세스들을 설명하는 데 사용된다. 후속하는 예들 중 일부가 (터치 감응형 표면과 디스플레이가, 예를 들어, 터치 스크린(112) 상에서 조합된) 터치 스크린 디스플레이 상의 입력들을 참조하여 주어질 것이지만, 일부 실시예들에서, 디바이스는 도 6b에 도시된 바와 같이 디스플레이(650)와 별개인 터치 감응형 표면(651) 상의 입력들을 검출한다.
일부 실시예들에서, 디바이스는 별개의 디스플레이(예컨대, 디스플레이(650)) 및 별개의 터치 감응형 표면(예컨대, 터치 감응형 표면(651))을 갖는 전자 디바이스이다. 일부 실시예들에서, 디바이스는 휴대용 다기능 디바이스(100)이고, 디스플레이는 터치 감응형 디스플레이 시스템(112)이며, 터치 감응형 표면은 디스플레이 상의 촉각적 출력 생성기들(163)을 포함한다(도 1a). 설명의 편의를 위해, 도 7a 내지 도 7j 및 도 8a 내지 도 8d와 관련하여 기술되는 실시예들은 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에 수행되는 동작들과 관련하여 논의될 것이다. 이러한 실시예들에서, 포커스 선택자는, 선택적으로: 각각의 손가락 또는 스타일러스 접촉이거나, 손가락 또는 스타일러스 접촉에 대응하는 대표 지점(예컨대, 각각의 접촉의 중심, 또는 각각의 접촉과 연관된 지점), 또는 터치 감응형 디스플레이 시스템(112) 상에 검출된 둘 이상의 접촉들의 중심이다. 그러나 유사한 동작들이, 선택적으로, 도 7a 내지 도 7j에 도시된 사용자 인터페이스들을 디스플레이(650) 상에 디스플레이하는 동안 터치 감응형 표면(651) 상에서 (또는 근처에서) 도 7a 내지 도 7j에서 묘사되는 접촉들을 검출하는 것에 응답하여 디스플레이(650) 및 별개의 터치 감응형 표면(651)을 갖는 디바이스 상에서 수행된다.
도 7a 내지 도 7j는 일부 실시예들에 따른, 스타일러스의 위치 상태에 대응하는 표시를 디스플레이하고 업데이트하기 위한 예시적인 사용자 인터페이스를 예시한다. 비록 도 7a는 디바이스(100)의 추가 세부사항들(예컨대, 스피커(111), 광 센서(164), 근접 센서(166), 등)을 갖는 터치 스크린(112)을 도시하고 있으나, 명확한 설명을 위해 도 7b 내지 도 7j는 디바이스(100)의 다른 세부사항은 도시하지 않고 다만 디바이스(100)의 터치 스크린(112)만을 도시한다. 또한, 도 7a는 터치 감응형 표면(예컨대, 디바이스(100)의 터치 스크린(112)) 바로 위의 관점에서의 예를 예시하지만, 도 7b 내지 도 7j는 다음 두 관점에서의 예를 예시한다: 터치 감응형 표면(예컨대, 디바이스(100)의 터치 스크린(112)) 바로 위의 관점 및 터치 감응형 표면의 측면 관점.
도 7a는 스타일러스(예컨대, 스타일러스(203))의 위치 상태에 대응하는 표시(예컨대, 표시(716-a))를 디스플레이하는 예를 예시한다. 이 예에서, 스타일러스(203)는 터치 스크린(112)에 대한 스타일러스(203)의 배향(예컨대, 배향(706-a)) 및 터치 스크린(112) 상의 스타일러스(203)의 팁의 투영의 위치(예컨대, (x,y) 위치(704-a))를 갖는 위치 상태를 갖는다. 도 7a에 도시된 바와 같이, 스타일러스(203)가 터치 스크린(112)을 터치하기 전에, 스타일러스(203)가 배향(706-a)(예컨대, 축(508)에 대하여 시계방향 회전각으로 대략 315 도) 및 (x,y) 위치(704-a)의 팁 투영을 구비하고 위치설정되면, 표시(716-a)가 터치 스크린(112) 상에 디스플레이되어 스타일러스(203)가 터치 스크린(112)을 터치(또는 마크)할 곳을 도시한다. 일부 실시예들에서, 스타일러스가 제1 배향으로 위치설정되면 표시는 터치 스크린(112) 상에서, (x,y) 위치(704-a)에 대하여 제1 방향으로 변위되고, 스타일러스가 제1 배향과 구분되는 제2 배향으로 위치설정되면 표시는 터치 스크린(112) 상에서, (x,y) 위치(704-a)에 대하여 제2 방향으로 변위된다. 예를 들어, 도 5a에서, 스타일러스(203)가 배향(506)(예컨대, 축(508)에 대하여 시계방향 회전각으로 대략 45 도)을 구비하여 위치설정되면 표시(516)는 (x,y) 위치(504)에 대하여 남서쪽으로 변위되고, 도 7a에서, 스타일러스(203)가 배향(706-a)(예컨대, 축(508)에 대하여 시계방향 회전각으로 대략 315 도)을 구비하여 위치설정되면 표시(716-a)는 (x,y) 위치(704-a)에 대하여 남동쪽으로 변위된다.
도 7b 내지 도 7e는 터치 감응형 디스플레이(예컨대, 터치 스크린(112))에 대한 스타일러스(예컨대, 스타일러스(203))의 거리(예컨대, 거리(714))를 변경하고 거리의 변경에 응답하여, 디스플레이되는 표시(예컨대, 표시(716))를 업데이트하는 예를 예시한다. 도 7b 내지 도 7e에서, 터치 감응형 디스플레이에 대한 스타일러스의 배향(예컨대, 배향(706-b)), 스타일러스의 팁의 (x,y) 위치(예컨대, (x,y) 위치(704-b)), 및 스타일러스의 틸트(예컨대, 틸트(712-a))는 일정하게 유지되는 반면, 스타일러스의 거리는, 스타일러스가 터치 감응형 디스플레이에 더 가까이 이동함에 따라, (예컨대, 거리(714-a)에서 거리(714-b)로, 거리(714-c)로, 거리(714-d)로) 변경된다. 또한, 스타일러스(203)가 터치 스크린(112)에 더 가까이 이동함에 따라, 표시가 터치 스크린(112) 상에서 (예컨대, 표시(716-b)에서 표시(716-c)로, 표시(716-d)로, 표시(716-e)로) 업데이트된다. 이 예에서 도시된 바와 같이, 일부 실시예들에서, 스타일러스(203)가 터치 스크린(112)에 더 가까이 이동함에 따라, 표시는 불투명도를 변경(예컨대, 불투명도 증가), 크기를 변경(또는 반지름 또는 면적)(예컨대, 크기 감소), 및/또는 색상을 변경(예컨대, 색상을 어둡게 함)한다.
도 7e 내지 도 7g는 터치 감응형 디스플레이(예컨대, 터치 스크린(112))에 대한 스타일러스(예컨대, 스타일러스(203))의 틸트(예컨대, 틸트(712))를 변경하고 틸트의 변경에 응답하여, 디스플레이되는 표시(예컨대, 표시(716))를 업데이트하는 예를 예시한다. 도 7e 내지 도 7g에서, 터치 감응형 디스플레이에 대한 스타일러스의 배향(예컨대, 배향(706-b)), 스타일러스의 팁의 (x,y) 위치(예컨대, (x,y) 위치(704-b)), 및 스타일러스의 거리(예컨대, 거리(714-d))는 일정하게 유지되는 반면, 스타일러스의 틸트는, 스타일러스가 디바이스(100)와 더 평행에 가깝게 틸트됨에 따라, (예컨대, 틸트(712-a)에서 틸트(712-b)로, 틸트(712-c)로) 변경된다. 이 예에서 도시된 바와 같이, 틸트가 증가함에 따라, 스타일러스의 팁의 (x,y) 위치와 표시 사이의 거리의 규모는 사전정의된 최대 거리에 도달할 때까지 증가한다. 이 예에서, 표시(716-f)(도 7f)는 사전정의된 최대 거리에 있어서, 스타일러스(203)의 틸트가 틸트(712-b)(도 7f)에서 틸트(712-c)(도 7g)로 변경되더라도, 표시(716-f)는 동일한 위치에 유지된다.
도 7h은 스타일러스(예컨대, 스타일러스(203))가 터치 감응형 디스플레이(예컨대, 터치 스크린(112))의 표면으로부터 사전정의된 거리보다 멀리 떨어져 있으면 터치 감응형 디스플레이 상에 표시를 디스플레이하는 것을 중지하는 예를 예시한다. 도 7b와 비교하여, 스타일러스(203)의 팁이 임계치(710) 미만이면, 표시(예컨대, 표시(716-b))가 디스플레이되고, 스타일러스(203)의 팁이 임계치(710) 초과(예컨대, 거리(714-e))이면, 표시는 터치 스크린(112) 상에 디스플레이되는 것이 중지되며, 이는 도 7h에 도시된 바와 같다.
도 7i는 스타일러스(예컨대, 스타일러스(203))가 터치 감응형 디스플레이(예컨대, 터치 스크린(112))의 표면과 물리적으로 접촉하면 표시(예컨대, 표시(716-g))를 디스플레이하는 예를 예시한다. 일부 실시예들에서, 스타일러스(203)가 터치 스크린(112)과 물리적으로 접촉하면, 터치 스크린(112)으로부터 떨어진 스타일러스(203)의 거리(예컨대, 거리(714-f))는 0보다 큰 것으로 계산된다(예컨대, 터치 스크린(112) 상의 유리층의 두께를 고려함). 일부 실시예들에서, 스타일러스가 터치 감응형 디스플레이의 표면과 물리적으로 접촉한 때에도, 표시는 배향의 변경에 응답하여 업데이트되고(도 7a에 대하여 위에서 기재한 바와 같음) 표시는 틸트의 변경에 응답하여 업데이트되고(도 7e 내지 도 7g에 대하여 위에서 기재한 바와 같음), 간결함을 위하여, 상세사항들은 여기에서 반복하지 않는다.
일부 실시예들에서, 스타일러스(203)가 터치 스크린(112)과 물리적으로 접촉하면, 표시와 마크 둘 모두 디스플레이된다. 일부 실시예들에서, 표시는 마크가 터치 감응형 디스플레이 상에 드로잉될 곳을 나타내는 가상 "펜 팁" 또는 기타 요소에 대응한다. 일부 실시예들에서, 마크는 터치 감응형 디스플레이 상의 점, 선, 붓질 등이다. 일부 실시예들에서, 표시는 마크의 일 단부(말단)에 대응한다. 예를 들어, 드로잉되고 있는 마크가 선이면, 표시는 드로잉되고 있는 선의 단부에 대응한다(또는 그것에 인접한다). 일부 실시예들에서, 스타일러스가 터치 감응형 디스플레이의 표면과 물리적으로 접촉할 때 표시가 디스플레이되는 경우, 표시의 형상(및 선택적으로 색상)은 스타일러스에 의해 모방되는 가상 드로잉 도구의 팁의 형상(및 선택적으로 색상)에 대응한다. 예를 들어, 스타일러스가 가상 황색 하이라이터(highlighter)로서 사용되고 있는 경우, (하이라이터의 끌 끝에 대응하는) 표시는 황색 직사각형이고, 스타일러스가 터치 감응형 디스플레이의 표면을 가로질러 이동됨에 따라, (예컨대, 스타일러스의 경로를 따라 표시의 크기/형상/색상을 확장하여) 마크가 생성된다. 스타일러스가 가상 황색 하이라이터로서 사용되고 있고 스타일러스가 터치 감응형 디스플레이 상의 한 점을 터치한 뒤 터치 감응형 디스플레이를 가로질러 이동하지 않고 리프트오프되는 경우, (하이라이터의 끌 끝인 표시에 대응하는) 황색 직사각형 마크는 터치 감응형 디스플레이 상의 스타일러스가 터치했던 지점에 디스플레이될 수 있다.
도 7j는 스타일러스(예컨대, 스타일러스(203))가 터치 감응형 디스플레이(예컨대, 터치 스크린(112))의 표면과 물리적으로 접촉하면, 마크(예컨대, 마크(718))를 디스플레이하고 표시를 디스플레이하는 것을 중지하는 예를 예시한다.
도 8a 내지 도 8d는 일부 실시예들에 따른, 스타일러스의 위치 상태에 대응하는 표시를 디스플레이하고 업데이트하는 방법(800)을 예시하는 흐름도이다. 방법(800)은 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스(예컨대, 도 3의 디바이스(300), 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고 터치 감응형 표면이 디스플레이 상에 있거나 디스플레이와 일체화된다(간략히 터치 감응형 디스플레이로도 지칭됨). 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 일부 실시예들에서, 디바이스는 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서를 포함하고, 스타일러스는 대표적인 부분(예컨대, 스타일러스의 팁)을 포함한다. 일부 실시예들에서, 팁이 아닌 스타일러스의 일부분이 팁의 위치를 추정하는 데 사용된다. 방법(800)의 일부 동작들은, 선택적으로, 조합되고/되거나 일부 동작들의 순서가, 선택적으로, 변경된다.
아래 기재되는 바와 같이, 방법(800)은 스타일러스의 위치 상태에 대응하는 표시를 디스플레이하고 업데이트하는 직관적인 방법을 제공한다. 방법은 스타일러스를 사용하여 전자 디바이스와 상호작용할 때 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 감소시킴으로써, 더 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스들에 대해, 사용자가 더 빠르고 더 효율적으로 스타일러스 입력을 입력할 수 있게 하는 것은 전력을 보존하고 배터리 충전들 사이의 시간을 증가시킨다.
디바이스는 스타일러스의 위치 상태를 검출하고(802), 스타일러스의 위치 상태는 스타일러스의 터치 감응형 디스플레이에 대한 거리, 스타일러스의 터치 감응형 디스플레이에 대한 틸트, 및/또는 스타일러스의 터치 감응형 디스플레이에 대한 배향에 대응한다(또는 나타낸다). 도 7b는, 예를 들어, 거리(714-a), 틸트(712-a), 및 배향(706-b)에 대응하는 위치 상태를 갖는 스타일러스(203)를 도시한다. 일부 실시예들에서, 위치 상태는 위치 파라미터들의 세트(예컨대, 하나 이상의 위치 파라미터)를 포함한다. 일부 실시예들에서, 위치 상태는 전자 디바이스에 송신되는 스타일러스로부터의 하나 이상의 측정치에 따라 검출된다. 예를 들어, 스타일러스는 스타일러스의 틸트 및/또는 배향을 측정하고 측정치를 전자 디바이스에 송신한다. 대안적으로, 일부 실시예들에서, 위치 상태는 터치 감응형 디스플레이에 의해 감지되는, 스타일러스의 하나 이상의 전극으로부터의, 미가공 출력에 따라 검출된다. 예를 들어, 터치 감응형 디스플레이는 스타일러스의 하나 이상의 전극으로부터의 미가공 출력을 수신하고, 미가공 출력에 기초하여 스타일러스의 틸트 및/또는 배향을 계산한다.
일부 실시예들에서, 스타일러스의 틸트는 터치 감응형 디스플레이의 표면의 법선에 대한 각도이고 (또한 줄여서 터치 감응형 디스플레이의 법선으로 지칭됨) 스타일러스의 배향은 터치 감응형 디스플레이와 평행한 평면 내의 적어도 하나의 축에 대한 터치 감응형 디스플레이 상으로의 스타일러스의 투영(예컨대, 스타일러스의 길이의 직교 투영 또는 터치 감응형 디스플레이 상으로의 스타일러스의 다른 두 점의 투영 사이의 라인에 대응하는 라인)의 배향이다(804). 예를 들어, 도 5b에서, 스타일러스(203)의 틸트(512)는 터치 스크린(112)의 법선(510)에 대한 각도이고, 도 5a에서, 스타일러스(203)의 배향(506)은 축(508)에 대한 터치 스크린(112) 상으로의 스타일러스(203)의 투영의 배향이다. 일부 실시예들에서, 터치 감응형 디스플레이 상으로의 스타일러스의 투영의 배향은 도 5a의 축(508)과 같은 단일 축(예컨대, 0 도에서 360 도까지 축으로부터 시계방향 회전각을 이루는 단일 축)에 대하여 상대적이다. 대안적으로, 일부 실시예들에서, 터치 감응형 디스플레이 상으로의 스타일러스의 투영의 배향은 한 쌍의 축(예컨대, 도 5a의 x 축(590) 및 y 축(592)과 같은 x 축 및 y 축, 또는 터치 감응형 디스플레이 상에 디스플레이되는 애플리케이션과 연관된 한 쌍의 축)에 대하여 상대적이다.
일부 실시예들에서, 스타일러스가 터치 감응형 디스플레이의 표면과 물리적으로 접촉하면, 스타일러스의 터치 감응형 디스플레이로부터 거리는 0보다 큰 것으로 계산된다(806)(예컨대, 터치 감응형 디스플레이(예컨대, 터치 스크린(112) 상의 유리층의 두께를 고려하여, 픽셀을 덮고 있는 "유리 상에" 표시를 디스플레이하지 않고, 터치 감응형 디스플레이의 "픽셀 상에" 표시를 이행하도록 함). 일부 실시예들에서, 스타일러스가 터치 감응형 디스플레이의 표면과 물리적으로 접촉하면, 스타일러스의 터치 감응형 디스플레이로부터 거리는 0보다 큰 것으로 정의된다. 예를 들어, 도 7i에서, 스타일러스(203)가 터치 스크린(112)의 표면과 물리적으로 접촉하면, 거리(714-f)는 0보다 큰 것으로 계산된다(또는 정의된다).
일부 실시예들에서, 위치 상태는 스타일러스의 팁(또는 기타 대표적인 부분)의 터치 감응형 디스플레이 상의 투영의 위치를 포함한다(808). 일부 실시예들에서, 스타일러스의 팁은 터치 감응형 디스플레이에 대한 스타일러스의 근접성을 결정하도록 구성된 스타일러스의 말단이다. 일부 실시예들에서, 터치 감응형 디스플레이 상의 스타일러스의 팁의 투영은 직교 투영이다. 다시 말해서, 터치 감응형 디스플레이 상의 스타일러스의 팁의 투영은 터치 감응형 디스플레이의 표면에 수직한, 스타일러스 팁에서 터치 감응형 디스플레이까지의 라인의 단부의 한 점이다. 예를 들어, 도 5b에서, (x,y) 위치(504)는 터치 스크린(112) 상의 스타일러스(203)의 팁의 투영이고, 이는 스타일러스(203)를 터치 스크린(112)에 수직한 경로(예컨대, 법선(510)의 경로)를 따라 곧바로 이동시킨다면, 스타일러스(203)의 팁이 터치 스크린(112)과 접촉하게 될 한 점이다.
일부 실시예들에서, 전자 디바이스에 의해(예컨대, 디바이스의 터치 감응형 디스플레이 내의 메커니즘에 의해) 검출가능한, 스타일러스의 제1 전극은 스타일러스의 팁에 근접하고, 전자 디바이스(예컨대, 디바이스의 터치 감응형 디스플레이 내의 메커니즘에 의해)에 의해 검출가능한, 스타일러스의 제2 전극은 제1 전극으로부터 사전정의된 거리만큼 변위된다(810). 일부 실시예들에서, 스타일러스의 제1 전극은 스타일러스의 팁(또는 팁 근처)에 있고, 스타일러스의 제2 전극은 제1 전극으로부터 사전정의된 거리만큼 변위된 링이다. 일부 실시예들에서, 스타일러스(203)는, 도 5a 및 도 5b에 도시된 바와 같이, 스타일러스(203)의 팁(또는 팁 근처)에 제1 전극, 및 제1 전극으로부터 사전정의된 거리만큼 변위된 링인, 제2 전극을 가지며, 두 전극 모두 디바이스(100)에 의해(예컨대, 디바이스(100)의 터치 스크린(112) 내의 메커니즘에 의해) 검출가능하다.
디바이스는 스타일러스(예컨대, 스타일러스(203))의 검출된 위치 상태에 대응하는 터치 감응형 디스플레이(예컨대, 터치 스크린(112)) 상의 위치를 결정한다(812). 도 5a 및 도 5b를 예로서 이용하면, 스타일러스(203)의 검출된 위치 상태에 대응하는 터치 스크린(112) 상의 위치는 배향(506), (x,y) 위치(504), 틸트(512), 및/또는 거리(514)에 의해 결정된다.
디바이스는, 스타일러스가 터치 감응형 디스플레이를 터치하기 이전에, 스타일러스(예컨대, 스타일러스(203))의 위치 상태에 따라, 결정된 위치의 터치 감응형 디스플레이(예컨대, 터치 스크린(112)) 상의 표시를 디스플레이한다(814). 일부 실시예들에서, 디스플레이된 표시는 스타일러스가 터치 감응형 디스플레이를 터치하기 전에 스타일러스가 터치 감응형 디스플레이를 터치/마크할 곳을 도시한다. 예를 들어, 도 7b에서, 스타일러스(203)가 터치 스크린(112)을 터치하기 이전에(스타일러스(203)는 아직 터치 스크린(112)으로부터 거리(714-a)를 두고 있기 때문임), 표시(716-b)가 터치 스크린(112) 상에 디스플레이된다. 일부 실시예들에서, 디스플레이된 표시는 터치 감응형 디스플레이의 유리의 두께를 고려한다.
일부 실시예들에서, 터치 감응형 디스플레이 상에 표시를 디스플레이하는 것은 결정된 위치에서 터치 감응형 디스플레이의 배경 색상에 따라 표시를 위한 색상을 결정하는 것을 포함한다(816). 일부 실시예들에서, 결정된 위치에서 터치 감응형 디스플레이의 배경 색상에 따라 표시를 위한 색상을 결정하는 것은 결정된 위치에서 터치 감응형 디스플레이의 배경 색상과 대비되는 표시를 위한 색상을 결정하는 것을 포함한다. 예를 들어, 일부 실시예들에서, 터치 감응형 디스플레이의 배경 색상이 백색인 경우, 표시를 위한 결정된 색상은 회색 또는 흑색 또는 백색과 대비되는 다른 색상이다. 예를 들어, 도 7b에서, 터치 스크린(112)의 배경 색상이 백색인 경우, 표시(716-b)를 위한 색상은 회색이다. 다른 예로서, 일부 실시예들에서, 터치 감응형 디스플레이의 배경 색상이 흑색인 경우, 표시를 위한 결정된 색상은 백색 또는 황색 또는 흑색과 대비되는 다른 색상이다.
디바이스는, 스타일러스가 터치 감응형 디스플레이(예컨대, 터치 스크린(112))를 터치하기 이전에, 스타일러스(예컨대, 스타일러스(203))의 거리, 틸트, 및/또는 배향의 변경을 검출한다(818). 예를 들어, 도 7b 내지 도 7e는, 스타일러스(203)가 터치 스크린(112)을 터치하기 이전에, 터치 스크린(112)으로부터의 스타일러스(203)의 거리의 변경(예컨대, 거리(714-a)에서 거리(714-b)로, 거리(714-c)로, 거리(714-d)로)을 예시한다. 다른 예로서, 도 7e 내지 도 7g는, 스타일러스(203)가 터치 스크린(112)을 터치하기 이전에, 스타일러스(203)의 틸트의 변경(예컨대, 틸트(712-a)에서 틸트(712-b)로, 틸트(712-c)로)을 예시한다. 또 다른 예로서, 도 5a 및 도 7a는, 스타일러스(203)가 터치 스크린(112)을 터치하기 이전에, 스타일러스(203)의 배향의 변경(예컨대, 배향(506)에서 배향(706-a)으로)을 예시한다.
변경을 검출하는 것에 응답하여, 디바이스는 터치 감응형 디스플레이(예컨대, 터치 스크린(112)) 상의 디스플레이된 표시를 업데이트한다(820). 예를 들어, 도 7b 내지 도 7e는 터치 스크린(112)으로부터의 스타일러스(203)의 거리의 변경을 검출하는 것에 응답하여 디스플레이된 표시를 업데이트하는 것을 예시하고; 거리가 거리(714-a)에서 거리(714-b)로, 거리(714-c)로, 거리(714-d)로, 각각 변함에 따라, 표시는 터치 스크린(112) 상에서 표시(716-b)에서 표시(716-c)로, 표시(716-d)로, 표시(716-e)로 업데이트된다. 다른 예로서, 도 7e 및 도 7f는 스타일러스(203)의 틸트의 변경을 검출하는 것에 응답하여 디스플레이된 표시를 업데이트하는 것을 예시하고; 틸트가 틸트(712-a)에서 틸트(712-b)로 변함에 따라, 표시는 터치 스크린(112) 상에서 표시(716-e)에서 표시(716-f)로 업데이트된다. 또 다른 예로서, 도 5a 및 도 7a는 스타일러스(203)의 배향의 변경을 검출하는 것에 응답하여 디스플레이된 표시를 업데이트하는 것을 예시하고; 배향이 배향(506)에서 배향(706-a)으로 변함에 따라, 표시는 터치 스크린(112) 상에서 표시(516)에서 표시(716-a)로 업데이트된다.
일부 실시예들에서, 스타일러스(의 팁 또는 기타 대표적인 부분)가 터치 감응형 디스플레이로부터 (디스플레이에 수직한 방향으로) 제1 거리에 있으면, 표시는 제1 색상으로 디스플레이되고, 스타일러스가 터치 감응형 디스플레이로부터 (디스플레이에 수직한 방향으로) 제1 거리와 구분되는 제2 거리에 있으면, 표시는 제1 색상과 구분되는 제2 색상으로 디스플레이된다(822). 일부 실시예들에서, 거리가 감소함에 따라 표시의 색상은 어두워진다. 예를 들어, 도 7b에서, 스타일러스(203)의 팁이 터치 스크린(112)으로부터 거리(714-a)에 있으면 표시(예컨대, 표시(716-b))는 연한 회색 색상으로 디스플레이되고, 도 7d에서, 스타일러스(203)의 팁이 터치 스크린(112)으로부터(예컨대, 터치 스크린(112)에 더 가까이) 거리(714-c)에 있으면 표시(표시(716-d))는 더 진한 회색 색상으로 디스플레이된다.
일부 실시예들에서, 스타일러스(의 팁 또는 기타 대표적인 부분)가 터치 감응형 디스플레이로부터 (디스플레이에 수직한 방향으로) 제1 거리에 있으면 표시는 제1 크기(예컨대, 반지름 또는 면적)이고, 스타일러스가 터치 감응형 디스플레이로부터 (디스플레이에 수직한 방향으로) 제1 거리와 구분되는 제2 거리에 있으면 표시는 제1 크기와 구분되는 제2 크기이다(824). 일부 실시예들에서, 거리가 감소함에 따라 표시의 크기는 감소한다. 예를 들어, 도 7b에서, 스타일러스(203)의 팁이 터치 스크린(112)으로부터 거리(714-a)에 있으면 표시(예컨대, 표시(716-b))는 큰 원이고, 도 7d에서, 스타일러스(203)의 팁이 터치 스크린(112)으로부터(예컨대, 터치 스크린(112)에 더 가까이) 거리(714-c)에 있으면 표시(표시(716-d))는 더 작은 원이다.
일부 실시예들에서, 스타일러스(의 팁 또는 기타 대표적인 부분)가 터치 감응형 디스플레이로부터 (디스플레이에 수직한 방향으로) 제1 거리에 있으면 표시는 제1 불투명도이고, 스타일러스가 터치 감응형 디스플레이로부터 (디스플레이에 수직한 방향으로) 제1 거리와 구분되는 제2 거리에 있으면 표시는 제1 불투명도와 구분되는 제2 불투명도이다(826). 일부 실시예들에서, 거리가 감소함에 따라 표시의 불투명도는 증가한다. 예를 들어, 도 7b에서, 스타일러스(203)의 팁이 터치 스크린(112)으로부터 거리(714-a)에 있으면 표시(예컨대, 표시(716-b))는 덜 불투명하고, 도 7d에서, 스타일러스(203)의 팁이 터치 스크린(112)으로부터(예컨대, 터치 스크린(112)에 더 가까이) 거리(714-c)에 있으면 표시(표시(716-d))는 더 불투명하다.
일부 실시예들에서, 스타일러스가 제1 배향으로 위치설정되면 터치 감응형 디스플레이 상의 스타일러스의 팁(또는 기타 대표적인 부분)의 투영에 대하여, 제1 방향으로 터치 감응형 디스플레이 상에 표시가 변위되고, 스타일러스가 제1 배향과 구분되는 제2 배향으로 위치설정되면 터치 감응형 디스플레이 상의 스타일러스의 팁(또는 기타 대표적인 부분)의 투영에 대하여 제1 방향과 구분되는 제2 방향으로, 터치 감응형 디스플레이 상에 표시가 변위된다(828). 일부 실시예들에서, 스타일러스의 팁의 투영(예컨대, (x,y) 위치(504), 도 5a)에 대한 표시(예컨대, 표시(516), 도 5a)의 방향은, 스타일러스(예컨대, 스타일러스(203))의 배향이 변함에 따라 달라진다. 예를 들어, 도 5a에서, 스타일러스(203)가 배향(506)으로 위치설정되면 표시(516)는 (x,y) 위치(504)에 대하여 제1 방향으로 변위되고(예컨대, 표시(516)는 (x,y) 위치(504)의 남서쪽에 있거나, 또는 표시(516)는 축(508)에 대하여 (x,y) 위치(504)로부터 시계방향 회전각으로 225 도에 있음), 도 7a에서, 스타일러스(203)가 배향(706-a)으로 위치설정되면 표시(716-a)는 (x,y) 위치(704-a)에 대하여 제2 방향으로 변위된다(예컨대, 표시(716)는 (x,y) 위치(704-a)의 남동쪽에 있거나, 또는 표시(716-a)는 축(508)에 대하여 (x,y) 위치(704-a)로부터 시계방향 회전각으로 135 도에 있음).
일부 실시예들에서, 스타일러스가 제1 틸트를 가지면 터치 감응형 디스플레이 상의 스타일러스의 팁(또는 기타 대표적인 부분)의 직교 투영에 대하여 터치 감응형 디스플레이 상에 터치 감응형 디스플레이의 평면과 평행한 방향으로 제1 거리만큼 표시가 변위되고, 스타일러스가 제1 틸트와 구분되는 제2 틸트를 가지면 터치 감응형 디스플레이 상에 터치 감응형 디스플레이의 평면과 평행한 방향으로 제1 거리와 구분되는 제2 거리만큼, 터치 감응형 디스플레이 상에 스타일러스의 팁의 직교 투영에 대하여 표시가 변위된다(830). 일부 실시예들에서, 방법은 터치 감응형 디스플레이 상의 스타일러스의 팁의 직교 투영(예컨대, 스타일러스를 터치 감응형 디스플레이에 수직한 경로를 따라(예컨대, 법선(510)을 따라) 곧바로 이동시킨다면 스타일러스의 팁이 터치 감응형 디스플레이를 터치하는 도 5b의 (x,y) 위치(504))으로부터 스타일러스의 틸트에 대응하는 거리만큼 표시를 변위시키는 단계를 포함한다. 예를 들어, 도 7e에서, 스타일러스(203)가 제1 틸트(예컨대, 틸트(712-a))를 가지면 표시(716-e)는 (x,y) 위치(704-b)로부터 제1 거리에 있고, 도 7f에서, 스타일러스(203)가 제2 틸트(예컨대, 틸트(712-b))를 가지면 표시(716-f)는 (x,y) 위치(704-b)로부터 제2 거리에 있다. 일부 실시예들에서, 표시는 스타일러스의 틸트가 증가함에 따라 팁의 투영으로부터 더 큰 거리만큼 변위된다. 예를 들어, 스타일러스(203)가 틸트(712-a)로 위치설정되면 (도 7e에 도시된 바와 같음) 표시(716-e)는 (x,y) 위치(704-b)에 대하여 더 짧은 거리만큼 변위되고 스타일러스(203)가 증가된 틸트(712-b)로 위치설정되면(도 7f에 도시된 바와 같음) 표시(716-f)는 (x,y) 위치(704-b)에 대하여 더 큰 거리만큼 변위된다. 일부 실시예들에서, 스타일러스의 팁의 직교 투영으로부터의 각각의 거리는 0보다 크지만, 스타일러스의 길이를 따라 투영되는 라인이 터치 스크린과 교차하는 지점과 직교 투영 위치(504) 사이의 거리보다는 작으며, 이는 도 5b에 도시된 바와 같다.
일부 실시예들에서, 각각의 거리는 터치 감응형 디스플레이의 평면과 평행한 방향으로 사전정의된 최대 거리(예컨대, 표시와 터치 감응형 디스플레이(의 평면)와 평행한 방향의 투영 사이)를 초과하지 않는다(832). 예를 들어, 제1 거리 및 제2 거리는 (동작(830)에 대하여 위에서 기재한 바와 같이) 사전정의된 최대 거리를 초과하지 않으며, 이는 도 7e 내지 도 7g에 도시된 바와 같다. 일부 실시예들에서, 표시가 이미 사전정의된 최대 거리에 있는 경우, 스타일러스의 틸트의 추가적인 증가는 스타일러스의 팁의 투영에 대하여 거리의 규모를 증가시키지 않는다. 예를 들어, 도 7f 및 도 7g에 도시된 바와 같이, 스타일러스(203)의 틸트가 틸트(712-b)에서 틸트(712-c)로 증가하지만, 표시(716-f)는 동일하게 유지되는데, 그 이유는 그것이 이미 (x,y) 위치(704-b)에 대하여 사전정의된 최대 거리에 있기 때문이다.
일부 실시예들에서, 스타일러스(예컨대, 스타일러스(203))가 터치 감응형 디스플레이(예컨대, 터치 스크린(112))의 표면에 접촉하고 있을 때에도(예컨대, 동작(838)에 대하여 그리고 방법(1100)에 대하여 아래 기재되는 바와 같음) 동작들(828, 830, 832)의 상세사항들이 적용된다. 예를 들어, 일부 실시예들에서 스타일러스(203)가 터치 스크린(112)의 표면과 접촉하면, 스타일러스의 팁의 투영(예컨대, (x,y) 위치(504), 도 5a)에 대한 표시(예컨대, 표시(516), 도 5a)의 방향은 스타일러스(예컨대, 스타일러스(203))의 배향이 변함에 따라 달라지고, 이는 동작(828)에 대하여 위에서 기재한 바와 같다. 다른 예로서, 일부 실시예들에서 스타일러스(203)가 터치 스크린(112)의 표면과 접촉하면, 표시(예컨대, 표시(516), 도 5a)와 스타일러스의 팁의 투영(예컨대, (x,y) 위치(504), 도 5a) 사이의 거리의 규모는 스타일러스의 틸트(예컨대, 스타일러스(203))가 변함에 따라 달라지며, 이는 동작(830)에 대하여 위에서 기재한 바와 같다. 또 다른 예로서, 일부 실시예들에서 스타일러스(203)가 터치 스크린(112)의 표면과 접촉하면, 표시(예컨대, 표시(516), 도 5a)와 스타일러스의 팁의 투영(예컨대, (x,y) 위치(504), 도 5a) 사이의 거리는 사전정의된 최대 거리를 초과하지 않으며, 이는 동작(832)에 대하여 위에서 기재한 바와 같다.
일부 실시예들에서, 디바이스는 스타일러스(예컨대, 스타일러스의 팁)의 터치 감응형 디스플레이의 표면으로부터 멀어지는 이동을 검출하고, 스타일러스의 터치 감응형 디스플레이의 표면으로부터 멀어지는 이동을 검출하는 것에 응답하여: 스타일러스가 터치 감응형 디스플레이의 표면으로부터 제1 거리보다 가까이 있다는 결정에 따라, 디바이스는 표시의 디스플레이를 유지하면서 스타일러스의 이동에 기초하여 터치 감응형 디스플레이 상의 표시의 외관을 업데이트하고; 스타일러스가 터치 감응형 디스플레이의 표면으로부터 제2 거리보다 멀리 있다는 결정에 따라, 디바이스는 터치 감응형 디스플레이 상에 표시를 디스플레이하는 것을 중지한다(834). 예를 들어, 도 7b 내지 도 7g에 도시된 바와 같이, 스타일러스(203)의 팁이 터치 스크린(112)의 표면으로부터 제1 거리(예컨대, 임계치(710)) 미만에 있으면, 디바이스는 터치 스크린(112) 상의 표시의 외관을 업데이트한다(예컨대, 스타일러스(203)가 터치 스크린(112)에 더 가까이 이동함에 따라 표시는 색상이 더 진해지고, 더 불투명해지고/지거나 크기가 더 작아짐); 또한, 도 7h에 도시된 바와 같이, 스타일러스(203)의 팁이 터치 스크린(112)의 표면으로부터 제2 거리(예컨대, 임계치(710))보다 멀리 있으면, 디바이스는 터치 스크린(112) 상에 표시를 디스플레이하는 것을 중지한다. 일부 실시예들에서, 제1 거리는 제2 거리와 동일하다(예컨대, 제1 거리와 제2 거리는 둘 모두 임계치(710)이고, 이는 도 7b 및 도 7h에 도시된 바와 같음). 일부 실시예들에서, 제1 거리는 제2 거리보다 짧다.
일부 실시예들에서, 스타일러스가 터치 감응형 디스플레이의 표면과 물리적으로 접촉한다는 결정에 따라: 디바이스는 터치 감응형 디스플레이 상에, 위치 상태에 따라, 마크를 디스플레이하고; 디바이스들은 터치 감응형 디스플레이 상에 표시를 디스플레이하는 것을 중지한다(836). 예를 들어, 도 7j에 도시된 바와 같이, 스타일러스(203)가 터치 스크린(112)의 표면과 물리적으로 접촉하면, 디바이스는 마크(718)를 디스플레이하고 터치 스크린(112) 상에 표시를 디스플레이하는 것을 중지한다.
일부 실시예들에서, 스타일러스의 대표적인 부분(예컨대, 스타일러스의 팁)이 터치 감응형 디스플레이의 표면과 물리적으로 접촉한다는 결정에 따라: 디바이스는 감응형 디스플레이 상에, 위치 상태에 따라, 표시를 디스플레이하고, 터치 감응형 디스플레이의 평면과 평행한 방향으로 표시와 스타일러스의 대표적인 부분 사이의 거리가 사전정의된 최대 거리를 초과하지 않도록 터치 감응형 디스플레이 상의 표시의 위치가 제한된다(838). 예를 들어, 스타일러스 팁이 터치 감응형 디스플레이의 표면과 물리적으로 접촉하면, 표시는 터치 감응형 디스플레이 상에서, 터치 감응형 디스플레이의 평면과 평행한 방향으로, 표시와 팁 사이의 거리가 절단된 채 디스플레이된다. 도 7i에 도시된 바와 같이, 예를 들어, 스타일러스(203)가 터치 스크린(112)의 표면과 물리적으로 접촉하면, 디바이스는 표시(716-g)를 디스플레이하고, 표시(716-g)와 (x,y) 위치(704-b) 사이의 거리는 사전정의된 최대 거리를 초과하지 않는다(예컨대, 스타일러스(203)의 틸트의 증가와 상관없음).
일부 실시예들에서, 스타일러스가 터치 감응형 디스플레이의 표면을 터치하기(또는 터치 감응형 디스플레이의 사전결정된 거리 내에 들어오기) 이전에, 디바이스는 표시를 업데이트하고 터치 감응형 디스플레이 상에 디스플레이되는 애플리케이션의 콘텐츠를 변경하는 것을 보류함으로써 검출된 스타일러스의 이동에 응답하고; 스타일러스가 터치 감응형 디스플레이의 표면을 터치하는(또는 터치 감응형 디스플레이의 사전결정된 거리 내에 있는) 동안, 디바이스는 터치 감응형 디스플레이 상에 디스플레이되는 애플리케이션의 콘텐츠를 변경함으로써 검출된 스타일러스의 이동에 응답한다(840). 일부 실시예들에서, 스타일러스가 터치 감응형 디스플레이의 표면을 터치하고 있는 동안, 디바이스는 표시를 업데이트함으로써 검출된 스타일러스의 이동에 응답한다. 일부 실시예들에서, 스타일러스가 터치 감응형 디스플레이의 표면을 터치하고 있는 동안, 디바이스는 표시를 디스플레이하는 것을 중지한다(예컨대, 도 7j에 도시된 바와 같음). 일부 실시예들에서, 디스플레이되는 애플리케이션의 콘텐츠를 변경하는 것은 애플리케이션에 의해 디스플레이되는 툴들 중 임의의 것을 변경하는 것 및/또는 애플리케이션의 기타 콘텐츠를 변경하는 것을 포함한다.
일부 실시예들에서, 스타일러스가 터치 감응형 디스플레이의 표면과 물리적으로 접촉하는 것을 검출하는 것에 응답하여, 디바이스는 (디스플레이되는) 표시를 원만하게 제1 상태에서 제2 상태로 변경한다(842). 일부 실시예들에서, 스타일러스가 디스플레이되는 콘텐츠와 상호작용하는지 나타내기 위하여 스타일러스가 터치 감응형 디스플레이의 표면과 물리적으로 접촉하는 것을 검출하는 것에 응답하여 표시는 제1 상태에서 제2 상태로 변경된다. 일부 실시예들에서, 제1 상태는 미리 보기 모드(예컨대, 콘텐츠가 스타일러스의 이동에 의해 변경되지 않는 비상호작용 모드)이고, 제2 상태는 상호작용 모드(예컨대, 콘텐츠가 스타일러스의 이동에 의해 변경되는 모드)이다. 선택적으로, 일부 실시예들에서, 제2 상태의 표시는 제1 상태의 표시보다 더 불투명하고/하거나 반지름이 더 작다.
도 8a 내지 도 8d에서의 동작들이 기술된 특정 순서는 단지 예시적인 것이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 추가적으로, 본 명세서에 기술된 다른 방법들(예컨대, 위의 "발명을 실시하기 위한 구체적인 내용"의 첫번째 단락에 열거된 것들)과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들은 또한 도 8a 내지 도 8d에 관련하여 전술된 방법(800)과 유사한 방식으로 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(800)과 관련하여 위에서 기재된 스타일러스 위치 상태 특성, 이동, 접촉, 제스처, 사용자 인터페이스 객체, 및 출력은 선택적으로 본 명세서에 기재된 다른 방법들을 참조하여 본 명세서에 기재된 스타일러스 위치 상태 특성, 이동, 접촉, 제스처, 사용자 인터페이스 객체, 및 출력의 특성들(예컨대, 위의 "발명을 실시하기 위한 구체적인 내용"의 첫번째 단락에 열거된 것들) 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 9는 다양한 기술된 실시예들의 원리들에 따라 구성된 전자 디바이스(900)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은, 선택적으로, 다양한 기술된 실시예들의 원리들을 실행하기 위한 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합에 의해 구현된다. 다양한 기술된 실시예들의 원리들을 구현하기 위해 도 9에서 기술된 기능 블록들이 선택적으로 조합되거나 서브블록들로 분리된다는 것이 당업자에 의해 이해된다. 따라서, 본 명세서의 설명은, 선택적으로, 본 명세서에 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 9에 도시된 바와 같이, 전자 디바이스(900)는 사용자 인터페이스를 디스플레이하고 사용자 접촉(스타일러스 접촉 포함)을 수신하도록 구성된 터치 감응형 디스플레이 유닛(902), 디바이스와 연관된 스타일러스로부터 신호를 검출하도록 구성된 하나 이상의 센서 유닛(906); 및 터치 감응형 디스플레이 유닛(902) 및 하나 이상의 센서 유닛(906)과 결합된 프로세싱 유닛(908)을 포함한다. 일부 실시예들에서, 프로세싱 유닛(908)은 검출 유닛(910), 위치 결정 유닛(912), 표시 디스플레이 유닛(914), 변경 검출 유닛(916), 업데이트 유닛(918), 마크 디스플레이 유닛(920), 및 콘텐츠 변경 유닛(922)을 포함한다.
프로세싱 유닛(908)은: 스타일러스의 위치 상태를 검출하고(예컨대, 검출 유닛(910)을 이용함) - 스타일러스의 위치 상태는 터치 감응형 디스플레이 유닛(902)에 대한 스타일러스의 거리, 터치 감응형 디스플레이 유닛(902)에 대한 스타일러스의 틸트, 및/또는 터치 감응형 디스플레이 유닛(902)에 대한 스타일러스의 배향에 대응함 -; 스타일러스의 검출된 위치 상태에 대응하는 터치 감응형 디스플레이 유닛(902) 상의 위치를 결정하고(예컨대, 위치 결정 유닛(912)을 이용함); 스타일러스가 터치 감응형 디스플레이 유닛(902)을 터치하기 이전에 결정된 위치의 터치 감응형 디스플레이 유닛(902) 상에, 스타일러스의 위치 상태에 따라, 표시의 디스플레이를 인에이블하고(예컨대, 표시 디스플레이 유닛(914)을 이용함); 스타일러스가 터치 감응형 디스플레이 유닛(902)을 터치하기 이전에 스타일러스의 거리, 틸트, 및/또는 배향의 변경을 검출하고(예컨대, 변경 검출 유닛(916)을 이용함); 변경을 검출하는 것에 응답하여, 터치 감응형 디스플레이 유닛(902) 상의 디스플레이된 표시를 업데이트하도록(예컨대, 업데이트 유닛(918)을 이용함) 구성된다.
전술된 정보 처리 방법들에서의 동작들은 선택적으로 (예컨대, 도 1a 및 도 3과 관련하여 전술된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 처리 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 8a 내지 도 8d를 참조하여 전술된 동작들은, 선택적으로, 도 1a 및 도 1b 또는 도 9에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 검출 동작(802), 위치 결정 동작(812), 디스플레이 동작(814), 변경 검출 동작(818), 및 업데이트 동작(820)은, 선택적으로, 이벤트 분류기(170), 이벤트 인식기(180), 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉(또는 근접)을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각각의 이벤트 인식기(180)는 이벤트 정보를 각각의 이벤트 정의들(186)과 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉(또는 근접)(또는 디바이스의 회전)이 사전정의된 이벤트 또는 서브이벤트, 예컨대 사용자 인터페이스 상의 객체의 선택, 또는 일 배향에서 다른 배향으로의 디바이스의 회전에 대응하는지 결정한다. 각각의 미리정의된 이벤트 또는 서브이벤트가 검출되는 경우에, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화시킨다. 이벤트 핸들러(190)는 선택적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출하여 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
스타일러스가 터치 감응형 표면을 터치하는 동안 스타일러스의 위치 상태에 대응하는 표시를 디스플레이 및 업데이트하기
일부 전자 디바이스들은 디바이스와 연관된 스타일러스를 이용하여 디바이스의 터치 감응형 디스플레이에 대한 추가적인 입력 방법을 제공한다. 예를 들어, 일부 셀룰러 폰, 랩톱, 및 태블릿들은 스타일러스로부터 입력을 수신할 수 있다. 그러나, 다양한 이유들(예컨대, 스타일러스 팁의 두께, 디바이스 상의 유리의 두께 등)로 인해, 사용자는 스타일러스 상호작용(예컨대, 마크 만들기)이 일어나는 곳을 정확하게 알기 어렵다는 것을 알 수 있다. 아래 실시예들은, 스타일러스의 위치 상태(예컨대, 스타일러스의 디바이스의 터치 감응형 디스플레이에 대한 거리, 틸트, 및/또는 배향)에 따른 표시를 디스플레이 및 업데이트함으로써, 이 문제를 해결한다. 표시는 터치 감응형 디스플레이 상의 마크가 표시될 곳을 도시한다. 표시는 스타일러스의 팁으로부터 오프셋되어 스타일러스가 표시가 보이는 것을 가리지 않도록 한다. 표시는 사용자가 스타일러스를 더 정확하게 배치하고 사용할 수 있도록 돕는다.
아래에서, 도 10a 내지 도 10k는 스타일러스의 위치 상태에 대응하는 표시를 디스플레이하고 업데이트하기 위한 예시적인 사용자 인터페이스를 예시한다. 도 11a 내지 도 11d는 스타일러스의 위치 상태에 대응하는 표시를 디스플레이하고 업데이트하는 방법을 예시하는 흐름도이다. 도 10a 내지 도 10k의 사용자 인터페이스를 이용하여 도 11a 내지 도 11d의 프로세스를 예시한다.
도 10a 내지 도 10k는 일부 실시예들에 따른, 스타일러스의 위치 상태에 대응하는 표시를 디스플레이하고 업데이트하기 위한 예시적인 사용자 인터페이스를 예시한다. 이 도면들에서의 사용자 인터페이스들은 도 11a 내지 도 11d에서의 프로세스들을 비롯한, 이하에 기술되는 프로세스들을 설명하는 데 사용된다. 후속하는 예들 중 일부가 (터치 감응형 표면과 디스플레이가, 예를 들어, 터치 스크린(112) 상에서 조합된) 터치 스크린 디스플레이 상의 입력들을 참조하여 주어질 것이지만, 일부 실시예들에서, 디바이스는 도 6b에 도시된 바와 같이 디스플레이(650)와 별개인 터치 감응형 표면(651) 상의 입력들을 검출한다.
일부 실시예들에서, 디바이스는 별개의 디스플레이(예컨대, 디스플레이(650)) 및 별개의 터치 감응형 표면(예컨대, 터치 감응형 표면(651))을 갖는 전자 디바이스이다. 일부 실시예들에서, 디바이스는 휴대용 다기능 디바이스(100)이고, 디스플레이는 터치 감응형 디스플레이 시스템(112)이며, 터치 감응형 표면은 디스플레이 상의 촉각적 출력 생성기들(163)을 포함한다(도 1a). 설명의 편의를 위해, 도 10a 내지 도 10k 및 도 11a 내지 도 11d와 관련하여 기술되는 실시예들은 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에 수행되는 동작들과 관련하여 논의될 것이다. 이러한 실시예들에서, 포커스 선택자는, 선택적으로: 각각의 손가락 또는 스타일러스 접촉이거나, 손가락 또는 스타일러스 접촉에 대응하는 대표 지점(예컨대, 각각의 접촉의 중심, 또는 각각의 접촉과 연관된 지점), 또는 터치 감응형 디스플레이 시스템(112) 상에 검출된 둘 이상의 접촉들의 중심이다. 그러나 유사한 동작들이, 선택적으로, 도 10a 내지 도 10k에 도시된 사용자 인터페이스들을 디스플레이(650) 상에 디스플레이하는 동안 터치 감응형 표면(651) 상에서 (또는 근처에서) 도 10a 내지 도 10k에서 묘사되는 접촉들을 검출하는 것에 응답하여 디스플레이(650) 및 별개의 터치 감응형 표면(651)을 갖는 디바이스 상에서 수행된다.
도 10a 내지 도 10k는 일부 실시예들에 따른, 스타일러스의 위치 상태에 대응하는 표시를 디스플레이하고 업데이트하기 위한 예시적인 사용자 인터페이스를 예시한다. 비록 도 10a는 디바이스(100)의 추가 세부사항들(예컨대, 스피커(111), 광 센서(164), 근접 센서(166), 등)을 갖는 터치 스크린(112)을 도시하고 있으나, 명확한 설명을 위해 도 10b 내지 도 10k는 디바이스(100)의 다른 세부사항은 도시하지 않고 다만 디바이스(100)의 터치 스크린(112)만을 도시한다. 또한, 도 10a는 터치 감응형 표면(예컨대, 디바이스(100)의 터치 스크린(112)) 바로 위의 관점에서의 예를 예시하지만, 도 10b 내지 도 10k는 다음 두 관점에서의 예를 예시한다: 터치 감응형 표면(예컨대, 디바이스(100)의 터치 스크린(112)) 바로 위의 관점 및 터치 감응형 표면의 측면 관점.
도 10a는 스타일러스(예컨대, 스타일러스(203))의 위치 상태에 대응하는 표시(예컨대, 표시(1016-a))를 디스플레이하는 예를 예시한다. 이 예에서, 스타일러스(203)는 터치 스크린(112)에 대한 스타일러스(203)의 배향(예컨대, 배향(1006-a)) 및 터치 스크린(112) 상의 스타일러스(203)의 팁의 투영의 위치(예컨대, (x,y) 위치(1004-a))를 갖는 위치 상태를 갖는다. 도 10a에 도시된 바와 같이, 스타일러스(203)가 배향(1006-a)(예컨대, 축(508)에 대하여 시계방향 회전각으로 대략 315 도) 및 팁 투영이 (x,y) 위치(1004-a)에 있도록 위치설정되면, 표시(1016-a)가 터치 스크린(112) 상에 디스플레이되어 스타일러스(203)가 터치 스크린(112)을 터치(또는 마크)할 곳을 도시한다. 일부 실시예들에서, 스타일러스가 제1 배향으로 위치설정되면 표시는 터치 스크린(112) 상에서, (x,y) 위치(1004-a)에 대하여 제1 방향으로 변위되고, 스타일러스가 제1 배향과 구분되는 제2 배향으로 위치설정되면 표시는 터치 스크린(112) 상에서, (x,y) 위치(1004-a)에 대하여 제2 방향으로 변위된다.
도 10b 및 도 10c는 터치 감응형 디스플레이(예컨대, 터치 스크린(112))에 대한 스타일러스(예컨대, 스타일러스(203))의 배향(예컨대, 배향(1006))을 변경하고 배향의 변경에 응답하여, 디스플레이되는 표시를 업데이트하는(예컨대, 제1 위치에서 표시(1016-b)를 디스플레이하는 것에서 제2 위치에서 표시(1016-c)를 디스플레이하는 것으로) 예를 예시한다. 도 10b 및 도 10c에서, 스타일러스의 팁의 (x,y) 위치(예컨대, (x,y) 위치(1004-b)), 스타일러스의 틸트(예컨대, 틸트(1012-a)), 및 스타일러스의 터치 감응형 디스플레이에 대한 거리(예컨대, 스타일러스 팁이 터치 감응형 디스플레이와 접촉할 때의 거리(1014-a))가 일정하게 유지되는 반면, 스타일러스의 터치 감응형 디스플레이에 대한 배향은 (예컨대, 배향(1006-a)에서 배향(1006-b)으로) 변경된다. 스타일러스(203)의 배향이 배향(1006-a)(예컨대, 축(508)에 대하여 시계방향 회전각으로 대략 315 도)에서 배향(1006-b)(예컨대, 축(508)에 대하여 시계방향 회전각으로 대략 45 도)으로 변경됨에 따라, 디스플레이된 표시는 터치 스크린(112) 상에서 (예컨대, 표시(1016-b)에서 표시(1016-c)으로) 업데이트된다.
도 10c 내지 도 10e는 터치 감응형 디스플레이(예컨대, 터치 스크린(112))에 대한 스타일러스(예컨대, 스타일러스(203))의 틸트(예컨대, 틸트(1012))를 변경하고 틸트의 변경에 응답하여, 디스플레이되는 표시(예컨대, 표시(1016))를 업데이트하는 예를 예시한다. 도 10c 내지 도 10e에서, 터치 감응형 디스플레이에 대한 스타일러스의 배향(예컨대, 배향(1006-b)), 스타일러스의 팁의 (x,y) 위치(예컨대, (x,y) 위치(1004-b)), 및 스타일러스의 거리(예컨대, 스타일러스 팁이 터치 감응형 디스플레이와 접촉할 때의 거리(1014-a))는 일정하게 유지되는 반면, 스타일러스의 틸트는, 스타일러스가 디바이스(100)와 더 평행에 가깝게 틸트됨에 따라, (예컨대, 틸트(1012-a)에서 틸트(1012-b)로, 틸트(1012-c)로) 변경된다. 이 예에서 도시된 바와 같이, 틸트가 증가함에 따라, 스타일러스의 팁의 (x,y) 위치와 표시 사이의 거리의 규모는 사전정의된 최대 거리에 도달할 때까지 증가한다. 이 예에서, 표시(1016-d)(도 10d)는 사전정의된 최대 거리에 있어서, 스타일러스(203)의 틸트가 틸트(1012-b)(도 10d)에서 틸트(1012-c)(도 10e)로 변경되더라도, 표시(1016-d)는 동일한 위치에 유지된다.
도 10f 내지 도 10i는 터치 감응형 디스플레이(예컨대, 터치 스크린(112))에 대한 스타일러스(예컨대, 스타일러스(203))의 거리(예컨대, 거리(1014))를 변경하고 거리의 변경에 응답하여, 디스플레이되는 표시(예컨대, 표시(1016))를 업데이트하는 예를 예시한다. 일부 실시예들에서, 위치 상태는 스타일러스의 팁(또는 기타 대표적인 부분)의 터치 감응형 디스플레이 상의 투영의 위치를 포함한다. 일부 실시예들에서, 스타일러스의 팁은 터치 감응형 디스플레이에 대한 스타일러스의 근접성을 결정하도록 구성된 스타일러스의 말단이다. 일부 실시예들에서, 터치 감응형 디스플레이 상의 스타일러스의 팁의 투영은 직교 투영이다. 다시 말해서, 터치 감응형 디스플레이 상의 스타일러스의 팁의 투영은 터치 감응형 디스플레이의 표면에 수직한, 스타일러스 팁에서 터치 감응형 디스플레이까지의 라인의 단부의 한 점이다. 예를 들어, 도 10f 내지 도 10i에서, (x,y) 위치(1004-b)는 터치 스크린(112) 상의 스타일러스(203)의 팁의 투영이고, 이는 스타일러스(203)를 터치 스크린(112)에 수직한 경로(예컨대, 법선(510)의 경로)를 따라 곧바로 이동시킨다면, 스타일러스(203)의 팁이 터치 스크린(112)과 접촉하게 될 한 점이다.
도 10f 내지 도 10i에서, 터치 감응형 디스플레이에 대한 스타일러스의 배향(예컨대, 배향(1006-b)), 스타일러스의 팁의 투영의 (x,y) 위치(예컨대, (x,y) 위치(1004-b)), 및 스타일러스의 틸트(예컨대, 틸트(1012-a))는 일정하게 유지되는 반면, 스타일러스의 거리는, 스타일러스가 터치 감응형 디스플레이로부터 멀리 이동함에 따라, (예컨대, 거리(1014-b)에서 거리(1014-c)로, 거리(1014-d)로, 거리(1014-e)로) 변경된다. 또한, 스타일러스(203)가 터치 스크린(112)으로부터 멀리 이동함에 따라, 디스플레이된 표시가 터치 스크린(112) 상에서 (예컨대, 표시(1016-e)에서 표시(1016-f)로, 표시(1016-g)로, 표시(1016-h)로) 업데이트된다. 이 예에서 도시된 바와 같이, 일부 실시예들에서, 스타일러스(203)가 터치 스크린(112)으로부터 멀리 이동함에 따라, 표시는 불투명도를 변경(예컨대, 불투명도 감소), 크기를 변경(또는 반지름 또는 면적)(예컨대, 크기 증가), 및/또는 색상을 변경(예컨대, 색상을 밝게 함)한다.
도 10j는 스타일러스(예컨대, 스타일러스(203))가 터치 감응형 디스플레이(예컨대, 터치 스크린(112))의 표면으로부터 사전정의된 거리보다 멀리 떨어져 있으면 터치 감응형 디스플레이 상에 표시를 디스플레이하는 것을 중지하는 예를 예시한다. 도 10f 내지 도 10i와 비교하여, 스타일러스(203)의 팁이 임계치(1010) 미만이면 표시(예컨대, 각각 표시(1016-e), 표시(1016-f), 표시(1016-g), 표시(1016-h))가 디스플레이되고, 스타일러스(203)의 팁이 임계치(1010) 초과이면 표시는 터치 스크린(112) 상에 디스플레이되는 것이 중지되며, 이는 도 10j에 도시된 바와 같다.
도 10b 내지 도 10e는 스타일러스(예컨대, 스타일러스(203))가 터치 감응형 디스플레이(예컨대, 터치 스크린(112))의 표면과 물리적으로 접촉하면 표시(예컨대, 표시(1016-b), 표시(1016-c), 및 표시(1016-d))를 디스플레이하는 예를 예시한다. 일부 실시예들에서, 스타일러스(203)가 터치 스크린(112)과 물리적으로 접촉하면, 터치 스크린(112)으로부터 떨어진 스타일러스(203)의 거리(예컨대, 거리(1014-a))는 0보다 큰 것으로 계산된다(예컨대, 터치 스크린(112) 상의 유리층의 두께를 고려함). 일부 실시예들에서, 스타일러스가 터치 감응형 디스플레이의 표면과 물리적으로 접촉하면, 표시는 배향의 변경에 응답하여 업데이트되고(도 10a에 대하여 위에서 기재한 바와 같음) 표시는 틸트의 변경에 응답하여 업데이트되고(도 10c 내지 도 10e에 대하여 위에서 기재한 바와 같음), 간결함을 위하여, 상세사항들은 여기에서 반복하지 않는다.
일부 실시예들에서, 스타일러스(203)가 터치 스크린(112)과 물리적으로 접촉하면, 표시와 마크 둘 모두 디스플레이된다. 일부 실시예들에서, 표시는 마크가 터치 감응형 디스플레이 상에 드로잉될 곳을 나타내는 가상 "펜 팁" 또는 기타 요소에 대응한다. 일부 실시예들에서, 마크는 터치 감응형 디스플레이 상의 점, 선, 붓질 등이다. 일부 실시예들에서, 표시는 마크의 일 단부(말단)에 대응한다. 예를 들어, 드로잉되고 있는 마크가 선이면, 표시는 드로잉되고 있는 선의 단부에 대응한다(또는 그것에 인접한다). 일부 실시예들에서, 스타일러스가 터치 감응형 디스플레이의 표면과 물리적으로 접촉할 때 표시가 디스플레이되는 경우, 표시의 형상(및 선택적으로 색상)은 스타일러스에 의해 모방되는 가상 드로잉 도구의 팁의 형상(및 선택적으로 색상)에 대응한다. 예를 들어, 스타일러스가 가상 황색 하이라이터(highlighter)로서 사용되고 있는 경우, (하이라이터의 끌 끝에 대응하는) 표시는 황색 직사각형이고, 스타일러스가 터치 감응형 디스플레이의 표면을 가로질러 이동됨에 따라, (예컨대, 스타일러스의 경로를 따라 표시의 크기/형상/색상을 확장하여) 마크가 생성된다. 스타일러스가 가상 황색 하이라이터로서 사용되고 있고 스타일러스가 터치 감응형 디스플레이 상의 한 점을 터치한 뒤 터치 감응형 디스플레이를 가로질러 이동하지 않고 리프트오프되는 경우, (하이라이터의 끌 끝인 표시에 대응하는) 황색 직사각형 마크는 터치 감응형 디스플레이 상의 스타일러스가 터치했던 지점에 디스플레이될 수 있다.
도 10k는 스타일러스(예컨대, 스타일러스(203))가 터치 감응형 디스플레이(예컨대, 터치 스크린(112))의 표면과 물리적으로 접촉하면, 마크(예컨대, 마크(1018))를 디스플레이하고 표시를 디스플레이하는 것을 중지하는 예를 예시한다.
도 11a 내지 도 11d는 일부 실시예들에 따른, 스타일러스의 위치 상태에 대응하는 표시를 디스플레이하고 업데이트하는 방법(1100)을 예시하는 흐름도이다. 방법(1100)은 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스(예컨대, 도 3의 디바이스(300), 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고 터치 감응형 표면이 디스플레이 상에 있거나 디스플레이와 일체화된다(간략히 터치 감응형 디스플레이로도 지칭됨). 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 일부 실시예들에서, 디바이스는 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서를 포함하고, 스타일러스는 팁(또는 기타 대표적인 부분)을 포함한다. 일부 실시예들에서, 팁이 아닌 스타일러스의 일부분이 팁의 위치를 추정하는 데 사용된다. 방법(1100)의 일부 동작들은, 선택적으로, 조합되고/되거나 일부 동작들의 순서가, 선택적으로, 변경된다.
아래 기재되는 바와 같이, 방법(1100)은 스타일러스의 위치 상태에 대응하는 표시를 디스플레이하고 업데이트하는 직관적인 방법을 제공한다. 표시는 사용자가 스타일러스를 더 정확하게 배치하고 사용할 수 있도록 돕는다. 방법은 스타일러스를 사용하여 전자 디바이스와 상호작용할 때 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 감소시킴으로써, 더 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스들에 대해, 사용자가 더 빠르고 더 효율적으로 스타일러스 입력을 입력할 수 있게 하는 것은 전력을 보존하고 배터리 충전들 사이의 시간을 증가시킨다.
스타일러스 팁(또는 기타 대표적인 부분)이 터치 감응형 디스플레이와 접촉하는 동안, 디바이스는 스타일러스의 위치 상태를 검출하고, 스타일러스의 위치 상태는 스타일러스 팁의 터치 감응형 디스플레이 상의 위치, 스타일러스의 터치 감응형 디스플레이에 대한 틸트, 및 스타일러스의 터치 감응형 디스플레이에 대한 배향에 대응한다(또는 나타낸다)(1102). 도 10c는, 예를 들어, (x,y) 위치(1004-b), 틸트(1012-a), 및 배향(1006-b)에 대응하는 위치 상태를 갖는 스타일러스(203)를 도시한다. 일부 실시예들에서, 위치 상태는 위치 파라미터들의 세트(예컨대, 하나 이상의 위치 파라미터)를 포함한다. 일부 실시예들에서, 위치 상태는 터치 감응형 디스플레이(예컨대, 터치 스크린(112))에 대하여 상대적이다. 일부 실시예들에서, 위치 상태는 전자 디바이스에 송신되는 스타일러스로부터의 하나 이상의 측정치에 따라 검출된다. 예를 들어, 스타일러스는 스타일러스의 틸트 및/또는 배향을 측정하고 측정치를 전자 디바이스에 송신한다. 대안적으로, 일부 실시예들에서, 위치 상태는 터치 감응형 디스플레이에 의해 감지되는, 스타일러스의 하나 이상의 전극으로부터의, 미가공 출력에 따라 검출된다. 예를 들어, 터치 감응형 디스플레이는 스타일러스의 하나 이상의 전극으로부터의 미가공 출력을 수신하고, 미가공 출력에 기초하여 스타일러스의 틸트 및/또는 배향을 계산한다.
일부 실시예들에서, 스타일러스의 틸트는 터치 감응형 디스플레이의 표면의 법선에 대한 각도이고 (또한 줄여서 터치 감응형 디스플레이의 법선으로 지칭됨) 스타일러스의 배향은 터치 감응형 디스플레이와 평행한 평면 내의 적어도 하나의 축에 대한 터치 감응형 디스플레이 상으로의 스타일러스의 투영(예컨대, 스타일러스의 길이의 직교 투영 또는 터치 감응형 디스플레이 상으로의 스타일러스의 다른 두 점의 투영 사이의 라인에 대응하는 라인)의 배향이다(1104). 예를 들어, 도 5b에서, 스타일러스(203)의 틸트(512)는 터치 스크린(112)의 법선(510)에 대한 각도이고, 도 5a에서, 스타일러스(203)의 배향(506)은 축(508)에 대한 터치 스크린(112) 상으로의 스타일러스(203)의 투영의 배향이다. 일부 실시예들에서, 터치 감응형 디스플레이 상으로의 스타일러스의 투영의 배향은 도 5a의 축(508)과 같은 단일 축(예컨대, 0 도에서 360 도까지 축으로부터 시계방향 회전각을 이루는 단일 축)에 대하여 상대적이다. 대안적으로, 일부 실시예들에서, 터치 감응형 디스플레이 상으로의 스타일러스의 투영의 배향은 한 쌍의 축(예컨대, 도 5a의 x 축(590) 및 y 축(592)과 같은 x 축 및 y 축, 또는 터치 감응형 디스플레이 상에 디스플레이되는 애플리케이션과 연관된 한 쌍의 축)에 대하여 상대적이다.
일부 실시예들에서, 위치 상태는 스타일러스의 터치 감응형 디스플레이에 대한 거리를 포함한다(1106). 예를 들어, 도 10b 내지 도 10e에서, (예컨대, 스타일러스 팁이 터치 스크린(112)과 접촉하면) 터치 스크린(112)에 대한 스타일러스(203)의 거리는 거리(1014-a)이다. 다른 예로서, 도 10f 내지 도 10j에서, 스타일러스가 터치 스크린(112)으로부터 멀리 이동함에 따라, 터치 스크린(112)에 대한 스타일러스(203)의 거리는 (예컨대, 거리(1014-b)에서 거리(1014-c)로, 거리(1014-d)로, 거리(1014-e)로, 거리(1014-f)로) 변경된다.
일부 실시예들에서, 스타일러스가 터치 감응형 디스플레이의 표면과 물리적으로 접촉하면, 스타일러스의 터치 감응형 디스플레이로부터 거리는 0보다 큰 것으로 계산된다(1108)(예컨대, 터치 감응형 디스플레이(예컨대, 터치 스크린(112) 상의 유리층의 두께를 고려하여, 픽셀을 덮고 있는 "유리 상에" 표시를 디스플레이하지 않고, 디스플레이의 "픽셀 상에" 표시를 이행하도록 함). 일부 실시예들에서, 스타일러스가 터치 감응형 디스플레이의 표면과 물리적으로 접촉하면, 스타일러스의 터치 감응형 디스플레이로부터 거리는 0보다 큰 것으로 정의된다. 예를 들어, 도 10b 내지 도 10e에서, 스타일러스(203)가 터치 스크린(112)의 표면과 물리적으로 접촉하면, 거리(1014-a)는 0보다 큰 것으로 계산된다(또는 정의된다).
일부 실시예들에서, 전자 디바이스에 의해(예컨대, 디바이스의 터치 감응형 디스플레이 내의 메커니즘에 의해) 검출가능한, 스타일러스의 제1 전극은 스타일러스의 팁에 근접하고, 전자 디바이스(예컨대, 디바이스의 터치 감응형 디스플레이 내의 메커니즘에 의해)에 의해 검출가능한, 스타일러스의 제2 전극은 제1 전극으로부터 사전정의된 거리만큼 변위된다(1110). 일부 실시예들에서, 스타일러스의 제1 전극은 스타일러스의 팁(또는 팁 근처)에 있고, 스타일러스의 제2 전극은 제1 전극으로부터 사전정의된 거리만큼 변위된 링이다. 일부 실시예들에서, 스타일러스(203)는, 도 5a 및 도 5b에 도시된 바와 같이, 스타일러스(203)의 팁(또는 팁 근처)에 제1 전극, 및 제1 전극으로부터 사전정의된 거리만큼 변위된 링인, 제2 전극을 가지며, 두 전극 모두 디바이스(100)에 의해(예컨대, 디바이스(100)의 터치 스크린(112) 내의 메커니즘에 의해) 검출가능하다.
디바이스는 스타일러스(예컨대, 스타일러스(203))의 검출된 위치 상태에 대응하는 터치 감응형 디스플레이(예컨대, 터치 스크린(112)) 상의 제1 위치를 결정한다(1112). 도 10b를 예로서 이용하면, 스타일러스(203)의 검출된 위치 상태에 대응하는 터치 스크린(112) 상의 위치는 (x,y) 위치(1004-b), 틸트(1012-a), 및/또는 배향(1006-a)에 의해 결정된다.
디바이스는 터치 감응형 디스플레이(예컨대, 터치 스크린(112)) 상에 스타일러스의 검출된 위치 상태에 대응하는 제1 위치(동작(1112)에서 결정됨)에서 표시를 디스플레이하고, 제1 위치는 스타일러스 팁의 터치 감응형 디스플레이 상의 위치로부터 제1 오프셋의 위치에 있다(1114). 예를 들어, 도 10b에서, 표시(1016-b)는 스타일러스(203)의 검출된 위치 상태에 대응하는 제1 위치에 디스플레이되고, 표시(1016-b)는 (x,y) 위치(1004-b)로부터 제1 오프셋의 위치에 있다. 일부 실시예들에서, 터치 감응형 디스플레이 상에 드로잉되고 있는 마크는 표시의 역할을 한다. 일부 실시예들에서, 표시는 터치 감응형 디스플레이 상에 드로잉되고 있는 마크와 별개이다. 일부 실시예들에서, 표시는 마크가 터치 감응형 디스플레이 상에 드로잉될 곳을 나타내는 가상 "펜 팁" 또는 기타 요소에 대응하며, 이는 전술된 바와 같다. 일부 실시예들에서, 마크는 터치 감응형 디스플레이 상의 점, 선, 붓질 등이다. 일부 실시예들에서, 각각의 오프셋은 스타일러스 팁에서 각각의 표시까지 거리 및 터치 감응형 디스플레이의 평면과 평행한 방향의 각각의 표시와 스타일러스 팁 사이의 라인(도시되지 않음)의 배향을 포함하고, 이는 도 10b에 도시된 바와 같다. 일부 실시예들에서, 디스플레이된 표시는 터치 감응형 디스플레이의 유리의 두께를 고려한다.
일부 실시예들에서, 터치 감응형 디스플레이 상에 표시를 디스플레이하는 것은 결정된 위치에서 터치 감응형 디스플레이의 배경 색상에 따라 표시를 위한 색상을 결정하는 것을 포함한다(1116). 일부 실시예들에서, 결정된 위치에서 터치 감응형 디스플레이의 배경 색상에 따라 표시를 위한 색상을 결정하는 것은 결정된 위치에서 터치 감응형 디스플레이의 배경 색상과 대비되는 표시를 위한 색상을 결정하는 것을 포함한다. 예를 들어, 일부 실시예들에서, 터치 감응형 디스플레이의 배경 색상이 백색인 경우, 표시를 위한 결정된 색상은 회색 또는 흑색 또는 백색과 대비되는 다른 색상이다. 예를 들어, 도 10b에서, 터치 스크린(112)의 배경 색상이 백색인 경우, 표시(1016-b)를 위한 색상은 흑색이다. 다른 예로서, 일부 실시예들에서, 터치 감응형 디스플레이의 배경 색상이 흑색인 경우, 표시를 위한 결정된 색상은 백색 또는 황색 또는 흑색과 대비되는 다른 색상이다.
디바이스는 스타일러스(예컨대, 스타일러스(203))의 배향의 변경을 검출한다(1118). 예를 들어, 도 10b 및 도 10c는 (예컨대, 배향(1006-a)에서 배향(1006-b)으로) 스타일러스(203)의 배향의 변경을 예시한다.
스타일러스(예컨대, 스타일러스(203))의 배향의 변경을 검출하는 것에 응답하여, 디바이스는 스타일러스의 배향의 변경에 대응하는 터치 감응형 디스플레이(예컨대, 터치 스크린(112)) 상의 제2 위치를 결정하며, 제2 위치는 스타일러스 팁의 터치 감응형 디스플레이 상의 위치로부터 제2 오프셋의 위치에 있다(1120). 예를 들어, 도 10c에서, 표시(1016-c)는 스타일러스(203)의 검출된 위치 상태에 대응하는 제2 위치에 디스플레이되고, 표시(1016-c)는 (x,y) 위치(1004-b)로부터 제2 오프셋의 위치에 있다.
일부 실시예들에서, 스타일러스가 제1 배향으로 위치설정되면 터치 감응형 디스플레이 상의 스타일러스의 팁(또는 기타 대표적인 부분)의 투영에 대하여, 제1 방향으로 터치 감응형 디스플레이 상에 표시가 변위되고, 스타일러스가 제1 배향과 구분되는 제2 배향으로 위치설정되면 터치 감응형 디스플레이 상의 스타일러스의 팁(또는 기타 대표적인 부분)의 투영에 대하여 제1 방향과 구분되는 제2 방향으로, 터치 감응형 디스플레이 상에 표시가 변위된다(1122). 일부 실시예들에서, 스타일러스의 팁의 투영(예컨대, (x,y) 위치(1004-b), 도 7b)에 대한 표시(예컨대, 표시(1016-b), 도 7b)의 방향은, 스타일러스(예컨대, 스타일러스(203))의 배향이 변함에 따라 달라진다. 예를 들어, 도 10b에서, 스타일러스(203)가 배향(1006-a)으로 위치설정되면 표시(1016-b)는 (x,y) 위치(1004-b)에 대하여 제1 방향으로 변위되고(예컨대, 표시(1016-b)는 (x,y) 위치(1004-b)의 남동쪽에 있거나, 또는 표시(1016-b)는 축(508)에 대하여 (x,y) 위치(1004-b)로부터 시계방향 회전각으로 135 도에 있음), 도 10c에서, 스타일러스(203)가 배향(1006-b)으로 위치설정되면 표시(1016-c)는 (x,y) 위치(1004-b)에 대하여 제2 방향으로 변위된다(예컨대, 표시(1016-c)는 (x,y) 위치(1004-b)의 남서쪽에 있거나, 또는 표시(1016-c)는 축(508)에 대하여 (x,y) 위치(1004-b)로부터 시계방향 회전각으로 225 도에 있음).
일부 실시예들에서, 스타일러스 팁의 터치 감응형 디스플레이 상의 위치가 고정 위치(예컨대, 도 10b 내지 도 10d에서, (x,y) 위치(1004-b)는 고정 위치에 있음)에 있는 동안, 디바이스는 터치 감응형 디스플레이 상의 둘 이상의 상이한 위치에서 표시를 디스플레이한다(1124). 예를 들어, 방법은 스타일러스 팁의 터치 감응형 디스플레이 상의 위치가 동일하게 유지되는 동안 (예컨대, 제1 위치에서 제2 위치로) 표시의 위치를 변경하는 단계를 포함한다. 도 10b 및 도 10c에서, 예를 들어, 터치 스크린(112) 상의 스타일러스(203)의 팁의 위치가 고정 위치(예컨대, (x,y) 위치(1004-b)에 고정됨)에 있는 동안, 디바이스는 터치 스크린(112) 상의 두 상이한 위치(예컨대, 표시(1016-b)의 위치 및 표시(1016-c)의 위치)에 표시를 디스플레이한다. 또한, 도 10d에서, 터치 스크린(112) 상의 스타일러스(203)의 팁의 위치가 동일한 고정 위치(예컨대, (x,y) 위치(1004-b)에 고정됨)에 있는 동안, 디바이스는 터치 스크린(112) 상의 제3 위치(예컨대, 표시(1016-d)의 위치)에서 표시를 디스플레이하고, 이는 동작(1126)에 관련하여 아래 기재되는 바와 같다.
일부 실시예들에서, 디바이스는 스타일러스의 틸트의 변경을 검출하고, 스타일러스의 틸트의 변경을 검출하는 것에 응답하여: 디바이스는 스타일러스의 틸트의 변경에 대응하는 터치 감응형 디스플레이 상의 제3 위치를 결정하고, 제3 위치는 스타일러스 팁의 터치 감응형 디스플레이 상의 위치로부터 제3 오프셋의 위치에 있고; 디바이스는 터치 감응형 디스플레이 상의 제3 위치에 표시를 디스플레이한다(1126). 예를 들어, 도 10c 및 도 10d는 스타일러스(203)의 틸트의 변경(예컨대, 틸트(1012-a)에서 틸트(1012-b)로)을 예시하고, 표시(1016-d)는 스타일러스(203)의 위치 상태에 대응하는 제3 위치에 디스플레이되고, 표시(1016-d)는 (x,y) 위치(1004-b)로부터 제3 오프셋의 위치에 있다. 일부 실시예들에서, 방법은 (1) 스타일러스의 배향과 스타일러스의 틸트의 두 변경을 검출하는 단계, 및 (2) 스타일러스의 배향과 스타일러스의 틸트 두 변경을 검출하는 것에 응답하여, (a) 배향 및 틸트의 변경에 대응하는 터치 감응형 디스플레이 상의 제4 위치를 결정하는 단계 - 제4 위치는 스타일러스 팁의 터치 감응형 디스플레이 상의 위치로부터 제4 오프셋의 위치에 있음 -, 및 (b) 터치 감응형 디스플레이 상의 제4 위치에 표시를 디스플레이하는 단계를 포함한다. 일부 실시예들에서, 방법은 터치 감응형 디스플레이 상의 스타일러스 팁의 위치의 변경을 검출하는 단계 및 스타일러스 팁의 터치 감응형 디스플레이 상의 위치의 변경을 검출하는 것에 응답하여, 상이한 위치에 표시를 디스플레이하는 단계를 포함한다.
일부 실시예들에서, 스타일러스가 제1 틸트를 가지면 표시는 터치 감응형 디스플레이 상에서, 터치 감응형 디스플레이 상의 스타일러스의 팁(또는 기타 대표적인 부분)의 직교 투영에 대하여 터치 감응형 디스플레이의 평면과 평행한 방향으로, 제1 거리만큼 변위되고, 스타일러스가 제1 틸트와 구분되는 제2 틸트를 가지면 표시는 터치 감응형 디스플레이 상에서, 스타일러스의 팁의 직교 투영에 대하여 터치 감응형 디스플레이의 평면과 평행한 방향으로, 터치 감응형 디스플레이 상에서 제1 거리와 구분되는 제2 거리만큼 변위된다(1128). 일부 실시예들에서, 방법은 터치 감응형 디스플레이 상의 스타일러스의 팁의 위치(예컨대, (x,y) 위치(1004-b), 도 10c)로부터 스타일러스의 틸트에 기초한 거리만큼 표시를 변위하는 단계를 포함한다. 예를 들어, 도 10c에서, 스타일러스(203)가 제1 틸트(예컨대, 틸트(1012-a))를 가지면 표시(1016-c)는 (x,y) 위치(1004-b)로부터 제1 거리에 있고, 도 10d에서, 스타일러스(203)가 제2 틸트(예컨대, 틸트(1012-b))를 가지면 표시(1016-d)는 (x,y) 위치(1004-b)로부터 제2 거리에 있다. 일부 실시예들에서, 표시는 스타일러스의 틸트가 증가함에 따라 팁의 투영(또는 터치 감응형 디스플레이 상의 팁의 위치)으로부터 더 큰 거리만큼 변위된다. 예를 들어, 스타일러스(203)가 틸트(1012-a)로 위치설정되면 (도 10c에 도시된 바와 같음) 표시(1016-c)는 (x,y) 위치(1004-b)에 대하여 더 짧은 거리만큼 변위되고 스타일러스(203)가 증가된 틸트(1012-b)로 위치설정되면(도 10d에 도시된 바와 같음) 표시(1016-d)는 (x,y) 위치(1004-b)에 대하여 더 큰 거리만큼 변위된다.
일부 실시예들에서, 각각의 거리는 터치 감응형 디스플레이의 평면과 평행한 방향으로 사전정의된 최대 거리(예컨대, 표시와 터치 감응형 디스플레이(의 평면)와 평행한 방향의 스타일러스 팁의 (x,y) 위치 사이)를 초과하지 않는다(1130). 예를 들어, 제1 거리 및 제2 거리는 (동작(1128)에 대하여 위에서 기재한 바와 같이) 사전정의된 최대 거리를 초과하지 않으며, 이는 도 10d 및 도 10e에 도시된 바와 같다. 일부 실시예들에서, 표시가 이미 사전정의된 최대 거리에 있는 경우, 스타일러스의 틸트의 추가적인 증가는 스타일러스의 팁의 (x,y) 위치에 대하여 거리의 규모를 증가시키지 않는다. 예를 들어, 도 10d 및 도 10e에 도시된 바와 같이, 스타일러스(203)의 틸트가 틸트(1012-b)에서 틸트(1012-c)로 증가하지만, 표시(1016-d)는 동일하게 유지되는데, 그 이유는 그것이 이미 (x,y) 위치(1004-b)에 대하여 사전정의된 최대 거리에 있기 때문이다.
일부 실시예들에서, 디바이스는 스타일러스(예컨대, 스타일러스의 팁)의 터치 감응형 디스플레이의 표면으로부터 멀어지는 이동을 검출하고, 스타일러스의 터치 감응형 디스플레이의 표면으로부터 멀어지는 이동을 검출하는 것에 응답하여: 스타일러스가 터치 감응형 디스플레이의 표면으로부터 제1 거리보다 가까이 있다는 결정에 따라, 디바이스는 표시의 디스플레이를 유지하면서 스타일러스의 이동에 기초하여 터치 감응형 디스플레이 상의 표시의 외관을 업데이트하고; 스타일러스가 터치 감응형 디스플레이의 표면으로부터 제2 거리보다 멀리 있다는 결정에 따라, 디바이스는 터치 감응형 디스플레이(1132) 상에 표시를 디스플레이하는 것을 중지한다. 예를 들어, 도 10f 내지 도 10i에 도시된 바와 같이, 스타일러스(203)의 팁이 터치 스크린(112)의 표면으로부터 제1 거리(예컨대, 임계치(1010)) 미만에 있으면, 디바이스는 터치 스크린(112) 상의 표시의 외관을 업데이트한다(예컨대, 스타일러스(203)가 터치 스크린(112)으로부터 더 멀리 이동함에 따라 표시는 색상이 더 밝아지고, 덜 불투명해지고/지거나 크기가 더 커짐); 또한, 도 10j에 도시된 바와 같이, 스타일러스(203)의 팁이 터치 스크린(112)의 표면으로부터 제2 거리(예컨대, 임계치(1010))보다 멀리 있으면, 디바이스는 터치 스크린(112) 상에 표시를 디스플레이하는 것을 중지한다. 일부 실시예들에서, 제1 거리는 제2 거리와 동일하다(예컨대, 제1 거리와 제2 거리는 둘 모두 임계치(1010)이고, 이는 도 10f 내지 도 10j에 도시된 바와 같음). 일부 실시예들에서, 제1 거리는 제2 거리보다 짧다.
일부 실시예들에서, 스타일러스의 대표적인 부분(예컨대, 스타일러스의 팁)이 터치 감응형 디스플레이의 표면과 물리적으로 접촉한다는 결정에 따라: 디바이스는 감응형 디스플레이 상에, 위치 상태에 따라, 표시를 디스플레이하고, 터치 감응형 디스플레이의 평면과 평행한 방향으로 표시와 스타일러스의 대표적인 부분 사이의 거리가 사전정의된 최대 거리를 초과하지 않도록 터치 감응형 디스플레이 상의 표시의 위치가 제한된다(1134). 예를 들어, 스타일러스 팁이 터치 감응형 디스플레이의 표면과 물리적으로 접촉하면, 표시는 터치 감응형 디스플레이 상에서, 터치 감응형 디스플레이의 평면과 평행한 방향으로, 표시와 팁 사이의 거리가 절단된 채 디스플레이된다. 도 10d 및 도 10e에 도시된 바와 같이, 예를 들어, 스타일러스(203)가 터치 스크린(112)의 표면과 물리적으로 접촉하면, 디바이스는 표시(1016-d)를 디스플레이하고, 표시(1016-g)와 (x,y) 위치(1004-b) 사이의 거리는 사전정의된 최대 거리를 초과하지 않는다(예컨대, 스타일러스(203)의 틸트의 증가와 상관없음).
도 11a 내지 도 11d에서의 동작들이 기술된 특정 순서는 단지 예시적인 것이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 추가적으로, 본 명세서에 기술된 다른 방법들(예컨대, 위의 "발명을 실시하기 위한 구체적인 내용"의 첫번째 단락에 열거된 것들)과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들은 또한 도 11a 내지 도 11d에 관련하여 전술된 방법(1100)과 유사한 방식으로 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(1100)과 관련하여 위에서 기재된 스타일러스 위치 상태 특성, 이동, 접촉, 제스처, 사용자 인터페이스 객체, 및 출력은 선택적으로 본 명세서에 기재된 다른 방법들을 참조하여 본 명세서에 기재된 스타일러스 위치 상태 특성, 이동, 접촉, 제스처, 사용자 인터페이스 객체, 및 출력의 특성들(예컨대, 위의 "발명을 실시하기 위한 구체적인 내용"의 첫번째 단락에 열거된 것들) 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 12는 다양한 기술된 실시예들의 원리들에 따라 구성된 전자 디바이스(1200)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은, 선택적으로, 다양한 기술된 실시예들의 원리들을 실행하기 위한 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합에 의해 구현된다. 기술된 다양한 실시예들의 원리들을 구현하기 위해 도 12에서 기술된 기능 블록들이 선택적으로 조합되거나 서브블록들로 분리된다는 것이 당업자에 의해 이해된다. 따라서, 본 명세서의 설명은, 선택적으로, 본 명세서에 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 12에 도시된 바와 같이, 전자 디바이스(1200)는 사용자 인터페이스를 디스플레이하고 사용자 접촉(스타일러스 접촉 포함)을 수신하도록 구성된 터치 감응형 디스플레이 유닛(1202), 디바이스와 연관된 스타일러스로부터 신호를 검출하도록 구성된 하나 이상의 센서 유닛(1206) - 스타일러스는 팁을 포함함 -; 및 터치 감응형 디스플레이 유닛(1202) 및 하나 이상의 센서 유닛(1206)과 결합된 프로세싱 유닛(1208)을 포함한다. 일부 실시예들에서, 프로세싱 유닛(1208)은 검출 유닛(1210), 위치 결정 유닛(1212), 표시 디스플레이 유닛(1214), 변경 검출 유닛(1216), 및 업데이트 유닛(1218)을 포함한다.
프로세싱 유닛(1208)은: 스타일러스 팁이 터치 감응형 디스플레이 유닛(1202)과 접촉하는 동안, 스타일러스의 위치 상태를 검출하고(예컨대, 검출 유닛(1210)을 이용함) - 스타일러스의 위치 상태는 스타일러스 팁의 터치 감응형 디스플레이 유닛(1202) 상의 위치, 터치 감응형 디스플레이 유닛(1202)에 대한 스타일러스의 틸트, 및 터치 감응형 디스플레이 유닛(1202)에 대한 스타일러스의 배향에 대응함 -; 스타일러스의 검출된 위치 상태에 대응하는 터치 감응형 디스플레이 유닛(1202) 상의 제1 위치를 결정하고(예컨대, 위치 결정 유닛(1212)을 이용함); 터치 감응형 디스플레이 유닛(1202) 상의 제1 위치에서 스타일러스의 검출된 위치 상태에 대응하는 표시의 디스플레이를 인에이블하고(예컨대, 표시 디스플레이 유닛(1214)을 이용함) - 제1 위치는 스타일러스 팁의 터치 감응형 디스플레이 유닛(1202) 상의 위치로부터 제1 오프셋의 위치에 있음 -; 스타일러스의 배향의 변경을 검출하고(예컨대, 변경 검출 유닛(1216)을 이용함); 스타일러스의 배향의 변경을 검출하는 것에 응답하여: 스타일러스의 배향의 변경에 대응하는 터치 감응형 디스플레이 유닛(1202) 상의 제2 위치를 결정하고(예컨대, 위치 결정 유닛(1212)을 이용함) - 제2 위치는 스타일러스 팁의 터치 감응형 디스플레이 유닛(1202) 상의 위치로부터 제2 오프셋의 위치에 있음 -; 및 터치 감응형 디스플레이 유닛(1202) 상의 제2 위치에서 표시의 디스플레이를 인에이블하도록(예컨대, 표시 디스플레이 유닛(1214)을 이용함) 구성된다.
전술된 정보 처리 방법들에서의 동작들은 선택적으로 (예컨대, 도 1a 및 도 3과 관련하여 전술된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 처리 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 11a 내지 도 11d를 참조하여 전술된 동작들은, 선택적으로, 도 1a 및 도 1b 또는 도 12에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 검출 동작(1102), 위치 결정 동작(1112), 디스플레이 동작(1114), 변경 검출 동작(1118), 및 결정/디스플레이 동작(1120)은, 선택적으로, 이벤트 분류기(170), 이벤트 인식기(180), 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉(또는 근접)을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각각의 이벤트 인식기(180)는 이벤트 정보를 각각의 이벤트 정의들(186)과 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉(또는 근접)(또는 디바이스의 회전)이 사전정의된 이벤트 또는 서브이벤트, 예컨대 사용자 인터페이스 상의 객체의 선택, 또는 일 배향에서 다른 배향으로의 디바이스의 회전에 대응하는지 결정한다. 각각의 미리정의된 이벤트 또는 서브이벤트가 검출되는 경우에, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화시킨다. 이벤트 핸들러(190)는 선택적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출하여 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
스타일러스로부터의 입력의 특성들에 따라 마크의 하나 이상의 특성을 조정하기
일부 전자 디바이스들은 디바이스와 연관된 스타일러스를 이용하여 디바이스의 터치 감응형 표면에 대한 추가적인 입력 방법을 제공한다. 예를 들어, 일부 셀룰러 폰, 랩톱, 및 태블릿들은 스타일러스로부터 입력을 수신할 수 있다. 그러나, 사용자는 스타일러스가 하나 이상의 가상 드로잉 도구(예컨대, 연필, 붓, 캘리그래피 펜 등)을 모방하도록 원할 수 있고, 디바이스와 함께 스타일러스를 이용하는 것은 종이 위에 드로잉 도구를 이용하는 것과 유사한 사용자 경험을 제공한다. 또한, 사용자는 스타일러스 및 디바이스가 종이에 드로잉 도구로 할 수 있는 기능을 뛰어넘는 드로잉 기능을 제공하기를 원할 수 있다(예컨대, 스타일러스가 우측으로 이동할 때에는 적색 펜 마크가 되고, 스타일러스가 좌측으로 이동할 때에는 청색 펜 마크로 변경하거나, 또는 스타일러스 접촉 세기가 약할 때에는 적색 펜 마크가 되고, 스타일러스 접촉 세기가 강할 때에는 청색 펜 마크로 변경됨). 아래 실시예들은 스타일러스에 의해 모방되는 가상 드로잉 도구 및 스타일러스로부터의 입력의 특성들에 따라 스타일러스의 마크의 하나 이상의 특성을 조정함으로써 이러한 문제점들을 해결한다.
아래에서, 도 13a 내지 도 13o는 일부 실시예들에 따른, 스타일러스로부터의 입력의 특성들에 따라 마크의 하나 이상의 특성을 조정하기 위한 예시적인 사용자 인터페이스를 예시한다. 도 14a 내지 도 14e는 일부 실시예들에 따른, 스타일러스로부터의 입력의 특성들에 따라 마크의 하나 이상의 특성을 조정하는 방법을 예시하는 흐름도이다. 도 13a 내지 도 13o의 사용자 인터페이스를 이용하여 도 14a 내지 도 14e의 프로세스를 예시한다.
도 13a 내지 도 13o는 일부 실시예들에 따른, 스타일러스로부터의 입력의 특성들에 따라 마크의 하나 이상의 특성을 조정하기 위한 예시적인 사용자 인터페이스를 예시한다. 이 도면들에서의 사용자 인터페이스들은 도 14a 내지 도 14e에서의 프로세스들을 비롯한, 이하에 기술되는 프로세스들을 설명하는 데 사용된다. 후속하는 예들 중 일부가 (터치 감응형 표면과 디스플레이가, 예를 들어, 터치 스크린(112) 상에서 조합된) 터치 스크린 디스플레이 상의 입력들을 참조하여 주어질 것이지만, 일부 실시예들에서, 디바이스는 도 6b에 도시된 바와 같이 디스플레이(650)와 별개인 터치 감응형 표면(651) 상의 입력들을 검출한다.
일부 실시예들에서, 디바이스는 별개의 디스플레이(예컨대, 디스플레이(650)) 및 별개의 터치 감응형 표면(예컨대, 터치 감응형 표면(651))을 갖는 전자 디바이스이다. 일부 실시예들에서, 디바이스는 휴대용 다기능 디바이스(100)이고, 디스플레이는 터치 감응형 디스플레이 시스템(112)이며, 터치 감응형 표면은 디스플레이 상의 촉각적 출력 생성기들(163)을 포함한다(도 1a). 설명의 편의를 위해, 도 13a 내지 도 13o와 관련하여 기술되는 실시예들은 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에 수행되는 동작들과 관련하여 논의될 것이다. 이러한 실시예들에서, 포커스 선택자는, 선택적으로: 각각의 손가락 또는 스타일러스 접촉이거나, 손가락 또는 스타일러스 접촉에 대응하는 대표 지점(예컨대, 각각의 접촉의 중심, 또는 각각의 접촉과 연관된 지점), 또는 터치 감응형 디스플레이 시스템(112) 상에 검출된 둘 이상의 접촉들의 중심이다. 그러나 유사한 동작들이, 선택적으로, 도 13a 내지 도 13o에 도시된 사용자 인터페이스들을 디스플레이(650) 상에 디스플레이하는 동안 터치 감응형 표면(651) 상에서 (또는 근처에서) 도 13a 내지 도 13o에서 묘사되는 접촉들을 검출하는 것에 응답하여 디스플레이(650) 및 별개의 터치 감응형 표면(651)을 갖는 디바이스 상에서 수행된다.
도 13a 내지 도 13o는 일부 실시예들에 따른, 스타일러스로부터의 입력의 특성들에 따라 마크의 하나 이상의 특성을 조정하기 위한 예시적인 사용자 인터페이스를 예시한다. 비록 도 13a는 디바이스(100)의 추가 세부사항들(예컨대, 스피커(111), 광 센서(164), 근접 센서(166), 등)을 갖는 터치 스크린(112)을 도시하고 있으나, 명확한 설명을 위해 도 13b 내지 도 13o는 디바이스(100)의 다른 세부사항은 도시하지 않고 단순히 디바이스(100)의 터치 스크린(112)을 도시한다. 또한, 도 13a는 터치 감응형 표면(예컨대, 디바이스(100)의 터치 스크린(112)) 바로 위의 관점에서의 예를 예시하지만, 도 13b 내지 도 13o는 다음 두 관점에서의 예를 예시한다: 터치 감응형 표면(예컨대, 디바이스(100)의 터치 스크린(112)) 바로 위의 관점 및 터치 감응형 표면의 측면 관점.
도 13a는 스타일러스(예컨대, 스타일러스(203))의 위치 상태에 대응하는 표시(예컨대, 표시(1316-a))를 디스플레이하는 예를 예시한다. 이 예에서, 스타일러스(203)는 터치 스크린(112)에 대한 스타일러스(203)의 배향(예컨대, 배향(1306-a)) 및 터치 스크린(112) 상의 스타일러스(203)의 팁의 투영의 위치(예컨대, (x,y) 위치(1304-a))를 갖는 위치 상태를 갖는다. 도 13a에 도시된 바와 같이, 스타일러스(203)가 배향(1306-a)(예컨대, 축(508)에 대하여 시계방향 회전각으로 대략 315 도) 및 팁 투영이 (x,y) 위치(1304-a)에 있도록 위치설정되면, 표시(1316-a)가 터치 스크린(112) 상에 디스플레이되어 스타일러스(203)가 터치 스크린(112)을 터치(또는 마크)할 곳을 도시한다. 일부 실시예들에서, 스타일러스가 제1 배향으로 위치설정되면 표시는 터치 스크린(112) 상에서, (x,y) 위치(1304-a)에 대하여 제1 방향으로 변위되고, 스타일러스가 제1 배향과 구분되는 제2 배향으로 위치설정되면 표시는 터치 스크린(112) 상에서, (x,y) 위치(1304-a)에 대하여 제2 방향으로 변위된다.
일부 실시예들에서, 스타일러스로부터의 입력 동안 스타일러스의 위치 상태는 단일, 정적 위치 상태가 아니고; 오히려, 스타일러스의 위치 상태는 전형적으로 스타일러스로부터의 입력 동안 변경된다(그리고 이것은 때때로 스타일러스로부터의 입력의 복수의 특성으로서 지칭됨). 예를 들어, 스타일러스(203)의 입력의 복수의 특성은 터치 스크린(112)에 대한 스타일러스(203)의 배향(예컨대, 배향(1306-a)), 입력 동안 터치 스크린(112)을 가로지르는 스타일러스(203)의 이동 방향("방향성"), 터치 스크린(112)에 대한 스타일러스(203)의 틸트, 터치 스크린(112) 상의 스타일러스(203)의 접촉 세기, 및/또는 터치 스크린(112) 상에서 또는 근처에서 스타일러스(203)의 이동의 속도를 포함한다.
도 13b 및 도 13c 및 도 13h 내지 도 13l은 스타일러스(예컨대, 스타일러스(203))가 터치 감응형 표면의 표면(예컨대, 터치 스크린(112))과 물리적으로 접촉하면 표시(예컨대, 표시(1316-b), 표시(1316-c), 표시(1316-h), 표시(1316-i), 표시(1316-j), 표시(1316-k), 및 표시(1316-l))를 디스플레이하는 예를 예시한다. 일부 실시예들에서, 스타일러스(203)가 터치 스크린(112)과 물리적으로 접촉하면, 터치 스크린(112)으로부터 떨어진 스타일러스(203)의 거리(예컨대, 거리(1314-a))는 0보다 큰 것으로 계산된다(예컨대, 터치 스크린(112) 상의 유리층의 두께를 고려함). 일부 실시예들에서, 스타일러스가 터치 감응형 표면의 표면과 물리적으로 접촉하면, 표시는 배향의 변경에 응답하여 업데이트되고(도 13b 및 도 13c에 대하여 아래 기재한 바와 같음) 표시는 틸트의 변경에 응답하여 업데이트되고(위에서 기재한 바와 같음), 간결함을 위하여, 상세사항들은 여기에서 반복하지 않는다.
일부 실시예들에서, 스타일러스(203)가 터치 스크린(112)과 물리적으로 접촉하면, 표시와 마크 둘 모두 디스플레이된다(예컨대, 도 13h 내지 도 13l). 일부 실시예들에서, 표시는 마크가 터치 감응형 디스플레이(예컨대, 터치 스크린(112)) 상에 드로잉될 곳을 나타내는 가상 "펜 팁" 또는 기타 요소에 대응한다. 일부 실시예들에서, 마크는 터치 감응형 디스플레이 상의 점, 선, 붓질 등이다. 일부 실시예들에서, 표시는 마크의 일 단부(말단)에 대응한다(예컨대, 도 13d 내지 도 13g 및 도 13m 내지 도 13o). 예를 들어, 드로잉되고 있는 마크가 선이면, 표시는 드로잉되고 있는 선의 단부에 대응한다(또는 그것에 인접한다). 일부 실시예들에서, 스타일러스가 터치 감응형 디스플레이의 표면과 물리적으로 접촉할 때 표시가 디스플레이되는 경우, 표시의 형상(및 선택적으로 색상)은 스타일러스에 의해 모방되는 가상 드로잉 도구의 팁의 형상(및 선택적으로 색상)에 대응한다. 예를 들어, 스타일러스가 가상 황색 하이라이터(highlighter)로서 사용되고 있는 경우, (하이라이터의 끌 끝에 대응하는) 표시는 황색 직사각형이고, 스타일러스가 터치 감응형 디스플레이의 표면을 가로질러 이동됨에 따라, (예컨대, 스타일러스의 경로를 따라 표시의 크기/형상/색상을 확장하여) 마크가 생성된다. 스타일러스가 가상 황색 하이라이터로서 사용되고 있고 스타일러스가 터치 감응형 디스플레이 상의 한 점을 터치한 뒤 터치 감응형 디스플레이를 가로질러 이동하지 않고 리프트오프되는 경우, (하이라이터의 끌 끝인 표시에 대응하는) 황색 직사각형 마크는 터치 감응형 디스플레이 상의 스타일러스가 터치했던 지점에 디스플레이될 수 있다.
도 13b 및 도 13c는 터치 감응형 디스플레이(예컨대, 터치 스크린(112))에 대한 스타일러스(예컨대, 스타일러스(203))의 배향(예컨대, 배향(1306))을 변경하고 배향의 변경에 응답하여, 디스플레이되는 표시를 업데이트하는(예컨대, 제1 위치에서 표시(1316-b)를 디스플레이하는 것에서 제2 위치에서 표시(1316-c)를 디스플레이하는 것으로) 예를 예시한다. 도 13b 및 도 13c에서, 스타일러스의 팁의 (x,y) 위치(예컨대, (x,y) 위치(1304-b)), 스타일러스의 틸트(예컨대, 틸트(1312-a)), 및 스타일러스의 터치 감응형 디스플레이에 대한 거리(예컨대, 스타일러스 팁이 터치 감응형 디스플레이와 접촉할 때의 거리(1314-a))가 일정하게 유지되는 반면, 스타일러스의 터치 감응형 디스플레이에 대한 배향은 (예컨대, 배향(1306-a)에서 배향(1306-b)으로) 변경된다. 스타일러스(203)의 배향이 배향(1306-a)(예컨대, 축(508)에 대하여 시계방향 회전각으로 대략 315 도)에서 배향(1306-b)(예컨대, 축(508)에 대하여 시계방향 회전각으로 대략 45 도)으로 변경됨에 따라, 디스플레이된 표시는 터치 스크린(112) 상에서 (예컨대, 표시(1316-b)에서 표시(1316-c)로) 업데이트된다.
도 13d 및 도 13e는 스타일러스(예컨대, 스타일러스(203))로부터의 입력 동안 방향성이 변경되고, 방향성의 변경에 응답하여, 방향성이 변함에 따라 마크의 폭을 변경함으로써 마크(예컨대, 마크(1330))를 조정하는 예를 예시한다. 도 13d 및 도 13e에서, 터치 감응형 디스플레이에 대한 스타일러스의 배향(예컨대, 배향(1306-b)), 스타일러스의 틸트(예컨대, 틸트(1312-a)), 및 스타일러스의 거리(예컨대, 스타일러스 팁이 터치 감응형 디스플레이와 접촉할 때의 거리(1314-a))는 일정하게 유지되는 반면, 스타일러스의 방향성은 변경된다(예컨대, (x,y) 위치(1304-c)에서 아래로 이동하는 것에서 (x,y) 위치(1304-d)에서 위로 이동하는 것으로). 일부 실시예들에서, 도 13d 및 도 13e의 스타일러스(203)는 캘리그래피 필기를 위한 펜을 모방하고 있다. 도 13d에서, 스타일러스(203)가 일 방향(예컨대, 아래)으로 이동함에 따라, 마크의 폭(예컨대, 표시(1316-d)의 마크(1330-a))이 증가되고, 도 13e에서, 스타일러스(203)가 다른 방향(예컨대, 위)로 이동함에 따라, 마크의 폭은 감소된다(예컨대, 표시(1316-e)의 마크(1330-b)). 일부 실시예들에서, 스타일러스가 제1 방향(예컨대, 위)으로 이동하는 동안 제1(예컨대, 얇은) 폭으로부터, 스타일러스가 제1 방향에 반대인 제2 방향(예컨대, 아래)으로 이동하는 동안 제2(예컨대, 두꺼운) 폭으로 점진적인 전이가 있으며, 이는 도 13d 및 도 13e에 도시된 바와 같다.
일부 실시예들에서, 스타일러스(203)의 방향성의 변경에 응답하여, 마크의 색상은 방향성이 변함에 따라 변경된다. 일부 실시예들에서, 마크는 방향성이 변함에 따라 미묘한 색상 변동을 갖게 된다. 예를 들어, 스타일러스(203)가 제1 방향으로 이동함에 따라, 마크(예컨대, 마크(1330))의 색상은 밝은 색상이고, 스타일러스(203)가 제2 방향으로 이동함에 따라, 마크(예컨대, 마크(1330))의 색상은 동일한 색상의 더 어두운 버전이다. 도 13d 및 도 13e를 예로서 이용하면, 일부 실시예들에서, 스타일러스(203)가 아래로 이동함에 따라(그리고 마크의 폭이 증가됨에 따라), 마크의 색상은 밝은 청색이고, 스타일러스(203)가 위로 이동함에 따라(마크의 폭이 감소됨에 따라), 마크의 색상은 어두운 청색이다.
도 13f 및 도 13g는 터치 감응형 디스플레이(예컨대, 터치 스크린(112))에 대한 스타일러스(예컨대, 스타일러스(203))의 틸트(예컨대, 틸트(1312))를 변경하고, 틸트의 변경에 응답하여, 틸트가 증가함에 따라 마크의 폭을 증가시킴으로써 마크(예컨대, 마크(1332))를 조정하는 예를 예시한다. 도 13f 및 도 13g에서, 터치 감응형 디스플레이에 대한 스타일러스의 배향(예컨대, 배향(1306-b)), 및 스타일러스의 거리(예컨대, 스타일러스 팁이 터치 감응형 디스플레이와 접촉할 때의 거리(1314-a))는 일정하게 유지되는 반면, 스타일러스의 틸트는, 스타일러스가 스타일러스(203)의 입력 동안 터치 스크린(112)과 더 평행에 가깝게 틸트됨에 따라, (예컨대, 틸트(1312-b)에서 틸트(1312-c)로) 변경된다. 일부 실시예들에서, 도 13f 및 도 13g의 스타일러스(203)는 붓을 모방하고 있다. 이 예에서 도시된 바와 같이, 틸트가 증가함에 따라, 마크(예컨대, 마크(1332))의 폭이 증가한다. 도 13f에서, 틸트가 상대적으로 작으면(예컨대, 틸트(1312-b)), 마크의 폭은 얇고(예컨대, 표시(1316-f)), 도 13g에서, 틸트가 상대적으로 크면(예컨대, 틸트(1312-c)), 마크의 폭은 두껍다(예컨대, 표시(1316-g)).
도 13h 내지 도 13j는 입력 동안 스타일러스의 접촉 세기(예컨대, 터치 감응형 표면(예컨대, 터치 스크린(112)) 상의 스타일러스(예컨대, 스타일러스(203))의 접촉의 세기에 대응하는 파라미터)를 변경하고, 접촉 세기의 변경에 응답하여, 접촉 세기가 증가함에 따라 마크의 폭을 증가시킴으로써 마크(예컨대, 마크(1334))를 조정하는 예를 예시한다. 도 13h 내지 도 13j에서, 터치 감응형 디스플레이에 대한 스타일러스의 배향(예컨대, 배향(1306-b)), 스타일러스의 틸트(예컨대, 틸트(1312-a)), 및 스타일러스의 거리(예컨대, 스타일러스 팁이 터치 감응형 디스플레이와 접촉할 때의 거리(1314-a))가 일정하게 유지되는 반면, 스타일러스의 접촉 세기는 스타일러스(203)의 입력 동안 접촉 세기가 증가함에 따라 변경된다(예컨대, 도 13h의 접촉 세기(1322-a)에서 도 13i의 접촉 세기(1322-b)로, 도 13j의 접촉 세기(1322-c)로). 일부 실시예들에서, 도 13h 내지 도 13j의 스타일러스(203)는 연필 또는 펜 또는 붓을 모방하고 있다. 도 13h 내지 도 13j에 도시된 바와 같이, 접촉 세기가 증가함에 따라(예컨대, 접촉의 세기(1320)에 대응하여, 접촉 세기(1322)의 진함에 의해 예시되는 바와 같음), 마크(예컨대, 마크(1334))의 폭은 증가한다. 도 13h에서, 접촉 세기가 상대적으로 낮으면(예컨대, 접촉 세기(1322-a)), 마크의 폭은 얇고(예컨대, 표시(1316-h)); 도 13i에서, 접촉 세기가 중간이면(예컨대, 접촉 세기(1322-b)), 마크의 폭은 중간이고(예컨대, 표시(1316-i)); 도 13j에서, 접촉 세기가 상대적으로 높으면(예컨대, 접촉 세기(1322-c)), 마크의 폭은 두껍다(예컨대, 표시(1316-j)).
또한, 도 13h 내지 도 13j에 도시되지 않았지만, 일부 실시예들에서, 스타일러스(203)의 접촉 세기의 변경에 응답하여, 마크의 색상은 접촉 세기가 변함에 따라 변경된다. 일부 실시예들에서, 접촉 세기가 증가함에 따라, 마크의 색상은 제1 색상에서 제2 색상으로 점진적으로 전이된다. 일부 실시예들에서, 스타일러스(203)의 접촉 세기가 증가함에 따라, 마크(예컨대, 마크(1334))의 색상은 제1 색상(예컨대, 적색)에서 제2 색상(예컨대, 청색)으로 변경되고, 점진적인 전이 동안 마크의 색상은 제1 색상과 제2 색상의 혼합(예컨대, 자주색)을 포함한다. 도 13h 내지 도 13j를 설명을 위한 예로서 이용하면, 스타일러스(203)의 접촉 세기가 증가함에 따라, 마크(예컨대, 마크(1334))의 색상은 적색에서 청색으로(예컨대, 적색에서 자주색으로, 청색으로) 점진적으로 전이한다. 도 13h에서, 접촉 세기가 상대적으로 낮으면(예컨대, 접촉 세기(1322-a)), 마크의 색상은 적색이고(예컨대, 표시(1316-h)); 도 13i에서, 접촉 세기가 중간이면(예컨대, 접촉 세기(1322-b)), 마크의 색상은 자주색이고(예컨대, 적색과 청색의 혼합, 표시(1316-i)); 도 13j에서, 접촉 세기가 상대적으로 높으면(예컨대, 접촉 세기(1322-c)), 마크의 색상은 청색이다(예컨대, 표시(1316-j)). 유사하게, 일부 실시예들에서, 접촉 세기가 감소함에 따라, 마크의 색상은 제2 색상에서 제1 색상으로 점진적으로 전이한다.
도 13k 및 도 13l은 입력 동안 스타일러스(예컨대, 스타일러스(203))의 접촉 세기가 변경되고, 접촉 세기의 변경에 응답하여, 접촉 세기가 증가함에 따라 마크의 불투명도를 증가시킴으로써 마크(예컨대, 마크(1336))를 조정하는 예를 예시한다. 도 13k 및 도 13l에서, 터치 감응형 디스플레이에 대한 스타일러스의 배향(예컨대, 배향(1306-b)), 스타일러스의 틸트(예컨대, 틸트(1312-a)), 및 스타일러스의 거리(예컨대, 스타일러스 팁이 터치 감응형 디스플레이와 접촉할 때의 거리(1314-a))가 일정하게 유지되는 반면, 스타일러스의 접촉 세기는 스타일러스(203)의 입력 동안 접촉 세기가 증가함에 따라 변경된다(예컨대, 도 13k의 접촉 세기(1322-d)에서 도 13l의 접촉 세기(1322-e)). 일부 실시예들에서, 도 13k 및 도 13l의 스타일러스(203)는 연필 또는 볼펜 또는 붓을 모방하고 있다. 도 13k 및 도 13l에 도시된 바와 같이, 접촉 세기가 증가함에 따라(예컨대, 접촉의 세기의 세기(1320)에 대응하여, 접촉 세기(1322)의 진함에 의해 예시되는 바와 같음), 마크(예컨대, 마크(1336))의 불투명도는 증가한다. 도 13k에서, 접촉 세기가 상대적으로 낮으면(예컨대, 접촉 세기(1322-d)), 마크의 불투명도는 밝고(예컨대, 표시(1316-k)); 도 13l에서, 접촉 세기가 더 높으면(예컨대, 접촉 세기(1322-e)), 마크의 불투명도는 더 어둡다(예컨대, 표시(1316-l)).
도 13m은 입력 동안 스타일러스(예컨대, 스타일러스(203))의 이동의 속도가 변경되고, 속도의 변경에 응답하여, 속도가 증가함에 따라 마크의 폭을 감소시킴으로써 마크(예컨대, 마크(1338))를 조정하는 예를 예시한다. 예를 들어, 마크(1338-a)의 획(stroke)을 완료하기 위하여 스타일러스(203)의 이동의 속도가 증가함에 따라 마크(1338-a)의 폭이 감소된다. 일부 실시예들에서, 속도의 변경에 응답하여, 마크는 속도가 감소함에 따라 마크의 폭을 증가시킴으로써 조정된다. 예를 들어, 마크(1338-b)의 폭은 스타일러스(203)의 이동의 속도가 마크(1338-b)의 끝에서 감소함에 따라 증가된다. 일부 실시예들에서, 도 13m의 스타일러스(203)는 한자 캘리그래피(또는 다른 문자)를 위한 캘리그래피 붓을 모방하고 있다. 대안적으로, 일부 실시예들에서, 속도의 변경에 응답하여, 마크는 속도가 증가함에 따라 마크의 폭을 증가시키거나 또는 속도가 감소함에 따라 마크의 폭을 감소시킴으로써 조정된다.
도 13n 및 도 13o는 스타일러스로부터의 입력 동안 스타일러스(예컨대, 스타일러스(203))의 방향성과 배향 사이의 (각도) 차이가 변경되고, 방향성과 배향 사이의 차이가 변경됨에 따라 마크의 폭을 조정하는 예를 예시한다. 도 13n 및 도 13o에서, 터치 감응형 디스플레이에 대한 스타일러스의 배향(예컨대, 배향(1306-b)), 스타일러스의 틸트(예컨대, 틸트(1312-a)), 및 스타일러스의 거리(예컨대, 스타일러스 팁이 터치 감응형 디스플레이와 접촉할 때의 거리(1314-a))는 일정하게 유지되는 반면, 스타일러스의 방향성은 변경된다(예컨대, (x,y) 위치(1304-m)에서 아래로 이동하는 것에서 (x,y) 위치(1304-n)에서 우측으로 이동하는 것으로). 일부 실시예들에서, 도 13n 및 도 13o의 스타일러스(203)는 끌 팁 드로잉 도구(예컨대, 하이라이터, 화이트보드 마커(dry erase marker) 등)를 모방하고 있다. 도 13n에서, 스타일러스(203)가 제1 배향(예컨대, 축(508)에 대하여 시계방향 회전각으로 대략 45 도)에 있는 동안 일 방향(예컨대, 축(508)에 대하여 시계방향 회전각으로 대략 180 도)으로 이동함에 따라, 방향성과 배향 사이의 (각도) 차이는 제1 차이(예컨대, 대략 135 도)이고 마크(예컨대, 마크(1340))는 제1 폭(예컨대, 얇은 폭)을 갖는다. 도 13o에서, 스타일러스(203)가 제1 배향(예컨대, 축(508)에 대하여 시계방향 회전각으로 대략 45 도)에 있는 동안 제2 방향(예컨대, 축(508)에 대하여 시계방향 회전각으로 대략 90 도)으로 이동함에 따라, 방향성과 배향 사이의 (각도) 차이는 제2 차이(예컨대, 대략 45 도)이고 마크(예컨대, 마크(1340))는 제2 폭(예컨대, 두꺼운 폭)을 갖는다.
도 14a 내지 도 14e는 일부 실시예들에 따른, 스타일러스로부터의 입력의 특성들에 따라 마크의 하나 이상의 특성을 조정하는 방법(1400)을 예시하는 흐름도이다. 방법(1400)은 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스(예컨대, 도 3의 디바이스(300), 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고 터치 감응형 표면이 디스플레이 상에 있거나 디스플레이와 일체화된다(간략히 터치 감응형 디스플레이로도 지칭됨). 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 일부 실시예들에서, 디바이스는 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서를 포함한다. 일부 실시예들에서, 스타일러스는 팁(또는 기타 대표적인 부분)을 포함한다. 일부 실시예들에서, 팁이 아닌 스타일러스의 일부분이 팁의 위치를 추정하는 데 사용된다. 방법(1400)의 일부 동작들은, 선택적으로, 조합되고/되거나 일부 동작들의 순서가, 선택적으로, 변경된다.
아래 기재되는 바와 같이, 방법(1400)은 스타일러스로부터의 입력의 특성들(예컨대, 배향, 이동 방향, 틸트, 접촉 세기, 및/또는 이동의 속도)에 따라 마크의 하나 이상의 특성(예컨대, 불투명도, 폭, 및/또는 색상)을 조정하기 위한 효율적인 방식을 제공한다. 방법은 종이 위에 물리적 드로잉 도구를 이용하는 사용자 경험과 유사한, 스타일러스 및 전자 디바이스를 이용한 사용자 경험을 제공한다. 또한, 방법은 종이 위에 물리적 드로잉 도구를 이용하여 할 수 있는 기능을 뛰어넘는 스타일러스 및 전자 디바이스를 이용한 드로잉 기능을 제공한다. 방법은 스타일러스를 사용하여 전자 디바이스와 상호작용할 때 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 감소시킴으로써, 더 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스들에 대해, 사용자가 더 빠르고 더 효율적으로 스타일러스 입력을 입력할 수 있게 하는 것은 전력을 보존하고 배터리 충전들 사이의 시간을 증가시킨다.
디바이스는 스타일러스로부터의 입력을 검출한다(1402). 일부 실시예들에서, 스타일러스로부터의 입력은 스타일러스의 리프트오프 전까지 스타일러스의 터치 다운으로부터의 입력을 포함한다. 예를 들어, 도 13d 및 도 13e에서, 스타일러스(예컨대, 스타일러스(203))로부터의 입력은 마크(예컨대, 마크(1330))를 만들기 시작하는 터치 스크린(112) 상의 스타일러스(203)의 터치 다운부터 마크를 완성한 이후 스타일러스(203)의 리프트오프 전까지의 입력을 포함한다.
디바이스는 스타일러스로부터의 입력의 복수의 특성을 결정하는데, 입력의 특성들은 입력 동안 터치 감응형 표면에 대한 스타일러스의 배향, 및 입력 동안 터치 감응형 표면에 걸친 스타일러스의 이동 방향("방향성")을 포함한다(1404). 예를 들어, 도 13d는 배향(1306-b) 및 하향 방향성을 갖는 스타일러스(203)를 도시하는 반면, 도 13e는 배향(1306-b) 및 상향 방향성을 갖는 스타일러스(203)를 도시한다. 도 13d 및 도 13e에서 배향은 변하지 않지만, 전형적으로 입력 동안 스타일러스의 배향은 단일 배향이 아니고; 오히려, 배향은 전형적으로 입력 동안 변경된다. 또한, 전형적으로 입력 동안 스타일러스의 방향성은 단일 방향성이 아니고; 오히려, 방향성은 전형적으로 입력 동안 변경되고, 이는 도 13d 및 도 13e에 도시된 바와 같다. 일부 실시예들에서, 입력의 복수의 특성은 터치 감응형 표면(예컨대, 터치 스크린(112))에 대하여 상대적이다.
일부 실시예들에서, 스타일러스로부터의 입력의 복수의 특성(예컨대, 터치 감응형 표면에 대한 스타일러스의 배향, 터치 감응형 표면에 대한 스타일러스의 틸트 등에 대응함)은 전자 디바이스에 송신된 스타일러스로부터의 하나 이상의 측정치에 따라 검출된다. 예를 들어, 스타일러스는 스타일러스의 틸트 및/또는 배향을 측정하고 측정치를 전자 디바이스에 송신한다. 대안적으로, 일부 실시예들에서, 입력의 복수의 특성은 터치 감응형 표면에 의해 감지된, 스타일러스의 하나 이상의 전극으로부터의 미가공 출력에 따라 검출된다. 예를 들어, 터치 감응형 표면은 스타일러스의 하나 이상의 전극으로부터의 미가공 출력을 수신하고, 미가공 출력에 기초하여 스타일러스의 틸트 및/또는 배향을 계산한다.
일부 실시예들에서, 스타일러스의 배향은 터치 감응형 표면 터치 감응형 표면과 평행한 평면 내의 적어도 하나의 축에 대한 터치 감응형 표면 상으로의 스타일러스의 투영(예컨대, 스타일러스의 길이의 직교 투영 또는 터치 감응형 표면 상으로의 스타일러스의 다른 두 점의 투영 사이의 라인에 대응하는 라인)의 배향이다(1406). 예를 들어, 도 5a에서, 스타일러스(203)의 배향(506)은 축(508)에 대한 터치 스크린(112) 상으로의 스타일러스(203)의 투영의 배향이다. 일부 실시예들에서, 터치 감응형 표면 상으로의 스타일러스의 투영의 배향은 도 5a의 축(508)과 같은 단일 축(예컨대, 0 도에서 360 도까지 축으로부터 시계방향 회전각을 이루는 단일 축)에 대하여 상대적이다. 대안적으로, 일부 실시예들에서, 터치 감응형 표면 상으로의 스타일러스의 투영의 배향은 한 쌍의 축(예컨대, 도 5a의 x 축(590) 및 y 축(592)과 같은 x 축 및 y 축, 또는 디스플레이 상에 디스플레이되는 애플리케이션과 연관된 한 쌍의 축)에 대하여 상대적이다.
스타일러스(예컨대, 스타일러스(203))로부터의 입력을 검출하는 것에 응답하여(1408), 디바이스는 디스플레이 상에 디스플레이되는 마크를 생성하고, 마크는 불투명도, 폭, 및/또는 색상을 포함하는 특성들을 갖는다(1410). 예를 들어, 도 13d에서, 스타일러스(203)로부터의 입력을 검출하는 것에 응답하여, 디바이스는 마크(1330-a)를 생성하고, 마크(1330-a)는 불투명도, 폭, 및/또는 색상을 포함하는 특성들을 갖는다.
또한, 스타일러스로부터의 입력을 검출하는 것에 응답하여(1408), 디바이스는 스타일러스에 의해 모방되는 가상 드로잉 도구, 및 입력 동안 스타일러스로부터의 입력의 복수의 특성의 변경에 따라 마크의 하나 이상의 특성을 조정한다(1412). 일부 실시예들에서, 모방되고 있는 가상 드로잉 도구는 디스플레이되는 메뉴(예컨대, 가상 연필, 펜, 붓, 하이라이터, 캘리그래피 펜 등을 구비한 팔레트)를 통해 도구를 선택하는 사용자에 의해 결정된다. 일부 실시예들에서, 모방되고 있는 가상 드로잉 도구는 스타일러스를 이용한 사용자 제스처(예컨대, 스타일러스의 원통의 회전, 스타일러스 상의 단일 탭 또는 더블 탭 등)에 의해 결정된다. 마크의 폭과 같은 마크의 임의의 특성들 중 하나는 스타일러스로부터의 입력의 복수의 특성의 서브세트, 또는 심지어 단 하나에 기초하여 조정될 수 있다. 예를 들어, 도 13d 및 도 13e에서, 마크(1330)의 하나 이상의 특성(예컨대, 폭 및/또는 색상)은 캘리그래피 펜을 모방하는 스타일러스(203) 및 입력 동안 스타일러스(203)의 방향성의 변경에 따라 조정된다. 다른 예로서, 도 13f 및 도 13g에서, 마크(1332)의 하나 이상의 특성(예컨대, 폭)은 붓을 모방하는 스타일러스(203) 및 입력 동안 스타일러스(203)의 틸트의 변경에 따라 조정된다. 또 다른 예로서, 도 13h 내지 도 13j에서, 마크(1334)의 하나 이상의 특성(예컨대, 폭)은 붓(또는 연필 또는 펜)을 모방하는 스타일러스(203) 및 입력 동안 스타일러스(203)의 접촉 세기의 변경에 따라 조정된다. 또 다른 예로서, 도 13k 및 도 13l에서, 마크(1336)의 하나 이상의 특성(예컨대, 불투명도)은 연필(또는 붓 또는 펜)을 모방하는 스타일러스(203) 및 입력 동안 스타일러스(203)의 접촉 세기의 변경에 따라 조정된다.
일부 실시예들에서, 마크의 하나 이상의 특성을 조정하는 것은 방향성과 배향 사이의 (각도) 차이가 변함에 따라 마크의 폭을 조정하는 것을 포함한다(1414). 예를 들어, 도 13n 및 도 13o에서, 마크(1340)의 폭은, 스타일러스(203)의 방향성과 배향 사이의 각도 차이가 (예컨대, 도 13n의 대략 135 도의 각도 차이에서 도 13o의 대략 45 도의 각도 차이로) 변함에 따라 변경된다(예컨대, 폭 증가). 다른 예로서, 도 13n 및 도 13o의 스타일러스(203)가 원을 드로잉하는 데 사용되는 동안 배향을 변경하여 방향성과 배향 사이의 각도 차이를 동일하게 유지한다면, 원은 전체적으로 동일한 폭을 가질 것이고; 대조적으로, 도 13n 및 도 13o의 스타일러스(203)가 원을 드로잉하는 동안 고정된 스타일러스(203)의 배향을 유지하는 데 사용된다면, 원의 상부 및 하부는 제1(예컨대, 두꺼운) 폭을 갖고 원의 좌측 및 우측은 제2(예컨대, 얇은) 폭을 가질 것이다.
일부 실시예들에서, 디바이스는 입력 동안 방향성의 변경을 검출하고; 방향성의 변경을 검출하는 것에 응답하여, 방향성이 변함에 따라 마크의 폭을 변경함으로써 마크를 조정한다(1416). 일부 실시예들에서, 가상 드로잉 도구가 펜(예컨대, 캘리그래피용 펜)이면, 입력 동안 스타일러스로부터의 입력의 복수의 특성의 변경에 따라 마크의 특성들을 조정하는 것은 방향성이 변함에 따라 마크의 폭을 변경하는 것을 포함한다. 일부 실시예들에서, 스타일러스로부터의 입력이 위로 이동하고 있는 경우 마크의 폭은 감소되고, 스타일러스로부터의 입력이 아래로 이동하고 있는 경우 마크의 폭은 증가되고, 이는 도 13d 및 도 13e에 도시된 바와 같다. 일부 실시예들에서, 스타일러스가 제1 방향(예컨대, 위)으로 이동하는 동안 제1(예컨대, 얇은) 폭으로부터, 스타일러스가 제1 방향에 반대인 제2 방향(예컨대, 아래)으로 이동하는 동안 제2(예컨대, 두꺼운) 폭으로 점진적인 전이가 있으며, 이는 도 13d 및 도 13e에 도시된 바와 같다.
일부 실시예들에서, 디바이스는 입력 동안 방향성의 변경을 검출하고; 방향성의 변경을 검출하는 것에 응답하여, 방향성이 변함에 따라 마크의 색상을 변경함으로써 마크를 조정한다(1418). 일부 실시예들에서, 입력 동안 스타일러스로부터의 입력의 복수의 특성의 변경에 따라 마크의 특성들을 조정하는 것은 방향성이 변함에 따라 마크의 색상을 변경하는 것을 포함한다. 일부 실시예들에서, 마크는 우측으로 이동하는 동안 밝은 청색이고, 좌측으로 이동하는 동안 어두운 청색이거나, 또는 아래로 이동하는 동안 밝은 청색이고 위로 이동하는 동안 어두운 청색인 것과 같이 방향성 변경에 따라 미묘한 색상 변동을 가지며, 이는 도 13d 및 도 13e에 관련하여 위에서 설명된 바와 같다. 일부 실시예들에서, 마크는, 우측으로 이동하는 동안 청색이고 좌측으로 이동하는 동안 적색인 것과 같이 방향성 변경에 따라 현저한 색상 변동을 갖는다(이는 대응하는 물리적 드로잉 도구에서 발생하지 않을 수 있음).
일부 실시예들에서, 스타일러스로부터의 입력의 복수의 특성은 스타일러스의 틸트를 포함하고, 스타일러스의 틸트는 터치 감응형 표면의 표면의 법선에 대한 각도이다(줄여서 터치 감응형 표면의 법선이라고도 지칭됨)(1420). 일부 실시예들에서, 스타일러스가 터치 감응형 표면에 직각/수직할 때 틸트는 0이고, 스타일러스가 터치 감응형 표면과 평행한 것에 더 가까이 틸트됨에 따라 틸트는 증가한다. 예를 들어, 도 13f 및 도 13g에서, 스타일러스(203)가 법선(510)에 정렬되면 스타일러스(203)의 틸트는 0일 것이고, 도 13f에서 도 13g까지, 스타일러스(203)의 틸트는 틸트(1312-b)에서 틸트(1312-c)로 증가한다. 일부 실시예들에서, 틸트는 마크의 하나 이상의 특성에 대한 조정 인자의 역할을 한다.
일부 실시예들에서, 디바이스는 스타일러스의 틸트의 변경을 검출하고; 스타일러스의 틸트의 변경을 검출하는 것에 응답하여, 틸트가 증가함에 따라 마크의 폭을 증가시킴으로써 마크를 조정한다(1422). 일부 실시예들에서, 입력 동안 스타일러스로부터의 입력의 복수의 특성의 변경에 따라 마크의 특성들을 조정하는 것은 틸트가 변경됨에 따라 마크의 폭을 변경하는 것을 포함한다. 예를 들어, 가상 드로잉 도구가 붓이면, 마크의 하나 이상의 특성을 조정하는 것은 틸트가 증가함에 따라 마크의 폭을 증가시키는 것을 포함하고, 이는 도 13f 및 도 13g에 도시된 바와 같다.
일부 실시예들에서, 스타일러스로부터의 입력의 복수의 특성은 접촉 세기를 포함하며, 접촉 세기는 스타일러스의 터치 감응형 표면 상의 접촉의 세기의 세기에 대응하는 파라미터이다(1424). 예를 들어, 도 13h 내지 도 13j에서, 스타일러스(203)의 접촉 세기는 도 13h의 접촉 세기(1322-a)에서 도 13i의 접촉 세기(1322-b)로, 도 13j의 접촉 세기(1322-c)로 증가한다. 일부 실시예들에서, 접촉 세기는 마크의 하나 이상의 특성에 대한 조정 인자의 역할을 한다.
일부 실시예들에서, 디바이스는 입력 동안 스타일러스의 접촉 세기의 변경을 검출하고; 접촉 세기의 변경을 검출하는 것에 응답하여, 접촉 세기가 증가함에 따라 마크의 불투명도를 증가시킴으로써 마크를 조정한다(1426). 일부 실시예들에서, 입력 동안 스타일러스로부터의 입력의 복수의 특성의 변경에 따라 마크의 특성들을 조정하는 것은 접촉 세기가 변경됨에 따라 마크의 불투명도를 변경하는 것을 포함한다. 일부 실시예들에서, 가상 드로잉 도구가 연필, 볼펜 또는 붓이면, 마크의 하나 이상의 특성을 조정하는 것은 접촉 세기가 증가함에 따라 마크의 불투명도를 증가시키는 것을 포함하며, 이는 도 13k 및 도 13l에 도시된 바와 같다.
일부 실시예들에서, 디바이스는 스타일러스의 접촉 세기의 변경을 검출하고; 접촉 세기의 변경을 검출하는 것에 응답하여, 접촉 세기가 증가함에 따라 마크의 폭을 증가시킴으로써 마크를 조정한다(1428). 일부 실시예들에서, 입력 동안 스타일러스로부터의 입력의 복수의 특성의 변경에 따라 마크의 특성들을 조정하는 것은 접촉 세기가 변경됨에 따라 마크의 폭을 변경하는 것을 포함한다. 일부 실시예들에서, 가상 드로잉 도구가 연필, 펜 또는 붓이면, 마크의 하나 이상의 특성을 조정하는 것은 접촉 세기가 증가함에 따라 마크의 폭을 증가시키는 것을 포함하며, 이는 도 13h 내지 도 13j에 도시된 바와 같다.
일부 실시예들에서, 디바이스는 스타일러스의 접촉 세기의 변경을 검출하고; 접촉 세기의 변경을 검출하는 것에 응답하여, 접촉 세기가 변경됨에 따라 마크의 색상을 변경함으로써 마크를 조정한다(1430). 일부 실시예들에서, 입력 동안 스타일러스로부터의 입력의 복수의 특성의 변경에 따라 마크의 특성들을 조정하는 것은 접촉 세기가 변경됨에 따라 마크의 색상을 변경하는 것을 포함한다. 일부 실시예들에서, 접촉 세기가 증가함에 따라, 마크의 색상은 제1 색상에서 제2 색상으로 점진적으로 전이되며, 점진적인 전이 동안 마크의 색상은 제1 색상과 제2 색상의 혼합을 포함한다. 예를 들어, 접촉 세기가 증가함에 따라, 마크의 색상은 적색에서 청색으로 점진적으로 (예컨대, 적색에서 자주색으로, 청색으로) 전이되며, 이는 도 13h 내지 도 13j에 관련하여 위에서 설명된 바와 같다.
일부 실시예들에서, 디바이스는 스타일러스로부터의 입력의 복수의 특성 중 하나 이상의 특성의 변경을 검출하고; 하나 이상의 특성의 변경을 검출하는 것에 응답하여, 스타일러스에 의해 모방되는 가상 드로잉 도구를 제1 가상 드로잉 도구에서 제2 가상 드로잉 도구로 변경한다(1432). 일부 실시예들에서, 스타일러스에 의해 모방되는 가상 드로잉 도구는 틸트에 기초하여 결정된다. 예를 들어, 스타일러스의 틸트가 사전정의된 임계각(예컨대 10, 15, 20, 또는 25 도) 미만인 경우, 스타일러스는 가상 펜 또는 연필을 모방하고, 스타일러스의 틸트가 사전정의된 임계각(예컨대 10, 15, 20, 또는 25 도) 초과인 경우, 스타일러스는 가상 하이라이터를 모방한다. 스타일러스에 의해 모방되는 가상 드로잉 도구를 제1 가상 드로잉 도구에서 제2 가상 드로잉 도구로 변경하는 것의 상세사항들은 방법(2700)에 관하여 아래 기재되고, 간결함을 위하여, 상세사항들은 여기에서 반복하지 않는다. 일부 실시예들에서, 스타일러스에 의해 모방되는 가상 드로잉 도구는 스타일러스에 의한 제스처(예컨대, 원통 회전 제스처)에 의해 결정된다. 일부 실시예들에서, 스타일러스에 의해 모방되는 가상 드로잉 도구는 가상 드로잉 도구들의 디스플레이되는 메뉴에서 명시적 선택에 의해 결정된다.
일부 실시예들에서, 스타일러스에 의해 모방되는 가상 드로잉 도구는 제1 가상 드로잉 도구(예컨대, 펜 도구)이고, 스타일러스가 디스플레이 상에 마크를 만드는 데 활성적으로 관여하지 않는 동안(예컨대, 스타일러스가 터치 감응형 표면과 접촉하지 않음), 디바이스는 스타일러스로부터의 입력의 복수의 특성의 제1 변경을 검출하고; 스타일러스로부터의 입력의 복수의 특성의 제1 변경을 검출하는 것에 응답하여, 디바이스는 제1 가상 드로잉 도구에서 제1 드로잉 도구와 상이한 제2 가상 드로잉 도구(예컨대, 하이라이터 도구)로 스위칭하고; 스타일러스에 의해 모방되는 가상 드로잉 도구가 제2 가상 드로잉 도구인 동안, 디바이스는 스타일러스로부터의 입력의 복수의 특성의 제2 변경(예컨대, 스타일러스로부터의 입력의 복수의 특성의 제1 변경의 반전)을 검출하고; 스타일러스로부터의 입력의 복수의 특성의 제2 변경을 검출하는 것에 응답하여: 스타일러스가 디스플레이 상에 마크를 만드는 데 활성적으로 관여하지 않는다(예컨대, 스타일러스가 터치 감응형 표면과 접촉하지 않음)는 결정에 따라, 디바이스는 제2 가상 드로잉 도구에서 제3 가상 드로잉 도구(예컨대, 제1 가상 드로잉 도구와 동일한 도구)로 스위칭되고; 스타일러스가 디스플레이 상에 마크를 만드는 데 활성적으로 관여한다(예컨대, 스타일러스가 터치 감응형 표면과 접촉하고 터치 감응형 표면 상에서 이동하여 디바이스가 디스플레이 상에 제2 가상 드로잉 도구로부터 마크를 디스플레이하게 하도록 함)는 결정에 따라, 디바이스는 제2 가상 드로잉 도구의 선택을 유지한다(1434). 일부 실시예들에서, 제3 가상 드로잉 도구는 제1 가상 드로잉 도구와 동일하다. 일부 실시예들에서, 제2 가상 드로잉 도구의 선택이 유지되는 동안, 제2 가상 드로잉 도구에 의해 만들어지는 마크의 하나 이상의 특성은 스타일러스로부터의 입력의 복수의 특성의 제2 변경에 따라 조정된다. 예를 들어, 제2 가상 드로잉 도구에 의해 만들어지는 마크의 폭은 스타일러스의 방향성, 틸트, 및/또는 접촉 세기가 변함에 따라 변경된다. 가상 드로잉 도구의 선택을 스위칭 및/또는 유지하는 것에 대한 추가적인 상세사항들은 방법(2700)에 관련하여 아래 기재되어 있고, 간결함을 위하여, 상세사항들은 여기에서 반복하지 않는다.
일부 실시예들에서, 디바이스는 터치 감응형 표면 상에서 또는 근처에서 스타일러스의 이동의 속도의 변경을 검출하고; 속도의 변경을 검출하는 것에 응답하여, 속도가 증가함에 따라 마크의 폭을 감소시킴으로써 마크를 조정한다(1436). 일부 실시예들에서, 입력 동안 스타일러스로부터의 입력의 복수의 특성의 변경에 따라 마크의 특성들을 조정하는 것은 터치 감응형 표면 상에서 또는 근처에서 스타일러스의 이동의 속도가 변경됨에 따라 마크의 폭을 변경하는 것을 포함한다. 일부 실시예들에서, 가상 드로잉 도구가 캘리그래피 붓이면, 마크의 하나 이상의 특성을 조정하는 것은 속도가 증가함에 따라 마크의 폭을 감소시키는 것을 포함하며, 이는 도 13m에 도시된 바와 같다(예컨대, 마크(1338-a)). 일부 실시예들에서, 가상 드로잉 도구가 캘리그래피 붓이면, 마크의 하나 이상의 특성을 조정하는 것은 속도가 감소함에 따라 마크의 폭을 증가시키는 것을 포함하며, 이는 도 13m에 도시된 바와 같다(예컨대, 마크(1338-b)). 대안적으로, 일부 실시예들에서, 속도의 변경에 응답하여, 마크는 속도가 증가함에 따라 마크의 폭을 증가시키거나 또는 속도가 감소함에 따라 마크의 폭을 감소시킴으로써 조정된다.
일부 실시예들에서, 스타일러스에 의해 모방되는 가상 드로잉 도구는 가상 드로잉 도구들의 군 중에 하나이며, 드로잉 도구들의 군 중에서 4개의 가상 드로잉 도구들의 각각에 대하여, 디바이스는 스타일러스로부터의 입력의 상이한 특성에 따라 마크의 폭을 조정한다(1438). 예를 들어, 가상 연필의 경우, 마크의 폭은 접촉 세기에 따라 조정되고(예컨대, 도 13h 내지 도 13j에 도시된 바와 같이, 접촉 세기가 증가함에 따라 폭이 증가함); 가상 볼펜의 경우, 마크의 폭은 속도에 따라 조정되고(예컨대, 도 13m의 마크(1338-a)와 유사하게, 속도가 증가함에 따라 폭이 감소함); 가상 붓의 경우, 마크의 폭은 틸트에 따라 조정되고(예컨대, 도 13f 및 도 13g에 도시된 바와 같이, 틸트가 증가함에 따라 폭이 증가함); 가상 캘리그래피 펜의 경우, 마크의 폭은 방향성에 따라 조정된다(예컨대, 도 13d 및 도 13e에 도시된 바와 같이, 제1 방향성으로 폭이 증가하고 제2 방향성으로 폭이 감소함).
일부 실시예들에서, 스타일러스에 의해 모방되는 가상 드로잉 도구는 가상 드로잉 도구들의 군 중에 하나이며, 드로잉 도구들의 군 중에서 2개의 가상 드로잉 도구들의 각각에 대하여, 디바이스는 스타일러스로부터의 입력의 상이한 특성에 따라 마크의 불투명도를 조정한다(1440). 예를 들어, 가상 연필의 경우, 마크의 불투명도는 접촉 세기에 따라 조정되고(예컨대, 도 13k 및 도 13l에 도시된 바와 같이, 접촉 세기가 증가함에 따라 불투명도가 증가함); 가상 가는 팁 펜의 경우, 마크의 불투명도는 속도에 따라 조정된다(예컨대, 속도가 증가함에 따라 불투명도가 감소함).
일부 실시예들에서, 스타일러스에 의해 모방되는 가상 드로잉 도구는 가상 드로잉 도구들의 군 중에 하나이며, 드로잉 도구들의 군 중에서 2개의 가상 드로잉 도구들의 각각에 대하여, 디바이스는 입력의 동일한 특성(예컨대, 배향, 방향성, 틸트, 접촉 세기, 또는 속도)의 변경에 응답하여 마크의 구분되는 특성들(예컨대, 폭, 불투명도, 색상 등)을 조정한다(1442). 예를 들어, 아래 표 1에 도시된 바와 같이, 가상 연필의 경우, 접촉 세기에 따라 마크의 폭이 조정되고, 가상 볼펜 또는 가상 붓의 경우, 접촉 세기에 따라 마크의 불투명도가 조정된다. 다른 예로서, 가상 가는 팁 펜의 경우, 속도에 따라 마크의 불투명도가 조정되고, 가상 볼펜 또는 가상 캘리그래피 붓의 경우, 속도에 따라 마크의 폭이 조정된다. 주의할 점은, 표 1의 다양한 가상 드로잉 도구들에 대한 입력 특성들과 마크 특성들 사이의 관계는 단지 예시적인 가능성있는 관계들이라는 것이다.
[표 1]
Figure pat00033
도 14a 내지 도 14e에서의 동작들이 기술된 특정 순서는 단지 예시적인 것이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 추가적으로, 본 명세서에 기술된 다른 방법들(예컨대, 위의 "발명을 실시하기 위한 구체적인 내용"의 첫번째 단락에 열거된 것들)과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들은 또한 도 14a 내지 도 14e에 관련하여 전술된 방법(1400)과 유사한 방식으로 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(1400)과 관련하여 위에서 기재된 스타일러스 입력 특성들(때때로 위치 상태 특성들이라고 불림), 이동, 접촉, 제스처, 사용자 인터페이스 객체, 및 출력은 선택적으로 본 명세서에 기재된 다른 방법들을 참조하여 본 명세서에 기재된 스타일러스 입력 특성, 이동, 접촉, 제스처, 사용자 인터페이스 객체, 및 출력의 특성들(예컨대, 위의 "발명을 실시하기 위한 구체적인 내용"의 첫번째 단락에 열거된 것들) 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예에 따르면, 도 15는 다양한 설명된 실시예들의 원리에 따라 구성된 전자 디바이스(1500)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은, 선택적으로, 다양한 기술된 실시예들의 원리들을 실행하기 위한 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합에 의해 구현된다. 기술된 다양한 실시예들의 원리들을 구현하기 위해 도 15에서 기술된 기능 블록들이 선택적으로 조합되거나 서브블록들로 분리된다는 것이 당업자에 의해 이해된다. 따라서, 본 명세서의 설명은, 선택적으로, 본 명세서에 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 15에 도시된 바와 같이, 전자 디바이스(1500)는 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이 유닛(1502); 사용자 접촉을 수신하도록 구성된 터치 감응형 표면 유닛(1504); 디바이스와 연관된 스타일러스로부터 신호를 검출하도록 구성된 하나 이상의 센서 유닛(1506); 및 디스플레이 유닛(1502), 터치 감응형 표면 유닛(1504) 및 하나 이상의 센서 유닛(1506)에 결합된 프로세싱 유닛(1508)을 포함한다. 일부 실시예들에서, 프로세싱 유닛(1508)은 검출 유닛(1510), 특성 유닛(1512), 생성 유닛(1514), 마크 조정 유닛(1516), 및 변경 유닛(1518)을 포함한다.
프로세싱 유닛(1508)은: 스타일러스로부터의 입력을 검출하고(예컨대, 검출 유닛(1510)을 이용함); 스타일러스로부터의 입력의 복수의 특성을 결정하고(예컨대, 특성 유닛(1512)을 이용함) - 입력의 특성들은 입력 동안 터치 감응형 표면 유닛(1504)에 대한 스타일러스의 배향, 및 입력 동안 터치 감응형 표면 유닛(1504)에 걸친 스타일러스의 이동 방향("방향성")을 포함함 -; 스타일러스로부터의 입력을 검출하는 것에 응답하여: 디스플레이 유닛(1502) 상에 디스플레이되는 마크를 생성하고(예컨대, 생성 유닛(1514)을 이용함) - 마크는 불투명도, 폭, 및/또는 색상을 포함하는 특성들을 가짐 -; 스타일러스에 의해 모방되는 가상 드로잉 도구, 및, 입력 동안, 스타일러스로부터의 입력의 복수의 특성의 변경에 따라 마크의 하나 이상의 특성을 조정하도록(예컨대, 마크 조정 유닛(1516)을 이용함) 구성된다.
전술된 정보 처리 방법들에서의 동작들은 선택적으로 (예컨대, 도 1a 및 도 3과 관련하여 전술된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 처리 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 14a 내지 도 14e를 참조하여 전술된 동작들은, 선택적으로, 도 1a 및 도 1b 또는 도 15에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 검출 동작(1402), 결정 동작(1404), 생성 동작(1410), 및 조정 동작(1412)은, 선택적으로, 이벤트 분류기(170), 이벤트 인식기(180), 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉(또는 근접)을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각각의 이벤트 인식기(180)는 이벤트 정보를 각각의 이벤트 정의들(186)과 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉(또는 근접)(또는 디바이스의 회전)이 사전정의된 이벤트 또는 서브이벤트, 예컨대 사용자 인터페이스 상의 객체의 선택, 또는 일 배향에서 다른 배향으로의 디바이스의 회전에 대응하는지 결정한다. 각각의 미리정의된 이벤트 또는 서브이벤트가 검출되는 경우에, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화시킨다. 이벤트 핸들러(190)는 선택적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출하여 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
스타일러스 입력 및 손가락 입력을 이용한 메시지 준비
본 명세서에 개시된 내용은 스타일러스 입력 및 손가락 입력을 이용하여 메시지를 준비하는 개선된 방법을 구비한 전자 디바이스이고:
Figure pat00034
더 효율적으로 통신을 준비하기 위하여, 일부 디바이스들은 입력이 손가락으로 이루어지는 경우 텍스트 메시지를 타이핑하기 위한 가상 키보드를 디스플레이함으로써 통신(예컨대, 인스턴트 메시지 또는 이메일)을 준비하기 위한 요청에 대응하는 입력에 응답하는 반면, 디바이스는 입력이 스타일러스로 이루어지는 경우 드로잉 캔버스를 디스플레이한다.
Figure pat00035
통신 중 디지털 이미지(예컨대, 드로잉되고 인스턴트 메시지처럼 송신되는 디지털 사진) 상에 드로잉을 용이하게 하기 위하여, 일부 디바이스들은 통신 애플리케이션의 입력 영역에 디지털 이미지를 디스플레이하고 또한 디지털 이미지 상의 드로잉을 위한 색상들을 포함하는 색상 팔레트를 디스플레이함으로써 특정 디지털 이미지의 선택에 응답하고, 색상 팔레트에 디스플레이되는 색상들은 디지털 이미지에 포함된 색상들에 기초한다.
Figure pat00036
인스턴트 메시지 대화 중의 제1 사용자에게 제2 사용자가 응답을 타이핑하거나 또는 응답을 드로잉하고 있는지 나타내기 위하여, 일부 디바이스들은 제2 사용자가 응답을 타이핑하고 있는 경우 타이핑 메시지 준비 표시자를 디스플레이하고 제2 사용자가 응답을 드로잉하고 있는 경우 드로잉 메시지 준비 표시자를 디스플레이한다.
이러한 방법은 선택적으로 스타일러스 입력 및 손가락 입력으로 메시지를 준비하는 종래 방법을 보완하거나 대체한다. 그러한 방법들은 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 줄이고 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리 작동형 디바이스의 경우, 이러한 방법은 전력을 절약하여 배터리 충전 간격을 증가시킨다.
아래에서, 도 16a 내지 도 16n은 일부 실시예들에 따른, 스타일러스 입력 및 손가락 입력을 이용하여 메시지를 준비하기 위한 예시적인 사용자 인터페이스를 예시한다. 도 17a 내지 도 17c, 도 18a 및 도 18b, 및 도 19는 일부 실시예들에 따른, 스타일러스 입력 및 손가락 입력을 이용하여 메시지를 준비하는 방법을 예시하는 흐름도이다. 도 16a 내지 도 16n의 사용자 인터페이스를 이용하여 도 17a 내지 도 17c, 도 18a 및 도 18b, 및 도 19의 프로세스를 예시한다.
후속하는 예들 중 일부는 터치 스크린 디스플레이(터치 감응형 표면과 디스플레이가 조합됨) 상의 입력들을 참조하여 주어지겠지만, 일부 실시예들에서, 디바이스는 별개의 디스플레이(예컨대, 디스플레이(650)) 및 별개의 터치 감응형 표면(예컨대, 터치 감응형 표면(651))을 갖는 전자 디바이스이다. 일부 실시예들에서, 디바이스는 휴대용 다기능 디바이스(100)이고, 디스플레이는 터치 감응형 디스플레이 시스템(112)이며, 터치 감응형 표면은 디스플레이 상의 촉각적 출력 생성기들(163)을 포함한다(도 1a). 설명의 편의를 위해, 도 16a 내지 도 16n 및 도 17a 내지 도 17c, 도 18a 및 18b, 및 도 19와 관련하여 기술되는 실시예들은 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에 수행되는 동작들과 관련하여 논의될 것이다. 이러한 실시예들에서, 포커스 선택자는, 선택적으로: 각각의 손가락 또는 스타일러스 접촉이거나, 손가락 또는 스타일러스 접촉에 대응하는 대표 지점(예컨대, 각각의 접촉의 중심, 또는 각각의 접촉과 연관된 지점), 또는 터치 감응형 디스플레이 시스템(112) 상에 검출된 둘 이상의 접촉들의 중심이다. 그러나 유사한 동작들이, 선택적으로, 포커스 선택자와 함께, 도 16a 내지 도 16n에 도시된 사용자 인터페이스들을 디스플레이(650) 상에 디스플레이하는 동안 터치 감응형 표면(651) 상에서 도 16a 내지 도 16n에서 묘사되는 접촉들을 검출하는 것에 응답하여 디스플레이(650) 및 별도의 터치 감응형 표면(651)을 갖는 디바이스 상에서 수행된다.
도 16a는 제1 사용자와 연관된 디바이스 상의 통신 애플리케이션(예컨대, 인스턴트 메시지 애플리케이션)의 예시적인 사용자 인터페이스(1600)를 예시한다. 사용자 인터페이스는 제1 사용자와 제2 사용자 사이의 인스턴트 메시지 대화(1604)를 디스플레이하는 세션 윈도(1602)를 포함한다. 일부 실시예들에서, 제1 사용자로부터의 인스턴트 메시지들(1605)이 콘텐츠 풍선들의 세션 윈도의 일 측면을 따라 정렬된 콘텐츠 풍선들에 디스플레이되고, 제2 사용자로부터의 인스턴트 메시지들(1606)이 세션 윈도의 반대 측면을 따라 정렬된 콘텐츠 풍선들에 디스플레이된다.
도 16a는 또한 제1 사용자에게 제2 사용자가 타이핑 응답(예컨대, 제2 사용자와 연관된 디바이스 상의 가상 키보드를 이용함)을 준비하고 있음을 나타내는 예시적인 타이핑 메시지 준비 표시자 "…"(1608)를 예시한다.
도 16b에서, 타이핑 메시지 준비 표시자 "…"(1608)는 제2 사용자에 의해 준비되는 인스턴트 메시지(1610)(예컨대, "I'm back. Are you?")를 포함하는 콘텐츠 풍선으로 대체된다.
도 16c는 제1 사용자에게 제2 사용자가 타이핑 응답이 아닌 드로잉 응답(예컨대, 드로잉 캔버스 상에 손가락 또는 스타일러스를 이용)을 준비하고 있음을 나타내는 예시적인 드로잉 메시지 준비 표시자(1612)(예컨대, 물결선 또는 기타 그래픽)를 예시한다. 일부 실시예들에서, 드로잉 메시지 준비 표시자(1612)는 애니메이션화된다(예컨대, 반복되는 애니메이션).
도 16d에서, 드로잉 메시지 준비 표시자(1612)는 제2 사용자에 의해 준비된 드로잉(1614)(예컨대, 커피 잔)을 포함하는 콘텐츠 풍선에 의해 대체된다.
도 16d는 또한 (제1 사용자에 의한) 통신(예컨대, 새로운 인스턴트 메시지)을 준비하기 위한 요청에 대응하는 예시적인 손가락 입력을 예시한다. 이 예에서, 손가락 입력은 타이핑 입력 영역(1618) 상의 손가락 접촉(1616)에 의해 만들어지는, 탭 제스처와 같은 제스처이다.
도 16e는 손가락 접촉(1616)에 의한 손가락 입력에 응답하여 키보드(1620)가 디스플레이되는 것을 예시한다. 도 16e는 또한 제1 사용자가 타이핑 입력 영역(1618)에 텍스트(예컨대, "Yessss. Let's get coffee.")를 입력할 수 있음(예컨대, 탭 제스처 또는 키보드(1620) 상의 다른 손가락 입력을 이용)을 예시한다.
도 16d의 손가락 입력에 대한 대안으로서, 도 16f는 (제1 사용자 의한) 통신(예컨대, 새로운 인스턴트 메시지)을 준비하기 위한 요청에 대응하는 예시적인 스타일러스(203) 입력을 예시한다. 이 예에서, 스타일러스 입력은 타이핑 입력 영역(1618) 상의 스타일러스 접촉(203)에 의해 만들어지는, 탭 제스처와 같은 제스처이다.
도 16g는 드로잉 캔버스(1622)가 스타일러스 입력(예컨대, 타이핑 입력 영역(1618) 상의 스타일러스(203)에 의해 만들어진 탭 제스처)에 응답하여 디스플레이되는 것을 예시한다. 드로잉 캔버스(1622)는 스타일러스 및/또는 손가락으로 드로잉하는 더 큰 면적을 제공하기 위하여 타이핑 입력 영역(1618)보다 더 크다. 일부 실시예들에서, 드로잉 캔버스(1622)를 디스플레이하는 동안, 디바이스는 드로잉 캔버스(1622) 상의 손가락 접촉(1624)에 의해 만들어지는 탭 제스처와 같은 타이핑 입력에 대한 요청을 검출한다. 타이핑 입력에 대한 요청을 검출하는 것에 응답하여, 디바이스는 드로잉 캔버스(1622)(도 16g)의 디스플레이를 타이핑 입력(예컨대, 타이핑 입력 영역(1618)(도 16e))을 위한 콘텐츠 입력 영역의 디스플레이로 대체한다.
도 16g에 대한 대안으로서, 도 16h는 드로잉 캔버스(1622) 및 키보드(1620)가 (제1 사용자에 의해) 통신을 준비하기 위한 요청에 대응하는 스타일러스 입력(예컨대, 타이핑 입력 영역(1618) 상의 스타일러스(203)에 의해 만들어진 탭 제스처, 도 16f)에 응답하여 디스플레이되는 것을 예시한다.
도 16h는 또한 스타일러스(203)에 의해 만들어진 마크들로 드로잉(1626)을 하는 것 및 인스턴트 메시지로서 드로잉(1626)을 송신하기 위한 요청에 대응하는 입력(예컨대, 송신 버튼(1627) 상의 스타일러스 또는 손가락 접촉(1628)에 의해 만들어지는 탭 제스처와 같은 제스처)을 검출하는 것을 예시한다.
도 16i는 드로잉(1626)을 송신하는 것 및 드로잉을 송신하기 위한 요청에 대응하는 입력을 검출하는 것에 응답하여 드로잉 캔버스(1622)의 디스플레이를 유지하는 것을 예시한다.
도 16i에 대한 대안으로서, 도 16j는 드로잉(1626)을 송신하는 것 및 드로잉을 송신하기 위한 요청에 대응하는 입력을 검출하는 것에 응답하여 드로잉 캔버스를 디스플레이하는 것을 중지하는 것을 예시한다. 도 16j에서, 드로잉 캔버스(1622)는 타이핑 입력 영역(1618)으로 대체된다.
도 16j 및 도 16k는 인스턴트 메시지에 사용할 디지털 이미지를 선택하는 예시적인 방법을 예시한다. 도 16j는 이미지 선택 모드에 진입하기 위한 요청에 대응하는 입력(예컨대, 사진 아이콘(1631) 상의 스타일러스 또는 손가락 접촉(1630)에 의해 만들어진 탭 제스처와 같은 제스처)을 검출하는 것을 예시한다. 도 16k는 디지털 이미지를 선택하기 위한 예시적인 사용자 인터페이스의 디스플레이를 예시한다. 일부 실시예들에서, 이미지 선택 모드에서 디지털 이미지를 선택하기 위한 추가적인 사용자 인터페이스들(도시되지 않음)이 있다. 도 16k는 또한 디지털 이미지의 선택을 검출하는 것(예컨대, 사진(1634) 상의 스타일러스 또는 손가락 접촉(1632)에 의해 만들어진 탭 제스처와 같은 제스처를 검출하는 것)을 예시한다. 디지털 이미지(1634)는 복수의 색상(이미지(1634) 내의 다양한 음영의 회색에 의해 표현됨)을 포함하는 색상 이미지이다.
도 16l은 통신 애플리케이션의 입력 영역(예컨대, 드로잉 캔버스(1622)) 내에 디지털 이미지를 디스플레이하고 또한 디지털 이미지(1634) 상에 드로잉하기 위한 색상들을 포함하는 색상 팔레트(1636)를 디스플레이함으로써 디지털 이미지의 선택(1634)에 응답하는 것을 예시한다. 색상 팔레트에 디스플레이되는 색상들(1636)은 디지털 이미지(1634)에 포함된 색상들에 기초한다. 도 16l은 또한 팔레트(1636) 내의 색상들 중 하나를 선택하는 입력(예컨대, 팔레트(1636) 내의 색상들 중 한 색상 위의 스타일러스(203)에 의한 탭 제스처)을 예시한다.
도 16m은 팔레트(1636)의 색상들로 드로잉하는 이미지(1634) 상의 드로잉 입력들을 예시한다. 예를 들어, 스타일러스 입력을 이용하여 팔레트(1636)의 한 색상으로 "Tall"을 드로잉하고 팔레트(1636)의 다른 색상으로 "Trees"를 드로잉한다. 도 16m은 또한 인스턴트 메시지처럼 드로잉된 이미지(1634)를 송신하기 위한 요청에 대응하는 입력(예컨대, 송신 버튼(1627) 상의 스타일러스 또는 손가락 접촉(1638)에 의해 만들어진 탭 제스처와 같은 제스처)을 검출하는 것을 예시한다.
도 16n은 드로잉된 이미지(1634)를 송신하는 것, 인스턴트 메시지 대화(1604) 중의 인스턴트 메시지처럼 드로잉된 이미지(1634)를 디스플레이하는 것, 및 이미지를 송신하기 위한 요청에 대응하는 입력을 검출하는 것에 응답하여 색상 팔레트(1636)를 디스플레이하는 것을 중지하는 것을 예시한다.
도 17a 내지 도 17c는 일부 실시예들에 따른, 스타일러스 입력 및 손가락 입력을 이용하여 메시지를 준비하기 위한 방법(1700)을 예시하는 흐름도이다. 방법(1700)은 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스(예컨대, 도 3의 디바이스(300), 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응형 표면은 디스플레이 상에 있거나 이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 디바이스는 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서를 포함한다. 방법(1700)의 일부 동작들은, 선택적으로, 조합되고/되거나 일부 동작들의 순서가, 선택적으로, 변경된다.
아래 기재되는 바와 같이, 방법(1700)은, 디바이스는 입력이 손가락으로 이루어지는 경우 텍스트 메시지를 타이핑하기 위한 가상 키보드를 디스플레이함으로써 통신(예컨대, 인스턴트 메시지 또는 이메일)을 준비하기 위한 요청에 대응하는 입력에 응답하도록 함으로써 더 효율적으로 통신을 준비하는 반면, 디바이스는 입력이 스타일러스로 이루어지는 경우 드로잉 캔버스를 디스플레이한다. 디바이스는 요청이 손가락 입력 또는 스타일러스 입력으로 만들어지는지에 기초하여 통신을 준비하기 위한 적절한 입력 도구들을 디스플레이한다. 방법은 스타일러스 입력 및 손가락 입력으로 메시지를 준비할 때 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 감소시킴으로써, 더 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스들에 대해, 사용자가 더 빠르고 더 효율적으로 스타일러스 입력 및 손가락 입력을 이용하여 메시지를 입력할 수 있게 하는 것은 전력을 보존하고 배터리 충전들 사이의 시간을 증가시킨다.
디바이스는, 터치 감응형 디스플레이 상에, 통신 애플리케이션의 사용자 인터페이스를 디스플레이한다(1702). 일부 실시예들에서, 통신 애플리케이션은 인스턴트 메시지 애플리케이션(예컨대, 도 16a)이다. 일부 실시예들에서, 통신 애플리케이션은 이메일 애플리케이션이다.
일부 실시예들에서, 통신 애플리케이션의 사용자 인터페이스를 디스플레이하는 것은 터치 감응형 디스플레이 상에 통신 세션 윈도(예컨대, 윈도(1602))를 디스플레이하는 것을 포함하고, 통신 세션 윈도는 콘텐츠 풍선들 내의 제1 참여자로부터의 인스턴트 메시지들(예컨대, 메시지들(1605)) 및 콘텐츠 풍선들 내의 제2 참여자로부터의 인스턴트 메시지들(예컨대, 메시지들(1606)) (1704)을 제1 참여자와 제2 참여자 사이의 인스턴트 메시지 대화(예컨대, 대화(1604)) 내에 디스플레이한다. 일부 실시예들에서, 인스턴트 메시지 세션 내의 인스턴트 메시지들은 인스턴트 메시지들이 수신되는 시간 순서에 기초하여 통신 세션 윈도 내에 수직으로 디스플레이된다. 일부 실시예들에서, 제1 참여자로부터의 인스턴트 메시지들은 통신 세션 윈도의 제1 측면(예컨대, 우측)에 디스플레이되고 제2 참여자로부터의 인스턴트 메시지들은 통신 세션 윈도의 제2 측면(예컨대, 좌측)에 디스플레이된다.
일부 실시예들에서, 디바이스는 제2 참여자가 인스턴트 메시지를 준비하고 있음을 나타내는 신호를 수신하고; 제2 참여자가 인스턴트 메시지를 타이핑하고 있다(예컨대, 키보드를 사용)는 결정에 따라, 디바이스는 타이핑 메시지 준비 표시자를 통신 세션 윈도(예컨대, 타이핑 메시지 준비 표시자(1608), 도 16a)에 디스플레이한다(1706). 일부 실시예들에서, 타이핑 메시지 준비 표시자는 통신 세션 윈도의 제2 측면(예컨대, 좌측) 영역에 디스플레이된다. 일부 실시예들에서, 제2 측면 영역 내의 타이핑 메시지 준비 표시자의 수직 위치는 타이핑 메시지 준비 표시자가 생성되었던 시간에 기초한다. 제2 참여자가 인스턴트 메시지를 드로잉하고 있다(예컨대, 스타일러스를 사용)는 결정에 따라, 디바이스는 타이핑 메시지 준비 표시자와 구분되는 드로잉 메시지 준비 표시자(예컨대, 드로잉 메시지 준비 표시자(1612), 도 16c)를 통신 세션 윈도 내에 디스플레이한다. 일부 실시예들에서, 드로잉 메시지 준비 표시자는 통신 세션 윈도의 제2 측면(예컨대, 좌측) 영역에 디스플레이된다. 일부 실시예들에서, 제2 측면 영역 내의 드로잉 메시지 준비 표시자의 수직 위치는 드로잉 메시지 준비 표시자가 생성되었던 시간에 기초한다.
일부 실시예들에서, 타이핑 메시지 준비 표시자에 대응하는, 제2 참여자에 의해 준비된 인스턴트 메시지를 수신하는 것에 응답하여: 디바이스는 타이핑 메시지 준비 표시자를 디스플레이하는 것을 중지하고; 제2 참여자에 의해 준비된 인스턴트 메시지를 포함하는 콘텐츠 풍선을 통신 세션 윈도에 디스플레이한다(1708). 예를 들어, 타이핑 메시지 준비 표시자에 대응하는, 제2 참여자에 의해 준비된 인스턴트 메시지를 수신하는 것에 응답하여, 디바이스는 타이핑 메시지 준비 표시자(1608)(도 16a)를 디스플레이하는 것을 중지하고, 제2 참여자에 의해 준비된 인스턴트 메시지(1610)를 포함하는 콘텐츠 풍선(도 16b)을 통신 세션 윈도에 디스플레이한다.
일부 실시예들에서, 드로잉 메시지 준비 표시자에 대응하는, 제2 참여자에 의해 준비된 인스턴트 메시지를 수신하는 것에 응답하여: 디바이스는 드로잉 메시지 준비 표시자를 디스플레이하는 것을 중지하고; 제2 참여자에 의해 준비된 드로잉 인스턴트 메시지를 포함하는 인스턴트 메시지를 포함하는 콘텐츠 풍선을 통신 세션 윈도에 디스플레이한다(1710). 예를 들어, 드로잉 메시지 준비 표시자에 대응하는, 제2 참여자에 의해 준비된 인스턴트 메시지를 수신하는 것에 응답하여, 디바이스는 드로잉 메시지 준비 표시자(1612)(도 16c)를 디스플레이하는 것을 중지하고, 제2 참여자에 의해 준비된 드로잉 인스턴트 메시지를 포함하는 인스턴트 메시지(1614)를 포함하는 콘텐츠 풍선(도 16d)을 통신 세션 윈도에 디스플레이한다.
일부 실시예들에서, 디스플레이되는 콘텐츠 풍선은 드로잉 인스턴트 메시지의 크기에 따라 크기가 결정된다(1712)(예컨대, 드로잉 인스턴트 메시지가 송신되면, 디스플레이되는 콘텐츠 풍선 내의 드로잉 캔버스의 일부를 잘라 내어 드로잉된 콘텐츠에 맞춤). 일부 실시예들에서, 드로잉 인스턴트 메시지는 콘텐츠 풍선/송신자 측에 디스플레이될 영역에 맞도록 크기를 재조정한다.
일부 실시예들에서, 드로잉 인스턴트 메시지를 포함하는 콘텐츠 풍선을 디스플레이하는 것은 터치 감응형 디스플레이 상의 통신 세션 윈도 내에 맞도록 드로잉 인스턴트 메시지의 크기를 재조정하는 것을 포함한다(1714).
디바이스는 통신을 준비하기 위한 요청에 대응하는 입력을 검출한다(1716). 일부 실시예들에서, 콘텐츠 입력 영역(예컨대, 타이핑 입력 영역)은 입력을 검출하기 이전에 이미 디스플레이된다. 일부 실시예들에서, 통신을 초기화하기 위한 요청에 대응하는 입력은 콘텐츠 입력 영역이 디스플레이되게 한다.
통신을 준비하기 위한 요청에 대응하는 입력을 검출하는 것에 응답하여(1718): 입력이 손가락 입력이라는 결정에 따라(예컨대, 손가락 입력(1616), 도 16d), 디바이스는 텍스트 메시지(예컨대, 텍스트를 이용한 인스턴트 메시지)를 타이핑하기 위한 키보드(예컨대, 키보드(1620), 도 16e)를 디스플레이하고(1720); 입력이 스타일러스 입력(예컨대, 스타일러스(203)에 의한 탭 입력, 도 16f)이라는 결정에 따라, 디바이스는 드로잉 메시지(예컨대, 드로잉을 갖는 인스턴트 메시지)를 생성하기 위한 드로잉 캔버스(예컨대, 캔버스(1622), 도 16g)를 디스플레이한다(1722). 일부 실시예들에서, 드로잉 캔버스는 스타일러스로부터 자유 형식 입력을 수용하도록 구성된다. 일부 실시예들에서, 통신을 준비하기 위한 요청에 대응하는 입력을 검출하는 것에 응답하여 키보드를 디스플레이하지 않고 드로잉 캔버스가 디스플레이된다(도 16g). 일부 실시예들에서, 색상 팔레트(1636)와 같은 하나 이상의 드로잉 도구가 드로잉 캔버스와 함께 디스플레이된다.
일부 실시예들에서, 통신을 준비하기 위한 요청에 대응하는 입력은 통신 애플리케이션의 사용자 인터페이스 내의 제1 크기를 갖는 디스플레이되는 타이핑 입력 영역(예컨대, 타이핑 입력 영역(1618), 도 16d 및 도 16f)에서 발생하고(위치하고); 드로잉 캔버스는 제1 크기를 갖는 타이핑 입력 영역보다 큰 제2 크기를 가지며; 입력이 스타일러스 입력이라는 결정에 따라, 제2 크기를 갖는 드로잉 캔버스는 제1 크기를 갖는 타이핑 입력 영역을 대체한다(1724)(예컨대, 도 16f 내지 도 16h에 도시된 바와 같음). 일부 실시예들에서, 입력이 스타일러스 입력이라는 결정에 따라, 제1 크기를 갖는 타이핑 입력 영역을 제2 크기를 갖는 드로잉 캔버스로(예컨대, 도 16f의 타이핑 입력 영역(1618)에서 도 16g의 드로잉 캔버스(1622)로) 전이시키는 애니메이션이 디스플레이된다.
일부 실시예들에서, 입력이 손가락 입력이라는 결정에 따라, 제1 크기를 갖는 타이핑 입력 영역의 디스플레이가 유지된다(1726). 예를 들어, 손가락 입력(1616)에 응답하여 타이핑 입력 영역(1618)의 디스플레이가 도 16d에서 도 16e까지 유지된다.
일부 실시예들에서, 드로잉 캔버스는 타이핑 입력을 위한 콘텐츠 입력 영역의 초기 크기보다 크다(1728). 예를 들어, 드로잉 캔버스(1622)(도 16g)는 타이핑 입력 영역(1618)(도 16f)보다 크다. 일부 실시예들에서, 디바이스는 타이핑 콘텐츠 입력 영역(1618)(도 16f)에서 드로잉 캔버스(1622)(도 16g)로 자연스러운 애니메이션화 전이를 디스플레이한다. 일부 실시예들에서, 디바이스는 드로잉 캔버스(1622)에서 손가락 제스처(예컨대, 손가락 접촉(1624)을 이용한 탭 제스처, 도 16g) 또는 기타 사용자 입력을 검출하는 것에 응답하여 드로잉 캔버스(1622)(도 16g)에서 타이핑 콘텐츠 입력 영역(1618)(도 16e)으로의 원만한 전이를 디스플레이한다.
일부 실시예들에서, 드로잉 메시지를 생성하기 위한 드로잉 캔버스를 디스플레이하는 동안(예컨대, 도 16g에 도시된 바와 같음), 디바이스는 타이핑 입력을 위한 요청(예컨대, 손가락 접촉(1624)을 이용한 탭 제스처, 도 16g)을 검출하고(1730); 타이핑 입력에 대한 요청을 검출하는 것에 응답하여, 디바이스는 드로잉 캔버스의 디스플레이를 타이핑 입력을 위한 콘텐츠 입력 영역의 디스플레이로 대체하고, 선택적으로, 또한 타이핑 메시지를 준비하기 위한 키보드를 디스플레이한다(예컨대, 도 16e에 도시된 바와 같음).
일부 실시예들에서, 드로잉 캔버스를 디스플레이하는 동안, 디바이스는 하나 이상의 스타일러스 입력(예컨대, 드로잉(1626), 도 16h)에 따라 만들어진 하나 이상의 마크를 갖는 드로잉을 디스플레이하고(1732); 드로잉을 송신하기 위한 요청에 대응하는 입력(예컨대, 송신 버튼(1628) 상의 손가락 입력(1627))을 검출하는 것에 응답하여, 디바이스는 드로잉을 송신하고 드로잉 캔버스를 디스플레이하는 것을 중지한다(예컨대, 도 16j에 도시된 바와 같음). 일부 실시예들에서, 드로잉 캔버스의 디스플레이는 드로잉 캔버스보다 작은 타이핑 입력 영역의 디스플레이에 의해 대체된다(예컨대, 도 16h의 드로잉 캔버스(1622)는 도 16j의 타이핑 입력 영역(1618)에 의해 대체됨). 일부 실시예들에서, 드로잉이 송신되면 드로잉 캔버스의 디스플레이는 유지된다(예컨대, 도 16i에 도시된 바와 같음).
일부 실시예들에서, 디바이스는 디지털 이미지를 드로잉 캔버스에 삽입하고, 디지털 이미지 상에 드로잉하기 위한 색상들의 맞춤형 팔레트를 디스플레이하며, 색상들의 맞춤형 팔레트는 디지털 이미지의 색상들에 기초한다(예컨대, 도 16k 및 도 16l에 도시된 바와 같음)(1734). 일부 실시예들에서, 디지털 이미지를 삽입한 이후 스타일러스의 터치 다운은 색상들의 맞춤형 팔레트의 디스플레이를 트리거한다. 일부 실시예들에서, 맞춤형 색상 팔레트는 스타일러스 입력으로 디지털 이미지를 선택(예컨대, 도 16k에서 손가락 입력(1632) 대신에 스타일러스 탭 제스처를 이용함)하는 것에 응답하여 디스플레이되는 반면, 맞춤형 색상 팔레트는 손가락 입력으로 디지털 이미지를 선택하는 것에 응답하여 디스플레이되지 않는다.
도 17a 내지 도 17c에서의 동작들이 기술된 특정 순서는 단지 예시적인 것이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 추가적으로, 본 명세서에 기술된 다른 방법들(예컨대, 위의 "발명을 실시하기 위한 구체적인 내용"의 첫번째 단락에 열거된 것들)과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들은 또한 도 17a 내지 도 17c에 관련하여 전술된 방법(1700)과 유사한 방식으로 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(1700)을 참조하여 전술된 접촉, 제스처, 및 애니메이션들은 선택적으로 본 명세서에 기재된 다른 방법들을 참조하여 본 명세서에 기재된 접촉, 제스처, 및 애니메이션들의 특성들 중 하나 이상을 갖는다(예컨대, 위의 "발명을 실시하기 위한 구체적인 내용"의 첫번째 단락에 열거된 것들). 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
도 18a 및 도 18b는 일부 실시예들에 따른 스타일러스 입력 및 손가락 입력을 이용하여 메시지를 준비하기 위한 방법(1800)을 예시하는 흐름도이다. 방법(1800)은 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스(예컨대, 도 3의 디바이스(300), 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응형 표면은 디스플레이 상에 있거나 이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 일부 실시예들에서, 디바이스는 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서를 포함한다. 방법(1800)의 일부 동작들은, 선택적으로, 조합되고/되거나 일부 동작들의 순서가, 선택적으로, 변경된다.
아래 기재되는 바와 같이, 방법(1800)은 통신 중 디지털 이미지(예컨대, 인스턴트 메시지처럼 드로잉되고 송신되는 디지털 사진) 상의 드로잉을 용이하게 하는 방법을 제공한다. 디바이스는 디지털 이미지를 통신 애플리케이션의 입력 영역에 디스플레이하고 또한 디지털 이미지 상에 드로잉하기 위한 색상들을 포함하는 색상 팔레트를 디스플레이함으로써 특정 디지털 이미지의 선택에 응답한다. 색상 팔레트에 디스플레이되는 색상들은 디지털 이미지에 포함된 색상들에 기초한다. 따라서 사용자는 디지털 이미지에 맞춰진 색상들을 이용하여 선택된 디지털 이미지 상에 드로잉을 즉시 시작할 수 있다. 방법은 스타일러스 입력 및 손가락 입력으로 메시지를 준비할 때 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 감소시킴으로써, 더 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스들에 대해, 사용자가 더 빠르고 더 효율적으로 스타일러스 입력 및 손가락 입력을 이용하여 드로잉 메시지를 입력할 수 있게 하는 것은 전력을 보존하고 배터리 충전들 사이의 시간을 증가시킨다.
제1 인물과 연관된 디바이스는 터치 감응형 디스플레이 상에 통신 애플리케이션의 사용자 인터페이스를 디스플레이한다(1802). 사용자 인터페이스는 제1 인물과 제2 인물 사이의 인스턴트 메시지 대화를 포함하고, 인스턴트 메시지 대화는 제1 인물과 제2 인물 사이에 교환된 인스턴트 메시지를 갖는 콘텐츠 풍선들, 및 입력 영역을 디스플레이한다(예컨대, 도 16a 및 도 16j에 도시된 바와 같음).
디바이스는 디지털 이미지의 선택을 검출한다(1804). 디지털 이미지는 복수의 색상을 포함하고 있다. 예를 들어, 도 16k는 손가락 입력(1632)을 이용한 이미지(1634)의 선택을 예시한다.
디지털 이미지의 선택을 검출하는 것에 응답하여(1806), 디바이스는 디지털 이미지를 입력 영역에 디스플레이하고(1808) 디지털 이미지 상의 드로잉을 위한 색상들을 포함하는 색상 팔레트를 입력 영역에 디스플레이한다(1810). 예를 들어, 디지털 이미지의 선택을 검출하는 것에 응답하여(1634) (도 16k), 디바이스는 디지털 이미지(1634)를 드로잉 캔버스(1622)에 디스플레이하고, 디지털 이미지 상의 드로잉을 위한 색상들을 포함하는 색상 팔레트(1636)를 입력 영역에 디스플레이하고, 이는 도 16l에 도시된 바와 같다.색상 팔레트에 디스플레이되는 색상들은 디지털 이미지에 포함된 복수의 색상에 기초한다(예컨대, 팔레트의 색상들은 디지털 이미지에서 N개의 가장 빈번하게 출현하는 색상들(N은 정수임)과 같은 이미지 내의 색상들의 서브셋트로부터 선택 및/또는 유추됨).
디바이스는 색상 팔레트에서 제1 색상을 선택하는 입력을 검출한다(예컨대, 색상 팔레트의 제1 색상 상의 스타일러스 또는 손가락에 의한 탭을 검출하며, 도 16l에 도시된 바와 같음)(1812).
색상 팔레트의 제1 색상이 선택되어 있는 동안(1814), 디바이스는 입력 영역에서 디지털 이미지 상의 하나 이상의 드로잉 입력을 검출하고(예컨대, 입력 영역에서 디지털 이미지 상의 스타일러스 또는 손가락에 의해 만들어지는 제스처를 검출함)(1816), 하나 이상의 드로잉 입력에 따라 디지털 이미지 상에 제1 색상으로 드로잉한다(예컨대, 도 16m에 도시된 바와 같음)(1818).
디바이스는 인스턴트 메시지처럼 드로잉된 디지털 이미지를 인스턴트 메시지 대화 속의 제2 인물에게 송신하기 위한 요청을 검출한다(예컨대, 도 16m의 송신 버튼(1627) 상의 스타일러스 또는 손가락에 의한 탭(1638)을 검출함)(1820).
인스턴트 메시지처럼 드로잉된 디지털 이미지를 송신하기 위한 요청을 검출하는 것에 응답하여(1822): 디바이스는 인스턴트 메시지처럼 드로잉된 디지털 이미지를 인스턴트 메시지 대화 속의 제2 인물에게 송신하고(1824), 터치 감응형 디스플레이 상에, 인스턴트 메시지처럼 드로잉된 디지털 이미지를 인스턴트 메시지 대화 속에 디스플레이한다(예컨대, 도 16n에 도시된 바와 같음)(1826).
일부 실시예들에서, 인스턴트 메시지처럼 드로잉된 디지털 이미지를 송신하기 위한 요청을 검출하는 것에 응답하여, 디바이스는 디지털 이미지에 포함된 복수의 색상에 기초하는, 디지털 이미지 상의 드로잉을 위한 색상들을 포함하는 색상 팔레트를 입력 영역에 디스플레이하는 것을 중지한다(1828). 예를 들어, 도 16n에서, 디지털 이미지에 포함된 것들에 기초한 색상들을 갖는 색상 팔레트는 디지털 이미지가 송신된 이후에 더 이상 디스플레이되지 않는다.
도 18a 및 도 18b에서의 동작들이 기술된 특정 순서는 단지 예시적인 것이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 추가적으로, 본 명세서에 기술된 다른 방법들(예컨대, 위의 "발명을 실시하기 위한 구체적인 내용"의 첫번째 단락에 열거된 것들)과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들은 또한 도 18a 및 도 18b에 관련하여 전술된 방법(1800)과 유사한 방식으로 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(1800)을 참조하여 전술된 이동, 접촉, 제스처, 및 애니메이션들은 선택적으로 본 명세서에 기재된 다른 방법들을 참조하여 본 명세서에 기재된 이동, 접촉, 제스처, 및 애니메이션들의 특성들 중 하나 이상을 갖는다(예컨대, 위의 "발명을 실시하기 위한 구체적인 내용"의 첫번째 단락에 열거된 것들). 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
도 19는 일부 실시예들에 따른 스타일러스 입력 및 손가락 입력을 이용하여 메시지를 준비하기 위한 방법(1900)을 예시하는 흐름도이다. 방법(1900)은 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스(예컨대, 도 3의 디바이스(300), 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응형 표면은 디스플레이 상에 있거나 이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 일부 실시예들에서, 디바이스는 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서를 포함한다. 방법(1900)의 일부 동작들은, 선택적으로, 조합되고/되거나 일부 동작들의 순서가, 선택적으로, 변경된다.
아래 기재되는 바와 같이, 방법(1900)은 인스턴트 메시지 대화 속의 제1 사용자에게 제2 사용자가 응답을 타이핑 또는 응답을 드로잉하고 있는지 나타내는 방법을 제공한다. 디바이스는 제2 사용자가 응답을 타이핑하고 있는 경우 타이핑 메시지 준비 표시자를 디스플레이하는 반면, 디바이스는 제2 사용자가 응답을 드로잉하고 있는 경우 드로잉 메시지 준비 표시자를 디스플레이한다. 둘 이상의 유형의 메시지 준비 표시자를 가짐으로써 인스턴트 메시지 대화 중 다음에 올 것에 관해 사용자에게 더 정확하게 알려준다(다른 당사자는 전형적으로 대화 중 제1 사용자에게 보이지 않음). 이 정보는 사용자가 디바이스 상의 인스턴트 메시지 애플리케이션을 사용하는 동안, 특히 사용자가 디바이스 상의 다른 애플리케이션들을 멀티태스킹하고 있는 경우, 자신의 시간을 관리하는 것을 돕는다. 방법은 스타일러스 입력 및 손가락 입력으로 인스턴트 메시지 대화를 수행할 때 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 감소시킴으로써, 더 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스들에 대해, 사용자가 더 빠르고 더 효율적으로 인스턴트 메시지 대화를 수행할 수 있게 하는 것은 전력을 보존하고 배터리 충전들 사이의 시간을 증가시킨다.
제1 인물과 연관된 디바이스는 터치 감응형 디스플레이 상에 통신 애플리케이션의 사용자 인터페이스를 디스플레이한다(1902). 사용자 인터페이스는 제1 인물과 제2 인물 사이의 인스턴트 메시지 대화(예컨대, 대화(1604), 도 1)를 포함한다. 인스턴트 메시지 대화는 제1 인물과 제2 인물 사이에 교환된 인스턴트 메시지(예컨대, 메시지들(1605, 1606), 도 1)를 갖는 콘텐츠 풍선들, 및 입력 영역(예컨대, 입력 영역(1618))을 디스플레이한다.
디바이스는 제2 인물이 인스턴트 메시지를 준비하고 있음을 나타내는 신호를 수신한다(1904).
제2 인물이 인스턴트 메시지를 준비하고 있음을 나타내는 신호를 수신하는 것에 응답하여(1906): 제2 인물이 인스턴트 메시지를 타이핑하고 있다(예컨대, 키보드를 사용)는 결정에 따라, 디바이스는 타이핑 메시지 준비 표시자(예컨대, 타이핑 메시지 준비 표시자(1608), 도 16a)를 통신 애플리케이션의 사용자 인터페이스에 디스플레이한다(1908). 일부 실시예들에서, 타이핑 메시지 준비 표시자는 통신 세션 윈도의 제2 측면(예컨대, 좌측) 영역에 디스플레이된다. 일부 실시예들에서, 제2 측면 영역 내의 타이핑 메시지 준비 표시자의 수직 위치는 타이핑 메시지 준비 표시자가 생성되었던 시간에 기초한다.
제2 인물이 인스턴트 메시지를 준비하고 있음을 나타내는 신호를 수신하는 것에 응답하여(1906): 제2 인물이 인스턴트 메시지를 드로잉하고 있다(예컨대, 스타일러스를 사용)는 결정에 따라, 디바이스는 타이핑 메시지 준비 표시자와 구분되는 드로잉 메시지 준비 표시자(예컨대, 드로잉 메시지 준비 표시자(1612), 도 16c)를 통신 애플리케이션의 사용자 인터페이스에 디스플레이한다(1910). 일부 실시예들에서, 드로잉 메시지 준비 표시자는 통신 세션 윈도의 제2 측면(예컨대, 좌측) 영역에 디스플레이된다. 일부 실시예들에서, 제2 측면 영역 내의 드로잉 메시지 준비 표시자의 수직 위치는 드로잉 메시지 준비 표시자가 생성되었던 시간에 기초한다.
디바이스는 제2 인물에 의해 준비된 인스턴트 메시지를 수신한다(1912).
타이핑 메시지 준비 표시자에 대응하는 제2 인물에 의해 준비된 인스턴트 메시지를 수신하는 것에 응답하여(1914): 디바이스는 타이핑 메시지 준비 표시자 또는 드로잉 메시지 준비 표시자를 디스플레이하는 것을 중지하고(1916), 제2 인물에 의해 준비된 인스턴트 메시지를 포함하는 콘텐츠 풍선을 인스턴트 메시지 대화에 디스플레이한다(1918). 예를 들어, 도 16a의 타이핑 메시지 준비 표시자(1608)는 도 16b의 대응하는 타이핑 인스턴트 메시지(1610)에 의해 대체된다. 예를 들어, 도 16c의 드로잉 메시지 준비 표시자(1612)는 도 16d의 대응하는 드로잉 인스턴트 메시지(1614)에 의해 대체된다.
도 19에서의 동작들이 기술된 특정 순서는 단지 예시적인 것이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 추가적으로, 본 명세서에 기술된 다른 방법들(예컨대, 위의 "발명을 실시하기 위한 구체적인 내용"의 첫번째 단락에 열거된 것들)과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들은 또한 도 19에 관련하여 전술된 방법(1900)과 유사한 방식으로 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(1900)을 참조하여 전술된 입력 및 애니메이션들은 선택적으로 본 명세서에 기재된 다른 방법들을 참조하여 본 명세서에 기재된 입력 및 애니메이션들의 특성들 중 하나 이상을 갖는다(예컨대, 위의 "발명을 실시하기 위한 구체적인 내용"의 첫번째 단락에 열거된 것들). 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예에 따르면, 도 20a는 다양한 설명된 실시예들의 원리에 따라 구성된 전자 디바이스(2000)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은, 선택적으로, 다양한 기술된 실시예들의 원리들을 실행하기 위한 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합에 의해 구현된다. 도 20a에서 설명한 기능 블록이 다양한 설명된 실시예들의 원리를 구현하도록 선택적으로 조합되거나 서브-블록들로 분리됨이 본 기술분야에서 통상의 지식을 가진 자에게 이해된다. 따라서, 본 명세서의 설명은, 선택적으로, 본 명세서에 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 20a에 도시된 바와 같이, 전자 디바이스(2000)는 사용자 인터페이스를 디스플레이하고 사용자 접촉(스타일러스 접촉 포함)을 수신하도록 구성된 터치 감응형 디스플레이 유닛(2002), 디바이스와 연관된 스타일러스로부터 신호를 검출하도록 구성된 하나 이상의 센서 유닛(2006); 및 터치 감응형 디스플레이 유닛(2002) 및 하나 이상의 센서 유닛(2006)과 결합된 프로세싱 유닛(2008)을 포함한다. 일부 실시예들에서, 프로세싱 유닛(2008)은 디스플레이 인에이블 유닛(2010), 검출 유닛(2012), 수신 유닛(2014), 대체 유닛(2016), 송신 유닛(2018), 및 삽입 유닛(2020)을 포함한다.
프로세싱 유닛(2008)은: 터치 감응형 디스플레이 유닛(2002) 상에, 통신 애플리케이션의 사용자 인터페이스의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(2010)을 이용함); 통신을 준비하기 위한 요청에 대응하는 입력을 검출하고(예컨대, 검출 유닛(2012)을 이용함); 통신을 준비하기 위한 요청에 대응하는 입력을 검출하는 것에 응답하여: 입력이 손가락 입력이라는 결정에 따라, 텍스트 메시지를 타이핑하기 위한 키보드의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(2010)을 이용함); 입력이 스타일러스 입력이라는 결정에 따라, 드로잉 메시지를 생성하기 위한 드로잉 캔버스의 디스플레이를 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(2010)을 이용함) 구성된다.
일부 실시예에 따르면, 도 20b는 다양한 설명된 실시예들의 원리에 따라 구성된 전자 디바이스(2030)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은, 선택적으로, 다양한 기술된 실시예들의 원리들을 실행하기 위한 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합에 의해 구현된다. 도 20b에서 설명한 기능 블록이 다양한 설명된 실시예들의 원리를 구현하도록 선택적으로 조합되거나 서브-블록들로 분리됨이 본 기술분야에서 통상의 지식을 가진 자에게 이해된다. 따라서, 본 명세서의 설명은, 선택적으로, 본 명세서에 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 20b에 도시된 바와 같이, 제1 인물과 연관된 전자 디바이스(2030)는 사용자 인터페이스를 디스플레이하고 사용자 접촉(스타일러스 접촉 포함)을 수신하도록 구성된 터치 감응형 디스플레이 유닛(2032) 및 터치 감응형 디스플레이 유닛(2032)과 결합된 프로세싱 유닛(2038)을 포함한다. 일부 실시예들에서, 프로세싱 유닛(2038)은 디스플레이 인에이블 유닛(2040), 검출 유닛(2042), 드로잉 유닛(2044), 송신 유닛(2046), 및 수신 유닛(2048)을 포함한다.
프로세싱 유닛(2038)은: 터치 감응형 디스플레이 유닛(2032) 상에 통신 애플리케이션의 사용자 인터페이스의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(2040)을 이용함) - 사용자 인터페이스는 제1 인물과 제2 인물 사이의 인스턴트 메시지 대화를 포함하고, 인스턴트 메시지 대화는 제1 인물과 제2 인물 사이에 교환된 인스턴트 메시지가 들어있는 콘텐츠 풍선, 및 입력 영역을 디스플레이함 -; 디지털 이미지의 선택을 검출하고(예컨대, 검출 유닛(2042)을 이용함) - 디지털 이미지는 복수의 색상을 포함함 -; 디지털 이미지의 선택을 검출하는 것에 응답하여: 디지털 이미지의 입력 영역 내의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(2040)을 이용함); 디지털 이미지 상의 드로잉을 위한 색상들을 포함하는 색상 팔레트의 입력 영역 내의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(2040)을 이용함) - 색상 팔레트에 디스플레이되는 색상들은 디지털 이미지에 포함된 복수의 색상에 기초함 -; 색상 팔레트에서 제1 색상을 선택하는 입력을 검출하고(예컨대, 검출 유닛(2042)을 이용함); 색상 팔레트의 제1 색상이 선택되어 있는 동안: 입력 영역에서 디지털 이미지 상의 하나 이상의 드로잉 입력을 검출하고(예컨대, 검출 유닛(2042)을 이용함); 하나 이상의 드로잉 입력에 따라 제1 색상으로 디지털 이미지 상에 드로잉하고(예컨대, 드로잉 유닛(2044)을 이용함); 인스턴트 메시지처럼 드로잉된 디지털 이미지를 인스턴트 메시지 대화 속의 제2 인물에게 송신하기 위한 요청을 검출하고(예컨대, 검출 유닛(2042)을 이용함); 인스턴트 메시지처럼 드로잉된 디지털 이미지를 송신하기 위한 요청을 검출하는 것에 응답하여: 인스턴트 메시지처럼 드로잉된 디지털 이미지를 인스턴트 메시지 대화 속의 제2 인물에게 송신하고(예컨대, 송신 유닛(2046)을 이용함); 터치 감응형 디스플레이 유닛(2032) 상에, 인스턴트 메시지처럼 드로잉된 디지털 이미지의 인스턴트 메시지 대화 내의 디스플레이를 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(2040)을 이용함) 구성된다.
전술된 정보 처리 방법들에서의 동작들은 선택적으로 (예컨대, 도 1a 및 도 3과 관련하여 전술된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 처리 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 17a 내지 도 17c, 도 18a 및 도 18b, 및 도 19를 참조하여 전술된 동작들은, 선택적으로, 도 1a 및 도 1b 또는 도 20a 및 도 20b에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 디스플레이 동작(1702), 검출 동작(1716), 디스플레이 동작(1720), 및 디스플레이 동작(1722)은 선택적으로 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉(또는 근접)을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각각의 이벤트 인식기(180)는 이벤트 정보를 각각의 이벤트 정의들(186)과 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉(또는 근접)(또는 디바이스의 회전)이 사전정의된 이벤트 또는 서브이벤트, 예컨대 사용자 인터페이스 상의 객체의 선택, 또는 일 배향에서 다른 배향으로의 디바이스의 회전에 대응하는지 결정한다. 각각의 미리정의된 이벤트 또는 서브이벤트가 검출되는 경우에, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화시킨다. 이벤트 핸들러(190)는 선택적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출하여 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
잠금 상태의 디바이스의 드로잉 애플리케이션에 액세스하기
일부 전자 디바이스들은 디바이스와 연관된 스타일러스를 이용하여 디바이스의 터치 감응형 디스플레이에 대한 추가적인 입력 방법을 제공한다. 예를 들어, 일부 셀룰러 폰, 랩톱, 및 태블릿들은 스타일러스로부터 입력을 수신할 수 있다. 이러한 전자 디바이스는 몇가지 예를 들면 스타일러스를 이용하여 메모 및 리마인더 작성, 또는 드로잉 생성을 포함하는 사용자를 위한 콘텐츠 생성 기회의 수를 증가시켰다. 종종, 이러한 콘텐츠 생성 기회에, 시간이 중요한데, 그 이유는 사용자는 새로운 메모리 또는 순간적인 이벤트를 이용하기를 원할 수 있기 때문이다.
그러나, 드로잉 애플리케이션에 액세스하기 위한 기존 방법은 느리고, 특히 디바이스가 잠금된 패스코드-보호 상태(locked, passcode-protected state)에 있으면 즉각적인 콘텐츠 생성에 방해가 된다. 디바이스가 잠금 상태에 있는 동안 디바이스 상의 드로잉 애플리케이션에 액세스하는 것은 전형적으로 여러 단계를 필요로 하며, 이는 신속한 사용이 유리하거나 또는 바람직할 때 드로잉 애플리케이션의 즉각적인 사용을 가로막는다. 아래 실시예들은 사용자가, 잠금 화면 사용자 인터페이스 위에서, 스타일러스로부터의 드로잉 사용 입력의 하나 이상의 마크를 드로잉하기 시작하고, 이어서 제한 세션 내에 잠금 화면 사용자 인터페이스를 드로잉 애플리케이션으로 대체하고, 드로잉 애플리케이션에서, 잠금 화면 사용자 인터페이스 위에 드로잉되었던 하나 이상의 마크를 디스플레이하도록 인에이블함으로써 이 문제를 해결한다.
아래에서, 도 21a 내지 도 21q는 잠금 상태의 디바이스의 드로잉 애플리케이션에 액세스하기 위한 예시적인 사용자 인터페이스를 예시한다. 도 22a 및 도 22b, 도 23a 및 도 23b, 및 도 24a 및 도 24b는 잠금 상태의 디바이스의 드로잉 애플리케이션에 액세스하기 위한 방법을 예시하는 흐름도이다. 도 21a 내지 도 21q의 사용자 인터페이스를 이용하여 도 22a 및 도 22b, 도 23a 및 도 23b, 및 도 24a 및 도 24b의 프로세스를 예시한다.
도 21a 내지 도 21q는 일부 실시예들에 따른, 잠금 상태의 디바이스의 드로잉 애플리케이션에 액세스하기 위한 예시적인 사용자 인터페이스를 예시한다. 이들 도면들에서의 사용자 인터페이스들은 도 22a 및 도 22b, 도 23a 및 도 23b, 및 도 24a 및 도 24b에서의 프로세스들을 포함하는 아래에 기술되는 프로세스들을 예시하는 데 사용된다. 후속하는 예들 중 일부가 (터치 감응형 표면과 디스플레이가, 예를 들어, 터치 스크린(112) 상에서 조합된) 터치 스크린 디스플레이 상의 입력들을 참조하여 주어질 것이지만, 일부 실시예들에서, 디바이스는 도 6b에 도시된 바와 같이 디스플레이(650)와 별개인 터치 감응형 표면(651) 상의 입력들을 검출한다.
일부 실시예들에서, 디바이스는 별개의 디스플레이(예컨대, 디스플레이(650)) 및 별개의 터치 감응형 표면(예컨대, 터치 감응형 표면(651))을 갖는 전자 디바이스이다. 일부 실시예들에서, 디바이스는 휴대용 다기능 디바이스(100)이고, 디스플레이는 터치 감응형 디스플레이 시스템(112)이며, 터치 감응형 표면은 디스플레이 상의 촉각적 출력 생성기들(163)을 포함한다(도 1a). 용이한 설명을 위해, 도 21a 내지 도 21q, 도 22a 및 도 22b, 도 23a 및 도 23b, 및 도 24a 및 도 24b를 참조하여 기재된 실시예들은 터치 감응형 디스플레이 시스템(112)(또한 줄여서 터치 스크린(112)으로 불림)을 갖는 디바이스 상에서 수행되는 동작들을 참조하여 논의될 것이다. 이러한 실시예들에서, 포커스 선택자는, 선택적으로: 각각의 손가락 또는 스타일러스 접촉이거나, 손가락 또는 스타일러스 접촉에 대응하는 대표 지점(예컨대, 각각의 접촉의 중심, 또는 각각의 접촉과 연관된 지점), 또는 터치 감응형 디스플레이 시스템(112) 상에 검출된 둘 이상의 접촉들의 중심이다. 그러나 유사한 동작들이, 선택적으로, 도 21a 내지 도 21q에 도시된 사용자 인터페이스들을 디스플레이(650) 상에 디스플레이하는 동안 터치 감응형 표면(651) 상에서 (또는 근처에서) 도 21a 내지 도 21q에서 묘사되는 접촉들을 검출하는 것에 응답하여 디스플레이(650) 및 별개의 터치 감응형 표면(651)을 갖는 디바이스 상에서 수행된다.
도 21a 내지 도 21q는 일부 실시예들에 따른, 잠금 상태의 디바이스의 애플리케이션(예컨대, 드로잉 애플리케이션)에 액세스하기 위한 예시적인 사용자 인터페이스를 예시한다. 도 21a는 디바이스(100)의 추가 세부사항들(예컨대, 스피커(111), 광 센서(164), 근접 센서(166), 등)을 갖는 터치 스크린(112)을 도시하고 있으나, 명확한 설명을 위해 도 21b 내지 도 21q는 디바이스(100)의 다른 세부사항은 도시하지 않고 다만 디바이스(100)의 터치 스크린(112)만을 도시한다. 또한, 도 21a 내지 도 21q는 터치 감응형 표면(예컨대, 디바이스(100)의 터치 스크린(112)) 바로 위의 관점에서의 예들을 예시한다.
도 21a는 잠금 화면 사용자 인터페이스(예컨대, 잠금 화면 사용자 인터페이스(2100))를 디바이스(100)의 터치 스크린(112) 상에 디스플레이하는 예를 예시한다. 일부 실시예들에서, 디바이스(100)가 잠금 상태에 있는 동안 디바이스(100) 상의 물리적 버튼(예컨대, 푸시 버튼(206) 또는 "홈" 또는 메뉴 버튼 204)이 사용자에 의해 활성화되면 잠금 화면 사용자 인터페이스(2100)가 디스플레이된다. 일부 실시예들에서, 잠금 화면 사용자 인터페이스(2100)는 잠금 화면 이미지, 현재 시간(604), 배터리 상태 표시자(606) 및/또는 기타 정보를 포함한다. 일부 실시예들에서, 잠금 화면 사용자 인터페이스(2100)는 디바이스를 잠금해제하기 위한 사용자 인터페이스 객체, 예컨대 가상 채널(2104) 내의 잠금해제 이미지 객체(2102)를 포함한다. 예를 들어, 디바이스(100)는 제스처(예컨대, 드래그 제스처(2105), 도 21p)를 이용하여 채널(2104)을 가로질러 일 단부에서 다른 단부까지 잠금해제 이미지 객체(2102)를 드래그함으로써 잠금해제된다. 디바이스(100)가 패스워드-보호(때때로 패스코드-보호라고 불림)된 경우, 객체(2102)가 채널(2104)을 가로질러 드래그되면, 잠금해제 사용자 인터페이스(2140)는 도 21q에 도시된 바와 같이 디스플레이된다. 일부 실시예들에서, 사용자는 키패드(2109)를 이용하여 패스워드를 입력한다. 올바른 패스워드가 입력되는 경우, 디바이스(100)는 잠금해제된다. 대안적으로, 일부 실시예들에서, 디바이스(100)는 사용자를 인증하기 위한 지문 센서를 포함하고 디바이스(100)는 사용자 지문을 이용하여 잠금해제된다.
도 21b 내지 도 21e는 터치 스크린(112)으로부터의 (예컨대, 스타일러스(203)) 리프트오프에 응답하여 드로잉 애플리케이션을 디스플레이하는 예를 예시한다. 도 21b 및 도 21c는 잠금 화면 사용자 인터페이스(2100) 위에, 디바이스(100)와 연관된 스타일러스(예컨대, 스타일러스(203))로부터의 제1 입력에 대응하는 하나 이상의 마크(예컨대, 도 21b의 마크(2120-a) 및 도 21c의 마크(2120-b))를 디스플레이하는 예를 예시한다. 일부 실시예들에서, 디바이스(100)는 디바이스와 연관된 전자 스타일러스(예컨대, 스타일러스(203))로부터의 신호를 검출하도록 구성된다. 일부 실시예들에서, 전자 스타일러스로부터 신호를 검출하는 것은 동작가능하게 스타일러스를 디바이스와 연결(또는 결합)시킨다. 도 21c에서, 마크(2120-b)가 완성되고, 스타일러스(203)는 터치 스크린(112)으로부터 리프트오프되었다.
도 21d는 스타일러스로부터의 제2 입력에 응답하여, 제한 모드의 드로잉 애플리케이션을 디스플레이하는 예(잠금해제 사용자 인터페이스(2140)를 건너 뜀, 도 21q)를 예시한다. 도 21c 및 도 21d의 예에서, 도 21c에서 스타일러스(203)의 리프트오프 이후에, 새로운 메모 입력 사용자 인터페이스(2110)를 갖는 드로잉 애플리케이션이 (도 21c의 잠금 화면 사용자 인터페이스(2100) 상에 드로잉되었던) 마크(2120-b)와 함께 도 21d에 디스플레이된다. 도 21d에 도시된 바와 같이, 새로운 메모 입력 사용자 인터페이스(2110)는 드로잉 입력 영역(2118), 아이콘들(예컨대, 네비게이션 아이콘(2112), 텍스트 아이콘(2114), 및 카메라 아이콘(2116)), 및 툴바(2130)를 포함한다. 일부 실시예들에서, 툴바(2130)는 입력의 색상들을 변경하고, 새로운 메모를 추가, 및/또는 마크를 실행취소하기 위한 옵션들을 포함한다.
도 21e는 제한 세션 내의 드로잉 애플리케이션을 위한 사용자 인터페이스에 하나 이상의 추가적인 마크를 드로잉하는 예를 예시한다. 예를 들어, 도 21e에서, "Buy coffee!"의 나머지 부분을 쓰기 위하여 추가적인 마크들이 마크(2120-b)에 추가된다. 일부 실시예들에서, 스타일러스를 이용한 스와이프 제스처(예컨대, 스와이프 제스처(2132))는 사용자를 잠금 화면 사용자 인터페이스(예컨대, 잠금 화면 사용자 인터페이스(2100))로 다시 돌려놓는다.
도 21b 내지 도 21e는 스타일러스를 이용한 사용자 입력의 예를 예시한다. 일부 실시예들에서, 사용자 입력은 스타일러스가 아닌 손가락 접촉에 의해 만들어진다. 다른 실시예들에서, 스타일러스 기반 입력에 대조적으로, 손가락 입력은 잠금 화면 사용자 인터페이스 상에 드로잉(예컨대, 마크를 생성함)하지 않고/않거나 드로잉 애플리케이션의 디스플레이를 야기하지 않는다.
도 21f 내지 도 21h는 스타일러스(예컨대, 스타일러스(203))를 이용한 터치 스크린(112) 상의 탭에 응답하여 드로잉 애플리케이션을 디스플레이하는 예를 예시한다. 도 21f 및 도 21g는 스타일러스(예컨대, 스타일러스(203))를 이용한 탭 제스처(예컨대, 탭 제스처(2107)), 및 탭 제스처에 응답하여, 제한 모드의 드로잉 애플리케이션을 디스플레이하는 (잠금해제 사용자 인터페이스(2140)를 건너 뜀, 도 21q) 예를 예시한다. 도 21h는 스타일러스에 의해 만들어진 하나 이상의 마크(예컨대, 마크(2134) 및 마크(2136))를 제한 세션의 드로잉 애플리케이션을 위한 사용자 인터페이스(예컨대, 사용자 인터페이스(2110))에서 디스플레이하는 예를 예시한다. 일부 실시예들에서, 탭 제스처가 손가락으로 수행된 경우, 드로잉 애플리케이션은 디스플레이되지 않는다.
도 21i 내지 도 21l은 스타일러스(예컨대, 스타일러스(203))를 터치 스크린(112)으로부터 리프트오프하는 것에 응답하여 드로잉 애플리케이션을 디스플레이하는 예를 예시한다. 도 21i는, 잠금 화면 사용자 인터페이스(2100) 위에, 디바이스(100)와 연관된 스타일러스(예컨대, 스타일러스(203))로부터의 입력에 대응하는 마크(예컨대, 마크(2122), 잠금 화면 이미지 상의 개의 윤곽을 따라감으로써 생성됨)를 디스플레이하는 예를 예시한다. 스타일러스(203)의 리프트오프에 응답하여, 디바이스(100)는 제한 모드의 드로잉 애플리케이션을 디스플레이하고, 잠금 화면 사용자 인터페이스(2100) 상에 만들어진 마크(2122)를 디스플레이하고, 이는 도 21j에 도시된 바와 같다. 이어서 사용자는 드로잉 애플리케이션의 제한 세션에서 드로잉(예컨대, 마크(2124), 마크(2126), 및 마크(2128)를 이용)을 계속할 수 있고, 이는 도 21k에 도시된 바와 같다. 실행취소 버튼의 선택(예컨대, 제스처(2134) 이용, 도 21l)에 응답하여, 드로잉 애플리케이션의 현재 제한 세션에서 만들어진 마크들이 하나씩 실행취소된다. 도 21k를 예로서 이용하여, 사용자가 마크(2122), 이어서 마크(2124), 이어서 마크(2126), 이어서 마크(2128)를 그렸다고 가정한다. 이어서, 실행취소 버튼을 한번 선택한 이후에, 마크(2128)가 삭제된다. 실행취소 버튼을 또 선택한 이후에, 마크(2126)가 삭제되고, 도 21l과 같이 된다. 일부 실시예들에서, 드로잉 애플리케이션의 제한 세션에 있는 동안, 사용자는 드로잉 애플리케이션의 현재 제한 세션 동안 생성된 콘텐츠에 대한 액세스 및 편집이 허용되지만, 드로잉 애플리케이션의 비제한 세션들 동안 생성된 콘텐츠 및 드로잉 애플리케이션의 이전의 제한 세션들 동안 생성된 콘텐츠에 대한 액세스가 허용되지 않는다. 일부 실시예들에서, 드로잉 애플리케이션의 제한 세션에 있는 동안, 드로잉 애플리케이션은 한정된 기능을 갖는다(예컨대, 네비게이션 아이콘(2112), 텍스트 아이콘(2114), 및/또는 카메라 아이콘(2116)과 같은 아이콘들을 선택하는 것이 효과가 없음).
도 21m 내지 도 21o는 터치 스크린(112)의 에지로부터 스타일러스(예컨대, 스타일러스(203))로 스와이프하는 것에 응답하여 드로잉 애플리케이션을 디스플레이하는 예를 예시한다. 도 21m은, 잠금 화면 사용자 인터페이스(2100) 위에, 디바이스(100)와 연관된 스타일러스로부터의 입력들에 대응하는 하나 이상의 마크(예컨대, 마크(2141) 및 마크(2142))를 디스플레이하는 예를 예시한다. 이 예에서, 스타일러스(203)의 리프트오프(예컨대, 마크(2141)를 만드는 것과 마크(2142)를 만드는 것 사이의 스타일러스(203)의 리프트오프)는 드로잉 애플리케이션의 디스플레이를 야기하지 않는다. 대신에, 터치 스크린(112)의 에지로부터 스타일러스(203)로 스와이프하는 것(예컨대, 스와이프 제스처(2106)를 이용, 도 21n)에 응답하여, 디바이스(100)는 제한 모드의 드로잉 애플리케이션을 실행하고, 잠금 화면 사용자 인터페이스 상에 디스플레이되었던 하나 이상의 마크(예컨대, 마크(2141) 및 마크(2142))를 디스플레이하고, 이는 도 21o에 도시된 바와 같다.
도 22a 및 도 22b는 일부 실시예들에 따른, 잠금 상태의 디바이스의 애플리케이션(예컨대, 드로잉 애플리케이션)에 액세스하기 위한 방법(2200)을 예시하는 흐름도이다. 방법(2200)은 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스(예컨대, 도 3의 디바이스(300), 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고 터치 감응형 표면이 디스플레이 상에 있거나 디스플레이와 일체화된다(간략히 터치 감응형 디스플레이로도 지칭됨). 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 일부 실시예들에서, 디바이스는 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서를 포함한다. 예를 들어, 디바이스는 전자 스타일러스로부터의 신호를 검출하도록 구성된다. 일부 실시예들에서, 전자 스타일러스로부터 신호를 검출하는 것은 동작가능하게 스타일러스를 디바이스와 연결(또는 결합)시킨다. 방법(2200)의 일부 동작들은, 선택적으로, 조합되고/되거나 일부 동작들의 순서가, 선택적으로, 변경된다.
아래 기재되는 바와 같이, 방법(2200)은 사용자가 잠금 화면 사용자 인터페이스 위에 드로잉을 즉시 시작할 수 있게 하고, 이어서 제한 세션 내의 드로잉 애플리케이션에서 드로잉을 계속하게 하는 원활한 방법을 제공함으로써, 더 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스들에 대해, 사용자가 더 빠르고 더 효율적으로 스타일러스 입력을 입력할 수 있게 하는 것은 전력을 보존하고 배터리 충전들 사이의 시간을 증가시킨다.
전자 디바이스가 잠금 상태에 있는 동안(2202), 디바이스는 터치 감응형 디스플레이 상에 잠금 화면 사용자 인터페이스를 디스플레이한다(2204). 예를 들어, 디바이스(100)는 디바이스(100)가 잠금 상태에 있는 동안 도 21a의 잠금 화면 사용자 인터페이스(2100)를 디스플레이한다. 일부 실시예들에서, 잠금 화면 사용자 인터페이스는 디바이스를 잠금해제하기 위한 사용자 인터페이스 객체, 예컨대 가상 채널(2104) 내의 잠금해제 이미지 객체(2102)를 포함하고, 이는 도 21a에 도시된 바와 같다. 일부 실시예들에서, 디바이스는 사용자를 인증하기 위한 지문 센서를 포함하고 디바이스는 사용자 지문을 이용하여 잠금해제된다.
잠금 화면 사용자 인터페이스를 터치 감응형 디스플레이 상에 디스플레이하는 동안, 디바이스는 터치 감응형 디스플레이 상에 드로잉하기 위한 스타일러스로부터의 제1 입력을 검출한다(2206). 예를 들어, 도 21b에서, 디바이스(100)는 터치 스크린(112) 상에 드로잉하기 위한 스타일러스(203)로부터의 제1 입력을 검출한다. 일부 실시예들에서, 제1 입력은 스타일러스가 아닌 손가락 접촉에 의해 만들어진다. 다른 실시예들에서, 스타일러스 기반 입력과 대조적으로, 손가락 입력은 터치 감응형 디스플레이 상에 드로잉을 하지 않고/않거나 제한 모드의 드로잉 애플리케이션의 디스플레이를 야기하지 않는다(동작(2210)에 관련하여 아래 기재되는 바와 같음).
드로잉하기 위한 스타일러스로부터의 제1 입력을 검출하는 것에 응답하여, 디바이스는 잠금 화면 사용자 인터페이스 위에, 스타일러스로부터의 제1 입력에 대응하는 드로잉의 하나 이상의 마크를 디스플레이한다(2208). 도 21b에서, 예를 들어, 디바이스(100)는, 잠금 화면 사용자 인터페이스(2100) 위에, 스타일러스(203)로부터의 제1 입력에 대응하는 마크(2120-a)를 디스플레이한다. 다른 예로서, 도 21i에서, 디바이스(100)는, 잠금 화면 사용자 인터페이스(2100) 위에, 스타일러스(203)로부터의 제1 입력에 대응하는 마크(2122)를 디스플레이한다.
잠금 화면 사용자 인터페이스 상에, 스타일러스로부터의 제1 입력에 대응하는 드로잉의 하나 이상의 마크를 디스플레이하는 동안, 디바이스는 제한 모드의 드로잉 애플리케이션을 디스플레이하기 위한 스타일러스로부터의 제2 입력을 검출하고, 드로잉 애플리케이션을 디스플레이하기 위한 스타일러스로부터의 제2 입력을 검출하는 것에 응답하여, 디바이스는 제한 모드의 드로잉 애플리케이션을 실행하고, 드로잉 애플리케이션에서 드로잉의 하나 이상의 마크를 디스플레이한다(2210). 예를 들어, 잠금 화면 사용자 인터페이스(2100) 상에 마크(2122)(도 21i)를 디스플레이하는 동안, 디바이스(100)는 제한 모드의 드로잉 애플리케이션을 디스플레이하기 위한 스타일러스(203)로부터의 제2 입력(예컨대, 스타일러스(203)를 터치 스크린(112)으로부터의 리프트오프, 도 21i에 도시된 바와 같음)을 검출하고, 제2 입력(예컨대, 리프트오프)을 검출하는 것에 응답하여, 디바이스는 제한 모드의 드로잉 애플리케이션을 실행하고, 마크(2122)를 드로잉 애플리케이션에 디스플레이하며, 이는 도 21j에 도시된 바와 같다. 드로잉 애플리케이션에 디스플레이되는 하나 이상의 마크는 잠금 화면 사용자 인터페이스 상에 디스플레이되었던 하나 이상의 마크를 포함한다. 일부 실시예들에서, 제2 입력은 터치 감응형 디스플레이의 에지로부터 스타일러스를 이용한 스와이프 제스처(예컨대, 터치 스크린(112) 상의 스와이프 제스처(2106), 도 21n), 터치 감응형 디스플레이 상의 스타일러스를 이용한 탭 제스처(예컨대, 터치 스크린(112) 상의 탭 제스처(2107), 도 21f), 및/또는 (예컨대, 도 21c에서와 같이 잠금 화면 사용자 인터페이스 위에 마크를 드로잉하는 드래그 제스처의 끝에, 또는 도 21f에서와 같이, 탭 제스처의 끝에) 터치 감응형 디스플레이로부터의 스타일러스의 리프트오프를 포함한다.
일부 실시예들에서, 드로잉 애플리케이션을 디스플레이하기 위한 스타일러스로부터의 제2 입력은 터치 감응형 디스플레이의 에지로부터 스타일러스를 스와이프하는 것을 포함한다(2212). 예를 들어, 도 21n은 드로잉 애플리케이션을 디스플레이하기 위한 스타일러스(203)로부터의 제2 입력으로서 터치 스크린(112) 상의 스와이프 제스처(2106)를 도시한다.
일부 실시예들에서, 드로잉 애플리케이션을 디스플레이하기 위한 스타일러스로부터의 제2 입력은 터치 감응형 디스플레이를 스타일러스로 탭하는 것을 포함한다(2214). 예를 들어, 도 21f는 드로잉 애플리케이션을 디스플레이하기 위한 스타일러스(203)로부터의 제2 입력으로서 터치 스크린(112) 상의 탭 제스처(2107)를 도시한다. 도 21f에 도시되지 않지만, 일부 실시예들에서, 탭 제스처(2107) 이전에, 스타일러스로부터의 제1 입력에 대응하는 하나 이상의 마크가, 잠금 화면 사용자 인터페이스 위에, 디스플레이된다.
일부 실시예들에서, 드로잉 애플리케이션을 디스플레이하기 위한 스타일러스로부터의 제2 입력은 터치 감응형 디스플레이로부터 스타일러스를 리프트오프하는 것을 포함한다(2216). 예를 들어, 도 21c는 드로잉 애플리케이션을 디스플레이하기 위한 스타일러스(203)로부터의 제2 입력으로서 (잠금 화면 사용자 인터페이스(2100) 위에 마크(2120-b)를 드로잉하는 드래그 제스처의 끝에) 터치 스크린(112)으로부터의 스타일러스(203)의 리프트오프를 도시한다. 대안적으로, 도 21f는 드로잉 애플리케이션을 디스플레이하기 위한 스타일러스(203)로부터의 제2 입력으로서 (탭 제스처(2107)의 끝에) 터치 스크린(112)으로부터의 스타일러스(203)의 리프트오프를 도시한다.
일부 실시예들에서, 제한 모드의 드로잉 애플리케이션을 실행하는 동안, 디바이스는 사용자가 드로잉 애플리케이션의 현재 제한 세션 동안 생성된 콘텐츠에 액세스할 수 있게 하지만, 드로잉 애플리케이션의 비제한 세션들 동안 생성된 콘텐츠 및 드로잉 애플리케이션의 이전 제한 세션들 동안 생성된 콘텐츠에 대한 액세스를 제공하지 않는다(2218). 예를 들어, 도 21b 내지 도 21e가 시간적으로 도 21i 내지 도 21l 이전에 일어나는 경우, 도 21j 내지 도 21l의 제한 모드의 드로잉 애플리케이션을 실행하는 동안, 디바이스(100)는 사용자가 현재 제한 세션 동안(예컨대, 도 21j 내지 도 21l의 제한 세션 동안) 생성된 콘텐츠에 액세스할 수 있도록 하지만, 드로잉 애플리케이션의 비제한 세션들 동안(예컨대, 디바이스(100)가 잠금해제 상태에 있던 동안) 생성된 콘텐츠 및 드로잉 애플리케이션의 이전 제한 세션들 동안(예컨대, 도 21d 및 도 21e의 제한 세션 동안) 생성된 콘텐츠에 대한 액세스를 제공하지 않는다.
도 22a 및 도 22b에서의 동작들이 기술된 특정 순서는 단지 예시적인 것이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 추가적으로, 본 명세서에 기술된 다른 방법들(예컨대, 위의 "발명을 실시하기 위한 구체적인 내용"의 첫번째 단락에 열거된 것들)과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들은 또한 도 22a 및 도 22b에 관련하여 전술된 방법(2200)과 유사한 방식으로 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(2200)과 관련하여 위에서 기재된 스타일러스 위치 상태 특성, 이동, 접촉, 제스처, 사용자 인터페이스 객체, 및 출력은 선택적으로 본 명세서에 기재된 다른 방법들을 참조하여 본 명세서에 기재된 스타일러스 위치 상태 특성, 이동, 접촉, 제스처, 사용자 인터페이스 객체, 및 출력의 특성들(예컨대, 위의 "발명을 실시하기 위한 구체적인 내용"의 첫번째 단락에 열거된 것들) 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
도 23a 및 도 23b는 일부 실시예들에 따른, 잠금 상태의 디바이스의 애플리케이션(예컨대, 드로잉 애플리케이션)에 액세스하기 위한 방법(2300)을 예시하는 흐름도이다. 방법(2300)은 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스(예컨대, 도 3의 디바이스(300), 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고 터치 감응형 표면이 디스플레이 상에 있거나 디스플레이와 일체화된다(간략히 터치 감응형 디스플레이로도 지칭됨). 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 일부 실시예들에서, 디바이스는 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서를 포함한다. 예를 들어, 디바이스는 전자 스타일러스로부터의 신호를 검출하도록 구성된다. 일부 실시예들에서, 전자 스타일러스로부터 신호를 검출하는 것은 동작가능하게 스타일러스를 디바이스와 연결(또는 결합)시킨다. 방법(2300)의 일부 동작들은, 선택적으로, 조합되고/되거나 일부 동작들의 순서가, 선택적으로, 변경된다.
아래 기재되는 바와 같이, 방법(2300)은 잠금 상태의 디바이스의 애플리케이션(예컨대, 드로잉 애플리케이션)에 액세스하기 위한 직관적이고 신속한 방식을 제공한다. 방법은 스타일러스를 사용하여 전자 디바이스와 상호작용할 때 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 감소시킴으로써, 더 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스들에 대해, 사용자가 더 빠르고 더 효율적으로 스타일러스 입력을 입력할 수 있게 하는 것은 전력을 보존하고 배터리 충전들 사이의 시간을 증가시킨다.
전자 디바이스가 잠금 상태에 있는 동안(2302), 디바이스는 터치 감응형 디스플레이 상에 잠금 화면 사용자 인터페이스를 디스플레이한다(2304). 예를 들어, 디바이스(100)는 디바이스(100)가 잠금 상태에 있는 동안 도 21a의 잠금 화면 사용자 인터페이스(2100)를 디스플레이한다. 일부 실시예들에서, 잠금 화면 사용자 인터페이스는 디바이스를 잠금해제하기 위한 사용자 인터페이스 객체, 예컨대 가상 채널(2104) 내의 잠금해제 이미지 객체(2102)를 포함하고, 이는 도 21a에 도시된 바와 같다. 일부 실시예들에서, 디바이스는 사용자를 인증하기 위한 지문 센서를 포함하고 디바이스는 사용자 지문을 이용하여 잠금해제된다.
잠금 화면 사용자 인터페이스를 터치 감응형 디스플레이 상에 디스플레이하는 동안, 디바이스는 사용자 입력을 검출한다(2306). 예를 들어, 도 21f는 잠금 화면 사용자 인터페이스(2100)가 터치 스크린(112) 상에 디스플레이되는 동안 스타일러스(203)로 수행되는 사용자 입력(예컨대, 탭 제스처(2107))을 도시한다.
사용자 입력이 스타일러스를 이용한 사전정의된 입력이라는 결정에 따라, 디바이스는 잠금 화면 사용자 인터페이스의 디스플레이를 제한 세션 내의 드로잉 애플리케이션의 디스플레이로 대체한다(2308). 예를 들어, 도 21f 및 도 21g는 사용자 입력이 스타일러스를 이용한 사전정의된 입력(예컨대, 스타일러스를 이용한 탭 제스처)이라는 결정에 따라 잠금 화면 사용자 인터페이스(2100)의 디스플레이를 제한 세션 내의 드로잉 애플리케이션의 디스플레이(사용자 인터페이스(2110))로 대체하는 것을 도시한다.
사용자 입력이 손가락 터치 입력이라는 결정에 따라(또는 기타 스타일러스가 아닌 터치 입력), 디바이스는 잠금 화면 사용자 인터페이스의 디스플레이를 유지하고 드로잉 애플리케이션의 디스플레이를 보류한다(2310). 예를 들어, 도 21f의 탭 제스처(2107)가 손가락 터치 입력(또는 기타 스타일러스가 아닌 터치 입력)으로 수행된 경우, 디바이스는 잠금 화면 사용자 인터페이스(2100)의 디스플레이를 유지하고 드로잉 애플리케이션의 디스플레이를 보류할 수 있다.
일부 실시예들에서, 잠금 화면 사용자 인터페이스를 터치 감응형 디스플레이 상에 디스플레이하는 동안, 디바이스는 터치 감응형 디스플레이 상에 드로잉하기 위한 스타일러스로부터의 제1 입력을 검출하고, 드로잉하기 위한 스타일러스로부터의 제1 입력을 검출하는 것에 응답하여, 디바이스는 잠금 화면 사용자 인터페이스 상에, 스타일러스로부터의 제1 입력에 대응하는 드로잉의 하나 이상의 마크를 디스플레이한다(2312). 예를 들어, 도 21m에서, 디바이스(100)는 터치 스크린(112) 상에 드로잉을 하기 위한 스타일러스(203)로부터의 제1 입력을 검출하고, 제1 입력을 검출하는 것에 응답하여, 디바이스(100)는, 잠금 화면 사용자 인터페이스(2100) 상에, 스타일러스(203)로부터의 제1 입력에 대응하는 마크(2141) 및 마크(2142)를 디스플레이한다.
일부 실시예들에서, 잠금 화면 사용자 인터페이스 상에, 스타일러스로부터의 제1 입력에 대응하는 드로잉의 하나 이상의 마크를 디스플레이하는 동안, 디바이스는 제한 모드의 드로잉 애플리케이션을 디스플레이하기 위한 스타일러스로부터의 제2 입력을 검출하고, 드로잉 애플리케이션을 디스플레이하기 위한 스타일러스로부터의 제2 입력을 검출하는 것에 응답하여, 디바이스는 제한 모드의 드로잉 애플리케이션을 실행하고, 드로잉 애플리케이션에서 드로잉의 하나 이상의 마크를 디스플레이한다(2314). 예를 들어, 도 21n에서, 잠금 화면 사용자 인터페이스(2100) 상에 마크(2141) 및 마크(2142)를 디스플레이하는 동안, 디바이스(100)는 제한 모드의 드로잉 애플리케이션을 디스플레이하기 위한 스타일러스(203)로부터의 제2 입력(예컨대, 스와이프 제스처(2106))을 검출하고, 제2 입력(예컨대, 스와이프 제스처(2106))을 검출하는 것에 응답하여, 디바이스는 제한 모드의 드로잉 애플리케이션을 실행하고 드로잉 애플리케이션에 마크(2141, 2142)를 디스플레이하고, 이는 도 21o에 도시된 바와 같다. 드로잉 애플리케이션에 디스플레이되는 하나 이상의 마크는 잠금 화면 사용자 인터페이스 상에 디스플레이되었던 하나 이상의 마크를 포함한다.
일부 실시예들에서, 사용자 입력은 탭 제스처이고, 탭 제스처가 스타일러스로 수행되었다는 결정에 따라, 디바이스는 드로잉 애플리케이션을 디스플레이하고; 탭 제스처가 손가락으로 수행되었다는 결정에 따라, 디바이스는 드로잉 애플리케이션을 디스플레이하는 것을 보류한다(2316). 예를 들어, 도 21f는 사용자 입력으로서 탭 제스처(2107)를 도시하고, 탭 제스처가 스타일러스(예컨대, 스타일러스(203))로 수행되었기 때문에, 디바이스는 드로잉 애플리케이션을 디스플레이하고, 이는 도 21g에 도시된 바와 같다. 그러나, 도 21f의 탭 제스처(2107)가 손가락으로 수행된 경우, 디바이스는 드로잉 애플리케이션을 디스플레이하는 것을 보류한다(그리고 잠금 화면 사용자 인터페이스(2100)의 디스플레이를 유지함).
일부 실시예들에서, 사용자 입력은 스와이프 제스처이고, 스와이프 제스처가 스타일러스로 수행되었고 드로잉 애플리케이션 디스플레이 기준을 충족한다는 결정에 따라, 디바이스는 드로잉 애플리케이션을 디스플레이하고; 스와이프 제스처가 손가락으로 수행되었고 잠금해제 개시 기준을 충족한다는 결정에 따라, 디바이스는 잠금해제 사용자 인터페이스를 디스플레이한다(2318). 예를 들어, 도 21n은 사용자 입력으로서 스와이프 제스처(2106)를 도시하고, 스와이프 제스처가 스타일러스(예컨대, 스타일러스(203))로 수행되었고 드로잉 애플리케이션 디스플레이 기준을 충족하기 때문에, 디바이스는 드로잉 애플리케이션을 디스플레이하고, 이는 도 21o에 도시된 바와 같다. 한편, 도 21p는 사용자 입력으로서 스와이프 제스처(2105)를 도시하고, 스와이프 제스처가 손가락으로 수행되었고 잠금해제 개시 기준을 충족하는 경우, 디바이스는 잠금해제 사용자 인터페이스(예컨대, 잠금해제 사용자 인터페이스(2140))를 디스플레이하고, 이는 도 21q에 도시된 바와 같다. 대안적으로, 일부 실시예들에서, 스와이프 제스처가 손가락으로 수행되었다는 결정(그리고 소정 기준을 충족함)에 따라, 디바이스는 카메라 애플리케이션과 같은 기타 제한된 애플리케이션들을 디스플레이한다. 일부 실시예들에서, 스와이프 제스처가 손가락으로 수행되었다는 결정에 따라, 디바이스는 잠금 화면 사용자 인터페이스로부터 다른 기능 및/또는 콘텐츠(예컨대, 통지 센터 및/또는 제어 센터)에 대한 액세스를 제공한다.
도 23a 및 도 23b에서의 동작들이 기술된 특정 순서는 단지 예시적인 것이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 추가적으로, 본 명세서에 기술된 다른 방법들(예컨대, 위의 "발명을 실시하기 위한 구체적인 내용"의 첫번째 단락에 열거된 것들)과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들은 또한 도 23a 및 도 23b에 관련하여 전술된 방법(2300)과 유사한 방식으로 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(2300)과 관련하여 위에서 기재된 스타일러스 위치 상태 특성, 이동, 접촉, 제스처, 사용자 인터페이스 객체, 및 출력은 선택적으로 본 명세서에 기재된 다른 방법들을 참조하여 본 명세서에 기재된 스타일러스 위치 상태 특성, 이동, 접촉, 제스처, 사용자 인터페이스 객체, 및 출력의 특성들(예컨대, 위의 "발명을 실시하기 위한 구체적인 내용"의 첫번째 단락에 열거된 것들) 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
도 24a 및 도 24b는 일부 실시예들에 따른, 잠금 상태의 디바이스의 애플리케이션(예컨대, 드로잉 애플리케이션)에 액세스하기 위한 방법(2400)을 예시하는 흐름도이다. 방법(2400)은 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스(예컨대, 도 3의 디바이스(300), 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고 터치 감응형 표면이 디스플레이 상에 있거나 디스플레이와 일체화된다(간략히 터치 감응형 디스플레이로도 지칭됨). 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 일부 실시예들에서, 디바이스는 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서를 포함한다. 예를 들어, 디바이스는 전자 스타일러스로부터의 신호를 검출하도록 구성된다. 일부 실시예들에서, 전자 스타일러스로부터 신호를 검출하는 것은 동작가능하게 스타일러스를 디바이스와 연결(또는 결합)시킨다. 방법(2400)의 일부 동작들은, 선택적으로, 조합되고/되거나 일부 동작들의 순서가, 선택적으로, 변경된다.
아래 기재되는 바와 같이, 방법(2400)은 사용자가 잠금 화면 사용자 인터페이스 위에 드로잉을 즉시 시작할 수 있게 하고, 이어서 제한 세션 내의 드로잉 애플리케이션에서 드로잉을 계속하게 하는 원활한 방법을 제공함으로써, 더 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스들에 대해, 사용자가 더 빠르고 더 효율적으로 스타일러스 입력을 입력할 수 있게 하는 것은 전력을 보존하고 배터리 충전들 사이의 시간을 증가시킨다.
전자 디바이스가 잠금 상태에 있는 동안(2402), 디바이스는 터치 감응형 디스플레이 상에 잠금 화면 사용자 인터페이스를 디스플레이하는데, 잠금 화면 사용자 인터페이스는 잠금 화면 이미지를 포함한다(2404). 예를 들어, 디바이스(100)가 잠금 상태에 있는 동안, 디바이스(100)는 도 21a의 잠금 화면 사용자 인터페이스(2100)를 디스플레이하는데, 잠금 화면 사용자 인터페이스(2100)는 개의 잠금 화면 이미지를 포함한다. 일부 실시예들에서, 잠금 화면 사용자 인터페이스는 디바이스를 잠금해제하기 위한 사용자 인터페이스 객체, 예컨대 가상 채널(2104) 내의 잠금해제 이미지 객체(2102)를 포함하고, 이는 도 21a에 도시된 바와 같다. 일부 실시예들에서, 디바이스는 사용자를 인증하기 위한 지문 센서를 포함하고 디바이스는 사용자 지문을 이용하여 잠금해제된다.
터치 감응형 디스플레이 상의 잠금 화면 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 터치 감응형 디스플레이 상에서 스타일러스에 의한 제1 입력을 검출하는데, 제1 입력을 검출하는 것은: 제1 입력의 시작 시에 터치 감응형 디스플레이 상에서 스타일러스에 의한 최초 접촉을 검출하는 것; 제1 입력 동안 터치 감응형 디스플레이를 가로지르는 스타일러스의 이동을 검출하는 것; 및 제1 입력의 종료 시에 터치 감응형 디스플레이로부터 스타일러스의 리프트오프를 검출하는 것을 포함한다(2406). 예를 들어, 도 21i에서, 터치 스크린(112) 상에 잠금 화면 사용자 인터페이스(2100)를 디스플레이하는 동안, 디바이스는 터치 스크린(112) 상의 스타일러스(203)에 의한 최초 접촉, 제1 입력 동안 터치 스크린(112)을 가로지르는 스타일러스(203)의 이동(예컨대, 개의 머리 둘레의 윤곽을 따라감), 및 제1 입력의 끝에 터치 스크린(112)으로부터의 스타일러스(203)의 리프트오프를 포함하는, 스타일러스(203)에 의한 제1 입력을 검출한다.
스타일러스의 터치 감응형 디스플레이를 가로지르는 이동을 검출하는 것에 응답하여, 디바이스는 스타일러스의 터치 감응형 디스플레이를 가로지르는 이동에 따라 잠금 화면 이미지의 상부 상에 디스플레이되는 제1 마크를 드로잉한다(2408). 예를 들어, 도 21i는 터치 스크린(112)을 가로지르는 스타일러스(203)의 이동에 따라 잠금 화면 이미지의 상부 상(예컨대, 개의 잠금 화면 이미지의 상부) 상에 디스플레이되는 제1 마크(예컨대, 마크(2122))를 도시한다. 도 21i에서, 제1 입력의 시작에 터치 스크린(112) 상의 스타일러스(203)에 의한 최초 접촉의 위치에서 시작하는 마크(2122)가 드로잉된다. 일부 실시예들에서, 제1 마크는 터치 감응형 디스플레이 상의 스타일러스에 의한 최초 접촉의 위치에 독립적으로 드로잉된다.
스타일러스의 터치 감응형 디스플레이로부터의 리프트오프를 검출하는 것에 응답하여: 디바이스는 잠금 화면 사용자 인터페이스를 디스플레이하는 것을 중지하고(잠금 화면 이미지를 디스플레이하는 것을 중지하는 것을 포함함), 디바이스는 제한 세션 내의 드로잉 애플리케이션을 위한 사용자 인터페이스를 디스플레이하고, 디바이스는, 제1 입력 동안 스타일러스의 터치 감응형 디스플레이를 가로지르는 이동에 따라 드로잉된 제1 마크를 제한 세션 내의 드로잉 애플리케이션을 위한 사용자 인터페이스에 디스플레이한다(2410). 예를 들어, 도 21j는 도 21i의 터치 스크린(112)으로부터 스타일러스(203)의 리프트오프를 검출하는 것에 응답하여, 잠금 화면 사용자 인터페이스(2100)를 디스플레이하는 것을 중지하는 것(개의 잠금 화면 이미지를 디스플레이하는 것을 중지하는 것을 포함함), 제한 세션 내의 드로잉 애플리케이션을 위한 사용자 인터페이스(2110)를 디스플레이하는 것, 및 제1 입력 동안 터치 스크린(112)을 가로지르는 스타일러스(203)의 이동에 따라 드로잉된 마크(2122)(동작(2408)에 기재된 바와 같음)를 제한 세션 내의 드로잉 애플리케이션을 위한 사용자 인터페이스(2110)에 디스플레이하는 것을 도시한다.
제한 세션 내의 드로잉 애플리케이션을 위한 사용자 인터페이스를 디스플레이하는 동안, 디바이스는 터치 감응형 디스플레이 상의 스타일러스에 의한 제2 입력을 검출한다(2412). 예를 들어, 도 21j에서, 제한 세션 내의 드로잉 애플리케이션을 위한 사용자 인터페이스(2110)를 디스플레이하는 동안, 디바이스(100)는 스타일러스(203)에 의한 제2 입력(예컨대, 마크(2124)를 드로잉하기 위함)을 검출한다.
터치 감응형 디스플레이 상의 스타일러스에 의한 제2 입력을 검출하는 것에 응답하여, 디바이스는 제1 마크와 함께 디스플레이되는 제2 마크를 제한 세션 내의 드로잉 애플리케이션을 위한 사용자 인터페이스에 드로잉한다(2414). 예를 들어, 도 21k는 제1 마크(예컨대, 마크(2122))와 함께 디스플레이되는 제2 마크(예컨대, 마크(2124))를 제한 세션 내의 드로잉 애플리케이션을 위한 사용자 인터페이스(2110)에 디스플레이하는 것을 도시한다.
도 24a 및 도 24b에서의 동작들이 기술된 특정 순서는 단지 예시적인 것이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 추가적으로, 본 명세서에 기술된 다른 방법들(예컨대, 위의 "발명을 실시하기 위한 구체적인 내용"의 첫번째 단락에 열거된 것들)과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들은 또한 도 24a 및 도 24b에 관련하여 전술된 방법(2400)과 유사한 방식으로 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(2400)과 관련하여 위에서 기재된 스타일러스 위치 상태 특성, 이동, 접촉, 제스처, 사용자 인터페이스 객체, 및 출력은 선택적으로 본 명세서에 기재된 다른 방법들을 참조하여 본 명세서에 기재된 스타일러스 위치 상태 특성, 이동, 접촉, 제스처, 사용자 인터페이스 객체, 및 출력의 특성들(예컨대, 위의 "발명을 실시하기 위한 구체적인 내용"의 첫번째 단락에 열거된 것들) 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 25는 다양한 기술된 실시예들의 원리들에 따라 구성된 전자 디바이스(2500)의 기능 블록 다이어그램을 도시한다. 디바이스의 기능 블록들은, 선택적으로, 다양한 기술된 실시예들의 원리들을 실행하기 위한 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합에 의해 구현된다. 다양한 기술된 실시예들의 원리들을 구현하기 위해 도 25에서 기술된 기능 블록들이 선택적으로 조합되거나 서브블록들로 분리된다는 것이 당업자에 의해 이해된다. 따라서, 본 명세서의 설명은, 선택적으로, 본 명세서에 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 25에 도시된 바와 같이, 전자 디바이스(2500)는 사용자 인터페이스를 디스플레이하고 사용자 접촉(스타일러스 접촉 포함)을 수신하도록 구성된 터치 감응형 디스플레이 유닛(2502), 디바이스와 연관된 스타일러스로부터 신호를 검출하도록 구성된 하나 이상의 센서 유닛(2506); 및 터치 감응형 디스플레이 유닛(2502) 및 하나 이상의 센서 유닛(2506)과 결합된 프로세싱 유닛(2508)을 포함한다. 일부 실시예들에서, 프로세싱 유닛(2508)은 디스플레이 인에이블 유닛(2510), 검출 유닛(2512), 애플리케이션 유닛(2514), 및 액세스 유닛(2516)을 포함한다.
프로세싱 유닛(2508)은: 전자 디바이스가 잠금 상태에 있는 동안: 터치 감응형 디스플레이 유닛(2502) 상의 잠금 화면 사용자 인터페이스의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(2510)을 이용함); 잠금 화면 사용자 인터페이스의 터치 감응형 디스플레이 유닛(2502) 상의 디스플레이를 인에이블하는 동안, 터치 감응형 디스플레이 유닛(2502) 상에 드로잉하기 위한 스타일러스로부터의 제1 입력을 검출하고(예컨대, 검출 유닛(2512)을 이용함); 드로잉하기 위한 스타일러스로부터의 제1 입력을 검출하는 것에 응답하여, 잠금 화면 사용자 인터페이스 위에, 스타일러스로부터의 제1 입력에 대응하는 드로잉의 하나 이상의 마크의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(2510)을 이용함); 잠금 화면 사용자 인터페이스 상에, 스타일러스로부터의 제1 입력에 대응하는 드로잉의 하나 이상의 마크의 디스플레이를 인에이블하는 동안: 제한 모드의 드로잉 애플리케이션을 디스플레이하기 위한 스타일러스로부터의 제2 입력을 검출하고(예컨대, 검출 유닛(2512)을 이용함); 드로잉 애플리케이션을 디스플레이하기 위한 스타일러스로부터의 제2 입력을 검출하는 것에 응답하여, 제한 모드의 드로잉 애플리케이션을 실행하고 (예컨대, 애플리케이션 유닛(2514)을 이용함) 드로잉 애플리케이션에 드로잉의 하나 이상의 마크의 디스플레이를 인에이블하도록(예컨대, 디스플레이 인에이블 유닛(2510)을 이용함) 구성된다.
전술된 정보 처리 방법들에서의 동작들은 선택적으로 (예컨대, 도 1a 및 도 3과 관련하여 전술된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 처리 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 22a 및 도 22b, 도 23a 및 도 23b, 및 도 24a 및 도 24b를 참조하여 전술된 동작들은, 선택적으로, 도 1a 및 도 1b 또는 도 25에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 디스플레이 동작(2204), 검출 동작(2206), 디스플레이 동작(2208), 및 검출/실행 동작(2210)은 선택적으로 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉(또는 근접)을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각각의 이벤트 인식기(180)는 이벤트 정보를 각각의 이벤트 정의들(186)과 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉(또는 근접)(또는 디바이스의 회전)이 사전정의된 이벤트 또는 서브이벤트, 예컨대 사용자 인터페이스 상의 객체의 선택, 또는 일 배향에서 다른 배향으로의 디바이스의 회전에 대응하는지 결정한다. 각각의 미리정의된 이벤트 또는 서브이벤트가 검출되는 경우에, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화시킨다. 이벤트 핸들러(190)는 선택적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출하여 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
스타일러스를 이용하는 가상 드로잉 도구의 선택 및 사용
전자 디바이스는 스타일러스를 이용하여 다양한 가상 드로잉 도구들을 모방할 수 있다. 특정 가상 드로잉 도구를 선택하는 기존 방법들은 지루하고 비효율적이다. 여기서, 디바이스는 특정 선택 기준을 충족하는 스타일러스의 틸트에 기초하여 가상 드로잉 도구를 선택한다. 이는 전자 디바이스에 펜 및 하이라이터와 같은 상이한 두 가상 드로잉 도구 사이에서 스위칭하는 빠르고, 간편한 방법을 제공한다.
도 26a 내지 도 26h는 일부 실시예들에 따른, 스타일러스를 이용하는 가상 드로잉 도구를 선택하고 사용하기 위한 예시적인 사용자 인터페이스를 예시한다. 이들 도면들에서의 사용자 인터페이스들은 도 27a 내지 도 27c 및 도 28a에서의 프로세스들을 포함하는 아래에 기술되는 프로세스들을 예시하는 데 사용된다. 후속하는 예들 중 일부가 (터치 감응형 표면과 디스플레이가 조합된) 터치 스크린 디스플레이 상의 입력들을 참조하여 주어질 것이지만, 일부 실시예들에서, 디바이스는 도 6b에 도시된 바와 같이 디스플레이(650)와 별개인 터치 감응형 표면(651) 상의 입력들을 검출한다.
일부 실시예들에서, 디바이스는 별개의 디스플레이(예컨대, 디스플레이(650)) 및 별개의 터치 감응형 표면(예컨대, 터치 감응형 표면(651))을 갖는 전자 디바이스이다. 일부 실시예들에서, 디바이스는 휴대용 다기능 디바이스(100)이고, 디스플레이는 터치 감응형 디스플레이 시스템(112)이며, 터치 감응형 표면은 디스플레이 상의 촉각적 출력 생성기들(163)을 포함한다(도 1a). 설명의 편의를 위해, 도 26a 내지 도 26h 및 도 27a 내지 도 27c, 및 도 28a와 관련하여 기술되는 실시예들은 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에 수행되는 동작들과 관련하여 논의될 것이다. 이러한 실시예들에서, 포커스 선택자는, 선택적으로: 각각의 손가락 또는 스타일러스 접촉이거나, 손가락 또는 스타일러스 접촉에 대응하는 대표 지점(예컨대, 각각의 접촉의 중심, 또는 각각의 접촉과 연관된 지점), 또는 터치 감응형 디스플레이 시스템(112) 상에 검출된 둘 이상의 접촉들의 중심이다. 그러나 유사한 동작들이, 선택적으로, 포커스 선택자와 함께, 도 26a 내지 도 26h에 도시된 사용자 인터페이스들을 디스플레이(650) 상에 디스플레이하는 동안 터치 감응형 표면(651) 상에서 도 26a 내지 도 26h에서 묘사되는 접촉들을 검출하는 것에 응답하여 디스플레이(650) 및 별도의 터치 감응형 표면(651)을 갖는 디바이스 상에서 수행된다. 도 26a 내지 도 26h는 두 관점에서 예들을 예시한다: 위치(예컨대, 504) 및 대응하는 표시(516)를 갖는 스타일러스(예컨대, 203)를 포함하는, 축(508)을 갖는 터치 감응형 표면(예컨대, 디바이스(100)의 터치 스크린(112)) 바로 위의 관점 및 축들(590, 592, 594)(각각 x 축, y 축, z 축)을 갖는 터치 감응형 표면의 측면 관점.
도 26a는 스타일러스에 의해 생성된, 전자 문서, 즉, 전자 캔버스(2601) 상에 만들어진 마크(2604-a)의 예를 예시한다. 배향(506) 및 위치(504-a)를 디스플레이하고, 생성되고 있는 현재 마크(2604)의 끝에 표시(516-a)를 갖는 스타일러스의 위치 상태가 터치 감응형 표면 바로 위의 관점에서 도시된다. 위치 및 표시는 도 26a에서 서로 오프셋 위치에 있다. 측면 관점은 법선(z 축에 평행함)(510)에 대한 스타일러스 틸트(2606)를 예시한다. 스타일러스가 터치 감응형 표면에 직각/수직할 때 틸트는 0이고, 스타일러스가 터치 감응형 표면과 평행한 것에 더 가까이 틸트됨에 따라 틸트는 90 도를 향해 증가한다. 일부 실시예들에서, 스타일러스의 틸트는, 선택 기준에 따라 마크를 생성하는 데 사용되는 가상 드로잉 도구를 결정하는 특성이다. 예를 들어, 틸트가 사전정의된 임계각(예컨대 10, 15, 20, 또는 25 도) 미만인 경우, 디바이스는 가상 펜 또는 연필과 같은 제1 가상 드로잉 도구를 선택한다. 측면 관점은 스타일러스와 터치 감응형 표면 사이에 접촉이 있는 스타일러스에서 터치 감응형 표면까지의 거리(2608)(z 축을 따라 측정됨)를 예시한다. 일부 실시예들에서, 스타일러스와 터치 감응형 표면 사이의 접촉이 마크의 생성에 필요하다.
도 26b는 도 26a에 이어서, 스타일러스(203)와 함께 작동하는 디바이스에 의해 생성되는 완성된 마크(2604-b)를 예시한다. 스타일러스의 위치(504-b) 및 표시(516-b)는 완성된 마크로부터 떨어져 위치설정된다. 측면 관점은 법선(z 축에 평행함)(510)에 대한 스타일러스 틸트(2606)를 예시한다. 스타일러스에서 터치 감응형 표면까지의 거리(2614)(z 축을 따라 측정됨)는 스타일러스와 터치 감응형 표면 사이의 접촉이 없는 것이다. 이 예에서, 스타일러스가 터치 감응형 표면과 접촉하고 있지 않으면 마크는 디바이스에 의해 생성되지 않는다.
도 26c는 도 26a 및 도 26b에 이어서 그것의 틸트를 틸트 각도(2606)에서, 초기 틸트 각도에 대하여 추가적인 틸트 각도(2616)를 포함하는 새로운 틸트 각도로 변경하는 스타일러스를 예시한다. 터치 스크린(112)과 접촉 시, 스타일러스의 새로운 틸트 각도로 인해 마크를 생성하기 위하여 디바이스에 의해 선택되고 사용되고 있는 상이한 가상 드로잉 도구로 될 것이다. 예를 들어, 틸트가 법선으로부터의 사전정의된 임계각(예컨대 10, 15, 20, 또는 25 도) 초과인 경우, 디바이스는 가상 하이라이터 또는 마커와 같은 제2 가상 드로잉 도구를 선택한다. 측면 관점은 스타일러스에서 터치 감응형 표면까지의 거리(2614)(z 축을 따라 측정됨)는 스타일러스와 터치 감응형 표면 사이에 접촉이 없는 것임을 예시한다.
도 26d는 도 26a 내지 도 26c에 이어서, 스타일러스와 함께, 가상 펜(도 26a)에 대한 선택 기준을 충족하는 대신에 가상 하이라이터(도 26d)에 대한 선택 기준을 충족하는 스타일러스의 틸트에 기초하여, 상이한 가상 드로잉 도구, 즉, 하이라이터를 이용하여 마크(2618)를 생성하는 디바이스를 예시한다. 하이라이터 마크(2618)는, 연한 회색계조(grayscale)로 도시되고, 이전 펜 마크(2604), 즉, 흑색 펜 필기로 도시된 단어 "하이라이터" 위에 디스플레이된다. 이 예에서, 스타일러스의 틸트는, 디바이스가 마크(2604)를 생성하게 하는 스타일러스 입력의 듀레이션 동안 법선으로부터 사전정의된 임계각보다 크게 유지된다. 측면 관점에서, 거리(2620)는 스타일러스와 터치 감응형 표면 사이에 접촉이 있음을 나타낸다.
도 26e 내지 도 26h는 가상 하이라이터에 대한 선택 기준을 충족하는 스타일러스의 틸트에 기초하여 제2 가상 드로잉 도구(예컨대, 가상 하이라이터)를 선택하고 이용하는 것을 예시한다. 도 26e 내지 도 26h는 또한 입력 동안 가상 하이라이터에서 가상 펜으로 스위칭하지 않고, 입력 동안 틸트가 감소함에 따라 감소하는 하이라이트의 폭을 예시한다.
도 26e는 큰 틸트 각도(2626)를 갖는 접촉하기 전에 스타일러스를 예시한다. 거리(2630)는 0보다 크고 접촉은 없다. 위치(504-d) 및 표시(516-d)는 텍스트(2622) "The quick brown fox jumps over the lazy dog"로부터 떨어져 있다.
도 26f는 큰 틸트 각도(2626)를 가지고 접촉한 이후에 텍스트(2622) 상에서 또는 근처에서 터치 스크린을 가로질러 위치(504-e) 및 표시(516-e)를 이동시키는 스타일러스를 예시한다. 거리(2632)는 스타일러스와 터치 스크린 사이의 접촉에 대응한다. 디바이스는 가상 펜을 선택하는 대신에 가상 하이라이터를 선택하고 사용하는데, 그 이유는 틸트가 가상 하이라이터에 대한 선택 기준을 충족하기 때문이다. 예를 들어, 터치 감응형 표면 상의 스타일러스에 의한 최초 접촉이 검출될 때 스타일러스의 틸트(2626)는 사전정의된 각도보다 크다. 넓은 하이라이터 마크(2634-a)가 만들어지는데 그 이유는 큰 틸트 각도(2626) 때문이다.
도 26f 내지 도 26h는 스타일러스 위치가 504-e에서 504-f로, 504-g로 이동하고 표시가 516-e에서 516-f로, 516-g로 이동함에 따라 하이라이터 마크를 2634-a에서 2634-b로, 2634-c로 연장하는 것을 예시한다. 또한, 스타일러스 틸트는 2626에서 2628로, 2642로 감소하며, 이로 인해 하이라이터 마크의 폭이 또한 감소한다. 일부 실시예들에서, 틸트(2628)(및/또는 틸트(2642))는 가상 펜을 선택하기 위한 선택 기준의 일부인 틸트 각도 기준을 충족한다. 그럼에도 불구하고, 도 26h에 도시된 바와 같이, 디바이스는 계속해서 입력의 나머지 부분에 대하여 가상 하이라이터를 이용하여 마크를 만드는데, 그 이유는 가상 펜에 대한 선택 기준의 일부인 타이밍 기준이 충족되지 않기 때문이다.
도 27a 내지 도 27c는 일부 실시예들에 따른, 스타일러스를 이용하는 가상 드로잉 도구를 모방하는 방법(2700)을 예시하는 흐름도이다. 방법(2700)은 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스(예컨대, 도 3의 디바이스(300), 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응형 표면은 디스플레이 상에 있거나 이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 방법(2700)의 일부 동작들이 선택적으로 조합되고/되거나 일부 동작들의 순서가 선택적으로 변경된다.
아래 기재되는 바와 같이, 방법(2700)은 스타일러스의 틸트에 기초하여 가상 드로잉 도구들을 선택하기 위한 방법을 제공한다. 방법은 스타일러스를 이용하여 상이한 가상 도구들의 마크를 생성할 때 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 감소시킴으로써, 더 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스들에 대해, 사용자가 더 빠르고 더 효율적으로 상이한 가상 드로잉 도구들 사이에 스위칭할 수 있게 하는 것은 전력을 보존하고 배터리 충전들 사이의 시간을 증가시킨다.
디바이스는, 터치 감응형 디스플레이 상에, 전자 문서를 디스플레이하도록 구성된다(2702). 예를 들어, 도 26a는 전자 문서, 즉, 전자 캔버스(2601)의 예시적인 실시예를 도시한다. 일부 실시예들에서, 전자 문서는 종이, 이미지, 워드 프로세싱 페이지, 책, 프리젠테이션 슬라이드, 스프레드시트 등이다.
디바이스는 디스플레이 상에 전자 문서를 디스플레이하는 동안 스타일러스로부터의 제1 입력을 검출하고(2704), 제1 입력을 검출하는 것은 터치 감응형 표면 상의 스타일러스에 의한 최초 접촉을 검출하는 것을 포함한다(도 26a에 도시된 바와 같이, 스타일러스(203)가 위치(504-a)에서 터치 감응형 표면과 접촉함).
디바이스는 스타일러스의 틸트를 포함하는, 스타일러스로부터의 제1 입력의 복수의 특성을 결정하며, 스타일러스의 틸트는 터치 감응형 표면의 표면의 법선에 대한 각도이다(2706). 스타일러스 틸트(2606)가 터치 감응형 표면의 법선(z 축에 평행함)(510)에 대하여 상대적인 틸트가 도 26a의 측면 관점에서 도시된다. 스타일러스가 터치 감응형 표면에 직각/수직할 때 틸트는 0이고, 스타일러스가 터치 감응형 표면과 평행한 것에 더 가까이 틸트됨에 따라 틸트는 90 도를 향해 증가한다. 일부 실시예들에서, 제1 입력의 특성들은 위치, 속력, 방향, 배향, 틸트, 및/또는 세기를 포함하지만, 이에 한정되지 않는다.
디바이스는, 틸트가 제1 가상 드로잉 도구에 대한 하나 이상의 선택 기준을 충족한다는 결정에 따라, 스타일러스가 모방할 제1 가상 드로잉 도구를 선택한다(2708). 예를 들어, 틸트가 사전정의된 임계각(예컨대 10, 15, 20, 또는 25 도) 미만인 경우, 디바이스는 가상 펜 또는 연필을 선택한다(예컨대, 도 26a).
디바이스는, 틸트가 제2 가상 드로잉 도구에 대한 하나 이상의 선택 기준을 충족한다는 결정에 따라, 스타일러스가 모방할 제2 가상 드로잉 도구를 선택하며, 제2 가상 드로잉 도구는 제1 가상 드로잉 도구와 구분된다(2710). 예를 들어, 틸트가 사전정의된 임계각(예컨대 10, 15, 20, 또는 25 도) 초과인 경우, 디바이스는 가상 하이라이터를 선택한다(예컨대, 도 26d 및 도 26f).
일부 실시예들에서, 제1 가상 드로잉 도구에 대한 하나 이상의 선택 기준은 터치 감응형 표면 상의 스타일러스에 의한 최초 접촉이 검출될 때 스타일러스의 틸트가 사전정의된 각도 미만인 것을 포함하고, 제2 가상 드로잉 도구에 대한 하나 이상의 선택 기준은 터치 감응형 표면 상의 스타일러스에 의한 최초 접촉이 검출될 때 스타일러스의 틸트가 사전정의된 각도 초과인 것을 포함한다(2712). 일부 실시예들에서, 주어진 입력에 대하여, 스타일러스가 터치 감응형 표면과 최초 접촉할 때 검출된 틸트는 제1 가상 드로잉 도구 또는 제2 가상 드로잉 도구가 주어진 입력에 대하여 선택되고 사용되는지 결정한다.
일부 실시예들에서, 제1 가상 드로잉 도구에 대한 하나 이상의 선택 기준은 터치 감응형 표면 상의 스타일러스에 의한 최초 접촉이 검출된 이후에 사전정의된 시간 내의 스타일러스의 평균 틸트가 사전정의된 각도 미만인 것을 포함하고, 제2 가상 드로잉 도구에 대한 하나 이상의 선택 기준은 터치 감응형 표면 상의 스타일러스에 의한 최초 접촉이 검출된 이후에 사전정의된 시간 내의 스타일러스의 평균 틸트가 사전정의된 각도 초과인 것을 포함한다(2714). 일부 실시예들에서, 주어진 입력에 대하여, 스타일러스가 터치 감응형 표면과 최초 접촉할 때 및/또는 그 이후의 짧은 사전정의된 시간(예컨대, 0.05, 0.1, 또는 0.2 초) 동안 검출된 평균 틸트는 제1 가상 드로잉 도구 또는 제2 가상 드로잉 도구가 주어진 입력에 선택되고 사용되는지 결정된다.
일부 실시예들에서, 제1 가상 드로잉 도구는 필기를 위한 것이고 제2 가상 드로잉 도구는 하이라이트를 위한 것이다(예컨대, 도 26a 내지 도 26d에 도시된 바와 같음)(2716).
디바이스는, 스타일러스가 모방할 제1 가상 드로잉 도구와 제2 가상 드로잉 도구 중 하나를 선택한 이후에, 스타일러스로부터의 제1 입력을 검출하는 것에 응답하여 선택된 가상 드로잉 도구를 이용하여 전자 문서에 마크를 생성한다(예컨대, 도 26a 내지 도 26d에 도시된 바와 같음)(2718).
일부 실시예들에서, 스타일러스가 모방할 제1 가상 드로잉 도구와 제2 가상 드로잉 도구 중 하나의 선택 이후에, 디바이스는 제1 입력 동안 스타일러스의 틸트의 변경을 검출하고, 제1 입력 동안 틸트의 변경을 검출하는 것에 응답하여, 제1 입력 동안 틸트가 변경됨에 따라 마크의 폭을 조정하지만(도 26f 내지 도 26h에 도시된 바와 같이, 틸트가 감소함에 따라 마크(2634)가 좁아짐), 선택된 가상 드로잉 도구를 변경하지 않는다(2720).
일부 실시예들에서, 틸트가 변경됨에 따라 마크의 폭을 조정하는 것은 입력 동안 틸트가 증가함에 따라 마크의 폭을 증가시키는 것을 포함한다(2722). 일부 실시예들에서, 틸트가 변경됨에 따라 마크의 폭을 조정하는 것은 입력 동안 틸트가 감소함에 따라 마크의 폭을 감소시키는 것을 포함한다(예컨대, 도 26f 내지 도 26h에 도시된 바와 같음).
일부 실시예들에서, 스타일러스가 모방할 제1 가상 드로잉 도구와 제2 가상 드로잉 도구 중 하나의 선택 이후에, 선택된 가상 드로잉 도구는 스타일러스의 틸트의 중간 변경에 상관없이 스타일러스로부터의 제1 입력의 나머지 부분 동안 변하지 않는다(2724). 예를 들어, 일단 하이라이터가 선택되면, 가상 드로잉 도구는 리프트오프까지 하이라이터를 유지한다(예컨대, 도 26f 및 도 26g).
일부 실시예들에서, 디바이스는 제1 입력의 종료를 검출하고, 제1 입력의 종료를 검출하는 것에 응답하여, 전자 문서에 마크를 생성하는 것을 중지한다(2726). 일부 실시예들에서, 제1 입력의 종료를 검출하는 것은 터치 감응형 표면으로부터 스타일러스의 리프트오프를 검출하는 것을 포함한다(예컨대, 도 26c)(2728).
일부 실시예들에서, 제1 입력의 복수의 특성은 제1 가상 드로잉 도구에 대한 하나 이상의 선택 기준을 충족하고; 스타일러스로부터의 제1 입력을 검출하는 것에 응답하여 선택된 가상 드로잉 도구로 전자 문서에 마크를 생성하는 것은 제1 가상 드로잉 도구에 기초하여 마크를 생성하는 것을 포함한다. 그러한 실시예들에서, 터치 감응형 표면 상의 스타일러스로부터의 제1 입력을 연속적으로 검출하는 동안: 제1 가상 드로잉 도구에 기초하여 마크를 생성한 이후에, 디바이스는 스타일러스의 틸트의 변경을 검출하고 - 변경된 틸트는 제2 가상 드로잉 도구에 대한 하나 이상의 선택 기준 중 하나 이상의 틸트 각도 기준을 충족함 -; 스타일러스의 틸트의 변경을 검출한 이후에, 디바이스는 스타일러스의 터치 감응형 표면을 따라가는 이동을 검출하고; 스타일러스의 이동을 검출하는 것에 응답하여, 디바이스는 계속해서 제1 가상 드로잉 도구에 기초하여 마크를 생성한다(2730). 일부 실시예들에서, 각각의 가상 드로잉 요소에 대한 하나 이상의 선택 기준은 하나 이상의 틸트 각도 기준 및 하나 이상의 타이밍 기준을 포함한다. 예를 들어, 틸트 각도 기준은 틸트가 사전정의된 임계각 초과인 것이고, 타이밍 기준은, 주어진 입력에 대하여, 스타일러스가 터치 감응형 표면과 최초 접촉할 때 및/또는 그 이후의 짧은 사전정의된 시간(예컨대, 0.05, 0.1, 또는 0.2 초) 동안 측정된 틸트만이 각각의 가상 드로잉 도구가 주어진 입력에 대하여 선택되고 사용되는지 결정하는 것이다. 이 예에서, 제1 가상 드로잉 도구가 초기에 선택되고 제2 가상 드로잉 도구에 대한 틸트 각도 기준이 약간의 시간이 지난 뒤 충족되는, 즉, 시간이 타이밍 기준을 충족하지 못하는 경우, 제2 가상 도구에 대한 틸트 각도 기준이 시간이 지난 후에 주어진 입력 동안 충족되더라도, 제1 가상 도구는 주어진 입력의 나머지 부분 동안 계속 선택되고 사용된다.
일부 실시예들에서, 계속해서 제1 드로잉 도구에 기초하여 마크를 생성한 이후에: 디바이스는 터치 감응형 표면으로부터 스타일러스의 리프트오프를 검출하고; 스타일러스의 터치 감응형 표면으로부터의 리프트오프를 검출한 이후에: 디바이스는 제2 가상 드로잉 도구에 대한 하나 이상의 선택 기준을 충족하는 스타일러스로부터의 제2 입력을 검출하고; 계속해서 터치 감응형 표면 상의 스타일러스로부터의 제2 입력을 검출하는 동안, 디바이스는 스타일러스의 터치 감응형 표면을 따라가는 이동을 검출하고; 스타일러스의 터치 감응형 표면을 따라가는 이동을 검출하는 것에 응답하여, 디바이스는 제2 가상 드로잉 도구에 기초하여 마크를 생성한다(2732).
도 27a 내지 도 27c에서의 동작들이 기술된 특정 순서는 단지 예시적인 것이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 추가적으로, 본 명세서에 기술된 다른 방법들(예컨대, 위의 "발명을 실시하기 위한 구체적인 내용"의 첫번째 단락에 열거된 것들)과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들은 또한 도 27a 내지 도 27c에 관련하여 전술된 방법(2700)과 유사한 방식으로 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(2700)을 참조하여 전술된 스타일러스 입력들은 선택적으로 본 명세서에 기재된 다른 방법들을 참조하여 본 명세서에 기재된 스타일러스 입력들의 특성들 중 하나 이상을 갖는다(예컨대, 위의 "발명을 실시하기 위한 구체적인 내용"의 첫번째 단락에 열거된 것들). 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 28은 다양한 기술된 실시예들의 원리들에 따라 구성된 전자 디바이스(2800)의 기능 블록도를 예시한다. 디바이스의 기능 블록들은, 선택적으로, 다양한 기술된 실시예들의 원리들을 실행하기 위한 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합에 의해 구현된다. 다양한 기술된 실시예들의 원리들을 구현하기 위해 도 28에서 기술된 기능 블록들이 선택적으로 조합되거나 서브블록들로 분리된다는 것이 당업자에 의해 이해된다. 따라서, 본 명세서의 설명은, 선택적으로, 본 명세서에 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 28에 도시된 바와 같이, 전자 디바이스(2800)는 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이 유닛(2802); 사용자 접촉(스타일러스 접촉 포함)을 수신하도록 구성된 터치 감응형 표면 유닛(2804)); 디바이스와 연관된 스타일러스로부터 신호를 검출하도록 구성된 하나 이상의 센서 유닛(2806); 및 디스플레이 유닛(2802), 터치 감응형 표면 유닛(2804) 및 하나 이상의 센서 유닛(2806)에 결합된 프로세싱 유닛(2808)을 포함한다. 일부 실시예들에서, 프로세싱 유닛(2808)은 디스플레이 인에이블 유닛(2810), 검출 유닛(2812), 결정 유닛(2814), 선택 유닛(2816), 생성 유닛(2818), 및 조정 유닛(2820)을 포함한다.
프로세싱 유닛(2808)은: 디스플레이 유닛(2802) 상에 전자 문서의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(2810)을 이용함); 디스플레이 유닛(2802) 상에 전자 문서의 디스플레이를 인에이블하는 동안, 스타일러스로부터 제1 입력을 검출하고(예컨대, 검출 유닛(2812)을 이용함) - 제1 입력은 제1 입력을 검출하는 것은 터치 감응형 표면 유닛(2804) 상에서 스타일러스에 의한 최초 접촉을 검출하는 것을 포함함 -; 스타일러스의 틸트를 포함하는, 스타일러스로부터의 제1 입력의 복수의 특성을 결정하고(예컨대, 결정 유닛(2814)을 이용함) - 스타일러스의 틸트는 터치 감응형 표면 유닛(2804)의 표면의 법선에 대한 각도임 -; 틸트가 제1 가상 드로잉 도구에 대한 하나 이상의 선택 기준을 충족한다는 결정에 따라, 스타일러스가 모방할 제1 가상 드로잉 도구를 선택하고(예컨대, 선택 유닛(2816)을 이용함); 틸트가 제2 가상 드로잉 도구에 대한 하나 이상의 선택 기준을 충족한다는 결정에 따라, 스타일러스가 모방할 제2 가상 드로잉 도구를 선택하고(예컨대, 선택 유닛(2816)을 이용함) - 제2 가상 드로잉 도구는 제1 가상 드로잉 도구와 구분됨 -; 스타일러스가 모방할 제1 가상 드로잉 도구와 제2 가상 드로잉 도구 중 하나를 선택한 이후에, 스타일러스로부터의 제1 입력을 검출하는 것에 응답하여(예컨대, 검출 유닛(2812)을 이용함) 선택된 가상 드로잉 도구를 이용하여 전자 문서에 마크를 생성하도록(예컨대, 생성 유닛(2818)을 이용함) 구성된다.
전술된 정보 처리 방법들에서의 동작들은 선택적으로 (예컨대, 도 1a 및 도 3과 관련하여 전술된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 처리 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 27a 내지 도 27c를 참조하여 전술된 동작들은, 선택적으로, 도 1a, 도 1b 또는 도 28에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 디스플레이 동작(2702), 검출 동작(2704), 결정 동작(2706), 선택 동작(2708), 선택 동작(2710), 및 생성 동작(2718)은, 선택적으로, 이벤트 분류기(170), 이벤트 인식기(180), 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉(또는 근접)을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각각의 이벤트 인식기(180)는 이벤트 정보를 각각의 이벤트 정의들(186)과 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉(또는 근접)(또는 디바이스의 회전)이 사전정의된 이벤트 또는 서브이벤트, 예컨대 사용자 인터페이스 상의 객체의 선택, 또는 일 배향에서 다른 배향으로의 디바이스의 회전에 대응하는지 결정한다. 각각의 미리정의된 이벤트 또는 서브이벤트가 검출되는 경우에, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화시킨다. 이벤트 핸들러(190)는 선택적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출하여 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
캘린더 이벤트 생성
많은 전자 디바이스들이 전자 캘린더를 가지고 있다. 전자 캘린더는 이벤트 및 이벤트 시작 시간, 이벤트 종료 시간, 이벤트 날짜, 이벤트 제목, 이벤트 위치, 메모 등과 같은 연관 정보를 디스플레이할 수 있다. 사용자 생성 이벤트가 전자 캘린더에 디스플레이되도록 하는 효율적이고 편리한 방법들을 제공할 필요가 있다. 본 명세서에 기재된 실시예들은 사용자가 터치 감응형 디스플레이 상의 부정확한 손으로 그린 입력(예컨대, 손가락 또는 스타일러스 사용)을 제공하더라도 시작 시간 및 종료 시간이 정확하게 전자 캘린더에 이벤트를 생성할 수 있게 한다.
아래에서, 도 29a 내지 도 29h는 일부 실시예들에 따른, 캘린더 이벤트 생성을 위한 예시적인 사용자 인터페이스를 예시한다. 도 30a 내지 도 30d는 손으로 그린 입력을 이용한 캘린더 이벤트 생성의 방법을 예시하는 흐름도이다. 도 29a 내지 도 29h의 사용자 인터페이스를 이용하여 도 30a 내지 도 30d의 프로세스를 예시한다.
도 29a 내지 도 29h는 일부 실시예들에 따른, 캘린더 이벤트를 생성하기 위한 예시적인 사용자 인터페이스를 예시한다. 이 도면들에서의 사용자 인터페이스들은 도 30a 내지 도 30d에서의 프로세스들을 비롯한, 이하에 기술되는 프로세스들을 설명하는 데 사용된다. 후속하는 예들 중 일부가 (터치 감응형 표면과 디스플레이가 조합된) 터치 스크린 디스플레이 상의 입력들을 참조하여 주어질 것이지만, 일부 실시예들에서, 디바이스는 도 6b에 도시된 바와 같이 디스플레이(650)와 별개인 터치 감응형 표면(651) 상의 입력들을 검출한다.
일부 실시예들에서, 디바이스는 별개의 디스플레이(예컨대, 디스플레이(650)) 및 별개의 터치 감응형 표면(예컨대, 터치 감응형 표면(651))을 갖는 전자 디바이스이다. 일부 실시예들에서, 디바이스는 휴대용 다기능 디바이스(100)이고, 디스플레이는 터치 감응형 디스플레이 시스템(112)이며, 터치 감응형 표면은 디스플레이 상의 촉각적 출력 생성기들(163)을 포함한다(도 1a). 설명의 편의를 위해, 도 29a 내지 도 29h 및 도 30a 내지 도 30d와 관련하여 기술되는 실시예들은 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에 수행되는 동작들과 관련하여 논의될 것이다. 이러한 실시예들에서, 포커스 선택자는, 선택적으로: 각각의 손가락 또는 스타일러스 접촉이거나, 손가락 또는 스타일러스 접촉에 대응하는 대표 지점(예컨대, 각각의 접촉의 중심, 또는 각각의 접촉과 연관된 지점), 또는 터치 감응형 디스플레이 시스템(112) 상에 검출된 둘 이상의 접촉들의 중심이다. 그러나 유사한 동작들이, 선택적으로, 포커스 선택자와 함께, 도 29a 내지 도 29h에 도시된 사용자 인터페이스들을 디스플레이(650) 상에 디스플레이하는 동안 터치 감응형 표면(651) 상에서 도 29a 내지 도 29h에서 묘사되는 접촉들을 검출하는 것에 응답하여 디스플레이(650) 및 별도의 터치 감응형 표면(651)을 갖는 디바이스 상에서 수행된다.
도 29a는 캘린더 이벤트를 생성하기 위한 손으로 그린 입력의 예를 예시한다. 이 예에서, 디바이스(100)는, 터치 감응형 디스플레이(112)에, 전자 캘린더(2902)를 디스플레이한다. 캘린더(2902)는 각각의 날짜(2904)를 컬럼(2906)으로 디스플레이한다. 도 29a의 예시적인 예에서, 월요일, 6월 20일은 컬럼(2906)에 표시된 날짜(2904)이다. 각각의 컬럼(2906)은, 예컨대, 그 날의 시간들에 대응하는 서브영역들(2908)을 포함한다. 도 29a의 예시적인 예에서, 상단 라인(2910)(4 PM) 및 하단 라인(2912)(5 PM)이 경계를 이루는 시간은 서브영역(2908)에 의해 나타나는 시간이다. 그래픽(2914)은 접촉(예컨대 손가락(202) 또는 스타일러스(203))에 의해 제공된 손으로 그린 입력에 대응한다. 손으로 그린 입력은 지점(2916)에서 터치 감응형 디스플레이(112)와 최초 접촉하고, 이어서 터치 감응형 디스플레이(112)를 가로질러 그래픽(2914)에 의해 나타난 라인을 따라 지점(2918)까지 이동하며, 접촉의 터치 감응형 디스플레이(112)로부터 리프트오프가 지점(2918)에서 발생한다. 그래픽(2914)은 컬럼(2906)(즉, 소정 날짜(2904))의 수직 부분(2920) 위에 연장되어 도시된다. 수직 부분(2920)의 수직 범위는 손으로 그린 입력의 수직 범위와 동일하거나 또는 대략 동일하다. 예를 들어, 수직 부분(2920)의 수직 범위는 접촉의 터치 감응형 디스플레이(112)와의 최초 접촉 지점(2916)에서 접촉의 터치 감응형 디스플레이(112)로부터 리프트오프의 지점(2918)까지 연장될 수 있다. 도 29a의 예시적인 예에서, 소정 날짜(2904)의 수직 부분(2920)에 따라 생성된 이벤트는 2 PM의 시작 시간 및 3:30 PM의 종료 시간을 가질 수 있다. 도 30a에 관련하여 아래 추가로 논의되는 바와 같이, 이벤트의 시작 시간 및 종료 시간을 결정하는 데 사용되는 시간 증분에 따라, 상이한 시작 시간 및/또는 종료 시간이 그래픽(2914)에 의해 나타나는 손으로 그린 입력으로부터 결정될 수 있다.
도 29b는 이벤트에 대한 대체 그래픽들의 예를 예시한다. 이 예에서, 손으로 그린 입력에 대응하는 그래픽(2914)은 사전결정된 그래픽(2922)에 의해 대체된다. 일부 실시예들에서, 캘린더(2902)에 이벤트를 생성하기 위한 요청에 대응하는 수신된 입력에 응답하여 대체가 발생한다. 예를 들어, 그래픽(2914)에 의해 나타난 바와 같이 손으로 그린 입력을 제공한 이후에, 사용자는 이벤트 생성을 요청하기 위하여 그래픽(2914)을 탭할 수 있다. 이벤트는 사전결정된 그래픽(2922)으로 캘린더(2902)에 표시될 수 있다. 일부 실시예들에서, 그래픽(2914)을 대체하는 사전결정된 그래픽(2922)은 이벤트 시작 시간을 나타내는 상단 측(2926) 및 종료 시간을 나타내는 하단 측(2928)을 갖는 상자(2924)를 포함한다. 사전결정된 그래픽(2922)의 수직 범위(예컨대, 상단 측(2926)에서 하단 측(2928)까지)는 수직 부분(2920)의 수직 범위와 동일하거나 또는 대략 동일하다. 일부 실시예들에서, 사전결정된 그래픽(2922)은 텍스트(2930), 예컨대, 디폴트 텍스트(예컨대, "새로운 이벤트"), 손으로 쓴 문자들에 대응하는 인식된 문자들 등을 포함할 수 있다.
도 29c는 손으로 그린 입력에 대응하는 그래픽(2914)의 디스플레이를 유지하고 이벤트의 시작 시간 및 종료 시간을 나타내는 그래픽(2932)을 추가하는 예를 예시한다. 일부 실시예들에서, 그래픽(2914)의 디스플레이를 유지하고 그래픽(2932)을 추가하는 것은 캘린더(2902)에 이벤트를 생성하기 위한 요청에 대응하는 수신된 입력에 응답하여 발생한다. 예를 들어, 그래픽(2914)에 의해 나타난 바와 같이 손으로 그린 입력을 제공한 이후에, 사용자는 이벤트 생성을 요청하기 위하여 그래픽(2914)을 탭할 수 있다. 이벤트는 그래픽(2914) 및 추가적인 그래픽(2932)과 함께 캘린더(2902)에 표시될 수 있다. 일부 실시예들에서, 추가적인 그래픽(2932)은 이벤트 시작 시간을 나타내는 상단 측(2934), 및 종료 시간을 나타내는 하단 측(2936)을 갖는 상자이다. 추가적인 그래픽(2932)의 수직 범위(예컨대, 상단 측(2934)에서 하단 측(2936)까지)는 하루(2904)의 수직 부분(2920)의 수직 범위와 동일하거나 또는 대략 동일할 수 있다.
도 29d는 손으로 쓴 문자들을 포함하는 손으로 그린 입력에 대응하는 그래픽(2938)의 예를 예시한다. 이 예에서, 디바이스(100)는, 터치 감응형 디스플레이(112)에, 단어 "Book Club" 및 단어 둘레의 원(2939)을 포함하는, 접촉(예컨대 손가락(202) 또는 스타일러스(203))에 의해 제공된 손으로 그린 입력에 대응하는 그래픽(2938)을 디스플레이한다. 그래픽(2938)은 컬럼(2942)(즉, 하루(2944))의 수직 부분(2940) 위에 연장되어 도시된다. 수직 부분(2940)의 수직 범위는 손으로 그린 입력의 수직 범위와 동일하거나 또는 대략 동일하다. 일부 실시예들에서, 그래픽(2938)을 포함하는 캘린더 이벤트가 캘린더(2902)에 디스플레이된다. 도 29d의 예시적인 예에서, 하루(2944)의 수직 부분(2940)에 따라 생성된 이벤트는 7:30 PM의 시작 시간 및 8:30 PM의 종료 시간을 가질 수 있다. 도 30a에 관련하여 아래 추가로 논의되는 바와 같이, 이벤트의 시작 시간 및 종료 시간을 결정하는 데 사용되는 시간 증분에 따라, 상이한 시작 시간 및/또는 종료 시간이 그래픽(2938)에 의해 나타나는 손으로 그린 입력으로부터 결정될 수 있다.
도 29e는 손으로 쓴 문자들의 인식된 문자들을 대체하는 디지털 텍스트의 예를 예시한다. 일부 실시예들에서, 손으로 그린 입력(예컨대, 그래픽(2938)으로 표시된 바와 같음)이 손으로 쓴 문자들을 포함하면, 손으로 그린 입력 내의 손으로 쓴 문자들이 인식된다. 예를 들어, 손으로 그린 입력 내의 단어 "Book Club"을 형성하는 문자들(예컨대, 도 29d의 그래픽(2938)으로 표시됨)이 인식된다. 도 29e에서, 디바이스(100)는, 터치 감응형 디스플레이(112)에, 인식된 문자들 "Book Club"을 포함하는 디지털 텍스트(2946)와 함께 이벤트(2948)를 디스플레이한다.
도 29f는 그래픽을 포함하는 이벤트 리마인더의 예를 예시한다. 이 예에서, 그래픽(2952)을 포함하는 이벤트 리마인더(2950)가 터치 감응형 디스플레이(112) 상에 디스플레이된다. 일부 실시예들에서, 디바이스(100)는 현재 시간이 이벤트의 시작 시간(예컨대, 그래픽(2938)으로 표시된 이벤트의 시작 시간 7:30)임을 검출한다. 현재 시간은 현재 시간 표시자(2954) 및/또는 당일 표시자(2956)에 의해 캘린더(2902)에 시각적으로 표시될 수 있다. 현재 시간이 그래픽(2938)에 의해 표시되는 이벤트의 시작 시간임을 검출하는 것에 응답하여, 디바이스(100)는 이벤트 리마인더(2950)를 디스플레이한다. 이벤트 리마인더(2950)는 리마인더의 대상인, 이벤트에 대한 그래픽(2938)에 대응하는 그래픽(2952)을 포함한다. 일부 실시예들에서, 이벤트 리마인더는 캘린더 이벤트보다 하나 이상의 사전결정된 시간 전(예컨대, 이벤트보다 5, 10, 15, 30, 및/또는 60 분 전)에 디스플레이된다.
도 29g는 디바이스(100)로부터 수신된 이벤트의 표현을 디스플레이하는 원격 전자 디바이스(2958)의 예를 예시한다. 이 예에서, 그래픽(2938)에 의해 표시되는 이벤트는 디바이스(100)에서 원격 디바이스(2958)로 송신된다. 원격 전자 디바이스(2958)는 수신된 이벤트의 표현(2960)을 디스플레이한다. 이벤트의 표현(2960)은 수신된 이벤트에 대응하는 그래픽(2938)을 포함한다. 일부 실시예들에서, 원격 전자 디바이스(2958)는 디지털 텍스트(예컨대, 인식된 문자들을 포함하는 디지털 텍스트(2946))를 포함하는 표현(2960)을 디스플레이한다.
도 29h는 손으로 그린 입력에 대응하는 그래픽을 보여주는 것과 손으로 그린 입력에 대한 대체 그래픽들을 보여주는 것을 전환하는 예들을 도시한다. 제1 상태(2962)에서, 디바이스(100)는 이벤트들에 대하여 손으로 그린 입력에 대응하는 그래픽들(2914, 2938)을 디스플레이한다. 제2 상태(2964)에서, 디바이스(100)는 이벤트들에 대하여 손으로 그린 입력에 대응하는 그래픽들(2914, 2938)을 각각 대체하는 대체 그래픽들(2922, 2948)을 디스플레이한다.
터치 감응형 디스플레이(112)에서 검출된 입력을 이용하여 단일 이벤트에 대하여 손으로 그린 입력에 대응하는 그래픽의 디스플레이와 손으로 그린 입력에 대한 대체 그래픽들의 디스플레이의 전환을 요청할 수 있다. 예를 들어, 터치 감응형 디스플레이(112) 상의 손으로 그린 입력에 대응하는 그래픽(2914)에서 입력이 수신되면, 디바이스(100)는 그래픽(2914)을 디스플레이하는 것을 중지하고 터치 감응형 디스플레이(112) 상에 대체 그래픽(2922)을 디스플레이한다. 터치 감응형 디스플레이(112) 상의 대체 그래픽(2922)에서 입력이 수신되면, 디바이스(100)는 2922를 디스플레이하는 것을 중지하고 터치 감응형 디스플레이(112) 상에 2914를 디스플레이한다. 터치 감응형 디스플레이(112) 상의 손으로 그린 입력에 대응하는 그래픽(2938)에서 입력이 수신되면, 디바이스(100)는 그래픽(2938)을 디스플레이하는 것을 중지하고 터치 감응형 디스플레이(112) 상에 대체 그래픽(2948)을 디스플레이한다. 터치 감응형 디스플레이(112) 상의 그래픽(2948)에서 입력이 수신되면, 디바이스(100)는 그래픽(2948)을 디스플레이하는 것을 중지하고 터치 감응형 디스플레이(112) 상에 그래픽(2938)을 디스플레이한다.
터치 감응형 디스플레이(112)에서 검출된 입력을 이용하여 다수의 이벤트들에 대하여 손으로 그린 입력에 대응하는 그래픽의 디스플레이와 손으로 그린 입력에 대한 대체 그래픽들의 디스플레이의 전환을 요청할 수 있다. 예를 들어, 터치 감응형 디스플레이(112) 상에 다수의 이벤트들에 대한 전환을 요청하는 입력이 수신될 때, 디바이스(100)가 손으로 그린 입력에 대응하는 그래픽들(2914, 2938)을 디스플레이하고 있는 경우, 디바이스(100)는 그래픽들(2914, 2938)을 디스플레이하는 것을 중지하고 터치 감응형 디스플레이(112) 상에 대체 그래픽들(2922, 2948)을 디스플레이한다. 터치 감응형 디스플레이(112) 상에 다수의 이벤트들에 대한 전환을 요청하는 입력이 수신될 때, 디바이스(100)가 손으로 그린 입력에 대응하는 그래픽들(2922, 2948)을 디스플레이하고 있는 경우, 디바이스(100)는 그래픽들(2922, 2948)을 디스플레이하는 것을 중지하고 터치 감응형 디스플레이(112) 상에 대체 그래픽들(2914, 2938)들을 디스플레이한다.
도 30a 내지 도 30d는 일부 실시예들에 따른, 손으로 그린 입력으로부터의 캘린더 이벤트 생성의 방법(3000)을 예시하는 흐름도이다. 방법(3000)은 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스(예를 들어, 도 3의 디바이스(300), 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응형 표면은 디스플레이 상에 있거나 이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 방법(3000)의 일부 동작들이 선택적으로 조합되고/되거나 일부 동작들의 순서가 선택적으로 변경된다.
아래 기재되는 바와 같이, 방법(3000)은 부정확한 손으로 그린 입력으로부터 정확한 시작 및 종료 시간을 갖는 캘린더 이벤트를 생성하는 직관적인 방법을 제공한다. 방법은 캘린더 이벤트들을 생성할 때 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 감소시킴으로써, 더 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스들에 대해, 사용자가 더 빠르고 더 효율적으로 캘린더 이벤트를 생성할 수 있게 하는 것은 전력을 보존하고 배터리 충전들 사이의 시간을 증가시킨다.
디바이스는 제1 일에 대응하는 영역을 포함하는 전자 캘린더를 디스플레이한다(3002). 일부 실시예들에서, 제1 일에 대응하는 영역은 제1 일의 시간들에 대응하는 서브영역들을 포함하는 컬럼이다. 예를 들어, 도 29a는 디바이스(100)의 터치 감응형 디스플레이(112) 상에 디스플레이되는 전자 캘린더(2902)를 도시한다. 캘린더(2902)는 소정 날짜(2904)에 대응하는 영역(2906)을 포함한다. 영역(2906)은 소정 날짜(2904)의 시간들에 대응하는 서브영역들(2908)을 포함하는 컬럼이다.
일부 실시예들에서, 디바이스(100)는 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서를 포함한다.
디바이스는 터치 감응형 디스플레이 상의 손으로 그린 입력(예컨대, 손가락 또는 스타일러스로 드로잉된 입력)을 검출한다(3004). 손으로 그린 입력은 디스플레이되는 캘린더 내의 제1 일의 수직 부분(전체보다 작음) 위에 연장된다(걸쳐 이어짐). 예를 들어, 도 29a에서, 손으로 그린 입력(그래픽(2914)으로 표시됨)이 디바이스(100)에 의해 검출된다. 도 29a의 손으로 그린 입력은 디스플레이되는 캘린더(2902) 내의 소정 날짜(2904)의 수직 부분(2920) 위에 연장된다. 다른 예에서, 도 29c에서, 손으로 그린 입력(그래픽(2938)으로 표시됨)이 디바이스(100)에 의해 검출된다. 도 29c의 손으로 그린 입력은 디스플레이되는 캘린더(2902) 내의 소정 날짜(2944)의 수직 부분(2940) 위에 연장된다.
손으로 그린 입력을 검출하는 것에 응답하여, 디바이스는, 제1 일의 수직 부분 위에, 손으로 그린 입력에 대응하는 그래픽을 디스플레이한다(3006). 예를 들어, 디바이스는 손으로 그린 입력에서 손가락 또는 스타일러스로 만들어진, 이동에 대응하는 라인 및/또는 점들과 같은 하나 이상의 전자 마크를 디스플레이한다. 도 29a의 예시적인 예에서, 디바이스(100)는, 소정 날짜(2904)의 수직 부분(2920) 위에, 터치 감응형 디스플레이(112)에서 수신된 손으로 그린 입력에 대응하는 그래픽(2914)을 디스플레이한다. 도 29c의 예시적인 예에서, 디바이스(100)는, 소정 날짜(2944)의 수직 부분(2940) 위에, 터치 감응형 디스플레이(112)에서 수신된 손으로 그린 입력에 대응하는 그래픽(2938)을 디스플레이한다.
일부 실시예들에서, 손으로 그린 입력을 검출하는 것에 응답하여, 디바이스는 손으로 그린 입력이 손으로 쓴 문자들(예컨대, 손가락 또는 스타일러스로 쓴 텍스트 또는 기타 문자들)을 포함하는지 결정한다(3008). 예를 들어, 손으로 그린 입력(예컨대, 그래픽(2914)으로 표시된 바와 같음)이 도 29a에 도시된 바와 같이 수신되면, 디바이스(100)는 손으로 그린 입력이 손으로 쓴 문자들을 포함하지 않는다고 결정한다. 손으로 그린 입력(예컨대, 그래픽(2938)으로 표시된 바와 같음)이 도 29d에 도시된 바와 같이 수신되면, 디바이스(100)는 손으로 그린 입력이 손으로 쓴 문자들(예컨대, 단어 "Book Club"의 문자들)을 포함하는지 결정한다. 손으로 그린 입력이 손으로 쓴 문자들을 포함한다는 결정에 따라, 디바이스는 손으로 그린 입력 내의 손으로 쓴 문자들을 인식한다(3010). 예를 들어, 디바이스는 손으로 그린 입력(예컨대, 손으로 그린 입력에 대응하는 그래픽(2938))에 광학 문자 인식(OCR)을 수행하여 손으로 쓴 문자들을 인식한다. 그렇게 인식된 텍스트는 이어서 디바이스에 의해 전자적으로 검색가능하다. 일부 실시예들에서, 손으로 쓴 문자들을 인식하는 것은 손으로 그린 입력을 검출하는 것에 응답하여 자동으로 수행되고, 수기 인식이 수행되어야 함을 요청하는 사용자 입력을 표현하지 않는다. 일부 실시예들에서, 손으로 쓴 텍스트는 이벤트에서 유지되지만, 인식된 문자들은 검색을 위해 인덱싱되어, 인식된 문자들을 포함하는 텍스트 검색은 검색 결과로서 이벤트를 반환할 것이다.
일부 실시예들에서, 손으로 쓴 문자들을 인식한 이후에, 디바이스는 손으로 그린 입력에 대응하는 그래픽의 디스플레이를 유지한다(3012). 예를 들어, 도 29d에 도시된 바와 같이, 디바이스(100)는 그래픽(2938)으로 표시되는 손으로 그린 입력 내의 손으로 쓴 문자들을 인식한 이후에, 디바이스(100)는 터치 감응형 디스플레이(112)에 그래픽(2938)을 디스플레이한다.
일부 실시예들에서, 손으로 쓴 문자들을 인식한 이후에, 디바이스는 손으로 쓴 문자들에 대응하는 그래픽의 디스플레이를 대응하는 인식된 문자들로 대체한다(예컨대, 손으로 쓴 텍스트는 디스플레이 상의 대응하는 디지털 텍스트로 대체됨)(3014). 예를 들어, 도 29d에는, 손으로 쓴 문자들에 대응하는 그래픽(2938)이 도시되고, 도 29e에는, 그래픽(2938)은 "Book Club"을 나타내는 디지털 텍스트(2946)에 의해 대체된다. 일부 실시예들에서, 손으로 쓴 입력이 대응하는 디지털 텍스트로 대체되면, 손으로 쓴 문자들에 대응하지 않는 그래픽의 디스플레이는 유지된다. 예를 들어, 도 29d에서, 그래픽(2938)으로 표시된 바와 같은 손으로 쓴 입력은 "Book Club"을 나타내는 손으로 쓴 문자들 둘레의 원(2939)을 포함한다. 일부 실시예들에서, 그래픽(2938)으로 표시된 바와 같은 손으로 쓴 입력이 "Book Club"을 나타내는 디지털 텍스트로 대체되면, 대체 그래픽(2948)은, 예컨대, 디지털 텍스트(2946) 둘레의 원(2939)을 포함한다.
제1 일의 수직 부분 위에, 손으로 그린 입력에 대응하는 그래픽을 디스플레이하는 동안, 디바이스는 전자 캘린더에 이벤트를 생성하기 위한 요청에 대응하는 입력을 검출한다(3016).
일부 실시예들에서, 전자 캘린더에 이벤트를 생성하기 위한 요청에 대응하는 입력은 손으로 그린 입력을 검출하는 것을 중지하는 것을 포함한다(예컨대, 손으로 그린 입력을 만드는 손가락 또는 스타일러스의 리프트오프를 검출하는 것에 응답하거나, 또는 손으로 그린 입력을 만드는 손가락 또는 스타일러스의 리프트오프를 검출한 이후에 사전결정된 시간이 경과한 이후에 이벤트가 생성됨)(3018). 예를 들어, 도 29a에서, 캘린더(2902)에 이벤트를 생성하기 위한 요청에 대응하는 입력은 터치 감응형 디스플레이(112)로부터 접촉의 리프트오프, 예컨대, 지점(2918)에서 발생하는 리프트오프를 포함할 수 있다.
일부 실시예들에서, 전자 캘린더에 이벤트를 생성하기 위한 요청에 대응하는 입력은 손으로 그린 입력에 대응하는 그래픽 상에서 검출된다(예컨대, 그래픽 상의 제1 일의 수직 부분 위의 탭 제스처)(3020). 예를 들어, 도 29a에서, 그래픽(2914)이 디스플레이되는 터치 감응형 디스플레이(112)의 위치에서 터치 감응형 디스플레이(112)와의 접촉이 일어날 때, 캘린더(2902)에 이벤트를 생성하기 위한 요청에 대응하는 입력이 검출될 수 있다. 예를 들어, 도 29d에서, 그래픽(2938)이 디스플레이되는 터치 감응형 디스플레이(112)의 위치에서 터치 감응형 디스플레이(112)와의 접촉이 일어날 때, 전자 캘린더(2902)에 이벤트를 생성하기 위한 요청에 대응하는 입력이 검출될 수 있다. 일부 실시예들에서, 그래픽 상의 손가락 제스처(예컨대, 탭 제스처)는 이벤트를 생성하는 반면, 그래픽 상의 스타일러스 제스처는 이벤트를 생성하지 않는다.
전자 캘린더에 이벤트를 생성하기 위한 요청에 대응하는 입력을 검출하는 것에 응답하여, 디바이스는 전자 캘린더의 제1 일에 시작 시간 및 종료 시간을 갖는 이벤트를 생성하고, 이벤트의 시작 시간 및 종료 시간은 제1 일의 수직 부분에 따른다(3022). 일부 실시예들에서, 시작 시간은 디스플레이되는 그래픽의 상부에 대응하고, 종료 시간은 디스플레이되는 그래픽의 하부에 대응한다. 일부 실시예들에서, 시작 시간은 디스플레이되는 그래픽의 상부에 가장 가까운 시간 증분에 대응하고, 종료 시간은 디스플레이되는 그래픽의 하부에 가장 가까운 시간 증분에 대응한다. 일부 실시예들에서, 시작 및 종료 시간이 :00, :15, :30, 또는 :45에 끝나도록 시간 증분은 15 분 증분이다.
예를 들어, 이벤트를 생성하기 위한 요청에 대응하는 입력(예컨대, 도 29a의 그래픽(2914)에서 수신된 입력)을 검출하는 것에 응답하여, 디바이스(100)는 제1 일의 수직 부분(예컨대, 제1 일(2904)의 수직 부분(2920))에 따라 시작 시간(예컨대, 1:52 PM) 및 종료 시간(예컨대, 3:25 PM)을 갖는 이벤트를 생성한다. 시작 시간이 그래픽(2914)의 상부에 가장 가까운 시간 증분에 대응하고 종료 시간이 그래픽(2914)의 하부에 가장 가까운 시간 증분에 대응하고, 시간 증분이 15 분 증분이면, 이벤트 시작 시간은 2 PM이고 종료 시간은 3:30 PM이다. 일부 실시예들에서, 시간 증분은 5, 10, 또는 30 분 증분이다. 일부 실시예들에서, 손으로 그린 입력의 수직 범위는 한 시간 미만에서 수 시간까지 사용자에 의해 드로잉되는 임의의 시간 범위에 대응할 수 있다. 이벤트의 시간 및 길이는 제1 일 내의 손으로 그린 입력의 수직 부분의 위치 및 길이에 따르며, 이는 사용자가 자유롭게 드로잉한다.
일부 실시예들에서, 전자 캘린더에 이벤트를 생성하기 위한 요청에 대응하는 입력을 검출하는 것에 응답하여, 디바이스는, 제1 일의 수직 부분 위에, 손으로 그린 입력에 대응하는 그래픽의 디스플레이를 유지한다(3024). 예를 들어, 이벤트를 생성하기 위한 요청에 대응하는 입력(예컨대, 도 29a의 그래픽(2914)에서 수신된 입력)에 응답하여, 디바이스(100)는 그래픽(2914)의 디스플레이를 유지한다(예컨대, 도 29c에 도시된 바와 같음).
일부 실시예들에서, 전자 캘린더에 이벤트를 생성하기 위한 요청에 대응하는 입력을 검출하는 것에 응답하여, 디바이스는, 제1 일의 수직 부분 위에, 손으로 그린 입력에 대응하는 그래픽의 디스플레이를 유지하고 이벤트의 시작 시간 및 종료 시간을 나타내기 위한 하나 이상의 그래픽을 추가한다(3026). 일부 실시예들에서, 디바이스는 이벤트를 위한 시간 슬롯, 예컨대, 손으로 그린 입력에 대응하는 그래픽 뒤에 상자를 추가하고, 상자의 상부는 시작 시간이고 상자의 하부는 종료 시간이다. 예를 들어, 이벤트를 생성하기 위한 요청에 대응하는 입력(예컨대, 도 29a의 그래픽(2914)에서 수신된 입력)에 응답하여, 디바이스(100)는 그래픽(2914)의 디스플레이를 유지하고(예컨대, 도 29c에 도시된 바와 같음) 그래픽(2914) 뒤에 상자(2932)를 추가한다. 상자(2932)는 이벤트의 시작 시간(예컨대, 2 PM)을 나타내는 상단 측(2934) 및 이벤트의 종료 시간(예컨대, 3:30 PM)을 나타내는 하단 측(2936)을 갖는다. 일부 실시예들에서, 디바이스는 (예컨대, 그래픽(2914)에) 시작 시간을 위한 라인 및 종료 시간을 위한 라인을 추가한다.
일부 실시예들에서, 전자 캘린더에 이벤트를 생성하기 위한 요청에 대응하는 입력을 검출하는 것에 응답하여, 디바이스는 손으로 그린 입력에 대응하는 그래픽의 디스플레이를 이벤트에 대하여 사전결정된 그래픽의 디스플레이로 대체한다(3028). 예를 들어, 디바이스(100)는, 도 29a에 도시된 바와 같이, 손으로 그린 입력에 대응하는 그래픽(2914)을, 도 29b에 도시된 바와 같이, 사전결정된 그래픽(2922)으로 대체한다.
일부 실시예들에서, 디바이스는 현재 시간이 이벤트의 시작 시간임을 검출한다(3030). 현재 시간이 이벤트의 시작 시간임을 검출하는 것에 응답하여, 디바이스는 터치 감응형 디스플레이 상에 이벤트 리마인더를 디스플레이하며, 디스플레이되는 이벤트 리마인더는 손으로 그린 입력에 대응하는 그래픽을 포함한다(3032). 원래 그래픽을 디스플레이하는 것은 그래픽을 올바르게 해석/인식할 필요가 없도록 해준다. 예를 들어, 도 29f에서, 그래픽(2938)으로 표시되는 손으로 그린 입력에 대응하는 이벤트에 대한 시작 시간에, 디바이스(100)는 손으로 그린 입력에 대응하는 그래픽(2952)을 포함하는 이벤트 리마인더(2950)를 디스플레이한다.
일부 실시예들에서, 디바이스는 터치 감응형 디스플레이를 갖는 전자 디바이스로부터 멀리 떨어진 제2 전자 디바이스에 이벤트를 송신한다(3034). 이벤트의 표현이 손으로 그린 입력에 대응하는 그래픽과 함께 제2 전자 디바이스 상에 디스플레이되도록 구성된다. 예를 들어, 도 29g에서, 디바이스(100)는 그래픽(2938)에 대응하는 이벤트를 원격 전자 디바이스(2958)에 송신한다(예컨대, 통신 모듈(128)을 이용함). 원격 전자 디바이스(2958)는 그래픽(2938)에 대응하는 이벤트의 표현(2960)을 디스플레이한다. 원격 전자 디바이스(2958)에 의해 디스플레이되는 이벤트의 표현(2960)은 그래픽(2938)을 포함한다. 일부 실시예들에서, 이벤트가 전자 캘린더에 생성된 이후에, 이벤트는 (예컨대, 이메일 또는 인스턴트 메시지를 통해) 다른 것들에 송신될 수 있고, 종래 방법에 의해 전자 캘린더에 생성된 캘린더 이벤트들과 같이 달리 사용될 수 있다. 반대로, 이벤트가 전자 캘린더에 생성되기 전에, 이벤트는 다른 것들에 송신될 수 없거나 또는 종래 방법으로 전자 캘린더에 생성된 캘린더 이벤트들과 같이 달리 사용될 수 없다.
일부 실시예들에서, 디바이스는 손으로 그린 입력에 대응하는 그래픽을 이용하여 이벤트를 디스플레이하는 것과 손으로 그린 입력에 대한 대체 그래픽들을 이용하여 이벤트를 디스플레이하는 것을 전환하기 위한 요청에 대응하는 입력을 검출한다(3036). 입력을 검출하는 것에 응답하여, 디바이스는 이벤트에 대하여 손으로 그린 입력에 대응하는 그래픽이 디스플레이되는지 또는 이벤트에 대하여 손으로 그린 입력에 대한 대체 그래픽들이 디스플레이되는지 결정한다(3038). 손으로 그린 입력에 대응하는 그래픽이 디스플레이된다고 결정하는 것에 응답하여, 디바이스는 손으로 그린 입력에 대응하는 그래픽을 디스플레이하는 것을 중지하고 디바이스는 이벤트에 대하여 손으로 그린 입력에 대한 대체 그래픽들을 이용하여 이벤트를 디스플레이한다(3040). 손으로 그린 입력에 대한 대체 그래픽들이 디스플레이된다고 결정하는 것에 응답하여, 디바이스는 손으로 그린 입력에 대한 대체 그래픽들을 디스플레이하는 것을 중지하고 디바이스는 손으로 그린 입력에 대응하는 그래픽을 이용하여 이벤트를 디스플레이한다(3042).
예를 들어, 디바이스(100)가 손으로 그린 입력에 대응하는 그래픽을 이용하여 이벤트를 디스플레이하는 것과 손으로 그린 입력에 대한 대체 그래픽들을 이용하여 이벤트를 디스플레이하는 것을 전환하기 위한 요청에 대응하는 입력을 검출하면, 디바이스(100)는 손으로 그린 입력(예컨대, 도 29a에 도시된 그래픽(2914))에 대응하는 그래픽이 디스플레이되는지, 또는 대체 그래픽들(예컨대, 도 29b에 도시된 사전결정된 그래픽(2922))이 디스플레이되는지 결정한다. 손으로 그린 입력에 대응하는 그래픽(예컨대, 도 29a에 도시된 그래픽(2914))이 디스플레이된다고 결정하는 것에 응답하여, 디바이스(100)는 그래픽(2914)을 디스플레이하는 것을 중지하고 디바이스(100)는 대체 그래픽들(예컨대, 도 29b에 표시된 바와 같은 사전결정된 그래픽(2922))을 디스플레이한다. 대체 그래픽들(예컨대 사전결정된 그래픽(2922))이 디스플레이된다고 결정하는 것에 응답하여, 디바이스(100)는 대체 그래픽들(2922)을 디스플레이하는 것을 중지하고 디바이스(100)는 손으로 그린 입력에 대응하는 그래픽(2914)을 디스플레이한다.
일부 실시예들에서, 디바이스는 복수의 이벤트에 대하여 손으로 그린 입력에 대응하는 그래픽을 이용하여 복수의 이벤트를 디스플레이하는 것과 복수의 이벤트에 대하여 손으로 그린 입력에 대한 대체 그래픽들을 이용하여 복수의 이벤트를 디스플레이하는 것을 전환하기 위한 요청에 대응하는 입력을 검출한다(3044). 입력을 검출하는 것에 응답하여, 디바이스는 복수의 이벤트에 대하여 손으로 그린 입력에 대응하는 그래픽이 디스플레이되는지 또는 복수의 이벤트에 대하여 손으로 그린 입력에 대한 대체 그래픽들이 디스플레이되는지 결정한다(3046). 복수의 이벤트에 대하여 손으로 그린 입력에 대응하는 그래픽이 디스플레이된다고 결정하는 것에 응답하여, 디바이스는 복수의 이벤트에 대하여 손으로 그린 입력에 대응하는 그래픽을 디스플레이하는 것을 중지하고 디바이스는 복수의 이벤트에 대하여 손으로 그린 입력에 대한 대체 그래픽들을 이용하여 복수의 이벤트를 디스플레이한다(3048). 복수의 이벤트에 대하여 손으로 그린 입력에 대한 대체 그래픽들이 디스플레이된다고 결정하는 것에 응답하여, 디바이스는 복수의 이벤트에 대하여 손으로 그린 입력에 대한 대체 그래픽들을 디스플레이하는 것을 중지하고 디바이스는 복수의 이벤트에 대하여 손으로 그린 입력에 대응하는 그래픽을 이용하여 복수의 이벤트를 디스플레이한다(3050).
예를 들어, 도 29h에서, 2962에 표시되는 제1 상태에서, 디바이스(100)는 손으로 그린 입력에 대응하는 그래픽들(2914, 2938)을 이용하여 복수의 이벤트를 디스플레이한다. 디바이스(100)는 복수의 이벤트에 대하여 손으로 그린 입력에 대응하는 그래픽을 이용하여 복수의 이벤트를 디스플레이하는 것과 복수의 이벤트에 대하여 손으로 그린 입력에 대한 대체 그래픽들을 이용하여 복수의 이벤트를 디스플레이하는 것을 전환하기 위한 요청에 대응하는 입력을 검출하면, 디바이스(100)는 그래픽들(2914, 2938)을 디스플레이하는 것을 중지하고 디바이스(100)는 대체 그래픽들(2922, 2948)을 디스플레이하며, 이는 디바이스(100)의 제2 상태(2964)에서 표시되는 바와 같다. 디바이스(100)가 2964에 표시된 바와 같이 제2 상태에 있을 때, 디바이스(100)가 복수의 이벤트에 대하여 손으로 그린 입력에 대응하는 그래픽을 이용하여 복수의 이벤트를 디스플레이하는 것과 복수의 이벤트에 대하여 손으로 그린 입력에 대한 대체 그래픽들을 이용하여 복수의 이벤트를 디스플레이하는 것을 전환하기 위한 요청에 대응하는 입력을 검출하는 경우, 디바이스(100)는 대체 그래픽들(2922, 2948)을 디스플레이하는 것을 중지하고 디바이스(100)는 손으로 그린 입력에 대응하는 그래픽들(2914, 2938)을 디스플레이하며, 이는 디바이스(100)의 제1 상태(2962)에서 표시되는 바와 같다.
도 30a 내지 도 30d에서의 동작들이 기술된 특정 순서는 단지 예시적인 것이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 추가적으로, 본 명세서에 기술된 다른 방법들(예컨대, 위의 "발명을 실시하기 위한 구체적인 내용"의 첫번째 단락에 열거된 것들)과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들은 또한 도 30a 내지 도 30d에 관련하여 전술된 방법(3000)과 유사한 방식으로 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(3000)을 참조하여 전술된 접촉, 제스처, 및 사용자 인터페이스 객체(예컨대, 그래픽)는 선택적으로 본 명세서에 기재된 다른 방법들을 참조하여 본 명세서에 기재된 접촉, 제스처, 및 사용자 인터페이스 객체(예컨대, 그래픽)의 특성들 중 하나 이상을 갖는다(예컨대, 위의 "발명을 실시하기 위한 구체적인 내용"의 첫번째 단락에 열거된 것들). 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 31은 다양한 기술된 실시예들의 원리들에 따라 구성된 전자 디바이스(3100)의 기능 블록 다이어그램을 도시한다. 디바이스의 기능 블록들은, 선택적으로, 다양한 기술된 실시예들의 원리들을 실행하기 위한 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합에 의해 구현된다. 다양한 기술된 실시예들의 원리들을 구현하기 위해 도 31에서 기술된 기능 블록들이 선택적으로 조합되거나 서브블록들로 분리된다는 것이 당업자에 의해 이해된다. 따라서, 본 명세서의 설명은, 선택적으로, 본 명세서에 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 31에 도시된 바와 같이, 전자 디바이스(3100)는 터치 감응형 디스플레이 유닛(3102), 및 터치 감응형 디스플레이 유닛(3102)에 연결된 프로세싱 유닛(3104)을 포함한다. 일부 실시예들에서, 프로세싱 유닛(3104)은 생성 유닛(3106), 결정 유닛(3108), 인식 유닛(3110), 유지 유닛(3112), 대체 유닛(3114), 추가 유닛(3116), 검출 유닛(3118), 및 중지 유닛(3120)을 포함한다.
터치 감응형 디스플레이 유닛(3102)은 터치 감응형 디스플레이 유닛(3102) 상에 전자 캘린더를 디스플레이하도록 구성되고, 디스플레이되는 캘린더는 제1 일에 대응하는 영역을 포함한다. 터치 감응형 디스플레이 유닛(3102)은 터치 감응형 디스플레이 유닛(3102) 상의 손으로 그린 입력을 검출하도록 추가로 구성되고, 손으로 그린 입력은 디스플레이되는 캘린더 내의 제1 일의 수직 부분(전체보다 작음) 위에 연장된다. 터치 감응형 디스플레이 유닛(3102)은, 손으로 그린 입력을 검출하는 것에 응답하여, 제1 일의 수직 부분 위에 손으로 그린 입력에 대응하는 그래픽을 디스플레이하고; 제1 일의 수직 부분 위에 손으로 그린 입력에 대응하는 그래픽을 디스플레이하는 동안, 전자 캘린더에 이벤트를 생성하기 위한 요청에 대응하는 입력을 검출하도록 추가로 구성된다.
프로세싱 유닛(3104)은, 전자 캘린더에 이벤트를 생성하기 위한 요청에 대응하는 입력을 검출하는 것에 응답하여, 전자 캘린더의 제1 일에 시작 시간 및 종료 시간을 갖는 이벤트를 생성하도록(예컨대, 생성 유닛(3106)을 이용함) 구성되고, 이벤트의 시작 시간 및 종료 시간은 하루의 수직 부분에 따른다.
전술된 정보 처리 방법들에서의 동작들은 선택적으로 (예컨대, 도 1a 및 도 3과 관련하여 전술된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 처리 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 30a 내지 도 30d를 참조하여 전술된 동작들은, 선택적으로, 도 1a, 도 1b 또는 도 31에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 검출 동작들(3004, 3016) 및 생성 동작(3022)은 선택적으로 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 개별 이벤트 인식기(180)는 이벤트 정보를 개별 이벤트 정의(186)와 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상의 객체의 선택과 같은 미리정의된 이벤트 또는 서브-이벤트, 또는 하나의 배향에서 다른 배향으로의 디바이스의 회전에 대응하는지 여부(또는 디바이스의 회전 여부)를 결정한다. 각각의 미리정의된 이벤트 또는 서브이벤트가 검출되는 경우에, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화시킨다. 이벤트 핸들러(190)는 선택적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출하여 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
비디오의 일부분 선택
많은 전자 디바이스가 비디오 편집을 위한 그래픽 사용자 인터페이스를 갖고 있다. 비디오 편집 세션 동안 비디오의 일부분을 선택하려는 경우가 종종 있다. 예를 들어, 사용자는 비디오의 일부분을 선택하여 비디오의 선택된 부분을 미리 보거나, 비디오의 선택된 부분에 동작을 수행하는 것 등을 원할 수 있다. 아래 실시예들은 사용자가 터치 감응형 디스플레이에서 스타일러스, 손가락 등과 같은 접촉을 이용하여 부정확한 입력을 제공함에도 불구하고 정확하게 비디오의 일부분을 선택할 수 있게 함으로써 기존 방법들을 개선한다.
아래에서, 도 32a 내지 도 32f는 비디오의 일부분을 선택하기 위한 예시적인 사용자 인터페이스를 예시한다. 도 33a 및 도 33b는 비디오의 일부분을 선택하는 방법을 예시하는 흐름도이다. 도 32a 내지 도 32f의 사용자 인터페이스를 이용하여 도 33a 및 도 33b의 프로세스를 예시한다.
도 32a 내지 도 32f는 일부 실시예들에 따른, 비디오의 일부분을 선택하기 위한 예시적인 사용자 인터페이스를 예시한다. 이 도면들에서의 사용자 인터페이스들은 도 33a 및 도 33b에서의 프로세스들을 비롯한, 이하에 기술되는 프로세스들을 설명하는 데 사용된다. 후속하는 예들 중 일부가 (터치 감응형 표면과 디스플레이가 조합된) 터치 스크린 디스플레이 상의 입력들을 참조하여 주어질 것이지만, 일부 실시예들에서, 디바이스는 도 6b에 도시된 바와 같이 디스플레이(650)와 별개인 터치 감응형 표면(651) 상의 입력들을 검출한다.
일부 실시예들에서, 디바이스는 별개의 디스플레이(예컨대, 디스플레이(650)) 및 별개의 터치 감응형 표면(예컨대, 터치 감응형 표면(651))을 갖는 전자 디바이스이다. 일부 실시예들에서, 디바이스는 휴대용 다기능 디바이스(100)이고, 디스플레이는 터치 감응형 디스플레이 시스템(112)이며, 터치 감응형 표면은 디스플레이 상의 촉각적 출력 생성기들(163)을 포함한다(도 1a). 설명의 편의를 위해, 도 32a 내지 도 33f 및 도 33a 및 도 33b와 관련하여 기술되는 실시예들은 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에 수행되는 동작들과 관련하여 논의될 것이다. 이러한 실시예들에서, 포커스 선택자는, 선택적으로: 각각의 손가락 또는 스타일러스 접촉이거나, 손가락 또는 스타일러스 접촉에 대응하는 대표 지점(예컨대, 각각의 접촉의 중심, 또는 각각의 접촉과 연관된 지점), 또는 터치 감응형 디스플레이 시스템(112) 상에 검출된 둘 이상의 접촉들의 중심이다. 그러나 유사한 동작들이, 선택적으로, 포커스 선택자와 함께, 도 32a 내지 도 32f에 도시된 사용자 인터페이스들을 디스플레이(650) 상에 디스플레이하는 동안 터치 감응형 표면(651) 상에서 도 32a 내지 도 32f에서 묘사되는 접촉들을 검출하는 것에 응답하여 디스플레이(650) 및 별도의 터치 감응형 표면(651)을 갖는 디바이스 상에서 수행된다.
도 32a는 비디오의 일부분을 선택하기 위한 제스처의 예를 예시한다. 이 예에서, 디바이스(100)는, 터치 감응형 디스플레이(112)에, 편집되고 있는 비디오에 대한 타임라인 영역(3204)을 포함하는 비디오 편집 애플리케이션(3202)을 디스플레이한다. 터치 감응형 디스플레이(112)는 터치 감응형 디스플레이(112)와의 접촉, 예컨대, 스타일러스(203)의 터치 감응형 디스플레이(112)와의 접촉을 이용하여 제공되는 제스처를 검출한다. 제스처는 타임라인 영역(3204)의 제1 시간 위치(3206)에서의 스타일러스(203)의 터치 감응형 디스플레이(112)와의 최초 접촉, 최초 접촉 이후에 터치 감응형 디스플레이(112)를 가로질러(예컨대, 마크(3208)에 의해 표시되는 라인을 따라) 스타일러스(203)의 이동, 및 타임라인 영역(3204)의 제2 시간 위치(3210)에서의 스타일러스(203)의 터치 감응형 디스플레이(112)로부터의 리프트오프를 포함한다. 일부 실시예들에서, 스타일러스(203)가 터치 감응형 디스플레이(112)를 가로질러 이동함에 따라, 디바이스(100)는 제1 시간 위치(3206)에서의 최초 접촉에서 제2 시간 위치(3210)에서의 리프트오프까지 이동을 도시하는 마크(3208)를 드로잉한다. 위에서 기재된 제스처를 검출하는 것에 응답하여, 디바이스(100)는 제1 시간 위치(3206)에서 시작하고 제2 시간 위치(3210)에서 종료하는 비디오의 일부분을 선택한다.
일부 실시예들에서, 디바이스(100)에 의해 디스플레이되는 비디오 편집 애플리케이션은 시청 영역(3212)을 포함한다. 스타일러스(203)가 타임라인 영역(3204)과 최초 접촉을 이룬 이후에, 비디오는 스타일러스(203)와 터치 감응형 디스플레이(112) 사이의 접촉의 이동에 따라 시청 영역(3212)에서 스크럽된다. 예를 들어, 도 32a에서, 위치(3210)에서 스타일러스(203)의 터치 감응형 디스플레이(112)와의 접촉에 따라 비디오의 제1 프레임이 시청 영역(3212)에 도시된다. 도 32c에서, 위치(3226)에서 스타일러스(203)의 터치 감응형 디스플레이(112)와의 접촉에 따라 비디오의 상이한 프레임이 시청 영역(3212)에 도시된다.
도 32b는 선택될 타임라인 영역의 구역을 선택되지 않을 타임라인 영역의 구역들로부터 시각적으로 구분하는 예를 예시한다. 이 예에서, 스타일러스(203)가 터치 감응형 디스플레이(112)를 가로질러 제1 시간 위치(3206)에서의 최초 접촉에서 제2 위치(3210)로 이동함에 따라, 하이라이트된 구역(3214)의 폭이 점진적으로 증가하여 제1 시간 위치(3206)에서 제2 시간 위치(3210)로 연장된다. 도 32b에서, 스타일러스(203)가 제1 시간 위치(3206)에서의 최초 접촉으로부터 터치 감응형 디스플레이(112)를 가로질러 이동한 이후 및 제2 시간 위치(3210)에서의 리프트오프의 발생 직전의 시간의 하이라이트된 구역(3214)이 도시된다. 하이라이트된 구역(3214)은 선택될 타임라인 영역(3204)의 구역이다. 구역들(3216, 3218)은 선택되지 않을 타임라인 영역(3204)의 구역들이다. 도 32c 및 도 32d는 하이라이트된 구역의 추가적인 예들(구역(3228), 구역(3238))을 제공한다.
도 32c는 되감기를 포함하는 제스처를 이용하여 비디오의 일부분을 선택하는 예를 예시한다. 이 예에서, 제스처는 위치(3220)에서 스타일러스(203)의 터치 감응형 디스플레이(112)와의 접촉, 위치(3224)에서 후속적으로 위치(3226)로 이어지는 경로(3222)를 따라 터치 감응형 디스플레이(112)를 가로지르는 스타일러스(203)의 이동을 포함하며, 위치(3226)에서 스타일러스(203)의 터치 감응형 디스플레이(112)로부터 리프트오프가 발생한다. 이 예에서 선택될 타임라인 영역(3204)의 부분은 하이라이트된 구역(3228)에 의해 표시된다. 스타일러스(203)가 위치(3220)에서 타임라인 영역(3204)과 접촉으로부터 위치(3224)까지 터치 감응형 디스플레이(112)를 가로질러 이동함에 따라, 하이라이트된 구역(3228)의 폭이 점진적으로 증가하여 위치(3220)에서 위치(3224)로 연장된다. 스타일러스(203)가 위치(3224)에서 위치(3226)로 터치 감응형 디스플레이(112)를 가로질러 이동함에 따라, 하이라이트된 구역(3228)의 폭은 점진적으로 감소하며 스타일러스(230)의 위치가 연속적으로 하이라이트된 구역(3228)의 에지를 정의한다.
도 32d는 타임라인 영역 밖의 접촉을 포함하는 제스처를 이용하여 비디오의 일부분을 선택하는 예를 예시한다. 이 예에서, 예컨대, 스타일러스(203)를 이용하여 제공되는 제스처는 타임라인 영역(3204)의 밖에 있는 비디오 편집 애플리케이션(3202)의 위치(3230)에서 스타일러스(203)의 터치 감응형 디스플레이(112)와의 접촉을 포함한다. 스타일러스(203)는 위치(3230)로부터 터치 감응형 디스플레이(112)를 가로질러 연속적으로 이동하며, 위치(3232)에서 타임라인 영역(3204)과 접촉한다. 스타일러스(203)는 계속해서 마크(3234)에 의해 표시되는 경로를 따라 터치 감응형 디스플레이(112)를 가로질러 이동하고 위치(3236)에서 터치 감응형 디스플레이(112)로부터 리프트오프한다. 이 예에서 선택될 비디오의 부분이 타임라인 영역(3204)의 하이라이트된 구역(3238)에 의해 표시된다. 스타일러스(203)가 위치(3232)에서 타임라인 영역(3204)과의 접촉으로부터 위치(3236)에서의 리프트오프까지 터치 감응형 디스플레이(112)를 가로질러 이동함에 따라, 하이라이트된 구역(3238)의 폭이 점진적으로 증가하여 위치(3232)에서 위치(3240)로 연장된다. 타임라인 영역 밖의 위치(3236)의 터치 감응형 디스플레이(112) 상의 수평 위치는 타임라인 영역(3204) 내의 위치(3240)의 터치 감응형 디스플레이(112) 상의 수평 위치와 동일하다.
도 32d에 표시된 바와 같이, 마크(3234)는 마크(3234)의 다른 부분과 시각적으로 구분되는 부분(3242)을 포함할 수 있다. 도 32d의 예에서, 마크(3234)의 부분(3242)은 스타일러스(203)가 터치 감응형 디스플레이(112)와 접촉하게 되는 위치(3230)와 스타일러스(203)가 타임라인 영역(3204)과 접촉하게 되는 위치(3232) 사이에서 발생한다. 도 32d에 도시된 예에서, 마크(3234)의 부분(3242)은 마크(3234)의 나머지 부분(3244)의 색상과 상이한 색상으로 드로잉된다. 이런 방식으로, 사용자는 비디오의 선택된 부분이 스타일러스(203)가 타임라인 영역(3204)과 접촉하게 되는 지점(3232)에서 시작할 것이고 스타일러스(203)가 터치 감응형 디스플레이(112)로부터 리프트오프되는 지점(3240)에서 종료할 것을 나타내는 피드백이 제공될 수 있다.
도 32e는 도 32d에 도시된 상태와 도 32f에 도시된 상태 사이의 비디오 편집 애플리케이션(3202)의 중간 단계의 예를 예시한다. 일부 실시예들에서, 터치 감응형 디스플레이(112)는 선택 상자(3246)의 상부 측(3248)(도 32f에 도시됨)가 되는 마크(예컨대, 마크(3234))의 애니메이션을 디스플레이한다. 도 32e의 예에서, 마크(3234)가 도 32d에 도시된 바와 같은 마크(3234)로부터 도 32f에 도시된 바와 같은 선택 상자(3246)의 상부 측(3248)인 직선으로 변함에 따라 마크(3234)는 납작해진다.
도 32f는 비디오의 선택된 부분의 시각적 표시의 예를 예시한다. 이 예에서, 제스처(예컨대, 도 32a 내지 도 32d와 관련하여 위에서 기재된 제스처들 중 임의의 것)를 검출하는 것에 응답하여, 편집되고 있는 비디오의 일부분이 선택된다. 일부 실시예들에서, 스타일러스(203)의 터치 감응형 디스플레이(112)로부터 리프트오프가 디바이스(100)에 의해 검출되면, 디바이스(100)는 선택 상자(3246)를 디스플레이한다. 선택 상자(3246)는 비디오의 선택된 부분을 표시한다. 예를 들어, 검출된 제스처가 제1 시간 위치(3232)에서 타임라인(3204)과의 최초 접촉, 최초 접촉 이후에 마크(3234)에 의해 표시되는 라인을 따라 터치 감응형 디스플레이(112)를 가로지르는 접촉의 이동, 및 위치(3236)(타임라인 영역(3204) 내의 수평 위치(3240)에 대응하는 터치 감응형 디스플레이(112) 내의 수평 위치)에서 접촉의 리프트오프를 포함하면(도 32d에 표시된 바와 같음), 선택 상자(3246)는 위치(3232)으로부터 위치(3240)까지의 타임라인 영역(3204)의 영역을 포함할 수 있다. 일부 실시예들에서, 스타일러스(203)의 터치 감응형 디스플레이(112)로부터 리프트오프가 디바이스(100)에 의해 검출되면, 디바이스(100)는 마크(예컨대, 마크(3234))를 디스플레이하는 것을 중지하고 선택 상자(3246)를 디스플레이한다. 일부 실시예들에서, 마크(3234)가 선택 상자(3246)의 상부 에지(3248)와 같은 한 측면이 되는 애니메이션이 디스플레이된다.
도 33a 및 도 33b는 일부 실시예들에 따른, 비디오의 일부분을 선택하는 방법(3300)을 예시하는 흐름도이다. 방법(3300)은 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스(예컨대, 도 3의 디바이스(300), 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응형 표면은 디스플레이 상에 있거나 이와 통합된다. 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 방법(3300)의 일부 동작들이 선택적으로 조합되고/되거나 일부 동작들의 순서가 선택적으로 변경된다.
후술되는 바와 같이, 방법(3300)은 비디오의 일부분을 선택하는 직관적인 방식을 제공한다. 이 방법은 엉성한 또는 다른 방식으로 부정확한 입력이 비디오의 일부분을 정확하게 선택하도록 함으로써, 더 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스들에 대해, 사용자가 비디오의 일부분을 더 빠르고 더 효율적으로 선택할 수 있게 하는 것은 전력을 보존하고 배터리 충전들 사이의 시간을 증가시킨다.
디바이스는 터치 감응형 디스플레이(112) 상에 비디오 편집 애플리케이션(3202)을 디스플레이한다(3302). 일부 실시예들에서, 디바이스는 디바이스와 연관된 스타일러스(203)로부터 신호를 검출하기 위한 하나 이상의 센서를 포함한다. 디스플레이되는 비디오 편집 애플리케이션은 편집되고 있는 비디오에 대한 타임라인 영역(3204)을 포함한다. 일부 실시예들에서, 편집되고 있는 비디오는 비디오에 대한 타임라인에 배열된 복수의 비디오 클립을 포함한다.
디바이스는 터치 감응형 디스플레이 상의 접촉에 의한 제스처를 검출한다(3304). 제스처는 접촉에 의한 타임라인 영역(3204)과의 최초 접촉을 포함한다. 제스처는, 예컨대, 손가락 접촉 또는 스타일러스 접촉으로 만들어진 제스처이다. 최초 접촉은 타임라인 영역(3204) 내의 제1 시간 위치(예컨대, 도 32a에 도시된 바와 같은 3206)에서 발생한다. 제스처는 추가적으로 타임라인 영역(3204)과의 최초 접촉 이후에 터치 감응형 디스플레이(112)를 가로지르는 접촉의 이동 및 타임라인 영역(3204) 내의 제2 시간 위치(예컨대, 도 32a에 도시된 바와 같은 3210)에 대응하는 터치 감응형 디스플레이 상의 위치에서 접촉의 리프트오프를 포함한다.
일부 실시예들에서, 제스처의 접촉은 타임라인 영역(3204)과 최초 접촉하기 이전에, 타임라인 영역(3204) 밖의 디스플레이되는 비디오 편집 애플리케이션(3202)과 접촉한다(3308). 예를 들어, 도 32d에 도시된 바와 같이, 접촉은 타임라인 영역(3204)의 밖의 지점(3230)에서 디스플레이되는 비디오 편집 애플리케이션(3202) 상에 터치하고, 이어서 접촉이 3232에서 타임라인 영역(3204)과 교차할 때까지 터치 감응형 디스플레이(112)를 가로질러 연속적으로 이동한다. 접촉이 타임라인 영역과 교차하는 지점(3232)은 타임라인 영역(3232) 내의 제1 시간 위치에 대응한다. 일부 실시예들에서, 접촉은 타임라인 영역(3204) 내의 지점에서 디스플레이되는 비디오 편집 애플리케이션(3202) 상에 터치된다(예컨대, 도 32a의 3206 및 도 32c의 3220에 도시된 바와 같음).
일부 실시예들에서, 디바이스는 타임라인 영역(3204)과의 최초 접촉 이후에 터치 감응형 디스플레이(112)를 가로지르는 접촉의 이동을 도시하는 선과 같은 마크(예컨대, 도 32a의 3208, 도 32c의 3222, 도 32d의 3234)를 디스플레이한다(3310). 일부 실시예들에서, 접촉의 터치 감응형 디스플레이(112) 상의 터치부터 접촉의 터치 감응형 디스플레이(112)로부터 리프트오프까지 접촉의 이동을 도시하는 선이 드로잉되고, 타임라인 영역(3204)과의 최초 접촉 이후에 터치 감응형 디스플레이(112)를 가로지르는 접촉의 이동을 도시하는 마크는 선의 적어도 일부분이다. 예를 들어, 도 32d에서, 마크(3234)는 타임라인 영역(3204)과의 최초 접촉(3232) 이전의 이동을 표시하는 선의 부분(3242) 및 타임라인 영역(3204)과의 최초 접촉(3232) 이후의 접촉의 이동을 나타내는 마크(3234)의 부분(3244)을 포함한다.
일부 실시예들에서, 접촉에 의한 타임라인 영역(3204)과의 최초 접촉 이후에, 접촉이 터치 감응형 디스플레이(112)를 가로질러 이동함에 따라, 디바이스는 선택될 타임라인 영역(3204)의 구역을 하나 이상의 선택되지 않을 타임라인 영역(3204)의 구역들로부터 시각적으로 구분한다(3312). 선택될 타임라인 영역(3204)의 구역은, 예컨대, 음영, 색상, 및/또는 하이라이트에 의해 시각적으로 구분된다. 하이라이트된 구역들(도 32b의 3214, 도 32c의 3228, 및 도 32d의 3238)은 타임라인 영역(3204)의 시각적으로 구분되는 구역들의 예들이다.
일부 실시예들에서, 디바이스는 접촉의 터치 감응형 디스플레이(112) 상의 터치다운에서 접촉의 터치 감응형 디스플레이(112)로부터 리프트오프까지 터치 감응형 디스플레이(112)를 가로지르는 접촉의 이동을 도시하는 마크(예컨대, 도 32d의 선(3234))를 디스플레이한다(3314). 마크는 타임라인 영역(3204)과의 최초 접촉(3232) 이전의 마크(3234)의 제1 부분(3242)을 포함한다. 마크는 타임라인 영역(3204)과의 최초 접촉(3232) 이후의 마크의 제2 부분(3244)을 포함한다. 마크의 제2 부분(3244)은 마크의 제1 부분(3242)과 시각적으로 구분된다. 일부 실시예들에서, 접촉의 터치 감응형 디스플레이(112) 상의 터치로부터 접촉의 터치 감응형 디스플레이(112)로부터 리프트오프까지 접촉의 이동을 도시하는 선이 드로잉되고, 선은 접촉의 타임라인 영역(3204)과의 최초 접촉(예컨대, 3232) 이후에 색상, 폭, 및/또는 기타 시각적 속성들을 변경한다.
일부 실시예들에서, 리프트오프 시 접촉의 위치(예컨대, 위치(3236))는 타임라인 영역(3204) 밖에 있고, 리프트오프 시 접촉의 위치는 터치 감응형 디스플레이(112) 상의 수평 위치를 가지며, 타임라인 영역(3204) 내의 제2 시간 위치(예컨대, (3240))는 리프트오프 시 접촉의 위치와 같은 디스플레이 상의 동일한 수평 위치를 갖는다(3316). 일부 실시예들에서, 제2 시간 위치(3240)는, 리프트오프 시 접촉이 타임라인 영역(3204) 내에 있는지 또는 밖에 있는지 여부에 독립적으로, 리프트오프 시 접촉의 위치에 의해 결정된다. 예를 들어, 도 32d에 도시된 바와 같이, 접촉의 리프트오프는 위치(3236)에서 발생하고, 위치(3236)는 타임라인 영역(3204) 밖에 있다. 타임라인 영역(3204) 상의 제2 시간 위치(3240)의 수평 위치는 접촉의 리프트오프가 발생하는 위치(3236)와 동일한 터치 감응형 디스플레이(112) 상의 수평 위치를 갖는다. 이런 방식으로, 리프트오프가 타임라인 영역(3204) 밖에서 발생하면, 비디오의 일부분의 선택은 타임라인 영역(3204) 밖의 위치(3236)의 수평 위치에 대응하는 타임라인 영역(3204) 상의 위치(3240)까지의 비디오를 포함할 것이다.
일부 실시예들에서, 타임라인 영역(3204)과의 최초 접촉(예컨대, 도 32c의 3220) 이후에 터치 감응형 디스플레이(112)를 가로지르는 접촉의 이동은 타임라인 영역(3204) 내의 제3 시간 위치(예컨대, 3224)에 대응하는 터치 감응형 디스플레이(112) 상의 위치(타임라인 영역의 내측 또는 외측)로의 접촉의 연속적인 이동 - 제3 시간 위치는 타임라인 영역(3204)에서 제2 시간 위치(예컨대, 3226) 이후임 -, 이어서 타임라인 영역(3204) 내의 제2 시간 위치(예컨대 3226)에 대응하는, 접촉이 리프트오프되는 터치 감응형 디스플레이 상의 위치로의 접촉의 연속적인 이동을 포함한다(3318). 예를 들어, 도 32c에서, 스타일러스(203)는 위치(3220)에서 타임라인 영역(3204)과 최초 접촉하고, 터치 감응형 디스플레이(112)를 가로질러 제3 시간 위치(3224)로 이동하고, 이어서 제2 시간 위치(3226)로 되돌아오는데, 제2 시간 위치(3226)에서 스타일러스(203)의 터치 감응형 디바이스(112)로부터 리프트오프가 발생한다. 하이라이트된 구역(3228)에 의해 표시된 바와 같이, 선택될 타임라인 영역(3204)의 일부분은 최초 접촉 위치(3220)와 제2 시간 위치(3226) 사이의 영역이다.
터치 감응형 디스플레이(112) 상의 접촉에 의한 제스처를 검출하는 것에 응답하여, 디바이스는 편집되고 있는 비디오의 일부분을 선택한다(3306). 예를 들어, 디바이스는 오려두기, 복사하기, 잘라내기, 또는 기타 비디오 편집 동작을 위하여 비디오의 일부분을 선택할 수 있다. 비디오의 선택된 부분은 제1 시간 위치에서 시작하여 제2 시간 위치에서 종료한다. 예를 들어, 도 32a에 예시된 제스처에 대응하는 비디오의 선택된 부분은 제1 시간 위치(3206)에서 시작하고 제2 시간 위치(3210)에서 종료할 것이다. 다른 예에서, 도 32c에 예시된 제스처에 대응하는 비디오의 선택된 부분은 제1 시간 위치(3220)에서 시작하고 제2 시간 위치(3226)에서 종료할 것이다. 추가적인 예에서, 도 32d에 예시된 제스처에 대응하는 비디오의 선택된 부분은 제1 시간 위치(3232)에서 시작하고 제2 시간 위치(3240)에서 종료할 것이다.
일부 실시예들에서, 디바이스는 편집되고 있는 비디오에 대한 시청 영역(예컨대, 시청자 윈도(3212))을 디스플레이한다(3320). 접촉이 타임라인 영역(3204)과 최초 접촉한 이후에, 디바이스는 터치 감응형 디스플레이(112)를 가로지르는 접촉의 이동에 따라 시청 영역(3212)에서 비디오를 스크럽한다. 일부 실시예들에서, 접촉이 타임라인 영역(3204)과 최초 접촉한 이후에, 비디오는, 접촉이 이동함에 따라, 접촉이 타임라인 영역 내에 있는지 또는 밖에 있는지 여부에 독립적으로, 터치 감응형 디스플레이 상의 접촉의 현재 수평 위치에 따라 스크럽된다. 예를 들어, 도 32d의 예에서, 접촉이 위치(3232)에서 위치(3236)로 마크(3244)에 의해 표시된 경로를 따라 이동함에 따라, 비디오는 접촉의 현재 수평 위치에 따라 스크럽될 수 있다.
일부 실시예들에서, 디바이스는 타임라인 영역(3204)과의 최초 접촉(예컨대, 3206, 3220, 3232) 이후에 터치 감응형 디스플레이(112)를 가로지르는 접촉의 이동을 도시하는 마크(예컨대, 선(3208, 3222, 3244))를 디스플레이한다. 디바이스는 타임라인 영역(3204) 내의 제2 시간 위치(예컨대, 3210, 3226, 3240)에 대응하는 터치 감응형 디스플레이(112) 상의 위치(예컨대, 3210, 3226, 3236)에서 접촉의 리프트오프를 검출한다. 타임라인 영역(3204) 내의 제2 시간 위치(예컨대, 3210, 3226, 3240)에 대응하는 터치 감응형 디스플레이(112) 상의 위치에서 접촉의 리프트오프를 검출하는 것에 응답하여, 디바이스는 마크(3208, 3222, 3244)를 디스플레이하고, 디바이스는 비디오의 선택된 부분 둘레에 선택 상자(예컨대, 3246)를 디스플레이하기를 중지한다(3322). 일부 실시예들에서, 접촉의 터치 감응형 디스플레이(112) 상의 터치로부터 접촉의 터치 감응형 디스플레이(112)로부터 리프트오프까지 접촉의 이동을 도시하는 선이 드로잉되고, 타임라인 영역(3204)과의 최초 접촉 이후에 터치 감응형 디스플레이(112)를 가로지르는 접촉의 이동을 도시하는 마크(예컨대, 타임라인 영역(3204)과의 최초 접촉(3232) 이후에 터치 감응형 디스플레이(112)를 가로지르는 스타일러스(203)의 이동을 도시하는 도 32d의 마크(3244))는 선의 적어도 일부분이다.
일부 실시예들에서, 디바이스는 타임라인 영역(3204)과의 최초 접촉(예컨대, 3206, 3220, 3232) 이후에 터치 감응형 디스플레이(112)를 가로지르는 접촉의 이동을 도시하는 마크(예컨대, 선(3208, 3222, 3244))를 디스플레이한다. 디바이스는 타임라인 영역(3204) 내의 제2 시간 위치(예컨대, 3210, 3226, 3240)에 대응하는 터치 감응형 디스플레이(112) 상의 위치(예컨대, 3210, 3226, 3236)에서 접촉의 리프트오프를 검출한다. 타임라인 영역(3204) 내의 제2 시간 위치에 대응하는 터치 감응형 디스플레이 상의 위치에서 접촉의 리프트오프를 검출하는 것에 응답하여, 디바이스는 마크(예컨대, 3234)가 비디오의 선택된 부분 둘레의 선택 상자(3246)의 한 측면(예컨대, 상부 측(3248))이 되는 애니메이션을 디스플레이한다(3324). 일부 실시예들에서, 리프트오프를 검출하는 것에 응답하여, 타임라인 영역과의 최초 접촉 이후에 드로잉된 마크가 전이되어(또는 변하여) 비디오의 선택된 부분 둘레의 선택 상자의 한 측면이 되는 애니메이션이 디스플레이된다. 예를 들어, 도 32d의 선(3234)은 위치(3230)에서의 타임라인 영역(3204)과의 최초 접촉으로부터 위치(3236)에서의 리프트오프까지 스타일러스(203)의 모션을 나타내는 물결 모양을 갖는다. 리프트오프를 검출하는 것에 응답하여, 디바이스는 선(3234)에서 선택 상자(3246)의 상부 측(3248)으로의 전이를 나타내는 선(3234)의 애니메이션, 예컨대, 물결선의 점진적인 평탄화를 디스플레이할 수 있다. 애니메이션은 도 32d에 도시된 바와 같은 마크(3234)에서 도 32e에 도시된 바와 같은 납작한 버전의 마크(3234)로, 도 32f의 선택 상자(3246)의 상부 측(3248)인 직선으로의 전이를 포함할 수 있다.
도 33a 및 도 33b에서의 동작들이 기술된 특정 순서는 단지 예시적인 것이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 추가적으로, 본 명세서에 기술된 다른 방법들(예컨대, 위의 "발명을 실시하기 위한 구체적인 내용"의 첫번째 단락에 열거된 것들)과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들은 또한 도 33a 및 도 33b에 관련하여 전술된 방법(3300)과 유사한 방식으로 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(3300)을 참조하여 전술된 접촉, 제스처, 및 애니메이션들은 선택적으로 본 명세서에 기재된 다른 방법들을 참조하여 본 명세서에 기재된 접촉, 제스처, 및 애니메이션들의 특성들 중 하나 이상을 갖는다(예컨대, 위의 "발명을 실시하기 위한 구체적인 내용"의 첫번째 단락에 열거된 것들). 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예에 따르면, 도 34는 다양한 설명된 실시예들의 원리에 따라 구성된 전자 디바이스(3400)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은, 선택적으로, 다양한 기술된 실시예들의 원리들을 실행하기 위한 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합에 의해 구현된다. 기술된 다양한 실시예들의 원리들을 구현하기 위해 도 34에서 묘사된 기능 블록들이 선택적으로 조합되거나 하위 블록들로 분리된다는 것이 당업자에 의해 이해된다. 따라서, 본 명세서의 설명은, 선택적으로, 본 명세서에 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 34에 도시된 바와 같이, 전자 디바이스(3400)는 터치 감응형 디스플레이 유닛(3402), 및 터치 감응형 디스플레이 유닛(3402)에 연결된 프로세싱 유닛(3404)을 포함한다. 터치 감응형 디스플레이 유닛(3402)은 비디오 편집 애플리케이션을 디스플레이하도록 구성되고, 디스플레이되는 비디오 편집 애플리케이션은 편집되고 있는 비디오에 대한 타임라인 영역을 포함한다. 프로세싱 유닛(3404)은 터치 감응형 디스플레이 유닛(3402) 상의 접촉에 의한 제스처를 검출하도록 구성된다. 제스처는 접촉에 의한 타임라인 영역과의 최초 접촉 - 최초 접촉은 타임라인 영역 내의 제1 시간 위치에서 발생함 -; 타임라인 영역과의 최초 접촉 이후에 터치 감응형 디스플레이 유닛(3402)을 가로지르는 접촉의 이동; 및 타임라인 영역 내의 제2 시간 위치에 대응하는 터치 감응형 디스플레이 유닛(3402) 상의 위치에서의 접촉의 리프트오프를 포함한다. 일부 실시예들에서, 프로세싱 유닛(3404)은 선택 유닛(3406), 시각적 구분 유닛(3408), 스크럽 유닛(3410), 및 중지 유닛(3412)을 포함한다. 프로세싱 유닛(3404)은 터치 감응형 디스플레이 유닛(3402) 상의 접촉에 의한 제스처를 검출하는 것에 응답하여, 편집되고 있는 비디오의 일부분을 선택하도록(예컨대, 선택 유닛(3406)을 이용함) 구성되고, 비디오의 선택된 부분은 제1 시간 위치에서 시작하여 제2 시간 위치에서 종료한다.
전술된 정보 처리 방법들에서의 동작들은 선택적으로 (예컨대, 도 1a 및 도 3과 관련하여 전술된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 처리 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 33a 및 도 33b를 참조하여 전술된 동작들은, 선택적으로, 도 1a, 도 1b 또는 도 34에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 디스플레이 동작(3302), 검출 동작(3304) 및 선택 동작 (3306)이, 선택적으로, 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각각의 이벤트 인식기(180)는 이벤트 정보를 각각의 이벤트 정의(186)와 비교하고, 터치 감응형 표면 상의 제1 위치로부터 리프트오프가 발생하는 제2 위치로, 접촉이 비디오의 일부분의 선택과 같은 사전정의된 이벤트 또는 서브이벤트에 대응하는지 결정한다. 각각의 미리정의된 이벤트 또는 서브이벤트가 검출되는 경우에, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화시킨다. 이벤트 핸들러(190)는 선택적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출하여 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
스타일러스를 이용하여 메뉴를 디스플레이하고 사용하기
일부 전자 디바이스들은 디바이스와 연관된 스타일러스를 이용하여 디바이스의 터치 감응형 디스플레이에 대한 추가적인 입력 방법을 제공한다. 예를 들어, 일부 셀룰러 폰, 랩톱, 및 태블릿들은 스타일러스로부터 입력을 수신할 수 있다. 스타일러스는 하나 이상의 옵션(예컨대, 색상)을 갖는 하나 이상의 가상 드로잉 도구(예컨대, 연필, 붓, 캘리그래피 펜 등)를 모방할 수 있다. 그러나, 종래 방법으로, 사용자는 스타일러스를 이용하는 메뉴(예컨대, 가상 드로잉 도구에 대한 옵션들을 선택하기 위한 메뉴)를 디스플레이하고 사용하는 것이 번거롭다는 것을 알게 될 수 있다. 아래 실시예들은 스타일러스 제스처에 응답하여 메뉴(예컨대, 색상 팔레트)를 디스플레이함으로써, 스타일러스를 이용하여 메뉴 옵션들을 선택(예컨대, 가상 드로잉 도구를 위한 색상 팔레트로부터 색상을 선택)하는 더 빠르고 쉬운 방법을 제공함으로써, 이 문제를 해결한다.
아래에서, 도 35a 내지 도 35j는 스타일러스를 이용하여 메뉴를 디스플레이하고 사용하기 위한 예시적인 사용자 인터페이스를 예시한다. 도 36a 내지 도 36c는 스타일러스를 이용하여 메뉴를 디스플레이하고 사용하는 방법을 예시하는 흐름도이다. 도 35a 내지 도 35j의 사용자 인터페이스를 이용하여 도 36a 내지 도 36c의 프로세스를 예시한다.
도 35a 내지 도 35j는 일부 실시예들에 따른, 스타일러스를 이용하여 메뉴를 디스플레이하고 사용하기 위한 예시적인 사용자 인터페이스를 예시한다. 이 도면들에서의 사용자 인터페이스들은 도 36a 내지 도 36c에서의 프로세스들을 비롯한, 이하에 기술되는 프로세스들을 설명하는 데 사용된다. 후속하는 예들 중 일부가 (터치 감응형 표면과 디스플레이가, 예를 들어, 터치 스크린(112) 상에서 조합된) 터치 스크린 디스플레이 상의 입력들을 참조하여 주어질 것이지만, 일부 실시예들에서, 디바이스는 도 6b에 도시된 바와 같이 디스플레이(650)와 별개인 터치 감응형 표면(651) 상의 입력들을 검출한다.
일부 실시예들에서, 디바이스는 별개의 디스플레이(예컨대, 디스플레이(650)) 및 별개의 터치 감응형 표면(예컨대, 터치 감응형 표면(651))을 갖는 전자 디바이스이다. 일부 실시예들에서, 디바이스는 휴대용 다기능 디바이스(100)이고, 디스플레이는 터치 감응형 디스플레이 시스템(112)이며, 터치 감응형 표면은 디스플레이 상의 촉각적 출력 생성기들(163)을 포함한다(도 1a). 설명의 편의를 위해, 도 35a 내지 도 35j 및 도 36a 내지 도 36c와 관련하여 기술되는 실시예들은 터치 감응형 디스플레이 시스템(112)을 갖는 디바이스 상에 수행되는 동작들과 관련하여 논의될 것이다. 이러한 실시예들에서, 포커스 선택자는, 선택적으로: 각각의 손가락 또는 스타일러스 접촉이거나, 손가락 또는 스타일러스 접촉에 대응하는 대표 지점(예컨대, 각각의 접촉의 중심, 또는 각각의 접촉과 연관된 지점), 또는 터치 감응형 디스플레이 시스템(112) 상에 검출된 둘 이상의 접촉들의 중심이다. 그러나 유사한 동작들이, 선택적으로, 도 35a 내지 도 35j에 도시된 사용자 인터페이스들을 디스플레이(650) 상에 디스플레이하는 동안 터치 감응형 표면(651) 상에서 (또는 근처에서) 도 35a 내지 도 35j에서 묘사되는 접촉들을 검출하는 것에 응답하여 디스플레이(650) 및 별개의 터치 감응형 표면(651)을 갖는 디바이스 상에서 수행된다.
도 35a 내지 도 35j는 일부 실시예들에 따른, 스타일러스를 이용하여 메뉴를 디스플레이하고 사용하기 위한 예시적인 사용자 인터페이스를 예시한다. 비록 도 35a는 디바이스(100)의 추가 세부사항들(예컨대, 스피커(111), 광 센서(164), 근접 센서(166), 등)을 갖는 터치 스크린(112)을 도시하고 있으나, 명확한 설명을 위해 도 35b 내지 도 35j는 디바이스(100)의 다른 세부사항은 도시하지 않고 다만 디바이스(100)의 터치 스크린(112)만을 도시한다. 또한, 도 35a는 터치 감응형 표면(예컨대, 디바이스(100)의 터치 스크린(112)) 바로 위의 관점에서의 예를 예시하지만, 도 35b 내지 도 35j는 다음 두 관점에서의 예를 예시한다: 터치 감응형 표면(예컨대, 디바이스(100)의 터치 스크린(112)) 바로 위의 관점 및 터치 감응형 표면의 측면 관점.
도 35a는 스타일러스(예컨대, 스타일러스(203))의 위치 상태에 대응하는 표시(예컨대, 표시(3516-a))를 디스플레이하는 예를 예시한다. 이 예에서, 스타일러스(203)는 터치 스크린(112)에 대한 스타일러스(203)의 배향(예컨대, 배향(3506-a)) 및 터치 스크린(112) 상의 스타일러스(203)의 팁의 투영의 위치(예컨대, (x,y) 위치(3504-a))를 갖는 위치 상태를 갖는다. 도 35a에 도시된 바와 같이, 스타일러스(203)가 터치 스크린(112)을 터치하기 전에, 스타일러스(203)가 배향(3506-a)(예컨대, 축(508)에 대하여 시계방향 회전각으로 대략 315 도) 및 (x,y) 위치(3504-a)의 팁 투영을 구비하고 위치설정되면, 표시(3516-a)가 터치 스크린(112) 상에 디스플레이되어 스타일러스(203)가 터치 스크린(112)을 터치(또는 마크)할 곳을 도시한다. 일부 실시예들에서, 스타일러스가 제1 배향으로 위치설정되면 표시는 터치 스크린(112) 상에서, (x,y) 위치(3504-a)에 대하여 제1 방향으로 변위되고, 스타일러스가 제1 배향과 구분되는 제2 배향으로 위치설정되면 표시는 터치 스크린(112) 상에서, (x,y) 위치(3504-a)에 대하여 제2 방향으로 변위된다. 예를 들어, 도 5a에서, 스타일러스(203)가 배향(506)(예컨대, 축(508)에 대하여 시계방향 회전각으로 대략 45 도)을 구비하여 위치설정되면 표시(516)는 (x,y) 위치(504)에 대하여 남서쪽으로 변위되고, 도 35a에서, 스타일러스(203)가 배향(3506-a)(예컨대, 축(508)에 대하여 시계방향 회전각으로 대략 315 도)을 구비하여 위치설정되면 표시(3516-a)는 (x,y) 위치(3504-a)에 대하여 남동쪽으로 변위된다.
도 35b 내지 도 35j는 터치 감응형 디스플레이(예컨대, 터치 스크린(112)) 상에 사용자 인터페이스(3520)(예컨대, 드로잉 애플리케이션과 같은 애플리케이션을 위한 사용자 인터페이스)를 디스플레이하는 예를 예시한다. 일부 실시예들에서, 사용자 인터페이스(3520)는 표시자(3522)를 포함한다. 일부 실시예들에서, 표시자(3522)는 가상 드로잉 도구(예컨대, 청색 펜)의 선택된 색상 및 유형을 표시하고, 표시자(3522) 내의 색상의 링은 가상 드로잉 도구의 색상을 표시한다. 예를 들어, 청색의 링으로 둘러싸인 펜의 표현에 의한 표시자(3522)에 청색 펜이 표시된다.
도 35b 내지 도 35e는 스타일러스(예컨대, 스타일러스(203))가 터치 감응형 디스플레이(예컨대, 터치 스크린(112))를 향해 이동하지만, 터치 감응형 디스플레이와 접촉하지 않는 예를 예시한다. 일부 실시예들에서, 스타일러스 제스처가 터치 감응형 디스플레이를 향해 이동하지만, 터치 감응형 디스플레이와 접촉하지 않는 것은 "스플래시 제스처"라고 불린다. 일부 실시예들에서, 도 35b 내지 도 35e에서, 스타일러스(203)가 터치 스크린(112)을 향해 이동 중 적어도 일부 동안 사전결정된 0이 아닌 값을 초과하는 속도로 이동한다. 일부 실시예들에서, 도 35b 내지 도 35e에서, 스타일러스(203)는 스타일러스가 터치 스크린(112)을 향해 이동함에 따라 이동 중 적어도 일부 동안 사전결정된 감속도 값 초과의 감속도를 갖는다. 일부 실시예들에서, 도 35b 내지 도 35e의 스타일러스(203)의 이동 동안, 스타일러스가 터치 스크린(112)을 향해 이동함에 따라 스타일러스(203)는 가속하고, 이어서 스타일러스가 터치 스크린(112)을 향해 이동함에 따라 감속한다.
일부 실시예들에서, 스타일러스의 터치 감응형 디스플레이에 대한 거리(예컨대, 거리(3514))를 변경하는 것에 응답하여, 디스플레이된 표시(예컨대, 표시(3516))가 업데이트된다. 도 35b 내지 도 35e에서, 터치 감응형 디스플레이에 대한 스타일러스의 배향(예컨대, 배향(3506-b)), 스타일러스의 팁의 (x,y) 위치(예컨대, (x,y) 위치(3504-b)), 및 스타일러스의 틸트(예컨대, 틸트(3512-a))는 일정하게 유지되는 반면, 스타일러스의 거리는, 스타일러스가 터치 감응형 디스플레이와 접촉하지 않으면서 터치 감응형 디스플레이에 더 가까이 이동함에 따라, (예컨대, 거리(3514-a)에서 거리(3514-b)로, 거리(3514-c)로, 거리(3514-d)로) 변경된다. 또한, 스타일러스(203)가 터치 스크린(112)에 더 가까이 이동함에 따라, 표시가 터치 스크린(112) 상에서 (예컨대, 표시(3516-b)에서 표시(3516-c)로, 표시(3516-d)로, 표시(3516-e)로) 업데이트된다. 이 예에서 도시된 바와 같이, 일부 실시예들에서, 스타일러스(203)가 터치 스크린(112)에 더 가까이 이동함에 따라, 표시는 불투명도를 변경(예컨대, 불투명도 증가), 크기를 변경(또는 반지름 또는 면적)(예컨대, 크기 감소), 및/또는 색상을 변경(예컨대, 색상을 어둡게 함)한다. 일부 실시예들에서, 표시는 배향의 변경에 응답하여 업데이트되고(도 35a에 대하여 위에서 기재한 바와 같음) 표시는 틸트의 변경에 응답하여 업데이트되고(위에서 기재한 바와 같음), 간결함을 위하여, 상세사항들은 여기에서 반복하지 않는다. 일부 실시예들에서, 표시(3516)는 스플래시 제스처 동안 도시되지 않는다(예컨대, 스타일러스가 스플래시 제스처 동안 터치 스크린(112)으로부터 너무 멀리 있기 때문임).
도 35e는 스타일러스 이동(예컨대, 터치 감응형 디스플레이를 향한 스타일러스 이동, 도 35b 내지 도 35e에 도시된 바와 같음)이 하나 이상의 스타일러스 이동 기준을 충족한다는 결정에 따라, 사용자 인터페이스(예컨대, 사용자 인터페이스(3520)) 상에 중첩되는 메뉴(예컨대, 메뉴(3524))를 디스플레이하는 예를 예시한다. 일부 실시예들에서, 메뉴(3524)는 복수의 선택형 메뉴 옵션을 포함하고, 이는 아래 도 35f에 관련하여 기재된 바와 같다. 일부 실시예들에서, 메뉴의 위치는 스타일러스 팁의 터치 감응형 디스플레이 상의 투영에 기초한다(예컨대, 방법(800)에 참조하여 기재된 바와 같음). 예를 들어, 도 35e에서, 메뉴(3524)는 표시(3516-e)의 위치에(또는 표시(3516-e)에 중심을 둠) 디스플레이된다. 일부 실시예들에서, 하나 이상의 스타일러스 이동 기준은 터치 감응형 디스플레이를 향한 검출된 스타일러스 이동 중 적어도 일부분 동안 스타일러스 속도가 사전결정된 (0이 아닌) 값을 초과함을 검출하는 것을 포함한다. 일부 실시예들에서, 하나 이상의 스타일러스 이동 기준은 스타일러스가 터치 감응형 디스플레이를 향해 이동함에 따라 검출된 스타일러스 이동 중 적어도 일부분 동안 스타일러스의 감속도가 사전결정된 감속도 값을 초과함을 검출하는 것을 포함한다. 일부 실시예들에서, 하나 이상의 스타일러스 이동 기준은 터치 감응형 디스플레이를 향한 검출된 스타일러스 이동 동안 스타일러스가 터치 감응형 디스플레이를 향해 이동함에 따라 스타일러스가 가속하고 이어서 스타일러스가 터치 감응형 디스플레이를 향해 이동함에 따라 감속함을 검출하는 것을 포함한다.
도 35f는 메뉴(예컨대, 메뉴(3524))의 복수의 선택형 메뉴 옵션(예컨대, 메뉴 옵션들(3526-a 내지 3526-f)) 중에서 제1 메뉴 옵션(예컨대, 메뉴 옵션(3526-a))을 선택하는 스타일러스(예컨대, 스타일러스(203))의 예를 예시한다. 일부 실시예들에서, 제1 메뉴 옵션의 선택은 스타일러스로 메뉴 옵션을 탭하는 것을 포함한다. 명확한 설명을 위해, 도 35f는 밝은 배경 색상을 갖는 메뉴(3524)를 도시하지만, 일부 실시예들에서, 메뉴(3524)의 배경은 투명하고 메뉴(3524)의 선택형 메뉴 옵션들만이 보인다. 일부 실시예들에서, 메뉴(3524)는 색상 팔레트이고 복수의 선택형 메뉴 옵션은 색상 팔레트 내의 색상들이다. 도 35f는 백색에서 어두운 회색, 흑색까지 색상들의 범위를 갖는 메뉴(3524)를 도시하지만, 일부 실시예들에서, 메뉴(3524)는 다른 색상들(예컨대, 적색, 귤색, 황색, 녹색, 청색, 남색, 자주색 등)을 구비한 색상 팔레트이다.
도 35g 내지 도 35j는, 복수의 선택형 메뉴 옵션 중 제1 메뉴 옵션(예컨대, 메뉴 옵션(3526-a))의 선택을 검출하는 것에 응답하여(도 35f에 도시된 바와 같음), 제1 메뉴 옵션에 대응하는 동작을 수행하고 메뉴를 디스플레이하는 것을 중지하는 예를 예시한다. 예를 들어, 스타일러스(203)가 도 35f의 메뉴 옵션(3526-a)을 선택한 이후에, 다른 메뉴 옵션들(예컨대, 메뉴 옵션들(3526-b 내지 3526-f))은 사라지고 메뉴(3524)는 메뉴 옵션(3526-a)의 색상을 변경한다. 이어서, 메뉴 옵션(3526-a) 및 메뉴(3524)가 (잉크처럼) 스타일러스에 흡수되는 것처럼 보이고 표시자(3522)의 색상의 링은 새로 선택된 메뉴 옵션(3526-a)을 도시하며, 이는 도 35j에 도시된 바와 같다. 도 35g 내지 도 34i는 스타일러스가 메뉴 옵션(3526-a)을 선택하는 것에 응답하여 메뉴(3524)가 메뉴 옵션(3526-a)의 색상을 변경하는 것을 도시하지만, 일부 실시예들에서, 메뉴(3524)는 다른 메뉴 옵션들(예컨대, 메뉴 옵션들(3526-b 내지 3526-f))과 함께 사라지고 메뉴 옵션(3526-a)만이 스타일러스에 흡수되는 것처럼 보인다. 다른 실시예들에서, 상이한 애니메이션 순서를 사용하여 제1 메뉴 옵션의 선택을 도시한다.
도 35a 내지 도 35c는 일부 실시예들에 따른, 스타일러스를 이용하여 메뉴를 디스플레이하고 사용하는 방법(3600)을 예시하는 흐름도이다. 방법(3600)은 디스플레이 및 터치 감응형 표면을 갖는 전자 디바이스(예컨대, 도 3의 디바이스(300), 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고 터치 감응형 표면이 디스플레이 상에 있거나 디스플레이와 일체화된다(간략히 터치 감응형 디스플레이로도 지칭됨). 일부 실시예들에서, 디스플레이는 터치 감응형 표면과는 별개이다. 일부 실시예들에서, 디바이스는 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서를 포함하고, 스타일러스는 대표적인 부분(예컨대, 스타일러스의 팁)을 포함한다. 일부 실시예들에서, 팁이 아닌 스타일러스의 일부분이 팁의 위치를 추정하는 데 사용된다. 방법(3600)의 일부 동작들은, 선택적으로, 조합되고/되거나 일부 동작들의 순서가, 선택적으로, 변경된다.
아래 기재되는 바와 같이, 방법(3600)은 스타일러스를 이용하여 메뉴(예컨대, 색상 팔레트)를 디스플레이 및 사용하는 직관적인 방법을 제공함으로써, 메뉴 옵션들을 선택(예컨대, 가상 드로잉 도구를 위한 색상 팔레트로부터 색상을 선택)하는 더 빠르고 쉬운 방법을 제공한다. 방법은 스타일러스를 사용하여 전자 디바이스와 상호작용할 때 사용자로부터의 입력들의 수, 크기, 및/또는 종류를 감소시킴으로써, 더 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스들에 대해, 사용자가 더 빠르고 더 효율적으로 스타일러스 입력을 입력할 수 있게 하는 것은 전력을 보존하고 배터리 충전들 사이의 시간을 증가시킨다.
디바이스는 터치 감응형 디스플레이(예컨대, 터치 스크린(112)) 상에 사용자 인터페이스(예컨대, 사용자 인터페이스(3520))를 디스플레이한다(3602). 예를 들어, 도 35b 내지 도 35j는 사용자 인터페이스(3520)(예컨대, 드로잉 애플리케이션과 같은 애플리케이션을 위한 사용자 인터페이스)를 디스플레이하는 디바이스(100)를 도시한다.
디바이스는, 터치 감응형 디스플레이 상에 사용자 인터페이스를 디스플레이하는 동안, 터치 감응형 디스플레이와 접촉하지 않고, 터치 감응형 디스플레이를 향해 이동하는 스타일러스를 검출한다(3604). 도 35b 내지 도 35e는, 예를 들어, 터치 스크린(112)를 향해 이동하지만, 터치 스크린(112)과 접촉하지 않는 스타일러스(203)를 도시한다.
일부 실시예들에서, 터치 감응형 디스플레이를 향해 이동하는 스타일러스를 검출하는 동안 터치 감응형 디스플레이 상에 접촉이 검출되지 않는다(3606). 예를 들어, 도 35b 내지 도 35e에서, 스타일러스는 거리(3514-a)에서 거리(3514-d)로 터치 스크린(112)을 향해 이동하고 있고, 터치 스크린(112) 상에 접촉이 검출되지 않는다.
디바이스는 터치 감응형 디스플레이와 접촉하지 않는, 터치 감응형 디스플레이를 향한 검출된 스타일러스 이동이 하나 이상의 스타일러스 이동 기준을 충족하는지 결정한다(3608). 예를 들어, 디바이스(100)는 도 35b 내지 도 35e의 터치 스크린(112)를 향한 검출된 스타일러스 이동이 하나 이상의 스타일러스 이동 기준을 충족하는지 여부를 결정한다.
일부 실시예들에서, 하나 이상의 스타일러스 이동 기준은 터치 감응형 디스플레이를 향한 검출된 스타일러스 이동 중 적어도 일부분 동안 스타일러스 속도가 사전결정된 (0이 아닌) 값을 초과함을 검출하는 것을 포함한다(3610). 예를 들어, 스타일러스(203)의 속도는 거리(3514-a)(도 35b)에서 거리(3514-b)(도 35c)로, 거리(3514-c)(도 35d)로, 거리(3514-d)(도 35e)로 스타일러스(203)의 이동 중 적어도 일부분 동안 사전결정된 0이 아닌 값을 초과한다.
일부 실시예들에서, 하나 이상의 스타일러스 이동 기준은 스타일러스가 터치 감응형 디스플레이를 향해 이동함에 따라 검출된 스타일러스 이동(터치 감응형 디스플레이를 향함) 중 적어도 일부분 동안 스타일러스의 감속도가 사전결정된 감속도 값을 초과함을 검출하는 것을 포함한다(3612). 예를 들어, 도 35d 및 도 35e에서, 스타일러스(203)의 감속도는 스타일러스(203)가 거리(3514-c)에서 거리(3514-d)로 이동함에 따라 사전결정된 감속도 값을 초과한다.
일부 실시예들에서, 하나 이상의 스타일러스 이동 기준은 터치 감응형 디스플레이를 향한 검출된 스타일러스 이동 동안 스타일러스가 터치 감응형 디스플레이를 향해 이동함에 따라 스타일러스가 가속하고 이어서 스타일러스가 터치 감응형 디스플레이를 향해 이동함에 따라 감속함을 검출하는 것을 포함한다(3614). 도 35b 내지 도 35e에 도시된 바와 같이, 예를 들어, 스타일러스(203)는 스타일러스가 거리(3514-a)에서 거리(3514-b)로 터치 스크린(112)을 향해 이동함에 따라 가속하고, 이어서 스타일러스(203)는 스타일러스가 거리(3514-c)에서 거리(3514-d)로 터치 스크린(112)을 향해 이동함에 따라, 터치 스크린(112)를 향해 거리(3514-a)(도 35b)에서 거리(3514-d)(도 35e)로 검출된 스타일러스 이동 동안 감속한다.
일부 실시예들에서, 하나 이상의 스타일러스 이동 기준은 터치 감응형 디스플레이를 향한 검출된 스타일러스 이동 동안 스타일러스의 틸트에 독립적이다(예컨대, 포함하지 않거나 또는 의존하지 않음)(3616). 예를 들어, 하나 이상의 스타일러스 이동 기준은 도 35b 내지 도 35e에 도시된 바와 같이 터치 스크린(112)를 향한 검출된 스타일러스 이동 동안 스타일러스(203)의 틸트에 독립적이다. 도 35b 내지 도 35e는 스타일러스(203)의 틸트가 틸트(3512-a)로 일정하게 도시하지만, 일부 실시예들에서, 하나 이상의 스타일러스 이동 기준은 스타일러스(203)의 틸트에 독립적이고 스타일러스(203)의 틸트는 터치 감응형 디스플레이를 향한 검출된 스타일러스 이동 동안 달라질 수 있다.
일부 실시예들에서, 하나 이상의 스타일러스 이동 기준은 터치 감응형 디스플레이를 향한 검출된 스타일러스 이동 동안 스타일러스의 배향에 독립적이다(예컨대, 포함하지 않거나 또는 의존하지 않음)(3618). 예를 들어, 하나 이상의 스타일러스 이동 기준은 도 35b 내지 도 35e에 도시된 바와 같이 터치 스크린(112)를 향한 검출된 스타일러스 이동 동안 스타일러스(203)의 배향에 독립적이다. 도 35b 내지 도 35e는 스타일러스(203)의 배향이 배향(3506-b)로 일정하게 도시하지만, 일부 실시예들에서, 하나 이상의 스타일러스 이동 기준은 스타일러스(203)의 배향에 독립적이고 스타일러스(203)의 배향은 터치 감응형 디스플레이를 향한 검출된 스타일러스 이동 동안 달라질 수 있다.
일부 실시예들에서, 하나 이상의 스타일러스 이동 기준은 스타일러스가 터치 감응형 디스플레이에 수직(또는 대략 수직, 예컨대, 수직에서 5, 10, 15, 또는 20 도 내)일 때 충족되는 기준을 포함한다(3620). 예를 들어, 도 35b 내지 도 35e에서, 스타일러스(203)는 터치 스크린(112)에 대략 수직이다.
디바이스는, 검출된 스타일러스 이동이 하나 이상의 스타일러스 이동 기준을 충족한다는 결정에 따라, 사용자 인터페이스 상에 중첩되는 메뉴를 디스플레이하며, 메뉴는 복수의 선택형 메뉴 옵션을 포함한다(3622). 도 35e는, 예를 들어, 검출된 스타일러스 이동(도 35b 내지 도 35e)이 하나 이상의 스타일러스 이동 기준을 충족한다는 결정에 따라, 사용자 인터페이스(예컨대, 사용자 인터페이스(3520)) 상에 중첩되는 메뉴(예컨대, 메뉴(3524))를 디스플레이하는 것을 예시한다. 도 35f에 도시된 바와 같이, 메뉴는 복수의 선택형 메뉴 옵션(예컨대, 메뉴 옵션들(3526-a 내지 3526-f))을 포함한다.
일부 실시예들에서, 메뉴는 색상 팔레트이고 복수의 선택형 메뉴 옵션은 색상 팔레트 내의 색상들이다(3624). 예를 들어, 도 35f에 도시된 바와 같이, 메뉴(3524)는 색상 팔레트이고 복수의 선택형 메뉴 옵션(예컨대, 메뉴 옵션들(3526-a 내지 3526-f))은 색상 팔레트 내의 색상들이다.
디바이스는 복수의 선택형 메뉴 옵션 중 제1 메뉴 옵션의 선택을 검출한다(3626). 일부 실시예들에서, 제1 메뉴 옵션의 선택을 검출하는 것은 스타일러스를 이용한 탭 제스처 또는 누르기 제스처와 같은 제1 메뉴 옵션 상의 제스처를 검출하는 것을 포함한다. 예를 들어, 도 35f는 탭 제스처를 이용하여 메뉴 옵션(3526-a)을 선택하는 스타일러스(203)를 도시한다.
디바이스는, 복수의 선택형 메뉴 옵션 중 제1 메뉴 옵션의 선택을 검출하는 것에 응답하여: 제1 메뉴 옵션에 대응하는 동작을 수행하고, 메뉴를 디스플레이하는 것을 중지한다(3628). 일부 실시예들에서, 메뉴가 색상 팔레트이고 복수의 선택형 메뉴 옵션이 색상 팔레트 내의 색상들인 경우, 제1 메뉴 옵션에 대응하는 동작을 수행하는 것은 스타일러스에 의해 모방되는 가상 드로잉 도구의 색상을 제1 메뉴 옵션의 색상으로 변경하는 것을 포함한다. 도 35j에 도시된 바와 같이, 제1 메뉴 옵션(예컨대, 메뉴 옵션(3526-a), 도 35f에 도시된 바와 같음)의 선택을 검출하는 것에 응답하여, 표시자(3522)의 색상의 업데이트된 링에 의해 도시된 바와 같이, 가상 드로잉 도구의 색상은 새로 선택된 색상으로 변경되고, 메뉴(3524)는 더 이상 디스플레이되지 않는다.
일부 실시예들에서, 메뉴를 디스플레이하는 것을 중지하는 것은 스타일러스에 흡수되는 것처럼 보이는 제1 메뉴 옵션의 애니메이션을 디스플레이하는 것을 포함한다(3630). 도 35g 내지 도 35i는, 예를 들어, (잉크처럼) 스타일러스(203)에 흡수되는 것처럼 보이는 제1 메뉴 옵션(예컨대, 메뉴 옵션(3526-a))의 애니메이션의 예를 도시한다. 도 35g 내지 도 35i는 스타일러스에 흡수되는 것처럼 보이는 제1 메뉴 옵션의 애니메이션을 디스플레이하는 일례를 도시하고; 다른 실시예들에서, 상이한 애니메이션 순서를 이용하여 스타일러스에 흡수되는 것처럼 보이는 제1 메뉴 옵션을 도시한다.
일부 실시예들에서, 디바이스, 하나 이상의 스타일러스 이동 기준이 충족되지 않는다는 결정에 따라, 디바이스는 사용자 인터페이스 상에 중첩되는 메뉴를 디스플레이하는 것을 보류한다(3632). 예를 들어, 도 35b 내지 도 35e에 도시된 스타일러스 이동이 하나 이상의 스타일러스 이동 기준을 충족하지 않는 경우, 메뉴(예컨대, 메뉴(3524))가 도 35e의 사용자 인터페이스(3520) 상에 도시되지 않을 수 있다.
일부 실시예들에서, 터치 감응형 디스플레이를 향해 이동하는 스타일러스를 검출하는 것은 사용자 인터페이스의 제1 위치를 향해 터치 감응형 디스플레이 상에서 이동하는 스타일러스를 검출하는 것을 포함하고; 사용자 인터페이스 상에 중첩되는 메뉴를 디스플레이하는 것은 제1 위치(또는 제1 위치에 인접하거나 또는 제1 위치에 중심을 둠)에서 사용자 인터페이스 상에 중첩되는 메뉴를 디스플레이하는 것을 포함한다(3634). 예를 들어, 도 35b 내지 도 35e에서, 스타일러스(203)가 사용자 인터페이스(3520) 내의 제1 위치(예컨대, 표시(3516)의 위치)를 향해 터치 스크린(112) 상에서 이동하고, 도 35e에서, 사용자 인터페이스(3520) 상에 중첩되는 메뉴(예컨대, 메뉴(3524))는 제1 위치(예컨대, 표시(3516-e)의 위치에 중심을 둠)에 디스플레이된다.
일부 실시예들에서, 터치 감응형 디스플레이를 향해 이동하는 스타일러스를 검출하는 것은 사용자 인터페이스 내의 제1 객체가 포커스를 갖는 동안 이동하는 스타일러스를 검출하는 것을 포함하고; 사용자 인터페이스 상에 중첩되는 메뉴를 디스플레이하는 것은 사용자 인터페이스 상에 중첩되는 메뉴를 제1 객체에서 또는 근처에서 디스플레이하는 것을 포함한다(3636). 예를 들어, 스타일러스 이동(도 35b 내지 도 35e)이 하나 이상의 스타일러스 이동 기준을 충족하는 동안 사용자 인터페이스(3520)의 제1 객체가 포커스를 갖는 경우(도 35b에 미도시), 사용자 인터페이스(3520) 상에 중첩되는 메뉴(예컨대, 메뉴(3524))는 도 35e의 제1 객체에서 또는 근처에 디스플레이된다.
도 36a 내지 도 36c에서의 동작들이 기술된 특정 순서는 단지 예시적인 것이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방식들을 인식할 것이다. 추가적으로, 본 명세서에 기술된 다른 방법들(예컨대, 위의 "발명을 실시하기 위한 구체적인 내용"의 첫번째 단락에 열거된 것들)과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들은 또한 도 36a 내지 도 36c에 관련하여 전술된 방법(3600)과 유사한 방식으로 적용가능하다는 것이 주목되어야 한다. 예를 들어, 방법(3600)과 관련하여 위에서 기재된 스타일러스 위치 상태 특성, 이동, 접촉, 제스처, 사용자 인터페이스 객체, 및 출력은 선택적으로 본 명세서에 기재된 다른 방법들을 참조하여 본 명세서에 기재된 스타일러스 위치 상태 특성, 이동, 접촉, 제스처, 사용자 인터페이스 객체, 및 출력의 특성들(예컨대, 위의 "발명을 실시하기 위한 구체적인 내용"의 첫번째 단락에 열거된 것들) 중 하나 이상을 갖는다. 간결함을 위해, 이 상세사항들이 여기서 반복되지 않는다.
일부 실시예에 따르면, 도 37는 다양한 설명된 실시예들의 원리에 따라 구성된 전자 디바이스(3700)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은, 선택적으로, 다양한 기술된 실시예들의 원리들을 실행하기 위한 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합에 의해 구현된다. 기술된 다양한 실시예들의 원리들을 구현하기 위해 도 37에서 묘사된 기능 블록들이 선택적으로 조합되거나 하위 블록들로 분리된다는 것이 당업자에 의해 이해된다. 따라서, 본 명세서의 설명은, 선택적으로, 본 명세서에 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 37에 도시된 바와 같이, 전자 디바이스(3700)는 사용자 인터페이스를 디스플레이하고 사용자 접촉(스타일러스 접촉 포함)을 수신하도록 구성된 터치 감응형 디스플레이 유닛(3702), 디바이스와 연관된 스타일러스로부터 신호를 검출하도록 구성된 하나 이상의 센서 유닛(3706); 및 터치 감응형 디스플레이 유닛(3702) 및 하나 이상의 센서 유닛(3706)과 결합된 프로세싱 유닛(3708)을 포함한다. 일부 실시예들에서, 프로세싱 유닛(3708)은 디스플레이 인에이블 유닛(3710), 검출 유닛(3712), 결정 유닛(3714), 및 수행 유닛(3716)을 포함한다.
프로세싱 유닛(3708)은: 터치 감응형 디스플레이 유닛(3702) 상에 사용자 인터페이스의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(3710)을 이용함); 터치 감응형 디스플레이 유닛(3702) 상에 사용자 인터페이스의 디스플레이를 인에이블하는 동안, 터치 감응형 디스플레이 유닛(3702)과 접촉하지 않으면서 터치 감응형 디스플레이 유닛(3702)을 향해 이동하는 스타일러스를 검출하고(예컨대, 검출 유닛(3712)을 이용함); 터치 감응형 디스플레이 유닛(3702)과 접촉하지 않으면서 터치 감응형 디스플레이 유닛(3702)을 향하는 검출된 스타일러스 이동이 하나 이상의 스타일러스 이동 기준을 충족하는지 결정하고(예컨대, 결정 유닛(3714)을 이용함); 검출된 스타일러스 이동이 하나 이상의 스타일러스 이동 기준을 충족한다는 결정에 따라, 사용자 인터페이스 상에 중첩되는 메뉴의 디스플레이를 인에이블하고(예컨대, 디스플레이 인에이블 유닛(3710)을 이용함) - 메뉴는 복수의 선택형 메뉴 옵션을 포함함; 복수의 선택형 메뉴 옵션 중 제1 메뉴 옵션의 선택을 검출하고(예컨대, 검출 유닛(3712)을 이용함); 복수의 선택형 메뉴 옵션 중 제1 메뉴 옵션의 선택을 검출하는 것에 응답하여: 제1 메뉴 옵션에 대응하는 동작을 수행하고(예컨대, 수행 유닛(3716)을 이용함), 메뉴를 디스플레이하는 것을 중지하도록(예컨대, 디스플레이 인에이블 유닛(3710)을 이용함) 구성된다.
전술된 정보 처리 방법들에서의 동작들은 선택적으로 (예컨대, 도 1a 및 도 3과 관련하여 전술된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 처리 장치 내의 하나 이상의 기능 모듈들을 실행시킴으로써 구현된다.
도 36a 내지 도 36c를 참조하여 전술된 동작들은, 선택적으로, 도 1a, 도 1b 또는 도 37에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 디스플레이 동작(3602), 검출 동작(3604), 결정 동작(3608), 디스플레이 동작(3622), 검출 동작(3626), 및 수행 동작(3628)은, 선택적으로, 이벤트 분류기(170), 이벤트 인식기(180), 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉(또는 근접)을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각각의 이벤트 인식기(180)는 이벤트 정보를 각각의 이벤트 정의들(186)과 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉(또는 근접)(또는 디바이스의 회전)이 사전정의된 이벤트 또는 서브이벤트, 예컨대 사용자 인터페이스 상의 객체의 선택, 또는 일 배향에서 다른 배향으로의 디바이스의 회전에 대응하는지 결정한다. 각각의 미리정의된 이벤트 또는 서브이벤트가 검출되는 경우에, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화시킨다. 이벤트 핸들러(190)는 선택적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출하여 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
상기의 기술된 내용은 설명을 위해 특정 실시예들을 참조하여 설명되었다. 그러나, 상기의 예시적인 논의들은 본 발명을 개시된 정확한 형태들로 규명하거나 제한하려는 의도는 아니다. 많은 수정들 및 변형들이 상기 교시 내용들의 관점에서 가능하다. 본 발명의 원리 및 그의 실제적인 응용을 가장 잘 설명하여 다른 당업자들이 본 발명 및 기술된 다양한 실시예를 고려되는 특정 용도에 적합한 바와 같은 다양한 변형과 함께 가장 잘 사용하는 것을 가능하게 하도록 실시예들이 선택 및 설명되었다.

Claims (19)

  1. 방법으로서,
    터치 감응형 표면 및 디스플레이를 갖는 전자 디바이스에서 - 상기 디바이스는 상기 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서를 포함함 -,
    상기 스타일러스로부터 입력을 검출하는 단계;
    상기 스타일러스로부터의 상기 입력의 복수의 특성을 결정하는 단계 - 상기 입력의 상기 특성들은
    상기 입력 동안 상기 터치 감응형 표면에 대한 상기 스타일러스의 배향, 및
    상기 입력 동안 상기 터치 감응형 표면을 가로지르는 상기 스타일러스의 이동 방향("방향성")을 포함함 -; 및
    상기 스타일러스로부터의 상기 입력을 검출하는 것에 응답하여,
    상기 디스플레이 상에 디스플레이되는 마크를 생성하는 단계 - 상기 마크는 불투명도, 폭, 및/또는 색상을 포함하는 특성들을 가짐 -; 및
    상기 스타일러스에 의해 모방되고 있는 가상 드로잉 도구, 및
    상기 입력 동안, 상기 스타일러스로부터의 상기 입력의 상기 복수의 특성의 변경에 따라 상기 마크의 하나 이상의 특성을 조정하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 스타일러스의 상기 배향은 상기 터치 감응형 표면에 평행한 평면 내의 적어도 하나의 축에 대한 상기 스타일러스의 상기 터치 감응형 표면으로 투영의 배향인, 방법.
  3. 제1항에 있어서,
    상기 입력 동안 상기 방향성의 변경을 검출하는 단계; 및,
    상기 방향성의 상기 변경을 검출하는 것에 응답하여, 상기 방향성이 변함에 따라 상기 마크의 상기 폭을 변경함으로써 상기 마크를 조정하는 단계를 포함하는, 방법.
  4. 제1항에 있어서,
    상기 입력 동안 상기 방향성의 변경을 검출하는 단계; 및,
    상기 방향성의 상기 변경을 검출하는 것에 응답하여, 상기 방향성이 변함에 따라 상기 마크의 상기 색상을 변경함으로써 상기 마크를 조정하는 단계를 포함하는, 방법.
  5. 제1항에 있어서, 상기 스타일러스로부터의 상기 입력의 상기 복수의 특성은 상기 스타일러스의 틸트를 포함하고, 상기 스타일러스의 상기 틸트는 상기 터치 감응형 표면의 표면의 법선에 대한 각도인, 방법.
  6. 제5항에 있어서,
    상기 스타일러스의 상기 틸트의 변경을 검출하는 단계; 및
    상기 스타일러스의 상기 틸트의 상기 변경을 검출하는 것에 응답하여, 상기 틸트가 증가함에 따라 상기 마크의 상기 폭을 증가시킴으로써 상기 마크를 조정하는 단계를 포함하는, 방법.
  7. 제1항에 있어서, 상기 스타일러스로부터의 상기 입력의 상기 복수의 특성은 접촉 세기를 포함하고, 상기 접촉 세기는 상기 스타일러스의 상기 터치 감응형 표면 상의 접촉의 세기에 대응하는 파라미터인, 방법.
  8. 제7항에 있어서,
    상기 입력 동안 상기 스타일러스의 상기 접촉 세기의 변경을 검출하는 단계; 및,
    상기 접촉 세기의 상기 변경을 검출하는 것에 응답하여, 상기 접촉 세기가 증가함에 따라 상기 마크의 상기 불투명도를 증가시킴으로써 상기 마크를 조정하는 단계를 포함하는, 방법.
  9. 제7항에 있어서,
    상기 스타일러스의 상기 접촉 세기의 변경을 검출하는 단계; 및,
    상기 접촉 세기의 상기 변경을 검출하는 것에 응답하여, 상기 접촉 세기가 증가함에 따라 상기 마크의 상기 폭을 증가시킴으로써 상기 마크를 조정하는 단계를 포함하는, 방법.
  10. 제7항에 있어서,
    상기 스타일러스의 상기 접촉 세기의 변경을 검출하는 단계; 및,
    상기 접촉 세기의 상기 변경을 검출하는 것에 응답하여, 상기 접촉 세기가 변함에 따라 상기 마크의 상기 색상을 변경함으로써 상기 마크를 조정하는 단계를 포함하는, 방법.
  11. 제1항에 있어서,
    상기 스타일러스로부터의 상기 입력의 상기 복수의 특성 중 하나 이상의 특성의 변경을 검출하는 단계; 및,
    상기 하나 이상의 특성의 상기 변경을 검출하는 것에 응답하여, 상기 스타일러스에 의해 모방되는 상기 가상 드로잉 도구를 제1 가상 드로잉 도구에서 제2 가상 드로잉 도구로 변경하는 단계를 포함하는, 방법.
  12. 제1항에 있어서,
    상기 스타일러스에 의해 모방되고 있는 상기 가상 드로잉 도구는 제1 가상 드로잉 도구이고, 상기 스타일러스가 상기 디스플레이 상에 마크를 만드는 데 활성적으로 관여하지 않는 동안, 상기 스타일러스로부터의 상기 입력의 상기 복수의 특성의 제1 변경을 검출하는 단계;
    상기 스타일러스로부터의 상기 입력의 상기 복수의 특성의 상기 제1 변경을 검출하는 것에 응답하여, 상기 제1 가상 드로잉 도구에서 상기 제1 드로잉 도구와 상이한 제2 가상 드로잉 도구로 스위칭하는 단계; 및
    상기 스타일러스에 의해 모방되고 있는 상기 가상 드로잉 도구가 상기 제2 가상 드로잉 도구인 동안, 상기 스타일러스로부터의 상기 입력의 상기 복수의 특성의 제2 변경을 검출하는 단계; 및
    상기 스타일러스로부터의 상기 입력의 상기 복수의 특성의 상기 제2 변경을 검출하는 것에 응답하여,
    상기 스타일러스가 상기 디스플레이 상에 마크를 만드는 데 활성적으로 관여하지 않는다는 결정에 따라, 상기 제2 가상 드로잉 도구에서 제3 가상 드로잉 도구로 스위칭하는 단계; 및
    상기 스타일러스가 상기 디스플레이 상에 마크를 만드는 데 활성적으로 관여한다는 결정에 따라, 상기 제2 가상 드로잉 도구의 선택을 유지하는 단계를 포함하는, 방법.
  13. 제1항에 있어서,
    상기 터치 감응형 표면 상의 또는 표면 근처에서 상기 스타일러스의 이동의 속도의 변경을 검출하는 단계; 및,
    속도의 상기 변경을 검출하는 것에 응답하여, 상기 속도가 증가함에 따라 상기 마크의 상기 폭을 감소시킴으로써 상기 마크를 조정하는 단계를 포함하는, 방법.
  14. 제1항에 있어서, 상기 마크의 하나 이상의 특성을 조정하는 단계는 상기 방향성과 상기 배향 사이의 차이가 변함에 따라 상기 마크의 상기 폭을 조정하는 단계를 포함하는, 방법.
  15. 제1항에 있어서, 상기 스타일러스에 의해 모방되고 있는 상기 가상 드로잉 도구는 가상 드로잉 도구들의 군 중 하나이고, 상기 방법은, 상기 드로잉 도구들의 군 중에서 4개의 가상 드로잉 도구들의 각각에 대하여, 상기 스타일러스로부터의 상기 입력의 상이한 특성에 따라 상기 마크의 상기 폭을 조정하는 단계를 포함하는, 방법.
  16. 제1항에 있어서, 상기 스타일러스에 의해 모방되고 있는 상기 가상 드로잉 도구는 가상 드로잉 도구들의 군 중 하나이고, 상기 방법은, 상기 드로잉 도구들의 군 중에서 2개의 가상 드로잉 도구들의 각각에 대하여, 상기 스타일러스로부터의 상기 입력의 상이한 특성에 따라 상기 마크의 상기 불투명도를 조정하는 단계를 포함하는, 방법.
  17. 제1항에 있어서, 상기 스타일러스에 의해 모방되고 있는 상기 가상 드로잉 도구는 가상 드로잉 도구들의 군 중 하나이고, 상기 방법은, 상기 드로잉 도구들의 군 중에서 2개의 가상 드로잉 도구들의 각각에 대하여, 상기 입력의 동일한 특성의 변경에 응답하여 상기 마크의 별개의 특성들을 조정하는 단계를 포함하는, 방법.
  18. 전자 디바이스로서,
    디스플레이;
    터치 감응형 표면;
    상기 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서;
    하나 이상의 프로세서;
    메모리; 및
    상기 메모리에 저장되고 상기 하나 이상의 프로세서에 의해 실행되도록 구성되는 하나 이상의 프로그램을 포함하며, 상기 하나 이상의 프로그램은 제1항 내지 제17항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스.
  19. 하나 이상의 프로그램을 저장하는 컴퓨터 판독가능 저장 매체로서, 상기 하나 이상의 프로그램은, 디스플레이, 터치 감응형 표면 및 전자 디바이스와 연관된 스타일러스로부터 신호를 검출하기 위한 하나 이상의 센서를 갖는 상기 디바이스에 의해 실행될 때, 상기 디바이스로 하여금 제1항 내지 제17항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 컴퓨터 판독가능 저장 매체.
KR1020197036353A 2015-06-10 2016-05-20 스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법 KR102187943B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020207034598A KR102354955B1 (ko) 2015-06-10 2016-05-20 스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562173916P 2015-06-10 2015-06-10
US62/173,916 2015-06-10
US14/860,320 US9658704B2 (en) 2015-06-10 2015-09-21 Devices and methods for manipulating user interfaces with a stylus
US14/860,320 2015-09-21
PCT/US2016/033588 WO2016200588A1 (en) 2015-06-10 2016-05-20 Devices and methods for manipulating user interfaces with a stylus

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197025716A Division KR102056579B1 (ko) 2015-06-10 2016-05-20 스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020207034598A Division KR102354955B1 (ko) 2015-06-10 2016-05-20 스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법

Publications (2)

Publication Number Publication Date
KR20190139335A true KR20190139335A (ko) 2019-12-17
KR102187943B1 KR102187943B1 (ko) 2020-12-07

Family

ID=56113076

Family Applications (6)

Application Number Title Priority Date Filing Date
KR1020207034598A KR102354955B1 (ko) 2015-06-10 2016-05-20 스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법
KR1020197025716A KR102056579B1 (ko) 2015-06-10 2016-05-20 스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법
KR1020227017403A KR102515009B1 (ko) 2015-06-10 2016-05-20 스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법
KR1020177033826A KR102020135B1 (ko) 2015-06-10 2016-05-20 스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법
KR1020227001983A KR102402892B1 (ko) 2015-06-10 2016-05-20 스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법
KR1020197036353A KR102187943B1 (ko) 2015-06-10 2016-05-20 스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법

Family Applications Before (5)

Application Number Title Priority Date Filing Date
KR1020207034598A KR102354955B1 (ko) 2015-06-10 2016-05-20 스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법
KR1020197025716A KR102056579B1 (ko) 2015-06-10 2016-05-20 스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법
KR1020227017403A KR102515009B1 (ko) 2015-06-10 2016-05-20 스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법
KR1020177033826A KR102020135B1 (ko) 2015-06-10 2016-05-20 스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법
KR1020227001983A KR102402892B1 (ko) 2015-06-10 2016-05-20 스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법

Country Status (8)

Country Link
US (6) US9658704B2 (ko)
EP (2) EP4336326A2 (ko)
JP (4) JP6603332B2 (ko)
KR (6) KR102354955B1 (ko)
CN (6) CN107667333B (ko)
AU (4) AU2016276031B2 (ko)
DK (1) DK179048B1 (ko)
WO (1) WO2016200588A1 (ko)

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6249486B2 (ja) * 2013-08-19 2017-12-20 株式会社ワコム 描画装置
USD747728S1 (en) * 2014-03-18 2016-01-19 Apple Inc. Display screen or portion thereof with graphical user interface
KR102250856B1 (ko) * 2014-04-30 2021-05-11 삼성전자주식회사 터치 입력 검출 방법, 터치 입력 감지 장치, 및 좌표 표시 장치
CN115756154A (zh) 2014-09-02 2023-03-07 苹果公司 用于可变触觉输出的语义框架
USD783642S1 (en) * 2014-10-16 2017-04-11 Apple Inc. Display screen or portion thereof with animated graphical user interface
US10038775B2 (en) 2015-04-13 2018-07-31 Microsoft Technology Licensing, Llc Inputting data using a mobile apparatus
US9658704B2 (en) 2015-06-10 2017-05-23 Apple Inc. Devices and methods for manipulating user interfaces with a stylus
US11182600B2 (en) * 2015-09-24 2021-11-23 International Business Machines Corporation Automatic selection of event video content
CN106601238A (zh) * 2015-10-14 2017-04-26 阿里巴巴集团控股有限公司 一种应用操作的处理方法和装置
KR20170046958A (ko) * 2015-10-22 2017-05-04 삼성전자주식회사 전자 장치 및 그의 음성 인식을 이용한 기능 실행 방법
US20170180299A1 (en) * 2015-12-16 2017-06-22 Facebook, Inc. System and Method for Expanded Messaging Indicator
WO2017115692A1 (ja) * 2015-12-28 2017-07-06 アルプス電気株式会社 手書き入力装置、情報入力方法及びプログラム
CN105760019B (zh) * 2016-02-22 2019-04-09 广州视睿电子科技有限公司 基于交互式电子白板的触摸操作方法及其系统
KR102544716B1 (ko) * 2016-03-25 2023-06-16 삼성전자주식회사 화면 출력 방법 및 이를 지원하는 전자 장치
KR102523154B1 (ko) * 2016-04-22 2023-04-21 삼성전자주식회사 터치 스크린 장치, 입력 장치 및 그 제어 방법
WO2017212996A1 (ja) * 2016-06-06 2017-12-14 大日本印刷株式会社 タッチパネルペン用筆記シートの選別方法、タッチパネルシステム、タッチパネルペン用筆記シート、タッチパネル及び表示装置
US20170357339A1 (en) * 2016-06-10 2017-12-14 Microsoft Technology Licensing, Llc Variable display properties as a function of input device type and input parameter values
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
US10534449B2 (en) * 2016-08-19 2020-01-14 Microsoft Technology Licensing, Llc Adjustable digital eraser
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
US10466891B2 (en) * 2016-09-12 2019-11-05 Apple Inc. Special lock mode user interface
US10146337B2 (en) * 2016-09-15 2018-12-04 Samsung Electronics Co., Ltd. Digital handwriting device and method of using the same
US11087388B1 (en) 2016-10-31 2021-08-10 Swimc Llc Product-focused search method and apparatus
US10901576B1 (en) * 2016-11-01 2021-01-26 Swimc Llc Color selection and display
US10324544B2 (en) * 2016-12-27 2019-06-18 Wacom Co., Ltd. Hand-written information process apparatus, hand-written information processing method and hand-written information processing program
US10477277B2 (en) * 2017-01-06 2019-11-12 Google Llc Electronic programming guide with expanding cells for video preview
US10254846B1 (en) * 2017-03-15 2019-04-09 Meta Company Systems and methods to facilitate interactions with virtual content in an augmented reality environment
KR102444148B1 (ko) * 2017-04-17 2022-09-19 삼성전자주식회사 전자 장치 및 그 동작 방법
KR102404636B1 (ko) * 2017-05-16 2022-06-02 애플 인크. 사용자 인터페이스들을 위한 촉각 피드백
US10365814B2 (en) 2017-05-16 2019-07-30 Apple Inc. Devices, methods, and graphical user interfaces for providing a home button replacement
US10809884B2 (en) 2017-11-06 2020-10-20 The Sherwin-Williams Company Paint color selection and display system and method
CN107909633B (zh) * 2017-11-16 2021-04-16 马军民 虚拟鼠标绘图工具及绘图方法
JP7165251B2 (ja) * 2017-12-14 2022-11-02 Ｌｉｎｅ株式会社 メッセージングサービス環境におけるコンテンツ共有のためのインタラクション方法およびシステム
JP6983320B2 (ja) * 2017-12-14 2021-12-17 Ｌｉｎｅ株式会社 メッセージングサービス環境におけるコンテンツ共有のためのインタラクション方法およびシステム
KR20190074335A (ko) * 2017-12-19 2019-06-28 삼성디스플레이 주식회사 스타일러스를 포함하는 전자장치 및 이의 동작방법
CN108230427B (zh) * 2018-01-19 2021-12-24 京东方科技集团股份有限公司 一种智能作画设备、图画分析系统及图画处理方法
EP3757807A4 (en) * 2018-02-23 2021-04-21 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
CN108446036B (zh) * 2018-03-27 2021-10-01 京东方科技集团股份有限公司 智能书写设备和智能书写系统
US11089372B2 (en) 2018-03-28 2021-08-10 Rovi Guides, Inc. Systems and methods to provide media asset recommendations based on positioning of internet connected objects on an network-connected surface
US20190324561A1 (en) * 2018-04-24 2019-10-24 Apple Inc. Stylus with display
US11017258B2 (en) * 2018-06-05 2021-05-25 Microsoft Technology Licensing, Llc Alignment of user input on a screen
KR102506158B1 (ko) 2018-07-30 2023-03-07 삼성전자주식회사 디지털 펜을 포함하는 전자 장치
KR102536263B1 (ko) 2018-08-02 2023-05-25 삼성전자주식회사 스타일러스 펜의 입력을 표시하기 위한 방법 및 그 전자 장치
KR102498813B1 (ko) * 2018-09-28 2023-02-13 삼성전자주식회사 스타일러스 펜과 페어링하기 위한 전자 장치 및 그에 관한 방법
KR102500309B1 (ko) 2018-10-08 2023-02-16 삼성전자주식회사 펜 입력 장치를 포함하는 전자 장치 및 그의 동작 방법
USD926224S1 (en) * 2018-10-11 2021-07-27 Brand Gmbh + Co Kg Laboratory device display screen with graphical user interface
CN111046638B (zh) * 2018-10-12 2022-06-28 北京金山办公软件股份有限公司 一种墨迹清除的方法、装置、电子设备及存储介质
CN111124166A (zh) * 2018-10-31 2020-05-08 中强光电股份有限公司 电子白板系统及操控方法
JP7299754B2 (ja) * 2019-05-22 2023-06-28 シャープ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム
US11334174B2 (en) 2019-07-18 2022-05-17 Eyal Shlomot Universal pointing and interacting device
KR102657878B1 (ko) * 2019-08-06 2024-04-17 삼성전자주식회사 전자 장치 및 그 장치에서 수행하는 디스플레이 방법
CN112987997B (zh) * 2019-12-18 2023-05-26 深圳Tcl新技术有限公司 一种用户界面菜单的寻路方法和计算机设备
CN111273992B (zh) * 2020-01-21 2024-04-19 维沃移动通信有限公司 一种图标显示方法及电子设备
US20210349625A1 (en) * 2020-05-05 2021-11-11 Wei Li Using a touch input tool to modify content rendered on touchscreen displays
WO2021241840A1 (ko) 2020-05-29 2021-12-02 삼성전자 주식회사 제스쳐 기반 제어 전자 장치 및 그 동작 방법
CN112162788A (zh) * 2020-09-17 2021-01-01 维沃移动通信有限公司 应用启动方法、装置和电子设备
US20220107727A1 (en) * 2020-10-06 2022-04-07 Dojoit, Inc System and method for inputting text without a mouse click
KR20220048305A (ko) * 2020-10-12 2022-04-19 삼성전자주식회사 폴더블 디바이스의 화면 표시 방법 및 그 장치
EP4236271A4 (en) * 2020-11-19 2023-12-20 Mitsubishi Electric Corporation TERMINAL, INPUT DISPLAY METHOD AND SYSTEM
US11844005B2 (en) 2020-12-28 2023-12-12 Toyota Motor North America, Inc. Message queuing and consolidation in an in vehicle environment
WO2022141176A1 (en) * 2020-12-30 2022-07-07 Citrix Systems, Inc. Contextual notes for online meetings
US11361153B1 (en) 2021-03-16 2022-06-14 Microsoft Technology Licensing, Llc Linking digital ink instances using connecting lines
US11526659B2 (en) 2021-03-16 2022-12-13 Microsoft Technology Licensing, Llc Converting text to digital ink
US11372486B1 (en) * 2021-03-16 2022-06-28 Microsoft Technology Licensing, Llc Setting digital pen input mode using tilt angle
US11875543B2 (en) 2021-03-16 2024-01-16 Microsoft Technology Licensing, Llc Duplicating and aggregating digital ink instances
US11435893B1 (en) 2021-03-16 2022-09-06 Microsoft Technology Licensing, Llc Submitting questions using digital ink
CN113093923B (zh) * 2021-04-07 2022-09-06 湖南汽车工程职业学院 一种艺术设计特征融合的3d画智能绘图设备
EP4332736A1 (en) * 2021-08-10 2024-03-06 Samsung Electronics Co., Ltd. Electronic device and method for controlling input of electronic pen thereof
KR20230023277A (ko) * 2021-08-10 2023-02-17 삼성전자주식회사 전자 장치 및 그 전자 펜의 입력 제어 방법
CN114035739B (zh) * 2021-11-12 2023-12-29 网易（杭州）网络有限公司 图形绘制方法和装置、计算机可读存储介质、电子设备
US20230230044A1 (en) * 2021-12-30 2023-07-20 Microsoft Technology Licensing, Llc Calendar update using template selections
US11733788B1 (en) 2022-04-19 2023-08-22 Dell Products L.P. Information handling system stylus with single piece molded body
US11662839B1 (en) 2022-04-19 2023-05-30 Dell Products L.P. Information handling system stylus with power management through acceleration and sound context
US11662838B1 (en) 2022-04-19 2023-05-30 Dell Products L.P. Information handling system stylus with power management through acceleration and sound context
WO2023218886A1 (ja) * 2022-05-12 2023-11-16 ゼブラ株式会社 情報入力システム、情報入力方法、及び情報入力プログラム
JP7348368B1 (ja) * 2022-09-21 2023-09-20 レノボ・シンガポール・プライベート・リミテッド 情報処理システム、情報処理装置、プログラム、および、制御方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012018644A (ja) * 2010-07-09 2012-01-26 Brother Ind Ltd 情報処理装置、情報処理方法およびプログラム
US20150009155A1 (en) * 2013-07-08 2015-01-08 Acer Incorporated Electronic device and touch operating method thereof

Family Cites Families (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US338783A (en) * 1886-03-30 Half to jeffeeson stalet
US5155813A (en) * 1990-01-08 1992-10-13 Wang Laboratories, Inc. Computer apparatus for brush styled writing
US5539427A (en) * 1992-02-10 1996-07-23 Compaq Computer Corporation Graphic indexing system
US5457476A (en) * 1992-05-27 1995-10-10 Apple Computer, Inc. Method for controlling a computerized organizer
JPH09190268A (ja) 1996-01-11 1997-07-22 Canon Inc 情報処理装置およびその方法
JPH11110119A (ja) 1997-09-29 1999-04-23 Sharp Corp スケジュール入力装置およびスケジュール入力装置制御プログラムを記録した媒体
US20020048404A1 (en) * 2000-03-21 2002-04-25 Christer Fahraeus Apparatus and method for determining spatial orientation
US7002560B2 (en) 2002-10-04 2006-02-21 Human Interface Technologies Inc. Method of combining data entry of handwritten symbols with displayed character data
JP2004185488A (ja) * 2002-12-05 2004-07-02 Canon Inc 座標入力装置
US20050110777A1 (en) 2003-11-25 2005-05-26 Geaghan Bernard O. Light-emitting stylus and user input device using same
US20050156915A1 (en) 2004-01-16 2005-07-21 Fisher Edward N. Handwritten character recording and recognition device
JP2007520005A (ja) * 2004-01-30 2007-07-19 コンボッツ プロダクト ゲーエムベーハー ウント ツェーオー．カーゲー 仮想代理を用いた電気通信の方法及びシステム
US7383291B2 (en) * 2004-05-24 2008-06-03 Apple Inc. Method for sharing groups of objects
CN101308442B (zh) * 2004-10-12 2012-04-04 日本电信电话株式会社 三维指示方法和三维指示装置
US7489306B2 (en) 2004-12-22 2009-02-10 Microsoft Corporation Touch screen accuracy
US20070206024A1 (en) * 2006-03-03 2007-09-06 Ravishankar Rao System and method for smooth pointing of objects during a presentation
US8587526B2 (en) 2006-04-12 2013-11-19 N-Trig Ltd. Gesture recognition feedback for a dual mode digitizer
CN101356493A (zh) * 2006-09-06 2009-01-28 苹果公司 用于照片管理的便携式电子装置
JP4740076B2 (ja) * 2006-09-12 2011-08-03 シャープ株式会社 メッセージ交換端末
US10445703B1 (en) * 2006-10-30 2019-10-15 Avaya Inc. Early enough reminders
GB0703276D0 (en) * 2007-02-20 2007-03-28 Skype Ltd Instant messaging activity notification
JP2009187235A (ja) * 2008-02-06 2009-08-20 Dainippon Printing Co Ltd 電子ペン及びそれに用いられるプログラム
WO2009109014A1 (en) 2008-03-05 2009-09-11 Rpo Pty Limited Methods for operation of a touch input device
US8584031B2 (en) * 2008-11-19 2013-11-12 Apple Inc. Portable touch screen device, method, and graphical user interface for using emoji characters
KR101528262B1 (ko) * 2008-11-26 2015-06-11 삼성전자 주식회사 휴대 단말기 잠금 모드 해제 방법 및 장치
US8493340B2 (en) 2009-01-16 2013-07-23 Corel Corporation Virtual hard media imaging
JP2010183447A (ja) * 2009-02-06 2010-08-19 Sharp Corp 通信端末、通信方法、および通信プログラム
US20100306705A1 (en) 2009-05-27 2010-12-02 Sony Ericsson Mobile Communications Ab Lockscreen display
CN101964760A (zh) * 2009-07-24 2011-02-02 李艳平 即时通讯等通讯系统中的手写笔迹信息交流方式
CN101667100B (zh) * 2009-09-01 2011-12-28 宇龙计算机通信科技(深圳)有限公司 一种移动终端液晶显示屏的解锁方法、系统及移动终端
KR101623748B1 (ko) * 2009-09-01 2016-05-25 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 이동 단말기 및 이동 단말기의 메시지 작성 방법
CN102103455A (zh) * 2009-12-18 2011-06-22 上海智问软件技术有限公司 一种基于交互输入的智能提示系统及其实现方法
US20110181517A1 (en) * 2010-01-22 2011-07-28 Research In Motion Limited Providing a Prompt for Entry of Information at a Later Time
US20110239146A1 (en) * 2010-03-23 2011-09-29 Lala Dutta Automatic event generation
WO2011154950A1 (en) 2010-06-11 2011-12-15 N-Trig Ltd. Object orientation detection with a digitizer
WO2012021603A1 (en) 2010-08-10 2012-02-16 Magnetrol International, Incorporated Redundant level measuring system
JP5768347B2 (ja) * 2010-09-07 2015-08-26 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US8890818B2 (en) * 2010-09-22 2014-11-18 Nokia Corporation Apparatus and method for proximity based input
US9244545B2 (en) 2010-12-17 2016-01-26 Microsoft Technology Licensing, Llc Touch and stylus discrimination and rejection for contact sensitive computing devices
US8988398B2 (en) 2011-02-11 2015-03-24 Microsoft Corporation Multi-touch input device with orientation sensing
US9354804B2 (en) * 2010-12-29 2016-05-31 Microsoft Technology Licensing, Llc Touch event anticipation in a computing device
CN102053793B (zh) * 2010-12-30 2013-04-24 深圳市同洲电子股份有限公司 触摸屏终端解锁方法及终端
KR101889838B1 (ko) 2011-02-10 2018-08-20 삼성전자주식회사 터치 스크린 디스플레이를 구비한 휴대 기기 및 그 제어 방법
US9201520B2 (en) * 2011-02-11 2015-12-01 Microsoft Technology Licensing, Llc Motion and context sharing for pen-based computing inputs
TW201238298A (en) 2011-03-07 2012-09-16 Linktel Inc Method for transmitting and receiving messages
JP2014509031A (ja) 2011-03-21 2014-04-10 エヌ−トリグ リミテッド コンピュータスタイラスによる認証のためのシステム及び方法
KR101802759B1 (ko) 2011-05-30 2017-11-29 엘지전자 주식회사 이동 단말기 및 이것의 디스플레이 제어 방법
US11165963B2 (en) 2011-06-05 2021-11-02 Apple Inc. Device, method, and graphical user interface for accessing an application in a locked device
US8638320B2 (en) * 2011-06-22 2014-01-28 Apple Inc. Stylus orientation detection
US8928635B2 (en) 2011-06-22 2015-01-06 Apple Inc. Active stylus
CN102289352A (zh) * 2011-09-21 2011-12-21 宇龙计算机通信科技(深圳)有限公司 应用程序的启动方法和终端
WO2013041704A1 (en) * 2011-09-22 2013-03-28 Sanofi-Aventis Deutschland Gmbh Detecting a blood sample
US9389707B2 (en) 2011-10-28 2016-07-12 Atmel Corporation Active stylus with configurable touch sensor
US9116558B2 (en) 2011-10-28 2015-08-25 Atmel Corporation Executing gestures with active stylus
US9292116B2 (en) 2011-11-21 2016-03-22 Microsoft Technology Licensing, Llc Customizing operation of a touch screen
US20130136377A1 (en) * 2011-11-29 2013-05-30 Samsung Electronics Co., Ltd. Method and apparatus for beautifying handwritten input
US9213822B2 (en) * 2012-01-20 2015-12-15 Apple Inc. Device, method, and graphical user interface for accessing an application in a locked device
US8854342B2 (en) 2012-03-02 2014-10-07 Adobe Systems Incorporated Systems and methods for particle-based digital airbrushing
US8896579B2 (en) 2012-03-02 2014-11-25 Adobe Systems Incorporated Methods and apparatus for deformation of virtual brush marks via texture projection
US8994698B2 (en) * 2012-03-02 2015-03-31 Adobe Systems Incorporated Methods and apparatus for simulation of an erodible tip in a natural media drawing and/or painting simulation
JP5835018B2 (ja) * 2012-03-02 2015-12-24 コニカミノルタ株式会社 会議システムおよび連絡方法
CN103309482A (zh) * 2012-03-12 2013-09-18 富泰华工业（深圳）有限公司 电子设备及其触摸控制方法与触摸控制装置
US9508056B2 (en) * 2012-03-19 2016-11-29 Microsoft Technology Licensing, Llc Electronic note taking features including blank note triggers
US10032135B2 (en) * 2012-03-19 2018-07-24 Microsoft Technology Licensing, Llc Modern calendar system including free form input electronic calendar surface
US9720574B2 (en) * 2012-03-19 2017-08-01 Microsoft Technology Licensing, Llc Personal notes on a calendar item
US9529486B2 (en) 2012-03-29 2016-12-27 FiftyThree, Inc. Methods and apparatus for providing a digital illustration system
JP2013232033A (ja) 2012-04-27 2013-11-14 Nec Casio Mobile Communications Ltd 端末装置、及び端末装置の制御方法
JP6002836B2 (ja) * 2012-05-09 2016-10-05 アップル インコーポレイテッド ジェスチャに応答して表示状態間を遷移するためのデバイス、方法、及びグラフィカルユーザインタフェース
CN105260049B (zh) * 2012-05-09 2018-10-23 苹果公司 用于响应于用户接触来显示附加信息的设备、方法和图形用户界面
JP6182207B2 (ja) * 2012-05-09 2017-08-16 アップル インコーポレイテッド ユーザインタフェースオブジェクトのアクティブ化状態を変更するためのフィードバックを提供するためのデバイス、方法、及びグラフィカルユーザインタフェース
CN104395860B (zh) 2012-05-09 2018-06-22 苹果公司 用于确定计算设备中的反馈的阈值
US20130300719A1 (en) * 2012-05-10 2013-11-14 Research In Motion Limited Method and apparatus for providing stylus orientation and position input
US9009630B2 (en) 2012-06-05 2015-04-14 Microsoft Corporation Above-lock notes
US9201521B2 (en) * 2012-06-08 2015-12-01 Qualcomm Incorporated Storing trace information
US9176604B2 (en) 2012-07-27 2015-11-03 Apple Inc. Stylus device
US9513769B2 (en) * 2012-08-23 2016-12-06 Apple Inc. Methods and systems for non-linear representation of time in calendar applications
KR20140028272A (ko) * 2012-08-28 2014-03-10 삼성전자주식회사 달력을 디스플레이하기 위한 방법 및 그 전자 장치
US10079786B2 (en) * 2012-09-03 2018-09-18 Qualcomm Incorporated Methods and apparatus for enhancing device messaging
US10217253B2 (en) * 2012-09-14 2019-02-26 Adobe Inc. Methods and apparatus for simulation of a stateful brush tip in a natural media drawing and/or painting simulation
KR20140053554A (ko) * 2012-10-26 2014-05-08 엘지전자 주식회사 디스플레이 공유방법
KR20140076261A (ko) * 2012-12-12 2014-06-20 삼성전자주식회사 펜을 이용한 사용자 인터페이스 제공 단말 및 방법
CN103164158A (zh) * 2013-01-10 2013-06-19 深圳市欧若马可科技有限公司 触摸屏上绘画创作与教学的方法、系统及装置
US9075464B2 (en) 2013-01-30 2015-07-07 Blackberry Limited Stylus based object modification on a touch-sensitive display
JP6100013B2 (ja) 2013-02-07 2017-03-22 株式会社東芝 電子機器および手書き文書処理方法
EP2772833B1 (en) * 2013-03-01 2016-05-18 BlackBerry Limited System and method of determining stylus location on touch-sensitive display
US9448643B2 (en) * 2013-03-11 2016-09-20 Barnes & Noble College Booksellers, Llc Stylus sensitive device with stylus angle detection functionality
US20140253462A1 (en) * 2013-03-11 2014-09-11 Barnesandnoble.Com Llc Sync system for storing/restoring stylus customizations
US20140280603A1 (en) * 2013-03-14 2014-09-18 Endemic Mobile Inc. User attention and activity in chat systems
EP2778864A1 (en) 2013-03-14 2014-09-17 BlackBerry Limited Method and apparatus pertaining to the display of a stylus-based control-input area
MX351000B (es) * 2013-03-15 2017-09-27 Tactual Labs Co Lápiz óptico y sensor de multi-toques rápidos.
JP5951886B2 (ja) 2013-03-18 2016-07-13 株式会社東芝 電子機器および入力方法
KR20140132171A (ko) * 2013-05-07 2014-11-17 삼성전자주식회사 터치용 펜을 이용하는 휴대 단말기 및 이를 이용한 필기 입력 방법
US10055030B2 (en) 2013-05-17 2018-08-21 Apple Inc. Dynamic visual indications for input devices
US9946366B2 (en) 2013-06-03 2018-04-17 Apple Inc. Display, touch, and stylus synchronization
CN104298551A (zh) * 2013-07-15 2015-01-21 鸿富锦精密工业(武汉)有限公司 应用程序调用系统及方法
US20150029162A1 (en) 2013-07-24 2015-01-29 FiftyThree, Inc Methods and apparatus for providing universal stylus device with functionalities
US9268997B2 (en) * 2013-08-02 2016-02-23 Cellco Partnership Methods and systems for initiating actions across communication networks using hand-written commands
KR102063103B1 (ko) 2013-08-23 2020-01-07 엘지전자 주식회사 이동 단말기
KR102199786B1 (ko) * 2013-08-27 2021-01-07 삼성전자주식회사 콘텐트를 기반으로 하는 정보 제공 방법 및 장치
CN104423820A (zh) * 2013-08-27 2015-03-18 贝壳网际（北京）安全技术有限公司 锁屏壁纸更换方法及装置
KR102214974B1 (ko) 2013-08-29 2021-02-10 삼성전자주식회사 잠금 화면 상에서 필기 형태의 사용자 입력과 관련된 기능을 실행하기 위한 장치 및 방법
KR20150026615A (ko) * 2013-09-03 2015-03-11 유제민 일정 관리 방법 및 이를 위한 휴대용 전자 장치
US9484616B2 (en) 2013-09-09 2016-11-01 Eric Daniels Support truss for an antenna or similar device
KR20150043063A (ko) * 2013-10-14 2015-04-22 삼성전자주식회사 전자 장치 및 이의 정보 제공 방법
US20150109257A1 (en) 2013-10-23 2015-04-23 Lumi Stream Inc. Pre-touch pointer for control and data entry in touch-screen devices
JP6279879B2 (ja) 2013-10-31 2018-02-14 シャープ株式会社 情報処理装置および管理方法
US20150127403A1 (en) * 2013-11-01 2015-05-07 Slide Rule Software Calendar management system
CN104679379B (zh) * 2013-11-27 2018-11-27 阿里巴巴集团控股有限公司 更换锁屏应用壁纸的方法及装置
WO2015164823A1 (en) * 2014-04-25 2015-10-29 Fisher Timothy Isaac Messaging with drawn graphic input
US9569045B2 (en) 2014-05-21 2017-02-14 Apple Inc. Stylus tilt and orientation estimation from touch sensor panel images
US20150347987A1 (en) * 2014-05-30 2015-12-03 Zainul Abedin Ali Integrated Daily Digital Planner
US9648062B2 (en) 2014-06-12 2017-05-09 Apple Inc. Systems and methods for multitasking on an electronic device with a touch-sensitive display
US20150370350A1 (en) * 2014-06-23 2015-12-24 Lenovo (Singapore) Pte. Ltd. Determining a stylus orientation to provide input to a touch enabled device
JP5874801B2 (ja) 2014-10-16 2016-03-02 セイコーエプソン株式会社 スケジュール管理装置及びスケジュール管理プログラム
US9658704B2 (en) 2015-06-10 2017-05-23 Apple Inc. Devices and methods for manipulating user interfaces with a stylus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012018644A (ja) * 2010-07-09 2012-01-26 Brother Ind Ltd 情報処理装置、情報処理方法およびプログラム
US20150009155A1 (en) * 2013-07-08 2015-01-08 Acer Incorporated Electronic device and touch operating method thereof

Also Published As

Publication number Publication date
EP3308256A1 (en) 2018-04-18
AU2022200268B2 (en) 2023-09-14
US20160364091A1 (en) 2016-12-15
AU2020203817A1 (en) 2020-07-02
CN107667333B (zh) 2020-05-05
JP7165220B2 (ja) 2022-11-02
US10365732B2 (en) 2019-07-30
KR20170139141A (ko) 2017-12-18
CN111399741A (zh) 2020-07-10
US10678351B2 (en) 2020-06-09
US9753556B2 (en) 2017-09-05
KR20200138442A (ko) 2020-12-09
US20160364025A1 (en) 2016-12-15
DK201500580A1 (en) 2017-01-16
CN111414077A (zh) 2020-07-14
JP2021089751A (ja) 2021-06-10
US20160364027A1 (en) 2016-12-15
AU2016276031A1 (en) 2017-11-23
AU2016276031B2 (en) 2018-10-04
AU2020203817B2 (en) 2021-11-25
JP2023017801A (ja) 2023-02-07
KR102187943B1 (ko) 2020-12-07
JP2020025259A (ja) 2020-02-13
US11907446B2 (en) 2024-02-20
AU2022200268A1 (en) 2022-02-10
CN107667333A (zh) 2018-02-06
KR20220074991A (ko) 2022-06-03
KR102515009B1 (ko) 2023-03-29
US9619052B2 (en) 2017-04-11
JP6603332B2 (ja) 2019-11-06
JP2018519583A (ja) 2018-07-19
KR102056579B1 (ko) 2019-12-16
US9658704B2 (en) 2017-05-23
CN111414121B (zh) 2023-09-05
CN111414120B (zh) 2023-04-18
KR20190104456A (ko) 2019-09-09
CN111414120A (zh) 2020-07-14
CN111399673A (zh) 2020-07-10
KR20230044551A (ko) 2023-04-04
AU2019200030A1 (en) 2019-01-24
CN111399673B (zh) 2023-06-27
US20190220109A1 (en) 2019-07-18
KR102354955B1 (ko) 2022-02-08
EP4336326A2 (en) 2024-03-13
WO2016200588A1 (en) 2016-12-15
KR102020135B1 (ko) 2019-09-09
DK179048B1 (en) 2017-09-18
KR102402892B1 (ko) 2022-05-30
AU2019200030B2 (en) 2020-05-07
CN111414077B (zh) 2021-10-29
JP6842645B2 (ja) 2021-03-17
CN111414121A (zh) 2020-07-14
US20160364026A1 (en) 2016-12-15
US20200293125A1 (en) 2020-09-17
KR20220013465A (ko) 2022-02-04

Similar Documents

Publication Publication Date Title
KR102056579B1 (ko) 스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법
KR102665226B1 (ko) 스타일러스로 사용자 인터페이스를 조작하기 위한 디바이스 및 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant