KR20210087571A - 가변 햅틱 출력을 위한 시맨틱 프레임워크 - Google Patents

가변 햅틱 출력을 위한 시맨틱 프레임워크 Download PDF

Info

Publication number
KR20210087571A
KR20210087571A KR1020217021011A KR20217021011A KR20210087571A KR 20210087571 A KR20210087571 A KR 20210087571A KR 1020217021011 A KR1020217021011 A KR 1020217021011A KR 20217021011 A KR20217021011 A KR 20217021011A KR 20210087571 A KR20210087571 A KR 20210087571A
Authority
KR
South Korea
Prior art keywords
event
haptic
different
output
electronic device
Prior art date
Application number
KR1020217021011A
Other languages
English (en)
Other versions
KR102373337B1 (ko
Inventor
카밀 무세트
게리 부처
휴고 버웨이
조나단 아이브
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Priority to KR1020227007635A priority Critical patent/KR102475306B1/ko
Publication of KR20210087571A publication Critical patent/KR20210087571A/ko
Application granted granted Critical
Publication of KR102373337B1 publication Critical patent/KR102373337B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00—Focusing arrangements of general interest for cameras, projectors or printers
    • G03B3/10—Power-operated focusing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0745—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in an input/output transactions management context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751—Error or fault detection not based on redundancy
    • G06F11/0763—Error or fault detection not based on redundancy by bit configuration check, e.g. of formats or tags
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/224—Monitoring or handling of messages providing notification on incoming messages, e.g. pushed notifications of received messages
    • H04L51/24—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M19/00—Current supply arrangements for telephone systems
    • H04M19/02—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
    • H04M19/04—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Abstract

방법들 및 장치들은, 경보 조건 및 트리거, 애플리케이션 컨텍스트, 및 다른 조건들에 관한 다양한 정보를 사용하여 관련된 이벤트들 사이에서 특성들을 공유하는 햅틱 출력들의 시스템을 제공하는 응집성 시맨틱 프레임워크 내로 복수의 햅틱 출력 변형을 조직화한다. 일부 실시예들에서, 이벤트 클래스 또는 애플리케이션 클래스는 대응하는 햅틱 출력에 대한 기초를 제공한다. 일부 실시예들에서, 경보-현저성 설정이 온인지 여부는 경보에 대한 표준 햅틱 출력에 증가된 현저성 햅틱 출력을 추가하기 위한 기초를 제공한다. 일부 실시예들에서, 일관된 햅틱들은 연관된 애플리케이션 클래스, 애플리케이션, 및/또는 컨텍스트의 브랜딩을 제공한다.

Description

가변 햅틱 출력을 위한 시맨틱 프레임워크{SEMANTIC FRAMEWORK FOR VARIABLE HAPTIC OUTPUT}
본 개시내용은 일반적으로 햅틱 피드백을 제공하기 위한 방법 및 장치에 관한 것으로, 보다 상세하게는 디바이스 또는 애플리케이션과 연관된 조건들에 대응하는 햅틱 피드백의 시맨틱 프레임워크(semantic framework)에 대한 방법 및 장치에 관한 것이다.
촉각적 피드백 시스템은 터치 또는 접촉을 통해 서브시스템과 상호작용하는 능력을 사용자에게 제공한다. 햅틱 시스템은 액추에이터, 센서, 또는 둘 다를 사용함으로써 이러한 촉각적 상호작용들을 용이하게 한다. 한편 본 발명의 배경기술로는 미국 특허출원공개공보 US2013/316744호, 미국 특허출원공개공보 US2009/303031호, 국제공개공보 WO2004/053830호, 유럽 특허출원공개공보 EP2141569호, 미국 특허출원공개공보 US2011/053577호, 유럽 특허출원공개공보 EP2733575호, 및 미국 특허출원공개공보 US2012/229276호가 있다.
본 명세서의 실시예들은, 경보 조건 및 트리거들, 애플리케이션 컨텍스트, 및 다른 조건들에 관한 다양한 정보를 사용하여 관련된 이벤트들 사이에서 특성들을 공유하는 햅틱 출력들의 시스템을 제공하는 응집성 시맨틱 프레임워크(cohesive semantic framework) 내로 복수의 햅틱 출력 변형을 조직화하는 햅틱 피드백 방법 및 장치를 개시한다. 본 개시내용은 다양한 조건들에서 햅틱 응답을 제공하기 위한 시스템 및 방법에 관한 것이다. 개시된 햅틱 응답 접근법들은 임의의 적합한 소프트웨어, 하드웨어, 또는 둘 다를 사용하여 구현될 수 있다.
일부 실시예들에서, 애플리케이션과 연관된 검출된 경보 조건과 연관된 시간에 애플리케이션과 연관된 상태는 대응하는 햅틱 출력을 제공하기 위한 기초를 제공한다. 예를 들어, 경보 조건을 검출하는 것에 응답하여, 경보 조건과 연관된 시간에 애플리케이션과 연관된 상태가 결정된다. 애플리케이션이 경보 조건과 연관된 시간에 활성 상태에 있었다면, 경보 조건의 발생을 나타내는 제1 햅틱 출력이 제공되고, 애플리케이션이 경보 조건과 연관된 시간에 비활성 상태에 있었다면, 경보 조건의 발생을 나타내며 제1 햅틱 출력과는 상이한 제2 햅틱 출력이 제공된다.
일부 실시예들에서, 검출된 경보 조건이 수동으로 또는 자동으로 트리거되었는지 여부는 대응하는 햅틱 출력을 제공하기 위한 기초를 제공한다. 예를 들어, 경보 조건을 검출하는 것에 응답하여, 경보 조건이 수동-개시된 이벤트에 의해 트리거되었는지 여부가 결정된다. 경보 조건이 수동-개시된 이벤트에 의해 트리거된 경우, 제1 햅틱 출력이 수동-개시된 이벤트 통지에 대응하여 제공된다. 경보 조건이 자동-개시된 이벤트에 의해 트리거된 경우, 제2 햅틱 출력이 자동-개시된 이벤트 통지에 대응하여 제공되고 제1 햅틱 출력과는 상이하다.
일부 실시예들에서, 검출된 경보 조건이 사용자 입력 또는 미리결정된 시스템 이벤트와 연관되는지 여부는 대응하는 햅틱 출력을 제공하기 위한 기초를 제공한다. 예를 들어, 애플리케이션에 대한 사용자 입력을 수신하는 것과 연관된 제1 경보 조건을 검출하는 것에 응답하여, 제1 햅틱 출력이 사용자 입력에 대응하여 제공된다. 제1 햅틱 출력 후에, 애플리케이션에서 미리결정된 시스템 이벤트를 수신하는 것과 연관된 제2 경보 조건을 검출하는 것에 응답하여, 제1 햅틱 출력보다 큰 세기의 제2 햅틱 출력이 미리결정된 시스템 이벤트에 대응하여 제공된다.
일부 실시예들에서, 검출된 경보 조건이 다중-부분(multi-part) 동작의 일부인지 여부는 대응하는 햅틱 출력을 제공하기 위한 기초를 제공한다. 예를 들어, 다중-부분 동작의 제1 부분에 대응하는 입력을 수신하는 것에 응답하여, 진행 중인(ongoing) 햅틱 출력 시퀀스가 개시된다. 개시 후 그리고 다중-부분 동작의 제2 부분에 대응하는 입력을 수신하는 것에 응답하여, 진행 중인 햅틱 출력 시퀀스가 종료된다.
일부 실시예들에서, 동작을 수행하기 위한 검출된 요청이 다른 동작의 서브세트(subset)인지 여부는 대응하는 햅틱 출력을 제공하기 위한 기초를 제공한다. 예를 들어, 제1 동작을 수행하라는 요청에 대응하는 제1 입력을 검출하는 것에 응답하여, 햅틱 성분을 포함하는 제1 출력이 제공되고 제1 동작이 수행된다. 제1 동작을 수행한 후, 그리고 제1 동작 및 보충 동작을 포함하는 제2 동작을 수행하라는 요청에 대응하는 제2 입력을 검출하는 것에 응답하여, 햅틱 성분을 포함하고 제1 출력에 더하여(plus) 보충 동작에 대응하는 보충 출력을 포함하는 제2 출력이 제공되고, 제2 동작이 수행된다.
일부 실시예들에서, 2개의 검출된 경보 조건이 동일하거나 상이한 클래스의 경보 조건 또는 동일하거나 상이한 클래스의 애플리케이션에 있는지 여부는 대응하는 햅틱 출력을 제공하기 위한 기초를 제공한다. 예를 들어, 제1 경보 조건의 발생을 검출하는 것에 응답하여, 제1 햅틱 성분 및 제1 비-햅틱 성분을 포함하는 제1 출력이 제공된다. 제1 출력을 제공한 후, 그리고 제2 경보 조건의 발생을 검출하는 것에 응답하여, 제2 햅틱 성분 및 제2 비-햅틱 성분을 포함하는 제2 출력이 제공된다. 제1 경보 조건 및 제2 경보 조건이 동일한 클래스의 경보 조건 내에 있는 상이한 경보 조건들인 경우, 제1 출력 및 제2 출력은 하나 이상의 동일한 성분을 공유하고 하나 이상의 상이한 성분을 갖지만, 제1 경보 조건 및 제2 경보 조건이 상이한 클래스들의 경보 조건 내에 있는 상이한 경보 조건들인 경우, 제1 햅틱 성분은 제2 햅틱 성분과 상이하고 제1 비-햅틱 성분은 제2 비-햅틱 성분과 상이하다. 다른 예에서,
일부 실시예들에서,
본 명세서에 기술된 방법들의 다양한 실시예들은 본 명세서에 기술된 임의의 다른 실시예들과 조합될 수 있음에 유의한다. 본 명세서에 기술된 특징들 및 이점들은 모두를 포함하는 것은 아니며, 특히, 많은 추가의 특징들 및 이점들이 도면들, 명세서 및 청구범위를 고려하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명백할 것이다. 게다가, 본 명세서에 사용된 표현은 주로 가독성과 교육적 목적들을 위해 선택되었고, 본 발명의 요지를 상세히 기술하거나 제한하기 위해 선택된 것은 아닐 수 있다는 점에 주의해야 한다.
도 1a는 일부 실시예들에 따른, 터치 감응형 디스플레이를 구비한 휴대용 다기능 디바이스를 예시하는 블록도이다.
도 1b는 일부 실시예들에 따른, 이벤트 처리를 위한 예시적인 컴포넌트들을 예시하는 블록도이다.
도 2는 일부 실시예들에 따른, 터치 스크린을 갖는 휴대용 다기능 디바이스를 예시한다.
도 3은 일부 실시예들에 따른, 디스플레이 및 터치 감응형 표면을 구비한 예시적인 다기능 디바이스의 블록도이다.
도 4a는 일부 실시예들에 따른, 휴대용 다기능 디바이스 상의 애플리케이션들의 메뉴를 위한 예시적인 사용자 인터페이스를 예시한다.
도 4b는 일부 실시예들에 따른, 디스플레이로부터 분리된 터치 감응형 표면을 구비한 다기능 디바이스를 위한 예시적인 사용자 인터페이스를 예시한다.
도 5는 일부 실시예들에 따른, 다양한 햅틱 파형 형태(waveform morphology)들의 예들을 도시한다.
도 6은 일부 실시예들에 따른, 다양한 오디오 파형 형태들의 예들을 도시한다.
도 7은 일부 실시예들에 따른, 애플리케이션과 연관된 경보 조건을 검출하고 대응하는 햅틱 출력을 제공하기 위한 방법의 흐름도이다.
도 8은 일부 실시예들에 따른, 이메일 애플리케이션의 예시적인 사용자 인터페이스를 표시한다.
도 9는 일부 실시예들에 따른, 애플리케이션과 연관된 경보 조건을 검출하고, 조건이 수동- 또는 자동-개시된 이벤트에 의해 트리거되었는지 여부에 따라 햅틱 출력을 제공하기 위한 방법의 흐름도이다.
도 10은 일부 실시예들에 따른, 사용자 입력으로부터의 제1 경보 조건 및 애플리케이션과 연관된 미리결정된 이벤트로부터의 제2 경보 조건을 검출하고, 대응하는 햅틱 출력들을 제공하기 위한 방법의 흐름도이다.
도 11은 일부 실시예들에 따른, 다중-부분 동작과 연관된 경보 조건을 검출하고 대응하는 햅틱 출력을 제공하기 위한 방법의 흐름도이다.
도 12는 일부 실시예들에 따른, 제1 및 제2 동작들을 수행하기 위한 제1 및 제2 입력들을 검출하고, 동작들을 수행하고, 대응하는 출력들을 제공하기 위한 방법의 흐름도이다.
도 13은 일부 실시예들에 따른, 제1 및 제2 경보 조건들을 검출하고, 대응하는 출력들을 제공하기 위한 방법의 흐름도이다.
도 14는 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 15는 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 16은 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 17은 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 18은 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 19는 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 20은 일부 실시예들에 따른, 제1 음향 포트를 포함하는 디바이스 하우징을 도시한다.
도 21a는 일부 실시예들에 따른, 자기-정전용량 터치 픽셀 전극 및 감지 회로에 대응하는 터치 센서 회로를 도시한다.
도 21b는 일부 실시예들에 따른 자기-정전용량 터치 센서를 도시한다.
도 22a는 일부 실시예들에 따른 햅틱 액추에이터를 도시한다.
도 22a는 일부 실시예들에 따른 햅틱 액추에이터를 도시한다.
도 23a는 일부 실시예들에 따른 웨어러블 디바이스이다.
도 23b는 일부 실시예들에 따른, 자신의 주머니 내에 제2 전자 디바이스를 갖는 웨어러블 디바이스를 착용한 사용자를 도시한다.
도 24는 일부 실시예들에 따른 웨어러블 전자 디바이스의 개략도를 도시한다.
도 25는 일부 실시예에 따른, 클래스에 따라 다양한 햅틱 및 다른 피드백 경보들을 제공하기 위한 방법의 흐름도이다.
도 26은 일부 실시예들에 따른, 다양한 햅틱들에 대한 선택적 현저성(salience) 증가를 제공하기 위한 방법의 흐름도이다.
도 27은 일부 실시예들에 따른, 디바이스 상의 경보-현저성 설정을 위한 예시적인 사용자 인터페이스를 예시한다.
도 28은 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 29는 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 30은 일부 실시예들에 따른, 제1 조건 및 제2 조건을 검출하고, 햅틱 및 오디오 출력들을 포함하는 대응하는 경보들을 생성하기 위한 방법의 흐름도이다.
도 31은 일부 실시예들에 따른 파형의 다양한 인스턴스들을 도시한다.
도 32는 일부 실시예들에 따른, 제1 및 제2 컨텍스트에서 제1 조건을 검출하고, 햅틱 및 오디오 출력들을 포함하는 대응하는 경보들을 생성하기 위한 방법의 흐름도이다.
도 33a는 일부 실시예들에 따른, 둘 모두 시간적으로 분리되고 동시 발생적인, 다양한 햅틱 및 오디오 파형들을 도시한다.
도 33b는 일부 실시예들에 따른, 시간적으로 중첩하는, 다양한 햅틱 및 오디오 파형들을 도시한다.
도 33c는 일부 실시예들에 따른, 시간적으로 중첩하는, 다양한 햅틱 및 오디오 파형들을 도시한다.
도 34는 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 35는 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
본 명세서의 실시예들은, 경보 조건 및 트리거, 애플리케이션 컨텍스트, 및 햅틱 출력에 대응하는 다른 조건들에 관한 다양한 정보를 사용하여 관련된 이벤트들 사이에서 특성들을 공유하는 햅틱 출력들의 시스템을 제공하는 응집성 시맨틱 프레임워크 내로 복수의 햅틱 출력 변형을 조직화하는 햅틱 피드백 방법 및 장치를 개시한다.
일부 실시예들에서, 애플리케이션과 연관된 검출된 경보 조건과 연관된 시간에 애플리케이션과 연관된 상태는 대응하는 햅틱 출력을 제공하기 위한 기초를 제공한다. 일부 실시예들에서, 검출된 경보 조건이 수동으로 또는 자동으로 트리거되었는지 여부는 대응하는 햅틱 출력을 제공하기 위한 기초를 제공한다. 일부 실시예들에서, 검출된 경보 조건이 사용자 입력 또는 미리결정된 시스템 이벤트와 연관되는지 여부는 대응하는 햅틱 출력을 제공하기 위한 기초를 제공한다.
일부 실시예들에서, 검출된 경보 조건이 다중-부분 동작의 일부인지 여부는 대응하는 햅틱 출력을 제공하기 위한 기초를 제공한다. 일부 실시예들에서, 동작을 수행하기 위한 검출된 요청이 다른 동작의 서브세트인지 여부는 대응하는 햅틱 출력을 제공하기 위한 기초를 제공한다. 일부 실시예들에서, 2개의 검출된 경보 조건이 동일하거나 상이한 클래스의 경보 조건 내에 있는지 여부는 대응하는 햅틱 출력을 제공하기 위한 기초를 제공한다.
예시적인 디바이스들
이제, 실시예들이 상세하게 참조될 것이며, 실시예들의 예들이 첨부 도면들에 예시된다. 하기의 상세한 설명에서, 많은 구체적인 상세사항들이 다양하게 기술된 실시예들의 완전한 이해를 제공하기 위해 설명된다. 그러나, 다양하게 기술된 실시예들이 이들 구체적인 상세사항 없이 실시될 수 있다는 것은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 명백할 것이다. 다른 예들에서, 잘 알려진 방법들, 절차들, 컴포넌트들, 회로들, 및 네트워크들은 실시예들의 양태들을 불필요하게 모호하게 하지 않기 위해 상세히 기술되지 않았다.
일부 예들에서, 용어들, 제1, 제2 등이 본 명세서에서 다양한 요소들을 기술하는 데 사용되지만, 이들 요소들은 이들 용어들로 제한되어서는 안 된다는 것이 또한 이해될 것이다. 이들 용어들은 하나의 요소를 다른 요소로부터 구별하는 데에만 사용된다. 예를 들면, 다양하게 기술된 실시예들의 범주로부터 벗어남이 없이, 제1 접촉이 제2 접촉으로 지칭될 수 있고, 유사하게, 제2 접촉이 제1 접촉으로 지칭될 수 있다. 제1 접촉 및 제2 접촉은 둘 다 접촉이지만, 그들이 동일한 접촉인 것은 아니다.
본 명세서에서 다양한 기술된 실시예들의 설명에 사용되는 용어는 특정 실시예들을 기술하는 목적만을 위한 것이고, 제한하려는 의도는 아니다. 기술된 다양한 실시예들의 설명 및 첨부된 청구범위에 사용되는 바와 같이, 단수의 형태는 문맥상 명백히 달리 나타내지 않는다면 복수의 형태들도 마찬가지로 포함하려는 것으로 의도된다. 또한, 본 명세서에서 사용되는 바와 같은 용어 "및/또는"은 열거되는 연관된 항목들 중 하나 이상의 항목의 임의의 그리고 모든 가능한 조합들을 나타내고 그들을 포괄하는 것임이 이해될 것이다. 본 명세서에서 사용될 때 용어들 "포함한다(include)", "포함하는(including)", "포함한다(comprise)", 및/또는 "포함하는(comprising)"은 언급된 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹들의 존재 또는 추가를 배제하지 않음이 추가로 이해될 것이다.
본 명세서에서 사용되는 바와 같이, "~는 경우(if)"라는 용어는, 옵션적으로, 문맥에 따라 "~할 때(when)" 또는 "~ 시(upon)" 또는 "결정하는 것에 응답하여(in response to determining)" 또는 "검출하는 것에 응답하여(in response to detecting)"를 의미하는 것으로 해석된다. 유사하게, 구문 "결정된 경우" 또는 "[진술된 상태 또는 이벤트가] 검출된 경우"는, 옵션적으로, 문맥에 따라 "결정 시" 또는 "결정하는 것에 응답하여" 또는 "[진술된 상태 또는 이벤트] 검출 시" 또는 "[진술된 상태 또는 이벤트를] 검출하는 것에 응답하여"를 의미하는 것으로 해석된다.
전자 디바이스들, 그러한 디바이스들을 위한 사용자 인터페이스들, 및 그러한 디바이스들을 사용하기 위한 연관된 프로세스들의 실시예들이 기술된다. 일부 실시예들에서, 디바이스는 PDA 및/또는 음악 플레이어 기능들과 같은 다른 기능들을 또한 포함하는, 모바일 전화기와 같은, 휴대용 통신 디바이스이다. 휴대용 다기능 디바이스들의 예시적인 실시예들은 미국 캘리포니아주 쿠퍼티노 소재의 애플 사의 아이폰®, 아이팟 터치®, 및 아이패드® 디바이스들을 포함하지만, 이에 한정되지 않는다. 터치 감응형 표면들(예컨대, 터치 스크린 디스플레이들 및/또는 터치패드들)을 구비한 랩톱들 또는 태블릿 컴퓨터들과 같은 다른 휴대용 전자 디바이스들이, 옵션적으로, 사용된다. 일부 실시예들에서, 디바이스는 휴대용 통신 디바이스가 아니라, 터치 감응형 표면(예컨대, 터치 스크린 디스플레이 및/또는 터치패드)을 구비한 데스크톱 컴퓨터임이 또한 이해되어야 한다.
이하의 논의에서, 디스플레이 및 터치 감응형 표면을 포함하는 전자 디바이스가 기술된다. 그러나, 전자 디바이스가 옵션적으로 물리적 키보드, 마우스 및/또는 조이스틱과 같은 하나 이상의 다른 물리적 사용자 인터페이스 디바이스를 포함한다는 것이 이해되어야 한다.
디바이스는 전형적으로, 그리기 애플리케이션, 프레젠테이션 애플리케이션, 워드 프로세싱 애플리케이션, 웹사이트 제작 애플리케이션, 디스크 저작 애플리케이션, 스프레드시트 애플리케이션, 게임 애플리케이션, 전화 애플리케이션, 화상 회의 애플리케이션, 이메일 애플리케이션, 인스턴트 메시징 애플리케이션, 운동 지원 애플리케이션, 사진 관리 애플리케이션, 디지털 카메라 애플리케이션, 디지털 비디오 카메라 애플리케이션, 웹 브라우징 애플리케이션, 디지털 음악 플레이어 애플리케이션, 및/또는 디지털 비디오 플레이어 애플리케이션 중 하나 이상과 같은 다양한 애플리케이션들을 지원한다.
디바이스 상에서 실행되는 다양한 애플리케이션들은, 옵션적으로, 터치 감응형 표면과 같은 적어도 하나의 통상적인 물리적 사용자 인터페이스 디바이스를 사용한다. 터치 감응형 표면의 하나 이상의 기능뿐만 아니라 디바이스 상에 표시되는 대응하는 정보는, 옵션적으로, 하나의 애플리케이션으로부터 다음 애플리케이션으로 그리고/또는 각각의 애플리케이션 내에서 조정되고/되거나 변경된다. 이러한 방식으로, 디바이스의 (터치 감응형 표면과 같은) 통상적인 물리적 아키텍처는, 옵션적으로, 사용자에게 직관적이고 투명한 사용자 인터페이스들을 이용하여 다양한 애플리케이션들을 지원한다.
이제, 터치 감응형 디스플레이들을 구비한 휴대용 디바이스들의 실시예들에 주목한다. 도 1a는 일부 실시예들에 따른, 터치 감응형 디스플레이들(112)을 구비한 휴대용 다기능 디바이스(100)를 예시하는 블록도이다. 터치 감응형 디스플레이(112)는 때때로 편의상 "터치 스크린"이라고 지칭되고, 때때로 "터치 감응형 디스플레이 시스템"으로 알려지거나 지칭된다. 디바이스(100)는 메모리(102)(옵션적으로, 하나 이상의 컴퓨터 판독가능 저장 매체를 포함함), 메모리 제어기(122), 하나 이상의 처리 유닛(CPU)(120), 주변기기 인터페이스(118), RF 회로(108), 오디오 회로(110), 스피커(111), 마이크로폰(113), 입력/출력(I/O) 서브시스템(106), 다른 입력 또는 제어 디바이스들(116), 및 외부 포트(124)를 포함한다. 디바이스(100)는 옵션적으로 하나 이상의 광 센서(164)를 포함한다. 디바이스(100)는, 옵션적으로, 디바이스(100) 상의 접촉들의 세기를 검출하기 위한 하나 이상의 세기 센서(165)(예컨대, 디바이스(100)의 터치 감응형 디스플레이 시스템(112)과 같은 터치 감응형 표면)을 포함한다. 디바이스(100)는, 옵션적으로, 디바이스(100) 상에 촉각적 출력들을 생성하기 위한(예컨대, 디바이스(100)의 터치 감응형 디스플레이 시스템(112) 또는 디바이스(300)의 터치패드(355)와 같은 터치 감응형 표면 상에 촉각적 출력들을 생성하기 위한) 하나 이상의 촉각적 출력 생성기(167)를 포함한다. 이들 컴포넌트는 옵션적으로 하나 이상의 통신 버스 또는 신호 라인(103)을 통해 통신한다.
명세서 및 청구범위에서 사용되는 바와 같이, 터치 감응형 표면 상의 접촉의 "세기"라는 용어는 터치 감응형 표면 상의 접촉(예컨대, 손가락 접촉)의 힘 또는 압력(단위 면적 당 힘), 또는 터치 감응형 표면 상의 접촉의 힘 또는 압력에 대한 대체물(프록시(proxy))을 지칭한다. 접촉의 세기는, 적어도 4개의 별개의 값들을 포함하고 더 전형적으로는 수백 개(예컨대, 적어도 256개)의 별개의 값들을 포함하는 소정 범위의 값들을 갖는다. 접촉의 세기는, 옵션적으로, 다양한 접근법들 및 다양한 센서들 또는 센서들의 조합들을 사용하여 결정(또는 측정)된다. 예를 들어, 터치 감응형 표면 아래의 또는 그에 인접한 하나 이상의 힘 센서가, 옵션적으로, 터치 감응형 표면 상의 다양한 지점들에서 힘을 측정하는 데 사용된다. 일부 구현예들에서, 다수의 힘 센서들로부터의 힘 측정치들을 조합하여(예컨대, 가중 평균) 접촉의 추정되는 힘을 결정한다. 유사하게, 스타일러스의 압력 감응형 팁(tip)이, 옵션적으로, 터치 감응형 표면 상의 스타일러스의 압력을 결정하는 데 사용된다. 대안적으로, 터치 감응형 표면 상에서 검출된 접촉 면적의 크기 및/또는 그에 대한 변화들, 접촉 부근의 터치 감응형 표면의 정전용량 및/또는 그에 대한 변화들, 및/또는 접촉 부근의 터치 감응형 표면의 저항 및/또는 그에 대한 변화들은, 옵션적으로, 터치 감응형 표면 상의 접촉의 힘 또는 압력에 대한 대체물로서 사용된다. 일부 구현예들에서, 접촉 힘 또는 압력에 대한 대체 측정치들이 직접 사용되어, 세기 임계치가 초과되었는지 여부를 결정한다(예를 들어, 세기 임계치는 대체 측정치들에 대응하는 단위로 기술됨). 일부 구현예들에서, 접촉 힘 또는 압력에 대한 대체 측정치들은 추정된 힘 또는 압력으로 변환되고, 추정된 힘 또는 압력은 세기 임계치가 초과되었는지 여부를 결정하기 위해 이용된다(예컨대, 세기 임계치는 압력의 단위로 측정된 압력 임계치임). 사용자 입력의 속성으로서 접촉의 세기를 사용함으로써, 사용자는 그렇지 않았으면 어포던스(affordance)들을 (예컨대, 터치 감응형 디스플레이 상에) 표시하고/하거나 (예컨대, 터치 감응형 디스플레이, 터치 감응형 표면, 또는 노브(knob) 또는 버튼과 같은 물리적/기계적 제어부를 통해) 사용자 입력을 수신하기 위하여 한정된 실면적을 갖는 축소된 디바이스 상에서 사용자에 의해 액세스가 가능하지 않을 수 있는 부가적인 디바이스 기능에 액세스할 수 있다.
명세서 및 청구범위에 사용되는 바와 같이, "촉각적 출력"이라는 용어는 디바이스의 이전 위치에 대한 디바이스의 물리적 변위, 디바이스의 다른 컴포넌트(예컨대, 하우징)에 대한 디바이스의 컴포넌트(예컨대, 터치 감응형 표면)의 물리적 변위, 또는 사용자의 촉각을 이용하여 사용자에 의해 검출될 디바이스의 질량 중심에 대한 컴포넌트의 변위를 지칭한다. 예를 들어, 디바이스 또는 디바이스의 컴포넌트가 터치에 감응하는 사용자의 표면(예컨대, 손가락, 손바닥, 또는 사용자의 손의 다른 부위)과 접촉하는 상황에서, 물리적 변위에 의해 생성된 촉각적 출력은 사용자에 의해 디바이스 또는 디바이스의 컴포넌트의 물리적 특성들의 인지된 변화에 대응하는 촉감(tactile sensation)으로서 해석될 것이다. 예를 들어, 터치 감응형 표면(예컨대, 터치 감응형 디스플레이 또는 트랙패드)의 이동은, 옵션적으로, 사용자에 의해 물리적 액추에이터 버튼의 "다운 클릭(down click)" 또는 "업 클릭(up click)"으로서 해석된다. 일부 경우들에서, 사용자는 사용자의 이동에 의해 물리적으로 눌리는(예를 들면, 변위되는) 터치 감응형 표면과 연관된 물리적 액추에이터 버튼의 이동이 없는 경우에도 "다운 클릭" 또는 "업 클릭"과 같은 촉감을 느낄 것이다. 다른 예로서, 터치 감응형 표면의 이동은, 옵션적으로, 터치 감응형 표면의 평탄성의 변화가 없는 경우에도 터치 감응형 표면의 "거칠기(roughness)"로서 사용자에 의해 해석되거나 감지된다. 사용자에 의한 터치의 그러한 해석은 사용자의 개별화된 감각 인지(sensory perception)들에 영향을 받기 쉬울 것이지만, 대다수의 사용자들에게 공통적인 많은 터치 감각 인지들이 존재한다. 따라서, 촉각적 출력이 사용자의 특정 감각 인지(예를 들어, "업 클릭", "다운 클릭", "거칠기")에 대응하는 것으로서 설명될 때, 달리 언급되지 않는 한, 생성된 촉각적 출력은 전형적인(또는 평균적인) 사용자에 대한 설명된 감각 인지를 생성할 디바이스 또는 그의 컴포넌트의 물리적 변위에 대응한다.
디바이스(100)는 휴대용 다기능 디바이스의 일례일 뿐이고 디바이스(100)는, 옵션적으로, 도시된 것보다 더 많거나 더 적은 컴포넌트들을 갖거나, 옵션적으로, 2개 이상의 컴포넌트를 조합하거나, 옵션적으로, 컴포넌트들의 상이한 구성 또는 배열을 갖는다는 것이 인식되어야 한다. 도 1a에 도시된 다양한 컴포넌트들은 하나 이상의 신호 처리 및/또는 주문형 집적 회로(application specific integrated circuit)들을 비롯한, 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어 둘 모두의 조합으로 구현된다.
메모리(102)는, 옵션적으로, 고속 랜덤 액세스 메모리를 포함하고, 또한 옵션적으로, 하나 이상의 자기 디스크 저장 디바이스, 플래시 메모리 디바이스, 또는 다른 비휘발성 솔리드 스테이트 메모리 디바이스(non-volatile solid-state memory device)와 같은 비휘발성 메모리를 포함한다. CPU(120) 및 주변기기 인터페이스(118)와 같은, 디바이스(100)의 다른 컴포넌트들에 의한 메모리(102)에의 액세스는 옵션적으로 메모리 제어기(122)에 의해 제어된다.
주변기기 인터페이스(118)는 디바이스의 입력 및 출력 주변기기들을 CPU(120) 및 메모리(102)에 결합하는 데 사용될 수 있다. 하나 이상의 프로세서(120)는 디바이스(100)를 위한 다양한 기능들을 수행하고 데이터를 처리하기 위해 메모리(102)에 저장된 다양한 소프트웨어 프로그램들 및/또는 명령어들의 세트들을 구동하거나 실행시킨다.
일부 실시예들에서, 주변기기 인터페이스(118), CPU(120) 및 메모리 제어기(122)는, 옵션적으로, 칩(104)과 같은 단일 칩 상에서 구현된다. 일부 다른 실시예들에서, 이들은 옵션적으로 별개의 칩들 상에서 구현된다.
RF(radio frequency) 회로(108)는 전자기 신호들이라고도 지칭되는 RF 신호들을 수신 및 전송한다. RF 회로(108)는 전기 신호들을 전자기 신호들로/로부터 변환하고, 전자기 신호들을 통해 통신 네트워크들 및 다른 통신 디바이스들과 통신한다. RF 회로(108)는, 옵션적으로, 안테나 시스템, RF 송수신기, 하나 이상의 증폭기, 튜너, 하나 이상의 발진기, 디지털 신호 프로세서, CODEC 칩셋, 가입자 식별 모듈(subscriber identity module; SIM) 카드, 메모리 등을 포함하지만 이들로 한정되지 않는, 이러한 기능들을 수행하기 위한 잘 알려진 회로를 포함한다. RF 회로(108)는, 옵션적으로, 네트워크들, 예를 들면 월드 와이드 웹(WWW)으로도 지칭되는 인터넷, 인트라넷, 및/또는 무선 네트워크, 예컨대 셀룰러 전화 네트워크, 무선 근거리 통신망(local area network; LAN) 및/또는 대도시 통신망(metropolitan area network; MAN), 및 다른 디바이스들과 무선 통신에 의해 통신한다. 무선 통신은, 옵션적으로, GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), HSDPA(high-speed downlink packet access), HSUPA(high-speed uplink packet access), EV-DO(Evolution, Data-Only), HSPA, HSPA+, DC-HSPDA(Dual-Cell HSPA), LTE(long term evolution), NFC(near field communication), W-CDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스, Wi-Fi(Wireless Fidelity)(예를 들어, IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n)를 포함하지만 이들로 한정되지 않는 복수의 통신 표준, 프로토콜 및 기술 중 임의의 것을 사용하며, 오디오 회로(110), 스피커(111), 및 마이크로폰(113)은 사용자와 디바이스(100) 사이의 오디오 인터페이스를 제공한다. 오디오 회로(110)는 주변기기 인터페이스(118)로부터 오디오 데이터를 수신하고, 오디오 데이터를 전기 신호로 변환하고, 전기 신호를 스피커(111)로 전송한다. 스피커(111)는 전기 신호를 사람이 들을 수 있는 음파로 변환한다. 오디오 회로(110)는 또한 음파로부터 마이크로폰(113)에 의해 변환된 전기 신호를 수신한다. 오디오 회로(110)는 전기 신호를 오디오 데이터로 변환하고, 처리를 위해 오디오 데이터를 주변기기 인터페이스(118)로 전송한다. 오디오 데이터는, 옵션적으로, 주변기기 인터페이스(118)에 의해 메모리(102) 및/또는 RF 회로(108)로부터 검색되고/되거나 메모리(102) 및/또는 RF 회로(108)로 전송된다. 일부 실시예들에서, 오디오 회로(110)는 또한 헤드셋 잭(예를 들면, 도 2의 212)을 포함한다. 헤드셋 잭은 출력-전용 헤드폰들, 또는 출력(예컨대, 한쪽 또는 양쪽 귀용 헤드폰) 및 입력(예컨대, 마이크로폰) 양측 모두를 갖는 헤드셋과 같은 분리가능한 오디오 입/출력 주변기기들과 오디오 회로(110) 사이의 인터페이스를 제공한다.
I/O 서브시스템(106)은 터치 스크린(112) 및 다른 입력 제어 디바이스들(116)과 같은, 디바이스(100) 상의 입출력 주변기기들을 주변기기 인터페이스(118)에 결합한다. I/O 서브시스템(106)은, 옵션적으로, 디스플레이 제어기(156), 광 센서 제어기(158), 세기 센서 제어기(159), 햅틱 피드백 제어기(161) 및 다른 입력 또는 제어 디바이스들을 위한 하나 이상의 입력 제어기(160)를 포함한다. 하나 이상의 입력 제어기(160)는 다른 입력 또는 제어 디바이스들(116)로부터/로 전기 신호들을 수신/전송한다. 다른 입력 제어 디바이스들(116)은, 옵션적으로, 물리적 버튼들(예컨대, 푸시 버튼(push button), 로커 버튼(rocker button) 등), 다이얼, 슬라이더 스위치, 조이스틱, 클릭 휠 등을 포함한다. 일부 대안적인 실시예들에서, 입력 제어기(들)(160)는, 옵션적으로, 키보드, 적외선 포트, USB 포트, 및 마우스와 같은 포인터 디바이스 중 임의의 것에 결합된다(또는 어떤 것에도 결합되지 않는다). 하나 이상의 버튼(예를 들면, 도 2의 208)은 옵션적으로 스피커(111) 및/또는 마이크로폰(113)의 음량 제어를 위한 업/다운 버튼을 포함한다. 하나 이상의 버튼은 옵션적으로 푸시 버튼(예를 들면, 도 2의 206)을 포함한다.
터치 감응형 디스플레이(112)는 디바이스와 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 제공한다. 디스플레이 제어기(156)는 터치 스크린(112)으로부터/으로 전기 신호들을 수신 및/또는 전송한다. 터치 스크린(112)은 사용자에게 시각적 출력을 표시한다. 시각적 출력은 옵션적으로 그래픽, 텍스트, 아이콘들, 비디오 및 이들의 임의의 조합(총칭하여 "그래픽"으로 지칭함)을 포함한다. 일부 실시예들에서, 시각적 출력의 일부 또는 전부는 사용자 인터페이스 객체들에 대응한다.
터치 스크린(112)은 햅틱 및/또는 촉각적 접촉에 기초하여 사용자로부터의 입력을 수신하는 터치 감응형 표면, 센서 또는 센서들의 세트를 갖는다. 터치 스크린(112) 및 디스플레이 제어기(156)는 (메모리(102) 내의 임의의 연관된 모듈들 및/또는 명령어들의 세트들과 함께) 터치 스크린(112) 상의 접촉(및 접촉의 임의의 이동 또는 중단)을 검출하고, 검출된 접촉을 터치 스크린(112) 상에 표시되는 사용자 인터페이스 객체들(예컨대, 하나 이상의 소프트 키, 아이콘, 웹 페이지 또는 이미지)과의 상호작용으로 변환한다. 예시적인 실시예에서, 터치 스크린(112)과 사용자 사이의 접촉 지점은 사용자의 손가락에 대응한다.
터치 스크린(112)은, 옵션적으로, LCD(액정 디스플레이) 기술, LPD(발광 중합체 디스플레이) 기술, 또는 LED(발광 다이오드) 기술을 이용하지만, 일부 실시예들에서는 다른 디스플레이 기술들이 사용된다. 터치 스크린(112) 및 디스플레이 제어기(156)는, 옵션적으로, 용량성, 저항성, 적외선 및 표면탄성파 기술들뿐만 아니라 다른 근접 센서 어레이들, 또는 터치 스크린(112)과의 하나 이상의 접촉 지점을 결정하기 위한 다른 요소들을 포함하지만, 이들로 한정되지 않는, 현재 알려져 있거나 추후에 개발되는 복수의 터치 감지 기술 중 임의의 것을 이용하여, 접촉 및 그의 임의의 이동 또는 중단을 검출한다. 예시적인 실시예에서, 미국 캘리포니아주 쿠퍼티노 소재의 애플 사의, 아이폰®, 및 아이팟 터치®, 및 아이패드®에서 발견되는 것과 같은 투영형 상호 정전용량식 감지 기술(projected mutual capacitance sensing technology)이 이용된다.
터치 스크린(112)은, 옵션적으로, 100 dpi를 초과하는 비디오 해상도를 갖는다. 일부 실시예들에서, 터치 스크린은 대략 160 dpi의 비디오 해상도를 갖는다. 사용자는, 옵션적으로, 스타일러스, 손가락 등과 같은 임의의 적합한 물체 또는 부속물을 이용하여 터치 스크린(112)과 접촉한다. 일부 실시예들에서, 사용자 인터페이스는 주로 손가락 기반 접촉들 및 제스처들을 이용하여 작업하도록 설계되는데, 이는 터치 스크린 상에서의 손가락의 더 넓은 접촉 면적으로 인해 스타일러스 기반 입력보다 덜 정밀할 수 있다. 일부 실시예들에서, 디바이스는 대략적인 손가락 기반 입력을 사용자가 원하는 행동들을 수행하기 위한 정밀한 포인터/커서 위치 또는 커맨드로 변환한다.
일부 실시예들에서, 터치 스크린 외에도, 디바이스(100)는, 옵션적으로, 특정 기능들을 활성화 또는 비활성화하기 위한 터치패드(도시되지 않음)를 포함한다. 일부 실시예들에서, 터치패드는, 터치 스크린과는 다르게, 시각적 출력을 표시하지 않는 디바이스의 터치 감응형 영역이다. 터치패드는, 옵션적으로, 터치 스크린(112)과는 별개인 터치 감응형 표면 또는 터치 스크린에 의해 형성된 터치 감응형 표면의 연장부이다.
디바이스(100)는 또한 다양한 컴포넌트들에 전력을 공급하기 위한 전력 시스템(162)을 포함한다. 전력 시스템(162)은, 옵션적으로, 전력 관리 시스템, 하나 이상의 전원(예컨대, 배터리, 교류 전류(alternating current; AC)), 재충전 시스템, 전력 고장 검출 회로, 전력 변환기 또는 인버터, 전력 상태 표시자(예컨대, 발광 다이오드(LED)), 및 휴대용 디바이스들 내에서의 전력의 생성, 관리 및 분배와 연관된 임의의 다른 컴포넌트들을 포함한다.
디바이스(100)는 또한 옵션적으로 하나 이상의 광 센서(164)를 포함한다. 도 1a는 I/O 서브시스템(106) 내의 광 센서 제어기(158)에 결합된 광 센서를 도시한다. 광 센서(164)는 옵션적으로 CCD(charge-coupled device) 또는 CMOS(complementary metal-oxide semiconductor) 포토트랜지스터들을 포함한다. 광 센서(164)는 하나 이상의 렌즈를 통해 투영되는, 환경으로부터의 광을 수신하고, 그 광을 이미지를 나타내는 데이터로 변환한다. 이미징 모듈(143)(카메라 모듈로도 지칭됨)과 함께, 광 센서(164)는 옵션적으로 정지 이미지들 또는 비디오를 캡처한다. 일부 실시예들에서, 광 센서는 디바이스 전면 상의 터치 스크린 디스플레이(112)의 반대편인 디바이스(100)의 배면 상에 위치되어, 터치 스크린 디스플레이가 정지 및/또는 비디오 이미지 획득을 위한 뷰파인더로서 사용될 수 있게 된다. 일부 실시예들에서, 다른 광 센서가 디바이스의 전면 상에 위치되어, 사용자가 터치 스크린 디스플레이 상에서 다른 화상 회의 참가자들을 보는 동안, 사용자의 이미지가 선택적으로 화상 회의를 위해 획득되게 한다.
디바이스(100)는 또한 옵션적으로 하나 이상의 접촉 세기 센서(165)를 포함한다. 도 1a는 I/O 서브시스템(106) 내의 세기 센서 제어기(159)에 결합된 접촉 세기 센서를 도시한다. 접촉 세기 센서(165)는, 옵션적으로, 하나 이상의 압전 저항 스트레인 게이지, 용량성 힘 센서, 전기적 힘 센서, 압전 힘 센서, 광학적 힘 센서, 용량성 터치 감응형 표면, 또는 다른 세기 센서들(예컨대, 터치 감응형 표면 상의 접촉의 힘(또는 압력)을 측정하는 데 사용되는 센서들)을 포함한다. 접촉 세기 센서(165)는 환경으로부터 접촉 세기 정보(예컨대, 압력 정보 또는 압력 정보에 대한 프록시)를 수신한다. 일부 실시예들에서, 적어도 하나의 접촉 세기 센서는 터치 감응형 표면(예컨대, 터치 감응형 디스플레이 시스템(112))과 함께 위치되거나 그에 근접한다. 일부 실시예들에서, 적어도 하나의 접촉 세기 센서가 디바이스(100)의 전면 상에 위치된 터치 스크린 디스플레이(112)의 반대편인 디바이스(100)의 배면 상에 위치된다.
디바이스(100)는 또한 옵션적으로 하나 이상의 근접 센서(166)를 포함한다. 도 1a는 주변기기 인터페이스(118)에 결합된 근접 센서(166)를 도시한다. 대안적으로, 근접 센서(166)는 I/O 서브시스템(106) 내의 입력 제어기(160)에 결합된다. 일부 실시예들에서, 근접 센서는 다기능 디바이스가 사용자의 귀 근처에 위치될 때(예를 들면, 사용자가 전화 통화를 하고 있을 때), 터치 스크린(112)을 끄고 디스에이블시킨다.
디바이스(100)는 또한 옵션적으로, 하나 이상의 촉각적 출력 생성기(167)를 포함한다. 도 1a는 I/O 서브시스템(106) 내의 햅틱 피드백 제어기(161)에 결합된 촉각적 출력 생성기를 도시한다. 촉각적 출력 생성기(167)는, 옵션적으로, 스피커들 또는 다른 오디오 컴포넌트들과 같은 하나 이상의 전자음향 디바이스 및/또는 모터, 솔레노이드, 전기활성 중합체, 압전 액추에이터, 정전 액추에이터, 또는 다른 촉각적 출력 생성 컴포넌트(예컨대, 전기 신호들을 디바이스 상의 촉각적 출력들로 변환하는 컴포넌트)와 같이, 에너지를 선형 모션(linear motion)으로 변환하는 전자기계 디바이스들을 포함한다. 접촉 세기 센서(165)는 햅틱 피드백 모듈(133)로부터 촉각적 피드백 생성 명령어들을 수신하여 디바이스(100)의 사용자에 의해 감지될 수 있는 디바이스(100) 상의 촉각적 출력들을 생성한다. 일부 실시예들에서, 적어도 하나의 촉각적 출력 생성기는 터치 감응형 표면(예컨대, 터치 감응형 디스플레이 시스템(112))과 함께 위치되거나 그에 근접하며, 옵션적으로, 터치 감응형 표면을 수직으로(예컨대, 디바이스(100)의 표면 내/외로) 또는 측방향으로(예컨대, 디바이스(100)의 표면과 동일한 평면에서 전후로) 이동시킴으로써 촉각적 출력을 생성한다. 일부 실시예들에서, 적어도 하나의 촉각적 출력 생성기 센서가 디바이스(100)의 전면 상에 위치된 터치 스크린 디스플레이(112)의 반대편인 디바이스(100)의 배면 상에 위치된다.
디바이스(100)는 또한 옵션적으로, 하나 이상의 가속도계(168)를 포함한다. 도 1a는 주변기기 인터페이스(118)에 결합된 가속도계(168)를 도시한다. 대안적으로, 가속도계(168)는, 옵션적으로, I/O 서브시스템(106) 내의 입력 제어기(160)에 결합된다. 일부 실시예들에서, 하나 이상의 가속도계로부터 수신된 데이터의 분석에 기초하여 터치 스크린 디스플레이 상에 세로보기(portrait view) 또는 가로보기(landscape view)로 정보가 표시된다. 디바이스(100)는, 옵션적으로, 가속도계(들)(168) 외에도, 자력계(도시되지 않음), 및 디바이스(100)의 위치 및 배향(예컨대, 세로 또는 가로)에 관한 정보를 획득하기 위한 GPS(또는 GLONASS 또는 다른 글로벌 내비게이션 시스템) 수신기(도시되지 않음)를 포함하며, 이는 참조 문헌으로서 그 전문이 편입되는, 2008년 1월 4일자로 출원된 미국 특허 출원 제11/969,800호에 기술된 바와 같다.
일부 실시예들에서, 메모리(102)에 저장된 소프트웨어 컴포넌트들은 운영 체제(126), 통신 모듈(또는 명령어들의 세트)(128), 접촉/모션 모듈(또는 명령어들의 세트)(130), 그래픽 모듈(또는 명령어들의 세트)(132), 텍스트 입력 모듈(또는 명령어들의 세트)(134), GPS(Global Positioning System) 모듈(또는 명령어들의 세트)(135), 및 애플리케이션들(또는 명령어들의 세트들)(136)을 포함한다. 게다가, 일부 실시예들에서, 메모리(102)는 도 IA 및 도 3에 도시된 바와 같이 디바이스/전역 내부 상태(157)를 저장한다. 디바이스/전역 내부 상태(157)는 애플리케이션들(있는 경우)이 현재 활성이라는 것을 나타내는 활성 애플리케이션 상태; 어떤 애플리케이션들, 뷰(view)들 또는 다른 정보가 터치 스크린 디스플레이(112)의 다양한 영역들을 점유하는지를 나타내는 디스플레이 상태; 디바이스의 다양한 센서들 및 입력 제어 디바이스들(116)로부터 획득된 정보를 포함하는 센서 상태; 및 디바이스의 위치 및/또는 자세에 관한 위치 정보 중 하나 이상을 포함한다.
운영 체제(126)(예컨대, 다윈(Darwin), RTXC, 리눅스(LINUX), 유닉스(UNIX), OS X, 윈도우(WINDOWS), 또는 VxWorks와 같은 내장형 운영 체제)는 일반적인 시스템 태스크들(예컨대, 메모리 관리, 저장 디바이스 제어, 전력 관리 등)을 제어 및 관리하기 위한 다양한 소프트웨어 컴포넌트들 및/또는 드라이버들을 포함하고, 다양한 하드웨어 및 소프트웨어 컴포넌트들 사이의 통신을 가능하게 한다.
통신 모듈(128)은 하나 이상의 외부 포트(124)를 통한 다른 디바이스들과의 통신을 가능하게 하고, 또한 RF 회로(108) 및/또는 외부 포트(124)에 의해 수신된 데이터를 처리하기 위한 다양한 소프트웨어 컴포넌트들을 포함한다. 외부 포트(124)(예컨대, 범용 직렬 버스(Universal Serial Bus; USB), 파이어와이어(FIREWIRE) 등)는 다른 디바이스들에 직접적으로 또는 네트워크(예컨대, 인터넷, 무선 LAN 등)를 통해 간접적으로 결합하도록 구성된다. 일부 실시예들에서, 외부 포트는 아이팟(애플 사의 상표) 디바이스들에서 사용되는 30-핀 커넥터와 동일하거나 유사하고 그리고/또는 이와 호환가능한 멀티-핀(예컨대, 30-핀) 커넥터이다.
접촉/모션 모듈(130)은 옵션적으로 (디스플레이 제어기(156)와 함께) 터치 스크린(112), 및 다른 터치 감응형 디바이스들(예컨대, 터치패드 또는 물리적 클릭 휠)과의 접촉을 검출한다. 접촉/모션 모듈(130)은 접촉이 발생했는지 결정하는 것(예컨대, 손가락-다운 이벤트를 검출하는 것), 접촉의 세기(예컨대, 접촉의 힘 또는 압력, 또는 접촉의 힘 또는 압력에 대한 대체물)를 결정하는 것, 접촉의 이동이 있는지 결정하고 터치 감응형 표면을 가로지르는 이동을 추적하는 것(예컨대, 하나 이상의 손가락-드래그(finger-drag) 이벤트를 검출하는 것), 및 접촉이 중단되었는지 결정하는 것(예컨대, 손가락-업 이벤트 또는 접촉 중단을 검출하는 것)과 같은, 접촉의 검출에 관련된 다양한 동작들을 수행하기 위한 다양한 소프트웨어 컴포넌트들을 포함한다. 접촉/모션 모듈(130)은 터치 감응형 표면으로부터 접촉 데이터를 수신한다. 일련의 접촉 데이터에 의해 표현되는 접촉 지점의 이동을 결정하는 것은 옵션적으로, 접촉 지점의 속력(크기), 속도(크기 및 방향), 및/또는 가속도(크기 및/또는 방향의 변화)를 결정하는 것을 포함한다. 이 동작들은, 옵션적으로, 단일 접촉들(예컨대, 한 손가락 접촉들)에 또는 다수의 동시 접촉들(예컨대, "멀티터치"/다수의 손가락 접촉들)에 적용된다. 일부 실시예들에서, 접촉/모션 모듈(130) 및 디스플레이 제어기(156)는 터치패드 상의 접촉을 검출한다.
일부 실시예들에서, 접촉/모션 모듈(130)은 동작이 사용자에 의해 수행되었는지 여부를 결정하기 위해(예컨대, 사용자가 아이콘을 "클릭"했는지 여부를 결정하기 위해) 하나 이상의 세기 임계치의 세트를 이용한다. 일부 실시예들에서, 세기 임계치들의 적어도 서브세트가 소프트웨어 파라미터들에 따라 결정된다(예컨대, 세기 임계치들은 특정 물리적 액추에이터들의 활성화 임계치들에 의해 결정되지 않으며, 디바이스(100)의 물리적 하드웨어를 변경함이 없이 조정될 수 있다). 예를 들어, 트랙패드 또는 터치 스크린 디스플레이의 마우스 "클릭" 임계치는 트랙패드 또는 터치 스크린 디스플레이 하드웨어를 변경하지 않고서 큰 범위의 미리정의된 임계 값들 중 임의의 것으로 설정될 수 있다. 추가적으로, 일부 구현예들에서, 디바이스의 사용자에게는 (예를 들어, 개별 세기 임계치들을 조정함으로써 그리고/또는 시스템-레벨 클릭 "세기" 파라미터로 복수의 세기 임계치를 한번에 조정함으로써) 세기 임계치들의 세트 중 하나 이상을 조정하기 위한 소프트웨어 설정들이 제공된다.
명세서 및 청구범위에서 사용되는 바와 같이, 접촉의 "특성 세기(characteristic intensity)"라는 용어는 접촉의 하나 이상의 세기에 기초한 접촉의 특성을 지칭한다. 일부 실시예들에서, 특성 세기는 다수의 세기 샘플들에 기초한다. 특성 세기는, 옵션적으로, 미리정의된 수의 세기 샘플들, 또는 미리정의된 이벤트에 대해(예컨대, 접촉을 검출한 후, 접촉의 리프트오프를 검출하기 이전, 접촉의 이동의 시작을 검출하기 이전 또는 이후, 접촉의 종료를 검출하기 이전, 접촉의 세기의 증가를 검출하기 이전 또는 이후, 그리고/또는 접촉의 세기의 감소를 검출하기 이전 또는 이후) 미리결정된 기간(예컨대, 0.05, 0.1, 0.2, 0.5, 1, 2, 5, 10초) 동안 수집된 세기 샘플들의 세트에 기초한다. 접촉의 특성 세기는, 옵션적으로, 접촉의 세기들의 최댓값, 접촉의 세기들의 중간값(mean value), 접촉의 세기들의 평균값(average value), 접촉의 세기들의 상위 10 백분위 값(top 10 percentile value), 접촉의 세기들의 최댓값의 절반의 값, 접촉의 세기들의 최댓값의 90 퍼센트의 값 등 중 하나 이상에 기초한다. 일부 실시예들에서, 접촉의 지속시간은 (예컨대, 특성 세기가 시간에 걸친 접촉의 세기의 평균일 때) 특성 세기를 결정하는 데 사용된다. 일부 실시예들에서, 동작이 사용자에 의해 수행되었는지 여부를 결정하기 위해, 특성 세기가 하나 이상의 세기 임계치의 세트와 비교된다. 예를 들어, 하나 이상의 세기 임계치의 세트는 제1 세기 임계치 및 제2 세기 임계치를 포함할 수 있다. 이 예에서, 제1 임계치를 초과하지 않는 특성 세기를 갖는 접촉의 결과, 제1 동작이 행해지고, 제1 세기 임계치를 초과하지만 제2 세기 임계치를 초과하지 않는 특성 세기를 갖는 접촉의 결과, 제2 동작이 행해지며, 제3 임계치를 초과하는 특성 세기를 갖는 접촉의 결과, 제3 동작이 행해진다. 일부 실시예들에서, 특성 세기와 하나 이상의 임계치 간의 비교는, 제1 동작 또는 제2 동작을 수행할지를 결정하기 위해 사용되기보다는, 하나 이상의 동작을 수행할지 여부(예컨대, 각각의 옵션을 수행할지 각각의 동작을 수행하는 것을 보류할지(forgo))를 결정하기 위해 사용된다.
일부 실시예들에서, 특성 세기를 결정하기 위해 제스처의 일부분이 식별된다. 예를 들어, 터치 감응형 표면은 시작 위치로부터 이동하여 종료 위치(이 지점에서 접촉의 세기가 증가함)에 도달하는 연속적인 스와이프 접촉을 수신할 수 있다. 이 예에서, 종료 위치에서의 접촉의 특성 세기는 스와이프 접촉 전체가 아니라 연속적인 스와이프 접촉의 일부분에만(예컨대, 종료 위치에서의 스와이프 접촉의 부분에만) 기초할 수 있다. 일부 실시예들에서, 접촉의 특성 세기를 결정하기 전에 스와이프 접촉의 세기들에 평활화 알고리즘이 적용될 수 있다. 예를 들어, 평활화 알고리즘은, 옵션적으로, 비가중 이동 평균(unweighted sliding-average) 평활화 알고리즘, 삼각(triangular) 평활화 알고리즘, 메디안 필터(median filter) 평활화 알고리즘, 및/또는 지수(exponential) 평활화 알고리즘 중 하나 이상을 포함한다. 일부 상황들에서, 이 평활화 알고리즘들은 특성 세기를 결정하기 위해 스와이프 접촉의 세기들에서의 좁은 급등(spike)들 또는 급감(dip)들을 제거한다.
접촉/모션 모듈(130)은, 옵션적으로, 사용자에 의한 제스처 입력을 검출한다. 터치 감응형 표면 상의 상이한 제스처들은 상이한 접촉 패턴들(예를 들어, 상이한 모션, 타이밍, 및/또는 검출된 접촉들의 세기)을 갖는다. 따라서, 제스처는 옵션적으로 특정 접촉 패턴을 검출함으로써 검출된다. 예를 들면, 손가락 탭 제스처(finger tap gesture)를 검출하는 것은 손가락-다운 이벤트를 검출한 다음에 손가락-다운 이벤트와 동일한 위치(또는 실질적으로 동일한 위치)(예컨대, 아이콘의 위치)에서 손가락-업(리프트오프(lift off)) 이벤트를 검출하는 것을 포함한다. 다른 예로서, 터치 감응형 표면 상에서 손가락 스와이프 제스처(swipe gesture)를 검출하는 것은 손가락-다운 이벤트를 검출한 다음에 하나 이상의 손가락-드래그 이벤트를 검출하고, 그에 후속하여 손가락-업(리프트오프) 이벤트를 검출하는 것을 포함한다.
그래픽 모듈(132)은 표시되는 그래픽의 시각적 효과(예컨대, 밝기, 투명도, 채도, 콘트라스트 또는 다른 시각적 속성)를 변경하기 위한 컴포넌트들을 포함하는, 터치 스크린(112) 또는 다른 디스플레이 상에서 그래픽을 렌더링 및 표시하기 위한 다양한 공지된 소프트웨어 컴포넌트들을 포함한다. 본 명세서에서 사용되는 바와 같이, "그래픽"이라는 용어는, 텍스트, 웹페이지들, 아이콘들(예컨대, 소프트 키들을 포함하는 사용자 인터페이스 객체들), 디지털 이미지들, 비디오들, 애니메이션들 등을 제한 없이 포함하는, 사용자에게 표시될 수 있는 임의의 객체를 포함한다.
일부 실시예들에서, 그래픽 모듈(132)은 사용될 그래픽을 나타내는 데이터를 저장한다. 각각의 그래픽에는 옵션적으로 대응하는 코드가 할당된다. 그래픽 모듈(132)은, 필요하다면, 좌표 데이터 및 다른 그래픽 속성 데이터와 함께 표시될 그래픽을 특정하는 하나 이상의 코드를 애플리케이션들 등으로부터 수신하며, 이어서 스크린 이미지 데이터를 생성하여 디스플레이 제어기(156)로 출력한다.
햅틱 피드백 모듈(133)은 디바이스(100)와의 사용자 상호작용들에 응답하여 디바이스(100) 상의 하나 이상의 위치에서 촉각적 출력들을 생성하기 위하여 촉각적 출력 생성기(들)(167)에 의해 이용되는 명령어들을 생성하기 위한 다양한 소프트웨어 컴포넌트들을 포함한다.
옵션적으로, 그래픽 모듈(132)의 컴포넌트인 텍스트 입력 모듈(134)은 다양한 애플리케이션들(예컨대, 연락처(137), 이메일(140), IM(141), 브라우저(147), 및 텍스트 입력을 필요로 하는 임의의 다른 애플리케이션)에 텍스트를 입력하기 위한 소프트 키보드들을 제공한다.
GPS 모듈(135)은 디바이스의 위치를 결정하고, 이 정보를 다양한 애플리케이션들에서의 사용을 위해 (예컨대, 위치 기반 다이얼링에서 사용하기 위해 전화(138)에, 사진/비디오 메타데이터로서 카메라(143)에, 그리고 날씨 위젯들, 지역 옐로우 페이지 위젯들 및 지도/내비게이션 위젯들과 같은 위치 기반 서비스들을 제공하는 애플리케이션들에) 제공한다.
애플리케이션들(136)은, 옵션적으로, 하기의 모듈들(또는 명령어들의 세트들), 또는 이들의 서브세트 또는 수퍼세트(superset)를 포함한다:
Figure pat00001
연락처 모듈(137)(때때로 주소록 또는 연락처 목록이라고 지칭됨);
Figure pat00002
전화 모듈(138);
Figure pat00003
화상 회의 모듈(139);
Figure pat00004
이-메일 클라이언트 모듈(140);
Figure pat00005
인스턴트 메시징(IM) 모듈(141);
Figure pat00006
운동 지원 모듈(142);
Figure pat00007
정지 및/또는 비디오 이미지들을 위한 카메라 모듈(143);
Figure pat00008
이미지 관리 모듈(144);
Figure pat00009
브라우저 모듈(147);
Figure pat00010
캘린더 모듈(148);
Figure pat00011
옵션적으로 날씨 위젯(149-1), 주식 위젯(149-2), 계산기 위젯(149-3), 알람 시계 위젯(149-4), 사전 위젯(149-5), 및 사용자에 의해 획득되는 다른 위젯들뿐만 아니라, 사용자-생성 위젯들(149-6) 중 하나 이상을 포함하는 위젯 모듈들(149);
Figure pat00012
사용자-생성 위젯들(149-6)을 만들기 위한 위젯 생성기 모듈(150);
Figure pat00013
검색 모듈(151);
Figure pat00014
옵션적으로 비디오 플레이어 모듈 및 음악 플레이어 모듈로 구성된 비디오 및 음악 플레이어 모듈(152);
Figure pat00015
메모 모듈(153);
Figure pat00016
지도 모듈(154); 및/또는
Figure pat00017
온라인 비디오 모듈(155).
옵션적으로 메모리(102)에 저장되는 다른 애플리케이션들(136)의 예들은 다른 워드 프로세싱 애플리케이션들, 다른 이미지 편집 애플리케이션들, 그리기 애플리케이션들, 프레젠테이션 애플리케이션들, JAVA-작동식 애플리케이션들, 암호화, 디지털 권한 관리, 음성 인식 및 음성 복제를 포함한다.
터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 연락처 모듈(137)은, 옵션적으로, 주소록에 이름(들)을 추가하는 것; 주소록으로부터 이름(들)을 삭제하는 것; 전화번호(들), 이메일 주소(들), 물리적 주소(들) 또는 기타 정보를 이름과 연관시키는 것; 이미지를 이름과 연관시키는 것; 이름들을 분류 및 구분하는 것; 전화(138), 화상 회의(139), 이메일(140) 또는 IM(141)에 의한 통신을 개시하고/하거나 가능하게 하기 위해 전화번호들 또는 이메일 주소들을 제공하는 것 등을 포함하는, 주소록 또는 연락처 목록(예컨대, 메모리(102) 또는 메모리(370) 내의 연락처 모듈(137)의 애플리케이션 내부 상태(192)에 저장됨)을 관리하는 데 사용된다.
RF 회로(108), 오디오 회로(110), 스피커(111), 마이크로폰(113), 터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 및 텍스트 입력 모듈(134)과 함께, 전화 모듈(138)은, 옵션적으로, 전화번호에 대응하는 문자들의 시퀀스를 입력하고, 주소록(137) 내의 하나 이상의 전화번호에 액세스하고, 입력된 전화번호를 수정하고, 각각의 전화번호를 다이얼링하고, 대화를 하고, 대화가 완료될 때 연결해제하거나 끊는 데 사용된다. 전술한 바와 같이, 무선 통신은 옵션적으로 복수의 통신 표준, 프로토콜 및 기술 중 임의의 것을 사용한다.
RF 회로(108), 오디오 회로(110), 스피커(111), 마이크로폰(113), 터치 스크린(112), 디스플레이 제어기(156), 광 센서(164), 광 센서 제어기(158), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), 연락처 목록(137) 및 전화 모듈(138)과 함께, 화상 회의 모듈(139)은 사용자 지시들에 따라 사용자와 한 명 이상의 다른 참여자들 사이의 화상 회의를 개시, 시행 및 종료하도록 하는 실행가능한 명령어들을 포함한다.
RF 회로(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 이메일 클라이언트 모듈(140)은 사용자 지시들에 응답하여 이메일을 작성, 전송, 수신, 및 관리하도록 하는 실행가능한 명령어들을 포함한다. 이미지 관리 모듈(144)과 함께, 이메일 클라이언트 모듈(140)은 카메라 모듈(143)로 촬영된 정지 또는 비디오 이미지들을 갖는 이메일들을 작성 및 전송하는 것을 매우 용이하게 한다.
RF 회로(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 인스턴트 메시징 모듈(141)은, 인스턴트 메시지에 대응하는 문자들의 시퀀스를 입력하고, 이전에 입력된 문자들을 수정하고, (예를 들어, 전화 기반 인스턴트 메시지들을 위한 SMS(Short Message Service) 또는 MMS(Multimedia Message Service) 프로토콜을 이용하거나, 인터넷 기반 인스턴트 메시지들을 위한 XMPP, SIMPLE 또는 IMPS를 이용하여) 각각의 인스턴트 메시지를 전송하고, 인스턴트 메시지들을 수신하고, 수신된 인스턴트 메시지들을 보도록 하는 실행가능한 명령어들을 포함한다. 일부 실시예들에서, 전송 및/또는 수신된 인스턴트 메시지들은 옵션적으로 그래픽, 사진, 오디오 파일, 비디오 파일 및/또는 MMS 및/또는 EMS(Enhanced Messaging Service)에서 지원되는 다른 첨부물들을 포함한다. 본 명세서에서 사용되는 바와 같이, "인스턴트 메시징"은 전화 기반 메시지들(예컨대, SMS 또는 MMS를 이용하여 전송되는 메시지들) 및 인터넷 기반 메시지들(예컨대, XMPP, SIMPLE 또는 IMPS를 이용하여 전송되는 메시지들) 둘 다를 지칭한다.
RF 회로(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), GPS 모듈(135), 지도 모듈(154), 및 음악 플레이어 모듈(146)과 함께, 운동 지원 모듈(142)은 운동들을 생성하고(예를 들어, 시간, 거리, 및/또는 열량 소비 목표와 함께); 운동 센서들(스포츠 디바이스들)과 통신하고; 운동 센서 데이터를 수신하고; 운동을 모니터링하는 데 사용되는 센서들을 교정하고; 운동 동안 음악을 선택 및 재생하고; 운동 데이터를 표시, 저장 및 전송하도록 하는 실행가능한 명령어들을 포함한다.
터치 스크린(112), 디스플레이 제어기(156), 광 센서(들)(164), 광 센서 제어기(158), 접촉 모듈(130), 그래픽 모듈(132), 및 이미지 관리 모듈(144)과 함께, 카메라 모듈(143)은, 정지 이미지들 또는 비디오(비디오 스트림을 포함함)를 캡처하고 이들을 메모리(102) 내에 저장하거나, 정지 이미지 또는 비디오의 특성들을 수정하거나, 메모리(102)로부터 정지 이미지 또는 비디오를 삭제하도록 하는 실행가능한 명령어들을 포함한다.
터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), 및 카메라 모듈(143)과 함께, 이미지 관리 모듈(144)은 정지 및/또는 비디오 이미지들을 배열하거나, 수정(예컨대, 편집)하거나, 그렇지 않으면 조작하고, 라벨링하고, 삭제하고, (예컨대, 디지털 슬라이드 쇼 또는 앨범 내에) 제시하고, 저장하도록 하는 실행가능한 명령어들을 포함한다.
RF 회로(108), 터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 브라우저 모듈(147)은 웹페이지들 또는 이들의 부분들뿐 아니라 웹페이지들에 링크된 첨부물들 및 다른 파일들을 검색하고, 그에 링크하며, 수신하고, 표시하는 것을 비롯한, 사용자 지시들에 따라 인터넷을 브라우징하도록 하는 실행가능한 명령어들을 포함한다.
터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 오디오 회로(110), 스피커(111), RF 회로(108), 텍스트 입력 모듈(134), 이메일 클라이언트 모듈(140) 및 브라우저 모듈(147)과 함께, 온라인 비디오 모듈(155)은 사용자가 특정 온라인 비디오에 대한 링크를 갖는 이메일에 액세스하고, 브라우징하고, (예컨대, 스트리밍 및/또는 다운로드에 의해) 수신하고, (예컨대, 터치 스크린 상에서 또는 외부 포트(124)를 통해 외부의 연결된 디스플레이 상에서) 재생하고, 전송하고, 그렇지 않으면 H.264와 같은 하나 이상의 파일 포맷의 온라인 비디오들에 관리할 수 있도록 하는 명령어들을 포함한다. 일부 실시예들에서, 특정 온라인 비디오에 대한 링크를 전송하기 위해, 이메일 클라이언트 모듈(140)보다는, 인스턴트 메시징 모듈(141)이 사용된다.
위에 확인된 모듈들 및 애플리케이션들 각각은 전술한 하나 이상의 기능 및 방법들을 수행하기 위한 실행가능한 명령어들의 세트에 대응한다.
RF 회로(108), 터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), 이메일 클라이언트 모듈(140), 및 브라우저 모듈(147)과 함께, 캘린더 모듈(148)은 사용자 지시들에 따라 캘린더들 및 캘린더들과 연관된 데이터(예컨대, 캘린더 엔트리들, 할 일 목록들 등)를 생성, 표시, 수정, 및 저장하도록 하는 실행가능한 명령어들을 포함한다.
RF 회로(108), 터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134) 및 브라우저 모듈(147)과 함께, 위젯 모듈들(149)은, 옵션적으로 사용자에 의해 다운로드 및 사용되거나(예컨대, 날씨 위젯(149-1), 주식 위젯(149-2), 계산기 위젯(149-3), 알람 시계 위젯(149-4) 및 사전 위젯(149-5)) 또는 사용자에 의해 생성되는(예컨대, 사용자-생성 위젯(149-6)) 미니-애플리케이션들이다. 일부 실시예들에서, 위젯은 HTML(Hypertext Markup Language) 파일, CSS(Cascading Style Sheets) 파일 및 자바스크립트(JavaScript) 파일을 포함한다. 일부 실시예들에서, 위젯은 XML(Extensible Markup Language) 파일 및 자바스크립트 파일(예컨대, 야후!(Yahoo!) 위젯들)을 포함한다.
RF 회로(108), 터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134) 및 브라우저 모듈(147)과 함께, 위젯 생성기 모듈(150)은, 옵션적으로, 사용자에 의해 위젯들을 생성(예를 들면, 웹 페이지의 사용자-특정 부분을 위젯으로 변경)하는 데 사용된다.
터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 검색 모듈(151)은 사용자 지시들에 따라 하나 이상의 검색 기준(예컨대, 하나 이상의 사용자-특정 검색어)에 일치하는 메모리(102) 내의 텍스트, 음악, 사운드, 이미지, 비디오, 및/또는 다른 파일들을 검색하도록 하는 실행가능한 명령어들을 포함한다.
터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 오디오 회로(110), 스피커(111), RF 회로(108) 및 브라우저 모듈(147)과 함께, 비디오 및 음악 플레이어 모듈(152)은, 사용자가 MP3 또는 AAC 파일들과 같은 하나 이상의 파일 포맷으로 저장된 녹음된 음악 및 다른 사운드 파일들을 다운로드 및 재생할 수 있게 하는 실행가능한 명령어들, 및 비디오들을 (예컨대, 터치 스크린(112) 상에서, 또는 외부 포트(124)를 통해 외부의 연결된 디스플레이 상에서) 표시, 상영, 또는 다른 방식으로 재생하도록 하는 실행가능한 명령어들을 포함한다. 일부 실시예들에서, 디바이스(100)는, 옵션적으로, 아이팟(애플 사의 상표)과 같은 MP3 플레이어의 기능을 포함한다.
터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 메모 모듈(153)은 사용자 지시들에 따라 메모들, 할 일 목록들 등을 생성 및 관리하도록 하는 실행가능한 명령어들을 포함한다.
RF 회로(108), 터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), GPS 모듈(135), 및 브라우저 모듈(147)과 함께, 지도 모듈(154)은 옵션적으로 사용자 지시들에 따라 지도들 및 지도들과 연관된 데이터(예컨대, 운전 방향; 특정 위치에서의 또는 그 인근의 상점들 및 다른 관심 지점들에 관한 데이터; 및 다른 위치 기반 데이터)를 수신, 표시, 수정, 및 저장하는 데 사용된다.
터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 오디오 회로(110), 스피커(111), RF 회로(108), 텍스트 입력 모듈(134), 이메일 클라이언트 모듈(140) 및 브라우저 모듈(147)과 함께, 온라인 비디오 모듈(155)은 사용자가 특정 온라인 비디오에 대한 링크를 갖는 이메일에 액세스하고, 브라우징하고, (예컨대, 스트리밍 및/또는 다운로드에 의해) 수신하고, (예컨대, 터치 스크린 상에서 또는 외부 포트(124)를 통해 외부의 연결된 디스플레이 상에서) 재생하고, 전송하고, 그렇지 않으면 H.264와 같은 하나 이상의 파일 포맷의 온라인 비디오들에 관리할 수 있도록 하는 명령어들을 포함한다. 일부 실시예들에서, 특정 온라인 비디오에 대한 링크를 전송하기 위해, 이메일 클라이언트 모듈(140)보다는, 인스턴트 메시징 모듈(141)이 사용된다.
앞서 확인된 모듈들 및 애플리케이션들 각각은 전술한 하나 이상의 기능 및 본 출원에 기술된 방법들(예컨대, 본 명세서에 기술된 컴퓨터 구현 방법들 및 다른 정보 처리 방법들)을 수행하기 위한 실행가능한 명령어들의 세트에 대응한다. 이러한 모듈들(즉, 명령어들의 세트들)은 별개의 소프트웨어 프로그램들, 절차들 또는 모듈들로서 구현될 필요가 없으며, 이에 따라 이러한 모듈들의 다양한 서브세트들은, 옵션적으로, 다양한 실시예들에서 조합되거나 다른 방식으로 재배열된다. 일부 실시예들에서, 메모리(102)는, 옵션적으로, 앞서 확인된 모듈들 및 데이터 구조들의 서브세트를 저장한다. 또한, 메모리(102)는, 옵션적으로, 전술되지 않은 추가의 모듈들 및 데이터 구조들을 저장한다.
일부 실시예들에서, 디바이스(100)는 디바이스 상의 미리정의된 기능들의 세트의 동작이 터치 스크린 및/또는 터치패드를 통해 전용으로 수행되는 디바이스이다. 터치 스크린 및/또는 터치패드를 디바이스(100)의 동작을 위한 주 입력 제어 디바이스로서 사용함으로써, 디바이스(100) 상의 (푸시 버튼들, 다이얼들 등과 같은) 물리적 입력 제어 디바이스들의 수가 옵션적으로 감소된다.
터치 스크린 및/또는 터치패드를 통해 전용으로 수행되는 미리정의된 기능들의 세트는 옵션적으로 사용자 인터페이스들 사이의 내비게이션을 포함한다. 일부 실시예들에서, 터치패드는, 사용자에 의해 터치될 때, 디바이스(100)를 디바이스(100) 상에 표시되는 임의의 사용자 인터페이스로부터 메인, 홈 또는 루트 메뉴로 내비게이션한다. 일부 실시예들에서, "메뉴 버튼"은 터치패드를 사용하여 구현된다. 일부 실시예들에서, 메뉴 버튼은 터치패드 대신에 물리적 푸시 버튼 또는 다른 물리적 입력 제어 디바이스이다.
도 1b는 일부 실시예들에 따른, 이벤트 처리를 위한 예시적인 컴포넌트들을 예시하는 블록도이다. 일부 실시예들에서, 메모리((102, 도 1a) 또는 (370, 도 3))는 (예컨대, 운영 체제(126)에서의) 이벤트 분류기(170) 및 각각의 애플리케이션(136-1)(예컨대, 전술한 애플리케이션들(137-13, 155, 380-390) 중 임의의 것)을 포함한다.
이벤트 분류기(170)는 이벤트 정보를 수신하며, 그 이벤트 정보를 전달할 애플리케이션(136-1), 및 애플리케이션(136-1)의 애플리케이션 뷰(191)를 결정한다. 이벤트 분류기(170)는 이벤트 모니터(171) 및 이벤트 디스패처 모듈(event dispatcher module)(174)을 포함한다. 일부 실시예들에서, 애플리케이션(136-1)은, 애플리케이션이 활성이거나 실행 중일 때 터치 감응형 디스플레이(112) 상에 표시되는 현재 애플리케이션 뷰(들)를 나타내는 애플리케이션 내부 상태(192)를 포함한다. 일부 실시예들에서, 디바이스/전역 내부 상태(157)는 이벤트 분류기(170)에 의해 어느 애플리케이션(들)이 현재 활성인지 결정하는 데 이용되며, 애플리케이션 내부 상태(192)는 이벤트 분류기(170)에 의해 이벤트 정보를 전달할 애플리케이션 뷰들(191)을 결정하는 데 이용된다.
일부 실시예들에서, 애플리케이션 내부 상태(192)는 애플리케이션(136-1)이 실행을 재개할 때 이용될 재개 정보, 애플리케이션(136-1)에 의해 표시되고 있거나 표시될 준비가 된 정보를 나타내는 사용자 인터페이스 상태 정보, 사용자가 애플리케이션(136-1)의 이전 상태 또는 뷰로 되돌아가게 하기 위한 상태 큐, 및 사용자에 의해 취해진 이전 동작들의 재실행(redo)/실행취소(undo) 큐 중 하나 이상과 같은 추가의 정보를 포함한다.
이벤트 모니터(171)는 주변기기 인터페이스(118)로부터 이벤트 정보를 수신한다. 이벤트 정보는 서브-이벤트(예컨대, 멀티-터치 제스처의 일부로서 터치 감응형 디스플레이(112) 상에서의 사용자 터치)에 관한 정보를 포함한다. 주변기기 인터페이스(118)는 I/O 서브시스템(106) 또는 센서, 예컨대 근접 센서(166), 가속도계(들)(168), 및/또는 (오디오 회로(110)를 통한) 마이크로폰(113)으로부터 수신하는 정보를 전송한다. 주변기기 인터페이스(118)가 I/O 서브시스템(106)으로부터 수신하는 정보는 터치 감응형 디스플레이(112) 또는 터치 감응형 표면으로부터의 정보를 포함한다.
일부 실시예들에서, 이벤트 모니터(171)는 요청들을 미리결정된 간격으로 주변기기 인터페이스(118)로 전송한다. 이에 응답하여, 주변기기 인터페이스(118)는 이벤트 정보를 전송한다. 실시예들에서, 주변기기 인터페이스(118)는 중요한 이벤트(예컨대, 미리결정된 잡음 임계치를 초과하는 입력 및/또는 미리결정된 지속시간 초과 동안의 입력을 수신하는 것)가 있을 때에만 이벤트 정보를 전송한다.
일부 실시예들에서, 이벤트 분류기(170)는 또한 히트 뷰(hit view) 결정 모듈(172) 및/또는 활성 이벤트 인식기 결정 모듈(173)을 포함한다.
히트 뷰 결정 모듈(172)은 터치 감응형 디스플레이(112)가 하나 초과의 뷰를 표시할 때 하나 이상의 뷰 내에서 서브-이벤트가 발생한 곳을 결정하기 위한 소프트웨어 절차들을 제공한다. 뷰들은 사용자가 디스플레이 상에서 볼 수 있는 제어부들 및 다른 요소들로 구성된다.
애플리케이션과 연관된 사용자 인터페이스의 다른 양태는 본 명세서에서 때때로 애플리케이션 뷰들 또는 사용자 인터페이스 창(user interface window)들로 지칭되는 뷰들의 세트이며, 여기서 정보가 표시되고 터치 기반 제스처가 발생한다. 터치가 검출되는 (각각의 애플리케이션의) 애플리케이션 뷰들은 옵션적으로 애플리케이션의 프로그램 또는 뷰 계층구조 내의 프로그램 레벨들에 대응한다. 예를 들면, 터치가 검출되는 최하위 레벨의 뷰는 옵션적으로 히트 뷰라고 지칭되고, 적절한 입력들로서 인식되는 이벤트들의 세트는, 옵션적으로, 터치 기반 제스처를 시작하는 초기 터치의 히트 뷰에 적어도 부분적으로 기초하여 결정된다.
히트 뷰 결정 모듈(172)은 터치 기반 제스처의 서브-이벤트들에 관련된 정보를 수신한다. 애플리케이션이 계층구조에서 조직화된 다수의 뷰들을 갖는 경우, 히트 뷰 결정 모듈(172)은 서브-이벤트를 처리해야 하는 계층구조 내에서의 최하위 뷰로서 히트 뷰를 식별한다. 대부분의 상황들에서, 히트 뷰는 개시되는 서브-이벤트가 발생하는 최하위 레벨 뷰이다(즉, 이벤트 또는 잠재적 이벤트를 형성하는 서브-이벤트들의 시퀀스 내의 첫 번째 서브-이벤트임). 일단 히트 뷰가 히트 뷰 결정 모듈에 의해 식별되면, 히트 뷰는 전형적으로 그것이 히트 뷰로서 식별되게 한 것과 동일한 터치 또는 입력 소스에 관련된 모든 서브-이벤트들을 수신한다.
활성 이벤트 인식기 결정 모듈(173)은 뷰 계층구조 내에서 어느 뷰 또는 뷰들이 서브-이벤트들의 특정 시퀀스를 수신해야 하는지를 결정한다. 일부 실시예들에서, 활성 이벤트 인식기 결정 모듈(173)은 히트 뷰만이 서브-이벤트들의 특정 시퀀스를 수신해야 하는 것으로 결정한다. 일부 실시예들에서, 활성 이벤트 인식기 결정 모듈(173)은 서브-이벤트의 물리적 위치를 포함하는 모든 뷰들이 적극 참여 뷰(actively involved view)들인 것으로 결정하고, 그에 따라 모든 적극 참여 뷰들이 서브-이벤트들의 특정 시퀀스를 수신해야 하는 것으로 결정한다. 일부 실시예들에서, 터치 서브-이벤트들이 전적으로 하나의 특정 뷰와 연관된 영역으로 한정되었더라도, 계층구조 내의 상위 뷰들은 여전히 적극 참여 뷰들로서 유지될 것이다.
이벤트 디스패처 모듈(174)은 이벤트 정보를 이벤트 인식기(예컨대, 이벤트 인식기(180))에 디스패치한다. 활성 이벤트 인식기 결정 모듈(173)을 포함하는 실시예들에서, 이벤트 디스패처 모듈(174)은 이벤트 정보를 활성 이벤트 인식기 결정 모듈(173)에 의해 결정된 이벤트 인식기에 전달한다. 일부 실시예들에서, 이벤트 디스패처 모듈(174)은 이벤트 큐 내에 이벤트 정보를 저장하는데, 이벤트 정보는 각각의 이벤트 수신기 모듈(182)에 의해 검색된다.
일부 실시예들에서, 운영 체제(126)는 이벤트 분류기(170)를 포함한다. 대안적으로, 애플리케이션(136-1)이 이벤트 분류기(170)를 포함한다. 그러나, 일부 실시예들에서, 이벤트 분류기(170)는 독립형 모듈이거나, 또는 접촉/모션 모듈(130)과 같이 메모리(102)에 저장되는 다른 모듈의 일부이다.
일부 실시예들에서, 애플리케이션(136-1)은 복수의 이벤트 핸들러(190) 및 하나 이상의 애플리케이션 뷰(191)를 포함하며, 이들 각각은 애플리케이션의 사용자 인터페이스의 각각의 뷰 내에서 발생하는 터치 이벤트들을 처리하기 위한 명령어들을 포함한다. 애플리케이션(136-1)의 각각의 애플리케이션 뷰(191)는 하나 이상의 이벤트 인식기(180)를 포함한다. 전형적으로, 각각의 애플리케이션 뷰(191)는 복수의 이벤트 인식기(180)를 포함한다. 일부 실시예들에서, 이벤트 인식기들(180) 중 하나 이상은, 사용자 인터페이스 키트(kit)(도시되지 않음), 또는 애플리케이션(136-1)이 방법들 및 다른 속성들을 이어받게 되는 상위 레벨 객체와 같은 별개의 모듈의 일부이다. 일부 실시예들에서, 각각의 이벤트 핸들러(190)는 데이터 업데이터(176), 객체 업데이터(177), GUI 업데이터(178), 및/또는 이벤트 분류기(170)로부터 수신된 이벤트 데이터(179) 중 하나 이상을 포함한다. 이벤트 핸들러(190)는 옵션적으로 데이터 업데이터(176), 객체 업데이터(177) 또는 GUI 업데이터(178)를 이용하거나 호출하여 애플리케이션 내부 상태(192)를 업데이트한다. 대안적으로, 애플리케이션 뷰들(191) 중 하나 이상은 하나 이상의 각각의 이벤트 핸들러(190)를 포함한다. 또한, 일부 실시예들에서, 데이터 업데이터(176), 객체 업데이터(177), 및 GUI 업데이터(178) 중 하나 이상은 각각의 애플리케이션 뷰(191)에 포함된다.
각각의 이벤트 인식기(180)는 이벤트 분류기(170)로부터 이벤트 정보(예컨대, 이벤트 데이터(179))를 수신하고, 그 이벤트 정보로부터 이벤트를 식별한다. 이벤트 인식기(180)는 이벤트 수신기(182) 및 이벤트 비교기(184)를 포함한다. 일부 실시예들에서, 이벤트 인식기(180)는 또한 적어도 메타데이터(183) 및 이벤트 전달 명령어들(188)(옵션적으로 서브-이벤트 전달 명령어들을 포함함)의 서브세트를 포함한다.
이벤트 수신기(182)는 이벤트 분류기(170)로부터 이벤트 정보를 수신한다. 이벤트 정보는 서브-이벤트, 예를 들면 터치 또는 터치 이동에 관한 정보를 포함한다. 서브-이벤트에 따라, 이벤트 정보는 또한 서브-이벤트의 위치와 같은 추가의 정보를 포함한다. 서브-이벤트가 터치의 모션과 관련될 때, 이벤트 정보는 또한 옵션적으로 서브-이벤트의 속력 및 방향을 포함한다. 일부 실시예들에서, 이벤트들은 하나의 배향으로부터 다른 배향으로(예컨대, 세로 배향으로부터 가로 배향으로, 또는 그 반대로)의 디바이스의 회전을 포함하며, 이벤트 정보는 디바이스의 현재 배향(디바이스 자세로도 지칭됨)에 관한 대응하는 정보를 포함한다.
이벤트 비교기(184)는 이벤트 정보를 미리정의된 이벤트 또는 서브-이벤트 정의들과 비교하고, 그 비교에 기초하여, 이벤트 또는 서브-이벤트를 결정하거나 이벤트 또는 서브-이벤트의 상태를 결정 또는 업데이트한다. 일부 실시예들에서, 이벤트 비교기(184)는 이벤트 정의들(186)을 포함한다. 이벤트 정의들(186)은 이벤트들(예컨대, 미리정의된 시퀀스들의 서브-이벤트들), 예를 들어, 이벤트 1(187-1), 이벤트 2(187-2) 등의 정의들을 포함한다. 일부 실시예들에서, 이벤트(187) 내의 서브-이벤트들은, 예를 들면 터치 시작, 터치 종료, 터치 이동, 터치 취소, 및 다중 터치를 포함한다. 하나의 예에서, 이벤트 1(187-1)에 대한 정의는 표시된 객체 상의 더블 탭(double tap)이다. 더블 탭은, 예를 들어, 미리결정된 페이즈(phase) 동안의 표시된 객체 상의 제1 터치(터치 시작), 미리결정된 페이즈 동안의 제1 리프트오프(lift-off)(터치 종료), 미리결정된 페이즈 동안의 표시된 객체 상의 제2 터치(터치 시작), 및 미리결정된 페이즈 동안의 제2 리프트오프(터치 종료)를 포함한다. 다른 예에서, 이벤트 2(187-2)에 대한 정의는 표시된 객체 상의 드래그(drag)이다. 드래그는, 예를 들어, 미리결정된 페이즈 동안의 표시된 객체 상의 터치(또는 접촉), 터치 감응형 디스플레이(112)를 가로지르는 터치의 이동, 및 터치의 리프트오프(터치 종료)를 포함한다. 일부 실시예들에서, 이벤트는 또한 하나 이상의 연관된 이벤트 핸들러(190)에 대한 정보를 포함한다.
일부 실시예들에서, 이벤트 정의(187)는 각각의 사용자 인터페이스 객체에 대한 이벤트의 정의를 포함한다. 일부 실시예들에서, 이벤트 비교기(184)는 어느 사용자 인터페이스 객체가 서브-이벤트와 연관되어 있는지 결정하도록 히트 테스트(hit test)를 수행한다. 예를 들어, 3개의 사용자 인터페이스 객체들이 터치 감응형 디스플레이(112) 상에 표시되는 애플리케이션 뷰에서, 터치가 터치 감응형 디스플레이(112) 상에서 검출되는 경우, 이벤트 비교기(184)는 3개의 사용자 인터페이스 객체 중 어느 것이 터치(서브-이벤트)와 연관되어 있는지를 결정하도록 히트 테스트를 수행한다. 각각의 표시된 객체가 각각의 이벤트 핸들러(190)와 연관되는 경우, 이벤트 비교기는 히트 테스트의 결과를 이용하여 어느 이벤트 핸들러(190)가 활성화되어야 하는지 결정한다. 예를 들면, 이벤트 비교기(184)는 서브-이벤트와 연관된 이벤트 핸들러 및 히트 테스트를 트리거하는 객체를 선택한다.
일부 실시예들에서, 각각의 이벤트(187)에 대한 정의는 또한 서브-이벤트들의 시퀀스가 이벤트 인식기의 이벤트 유형에 대응하는지 대응하지 않는지 여부가 결정된 후까지 이벤트 정보의 전달을 지연하는 지연된 행동들을 포함한다.
각각의 이벤트 인식기(180)가 일련의 서브-이벤트들이 이벤트 정의들(186) 내의 이벤트들 중 어떠한 것과도 일치하지 않는 것으로 결정하면, 각각의 이벤트 인식기(180)는 이벤트 불가능, 이벤트 실패, 또는 이벤트 종료 상태에 진입하고, 그 후 각각의 이벤트 인식기는 터치 기반 제스처의 후속하는 서브-이벤트들을 무시한다. 이러한 상황에서, 만일 있다면, 히트 뷰에 대해 활성인 채로 유지되는 다른 이벤트 인식기들이 진행 중인 터치 기반 제스처의 서브-이벤트들을 계속해서 추적 및 처리한다.
일부 실시예들에서, 각각의 이벤트 인식기(180)는 이벤트 전달 시스템이 어떻게 적극 참여 이벤트 인식기들에 대한 서브-이벤트 전달을 수행해야 하는지를 나타내는 구성가능한 속성들, 플래그(flag)들, 및/또는 목록들을 갖는 메타데이터(183)를 포함한다. 일부 실시예들에서, 메타데이터(183)는 이벤트 인식기들이 어떻게 서로 상호작용하는지 또는 상호작용할 수 있게 되는지를 나타내는 구성가능한 속성들, 플래그들, 및/또는 목록들을 포함한다. 일부 실시예들에서, 메타데이터(183)는, 서브-이벤트들이 뷰 또는 프로그램 계층구조에서의 변화하는 레벨들로 전달되는지 여부를 나타내는 구성가능한 속성들, 플래그들, 및/또는 목록들을 포함한다.
일부 실시예들에서, 각각의 이벤트 인식기(180)는 이벤트의 하나 이상의 특정 서브-이벤트가 인식될 때 이벤트와 연관된 이벤트 핸들러(190)를 활성화한다. 일부 실시예들에서, 각각의 이벤트 인식기(180)는 이벤트와 연관된 이벤트 정보를 이벤트 핸들러(190)에 전달한다. 이벤트 핸들러(190)를 활성화하는 것은 각각의 히트 뷰에 서브-이벤트들을 전송(및 지연 전송)하는 것과는 구별된다. 일부 실시예들에서, 이벤트 인식기(180)는 인식된 이벤트와 연관된 플래그를 보내고, 그 플래그와 연관된 이벤트 핸들러(190)는 그 플래그를 캐치하고(catch) 미리정의된 프로세스를 수행한다.
일부 실시예들에서, 이벤트 전달 명령어들(188)은 이벤트 핸들러를 활성화하지 않고 서브-이벤트에 관한 이벤트 정보를 전달하는 서브-이벤트 전달 명령어들을 포함한다. 대신에, 서브-이벤트 전달 명령어들은 일련의 서브이벤트들과 연관된 이벤트 핸들러들에 또는 적극 참여 뷰들에 이벤트 정보를 전달한다. 일련의 서브-이벤트들 또는 적극 참여 뷰들과 연관된 이벤트 핸들러들은 이벤트 정보를 수신하고 미리결정된 프로세스를 수행한다.
일부 실시예들에서, 데이터 업데이터(176)는 애플리케이션(136-1)에서 이용되는 데이터를 생성하고 업데이트한다. 예를 들어, 데이터 업데이터(176)는 연락처 모듈(137)에서 이용되는 전화번호를 업데이트하거나, 비디오 플레이어 모듈(145)에서 이용되는 비디오 파일을 저장한다. 일부 실시예들에서, 객체 업데이터(177)는 애플리케이션(136-1)에서 이용되는 객체들을 생성하고 업데이트한다. 예를 들어, 객체 업데이터(176)는 새로운 사용자 인터페이스 객체를 생성하거나 사용자 인터페이스 객체의 위치를 업데이트한다. GUI 업데이터(178)는 GUI를 업데이트한다. 예를 들면, GUI 업데이터(178)는 디스플레이 정보를 준비하고 이를 터치 감응형 디스플레이 상에서의 표시를 위해 그래픽 모듈(132)에 전송한다.
일부 실시예들에서, 이벤트 핸들러(들)(190)는 데이터 업데이터(176), 객체 업데이터(177), 및 GUI 업데이터(178)를 포함하거나 이들에 액세스한다. 일부 실시예들에서, 데이터 업데이터(176), 객체 업데이터(177), 및 GUI 업데이터(178)는 각각의 애플리케이션(136-1) 또는 애플리케이션 뷰(191)의 단일 모듈 내에 포함된다. 다른 실시예들에서, 이들은 2개 이상의 소프트웨어 모듈에 포함된다.
터치 감응형 디스플레이들 상의 사용자 터치들의 이벤트 처리에 관한 전술한 논의는 또한 입력 디바이스들을 구비한 다기능 디바이스들(100)을 동작시키기 위한 다른 형태들의 사용자 입력들에도 적용되지만, 그 모두가 터치 스크린들 상에서 개시되는 것은 아니라는 것을 이해해야 한다. 예를 들면, 단일 또는 다수의 키보드 누르기 또는 유지와 옵션적으로 조화된 마우스 이동 및 마우스 버튼 누르기; 터치패드 상의, 탭, 드래그, 스크롤 등과 같은 접촉 이동들; 펜 스타일러스 입력들; 디바이스의 이동; 구두 명령어들; 검출된 눈 움직임들; 생체인식 입력들; 및/또는 이들의 임의의 조합은, 옵션적으로, 인식될 이벤트를 정의하는 서브-이벤트들에 대응하는 입력들로서 이용된다.
도 2는 일부 실시예들에 따른, 터치 스크린(112)을 갖는 휴대용 다기능 디바이스(100)를 예시한다. 터치 스크린은 옵션적으로 사용자 인터페이스(UI)(200) 내에서 하나 이상의 그래픽을 표시한다. 이러한 실시예에서뿐만 아니라 아래에 기술된 다른 실시예들에서, 사용자는 예를 들면 하나 이상의 손가락(202)(도면에서 축척대로 도시되지 않음) 또는 하나 이상의 스타일러스(203)(도면에서 축척대로 도시되지 않음)를 이용하여 그래픽들 상에 제스처를 행함으로써 그래픽들 중 하나 이상을 선택하는 것이 가능하게 된다. 일부 실시예들에서, 하나 이상의 그래픽의 선택은 사용자가 하나 이상의 그래픽과의 접촉을 중단할 때 발생한다. 일부 실시예들에서, 제스처는 옵션적으로 디바이스(100)와 접촉한 손가락의 하나 이상의 탭, (좌에서 우로, 우에서 좌로, 위로 및/또는 아래로의) 하나 이상의 스와이프 및/또는 (우에서 좌로, 좌에서 우로, 위로 및/또는 아래로의) 롤링을 포함한다. 일부 구현예들 또는 상황들에서, 그래픽과의 의도하지 않은 접촉은 그래픽을 선택하지 않는다. 예를 들면, 선택에 대응하는 제스처가 탭인 경우, 애플리케이션 아이콘 위를 지나가는 스와이프 제스처는, 옵션적으로, 대응하는 애플리케이션을 선택하지 않는다.
디바이스(100)는 또한 옵션적으로 "홈" 또는 메뉴 버튼(204)과 같은 하나 이상의 물리적 버튼을 포함한다. 전술한 바와 같이, 메뉴 버튼(204)은 옵션적으로, 디바이스(100) 상에서 옵션적으로 실행되는 애플리케이션들의 세트 내의 임의의 애플리케이션(136)으로 내비게이션하는 데 사용된다. 일부 실시예들에서, 메뉴 버튼(204)은 메뉴 버튼(204) 상의 지문을 식별하는 지문 센서를 포함한다. 지문 센서는 옵션적으로, 메뉴 버튼(204) 상의 손가락이 디바이스(100)를 잠금해제하는데 이용되는 지문과 일치하는 지문을 갖는지 여부를 결정하는 데 사용된다. 대안적으로, 일부 실시예들에서, 메뉴 버튼은 터치 스크린(112) 상에 표시된 GUI에서 소프트 키로서 구현된다.
일 실시예에서, 디바이스(100)는 터치 스크린(112), 메뉴 버튼(204), 디바이스의 전원을 온/오프하고 디바이스를 잠그기 위한 푸시 버튼(206), 음량 조절 버튼(들)(208), 가입자 식별 모듈(SIM) 카드 슬롯(210), 헤드셋 잭(212), 및 도킹/충전 외부 포트(124)를 포함한다. 푸시 버튼(206)은, 옵션적으로, 버튼을 누르고 버튼을 미리정의된 시간 간격 동안 누른 상태로 유지함으로써 디바이스에서 전원을 켜거나/끄고; 버튼을 누르고 미리정의된 시간 간격이 경과하기 전에 버튼 누르기를 해제함으로써 디바이스를 잠그고; 그리고/또는 디바이스를 잠금해제하거나 잠금해제 프로세스를 개시하는 데 사용된다. 대안적인 실시예에서, 디바이스(100)는 또한 마이크로폰(113)을 통해 일부 기능들의 활성화 또는 비활성화를 위한 구두 입력을 받는다. 디바이스(100)는 또한, 옵션적으로, 터치 스크린(112) 상의 접촉들의 세기를 검출하기 위한 하나 이상의 접촉 세기 센서(165) 및/또는 디바이스(100)의 사용자를 위해 촉각적 출력들을 생성하기 위한 하나 이상의 촉각적 출력 생성기(167)를 포함한다.
도 3은 일부 실시예들에 따른, 디스플레이 및 터치 감응형 표면을 구비한 예시적인 다기능 디바이스의 블록도이다. 디바이스(300)가 휴대용일 필요는 없다. 일부 실시예들에서, 디바이스(300)는 랩톱 컴퓨터, 데스크톱 컴퓨터, 태블릿 컴퓨터, 멀티미디어 플레이어 디바이스, 내비게이션 디바이스, (어린이 학습 장난감과 같은) 교육용 디바이스, 게임 시스템, 또는 제어 디바이스(예컨대, 가정용 또는 산업용 제어기)이다. 디바이스(300)는 전형적으로 하나 이상의 처리 유닛(CPU)(310), 하나 이상의 네트워크 또는 다른 통신 인터페이스들(360), 메모리(370) 및 이들 컴포넌트를 상호연결하기 위한 하나 이상의 통신 버스(320)를 포함한다. 통신 버스들(320)은 옵션적으로 시스템 컴포넌트들을 상호연결시키고 이들 사이의 통신을 제어하는 회로(때때로 칩셋이라고 지칭됨)를 포함한다. 디바이스(300)는 전형적으로 터치 스크린 디스플레이인 디스플레이(340)를 포함하는 입/출력(I/O) 인터페이스(330)를 포함한다. I/O 인터페이스(330)는 또한, 옵션적으로, 키보드 및/또는 마우스(또는 다른 포인팅 디바이스)(350) 및 터치패드(355), 디바이스(300) 상에 촉각적 출력들을 생성하기 위한 촉각적 출력 생성기(357)(예컨대, 도 1a를 참조하여 전술한 촉각적 출력 생성기(들)(167)와 유사함), 센서들(359)(예컨대, 도 1a를 참조하여 전술한 접촉 세기 센서(들)(165)와 유사한 광, 가속도, 근접, 터치 감응형, 및/또는 접촉 세기 센서들)을 포함한다. 메모리(370)는 DRAM, SRAM, DDR RAM 또는 다른 랜덤 액세스 솔리드 스테이트 메모리 디바이스들과 같은 고속 랜덤 액세스 메모리를 포함하며; 옵션적으로, 하나 이상의 자기 디스크 저장 디바이스, 광 디스크 저장 디바이스, 플래시 메모리 디바이스, 또는 다른 비휘발성 솔리드 스테이트 저장 디바이스와 같은 비휘발성 메모리를 포함한다. 메모리(370)는 옵션적으로 CPU(들)(310)로부터 원격으로 위치된 하나 이상의 저장 디바이스를 포함한다. 일부 실시예들에서, 메모리(370)는 휴대용 다기능 디바이스(100)(도 1a)의 메모리(102)에 저장된 프로그램들, 모듈들, 및 데이터 구조들과 유사한 프로그램들, 모듈들, 및 데이터 구조들 또는 이들의 서브세트를 저장한다. 또한, 메모리(370)는, 옵션적으로, 휴대용 다기능 디바이스(100)의 메모리(102) 내에 존재하지 않는 추가의 프로그램들, 모듈들 및 데이터 구조들을 저장한다. 예를 들면, 디바이스(300)의 메모리(370)는 옵션적으로 그리기 모듈(380), 프레젠테이션 모듈(382), 워드 프로세싱 모듈(384), 웹사이트 제작 모듈(386), 디스크 저작 모듈(388), 및/또는 스프레드시트 모듈(390)을 저장하는 반면, 휴대용 다기능 디바이스(100)(도 1a)의 메모리(102)는 옵션적으로 이들 모듈을 저장하지 않는다.
도 3에서의 앞서 확인된 요소들 각각은, 옵션적으로, 전술한 메모리 디바이스들 중 하나 이상에 저장된다. 앞서 확인된 모듈들 각각은 전술한 기능을 수행하기 위한 명령어들의 세트에 대응한다. 앞서 확인된 모듈들 또는 프로그램들(즉, 명령어들의 세트들)은 별개의 소프트웨어 프로그램들, 절차들 또는 모듈들로서 구현될 필요가 없으며, 따라서 다양한 실시예들에서 이들 모듈의 다양한 서브세트들이 옵션적으로 조합되거나 다른 방식으로 재배열된다. 일부 실시예들에서, 메모리(370)는, 옵션적으로, 앞서 확인된 모듈들 및 데이터 구조들의 서브세트를 저장한다. 또한, 메모리(370)는, 옵션적으로, 전술되지 않은 추가의 모듈들 및 데이터 구조들을 저장한다.
이제, 휴대용 다기능 디바이스(100) 상에서 옵션적으로 구현되는 사용자 인터페이스들("UI")의 실시예들에 주목한다.
도 4a는 일부 실시예들에 따른, 휴대용 다기능 디바이스(100) 상의 애플리케이션들의 메뉴를 위한 예시적인 사용자 인터페이스를 예시한다. 유사한 사용자 인터페이스들이 옵션적으로 디바이스(300) 상에 구현된다. 일부 실시예들에서, 사용자 인터페이스(400)는 다음의 요소들, 또는 그 서브세트나 수퍼세트를 포함한다:
셀룰러 및 Wi-Fi 신호들과 같은 무선 통신(들)에 대한 신호 강도 표시자(들)(402); 시간(404); 블루투스 표시자(405); 배터리 상태 표시자(406); 다음과 같은, 빈번하게 사용되는 애플리케이션들을 위한 아이콘들을 갖는 트레이(408): 부재 중 전화들 또는 음성메일 메시지들의 개수의 표시자(414)를 옵션적으로 포함하는, "전화"로 라벨링된 전화 모듈(138)용 아이콘(416); 읽지 않은 이메일들의 개수의 표시자(410)를 옵션적으로 포함하는, "메일"로 라벨링된 이메일 클라이언트 모듈(140)용 아이콘(418); "브라우저"로 라벨링된 브라우저 모듈(147)용 아이콘(420); 및 아이팟(애플 사의 상표) 모듈(152)로도 지칭되는, "아이팟"으로 라벨링된 비디오 및 음악 플레이어 모듈(152)용 아이콘(422); 및 다음과 같은, 다른 애플리케이션들용 아이콘들: "텍스트"로 라벨링된 IM 모듈(141)용 아이콘(424); "캘린더"로 라벨링된 캘린더 모듈(148)용 아이콘(426); "사진"으로 라벨링된 이미지 관리 모듈(144)용 아이콘(428); "카메라"로 라벨링된 카메라 모듈(143)용 아이콘(430); "온라인 비디오"로 라벨링된 온라인 비디오 모듈(155)용 아이콘(432); "주식"으로 라벨링된 주식 위젯(149-2)용 아이콘(434); "지도"로 라벨링된 지도 모듈(154)용 아이콘(436); "날씨"로 라벨링된 날씨 위젯(149-1)용 아이콘(438); "시계"로 라벨링된 알람 시계 위젯(149-4)용 아이콘(440); "운동 지원"으로 라벨링된 운동 지원 모듈(142)용 아이콘(442); "메모"로 라벨링된 메모 모듈(153)용 아이콘(444); 및 디바이스(100) 및 그의 다양한 애플리케이션들(136)에 대한 설정에의 액세스를 제공하는, 설정 애플리케이션 또는 모듈용 아이콘(446).
도 4a에 예시된 아이콘 라벨들이 단지 예시적인 것임에 유의해야 한다. 예를 들어, 비디오 및 음악 플레이어 모듈(152)용 아이콘(422)은 "음악" 또는 "음악 플레이어"로 라벨링된다. 다른 라벨들이, 옵션적으로, 다양한 애플리케이션 아이콘들에 대해 사용된다. 일부 실시예들에서, 각각의 애플리케이션 아이콘에 대한 라벨은 각각의 애플리케이션 아이콘에 대응하는 애플리케이션의 이름을 포함한다. 일부 실시예들에서, 특정 애플리케이션 아이콘에 대한 라벨은 특정 애플리케이션 아이콘에 대응하는 애플리케이션의 이름과 별개이다.
도 4b는 디스플레이(450)(예컨대, 터치 스크린 디스플레이(112))와 별개인 터치 감응형 표면(451)(예컨대, 태블릿 또는 터치패드(355), 도 3)을 구비한 디바이스(예컨대, 디바이스(300), 도 3) 상의 예시적인 사용자 인터페이스를 예시한다. 디바이스(300)는 또한, 옵션적으로, 터치 감응형 표면(451) 상의 접촉들의 세기를 검출하기 위한 하나 이상의 접촉 세기 센서(예컨대, 센서들(357) 중 하나 이상) 및/또는 디바이스(300)의 사용자에 대한 촉각적 출력들을 생성하기 위한 하나 이상의 촉각적 출력 생성기(359)를 포함한다.
후속하는 예들 중 일부가 (터치 감응형 표면과 디스플레이가 조합된) 터치 스크린 디스플레이(112) 상의 입력들을 참조하여 제공될 것이지만, 일부 실시예들에서, 디바이스는 도 4b에 도시된 바와 같이 디스플레이와 별개인 터치 감응형 표면 상에서 입력들을 검출한다. 일부 실시예들에서, 터치 감응형 표면(예컨대, 도 4b의 451)은 디스플레이(예컨대, 450) 상의 주축(예컨대, 도 4b의 453)에 대응하는 주축(예컨대, 도 4b의 452)을 갖는다. 일부 실시예들에 따르면, 디바이스는 디스플레이 상의 각각의 위치들에 대응하는 위치들(예컨대, 도 4b에서, 460은 468에 대응하고, 462는 470에 대응함)에서 터치 감응형 표면(451)과의 접촉들(예컨대, 도 4b의 460 및 462)을 검출한다. 이러한 방식으로, 터치 감응형 표면(예컨대, 도 4b의 451) 상에서 디바이스에 의해 검출된 사용자 입력들(예컨대, 접촉들(460, 462) 및 그 이동들)은 터치 감응형 표면이 디스플레이와 별개인 경우 디바이스에 의해 다기능 디바이스의 디스플레이(예컨대, 도 4b의 450) 상의 사용자 인터페이스를 조작하는 데 사용된다. 유사한 방법들이, 옵션적으로, 본 명세서에 기술된 다른 사용자 인터페이스들에 사용된다는 것을 이해하여야 한다.
그에 부가하여, 하기의 예들이 손가락 입력들(예컨대, 손가락 접촉들, 손가락 탭 제스처들, 손가락 스와이프 제스처들)을 주로 참조하여 주어지는 반면, 일부 실시예들에서, 손가락 입력들 중 하나 이상은 다른 입력 디바이스로부터의 입력(예컨대, 마우스 기반 입력 또는 스타일러스 입력)으로 대체된다는 것을 이해하여야 한다. 예를 들면, 스와이프 제스처가, 옵션적으로, (예컨대, 접촉 대신의) 마우스 클릭 및 뒤이은 (예컨대, 접촉의 이동 대신의) 스와이프의 경로를 따른 커서의 이동으로 대체된다. 다른 예로서, 탭 제스처는, 옵션적으로, (예컨대, 접촉의 검출 및 뒤이은 접촉을 검출하는 것을 중지하는 것 대신에) 커서가 탭 제스처의 위치 위에 위치되는 동안에 마우스 클릭으로 대체된다. 유사하게, 다수의 사용자 입력들이 동시에 검출되는 경우, 다수의 컴퓨터 마우스들이, 옵션적으로, 동시에 사용되거나, 또는 마우스와 손가락 접촉들이, 옵션적으로, 동시에 사용된다는 것을 이해하여야 한다.
본 명세서에 사용되는 바와 같이, "포커스 선택자(focus selector)"라는 용어는 사용자와 상호작용하고 있는 사용자 인터페이스의 현재 부분을 나타내는 입력 요소를 지칭한다. 커서 또는 다른 위치 마커를 포함하는 일부 구현예들에서, 커서가 특정 사용자 인터페이스 요소(예컨대, 버튼, 윈도우, 슬라이더 또는 다른 사용자 인터페이스 요소) 위에 있는 동안에 입력(예컨대, 누르기 입력)이 터치 감응형 표면(예컨대, 도 3에서의 터치 패드(355) 또는 도 4b에서의 터치 감응형 표면(451)) 상에서 검출될 때 특정 사용자 인터페이스 요소가 검출된 입력에 따라 조정되도록, 커서는 "포커스 선택자(focus selector)"로서의 역할을 한다. 터치 스크린 디스플레이 상의 사용자 인터페이스 요소들과의 직접적인 상호작용을 가능하게 하는 터치 스크린 디스플레이(예컨대, 도 1a의 터치 감응형 디스플레이 시스템(112) 또는 도 4a의 터치 스크린(112))를 포함하는 일부 구현예들에서, 터치 스크린 상의 검출된 접촉이 "포커스 선택자"로서의 역할을 하여, 입력(예컨대, 접촉에 의한 누르기 입력)이 터치 스크린 디스플레이 상에서 특정 사용자 인터페이스 요소(예컨대, 버튼, 윈도우, 슬라이더 또는 다른 사용자 인터페이스 요소)의 위치에서 검출될 때, 특정 사용자 인터페이스 요소는 검출된 입력에 따라 조정된다. 일부 구현예들에서, (예컨대, 탭 키(tab key) 또는 화살표 키들을 사용하여 포커스를 하나의 버튼으로부터 다른 버튼으로 이동시키는 것에 의해) 터치 스크린 디스플레이 상에서의 대응하는 커서의 이동 또는 접촉의 이동 없이 포커스가 사용자 인터페이스의 하나의 영역으로부터 사용자 인터페이스의 다른 영역으로 이동되며; 이들 구현예들에서, 포커스 선택자는 사용자 인터페이스의 상이한 영역들 사이에서의 포커스의 이동에 따라 움직인다. 포커스 선택자가 가지는 특정 형태와 무관하게, 포커스 선택자는 일반적으로 (예컨대, 사용자가 상호작용하고자 하는 사용자 인터페이스의 요소를 디바이스에 나타냄으로써) 사용자 인터페이스와의 사용자의 의도된 상호작용을 전달하기 위해 사용자에 의해 제어되는 사용자 인터페이스 요소(또는 터치 스크린 디스플레이 상에서의 접촉)이다. 예를 들어, 터치 감응형 표면(예컨대, 터치패드 또는 터치 스크린) 상에서 누르기 입력이 검출되는 동안 각각의 버튼 위의 포커스 선택자(예컨대, 커서, 접촉 또는 선택 상자)의 위치는 (디바이스의 디스플레이 상에 보여지는 다른 사용자 인터페이스 요소들과 달리) 사용자가 각각의 버튼을 활성화하려고 하고 있다는 것을 나타낼 것이다.
햅틱 출력 및 연관된 프로세스
이제 디바이스(300) 또는 휴대용 다기능 디바이스(100)와 같은, 전자 디바이스 상에 구현될 수 있는 햅틱 출력 및 연관된 프로세스들의 실시예들에 주목한다. 이하의 설명은 디바이스(100)에 관한 것이지만, 본 명세서의 실시예들은 디바이스(300)에 통합될 수 있다.
도 5는 일부 실시예들에 따른, 다양한 햅틱 파형 형태들의 예들을 도시한다. 다양한 햅틱 유형들은, 구별되는 의미들을 갖는 다양한 햅틱 파형들을 생성하기 위해 다양한 조합들로 사용되는 어토믹(atomic) 햅틱 성분들로서 역할을 한다. 하기 예들은 본 명세서에서 햅틱 출력 유형들 사이를 구별하기 위한 어휘를 확립하기 위해 기술된다. 본 명세서에 기술된 햅틱 출력 유형들은 총망라하도록 의도되지 않으며; 다른 햅틱 파형들이 사용될 수 있다.
파형들(505)은 일부 실시예들에 따라, 단지 단일의 탭이더라도, 햅틱을 출력하는 디바이스의 사용자들에 의해 용이하게 인지가능한(예를 들어, 주어진 햅틱 디바이스에 대한 터치 인지력의 절대 임계치를 크게 초과하는), 상대적으로 큰 진폭들을 갖는 예시적인 햅틱 파형들, 또는 "탭" 유형 햅틱 출력들을 나타낸다. 다양한 탭 햅틱 출력들(505a 내지 505e)에 의해 보이는 바와 같이, 파형들은 진폭, 지속시간 및 주파수가 변한다. 전형적으로, 인간은 ㎑에 따라, 5 ㎐에서 29 ㎐까지의 주파수, 및 0N 내지 1.0N(손(sone); ~0-40 dBA와 동일)의 진폭을 인지할 수 있다. 가청 진폭의 인간 청력은 1 내지 4 ㎑에서 가장 민감하다.
파형들(510)은 일부 실시예들에 따라, 파형들(505)과 비교해 상대적으로 더 작은 진폭들(및 옵션적으로, 더 짧은 지속시간들)을 갖는 햅틱 파형들, 또는 "마이크로탭(microtap)" 유형 햅틱 출력들의 예들을 나타내며, 이는 햅틱을 출력하는 디바이스의 사용자들이 단일의 마이크로탭으로서 검출하기에 덜 용이하게 인지가능하지만(예를 들어, 주어진 햅틱 디바이스에 대한 터치 인지력의 낮은 임계치 근방), 다수의 마이크로탭들이 연속하여 출력되는 경우 용이하게 인지가능하다. 마이크로탭 파형들(510a 내지 510c) 또한 진폭, 지속시간 및 주파수가 변한다.
파형(515)은 하나의 탭 및 뒤이은 2개의 마이크로탭의 예시적인 조합 햅틱을 나타낸다. 마이크로탭들은 단독으로는 덜 용이하게 인지가능하기 때문에, 마이크로탭에 선행하는 탭을 갖는 파형들은, 탭으로 사용자의 주의를 끎으로써 사용자를 "프라이밍(priming)"하여, 사용자가 마이크로탭을 더 용이하게 인지하도록 할 수 있다.
파형들(520)은 시간에 걸쳐 진폭이 감소하는 더 긴 지속시간 동안의 파동들을 갖는, "페이드(fade)" 유형 파형들의 예들을 나타낸다. 파형(520a)은 보다 큰, 탭-레벨 진폭에서 시작하여 마이크로탭-레벨 진폭에서 끝나는 "탭-페이드(tap-fade)"이며, 파형(520b)은 보다 작은, 마이크로탭-레벨 진폭에서 시작하여 더 낮은 진폭에서 끝나는 마이크로탭-페이드이다.
파형(525)은 전형적으로 보다 긴 전체 지속시간(예를 들어, 0.5초 내지 1초) 동안 지속되는 연속적인 고주파인 "버즈(buzz)" 유형 파형 예를 나타낸다. 버즈는 다양한 실시예들에 따라 더 높거나 더 낮은 진폭을 가질 수 있고, 일관된 진동으로서 사용자에게 인지가능하다.
다양한 오디오 파형들이, 옵션적으로, 오디오 도메인에서 햅틱 출력들의 주파수, 진폭 및 지속시간 특성들에 대응하거나 이로부터 구별되도록, 다양한 햅틱 파형들에 동기적으로 출력된다. 전술한 것들과 같은 다양한 어토믹 햅틱 성분들은 오디오 파형들에 대응하는 다양한 햅틱 파형들을 생성하기 위해 다양한 조합들로 사용된다. 어토믹 햅틱 성분들은 햅틱 디바이스 자체로부터 직접 상이한 오디오 패턴들을 생성하기 위해 상이한 파라미터들(예를 들어, 진폭, 카운트/반복, 타이밍 오프셋)로 변조되어, 오디오 파형이 햅틱 파형에 대응하도록 한다. 또한, 햅틱 액추에이터들(예를 들어, 촉각적 출력 생성기(들)(167))에 의해 생성된 일부 파형들은 일부 실시예들에 따라 "틱(tick)"과 같은 기계 같은 사운드의 가청 출력을 생성한다. 대안적으로, 일부 실시예들에서, 별개의 오디오 신호 생성기 및 출력 디바이스(예를 들어, 톤 생성기 및 스피커)는, 햅틱 파형들로부터 구별되는 파형들을 갖는 오디오 파형들을 동기적으로 출력하는 데 사용될 수 있다.
도 6은 일부 실시예들에 따른, 다양한 오디오 파형 형태들의 예들을 도시한다. 파형들(605)은 다양한 진폭, 지속시간 및 주파수의 오디오 파형들의 예들을 나타낸다. 때때로 특화된 파형들이, 오디오가 페어링될 활동과 상관되는 일반적인 사운드들을 모방하도록 생성된다. 파형들(610)은 특화된 파형들의 예들이다. 파형(610a)은 워키토키 사운드를 모방하는 파형이고, 파형(610b)은 심장박동 사운드를 모방하는 파형이다.
일부 실시예들에서, 햅틱 및 오디오 파형들이 대응하는 형태들을 가질 때, 예를 들어, 햅틱 파형 및 오디오 파형이 유사한 시간들에서 그리고 유사한 지속시간들의 피크들을 가짐으로써 두 파형이 서로 유사하게 보이는 경우, 이들은 동기적으로 출력된다. 파형(615)(햅틱; 점선) 및 파형(620)(오디오; 실선)은 별개로 보여지며, 이어서 시간적으로 정렬되고 동기화된다. 이 예에서, 시간 정렬은, 예를 들어 심장박동 모니터와 함께 사용하기 위한 심장박동의 결합된 사운드와 느낌을 생성하기 위해, 일련의 탭들을 갖는 햅틱 파형을 심장박동-사운드의 오디오 파형과 동기화시킨다.
일부 실시예들에서, 오디오 성분들은 속성들을 공유하지만, 여전히 상이하며, 예를 들어, 상이한 피치들로 또는 상이한 악기들을 이용해 재생되는 동일한 링톤 또는 음표들(동일한 진폭, 주파수 및 지속시간)이 사용된다. 동일한 햅틱 출력 상의 중첩하는 상이한 오디오(예를 들어, 높은 피치 대 낮은 피치, 금속 톤(tone) 대 유리 톤 대 세라믹 톤으로 재생되는 동일한 오디오 등)는 상이한 시맨틱 성분들을 생성한다. 이 예들은 총망라하는 것으로 의도되지 않으며; 다른 오디오 파형들이 사용될 수 있다.
예를 들어, 각각의 햅틱 출력은 대응하는 오디오 출력을 수반할 수 있으며, 이때 각각의 오디오 출력의 적어도 일부분은 각각의 햅틱 출력의 적어도 일부분과 동시 발생적이거나, 또는 각각의 오디오 출력은 각각의 햅틱 출력과 시간적으로 가깝게 발생하여 각각의 햅틱 출력 및 각각의 오디오 출력이 인지적으로 동시 발생적이거나 동시적이도록 한다. 햅틱 및 오디오 파형들은 완벽하게 정렬될 필요는 없으며, 디바이스는, 소정 클래스들의 햅틱 및 오디오 출력들에 대해, 햅틱 및 오디오 출력들이 그것들이 시간적으로 약간 오프셋되더라도 사용자에 의해 동시 발생적이거나 동시적인 것으로 인지될 것이라는 사실을 고려할 수 있다(예를 들어, 오디오 출력이 햅틱 출력보다 빨리 처리되기 때문에, 오디오 출력을 제공하기 전에 햅틱 출력을 제공하는 것은, 일부 상황에서, 사용자로 하여금 오디오 및 햅틱 출력을 동시에 또는 동시적으로 발생하는 것으로 인지하게 할 것이다). 수반하는 오디오 부분에서의 변형들은 또한 오디오 출력을 포함하는 실시예들 사이에서 변할 수 있다. 예를 들어, 제1 출력과 연관된 오디오 성분의 진폭, 제1 출력과 연관된 오디오 성분의 지속시간, 제1 출력과 연관된 오디오 성분과 연관된 하나 이상의 음악 품질(예를 들어, 피치, 톤 등) 각각은, 소정 상황들에서 변할 수 있다.
애플리케이션 상태 기반 햅틱 출력
일부 실시예들에 따라, 애플리케이션에 대한 검출된 경보 조건과 연관된 시간에 애플리케이션과 연관된 하나 이상의 상태는 대응하는 햅틱 출력을 제공하기 위한 기초를 제공한다. 애플리케이션의 상태와 상관되는 햅틱 출력을 제공하는 것은 보다 효율적인 인간-기계 인터페이스를 생성하고, 이에 의해 사용자가 동작들을 수행하는 데 걸리는 시간의 양을 감소시키며, 이는 결과적으로 에너지 사용을 감소시키고 배터리 전력공급 디바이스들에 대한 배터리 수명을 증가시킨다. 도 7은 일부 실시예들에 따른, 애플리케이션과 연관된 경보 조건을 검출하고 대응하는 햅틱 출력을 제공하기 위한 방법(700)의 흐름도이다. 일부 실시예들에서, 도 7에 도시된 단계들 이외의 상이한 단계들이 수행될 수 있음에 유의한다.
방법은 일부 실시예들에 따라, 디바이스(100)가 컴퓨팅 디바이스(100) 상에서 실행되는 애플리케이션과 연관된 경보 조건을 검출하는 것(705)에 의해 시작된다. 컴퓨팅 디바이스(100) 상에서 실행되는 애플리케이션에 대해, 경보 조건은 다양한 실시예들에 따라 다양한 형태를 취한다. 경보 조건은 디바이스의 사용자를 대상으로 하는 임의의 이벤트, 통지, 또는 다른 경보이다. 하나의 유형의 경보 조건은 애플리케이션에 의해 자동으로 트리거되거나, 또는 애플리케이션 내부로부터 트리거되는 이벤트에 대응한다. 예를 들어, 애플리케이션에 의해 트리거된 경보 조건은 미리결정되거나 스케줄링된 경보들, 예컨대 리마인더, 스케줄링된 통지, 또는 애플리케이션에 의해 생성된 알람을 포함한다. 제2 유형의 경보 조건은 디바이스의 외부에 있는 소스로부터 애플리케이션에 의해 수신되는, 자동으로 개시된 이벤트 통지이다. 예를 들어, 시스템 생성된 이메일 또는 메시지, 예컨대 대량 이메일, 스팸, 메일링 목록을 대상으로 하는 시스템-생성된 이메일, 또는 임의의 다른 시스템 생성된 통신. 제3 유형의 경보 조건은 디바이스를 동작시키는 사용자 이외의 인간 사용자로부터 애플리케이션에 의해 수신된, 수동-개시된 이벤트 통지이다. 예를 들어, 사용자의 연락처 목록 상의 전화번호 또는 알려진 이메일 주소로부터의 착신 메시지 또는 통화. 예를 들어, 이메일 또는 메시징 애플리케이션의 사용자 인터페이스가 디바이스의 디스플레이 상에 표시되는 동안 이메일 또는 텍스트 메시지의 수신을 검출하는 것과 같은, 다양한 경보 조건들이 검출될 수 있다.
경보 조건에 응답하여, 디바이스(100)는 일부 실시예들에 따라, 경보 조건과 연관된 시간에 애플리케이션과 연관된 상태를 결정한다(710). 하나의 예에서, 경보 조건과 연관된 시간은 경보가 수신되는 시간이다. 두 번째 예에서, 경보 조건과 연관된 시간은 경보가 검출되는 시간이다.
일부 실시예들에서, 경보 조건과 연관된 시간에 애플리케이션과 연관된 상태를 결정하는 것(710)은 애플리케이션에 대한 사용자 인터페이스가 경보 조건의 시간에 또는 그 부근에서 디바이스 상에 표시되었는지 여부를 결정하는 것을 포함한다. 일부 상황들에서 그것은 경보 조건의 시간이며, 다른 상황들에서, 논의중인(at issue) 시간 기간은 경보 조건과 연관된 시간을 둘러싸는 특정된 시간 간격, 예를 들어 경보 조건과 연관된 시간 이전 및/또는 이후의 간격에 걸쳐 이어지는 미리정의된 시간 윈도우 동안을 포함한다.
일부 실시예들에 따르면, 상태는, 포어그라운드(foreground)에서 실행되는 애플리케이션에 기초하여 애플리케이션이 활성 상태에 있었다는 결정과 함께, 경보 조건과 연관된 시간에 애플리케이션이 컴퓨팅 디바이스 상에서 실행 중이었는지 여부에 기초하여 결정될 수 있다(710). 예를 들어, 애플리케이션이 실행 중인 동안에 디바이스의 디스플레이 상에서 볼 수 있는 사용자 인터페이스 요소. 이 경우에는, 애플리케이션이 컴퓨팅 디바이스 상에서 실행 중이지 않거나 백그라운드(background)에서 실행 중인 것에 기초하여, 애플리케이션이 비활성 상태에 있었다는 결정. 예를 들어, 디바이스는 능동적으로 사용 중이지 않거나, 애플리케이션의 지시로 계산들을 수행하고 있지 않거나, 또는 애플리케이션의 활성 상태를 나타내는 사용자 인터페이스 요소를 표시하고 있지 않았다. 사용자 인터페이스 디스플레이의 상태 및 애플리케이션의 활동 상태 둘 모두의 조합이, 옵션적으로, 결정(710)에서 사용된다.
도 8을 참조하면, 일부 실시예들에 따라, 디바이스(100) 상의 포어그라운드에서 능동적으로 실행 중이고 사용자 인터페이스가 보이는, 이메일 애플리케이션(800)의 예가 도시된다. 이 예에서, 이메일 애플리케이션(800)은 활성 상태에 있다. 반대로, 디바이스(100) 상의 비활성 이메일 애플리케이션의 예가 도 4a에 도시되어 있으며, 여기서 이메일 애플리케이션(800)은, 그것이 디바이스(100) 상에서 보이지 않으므로, 실행 중이지 않거나 백그라운드에서 실행 중이다.
도 7을 다시 참조하면, 이 예에서, 경보 조건과 연관된 시간에 애플리케이션과 연관된 상태는, 애플리케이션에 대응하는 각각의 사용자 인터페이스 윈도우가 경보 조건과 연관된 시간에 다중-애플리케이션-윈도우 사용자 인터페이스의 포어그라운드에서 표시되었는지 여부에 기초하여 결정된다(710). 예를 들어, 다수의 애플리케이션 윈도우들이 스택으로 표시되는 경우, z-층에서 가장 앞쪽 위치에 있는 애플리케이션은 활성 애플리케이션으로 간주된다. 본 기술 분야에 공지된 바와 같이, 각각의 사용자 인터페이스 윈도우는 사용자 입력 또는 사용자 상호작용에 대해 수용적이고/이거나 이들을 수용하도록 구성되는 애플리케이션 윈도우이며, 때때로 포커스를 갖는 윈도우로 칭해진다.
일부 실시예들에 따르면, 하나 이상의 다른 사용자 인터페이스 윈도우가 경보 조건과 연관된 시간에 디바이스 상의 다중-애플리케이션-윈도우 사용자 인터페이스 상에 동시에 표시되며, 이 경우에, 경보 조건과 연관된 시간에 애플리케이션과 연관된 상태를 결정하는 것(710)은 애플리케이션에 대응하는 각각의 사용자 인터페이스 윈도우가 경보 조건과 연관된 시간에 다중-애플리케이션-윈도우 사용자 인터페이스에서 표시되었는지 여부를 결정하는 것을 포함한다.
일부 실시예들에 따르면, 경보 조건과 연관된 시간에 애플리케이션과 연관된 상태를 결정하는(710) 다른 방법은 애플리케이션에 대한 사용자 입력이 경보 조건과 연관된 시간에 검출되었는지 여부를 결정하는 것을 포함하며, 이때 사용자 상호작용은 경보 조건과 상이하다. 예를 들어, 다양한 상황들에서의 사용자 입력은 사용자 터치 입력, 음성 입력, 또는 시각적/시선(gaze)-기반 입력, 또는 애플리케이션에 대한 사용자 입력을 수신하는 임의의 수단을 포함한다. 경보와 연관된 시간은 일부 경우들에서 경보 조건의 시간이며, 다른 상황들에서는 경보 조건과 연관된 시간을 둘러싸는 특정된 시간 간격, 예를 들어 경보 조건과 연관된 시간 이전 및/또는 이후의 간격에 걸쳐 이어지는 미리정의된 시간 윈도우 동안을 포함한다.
경보 조건과 연관된 시간에 검출된 사용자 상호작용에 기초하여 애플리케이션이 활성 상태에 있었음이 결정되는(710) 일부 실시예들에서, 디바이스(100)는 추가로, 경보 조건과 연관된 시간에 사용자 상호작용과 연관된 사용자 참여의 레벨을 결정한다. 일부 상황들에서 사용자 참여는 시선 단독과 같은 참여의 가장 낮은 레벨로부터, 음성 또는 터치 단독과 같은 참여의 중간 레벨들을 지나, 애플리케이션에 초점을 맞추기 위해 조합된 터치, 음성, 및 시선과 같은 참여의 더 높은 레벨까지 범위의, 애플리케이션과의 가능한 사용자 상호작용들의 스펙트럼이다(예를 들어, 참여의 현재 레벨, 미리결정된 기간에 걸친 참여의 레벨 이력, 또는 이 둘의 조합).
경보 조건과 연관된 시간에 애플리케이션과 연관된 상태를 결정하는 것(710)은, 일부 실시예들에서, 경보 조건과 연관된 시간에 컴퓨팅 디바이스의 상태를 결정하는 것을 포함한다. 이 예에서, 애플리케이션이 활성 상태에 있었음을 결정하는 것은 컴퓨팅 디바이스가 경보 조건과 연관된 시간에 활성이었음을 결정하는 것을 포함한다. 예를 들어, 활성 디바이스는 일부 실시예들에 따라, 전원이 켜지고(예를 들어, 디스플레이가 온임) 그리고/또는 능동적으로 사용 중인 디바이스를 포함한다. 마찬가지로, 애플리케이션이 비활성 상태에 있었음을 결정하는 것은 컴퓨팅 디바이스가 경보 조건과 연관된 시간에 소정 방식으로 비활성이었음을 결정하는 것을 포함한다. 예를 들어, 전원이 차단된 디바이스, 슬립(sleep) 또는 하이버네이션(hibernation) 모드에 있는 디바이스, 능동적으로 사용 중이지 않은 디바이스, 디스플레이가 꺼진 디바이스는 각각, 다양한 상황들에서 비활성 디바이스에 대응한다.
경보 조건과 연관된 시간에 애플리케이션이 활성 상태에 있었다는 결정에 따라, 디바이스(100)는 일부 실시예들에 따라, 제1 세트의 출력 특성들을 갖는 제1 햅틱 출력을 제공한다(715).
제1 햅틱 출력에 대한 제1 세트의 특성들은 제1 햅틱 출력의 진폭, 지속시간, 규칙성, 반복 주파수, 또는 어토믹 햅틱 특징들의 변형 중 하나 이상을 포함한다. 일부 상황들에서, 제1 햅틱 출력은 제1 오디오 출력을 수반한다. 예를 들어, 각각의 햅틱 출력은 대응하는 오디오 출력을 수반할 수 있으며, 이때 각각의 오디오 출력의 적어도 일부분은 각각의 햅틱 출력의 적어도 일부분과 동시 발생적이거나, 또는 각각의 오디오 출력은 각각의 햅틱 출력과 시간적으로 가깝게 발생하여 각각의 햅틱 출력 및 각각의 오디오 출력이 인지적으로 동시 발생적이거나 동시적이도록 한다. 햅틱 및 오디오 파형들은 완벽하게 정렬될 필요는 없으며, 디바이스(100)는, 소정 클래스들의 햅틱 및 오디오 출력들에 대해, 햅틱 및 오디오 출력들이 그것들이 시간적으로 약간 오프셋되더라도 사용자에 의해 동시 발생적이거나 동시적인 것으로 인지될 것이라는 사실을 고려할 수 있다(예를 들어, 오디오 출력이 햅틱 출력보다 빨리 처리되기 때문에, 오디오 출력을 제공하기 전에 햅틱 출력을 제공하는 것은, 일부 상황에서, 사용자로 하여금 오디오 및 햅틱 출력을 동시에 또는 동시적으로 발생하는 것으로 인지하게 할 것이다). 수반하는 오디오 부분에서의 변형들은 또한 오디오 출력을 포함하는 실시예들 사이에서 변할 수 있다. 예를 들어, 제1 출력과 연관된 오디오 성분의 진폭, 제1 출력과 연관된 오디오 성분의 지속시간, 제1 출력과 연관된 오디오 성분과 연관된 하나 이상의 음악 품질(예를 들어, 피치, 톤 등) 각각은, 소정 상황들에서 변할 수 있다.
제1 및 제2 세트의 특성들은 일부 실시예들에 따라, 컴퓨팅 디바이스의 디바이스 유형에 대응한다. 예를 들어, 동일한 이벤트에 대해, 디바이스(100)는 옵션적으로 디바이스의 유형(예를 들어, 전화 대 시계 대 랩톱 컴퓨터 대 다른 핸드헬드 디바이스)에 기초하여 상이한 햅틱 출력들을 제공한다. 그러나, 일부 실시예들에서, 제1 출력의 햅틱 성분과 제2 출력의 햅틱 성분 사이의 차이는 이들이 수행되고 있는 디바이스에 관계없이 유지된다. 이러한 상황에서, 모든 디바이스 유형들 상에서 동일한 패턴의 햅틱 출력들이 제공되지만, 햅틱 출력들의 진폭의 차이들은 출력들이 수행되고 있는 디바이스에 기초한다.
디바이스 자체에서의 변형들, 및 따라서 햅틱 출력들의 세부 사항들은 상이한 실시예들에 따라 변한다. 예를 들어, 일부 상황들에서 디바이스는 터치 감응형 디스플레이를 갖는다. 일부 실시예들에서, 제1 햅틱 출력 및 제2 햅틱 출력은 컴퓨팅 디바이스 상의 터치 감응형 디스플레이를 통해 제공된다. 이 예에서, 디바이스(100)는 터치 감응형 디스플레이를 통해 사용자 터치 입력을 수신하는 것 및 동일한 터치 감응형 디스플레이를 통해 햅틱 출력을 제공하는 것 둘 다를 수행할 수 있다. 이러한 양방향 터치 감응성은 일부 실시예들에 따라, 디바이스(100)가 수신된 사용자 입력에 기초하여 피드백을 제공할 수 있게 한다.
전술한 바와 같이, 디바이스(100)는 옵션적으로 경보 조건과 연관된 시간에 사용자 상호작용과 연관된 사용자 참여의 레벨을 결정한다. 이들 상황에서, 디바이스(100)는 추가로, 결정된 참여 레벨에 기초하여 제1 햅틱 출력에 대한 제1 세트의 출력 특성들 중 하나 이상을 결정한다. 일부 실시예들에서, 오디오 및/또는 햅틱 성분의 진폭, 지속시간, 반복 주파수는 애플리케이션과의 사용자 상호작용/참여의 측정치와 반비례로 변화될 수 있다. 따라서, 보다 높은 정도의 사용자 상호작용에 대해, 제1 출력이 더 낮은 세기를 갖도록 제1 세트의 출력 특성들이 선택됨으로써, 그것이 더 미묘하고 덜 인지가능하게 한다. 따라서, 사용자가 이미 애플리케이션과 높은 정도의 참여 또는 상호작용을 가질 때, 사용자는 지나치게 강한 신호에 노출되지 않는다. 일부 실시예들에 따라, 사용자가 더 적게 참여하면, 디바이스 또는 애플리케이션에 추가적 주의를 끌기 위해 더 높은 세기 신호가 사용자에게 제공된다. 예를 들어, 검출된 사용자 상호작용이 증가된 레벨의 사용자 상호작용/참여를 반영하는 터치 입력 또는 터치 제스처(및/또는 사용자 시선)를 포함하는 경우, 더 약하거나 덜 두드러진(pronounced) 출력이 사용자에게 제공되며, 이는 사용자가 애플리케이션에 더 많이 참여하는 것(보는 것 또는 터치를 통해 애플리케이션과 상호작용하는 것)으로 인해 경보 조건을 알아차릴 가능성이 크기 때문이다. 검출된 사용자 상호작용이 음성 입력은 포함하지만 수반하는 터치 또는 시선은 포함하지 않아서, 애플리케이션과의 참여의 보다 낮은 레벨 또는 측정치를 반영하는 경우, 경보 조건에 추가적 주의를 끌기 위해 더 강하고 더 두드러진 출력이 옵션적으로 제공된다.
경보 조건과 연관된 시간에 애플리케이션이 비활성 상태에 있었다는 결정에 따라, 디바이스(100)는 옵션적으로 경보 조건의 발생을 나타내는 제2 햅틱 출력을 제공하며(720), 제2 햅틱 출력은 제2 세트의 출력 특성들을 갖고, 여기서 제2 햅틱 출력은 제1 햅틱 출력과 상이하다.
일부 실시예들에 따르면, 제2 햅틱 출력은 제1 햅틱 출력과 상이하고 그것보다 큰 세기를 갖는다. 예를 들어, 신호 진폭은 옵션적으로 제1 햅틱 출력보다 더 크고, 주파수는 더 높고, 그리고/또는 지속시간은 더 길다. 제2 햅틱 출력은 일부 상황들에서 제1 햅틱 출력보다 큰 세기를 갖는다. 일부 실시예들에서, 제1 출력의 햅틱 성분은 제1 세트의 파라미터들(예를 들어, 더 낮은 진폭, 덜 주기적인/규칙적인, 더 낮은 반복 주파수 또는 카운트의 이벤트들, 더 짧은 지속시간의 출력, 덜 간섭적(intrusive)/인지가능/두드러진)을 가지며, 디바이스의 활성 상태 동안, 제2 상태 동안의 제2 세트의 파라미터들보다, 덜 두드러진(예를 들어, 마이크로탭들) 제1 세트의 햅틱 특징들 또는 어토믹 햅틱 성분들로 구성된다. 유사하게, 각각의 오디오 성분들을 수반하는 경우, 제1 출력의 오디오 성분은 활성 상태 동안 제1 세트의 파라미터들(예를 들어, 더 낮은 진폭, 더 짧은 지속시간의 출력, 덜 간섭적/인지가능/강렬한 오디오 음들)을 갖고 비활성 상태 동안 제2 세트의 파라미터들을 갖는다. 더 높은 세기 출력의 목적은 일부 실시예들에 따라, 애플리케이션이 비활성 상태에 있을 때, 경보 조건에 증가된 사용자 주의를 끄는 것이다.
전술한 바와 같이, 디바이스(100) 상태는, 옵션적으로, 햅틱 출력의 변조 또는 출력 특성들을 결정하기 위해 사용된다. 예를 들어, (예를 들어, 디바이스 배터리 수명이 5%, 10%, 15% 또는 20%와 같은 미리정의된 임계치 미만으로 떨어졌기 때문에) 디바이스가 전력 절약 상태에 있을 때, 일부 실시예들에 따라, 전력을 절약하는 햅틱 출력들(예를 들어, 더 낮은 진폭, 더 짧은 지속시간, 및/또는 더 낮은 주파수를 갖는 햅틱 출력들)이, 그 햅틱 출력들이 사용자에 의해 알아채질 가능성이 낮더라도, 사용된다. 디바이스가 전력 절약 상태에 있지 않을 때, 일부 상황들에서 디폴트 햅틱 출력들이, 그 햅틱 출력들이 전력을 절약하지 않더라도, 사용된다(예를 들어, 전력을 절약하는 햅틱 출력들에 비해 상대적으로 더 높은 진폭, 더 긴 지속시간, 및/또는 더 높은 주파수를 갖는 햅틱 출력들). 일부 실시예들에서, 디바이스가 전력 절약 상태에 있으므로 전력 절약 햅틱 출력들이 사용되는 경우에도, 제1 출력의 햅틱 성분과 제2 출력의 햅틱 성분 사이의 차이는 유지된다.
제1 햅틱 출력과 마찬가지로, 제2 햅틱 출력은 옵션적으로 오디오 출력을 수반하며, 이때 제2 햅틱 출력의 파형은 수반하는 오디오 출력의 파형에 기초하여 생성되고, 그것을 미러링(mirroring)하고, 그것에 동기화된다. 일부 실시예들에서, 햅틱 성분들의 파형들은 도 6과 관련하여 논의된 바와 같이, 각각의 오디오 성분들의 파형들로부터 생성되고 그것들과 매칭되거나, 그것들을 모방하거나, 미러링하거나, 또는 그것들에 동기화된다.
햅틱 및 오디오의 다양한 조합들이 사용자에게 상이한 시맨틱 정보를 제공하기 위해 디바이스에 의해 출력될 수 있다. 첫 번째 예로서, 제1 햅틱 출력은 오디오 출력을 수반하지 않지만 제2 햅틱 출력은 오디오 출력을 수반한다. 두 번째 예로서, 제1 햅틱 출력은 제1 오디오 출력을 수반하고, 제2 햅틱 출력은 제1 오디오 출력과 상이한 제2 오디오 출력을 수반한다.
주어진 햅틱 파형은 상이한 오디오 파형들을 수반할 때 상이한 인지들 및 따라서 시맨틱 정보를 생성할 수 있다. 예를 들어, 고주파 오디오 톤을 갖는 햅틱 성분 출력은, 저주파 오디오 톤을 갖는 동일한 햅틱 성분 출력과 비교하여, 상이한 인지가능한 유닛, 및 따라서 시맨틱 정보를 제공한다. 고주파 톤은 햅틱 출력에 의해 표현되는 이벤트들의 클래스에서의 중요한 발생에 증가된 사용자 주의를 끄는 데 사용되는 반면, 저주파 톤은 이벤트들의 클래스에서의 상태 변화를 나타내는 데 사용될 수 있다. 예를 들어, 주어진 햅틱 출력은 텍스트 메시지의 수신을 나타내는 데 사용될 수 있으며, 긴급 메시지(또는 지정된 전송자로부터의 메시지)에 대한 고주파 톤, 또는 비-긴급 메시지 또는 비-지정된 전송자로부터의 수신된 메시지에 대한 저주파수 톤을 수반할 수 있다. 또한, 2개의 관련된 경보(예를 들어, 텍스트 메시지를 수신하는 것에 대응하는 경보 및 메일 메시지를 수신하는 것에 대응하는 경보)가 동일한 카덴스(cadence)를 갖는 상이한 대응하는 오디오 성분들을 가지며 따라서 동일한 햅틱 성분을 사용한다(예를 들면, 공유된 햅틱 성분은 두 경보들이 메시지 수신 경보들에 대응한다는 정보를 제공하는 한편, 상이한 오디오 성분들은 어떤 유형의 메시지가 수신되었는지에 관한 정보를 제공한다).
일부 실시예들에서, 제1 햅틱 출력은 제2 햅틱 출력과 유사하거나, 동일하거나, 실질적으로 동일하다. 하나의 예로서, 제1 햅틱 출력은 오디오 출력을 수반하고 제2 햅틱 출력은 동일한 오디오 출력을 수반하며; 이 예에서 제1 햅틱 출력은 제2 햅틱 출력과는 상이하다. 도 8의 활성 이메일 애플리케이션(800) 및 도 4a의 비활성 이메일 애플리케이션의 위의 예를 상기한다. 이메일 애플리케이션(800)에 대한 예시적인 경보 조건 정보 및 다양한 조건들, 상태들, 모드들 및 조건들에 대응하는 출력들을 도시하는 표가 아래에 있다.
[표 1]
Figure pat00018
표 1은 수신되고 있는 이메일의 단일 경보 조건의 변형들에 기초한 다양한 가능한 출력들을 도시한다. 처음 7개 행은 이메일이 수신될 때 애플리케이션이 있을 수 있는 다음의 다양한 모드들에 따른, 새 메시지가 없으면서 활성 상태에 있는 애플리케이션을 도시한다: 애플리케이션이 메일상자들 스크린을 표시하는 것, 받은편지함을 표시하는 것, 선택된 메시지를 표시하는 것, 전송된 메시지 상자를 표시하는 것, 진행 중인 초안(draft)을 표시하는 것, 이메일 검색 필드, 및 애플리케이션이 백그라운드에서 실행 중일 때. 처음 8개 행에서는 새 메시지가 수신되지 않으므로, 출력(햅틱 또는 기타)이 존재하지 않는다.
그러나, 마지막 8개 행은 수신되고 있는 새 메시지의 조건 및 대응하는 출력들을 도시한다. 도시된 바와 같이, 대부분의 활성 모드들에 대해, 햅틱 출력은 마이크로탭이며 오디오 출력은 이메일 수신됨 디폴트 오디오이다. 그러나, 애플리케이션이 비활성인 마지막 행 및 애플리케이션이 활성이지만 백그라운드에서 실행 중인 마지막에서 두 번째 행의 경우, 햅틱 출력은 페이드 탭(fade tap)이며 오디오 출력은 이메일 수신됨 디폴트를 유지한다. 따라서, 오디오 출력은 애플리케이션이 활성인지 여부에 관계없이 유지되지만, 애플리케이션이 비활성이거나 백그라운드에서 실행 중일 때 햅틱 출력은 더 높은 세기를 갖는다(페이드 탭 대 마이크로탭). 표 1은 일부 실시예들에 따른 조건들 및 대응하는 출력들을 제공하지만 단지 예시일 뿐이며; 상이한 실시예들에 따라 경보들, 상태들, 모드들, 조건들 및 출력들의 다른 조합들이 사용된다.
하나의 예로서, 제1 시점에서, 애플리케이션이 활성 상태에 있는 동안, 디바이스(100)는 애플리케이션과 연관된 제1 경보 조건을 검출하고(705), 제1 애플리케이션이 활성 상태에 있는 동안 제1 경보 조건을 검출하는 것에 응답하여, 제1 경보 조건을 나타내는 제1 출력을 제공한다(715). 제2 시점에서, 제1 애플리케이션이 비활성 상태에 있는 동안, 디바이스(100)는 제2 경보 조건을 검출하고, 애플리케이션이 비활성 상태에 있는 동안 제2 경보 조건을 검출하는 것에 응답하여, 제2 경보 조건을 나타내는 제2 햅틱 출력을 제공하며(720), 제2 햅틱 출력은 제1 햅틱 출력과 상이하다.
도 7에서의 동작들이 설명되는 특정한 순서는 단지 예시적이며, 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내도록 의도되지 않는다는 것을 이해하여야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방법들을 인식할 것이다. 또한, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(900, 1000, 1100, 1200, 1300, 2500, 2600, 3000, 3200))과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들이 도 7과 관련하여 전술한 방법(700)과 유사한 방식으로 또한 적용가능하다는 것에 유의해야 한다. 예를 들어, 방법(700)을 참조하여 전술한 입력들, 경보 조건들, 애플리케이션들, 상태들, 및 햅틱 출력들은 옵션적으로, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(900, 1000, 1100, 1200, 1300, 2500, 2600, 3000, 3200))을 참조하여 본 명세서에 기술된 입력들, 경보 조건들, 애플리케이션들, 상태들, 및 햅틱 출력들의 특성들 중 하나 이상을 갖는다. 간결성을 위해, 이들 상세사항들은 여기서 반복되지 않는다.
경보 조건 트리거 기반 햅틱 출력
경보 조건들은 수동으로 또는 자동으로 트리거될 수 있다. 검출된 경보 조건이 수동으로 또는 자동으로 트리거되었는지 여부는 일부 실시예들에 따라, 대응하는 햅틱 출력을 제공하기 위한 기초를 제공한다. 경보 조건이 수동으로 또는 자동으로 트리거되었는지 여부와 상관되는 햅틱 출력을 제공하는 것은 보다 효율적인 인간-기계 인터페이스를 생성하고, 이에 의해 사용자가 동작들을 수행하는 데 걸리는 시간의 양을 감소시키며, 이는 결과적으로 에너지 사용을 감소시키고 배터리 전력공급 디바이스들에 대한 배터리 수명을 증가시킨다. 도 9는 일부 실시예들에 따른, 애플리케이션과 연관된 경보 조건을 검출하고, 조건이 수동-개시된 또는 자동-개시된 이벤트에 의해 트리거되었는지 여부에 따라 햅틱 출력을 제공하기 위한 방법(900)의 흐름도이다. 일부 실시예들에서, 도 9에 도시된 단계들 이외의 상이한 단계들이 수행될 수 있음에 유의한다.
방법은 디바이스(100)가 애플리케이션과 연관된 경보 조건을 검출하는 것(905)에 의해 시작된다. 컴퓨팅 디바이스(100) 상에서 실행되는 애플리케이션에 대해, 경보 조건은 다양한 실시예들에 따라 다양한 형태들을 취한다. 경보 조건은 디바이스의 사용자를 대상으로 하는 임의의 이벤트, 통지, 또는 다른 경보이다. 하나의 유형의 경보 조건은 수동-개시된 이벤트에 의해 트리거되는 이벤트에 대응하고, 제2 유형의 경보 조건은 자동-개시된 이벤트에 의해 트리거되는 이벤트에 대응한다. 일부 상황들에서, 디바이스(100)는 터치 감응형 디스플레이를 갖는다.
경보 조건을 검출하는 것에 응답하여, 디바이스(100)는 경보 조건이 수동-개시된 이벤트에 의해 트리거되었는지 여부를 결정한다(910). 이 단계는 경보 조건이 인간 사용자에 의해 개시된 이벤트에 대응하는지 여부를 결정하는 것을 포함한다. 표 2와 관련하여 하기에서 더 설명되는 바와 같이, 다양한 상황들이 이벤트가 인간 사용자에 의해 개시되었는지 여부에 대한 디바이스(100)에 의한 결정에 기여할 수 있다.
일부 실시예들에서, 경보 조건 특성들이 경보 조건이 수동-개시된 이벤트에 의해 트리거되었음을 나타낸다고 결정하는 것(910)은 경보 조건이 컴퓨팅 디바이스의 사용자 이외의 인간 사용자에 의해 개시된 이벤트에 대응하는지 여부를 결정하는 것을 포함한다. 이 결정을 위한 일부 예시적인 조건들이, 또한 아래에서 논의되는 바와 같이 표 2에 도시된다.
경보 조건이 수동-개시된 이벤트에 의해 트리거되었음을 결정하는 것은, 일부 실시예들에서, 경보 조건이 인간 사용자로부터 수신된 입력에 대응하는지 여부를 결정하고, 컴퓨팅 디바이스의 사용자를 식별하며, 컴퓨팅 디바이스의 사용자에게 입력에 관해 경보하기 위한 인간 사용자로부터의 표시를 포함하는 것을 포함한다. 일부 실시예들에서, 인간 사용자로부터 수신된 입력은 디바이스(100)의 사용자로부터 온 것이지만, 일부 실시예들에서 입력은 다른 디바이스 상의 다른 사용자(예를 들어, 다른 사용자로부터 디바이스 사용자로의 개인 메시지(personal message)의 전송자)로부터 수신된다.
표 2는, 경보 조건이 수동-개시된 이벤트에 의해 트리거되었다는 것, 그것이 인간 사용자에 의해 개시되었는지 여부, 및 그 사용자가 디바이스(100)의 사용자와 상이한 사용자였는지 여부를 결정하는(910) 데 사용되는 정보를 디바이스(100)가 갖는, 몇 가지 예시적인 상황들을 도시한다. 표 2에 도시된 애플리케이션들은 메시지, 이메일, 전화, 캘린더, 타이머, 활동 모니터 및 소셜 네트워킹을 포함하지만, 이러한 결정을 하기 위해 유사한 정보를 디바이스(100)에 제공하는 임의의 다른 애플리케이션들일 수 있다.
[표 2]
Figure pat00019
도시된 예들의 경우, 인간/자동 열은 특정한 경보, 조건 및 애플리케이션이 수동으로(사람이) 개시되거나, 자동으로 개시될 수 있는 경보에 대응하는지 여부, 또는 그것이 인간 또는 자동 수단에 의해 개시될 수 있는지를 도시한다. 예를 들어, 제2, 제4, 제6 및 제7 행은 각각 인간 사용자에 의한 수동 행위를 나타낸다. 이들 예에서, 디바이스 상의 애플리케이션(예를 들어, 메시지, 이메일, 또는 전화 애플리케이션들)으로의 사용자 입력과 같이, 행위가 구체적으로 디바이스의 사용자(사용자 열)에 의해 취해졌으므로, 디바이스(100)는 사용자가 인간 사용자였음을, 그리고 보다 구체적으로는 디바이스 사용자였음을 쉽게 결정할 수 있다. 그러나, 다른 상황들에서 일부 경보 조건들은 수동으로, 인간 사용자에 의해, 또는 자동으로 생성될 수 있는 것으로서 디바이스(100)에 알려진 유형이다. 예를 들어, 제1, 제3, 및 제5 행은 이 카테고리 내의 경보 조건들을 갖는다. 특히, 메시지 애플리케이션에서의 수신된 새 메시지는 전형적으로 수동(인간-개시된) 이벤트, 예를 들어, 상이한 디바이스 사용자에 의해 전송된 텍스트 또는 다른 메시지이다. 그러나, 메시지들은 또한 스팸 또는 광고 텍스트 메시지들과 같이, 시스템에 의해 자동-생성될 수 있다. 유사하게, 새 이메일 메시지는 인간 사용자에 의해 또는, 예를 들어, 봇(bot)에 의해 생성될 수 있는, 대량 이메일, 스팸 이메일, 또는 구독 리스트서브(listserv) 이메일과 같이, 시스템에 의해 자동으로 개시될 수 있다. 마지막 예에서, 전화 애플리케이션에서의 착신 통화는 전형적으로 인간-개시된 이벤트이지만, 또한 예를 들어, 기부금을 요청하거나 정치 운동의 일부로서, 발신자들의 목록에 자동-다이얼링하는 시스템에 의한 자동-개시된 통화일 수 있다. 이 상황들 각각에서, 이벤트가 수동으로 또는 자동으로 개시되었는지에 관한 보다 확실한 결정을 할 수 있도록 경보 조건의 소스에 관한 추가적 정보가 필요하다.
예를 들어, 이메일 또는 메시지의 경우, 디바이스(100)는, 경보 조건이, 관리되거나, 생성되거나, 제어되거나, 다른 식으로 사용자에 의해 연관되는 연락처들의 목록 내의 전송자로부터의 개인 통신(personal communication)에 대응하는지 여부를 결정할 수 있다. 가장 간단한 예는 이메일 주소들 또는 전화번호들을 구비한 연락처 카드들과 같은 실제 연락처 파일이지만, 일부 상황들에서 다른 연락처 목록들 또한 사용자가 이전에 통신한 이메일 주소들 또는 전화번호들을 포함한다. 이 예들은 단지 예일 뿐이며; 통신이 인간 사용자에 의해 수동으로 개시되었을 가능성이 있는지 여부를 디바이스(100)가 확인할 수 있는 많은 다른 수단이 있다.
다른 예가 표 2의 마지막에서 두 번째 행에 도시되어 있다. 이 예에서, 소셜 네트워크 애플리케이션은 사용자가 포스트에 태그되었다는 통지를 전송한다. 통신 자체는 소셜 네트워킹 서버에서 나왔지만, 통지의 콘텐츠는, 포스트가 소셜 네트워킹 애플리케이션 내에서 디바이스 사용자에 연결된 인간 사용자에 의해 수동으로 개시되었음을 나타낸다.
경보 조건이 수동-개시된 이벤트에 의해 트리거되었다는 결정에 따라, 디바이스(100)는 일부 실시예들에 따라, 수동-개시된 이벤트 통지에 대응하는 제1 햅틱 출력을 제공한다(915).
디바이스(100)가 경보 조건이 수동 이벤트에 의해 개시되었음을 결정하면, 경보 조건에 대응하는 햅틱 출력이 제공된다. 제1 햅틱 출력은 일부 실시예들에 따라, 컴퓨팅 디바이스의 터치 감응형 디스플레이를 통해 제공된다. 일부 실시예들에서, 결정하는 것은 추가로, 수동-개시된 이벤트와 연관된 긴급성의 측정치를 결정하고 긴급성의 측정치에 기초하여 제1 햅틱 출력의 세기를 변조하는 것(912)을 포함한다. 예를 들어, 디바이스(100)는 메시지의 긴급성을 결정하기 위해 다른 최종 사용자로부터의 착신 메시지의 콘텐츠를 분석한다. 따라서, 일부 실시예들에서 디바이스(100)는 이메일 내의 날짜 정보 또는 메시지의 제목/콘텐츠, 제목 또는 메시지에 사용된 키워드들(예를 들어, "긴급")을 검사하거나, 또는 "중요" 플래그와 같은, 메시지에 포함된 메타데이터를 검사한다. 디바이스(100)는 일부 실시예들에 따라, 메시지의 전송자들 또는 수신자들이 사용자에 의해 중요한 사람들로서 또는 소정의 다른 특수한 지정으로 플래그된 개인들을 포함하는지 여부를 결정한다. 이어서 디바이스(100)는 착신 메시지의 콘텐츠와 연관된 긴급성에 비례하는 세기(예를 들어, 진폭, 지속시간, 주파수)의 햅틱 및/또는 오디오 출력을 제공한다(915). 일반적으로, 일부 실시예들에 따라, 예상되거나 덜 긴급한 통지들/출력들이 한 세트의 출력 특성들을 갖고, 예상되지 않은 통지들은 증가된 사용자 주의를 끌려고 시도하기 위해 보다 강렬한 제2 세트의 출력 특성들을 갖는다.
일부 상황들에서, 디바이스(100)는 수동-개시된 이벤트와 연관된 하나 이상의 컨텍스트 속성을 결정하고 그것을 기준으로 햅틱 출력의 세기를 변조한다(912). 예를 들어, 착신 수동 통지와 연관된 컨텍스트 속성들 및 제공되어야 하는 햅틱 또는 오디오 통지의 강도를 평가하기 위해 다양한 인자들이 고려될 수 있다. 컨텍스트 속성들은 메시지를 전송한 수신자의 아이덴티티, 메시지의 다른 수신자들의 포함 및 식별, 메시지를 수신하는 타이밍, 통지를 수신할 때의 사용자의 위치, 통지를 수신할 때 사용자에 의해 수행되는 활동, 메시지를 전달하는 데 사용된 매체 등을 포함하며; 이 목록은 총망라하지 않는다.
일부 실시예들에 따르면, 여기서 수동-개시된 이벤트 통지에 대응하는 제1 햅틱 출력은 자동-개시된 이벤트 통지에 대응하는 제2 햅틱 출력보다 강렬하다. 예를 들어, 더 강렬한 출력은 수동-개시된 이벤트에 증가된 사용자 주의를 끌 가능성이 더 높다. 일부 상황들에서, 더 개인적이고, 목표화되며, 디바이스 사용자에 직접적으로 관련될 가능성이 더 높은 것에 의해, 수동-개시된 경보에 대한 햅틱은 사용자의 즉각적인 주의가 더 필요한 것으로 시스템에 의해 결정된 이벤트에 사용자의 즉각적인 주의를 끄는 것을 돕는다.
예를 들어, 제1 햅틱 출력은 일부 실시예들에 따라, 제1 햅틱 출력의 진폭, 제1 햅틱 출력의 지속시간, 제1 햅틱 출력과 연관된 규칙성, 제1 햅틱 출력 내의 햅틱 특징들의 반복 주파수, 및 제1 햅틱 출력을 구성하는 햅틱 특징들의 선택 중 하나 이상을 포함하는 제1 세트의 특성들에 의해 특성화된다. 제2 햅틱 출력은 제2 햅틱 출력의 진폭, 제2 햅틱 출력의 지속시간, 제2 햅틱 출력과 연관된 규칙성, 제2 햅틱 출력 내의 햅틱 특징들의 반복 주파수, 및 제2 햅틱 출력을 구성하는 햅틱 특징들의 선택 중 하나 이상을 포함하는 제2 세트의 특성들에 의해 특성화된다.
일부 상황들에서 2개의 수동-개시된 이벤트가 연이어 수신될 수 있다. 제1 경보 조건이 제1 인간 전송자로부터의 착신 이메일 메시지에 대응하여 검출될 수 있고, 착신 이메일 메시지가 수동-개시된 이벤트에 대응한다고 결정하는 것에 응답하여, 디바이스(100)는 제1 햅틱 출력을 제공한다. 제2 경보 조건이 제2 인간 전송자로부터의 착신 텍스트 메시지에 대응하여 검출되고, 착신 텍스트 메시지가 수동-개시된 이벤트에 대응한다고 결정하는 것에 응답하여, 디바이스(100)는 제1 햅틱 출력을 제공한다. 일부 실시예들에 따라 많은 다른 변형들이 가능하다.
애플리케이션과 연관된 경보 조건을 검출하는 것에 응답하여, 경보 조건이 자동-개시된 이벤트에 의해 트리거되었다는 결정에 따라, 디바이스(100)는 자동-개시된 이벤트 통지에 대응하는 제2 햅틱 출력을 제공하며(920), 여기서 제2 햅틱 출력은 제1 햅틱 출력과 상이하다.
자동-개시된 이벤트들에 의해 트리거된 경보 조건들의 많은 예들이 존재한다. 표 2를 다시 참조하면, 캘린더, 타이머, 및 활동 모니터 애플리케이션들에 대한 경보 조건 각각은 자동의 종류이며, 애플리케이션 자체에 의해 생성된다. 약간 상이한 예에서, 마지막 행은, 이메일 형태의 소셜 네트워킹에 대한 활동 요약인 경보 조건을 보여준다. 이 예에서, 경보 조건은 스케줄링된, 규칙적인 발생이다. 따라서, 요약이 사용자-개시된 행위들(예를 들어, 다른 사용자에 의해 포스트에 태그되는 위의 예)에 관련된 일부 이벤트 정보를 포함할 수 있더라도, 소셜 네트워크로부터의 이메일은 특정 포스트를 포함하는 하루 또는 일주일 동안의 활동을 요약하지만, 이메일은 그것이 인간 사용자로부터의 요청 또는 표시에 의해 트리거되지 않았기 때문에(그것은 단순히 그 정보를 포함함) 수동-개시된 이벤트로 간주되지 않는다. 제2 햅틱 출력은 일부 실시예들에 따라, 컴퓨팅 디바이스의 터치 감응형 디스플레이를 통해 제공된다.
일부 실시예들에 따르면, 디바이스(100)는, 경보 조건이 애플리케이션에 의해 자동으로 트리거되었거나(예를 들어, 애플리케이션에 의해 생성된 리마인더 통지 또는 자동화된 알람과 같은, 미리결정된 또는 스케줄링된 경보), 또는 디바이스의 외부에 있는 소스로부터 애플리케이션에 의해 수신된 자동-개시된 이벤트 통지(예를 들어, 자동/시스템-생성된 이메일 또는 메시지)였음을 결정한다. 예를 들어, 전송자의 이메일 주소인 noreply@domain.com은, 이메일에 응답하여 답장할 실제 인간 전송자가 없기 때문에 이메일이 자동 수단에 의해 전송되었다는 힌트이다.
자동-개시된 이벤트가 디바이스(100)의 외부에서 발생하는 이벤트에 대응한다는 결정에 따라, 디바이스(100)는 일부 실시예들에 따라, 외부적으로 발생하는 자동-개시된 이벤트의 통지에 대응하는, 제2 햅틱 출력의 제1 변형을 제공한다. 마찬가지로, 자동-개시된 이벤트가 디바이스 내에서 개시된 이벤트에 대응한다는 결정에 따라, 디바이스(100)는 내부적으로-생성된, 자동-개시된 이벤트의 통지에 대응하는 제2 햅틱 출력의 제2 변형을 제공한다. 따라서, 일부 실시예들에 따라, 동일한 애플리케이션에 대해, 이벤트가 착신 메시지에 의해 생성되었는지 여부에 따라, 상이한 통지들이 제공된다.
경보 조건이 미리결정된 시간에 발생하거나 미리결정된 트리거 조건의 충족에 대해 보고한다고 디바이스(100)에 의해 결정하는 것은 일부 실시예들에 따라, 경보 조건이 자동 트리거를 갖는다는 것을 나타낸다. 예를 들어, 일부 미리결정된 트리거 조건의 충족(예를 들어, 사용자의 하루 동안의 활동 목표가 충족되는 것, 사용자가 지오-펜스(geo-fenced) 영역을 떠난 것 등)은 자동-유형 트리거이다.
수동-개시된 경보 트리거들과 마찬가지로, 디바이스(100)는 경보 조건과 연관된 특성들을 분석하여 자동-개시된 이벤트와 연관된 하나 이상의 컨텍스트 속성을 결정하고, 하나 이상의 컨텍스트 속성에 기초하여 제2 출력의 세기를 변조한다(912). 다양한 상황들에 따라, 자동화된 통지와 연관된 컨텍스트 속성들 및 제공되어야 하는 햅틱 또는 오디오 통지의 강도를 평가할 때 다양한 인자들이 고려된다. 예를 들어, 통지의 유형(예를 들어, 일회성 이벤트 대 주기적/반복 알람과 같은 반복 이벤트), 이벤트의 발생시 사용자의 위치, 외부적으로 트리거된 또는 내부적으로 트리거된 통지들, 통지를 수신할 시 사용자에 의해 수행되는 활동들, 및 외부 통지의 경우, 메시지를 전달하는 데 사용된 매체.
수동-트리거된 이벤트들과 마찬가지로, 자동-개시된 이벤트에 대해 디바이스(100)는 자동-개시된 이벤트와 연관된 긴급성의 시변 측정치(time-varying measure)를 결정하고, 긴급성의 시변 측정치를 나타내도록 제2 햅틱 출력의 세기를 특정된 시간 윈도우에 걸쳐 변조한다(912). 예를 들어, 자동-개시된(예를 들어, 내부적, 미리스케줄링된) 트리거에 대해, 햅틱 파라미터들의 세트는 통지와 연관된 이벤트의 긴급성 또는 타이밍에 기초하여 변조된다(912). 예를 들어, 카메라 애플리케이션의 경우, 일부 실시예들에 따라 디바이스(100)는 사진을 촬영할 때까지 점점 커지는 일련의 마이크로탭 출력들을 제공하며, 마이크로탭들 사이의 간격들은 사진을 촬영하기 위한 시간이 가까워짐에 따라 점진적으로 감소하여, 긴박감을 점점 더 높이거나 사용자가 타이밍 인자를 이해하는 데 있어 도움을 주는 가변 출력을 제공한다.
일부 실시예들에서, 제1 햅틱 출력에 대한 제1 세트의 특성들은 제2 햅틱 출력에 대한 제2 세트의 특성들과 상이하다. 유사하게, 각각의 오디오 성분들을 수반하는 경우, 제1 출력의 오디오 성분은, 자동-개시된 이벤트 통지에 대해서보다 수동-개시된 이벤트 통지에 대해 제1 세트의 파라미터들(더 높은 진폭, 더 긴 지속시간의 출력, 더 간섭적/인지가능/두드러진 오디오 음들)을 갖는다.
특정 예는 애플리케이션과 연관된 경보 조건을 검출하고, 이에 응답하여 경보 조건이 사용자와 연관된 연락처들의 목록 내의 전송자로부터의 개인 통신에 대응하는지 - 이 경우, 개인 경보 통지에 대응하는 제1 햅틱 출력이 제공됨 -, 또는 경보 조건이 사용자와 연관된 연락처들의 목록 내의 전송자로부터의 개인 통신에 대응하지 않는지 - 이 경우, 자동 경보 통지에 대응하는 제2 햅틱 출력이 제공되며, 제1 햅틱 출력은 제2 햅틱 출력보다 큰 세기를 가짐 - 를 결정하는 것을 포함한다.
햅틱 출력은 옵션적으로 대응하는 오디오 출력을 수반하며, 이때 각각의 오디오 출력의 적어도 일부분은 각각의 햅틱 출력의 적어도 일부분과 동시 발생적이거나, 또는 각각의 오디오 출력은 각각의 햅틱 출력과 시간적으로 가깝게 발생하여 햅틱 출력 및 각각의 오디오 출력이 인지적으로 동시 발생적이거나 동시적이도록 한다. 햅틱 및 오디오 파형들은 완벽하게 정렬될 필요는 없으며, 디바이스(100)는, 소정 클래스들의 햅틱 및 오디오 출력들에 대해, 햅틱 및 오디오 출력들이 그것들이 시간적으로 약간 오프셋되더라도 사용자에 의해 동시 발생적이거나 동시적인 것으로 인지될 것이라는 사실을 고려할 수 있다(예를 들어, 오디오 출력이 햅틱 출력보다 빨리 처리되기 때문에, 오디오 출력을 제공하기 전에 햅틱 출력을 제공하는 것은, 일부 상황에서, 사용자로 하여금 오디오 및 햅틱 출력을 동시에 또는 동시적으로 발생하는 것으로 인지하게 할 것이다). 수반하는 오디오 부분에서의 변형들은 또한 오디오 출력을 포함하는 실시예들 사이에서 변할 수 있다. 예를 들어, 제1 출력과 연관된 오디오 성분의 진폭, 제1 출력과 연관된 오디오 성분의 지속시간, 제1 출력과 연관된 오디오 성분과 연관된 하나 이상의 음악 품질(예를 들어, 피치, 톤 등) 각각은, 소정 상황들에서 변할 수 있다.
제1 햅틱 출력과 마찬가지로, 일부 실시예들에 따라, 제2 햅틱 출력은 오디오 출력을 수반하며, 이때 제2 햅틱 출력의 파형은 수반하는 오디오 출력의 파형에 기초하여 생성되고, 그것을 미러링하고, 그것에 동기화된다. 일부 실시예들에서, 햅틱 성분들의 파형들은 도 6과 관련하여 논의된 바와 같이, 각각의 오디오 성분들의 파형들로부터 생성되고 그것들과 매칭되거나, 그것들을 모방하거나, 미러링하거나, 또는 그것들에 동기화된다.
일부 실시예들에 따라 햅틱 및 오디오 파형들의 다양한 조합들이 출력된다. 일부 실시예들에 따르면, 제1 햅틱 출력은 오디오 출력을 수반하지 않지만 제2 햅틱 출력은 오디오 출력을 수반한다. 하나의 예에서, 제1 햅틱 출력은 제1 오디오 출력을 수반하고, 제2 햅틱 출력은 제2 오디오 출력을 수반하며; 이 경우, 제1 햅틱 출력은 제2 햅틱 출력과 동일하고, 제1 오디오 출력은 제2 오디오 출력과 상이하다. 일부 실시예들에서, 동일한 햅틱 파형은 상이한 오디오 파형들을 수반할 때 상이한 인지들을 생성한다. 예를 들어, 오디오(링) 톤이 높은 피치 대 낮은 피치로 재생되고, 동일한 햅틱 성분(또는 전형적인 사용자가 구별하지 못할 실질적으로 유사한 햅틱 성분들)을 수반하는 경우, 햅틱 성분의 인지는 동일한 햅틱에도 불구하고 상이하다. 링 톤의 더 높은 피치의 또는 날카로운(shrill) 버전이, 증가된 사용자 주의를 끌기 위해 제2 출력으로 사용될 수 있다. 일부 실시예들에서, 제1 햅틱 출력은 제2 햅틱 출력과 유사하거나, 동일하거나, 실질적으로 동일하다.
다른 예에서, 제1 햅틱 출력은 오디오 출력을 수반하고 제2 햅틱 출력은 동일한 오디오 출력을 수반하며; 이 예에서 제1 햅틱 출력은 제2 햅틱 출력과 상이하다.
도 9에서의 동작들이 설명되는 특정한 순서는 단지 예시적이며, 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내도록 의도되지 않는다는 것을 이해하여야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방법들을 인식할 것이다. 또한, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(700, 1000, 1100, 1200, 1300, 2500, 2600, 3000, 3200))과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들이 도 9와 관련하여 전술한 방법(900)과 유사한 방식으로 또한 적용가능하다는 것에 유의해야 한다. 예를 들어, 방법(900)을 참조하여 전술한 입력들, 경보 조건들, 이벤트들, 애플리케이션들, 상태들, 및 햅틱 출력들은 옵션적으로, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(700, 1000, 1100, 1200, 1300, 2500, 2600, 3000, 3200))을 참조하여 본 명세서에 기술된 입력들, 경보 조건들, 이벤트들, 애플리케이션들, 상태들, 및 햅틱 출력들의 특성들 중 하나 이상을 갖는다. 간결성을 위해, 이들 상세사항들은 여기서 반복되지 않는다.
피드백 대 통지 기반 햅틱 출력
경보 조건들은 사용자 입력에 의해 또는 미리결정된 시스템 이벤트들(예를 들어, 리마인더, 통지)에 의해 트리거될 수 있다. 일부 실시예들에 따라, 검출된 경보 조건이 사용자 입력 또는 미리결정된 시스템 이벤트와 연관되는지 여부는 대응하는 햅틱 출력을 제공하기 위한 기초를 제공한다. 경보 조건의 유형과 상관되는 햅틱 출력을 제공하는 것은 보다 효율적인 인간-기계 인터페이스를 생성하고, 이에 의해 사용자가 동작들을 수행하는 데 걸리는 시간의 양을 감소시키며, 이는 결과적으로 에너지 사용을 감소시키고 배터리 전력공급 디바이스들에 대한 배터리 수명을 증가시킨다. 도 10은 일부 실시예들에 따른, 사용자 입력으로부터의 제1 경보 조건 및 애플리케이션과 연관된 미리결정된 이벤트로부터의 제2 경보 조건을 검출하고, 대응하는 햅틱 출력들을 제공하기 위한 방법(1000)의 흐름도이다. 일부 실시예들에서, 도 10에 도시된 단계들 이외의 상이한 단계들이 수행될 수 있음에 유의한다.
방법은 애플리케이션에 대한 사용자 입력을 수신하는 것과 연관된 컴퓨팅 디바이스(100) 상의 제1 경보 조건을 검출하는 것(1005)에 의해 시작된다. 일부 실시예들에 따라, 제1 경보 조건은 본 명세서의 다른 곳에서 설명된 다양한 경보 조건들 중 임의의 것일 수 있고, 애플리케이션은 디바이스(100) 상에서 실행되는 임의의 애플리케이션일 수 있다. 일부 실시예들에 따르면, 컴퓨팅 디바이스(100)는 사용자 입력을 수신하기 위한 터치 감응형 디스플레이를 포함한다.
제1 경보 조건을 검출하는 것에 응답하여, 디바이스(100)는 일부 실시예들에 따라, 제1 세기를 갖고 애플리케이션에 대한 사용자 입력에 대응하는 제1 햅틱 출력을 제공한다(1010). 제1 햅틱 출력은 옵션적으로, 사용자 입력에 직접적으로 응답하여 그리고 그 결과로서 제공되는 피드백이다. 일부 실시예들에 따르면, 사용자 입력들에 직접적으로 응답하는 피드백에 대해 사용된 햅틱들보다 더 강렬한 햅틱들(예를 들어, 더 높은 진폭 또는 더 긴 햅틱들)이, 사용자 입력에 응답하지 않는, 예상되지 않은 경보들에 대해 사용된다. 일부 실시예들에서, 예상되지 않은 경보들은, 사용자의 주의가 디바이스를 향하는 컨텍스트의 외부에서 발생하는 경보들이다(예를 들어, 사용자가 디바이스를 능동적으로 사용하고 있지 않거나 사용자가 디바이스를 보고 있지 않는 동안 발생하는 경보들). 예를 들어, 디바이스의 사용자가 디바이스를 착용하고 있지만 디바이스를 보지 않고 메시징 앱과 상호작용하지 않는 동안 디바이스에 의해 생성되는 전자 메시지 경보는 예상되지 않은 경보인 반면, 사용자가 디바이스를 보고 있고/있거나 디바이스 상에서 메시징 애플리케이션이 열려 있는 동안 수신된 동일한 경보는 예상된 경보일 것이다. 유사하게, 특정 사용자 입력들에 대한 피드백(예를 들어, 사용자가 지도 상에 핀을 배치할 때의 "클릭")은 사용자에 의해 예상되는데, 이는 사용자가 디바이스에 능동적으로 참여하고 따라서 덜 강렬한 햅틱 경보를 알아차릴 가능성이 더 높기 때문이다. 일부 실시예들에 따르면, 제1 햅틱 출력은 컴퓨팅 디바이스(100) 상의 터치 감응형 디스플레이를 통해 제공된다. 제1 세기는 본 명세서의 다른 곳에서 설명된 바와 같이, 햅틱 파형 진폭, 주파수 및/또는 지속시간의 미리결정된 또는 조정가능한 조합일 수 있다.
디바이스(100)는 또한 애플리케이션 내의 미리결정된 시스템 이벤트를 수신하는 것과 연관된 제2 경보 조건을 검출한다(1015). 예를 들어, 제2 경보 조건은 애플리케이션에 의해 자동으로, 또는 애플리케이션 내부로부터 트리거되는 이벤트에 대응한다. 이러한 이벤트들은 다양한 실시예들에 따라, 미리결정된 시간에 발생하거나 미리결정된 기준의 충족에 대해 보고하는 경보, 애플리케이션에 의해 생성된 리마인더 통지 또는 알람, 애플리케이션에 의해 수신된 자동-개시된 이벤트 통지(예를 들어, 자동/시스템 생성된 이메일 또는 메시지, 예컨대 시스템-생성된 대량 메일, 스팸, 메일링 목록을 대상으로 하는 시스템-생성된 이메일 등), 또는 애플리케이션에 의해 수신된 수동 개시된 이벤트 통지(예를 들어, 인간 사용자에 의해 개시된 이벤트 - 예컨대 사용자의 연락처 목록 상의 알려진 이메일 주소 또는 전화번호로부터의 착신 메시지 또는 통화)를 포함한다.
제2 경보 조건을 검출하는 것에 응답하여, 디바이스(100)는 제2 세기를 갖고, 미리결정된 시스템 이벤트에 대응하는 제2 햅틱 출력을 제공하며(1020), 제2 세기는 제1 세기보다 크다. 제2 세기는 진폭, 주파수 및/또는 지속시간 중 하나 이상이 제1 세기보다 크다. 컴퓨팅 디바이스(100)가 터치 감응형 디스플레이를 포함하는 경우, 제2 햅틱 출력은 컴퓨팅 디바이스 상의 터치 감응형 디스플레이를 통해 제공된다.
제2 햅틱 출력의 더 큰 제2 세기는, 사용자 입력으로부터 기인하지 않은 경보 조건들에 증가된 사용자 주의를 끌도록 설계된다. 예를 들어, 애플리케이션을 사용하는 동안의 - 이 경우 손가락이 이미 디바이스(100)를 터치하고 있을 수 있음 - 사용자 피드백은, 손가락으로 디바이스를 터치하고 있지 않은 사용자와 비교하여 사용자가 그것을 알아차리는 데 더 적은 햅틱 출력을 요구한다. 디바이스를 터치하는 동안의 피드백은 사용자에 의해 예상되고, 따라서 옵션적으로, 예상되지 않은 출력보다 더 약하고 더 미묘하다. 일부 실시예들에 따라, 직접적인 조작은 짧은 즉각적인 햅틱 피드백(<100 ms)을 제공해야 한다. 햅틱 피드백은 그것이 사용자 입력에 응답할 때 덜 간섭적이다(예를 들어, 더 낮은 진폭, 더 적은 햅틱 특징들, 더 주기적/반복적인, 더 짧은 지속시간, 더 약한 햅틱 특징들 등). 한편, 통지들은 종종 예상되지 않은 출력이며, 따라서 일부 상황들에서 증가된 사용자 주의를 끌기 위해 더 강할 필요가 있다. 따라서, 통지들은 옵션적으로 더 길거나(~1.5초) 더 간섭적이다.
예로서, 일부 실시예들에 따라, 디바이스(100)는 제1 애플리케이션과 연관된 애플리케이션 사용자 인터페이스 상에 표시된 사용자 인터페이스 요소의 사용자 선택에 대응하는 제1 경보 조건을 검출하고(1005), 제1 경보 조건에 응답하여, 사용자 인터페이스 요소의 사용자 선택을 나타내는 각각의 제1 햅틱 출력을 제공하며(1010), 각각의 제1 햅틱 출력은 제1 세기 및 제1 지속시간의 제1 햅틱 특징을 포함하는 제1 햅틱 성분을 포함한다. 일부 실시예들에 따라, 각각의 제1 햅틱 출력을 제공한 후, 디바이스(100)는 제1 애플리케이션에 의해 수신된 경보 통지에 대응하는 제2 경보 조건을 검출하고(1015), 제2 경보 조건에 응답하여, 경보 통지의 수신을 나타내는 각각의 제2 햅틱 출력을 제공하며(1020), 각각의 제2 햅틱 출력은 제2 햅틱 성분을 포함하며, 제2 햅틱 성분은: (1) 제2 세기 및 제2 지속시간의 제2 햅틱 특징을 포함하고, (2) 제2 햅틱 특징이 제1 햅틱 특징보다 더 두드러지나, 제2 세기가 제1 세기보다 크거나, 또는 제2 지속시간이 제1 지속시간보다 긴 것에 기초하여, 각각의 제1 출력과 상이하고 그것보다 더 두드러진다. 예를 들어, 착신 통화는 전화 애플리케이션 상에서 통화에 응답하거나 통화를 끊는 것보다 더 강렬한 햅틱 출력을 가질 수 있다.
[표 3]
Figure pat00020
표 3은 전화 애플리케이션 및 3개의 상이한 경보 조건들 - 착신 통화, 통화 응답 및 통화 끊기 - 에 대응하는 출력들을 도시한다. 이 예에서, 사용자가 통화에 응답하거나 통화를 끊는 것은 행위를 취하는 사용자에 의해 예상되는 행위이며, 따라서 행위에 수반되는 대응하는 햅틱 출력은 사용자에게 피드백으로 여겨진다. 이들 두 경보 조건에 대해, 햅틱 출력은 덜 강하다(예를 들어, 마이크로탭). 대조적으로, 착신 통화는 예상되지 않은 유형의 경보 조건이고 사실상 제한된 기간 동안 존재하는 것이며, 따라서 사용자의 주의를 얻기 위해 의도된 더 큰 세기를 갖는 햅틱을 갖는다(예를 들어, 버즈-버즈). 일부 실시예들에 따르면, 사용자 입력들에 직접적으로 응답하는 피드백에 대해 사용된 햅틱들보다 더 강렬한 햅틱들(예를 들어, 더 높은 진폭 또는 더 긴 햅틱들)이, 사용자 입력에 응답하지 않는, 예상되지 않은 경보들에 대해 사용된다.
표 3은 일부 실시예들에 따른 조건들 및 대응하는 출력들을 제공하지만 단지 예시일 뿐이며; 상이한 실시예들에 따라 경보들, 상태들, 모드들, 조건들 및 출력들의 다른 조합들이 사용된다.
일부 상황들에서, 햅틱 출력들은 그것들이 특정 사용자 입력으로부터 기인하는지 여부에 기초하여 변할 수 있다. 일부 실시예들에서, 디바이스(100)는 먼저 제1 애플리케이션과 연관된 제1 경보 조건을 검출하며, 제1 경보 조건은 각각의 사용자 입력으로부터 기인한다. 예를 들어, 이메일 애플리케이션에서 이메일 메시지를 타이핑하기 위해 터치 입력들을 제공하는 사용자. 디바이스(100)는 일부 실시예들에 따라, 제1 경보 조건을 나타내는 각각의 제1 햅틱 출력을 제공한다. 위의 예를 계속하면, 디바이스는 각각의 사용자 접촉 입력에 대해 낮은 세기, 짧은 간격의 버즈들을 제공한다. 각각의 제1 햅틱 출력을 제공한 후, 디바이스(100)는 제1 애플리케이션과 연관된 제2 경보 조건을 검출하며, 제2 경보 조건은 사용자 입력을 수신하는 것으로부터 기인하지 않는다. 이메일 애플리케이션 컨텍스트에서, 이 경보 조건은 옵션적으로 이메일 애플리케이션에서의 착신 이메일이다. 이어서, 디바이스(100)는 일부 실시예들에 따라, 제2 경보 조건을 나타내는 각각의 제2 햅틱 출력을 제공하며, 각각의 제2 햅틱 출력은 각각의 제1 출력과 상이하며 그것보다 더 큰 세기를 갖는다. 예를 들어, 제2 햅틱 출력은 옵션적으로 디바이스의 사용자에게 착신 메시지를 통지하기 위해 더 높은 세기 및/또는 연장된 탭들을 갖는다.
제1 햅틱 및 제2 햅틱 출력들은 일부 실시예들에 따라, 사용자의 주의를 끌기 위해 그것들의 세기 및 그것들의 능력들에 영향을 미치는 다양한 특성들을 가질 수 있다. 예를 들어, 제1 햅틱 출력은 제1 햅틱 출력의 진폭, 제1 햅틱 출력의 지속시간, 제1 햅틱 출력과 연관된 규칙성, 제1 햅틱 출력 내의 햅틱 특징들의 반복 주파수, 제1 햅틱 출력을 구성하는 햅틱 특징들의 선택 중 하나 이상을 포함하는 제1 세트의 특성들을 갖고, 제2 햅틱 출력은 제2 햅틱 출력의 진폭, 제2 햅틱 출력과 연관된 햅틱 성분의 지속시간, 제2 햅틱 출력과 연관된 규칙성, 제2 햅틱 출력 내의 햅틱 특징들의 반복 주파수, 제2 햅틱 출력을 구성하는 햅틱 특징들의 선택 중 하나 이상을 포함하는 제2 세트의 특성들을 갖는다. 다양한 실시예들에 따라 특성들 중 임의의 것은 제1 햅틱과 제2 햅틱 사이에서 상이할 수 있거나, 그것들 모두가 상이할 수 있다.
일부 실시예들에 따라 햅틱 및 오디오의 다양한 조합들이 출력된다. 일부 실시예들에 따르면, 제1 햅틱 출력은 오디오 출력을 수반하지 않지만 제2 햅틱 출력은 오디오 출력을 수반한다. 하나의 예에서, 제1 햅틱 출력은 제1 오디오 출력을 수반하고, 제2 햅틱 출력은 제2 오디오 출력을 수반하며; 이 경우, 제1 햅틱 출력은 제2 햅틱 출력과 동일하고, 제1 오디오 출력은 제2 오디오 출력과 상이하다. 일부 실시예들에서, 동일한 햅틱 파형은 상이한 오디오 파형들을 수반할 때 상이한 인지들을 생성한다. 예를 들어, 오디오(링) 톤이 높은 피치 대 낮은 피치로 재생되고, 동일한 햅틱 성분(또는 전형적인 사용자가 구별하지 못할 실질적으로 유사한 햅틱 성분들)을 수반하는 경우, 햅틱 성분의 인지는 동일한 햅틱에도 불구하고 상이하다. 링 톤의 더 높은 피치의 또는 날카로운 버전이, 증가된 사용자 주의를 끌기 위해 제2 출력으로 사용될 수 있다. 일부 실시예들에서, 제1 햅틱 출력은 제2 햅틱 출력과 유사하거나, 동일하거나, 실질적으로 동일하다.
일부 실시예들에 따라, 햅틱 출력들 중 임의의 것은 오디오 출력을 수반할 수 있으며, 이때 제2 햅틱 출력의 파형은 수반하는 오디오 출력의 파형에 기초하여 생성되고, 그것을 미러링하고, 그것에 동기화된다. 일부 실시예들에서, 햅틱 성분들의 파형들은 도 6과 관련하여 논의된 바와 같이, 각각의 오디오 성분들의 파형들로부터 생성되고 그것들과 매칭되거나, 그것들을 모방하거나, 미러링하거나, 또는 그것들에 동기화된다. 햅틱 및 오디오 파형들은 완벽하게 정렬될 필요는 없으며, 디바이스(100)는, 소정 클래스들의 햅틱 및 오디오 출력들에 대해, 햅틱 및 오디오 출력들이 그것들이 시간적으로 약간 오프셋되더라도 사용자에 의해 동시 발생적이거나 동시적인 것으로 인지될 것이라는 사실을 고려할 수 있다(예를 들어, 오디오 출력이 햅틱 출력보다 빨리 처리되기 때문에, 오디오 출력을 제공하기 전에 햅틱 출력을 제공하는 것은, 일부 상황에서, 사용자로 하여금 오디오 및 햅틱 출력을 동시에 또는 동시적으로 발생하는 것으로 인지하게 할 것이다). 수반하는 오디오 부분에서의 변형들은 또한 오디오 출력을 포함하는 실시예들 사이에서 변할 수 있다. 예를 들어, 제1 출력과 연관된 오디오 성분의 진폭, 제1 출력과 연관된 오디오 성분의 지속시간, 제1 출력과 연관된 오디오 성분과 연관된 하나 이상의 음악 품질(예를 들어, 피치, 톤 등) 각각은, 소정 상황들에서 변할 수 있다.
일부 실시예들에서, 디바이스의 햅틱 세기와 음량 사이의 조정이 있다. 예를 들어, 제1 햅틱 출력의 제1 세기 및 제2 햅틱 출력의 제2 세기는 디바이스 상의 음량 설정에 역관계로 조정되어, 오디오 채널이 턴오프되거나 낮춰지는 경우, 햅틱 출력이 옵션적으로, 독립적으로 또는 디폴트/미리결정된 세기 설정보다 높게 강화되도록 한다.
일부 실시예들에서, 제1 햅틱 출력을 제공하기 전에, 디바이스(100)는 입력 기반 변조 조건이 존재하는지 여부를 결정하고(1025), 입력 기반 변조 조건이 존재한다는 결정에 응답하여, 제1 햅틱 출력을 제공하기 전에, 디바이스(100)는 제1 햅틱 출력을 수정한다(1030).
예를 들어, 하나의 입력 기반 변조 조건은 사용자 참여이다. 이 경우, 디바이스(100)는 각각의 경보 조건을 검출하고, 각각의 경보 조건이 컴퓨팅 디바이스 상에서 수신된 각각의 사용자 입력으로부터 기인했음을 결정한다. 이어서, 디바이스(100)는 일부 실시예들에 따라, 검출된 사용자 입력과 연관된 사용자 참여의 측정치를 식별하고, 사용자 참여의 측정치에 기초하여 제1 햅틱 출력의 제1 신호 세기를 변조한다. 예를 들어, 일부 실시예들에서, 오디오 및/또는 햅틱 성분들의 강도(예를 들어, 진폭, 지속시간, 반복 주파수)는 애플리케이션/디바이스와의 사용자 입력 상호작용/참여의 측정치와 반비례로 변화된다. 더 높은 정도/측정치의 사용자 상호작용/참여(예를 들어, 터치 또는 직접적인 조작)에 대해, 출력 특성들은 제1 출력이 더 미묘하거나 덜 간섭적/인지가능해지도록 선택된다. 따라서, 사용자가 애플리케이션/디바이스와 높은 정도의 참여 또는 상호작용을 가질 때, 사용자는 지나치게 강한 피드백 신호에 시달리지 않는다. 예를 들어, 가장 약한 출력이 터치/직접 조작에 대해 제공되며, 예를 들어, 사용자가 입력을 제공하는 동안 디바이스와 접촉하는 경우, 사용자는 지나치게 강한 햅틱 피드백에 시달리지 않아야 한다. 반면에, 사용자가 더 적게 참여하는 경우, 더 강한 신호가 추가적 주의를 끌기 위해 사용자에게 제공된다.
[표 4]
Figure pat00021
표 4는 사용자의 초점의 변형들과 함께 경보 조건들에 대한 다양한 레벨들의 사용자 참여, 및 결과적인 햅틱 출력 레벨들을 도시한다. 도시된 햅틱 출력 레벨들은 일차 및 이차 사용자 초점의 관점에서 사용자의 주의를 끌기 위해 필요한 햅틱 세기의 레벨의 슬라이딩 스케일(sliding scale)로 생각될 수 있다. 예를 들어, 가장 높은 레벨의 사용자 참여는, 경보 조건이 피드백 형태일 때, 경보 조건을 생성하는 애플리케이션의 직접 조작이다. 예를 들어, 사용자가 애플리케이션에 정보를 입력하고 있는 경우, 애플리케이션은 이미 사용자의 일차 초점이어서, 사용자의 주의를 얻기 위해 햅틱이 거의 필요하지 않으므로, 햅틱의 가장 낮은 레벨 "레벨 1"이 출력될 수 있다. 이것은 가능한 최소의 햅틱, 예를 들어, 단일 마이크로탭일 수 있다.
세 번째 행으로 건너 뛰면, 사용자가 디바이스를 터치하고 있고 상이한 애플리케이션에 입력하고 있는 경우, 사용자는 디바이스에 초점을 맞추며, 따라서 소정 레벨의 참여를 갖지만, 경보를 제공하는 애플리케이션과 상이한 애플리케이션을 사용자가 사용하고 있기 때문에, 사용자는, 경보를 제공하는 애플리케이션에 사용자가 입력하고 있던 경우보다 더 낮은 참여를 갖는다. 이 경우, 적절한 출력은 "레벨 2" 햅틱 출력이다. 예를 들어, 레벨 2 출력은 연이은 2개의 마이크로탭일 수 있다.
마지막에서 두 번째 행으로 건너 뛰면, 사용자는, 활성이지만 백그라운드에서 동작하는, 경보를 발행하는 애플리케이션을 가질 수 있으며, 경보 조건의 시간에 디바이스를 터치하고 있지 않을 수 있다. 결과적으로, 이 상황에서 사용자의 주의를 얻기 위해 더 큰 햅틱이 필요할 수 있다. 따라서, "레벨 3" 햅틱 출력, 예를 들어 프라이밍 탭 및 뒤이은 마이크로탭 또는 일련의 마이크로탭들이 적절할 수 있다.
마지막으로, 마지막 행은, 경보를 발행하는 애플리케이션이 비활성인, 사용자를 도시한다. 일부 상황들에서, 애플리케이션은 백그라운드에서도 실행되고 있지 않거나, 또는 디바이스는 슬립 상태이다. 이 경우, 최대 햅틱 "레벨 4"가 사용자의 주의를 얻기에 적절하다. 예를 들어, 일부 상황들에서 버즈-버즈 햅틱 출력이 적절할 수 있다. 일부 실시예들에 따르면, 사용자 입력들에 직접적으로 응답하는 피드백에 대해 사용된 햅틱들보다 더 강렬한 햅틱들(예를 들어, 더 높은 진폭 또는 더 긴 햅틱들)이, 사용자 입력에 응답하지 않는, 예상되지 않은 경보들에 대해 사용된다.
이것은, 제한된 수의 상황들 및 햅틱 출력 예들을 사용하고, 모든 애플리케이션들 및 경보들이 동일하게 취급되는 것을 가정하는 단지 하나의 예이며, 이는 다른 상황들에서는 그렇지 않을 수도 있다. 또한, 특정 레벨의 햅틱 출력은 "디폴트" 출력, 예를 들어, 레벨 2일 수 있으며, 그러면 사용자의 초점에 따라, 디바이스는 햅틱 출력의 세기를 위로 또는 아래로 조정할 수 있다. 표 4는 일부 실시예들에 따른 조건들 및 대응하는 출력들을 제공하지만 단지 예시일 뿐이며; 상이한 실시예들에 따라 경보들, 상태들, 초점들, 조건들 및 출력들의 다른 조합들이 사용된다.
일부 실시예들에서, 햅틱 출력은 사용자 입력의 위치에 기초하여 수정된다. 이 예에서, 디바이스(100)는 각각의 경보 조건을 검출하고, 각각의 경보 조건이 디바이스 상의 촉각적 사용자 입력을 수신하는 것으로부터 기인했음을 결정한다. 디바이스(100)는, 디바이스 상의 촉각적 사용자 입력을 수신하는 위치에서 인지가능하도록 제1 햅틱 출력의 햅틱 에너지의 진폭을 감소시킴으로써, 제1 햅틱 출력의 공간적 햅틱 에너지 프로파일을 변조한다. 햅틱 에너지의 감소된 진폭은 일부 실시예들에 따라, 그것이 사용자의 손가락/촉각적 입력 위치들로부터 더 멀리 떨어진 위치들에서 인지가능하지 않도록 하기 위한 것일 수 있다. 예를 들어, 낮은 진폭은 접촉 지점에서 손가락에 의해 인지가능하지만, 손목 및/또는 손의 나머지에 의해서는 인지가능하지 않을 수 있다. 유사하게, 일부 실시예들에서 디바이스(100)는 각각의 경보 조건을 검출하고 각각의 경보 조건이 디바이스 상의 촉각적 사용자 입력을 수신하는 것으로부터 기인했음을 결정하지만, 이어서 구체적으로 디바이스 상의 촉각적 사용자 입력을 수신하는 위치를 식별하고, 디바이스 상의 촉각적 사용자 입력을 수신하는 위치의 특정된 반경 임계치 내에서 제1 햅틱 출력의 햅틱 에너지의 특정된 비율보다 큰 햅틱 에너지를 제공함으로써 제1 햅틱 출력의 공간적 햅틱 에너지 프로파일을 변조한다. 일부 실시예들에 따르면, 디바이스 상의 촉각적 사용자 입력을 수신하는 위치는 시간에 따라 변하며, 따라서 공간적 햅틱 에너지도 촉각적 사용자 입력을 수신하는 시변 위치에 대응하여 시간에 따라 변한다.
일부 실시예들에 따르면, 햅틱 출력의 형태적 특성(morphological characteristic)들은 촉각적 입력을 모방한다. 예를 들어, 디바이스(100)는 각각의 경보 조건을 검출하고, 각각의 경보 조건이 촉각적 사용자 입력을 수신하는 것으로부터 기인했음을 결정하며, 이어서 촉각적 사용자 입력의 시변 형태적 속성들을 식별한다. 다양한 실시예들에 따라, 촉각적 입력의 시변 형태적 속성들은 터치 감응형 표면 상의 접촉의 검출, 표면과의 접촉이 유지되는지 여부 및 접촉이 얼마나 멀리 그리고 어느 방향으로 이동하는지 모니터링하는 것, 접촉 지점에 가해지는 압력의 양을 결정하는 것 등을 포함한다. 이어서, 디바이스(100)는 촉각적 사용자 입력의 시변 형태적 속성들을 모방하기 위해 제1 햅틱 출력의 형태적 특성들을, 시간에 걸쳐, 수정한다. 예를 들어, 모방할 제1 햅틱 출력의 형태적 특성들은 촉각적 입력을 미러링하기 위해 햅틱 출력의 진폭, 지속시간, 주파수 등을 변경하는 것을 포함한다.
일부 실시예들에서, 햅틱 성분들의 파형들은 사용자 촉각적 입력과 완벽하게 정렬될 필요는 없으며, 디바이스(100)는 햅틱 출력들이 시간적으로 약간 오프셋될지라도 사용자에 의해 촉각적 입력과 동시 발생적이거나 동시적인 것으로 인지될 것이라는 사실을 고려할 수 있다(예를 들어, 햅틱 출력이, 사용자가 그것을 지연된 응답으로서 인지할 수 있는 것보다 더 빨리 처리됨으로써, 사용자로 하여금 햅틱 출력을 동시에 또는 동시적으로 발생하는 것으로 인지하게 하기 때문임). 일부 실시예들에서, 이용가능한 미리결정된 세트의 햅틱 특징들 중 특정 햅틱 특징들이 제1 출력의 햅틱 성분을 구성하도록 선택되며, 그 선택은 어떤 햅틱 특징들이 사용자 입력을 가장 잘 모방하는지에 기초한다. 일부 예들은 단순한 터치를 위한 마이크로탭, 더 길고/더 깊은 터치를 위한 펜-클릭(pen-click) 탭, 스와이프를 위한 버즈, 손가락 리프트오프로 끝나는 스와이프를 위한, 끝에 부스트를 갖는 버즈를 포함한다. 예를 들어, 시변 형태적 속성들은 일부 실시예들에 따라, 촉각적 사용자 입력과 컴퓨팅 디바이스의 터치 감응형 표면 사이의 시간-의존 접촉 압력 프로파일을 포함하고, 수정하는 것은 촉각적 사용자 입력과 컴퓨팅 디바이스의 터치 감응형 표면 사이의 시간-의존 접촉 압력 프로파일을 미러링하기 위해 제1 햅틱 출력의 에너지 프로파일을 시간에 따라 변조하는 것을 포함한다.
일부 실시예들에 따르면, 햅틱 출력은 지속적(sustained) 사용자 입력, 제스처, 기계적 조정, 또는 사용자에 의한 다른 디바이스 조작의 지속시간을 모방할 수 있다. 예를 들어, 디바이스(100)는 먼저 각각의 경보 조건을 검출하고, 각각의 경보 조건이 지속적 사용자 입력으로부터 기인했음을 결정한다. 지속적 사용자 입력은 일부 실시예들에 따라, 컴퓨팅 디바이스 상의 터치 감응형 디스플레이 상의 촉각적 사용자 입력, 노브 회전하기, 버튼 누르기, 또는 검출가능한 시작/종료 시간을 갖는 디바이스 조작의 임의의 다른 사용자 입력을 포함한다. 일부 실시예들에서, 디바이스는 경보 조건이 제스처, 기계적 조정 등으로부터 기인했음을 결정할 수 있다. 결정하는 것에 응답하여, 디바이스(100)는 지속적 사용자 입력의 개시 시간에 제1 햅틱 출력을 개시하고, 지속적 사용자 입력의 종료를 검출하고, 이어서 지속적 사용자 입력의 종료 시간에 제1 햅틱 출력을 종료한다(예를 들어, 사용자 입력을 모방함). 일부 실시예들에서, 햅틱 출력은 사용자 입력의 시작 시간에 의해/에 개시되고 사용자 입력의 종료 시간에 종료한다. 따라서, 햅틱 피드백/출력은 실질적으로 사용자 입력의 시간의 지속시간 전체에 걸쳐 연장된다. 햅틱 출력은 사용자 입력의 위치에서 제공될 수 있으며, 터치 감응형 표면에 한정되지 않는다. 예를 들어, 시계의 측면 상의 회전 노브가 돌려지면, 클릭과 같은 느낌의 햅틱이 사용자가 노브를 돌릴 때 지속적 피드백을 제공할 수 있다.
일부 실시예들에서, 제2 햅틱 출력을 제공하기 전에, 디바이스(100)는 주변 조건 기반 변조 조건이 존재하는지 여부를 결정하고(1035), 주변 조건 기반 변조 조건이 존재함을 결정하는 것에 응답하여, 제2 햅틱 출력을 제공하기 전에, 디바이스는 제2 햅틱 출력을 수정한다(1040).
예를 들어, 디바이스(100)는, 주변 조건이 햅틱 출력의 사용자 인지에 대한 잠재적 방해로서 존재하는지 여부를 결정한다. 이 예에서, 디바이스(100)는, 하나 이상의 주변 조건이 각각의 경보 조건의 발생 시 햅틱 출력에 대한 잠재적 간섭으로서 디바이스에 대해 존재하는지 여부를 결정한다. 주변 조건들은, 일부 실시예들에 따르면, 다음을 포함한다: 노이즈(측정된 주변 노이즈뿐만 아니라, 사용자가 도서관, 박물관, 영화관, 병원 또는 일반적으로 조용할 것으로 알려진 다른 장소에 있음을 식별하는 것을 포함할 수 있음), 햅틱 감각에 대한 사용자의 물리적 수용성(receptiveness)에 영향을 미치는 움직임/진동, 디바이스에 대한 참여 레벨(예를 들어, 위에서 논의된 바와 같은: 그것을 보는 것, 터치하는 것, 그것에 말하는 것), 디바이스에 대한 사용자 근접성(예를 들어, 사용자의 신체 상의 디바이스 대 디바이스로부터의 특정된 근접 임계치보다 먼 곳에 위치되는 것).
[표 5]
Figure pat00022
표 5는 일부 실시예들에 따른, 경보 조건들 동안, 그리고 다양한 애플리케이션 상태들에 대해 존재할 수 있는 다양한 주변 조건들, 및 이들 조건에 기초하여 제공된 햅틱 출력에 대한 가능한 수정들을 도시한다. 도시된 주변 조건들은, 고노이즈 및 저노이즈 레벨들, 저진동 및 고진동 레벨들, 디바이스까지의 단거리 및 장거리, 및 높은 그리고 낮은 사용자 참여 레벨들을 포함하며, 이는 위의 섹션 및 표 4에 관련된다. 이 표는 다양한 주변 조건들의 예들, 및 주어진 애플리케이션 상태(활성 또는 비활성)에 대해, 햅틱 출력이 주변 조건에 맞춰 조정되기 위해 어떻게 수정될 수 있는지로 구성된다. 표 5는 햅틱 출력에 대한 수정만을 도시하지만, 오디오와 같은 비-햅틱 출력에도 유사한 조정이 수행될 수 있다. 햅틱 수정 열은, 없음(none)(경보에 대한 디폴트 햅틱을 유지), 증가 1, 증가 2, 또는 증가 3, 및 감소 1의 가능한 수정들을 열거하지만, 많은 변형들이 가능하며; 이것들은 단지 예일 뿐이다. 고노이즈, 저진동(비활성), 고진동(활성), 및 디바이스까지의 장거리(제3, 제4, 제6, 제7, 및 제11 행)와 같은 일부 조건들의 경우, 디바이스는 사용자에게 소정 수준의 주의 산만을 일으킬 수 있는 이들 주변 조건들에서, 디폴트 햅틱을 하나 또는 두 단계 증가시킴으로써, 예를 들어, 마이크로탭에서 하나의 탭 또는 2개의 마이크로탭으로, 또는 탭에서 버즈로 등에 의해 디폴트 햅틱을 수정할 수 있다. 고진동(비활성) 또는 디바이스까지의 장거리(제8 및 제12 행)와 같은 다른 조건들의 경우, 디바이스는 사용자에게 더 큰 수준의 주의 산만을 일으킬 수 있는 이들 주변 조건들에서, 디폴트 햅틱을 더 큰 양으로 증가시킴으로써, 예를 들어, 마이크로탭에서 버즈로 등에 의해 디폴트 햅틱을 수정할 수 있다. 일부 상황들에서, 햅틱은 수정의 일부로서 오디오 출력을 수반할 수 있다. 대안적으로 또는 햅틱의 세기를 수정하는 것에 추가하여, 디바이스는 예를 들어, 증가 3으로 표시된 주변 조건들에 대해, 주변 조건이 햅틱 출력을 수신하는 사용자에게 더 유리해질 때까지, 햅틱 출력을 지연시킬 수 있다. 이 예에서, 디바이스는 간섭하는 주변 조건이 진정되었는지 확인하기 위해 주변 조건들을 주기적으로 결정할 수 있으며, 이에 따라 햅틱이 출력될 수 있다. 다른 상황들에서, 지연은 적용되지 않는다. 이 예들은 제한된 수의 상황들 및 햅틱 출력 예들을 사용하여서 매우 제한되며, 모든 애플리케이션들 및 경보들이 동일하게 취급되는 것을 가정하고, 이는 다른 상황들에서는 그렇지 않을 수도 있다.
일부 실시예들에서, 주변 조건은 사용자에게 주의 산만(존재하는 경우)을 크게 일으키지는 않기 때문에, 어떠한 수정도 요구되지 않는다(예를 들어, 수정 열에서 "없음"을 갖는 행들). 마지막으로, 일부 주변 조건들 하에서, 디바이스는 경보 조건과 연관된 디폴트 햅틱을, 예를 들어, 높은 참여 레벨에 대해 감소시킬 수 있으며, 이 경우 사용자가 참여하므로 더 적은 출력이 필요하다. 표 5는 일부 실시예들에 따른 조건들 및 대응하는 출력들을 제공하지만 단지 예시일 뿐이며; 상이한 실시예들에 따라 주변 조건들, 경보들, 상태들, 및 출력들의 다른 조합들이 사용된다.
일부 실시예들에 따르면, 디바이스(100)는 햅틱 출력을 지연시킨다. 먼저, 디바이스(100)는 디바이스에 대한 간섭 주변 조건들이 존재하지 않음을 결정을 한다. 이 예에서, 디바이스(100)는 사용자의 수용성의 상태에 기초하여 각각의 제2 햅틱 출력을 제공하고, 하나 이상의 주변 조건이 햅틱 출력에 대한 잠재적 간섭으로서 디바이스에 대해 존재한다는 결정에 따라, 디바이스(100)는 각각의 제2 출력을 사용자에게 제공하는 것을 지연시킨다. 예를 들어, 지연은 간섭 주변 조건들이 존재하지 않는 후속 인스턴스까지 계속될 수 있다(예를 들어, 디바이스(100)는 간섭하는 주변 조건이 존재하는지 여부를 나중의 어떤 시점에서 다시 결정한다). 예를 들어, 통지가 수신될 때 사용자가 매우 활동적이어서(예를 들어, 달리는 중 또는 운동 중) 햅틱 감각을 인지할 수 없는 경우, 디바이스는, 사용자가 활동을 완료할 때까지 기다린 다음에 통지에 대응하는 햅틱 출력을 제공하는 것과 같이, 활동이 완료될 때까지 햅틱 출력을 지연시킬 수 있다. 다른 상황들 하에서 경보는, 디바이스가 주변 조건에 관계없이 그것을 지연시킬 수 없을 정도로 충분히 긴급성을 가질 수 있다. 이들 예에서, 주변 조건들의 결정은 예를 들어, 사용자의 현재 주변 환경의 속성들에 기초하여, 햅틱 감각에 대한 사용자의 물리적 수용성을 추정하기 위한 프록시로서 작용한다.
일부 실시예들에 따르면, 디바이스(100)는 햅틱 출력의 변형, 예를 들어 표 5와 관련하여 설명된 수정을 제공한다. 이 예에서, 디바이스(100)는 각각의 애플리케이션과 연관된 각각의 경보 조건을 검출하고, 각각의 경보 조건이 사용자 입력을 수신하는 것으로부터 기인하지 않았음을 결정한다. 각각의 경보 조건이 사용자 입력을 수신하는 것으로부터 기인하지 않았음을 결정하는 것에 응답하여, 디바이스(100)는, 하나 이상의 주변 조건이 각각의 경보 조건의 발생 시 햅틱 출력에 대한 잠재적 간섭으로서 디바이스에 대해 존재하는지 여부를 결정하고, 디바이스에 대한 간섭 주변 조건이 존재하지 않는다는 결정에 따라, 디바이스(100)는 제2 햅틱 출력의 제1 변형을 사용자에게 제공하며, 제2 햅틱 출력의 제1 변형은 제1 세트의 출력 특성들을 갖는다. 예를 들어, 변형은 일부 실시예들에 따라, 더 부드럽고, 더 짧은 지속시간을 갖고, 더 미묘한 햅틱 특징들을 포함하는 햅틱 출력일 수 있다(예를 들어, 마이크로탭들). 하나 이상의 주변 조건이 햅틱 출력에 대한 잠재적 간섭으로서 디바이스에 대해 존재한다는 결정에 따라, 디바이스(100)는 제2 햅틱 출력의 제2 변형을 사용자에게 제공하며, 제2 햅틱 출력의 제2 변형은 제2 세트의 출력 특성들을 갖고, 제2 세트의 특성들은 제1 세트의 특성들과 상이하고, 제2 햅틱 출력의 제2 변형은 제2 햅틱 출력의 제1 변형보다 큰 세기를 갖는다.
일부 실시예들에서, 디바이스(100)는 사용자를 "프라이밍"하기 위해 햅틱 출력을 수정할 수 있다. 예를 들어, 디바이스(100)는 먼저 각각의 애플리케이션과 연관된 각각의 경보 조건을 검출하고, 이어서 각각의 경보 조건이 사용자 입력을 수신하는 것으로부터 기인하지 않았음을 결정한다. 일부 실시예들에 따르면, 각각의 경보 조건이 사용자 입력을 수신하는 것으로부터 기인하지 않았음을 결정하는 것에 응답하여, 디바이스는 제2 햅틱 출력에 대한 프리커서(precursor)로서 프라이밍 햅틱 출력을 제공하고, 프라이밍 햅틱 출력은 디바이스를 동작시키는 사용자의 참여 레벨을 제2 햅틱 출력으로 증가시키도록 설계되며, 프라이밍 햅틱 출력의 적어도 일부분은 제2 햅틱 출력보다 더 두드러진다. 디바이스(100)는 옵션적으로 프라이밍 햅틱 출력을 제공하는 특정된 시간 간격 내에 그리고 그 후에 제2 햅틱 출력을 제공한다.
디바이스(100)는 일부 실시예들에 따라 프라이밍의 변형들을 제공할 수 있다. 하나의 예에서, 프라이밍 햅틱 출력은 시변 파형 형태를 갖는 프라이밍 햅틱 성분을 포함하며, 시변 파형 형태는 햅틱 성분의 시간에 따라 점진적으로 증가하는 세기에 의해 특성화된다. 일부 실시예들에서, 프라이밍 햅틱 출력은 무의식적으로 사용자에게 통지를 준비시키기 위해 점진적으로 증가하는 세기의 햅틱 파형을 포함한다. 프라이밍 이후, 일부 실시예들에 따라 오디오 음량의 큰 증가가 햅틱 성분과 함께 발생한다. 다른 예에서, 프라이밍 햅틱 출력은 옵션적으로 시변 파형 형태를 갖는 프라이밍 햅틱 성분을 포함하며, 시변 파형 형태는 강조된 햅틱 특징 및 뒤이은 햅틱 성분의 점진적으로 감소하는 세기에 의해 특성화된다. 대안적으로, 일부 실시예들에 따르면, 디바이스(100)는 더 강한 프라이밍 햅틱(및 옵션적으로 오디오) 출력을 먼저 제공함으로써 의도적으로 사용자의 감도를 프라이밍하고, 이어서, 사용자의 감각이 프라이밍되면, 그것에 더 약한 출력들을 덧붙일 수 있다. 일부 실시예들에 따르면, 제2 햅틱 출력에는 프라이밍 햅틱 출력이 선행되고, 제1 햅틱 출력은, 수신된 사용자 입력으로부터 기인하는 대응하는 경보 조건에 응답하여, 대응하는 선행 프라이밍 햅틱 출력 없이, 직접적으로 제공된다. 다양한 실시예들에서, 프라이밍 햅틱 출력의 특성들은, 경보의 긴급성을 미러링하는 출력의 세기와 함께, 긴급성 또는 경보 조건과 연관된 컨텍스트에 기초하여 선택된다.
도 10에서의 동작들이 설명되는 특정한 순서는 단지 예시적이며, 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내도록 의도되지 않는다는 것을 이해하여야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방법들을 인식할 것이다. 또한, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(700, 900, 1100, 1200, 1300, 2500, 2600, 3000, 3200))과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들이 도 10과 관련하여 전술한 방법(1000)과 유사한 방식으로 또한 적용가능하다는 것에 유의해야 한다. 예를 들어, 방법(1000)을 참조하여 전술한 입력들, 경보 조건들, 애플리케이션들, 및 햅틱 출력들은 옵션적으로, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(700, 900, 1100, 1200, 1300, 2500, 2600, 3000, 3200))을 참조하여 본 명세서에 기술된 입력들, 경보 조건들, 애플리케이션들, 및 햅틱 출력들의 특성들 중 하나 이상을 갖는다. 간결성을 위해, 이들 상세사항들은 여기서 반복되지 않는다.
다중-부분 동작들을 위한 햅틱 출력
검출된 경보 조건이 다중-부분 동작의 일부인지 여부는 일부 실시예들에 따라, 대응하는 햅틱 출력을 제공하기 위한 기초를 제공한다. 경보 조건이 다중-부분 동작의 일부인지 여부와 상관되는 햅틱 출력을 제공하는 것은 보다 효율적인 인간-기계 인터페이스를 생성하고, 이에 의해 사용자가 동작들을 수행하는 데 걸리는 시간의 양을 감소시키며, 이는 결과적으로 에너지 사용을 감소시키고 배터리 전력공급 디바이스들에 대한 배터리 수명을 증가시킨다. 도 11은 일부 실시예들에 따른, 다중-부분 동작과 연관된 경보 조건을 검출하고 대응하는 햅틱 출력을 제공하기 위한 방법(1100)의 흐름도이다. 일부 실시예들에서, 도 11에 도시된 단계들 이외의 상이한 단계들이 수행될 수 있음에 유의한다.
방법은 컴퓨팅 디바이스(100) 상에서 실행되는 애플리케이션에 의해 수행되는 다중-부분 동작의 제1 부분에 대응하는 입력을 수신하는 것(1105)에 의해 시작된다. 일부 실시예들에서, 다중-부분 동작의 제1 부분에 대응하는 입력은 디바이스(100)의 터치 감응형 표면 상에서 검출된다.
다중-부분 동작의 제1 부분에 대응하는 입력을 수신하는 것에 응답하여, 디바이스(100)는 진행 중인 햅틱 출력 시퀀스를 개시한다(1110). 발신 햅틱 시퀀스는, 다양한 실시예들에 따라, 제2 입력이 수신될 때까지 그것이 계속되는 한, 그것이 지속되거나, 일정하거나, 변하지만 소정 기간에 걸쳐 계속되거나, 또는 간헐적이라는 의미에서, 진행 중일 수 있다. 일부 실시예들에서, 다중-부분 동작의 제1 부분에 대응하는 입력을 검출하는 것에 응답하여, 디바이스는 또한 진행 중인 햅틱 출력에 수반될 진행 중인 오디오 출력 시퀀스를 개시한다.
일부 실시예들에 따르면, 디바이스(100)는 터치 감응형 표면을 가지며, 햅틱 출력 시퀀스는 터치 감응형 표면을 통해 제공된다. 예를 들어, 햅틱 출력은 터치 감응형 표면을 터치하고 있는 디바이스의 사용자에게 인지가능한 미리결정된 패턴의, 터치 감응형 표면의 햅틱 진동을 포함한다.
일부 실시예들에서, 진행 중인 햅틱 출력 시퀀스에 추가하여, 디바이스(100)는 다중-부분 동작의 제1 부분에 대응하는 입력을 수신하는 것에 응답하여 제1 햅틱 피드백을 제공한다(1115). 제1 햅틱 피드백은 이벤트에 기초하여 선택되고 이벤트의 개시를 나타내며, 일부 상황들에서 진행 중인 햅틱 출력 시퀀스와 구별된다. 예를 들어, 제1 햅틱 피드백은 일부 실시예들에 따라, 진행 중인 햅틱 출력 시퀀스보다 큰 세기의 햅틱 출력을 갖는다.
진행 중인 햅틱 출력 시퀀스를 개시한 후, 디바이스(100)는 일부 실시예들에 따라, 다중-부분 동작의 제2 부분에 대응하는 입력을 수신한다(1120). 터치 감응형 표면을 갖는 디바이스(100)에 대해, 다중-부분 동작의 제2 부분에 대응하는 입력은 터치 감응형 표면 상에서 검출된다.
일부 실시예들에서 2개의 디바이스가 관련된다. 따라서, 일부 실시예들에서, 다중-부분 동작의 제1 부분 및 다중-부분 동작의 제2 부분 둘 다에 대응하는 입력들이 디바이스(100)에 의해 검출된다. 그러나, 일부 실시예들에서 다중-부분 동작의 제1 부분에 대응하는 입력은 디바이스(100)에 의해 검출되고, 다중-부분 동작의 제2 부분에 대응하는 입력은 제2 디바이스에 의해 검출된다.
일부 실시예들에 따르면, 추가적 사용자 입력이 디바이스(100)에 의해 수신될 수 있다. 예를 들어, 다중-부분 동작의 제1 부분에 응답하여 진행 중인 햅틱 출력 시퀀스를 개시한(1110) 후에, 그리고 다중-부분 동작의 제2 부분에 대응하는 입력을 수신하기(1120) 전에, 디바이스(100)는 일부 실시예들에 따라, 다중-부분 동작의 제2 부분에 대응하는 입력과 구별되는 하나 이상의 추가적 사용자 입력을 수신한다(1125). 이 상황들에서, 디바이스는 일부 실시예들에 따라, 다중-부분 동작의 제2 부분에 대응하는 입력의 수신 시까지, 추가적 사용자 입력들에 관계없이 진행 중인 햅틱 출력을 계속해서 제공한다.
다중-부분 동작의 제2 부분에 대응하는 입력을 수신하는 것에 응답하여, 디바이스(100)는 일부 실시예들에 따라, 진행 중인 햅틱 출력 시퀀스를 종료한다(1130). 일부 실시예들에서, 다중-부분 동작의 제2 부분에 대응하는 입력을 검출하는 것에 응답하여, 디바이스(100)는 또한 임의의 진행 중인 오디오 출력 시퀀스를 종료한다.
일부 실시예들에 따라, 다중-부분 동작의 제2 부분에 대응하는 입력은 다중-부분 동작의 제1 부분에 대응하는 입력을 뒤따르고, 이벤트의 지속시간에 대응하는 특정된 시간 간격에 의해 다중-부분 동작의 제1 부분에 대응하는 입력으로부터 시간적으로 분리된다. 또한, 진행 중인 햅틱 출력 시퀀스는 일부 상황들에서 이벤트의 지속시간 전체에 걸쳐 제공되며 이벤트의 발생을 나타낸다.
일부 실시예들에 따르면, 디바이스는 또한 다중-부분 동작의 제2 부분에 대응하는 입력을 수신하는 것에 응답하여 제2 햅틱 피드백을 제공하고(1135), 제2 햅틱 피드백은 진행 중인 햅틱 출력 시퀀스와 구별된다. 제2 햅틱 피드백은 이벤트의 종료를 나타내며, 일부 상황들에서 진행 중인 햅틱 출력 시퀀스와 구별된다. 예를 들어, 제2 햅틱 피드백은 일부 실시예들에 따라, 진행 중인 햅틱 출력 시퀀스보다 큰 세기의 햅틱 출력을 갖는다.
다중-부분 동작은 다른 실시예들에 따라 다양한 형태들을 취할 수 있다. 일부 실시예들에 따르면, 다중-부분 동작은 보안 거래이며, 이때 다중-부분 동작의 제1 부분은 보안 거래를 인가하도록 디바이스를 준비시키는(arming) 것을 포함한다. 이 예에서, 사용자가 패스워드 또는 지문과 같은 생체인식 인증과 같은 크리덴셜들을 제공하는 것에 응답하여, 디바이스는, 결제 정보가 근거리 통신(NFC) 서브시스템을 통해 결제 단말기에 제공될 수 있는, 결제 모드로 들어간다. 따라서, 디바이스를 준비시키는 것은 제1 부분이며, 대응하는 진행 중인 햅틱 출력을 개시할 것이다. 또한, 제2 부분 다중-부분 동작은 이 예에 따라 보안 거래를 인가하는 것을 포함한다. 따라서, 일부 실시예들에 따라, 인가하는 것은 제2 단계이며, 예를 들어, NFC 서브시스템이 제1 단계로부터 준비되어 있는 동안 NFC 서브시스템이 결제 단말기의 NFC 필드의 범위 내로 들어올 때 결제 정보를 결제 단말기에 제공하는 것을 포함한다.
NFC 다중-부분 보안 거래의 일부 실시예들에서, 다중-부분 동작의 제1 부분은, 보안 거래를 완료하기 위해 사용자 인증이 요구된다고 결정하는 것을 포함한다. 예를 들어, NFC 서브시스템이 결제 단말기의 NFC 필드의 범위 내로 들어가는 것에 응답하여, 보안 거래를 인가하기 위해 패스워드 또는 지문과 같은 생체인식 인증과 같은 크리덴셜들을 제공하도록 사용자에게 프롬프팅(prompting)하는 것. 이 예에서, 제2 부분 다중-부분 동작은 보안 거래에 대한 사용자 인증을 수신하는 것을 포함한다. 예를 들어, 햅틱 출력은 결제 프로세스가 진행되기 전에 사용자가 사용자 인증 정보를 제공할 필요가 있음을 사용자에게 리마인드하기 위해 제공되며, 사용자 인증 정보는 옵션적으로 패스코드 기반 또는 생체인식 기반 인증을 포함한다. 일부 실시예들에서, 제1 햅틱 출력 패턴은 사용자 인증에 대한 필요성이 결정될 때와 사용자 인증이 수신될 때 사이에(예를 들어, 사용자 인증을 요청하는 것과 사용자 인증을 수신하는 것 사이에) 사용자에게 사용자 인증 정보를 제공할 것을 리마인드하기 위해 디바이스에 의해 제공되며, 제2 햅틱 출력 패턴은 사용자 인증 정보가 수신될 때와 보안 거래가 인가될 때 사이에(예를 들어, 사용자 인증을 수신하는 것과 결제 정보를 결제 단말기에 제공하는 것 사이에) 디바이스에 의해 제공된다. 이 예에서, 제2 햅틱 출력 패턴은 일부 실시예들에 따르면, NFC 서브시스템을 결제 단말기 근처에 배치할 것을 사용자에게 리마인드하는 제1 햅틱 출력 패턴과 상이하다.
다른 결제 실시예들에 따르면, 입력은 NFC를 사용하지 않는 보안 거래에 대응한다. 이 예에서, 다중-부분 동작의 제1 부분은 거래를 개시하는 제1 사용자 인터페이스 요소의 선택이다. 온라인 구매와 같은 금융 거래의 경우, 온라인 결제를 활성화하는 것에 대응하는 요소의 선택은, 사용자가 보안 또는 기밀 정보를 입력하기 위한 사용자 인터페이스에 들어갈 수 있게 한다. 다른 예로서, 사용자는 안전한 이메일 계정 또는 온라인 소매업체와 같은, 안전한 위치에 로그인하려고 요청한다. 위의 예를 계속하면, 다중-부분 동작은 거래를 처리하는 데 요구되는 정보의 엔트리를 위한 하나 이상의 입력을 포함한다. 예를 들어, 금융 거래를 인가하는 데 필요한 신용 카드 정보 및 다른 검증 정보의 엔트리, 및 대응하는 진행 중인 햅틱 출력 시퀀스가 정보의 엔트리의 지속시간 전체에 걸쳐 제공된다. 유사하게, 입력은 보안 웹 계정에 로그인하기 위한 사용자명 및 패스워드의 엔트리일 수 있다. 일부 실시예들에서, 이벤트는 거래를 처리하는 데 요구되는 정보를 수신하는 하나 이상의 데이터 엔트리 필드의 모집단(population)에 대응하고, 다중-부분 동작의 제2 부분에 대응하는 입력은 거래의 완료를 인가하는 사용자 인터페이스 요소의 선택, 예를 들어, 결제 인가 사용자 인터페이스 요소이다.
일부 실시예들에 따르면, 다중-부분 동작의 제1 부분은 문서의 초안을 닫는 것을 포함하고, 다중-부분 동작의 제2 부분은 문서의 초안으로 복귀하는 것을 포함한다. 다양한 실시예들에 따르면, 문서를 닫는 예들은 다른 작업으로 전환하기 위해 또는 디바이스 상의 다른 애플리케이션을 열기 위해 이메일 또는 텍스트 메시지의 초안을 닫는 것을 포함하고, 문서로 복귀하는 것은 다른 작업 또는 다른 애플리케이션으로부터 이메일 또는 텍스트 메시지의 초안으로 다시 전환하는 것을 포함한다.
일부 실시예들에서, 입력들은 시간적으로 서로 가깝게 발생하는 별개의 입력들이다. 예를 들어, 일부 실시예들에 따라, 다중-부분 동작의 제1 부분에 대응하는 입력은 디바이스 상에서 실행되는 애플리케이션과 상호작용하는 제1 사용자 입력이고, 다중-부분 동작의 제2 부분에 대응하는 입력은 그 애플리케이션과 상호작용하는 제2 사용자 입력이며, 제2 사용자 입력은 제1 사용자 입력과 구별된다. 예를 들어, 애플리케이션으로의 제1 사용자 입력은 제1 탭 및 리프트오프일 수 있고, 제2 사용자 입력은 동일한 애플리케이션 내에서의 제2 탭 및 리프트오프일 수 있다.
일부 상황들에서 다중-부분 동작은 다중-부분 제스처이다. 예를 들어, 일부 실시예들에 따라, 동작은 먼저 디바이스(100)의 터치 감응형 표면 상의 접촉으로서 다중-부분 동작의 제1 부분에 대응하는 입력을 검출하는 것을 포함하고, 다중-부분 동작의 제2 부분에 대응하는 입력을 검출하는 것은 터치 감응형 표면 상의 접촉의 이동을 검출하는 것을 포함한다. 스와이프 제스처의 예에서, 제1 부분은 사용자가 터치 감응형 표면을 터치하는 것이고, 제2 부분은 사용자가 터치 표면을 가로질러 접촉을 이동하면서 표면과의 접촉을 유지하는 것이다. 다른 예에서, 동작은 먼저 터치 감응형 표면 상의 접촉의 이동으로서 다중-부분 동작의 제1 부분에 대응하는 입력을 검출하고, 터치 감응형 표면으로부터의 접촉의 리프트오프를 검출하는 것으로서 다중-부분 동작의 제2 부분에 대응하는 입력을 검출하는 것을 포함한다.
일부 실시예들에 따르면, 다중-부분 동작의 제1 및 제2 부분들에 대응하는 입력들은 단일 제스처를 포함하며, 여기서 다중-부분 동작의 제1 부분에 대응하는 입력은 제스처의 초기 부분(예를 들어, 손가락 접촉을 이용한 터치 및 유지)이고 다중-부분 동작의 제2 부분에 대응하는 입력은 제스처의 후속 부분(예를 들어, 손가락 접촉의 리프트오프)이다. 예를 들어, 텍스트 편집 또는 보기 애플리케이션에서, 단어를 손가락으로 누른 상태로 유지하는 것은 먼저 단어를 하이라이트(highlight)하고, 이어서 하이라이트된 단어를 손가락으로 누르는 상태로 유지하는 것을 계속하는 것은 잘라내기-복사하기-붙여넣기 메뉴를 호출한다. 이 예에서, 접촉의 리프트오프는 터치 및 유지에 대응하는 표시된 양상의 선택을 나타낼 것이다.
일부 실시예들에서, 제스처는 디바이스(100)의 디스플레이 상에 표시된 사용자 인터페이스에서의 제1 위치에 대응하는 터치 감응형 표면의 일부분 상에서 개시되고, 제1 위치와 상이한 사용자 인터페이스에서의 제2 위치에 대응하는 터치 감응형 표면의 제2 부분 상에서 종료한다. 예를 들어, 터치-스와이프-리프트오프 시퀀스는 일부 실시예들에 따라, 드래그-앤-드롭(drag and drop)을 수행하거나, 카메라 뷰어에서 초점 영역을 재위치시키는 데 사용될 수 있다.
일부 실시예들에 따르면, 다중-부분 동작의 제1 부분에 대응하는 입력은 각각의 애플리케이션과 연관된 이벤트를 개시하고, 이벤트는 다중-부분 동작의 제2 부분에 대응하는 입력의 수신 시까지 지속되며, 이때 다중-부분 동작의 제2 부분에 대응하는 입력은 각각의 애플리케이션과 연관된 이벤트를 종료한다. 예를 들어, 일부 실시예들에 따라, 제1 입력은 애플리케이션과 연관된 이벤트를 개시하는 사용자 인터페이스 요소(예를 들어, 애플리케이션의 애플리케이션 사용자 인터페이스 상에 제공됨)의 선택이고, 제2 입력은 그 애플리케이션과 연관된 이벤트를 종료하는 상이한 사용자 인터페이스 요소(예를 들어, 동일한 애플리케이션의 애플리케이션 사용자 인터페이스 상에 있음)의 선택이다.
애플리케이션은 일부 실시예들에 따른 텍스트 편집 애플리케이션이며, 다중-부분 동작의 제1 부분에 대응하는 입력은 텍스트 편집 애플리케이션의 텍스트-엔트리 모드를 인에이블하는 제1 사용자 인터페이스 요소의 선택이다. 이 예에서, 다중-부분 동작은 텍스트 편집 애플리케이션에 대한 텍스트-엔트리를 위한 하나 이상의 입력을 포함하고, 이벤트는 텍스트-엔트리를 위한 입력들에 응답하는 텍스트 편집 문서에서의 텍스트 조작에 대응하며, 다중-부분 동작의 제2 부분에 대응하는 입력은 텍스트 편집 애플리케이션의 텍스트-엔트리 모드를 디스에이블하는 사용자 인터페이스 요소의 선택이다. 일부 실시예들에 따르면, 텍스트 편집 애플리케이션은 디바이스 사용자가 다른 사용자들과 통신할 수 있게 하는 이메일 또는 메시징 애플리케이션과 같은 통신 애플리케이션이다. 일부 실시예들에 따르면, 텍스트 편집 애플리케이션은 워드 프로세싱 애플리케이션, 메모장 또는 스티커 메모 애플리케이션, 또는 텍스트 엔트리를 허용하지만 독립적인 통신 기능을 제공하지 않는 다른 애플리케이션과 같은, 비-통신 텍스트 편집 애플리케이션이다.
일부 실시예들에 따르면, 진행 중인 햅틱 출력 시퀀스의 특성들은 다중-부분 동작의 제1 부분에 대응하는 입력에 의해 개시되는 이벤트에 기초하여 선택된다. 예를 들어, 통화를 보류시키는 것은, 사용자가 기밀 또는 보안 정보를 제공하였고 따라서 추가적 주의를 얻어야 하는 거래인, 금융 거래 이벤트 또는 보안 로그인보다 낮은 세기의(예를 들어, 더 낮은 에너지, 덜 간섭적, 덜 인지가능한) 햅틱 출력 시퀀스를 수반한다. 이 예에서, 다중-부분 동작의 지속시간 전체에 걸쳐(예를 들어, 기밀 정보가 입력된 후이지만 거래가 완료되기 전에), 사용자는, 따라서, 입력되고 있는 정보의 기밀성을 손상시키는 것을 피하기 위해 사용자가 신속하게 거래를 완료하도록 이전 엔트리를 리마인드하게 된다. 일부 상황들에서, 기밀 정보가 이용가능하게 남아있지 않도록, 타임아웃 기능이 사용된다. 또한, 상이한 햅틱 출력 패턴들이, 옵션적으로, 그것들이 완료 중에 있는 작업이 어떤 것인지에 관한 정보를 사용자에게 제공한다.
일부 실시예들에 따라, 다중-부분 동작의 제1 부분에 대응하는 입력은 애플리케이션과 연관된 진행 중인 이벤트를 중지시키고(suspend), 다중-부분 동작의 제2 부분에 대응하는 입력은 애플리케이션과 연관된 진행 중인 이벤트를 재개한다. 예를 들어, 일부 상황들에서 제1 부분은 진행 중인 이벤트에서의 일시 정지를 개시한다. 일부 실시예들에서, 제1 입력은 멀티미디어 파일, 비디오 클립, 노래를 재생하는 것, 또는 진행 중인 통화와 같은 행위를 일시 정지하는 사용자 인터페이스 요소의 선택에 대응하고, 제2 입력은 그 행위를 재개하는 상이한 사용자 인터페이스 요소의 선택이다.
일부 실시예들에 따르면, 진행 중인 햅틱 출력 시퀀스의 세기는 다중-부분 동작에 대응하는 후속 입력이 수신될 때까지 시간에 따라 증가한다. 예를 들어, 진행 중인 햅틱 출력 시퀀스의 햅틱 에너지(예를 들어, 진폭, 주파수, 햅틱 특징들)는, 다중-부분 동작에 대응하는 입력을 추가로 제공할 것을 증가하는 긴급성을 이용해 사용자에게 리마인드하기 위해 시간에 걸쳐 (예를 들어, 증가하는 세기 또는 햅틱 에너지를 통해) 변조된다. 이러한 증가하는 출력은 다양한 실시예들에 따라, 다중-부분 입력의 제1 부분에 의해 시작된 이벤트를 종료하기 위한, 또는 다중-부분 입력의 제1 부분에 의해 중지된 이벤트를 재개하기 위한 리마인더에 대응할 수 있다.
일부 실시예들에서, 햅틱 출력 시퀀스의 시변 햅틱 에너지 프로파일은 오디오 출력 시퀀스의 시변 음향 에너지 프로파일을 모방한다. 도 6과 관련하여 논의된 바와 같이, 일부 실시예들에 따라, 햅틱 및 오디오 시퀀스들의 시변 파형 형태들은 서로 모방, 미러링, 정렬, 및/또는 동기화할 수 있다.
일부 실시예들에 따르면, 출력은, 다중-부분 동작의 제1 부분이 새 이벤트를 개시하는지 또는 진행 중인 이벤트를 일시 정지하는지에 따라 오디오 출력을 포함한다. 일부 실시예들에 따라, 다중-부분 동작의 제1 부분에 대응하는 입력이 진행 중인 이벤트를 일시 정지하는 것이 아니라 각각의 애플리케이션과 연관된 이벤트를 개시한다고 결정하는 것에 응답하여, 디바이스(100)는 수반하는 오디오 출력 시퀀스 없이 햅틱 출력 시퀀스를 제공하고, 다중-부분 동작의 제1 부분에 대응하는 입력이 각각의 애플리케이션과 연관된 진행 중인 이벤트를 일시 정지한다고 결정하는 것에 응답하여, 디바이스(100)는 진행 중인 햅틱 출력 시퀀스에 수반되는 진행 중인 오디오 출력 시퀀스를 제공한다. 일부 실시예들에서, 오디오 출력 시퀀스는, 다중-부분 동작의 제1 부분이 진행 중인 이벤트 또는 행위를 일시 정지하거나 중지시킬 때에만 햅틱 출력 시퀀스에 수반된다. 일시 정지 동안, 사용자는 아마도 디바이스 및/또는 애플리케이션에 참여하지 않는다. 예를 들어, 사용자는 통화가 전환(transfer)되기를 수동적으로 기다리고 있을 수 있으며, 따라서 오디오 출력과 연관된 추가적 자극을 용인할 수 있다. 그러나, 일부 실시예들에서, 사용자가 이메일 메시지를 능동적으로 타이핑하고 있거나 보안 금융 정보 또는 로그인 정보를 입력하고 있는 것과 같이, 일부 실시예들에 따라 실제 이벤트가 다중-부분 동작의 제1 부분에 의해 개시되는 경우, 오디오 시퀀스는 햅틱 시퀀스에 수반되지 않는다.
애플리케이션은 일부 실시예들에 따라, 음성 통신 애플리케이션이다. 예를 들어, 애플리케이션은 일부 실시예들에 따라, 보통의 전화 애플리케이션, 스카이프(Skype)와 같은 인터넷 전화(voice over internet) 애플리케이션, 또는 지챗(Gchat)과 같은 이메일 애플리케이션에 내장된 음성 통신 애플리케이션일 수 있다. 일부 실시예들에 따라, 이벤트는 다중-부분 동작의 제1 부분에 대응하는 입력의 수신 시 발생하는 진행 중인 음성 통신이고, 다중-부분 동작의 제1 부분에 대응하는 입력은 음성 통신 애플리케이션의 제1 사용자 인터페이스 요소의 선택이며, 선택은 진행 중인 음성 통신을 중지시킨다. 예를 들어, 통화 전환 또는 통화 보류 요청으로 인해 음성 통화가 일시 정지된다. 다중-부분 동작의 제2 부분에 대응하는 입력은 일부 실시예들에 따라, 음성 통신을 재개하는 제2 사용자 인터페이스 요소의 선택이다.
도 11에서의 동작들이 설명되는 특정한 순서는 단지 예시적이며, 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내도록 의도되지 않는다는 것을 이해하여야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방법들을 인식할 것이다. 또한, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(700, 900, 1000, 1200, 1300, 2500, 2600, 3000, 3200))과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들이 도 11과 관련하여 전술한 방법(1100)과 유사한 방식으로 또한 적용가능하다는 것에 유의해야 한다. 예를 들어, 방법(1100)을 참조하여 전술한 입력들, 동작들, 애플리케이션들, 및 햅틱 출력들은 옵션적으로, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(700, 900, 1000, 1200, 1300, 2500, 2600, 3000, 3200))을 참조하여 본 명세서에 기술된 입력들, 동작들, 애플리케이션들, 및 햅틱 출력들의 특성들 중 하나 이상을 갖는다. 간결성을 위해, 이들 상세사항들은 여기서 반복되지 않는다.
서브세트 동작들을 위한 햅틱 출력
일부 실시예들에 따라, 동작을 수행하라는 검출된 요청이 다른 동작의 서브세트인 동작에 관련되었는지 여부는 대응하는 햅틱 출력을 제공하기 위한 기초를 제공한다. 동작을 수행하라는 요청이 다른 동작의 서브세트인 동작에 관련되는지 여부와 상관되는 햅틱 출력을 제공하는 것은 보다 효율적인 인간-기계 인터페이스를 생성하고, 이에 의해 사용자가 동작들을 수행하는 데 걸리는 시간의 양을 감소시키며, 이는 결과적으로 에너지 사용을 감소시키고 배터리 전력공급 디바이스들에 대한 배터리 수명을 증가시킨다. 도 12는 일부 실시예들에 따른, 제1 및 제2 동작들을 수행하기 위한 제1 및 제2 입력들을 검출하고, 동작들을 수행하고, 대응하는 출력들을 제공하기 위한 방법(1200)의 예시적인 방법 흐름도이다. 일부 실시예들에서, 도 12에 도시된 단계들 이외의 상이한 단계들이 수행될 수 있음에 유의한다.
방법은 제1 동작을 수행하라는 요청에 대응하는 제1 입력을 검출하는 것(1205)에 의해 시작된다. 일부 실시예들에 따르면, 컴퓨팅 디바이스(100)는 터치 감응형 디스플레이를 포함하고, 제1 입력은 일부 실시예들에 따라 터치 감응형 디스플레이를 통해 수신된다.
일부 실시예들에 따르면, 제1 입력을 검출하는 것에 응답하여, 디바이스(100)는 햅틱 성분을 포함하는 제1 출력을 제공한다(1210). 터치 감응형 디스플레이를 포함하는 경우, 제1 출력의 햅틱 성분은 일부 실시예들에 따라 터치 감응형 디스플레이를 통해 제공된다.
또한 일부 실시예들에 따라 제1 입력을 검출하는 것에 응답하여, 디바이스(100)는 제1 동작을 수행한다(1215). 제1 동작은 입력에 응답하여 디바이스(100)에 의해 수행되는 임의의 동작일 수 있다. 이하에서 설명되는 예들은, 다양한 실시예들에 따라, 카메라로 이미지를 캡처하는 것, 디바이스가 보안 거래를 인가할 수 있게 하는 거래-인에이블 동작, 기존 파일 내에 콘텐츠를 저장하기 위한 저장 동작, 및 메시지 받은편지함에 있는 메시지에 답장을 전송하기 위한 전송 동작을 포함하지만, 이 목록은 총망라하는 것을 의미하지 않으며; 디바이스(100)에 의한 다른 동작들이 본 방법의 단계들을 따르는 것으로 계획된다.
제1 동작을 수행한 후, 디바이스(100)는 일부 실시예들에 따라, 제1 동작 및 보충 동작을 포함하는 제2 동작을 수행하라는 요청에 대응하는 제2 입력을 검출한다(1220). 컴퓨팅 디바이스(100)가 터치 감응형 디스플레이를 포함하는 경우, 제2 입력은 일부 실시예들에 따라 터치 감응형 디스플레이를 통해 수신된다.
일부 실시예들에 따르면, 제2 입력을 검출하는 것에 응답하여, 디바이스(100)는 햅틱 성분을 포함하는 제2 출력을 제공하며(1225), 제2 출력은 보충 동작에 대응하는 보충 출력을 제공하는 것과 함께 제1 출력을 포함한다. 터치 감응형 디스플레이를 포함하는 경우, 제2 출력의 햅틱 성분은 일부 실시예들에 따라 터치 감응형 디스플레이를 통해 제공된다.
일부 실시예들에서, 제2 출력에 대응하는 햅틱 성분은 제1 출력에 대응하는 제1 햅틱 성분 및 보충 출력에 대응하는 제2 햅틱 성분을 포함하고, 제2 햅틱 성분은 제1 햅틱 성분과 구별된다. 예를 들어, 제2 햅틱 성분은 일부 실시예들에 따라, 제1 햅틱 성분보다 높은 세기(예를 들어, 진폭, 지속시간, 주파수)를 갖는다.
보충 출력은 일부 실시예들에 따라 비-햅틱 성분을 포함한다. 비-햅틱 성분은 다양한 실시예들에 따라, 오디오 또는 시각적(예를 들어, 그래픽, 텍스트)인 것 중 임의의 것일 수 있다. 일부 실시예들에서, 보충 출력은 오디오 성분을 포함하지만, 제1 출력은 오디오 성분을 포함하지 않는다. 예를 들어, 카메라 애플리케이션이 이미지 캡처까지 카운트다운하는 특정된 시간 간격을 측정하는 간격 동안에, 오디오 출력이 제공되지만, 이미지를 캡처하는 동작 자체는 오디오 사운드를 수반하지 않는다.
오디오 출력을 포함하는 보충 출력의 경우, 햅틱 출력은 일부 실시예들에 따라, 대응하는 오디오 출력을 수반하고, 오디오 및 햅틱 부분은 일부 실시예들에 따라, 오디오 출력의 적어도 일부분이 햅틱 출력의 적어도 일부분과 동시 발생적이거나, 또는 오디오 출력이 햅틱 출력과 시간적으로 가깝게 발생할 때, 정렬된다. 햅틱 및 오디오 파형들은 완벽하게 정렬될 필요는 없으며, 디바이스(100)는, 소정 클래스들의 햅틱 및 오디오 출력들에 대해, 햅틱 및 오디오 출력들이 그것들이 시간적으로 약간 오프셋되더라도 사용자에 의해 동시 발생적이거나 동시적인 것으로 인지될 것이라는 사실을 고려할 수 있다(예를 들어, 오디오 출력이 햅틱 출력보다 빨리 처리되기 때문에, 오디오 출력을 제공하기 전에 햅틱 출력을 제공하는 것은, 일부 상황에서, 사용자로 하여금 오디오 및 햅틱 출력을 동시에 또는 동시적으로 발생하는 것으로 인지하게 할 것이다). 수반하는 오디오 부분에서의 변형들은 또한 오디오 출력을 포함하는 실시예들 사이에서 변할 수 있다. 예를 들어, 제1 출력과 연관된 오디오 성분의 진폭, 제1 출력과 연관된 오디오 성분의 지속시간, 제1 출력과 연관된 오디오 성분과 연관된 하나 이상의 음악 품질(예를 들어, 피치, 톤 등) 각각은, 소정 상황들에서 변할 수 있다.
일부 실시예들에서, 동일한 햅틱 파형은 상이한 오디오 파형들을 수반할 때 상이한 인지들을 생성한다. 예를 들어, 오디오(링) 톤이 높은 피치 대 낮은 피치로 재생되고, 동일한 햅틱 성분(또는 전형적인 사용자가 구별하지 못할 실질적으로 유사한 햅틱 성분들)을 수반하는 경우, 햅틱 성분의 인지는 동일한 햅틱에도 불구하고 상이하다. 링 톤의 더 높은 피치의 또는 날카로운 버전이 증가된 사용자 주의를 끌기 위해 제2 출력으로 사용될 수 있다. 일부 실시예들에서, 제1 햅틱 출력은 제2 햅틱 출력과 유사하거나, 동일하거나, 실질적으로 동일하다.
일부 실시예들에 따르면, 제2 출력은 제1 동작과 상이한 것으로서 보충 동작을 식별하는 텍스트 성분을 포함한다. 예를 들어, 텍스트 성분은 보충 정보를 설명할 수 있다. 예를 들어, 전송 및 아카이브(send and archive) 동작에 대응하는 출력은 메시지가 아카이브되었음을 나타내는 텍스트 정보를 제공한다. 다른 예로서, 결제 성공 메시지에 대응하는 출력은 보안 정보가 확인되었음을 나타낸다.
일부 실시예들에 따라 보충 동작은 가변 값을 가지며, 보충 출력은 가변 속성의 값에 기초한다. 예를 들어, 다양한 실시예들에 따라, 카메라에 의해 사진이 촬영되기 전의 시간 간격은 5초, 10초, 15초 등일 수 있다. 10초 카메라 타이머의 경우, 보충 출력은 따라서 일부 실시예들에 따라, 대응하여 10초 동안 지속된다.
일부 실시예들에 따르면, 디바이스(100)는 제2 동작을 수행한다(1230). 제1 및 제2 동작들의 수행 타이밍은 각각 변할 수 있다. 일부 실시예들에 따르면, 제1 동작은 제1 출력을 제공하는 것과 동시에 수행되고, 보충 동작은 보충 출력을 제공하는 것과 동시에 수행된다. 예를 들어, 셔터 셀프-타이머의 경우, 제1 출력은 타이머가 카운트다운될 때 제공되며, 이는 제1 동작에 대응하고, 보충 출력은 셔터가 사진을 촬영할 때 제공되며, 이는 보충 동작에 대응한다.
일부 실시예들에 따라 제1 동작은 보충 동작을 수행하기 전에 수행될 수 있고 제1 출력은 보충 출력을 제공하기 전에 제공될 수 있다. 예를 들어, 메시지(예를 들어, 이메일) 전송 기능에 대응하는 제1 동작에 대해, 제2 동작은 전송 및 아카이브 동작이고, 전송 동작은 아카이브 부분인 보충 동작 이전에 수행된다.
일부 실시예들에 따르면, 제1 동작의 적어도 일부분은 보충 동작의 일부분과 동시에 수행되고, 제1 출력의 적어도 일부분은 보충 출력의 일부분과 동시에 제공된다.
방법(1200)의 단계들을 예시하는 데 도움이 되는 몇 가지 예들이 이어진다. 제1 예에서, 제1 동작은 카메라를 이용한 이미지의 캡처에 대응한다. 카메라는 다양한 실시예들에 따라, 디바이스(100) 내에 통합되거나 또는 디바이스로부터 원격이지만 디바이스에 의해 원격으로 제어된다. 이 예에서의 제2 동작은 특정된 시간 간격 후에 이미지를 캡처하는 것에 대응한다. 특히, 이 예의 방법은 일부 실시예들에 따라, 카메라를 이용한 제1 이미지의 캡처에 대한 요청에 대응하는 제1 입력을 검출하는 것에 의해 시작되고, 제1 입력을 검출하는 것에 응답하여, 햅틱 성분을 포함하는 제1 출력을 제공한다. 또한 제1 입력을 검출하는 것에 응답하여, 디바이스(100)는 제1 이미지를 캡처한다. 제1 이미지를 캡처한 후, 디바이스(100)는 일부 실시예들에 따라, 특정된 시간 간격 후에 제2 이미지를 캡처하라는 요청에 대응하는 제2 입력을 검출하고, 제2 입력을 검출하는 것에 응답하여, 햅틱 성분을 포함하는 제2 출력을 제공한다. 이 예에서, 제2 출력은 특정된 시간 간격의 경과를 측정하는 것에 대응하는 보충 출력을 제공하는 것과 함께 제1 출력을 포함하고, 제2 이미지는 특정된 시간 간격 후에 캡처된다.
다른 예에서, 일부 실시예들에 따라 제1 동작은 디바이스가 보안 거래를 인가할 수 있게 하는 거래-인에이블 동작에 대응하고, 제2 동작은 디바이스가 보안 거래를 인가할 수 있게 하는 것 및 보안 거래를 인가하는 것에 대응한다. 예를 들어, 신용 카드 정보가 필요한 온라인 결제 컨텍스트에서, 인에이블 동작은, NFC 서브시스템으로 하여금 결제 단말기 또는 다른 POS(point of sale)에서 결제 크리덴셜들을 제공하도록, 또는 사용자 크리덴셜들 및 패스워드를 필요로 하는 사용자 로그인 요청을 제공하도록 준비시킨다. 특히, 이 예에 따르면, 방법은, 디바이스가 보안 거래를 인가할 수 있게 하는 거래-인에이블 동작을 수행하라는 요청에 대응하는 제1 입력을 검출하고, 제1 입력을 검출하는 것에 응답하여, 햅틱 성분을 포함하는 제1 출력을 제공하는 것에 의해 시작된다. 또한 제1 입력을 검출하는 것에 응답하여, 디바이스가 보안 거래를 인가할 수 있게 하는 것. 거래-인에이블 동작을 수행한 후, 보안 거래를 인가하라는 요청에 대응하는 제2 입력을 검출하는 것, 및 제2 입력을 검출하는 것에 응답하여, 햅틱 성분을 포함하는 제2 출력을 제공하는 것, 여기서 제2 출력은 보안 거래를 인가하는 것 보충 동작에 대응하는 보충 출력을 제공하는 것과 함께 제1 출력을 포함한다. 또한 제2 입력을 검출하는 것에 응답하여, 보안 거래를 인가하는 것.
일부 실시예들에 따라 제1 동작은 기존 파일 내에 콘텐츠를 저장하기 위한 저장 동작에 대응하고, 제2 동작은 기존 파일 내의 콘텐츠를 새로운 파일에 저장하기 위한 새이름으로 저장(save-as) 동작에 대응한다. 이 예에서, 저장 동작을 수행하라는 요청에 대응하는 제1 입력이 검출되고, 제1 입력을 검출하는 것에 응답하여, 햅틱 성분을 포함하는 제1 출력이 제공된다. 또한 제1 입력을 검출하는 것에 응답하여, 기존 파일 내에 콘텐츠를 저장하기 위한 저장 동작이 수행된다. 일부 실시예들에 따라, 저장 동작을 수행한 후, 기존 파일 내의 콘텐츠를 새로운 파일에 저장하기 위한 새이름으로 저장 동작을 수행하라는 요청에 대응하는 제2 입력이 검출되고, 제2 입력을 검출하는 것에 응답하여, 햅틱 성분을 포함하는 제2 출력이 제공되며, 제2 출력은 새로운 파일의 생성에 대응하는 보충 출력을 제공하는 것과 함께 제1 출력을 포함한다. 또한 제2 입력을 검출하는 것에 응답하여, 새이름으로 저장 동작이 수행된다.
일부 실시예들에 따르면, 제1 동작은 메시지 받은편지함에 있는 메시지에 대한 답장을 전송하기 위한 전송 동작에 대응하고, 제2 동작은 메시지 받은편지함에 있는 메시지에 대한 답장을 전송하고 그것을 메시지 받은편지함으로부터 제거하기 위한 전송 및 아카이브 동작에 대응한다.
도 12에서의 동작들이 설명되는 특정한 순서는 단지 예시적이며, 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내도록 의도되지 않는다는 것을 이해하여야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방법들을 인식할 것이다. 또한, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(700, 900, 1000, 1100, 1300, 2500, 2600, 3000, 3200))과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들이 도 12와 관련하여 전술한 방법(1200)과 유사한 방식으로 또한 적용가능하다는 것에 유의해야 한다. 예를 들어, 방법(1200)을 참조하여 전술한 입력들, 동작들, 애플리케이션들, 컴포넌트들, 및 햅틱 출력들은 옵션적으로, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(700, 900, 1000, 1100, 1300, 2500, 2600, 3000, 3200))을 참조하여 본 명세서에 기술된 입력들, 동작들, 애플리케이션들, 컴포넌트들, 및 햅틱 출력들의 특성들 중 하나 이상을 갖는다. 간결성을 위해, 이들 상세사항들은 여기서 반복되지 않는다.
경보 조건 클래스-연관된 햅틱 출력
일부 실시예들에 따라, 2개의 검출된 경보 조건이 동일하거나 상이한 클래스의 경보 조건 내에 있는지 여부는 대응하는 햅틱 출력을 제공하기 위한 기초를 제공한다. 경보 조건들이 동일하거나 상이한 클래스의 경보 조건에 있는지 여부와 상관되는 햅틱 출력을 제공하는 것은 보다 효율적인 인간-기계 인터페이스를 생성하고, 이에 의해 사용자가 동작들을 수행하는 데 걸리는 시간의 양을 감소시키며, 이는 결과적으로 에너지 사용을 감소시키고 배터리 전력공급 디바이스들에 대한 배터리 수명을 증가시킨다. 도 13은 일부 실시예들에 따른, 제1 및 제2 경보 조건들을 검출하고, 대응하는 출력들을 제공하기 위한 방법(1300)의 예시적인 방법 흐름도이다. 일부 실시예들에서, 도 13에 도시된 단계들 이외의 상이한 단계들이 수행될 수 있음에 유의한다.
방법은 일부 실시예들에 따라, 제1 경보 조건의 발생을 검출하는 것(1305)에 의해 시작된다. 제1 경보 조건은 본 명세서의 다른 곳에서 설명된 다양한 경보 조건들 중 임의의 것일 수 있다.
일부 실시예들에 따르면, 제1 경보 조건의 발생을 검출하는 것에 응답하여 제1 햅틱 성분 및 제1 비-햅틱 성분을 포함하는 제1 출력이 제공된다(1310). 비-햅틱 성분은 다양한 실시예들에 따라, 오디오 또는 시각적(예를 들어, 그래픽, 텍스트)인 것 중 임의의 것일 수 있다. 일부 실시예들에 따라, 오디오 성분이 포함되는 경우, 오디오 및 햅틱 성분들은 정렬된다. 햅틱 및 오디오 파형들은 완벽하게 정렬될 필요는 없으며, 디바이스(100)는, 소정 클래스들의 햅틱 및 오디오 출력들에 대해, 햅틱 및 오디오 출력들이 그것들이 시간적으로 약간 오프셋되더라도 사용자에 의해 동시 발생적이거나 동시적인 것으로 인지될 것이라는 사실을 고려할 수 있다(예를 들어, 오디오 출력이 햅틱 출력보다 빨리 처리되기 때문에, 오디오 출력을 제공하기 전에 햅틱 출력을 제공하는 것은, 일부 상황에서, 사용자로 하여금 오디오 및 햅틱 출력을 동시에 또는 동시적으로 발생하는 것으로 인지하게 할 것이다). 일부 실시예들에 따르면, 비-햅틱 부분은 텍스트 성분을 포함한다.
일부 실시예들에 따라, 제1 출력을 제공한 후에, 디바이스(100)는 제2 경보 조건의 발생을 검출하고(1315), 제2 경보 조건의 발생을 검출하는 것에 응답하여, 제2 햅틱 성분 및 제2 비-햅틱 성분을 포함하는 제2 출력을 제공한다(1320). 제1 경보 조건 및 제2 경보 조건이 동일한 클래스의 경보 조건 내에 있는 상이한 경보 조건들인 경우, 제1 출력 및 제2 출력은 일부 실시예들에 따라, 하나 이상의 동일한 성분을 공유하고 하나 이상의 상이한 성분을 갖는다. 대안적으로, 제1 경보 조건 및 제2 경보 조건이 동일한 클래스의 경보 조건 내에 있는 경우, 제1 및 제2 출력들은 하나 이상의 성분을 공통으로 갖는다. 제1 경보 조건 및 제2 경보 조건이 상이한 클래스들의 경보 조건 내에 있는 상이한 경보 조건들인 경우, 일부 실시예들에 따라, 제1 햅틱 성분은 제2 햅틱 성분과 상이하고 제1 비-햅틱 성분은 제2 비-햅틱 성분과 상이하다. 대안적으로, 제1 경보 조건 및 제2 경보 조건이 상이한 클래스들의 경보 조건 내에 있는 경우, 제1 및 제2 출력들은 공통 성분들을 갖지 않는다.
경보 조건들의 클래스들은 일부 실시예들에 따라, 메시지, 활동 경보, 미디어 재생 경보, 가상 어시스턴트 경보, 시스템 경보, 스케줄링 리마인더, 및 인터넷 브라우저 업데이트를 포함한다.
일부 실시예들에 따르면, 제1 경보 조건 및 제2 경보 조건이 동일한 경보 조건의 개별 인스턴스들에 대응하는 경우, 제1 출력은 제2 출력과 동일하다. 컴퓨팅 디바이스(100)가 터치 감응형 디스플레이를 갖는 경우, 제1 출력의 제1 햅틱 성분 및 제2 출력의 제2 햅틱 성분은 컴퓨팅 디바이스 상의 터치 감응형 디스플레이를 통해 제공된다.
일부 실시예들에서, 제1 및 제2 비-햅틱 성분들은 오디오 출력들이다. 오디오 출력을 포함하는 비-햅틱 출력의 경우, 햅틱 출력은 일부 실시예들에 따라, 대응하는 오디오 출력을 수반하고, 오디오 및 햅틱 부분은 일부 실시예들에 따라, 오디오 출력의 적어도 일부분이 햅틱 출력의 적어도 일부분과 동시 발생적이거나, 또는 오디오 출력이 햅틱 출력과 시간적으로 가깝게 발생할 때, 정렬된다. 햅틱 및 오디오 파형들은 완벽하게 정렬될 필요는 없으며, 디바이스(100)는, 소정 클래스들의 햅틱 및 오디오 출력들에 대해, 햅틱 및 오디오 출력들이 그것들이 시간적으로 약간 오프셋되더라도 사용자에 의해 동시 발생적이거나 동시적인 것으로 인지될 것이라는 사실을 고려할 수 있다(예를 들어, 오디오 출력이 햅틱 출력보다 빨리 처리되기 때문에, 오디오 출력을 제공하기 전에 햅틱 출력을 제공하는 것은, 일부 상황에서, 사용자로 하여금 오디오 및 햅틱 출력을 동시에 또는 동시적으로 발생하는 것으로 인지하게 할 것이다). 수반하는 오디오 부분에서의 변형들은 또한 오디오 출력을 포함하는 실시예들 사이에서 변할 수 있다. 예를 들어, 제1 출력과 연관된 오디오 성분의 진폭, 제1 출력과 연관된 오디오 성분의 지속시간, 제1 출력과 연관된 오디오 성분과 연관된 하나 이상의 음악 품질(예를 들어, 피치, 톤 등) 각각은, 소정 상황들에서 변할 수 있다.
일부 실시예들에서, 동일한 햅틱 파형은 상이한 오디오 파형들을 수반할 때 상이한 인지들을 생성한다. 예를 들어, 오디오(링) 톤이 높은 피치 대 낮은 피치로 재생되고, 동일한 햅틱 성분(또는 전형적인 사용자가 구별하지 못할 실질적으로 유사한 햅틱 성분들)을 수반하는 경우, 햅틱 성분의 인지는 동일한 햅틱에도 불구하고 상이하다. 링 톤의 더 높은 피치의 또는 날카로운 버전이 증가된 사용자 주의를 끌기 위해 제2 출력으로 사용될 수 있다. 일부 실시예들에서, 제1 햅틱 출력은 제2 햅틱 출력과 유사하거나, 동일하거나, 실질적으로 동일하다.
일부 실시예들에서, 제1 및 제2 비-햅틱 성분들은 텍스트, 그래픽 또는 메타데이터 출력과 같은 시각적 출력들이다.
일부 실시예들에 따르면, 제1 경보 조건 및 제2 경보 조건은 동일한 클래스의 경보 조건 내에 있으며, 여기서 클래스는 애플리케이션에 대한 경보 조건들과 연관된다. 이 예에서, 각각의 애플리케이션으로부터의 모든 경보들은 공통 클래스에 속하며, 클래스들은 애플리케이션에 의해 구별된다. 예를 들어, 모든 가상 어시스턴트 이벤트들은 옵션적으로 상이한 오디오 성분들을 갖는 동일한 햅틱 성분을 갖는다. 다른 예에서, 착신 및 발신 메시지들은 상이한 오디오를 갖는 동일한 햅틱 출력을 가지며, 동일한 햅틱 출력은 옵션적으로 공통의 인스턴트 메시징 애플리케이션과 연관되는 것에 기초한다. 공통 성분(이 예에서는, 햅틱 성분)은 애플리케이션을 식별한다. 또 다른 예에서, 이벤트들의 확인, 취소 및 호출을 포함하는 개인 자동화 어시스턴트에 대한 이벤트들은 옵션적으로 모두 동일한 오디오, 그러나 상이한 햅틱 출력들을 갖는다.
[표 6]
Figure pat00023
표 6은 일부 실시예들에 따른, 메시징 애플리케이션에 대한 메시지 수신됨 경보 조건 및 메시지 전송됨 경보 조건을 도시한다. 이 예에서, 활성 애플리케이션 상태에 대한 다양한 모드들이 열거된다. 새 메시지 수신됨의 경우, 제5, 제6, 및 제7 행에 도시된 바와 같이, 탭-유형 햅틱이 출력되고 메시지 수신 디폴트 오디오가 출력된다. 마지막 행에 도시된, 새 메시지 전송됨의 경우, 탭-유형 햅틱이 출력되고, 메시지 전송 디폴트 오디오가 출력된다. 메시지 수신됨(제1 경보 조건) 및 메시지 전송됨(제2 경보 조건)은 동일한 클래스의 경보 조건 - 여기서 클래스는 애플리케이션(메시징)과 연관됨 - 내에 있기 때문에, 경보 조건들 둘 모두에 대한 햅틱 출력은 동일하지만, 오디오 출력은 상이하다. 표 6은 일부 실시예들에 따른 조건들 및 대응하는 출력들을 제공하지만 단지 예시일 뿐이며; 상이한 실시예들에 따라 경보들, 상태들, 모드들, 조건들 및 출력들의 다른 조합들이 사용된다.
일부 실시예들에 따르면, 제1 경보 조건 및 제2 경보 조건은 동일한 클래스의 경보 조건 내에 있으며, 클래스는 애플리케이션들의 카테고리와 연관된다. 예를 들어, 애플리케이션의 클래스들은 일부 실시예들에 따라, 메시징 애플리케이션, 게임 애플리케이션, 건강/피트니스 애플리케이션, 생산성 애플리케이션, 또는 소셜 네트워킹 애플리케이션을 포함한다. 일부 실시예들에서, 공통의 또는 유사한 기능들을 갖거나 수행하는 애플리케이션들은 옵션적으로 공통 클래스의 애플리케이션들에 속한다. 애플리케이션들의 클래스들의 예들은, 텍스트 기반 통신 애플리케이션(인스턴트 메시징, 이메일, 소셜 미디어), 음성 기반 통신 애플리케이션(전화, 인터넷 전화), 멀티미디어 애플리케이션(사진 뷰어 애플리케이션, 카메라 애플리케이션, 음악 플레이어, 비디오 플레이어), 텍스트 편집 애플리케이션(워드, 메모장), 스케줄링 애플리케이션(캘린더, 알람) 및 인터넷 브라우저 애플리케이션(크롬, 사파리)을 포함한다. 따라서 클래스들은 일부 실시예들에 따라, 애플리케이션들에 걸쳐 기능에 의해 구별된다. 하나의 예로서, 이메일 메시지들 및 텍스트 메시지들은 상이한 애플리케이션들(이메일 및 인스턴트 메시징)에 속하지만, 일부 실시예들에 따라, 동일한 클래스의 애플리케이션들 내에 있는 애플리케이션들과 연관되므로(둘 다 텍스트 기반 통신 애플리케이션들), 동일한 햅틱 출력 및 상이한 오디오 출력들을 갖는다.
일부 실시예들에 따르면, 제1 경보 조건 및 제2 경보 조건은 동일한 클래스의 경보 조건 내에 있으며, 클래스는 미리정의된 클래스의 기능들 내의 기능들에 대응한다. 예를 들어, 활동 모니터링 애플리케이션 내에서 활동 목표들의 달성에 대해 보고하는 경보들은(예를 들어, 목표 근접, 목표에 뒤쳐짐, 목표 달성됨, 목표의 10% 달성됨, 목표의 50% 달성됨 등) 옵션적으로 동일한 클래스의 경보들에 속한다. 동일한 스케줄링 애플리케이션 내의 다양한 알람들 또는 리마인더들은 일부 실시예들에 따라, 상이한 미리정의된 시간 인스턴스들에 대해 설정될 수 있거나, 다양한 상이한 미리정의된 기준들의 충족에 대해 보고하기 위한 것일 수 있다.
[표 7]
Figure pat00024
표 7은 일부 실시예들에 따른 다양한 활동 관련 목표들을 도시한다. 이 예에서, 동일한 경보 조건 클래스에 속하는 3개의 상이한 경보 조건들이 도시된다: 비활동(sedentary) 종료 타이머, 목표의 50% 활동, 및 활동 목표 도달됨. 도시된 경보 조건들의 클래스는 활동 모니터링 애플리케이션 내에서 활동 목표들의 달성에 대해 보고하는 경보들의 미리정의된 클래스의 기능들 내의 기능들에 대응한다. 표 내의 각 이벤트에 대해, 햅틱 출력은 탭-유형 출력이지만, 각각의 상이한 유형에 대한 오디오 출력은 변한다(예를 들어, 디폴트 활동 차임(chime), 오디오 없음, 강렬한 활동 차임). 표 7은 일부 실시예들에 따른 조건들 및 대응하는 출력들을 제공하지만 단지 예시일 뿐이며; 상이한 실시예들에 따라 경보들, 상태들, 모드들, 조건들 및 출력들의 다른 조합들이 사용된다.
일부 실시예들에 따르면, 제1 경보 조건 및 제2 경보 조건은 2개의 상이한 애플리케이션과 연관되며, 여기서 제1 경보 조건 및 제2 경보 조건은 동일한 클래스의 경보 조건 내에 있고, 클래스는 2개의 상이한 애플리케이션 내에서의 미리정의된 클래스의 기능들 내의 기능들에 대응한다. 미리정의된 클래스들의 기능들의 예들은 일부 실시예들에 따라, 동일한 클래스에 속하는 애플리케이션들에 걸쳐 다른 사용자로부터의 착신 텍스트 통신(착신 이메일, 착신 인스턴트 메시지, 착신 소셜 미디어 메시지)에 대해 보고하는 경보들, 공통 클래스에 속하는 모든 애플리케이션들에 걸쳐 다른 사용자로부터의 착신 음성 통신(전화, 인터넷 전화, 이메일 애플리케이션 내의 음성 통화)에 대해 보고하는 경보들, 공통 클래스에 속하는 모든 애플리케이션들에 대한 애플리케이션 소프트웨어 업그레이드들을 보고하는 경보들, 디바이스의 다양한 상태들(Wi- Fi 연결됨/이용불가, GPS 켜기/끄기, 배터리 수명 표시기, 디바이스 온/오프)에 대해 보고하는 시스템 경보들을 포함한다.
[표 8]
Figure pat00025
표 8은 다음의 4개의 상이한 애플리케이션 유형들에 대한 다양한 소프트웨어 업그레이드 가능 경보 조건들을 포함한다: 캘린더, 메시지, 소셜 네트워킹 및 게임. 이 경보 조건들은 각각 상이한 애플리케이션들과 연관되지만, 미리정의된 클래스의 기능들 내의 기능들에 대응하는 동일한 클래스의 경보 조건 내에 있다(이 경우 모든 애플리케이션들에 대한 애플리케이션 소프트웨어 업그레이들). 각 경보 조건에 대해, 버즈-탭의 햅틱이 출력된다. 경보 조건들 중 일부는 또한 비-햅틱 출력을 갖는다. 소셜 네트워킹 또는 게임 애플리케이션들의 경우, 햅틱 출력은 팝업 유형 통지에 의해 보완된다. 표 8은 일부 실시예들에 따른 조건들 및 대응하는 출력들을 제공하지만 단지 예시일 뿐이며; 상이한 실시예들에 따라 경보들, 상태들, 모드들, 조건들 및 출력들의 다른 조합들이 사용된다.
일부 실시예들에 따르면, 제1 경보 조건 및 제2 경보 조건이 동일한 클래스의 경보 조건 내에 있는 상이한 경보 조건들인 경우, 제1 출력의 제1 햅틱 성분은 제2 출력의 제2 햅틱 성분과 동일하고(또는 실질적으로 동일함), 제1 출력의 제1 비-햅틱 성분(예를 들어, 오디오 또는 시각적)은 제2 출력의 제2 비-햅틱 성분과 상이하다. 위의 표 4, 표 5 및 표 6의 예들 각각은, 그것들이 각각 공통 햅틱 성분 및 상이한 비-햅틱 성분들은 공유하므로, 이 카테고리에 속한다. 일부 실시예들에서, "동일한" 햅틱 성분들은, 햅틱 출력 생성기(때때로 아날로그 컴포넌트)가 약간 상이한 햅틱 출력들을 생성하더라도(전형적인 사용자에게 실질적으로 인지적으로 동일하더라도), 햅틱 출력 생성기에 전달되는 동일한 햅틱 출력 명령어들에 기초하여 생성되는 햅틱 성분들이다. 일부 실시예들에서, 오디오 성분들은 속성들을 공유할 수 있지만, 여전히 상이하다. 예를 들어, 동일한 링톤 또는 음표들이 상이한 피치들로 또는 상이한 악기들을 이용해 재생된다. 동일한 햅틱 출력 상의 중첩하는 상이한 오디오(예를 들어, 높은 피치 대 낮은 피치, 금속 톤 대 유리 톤 대 세라믹 톤으로 재생되는 동일한 오디오)는 상이한 인지들을 생성한다. 일부 실시예들에서, 상이한 햅틱 성분들은, 전형적인 사용자에 의해 인지적으로 구별가능한 햅틱 출력들을 생성하기 위해 햅틱 출력 생성기에 전달되는 상이한 햅틱 출력 명령어들에 기초하여 생성되는 햅틱 성분들이다.
일부 실시예들에 따르면, 반대의 상관관계가 그것들 각자의 출력들에 있어서 햅틱 대 비-햅틱 유사성들 및 차이들에 대해 적용된다. 제1 경보 조건 및 제2 경보 조건이 동일한 클래스의 경보 조건 내에 있는 상이한 경보 조건들인 경우, 제1 출력의 제1 비-햅틱 성분은 제2 출력의 제2 비-햅틱 성분과 동일하고(또는 실질적으로 동일함), 제1 출력의 제1 햅틱 성분은 제2 출력의 제2 햅틱 성분과 상이하다.
제1 경보 조건 및 제2 경보 조건이 동일한 경보 조건에 대응하는 경우, 제1 출력은 일부 실시예들에 따라, 제2 출력에 수반되는 제2 추가적 성분과 상이한 제1 추가적 성분을 수반한다. 예를 들어, 제1 및 제2 착신 인스턴트 메시지들은 둘 다 착신 인스턴트 메시지들이며, 따라서 동일한 경보 조건이다. 이 예에서, 제1 추가적 성분은 제1 경보 조건을 트리거한 제1 이벤트에 고유하고, 제2 추가적 성분은 제2 경보 조건을 트리거한 제2 이벤트에 고유하며, 예를 들어, 제1 착신 인스턴트 메시지의 추가적 성분은 일부 실시예들에 따라, 제1 인스턴트 메시지(예를 들어, 전송자의 이름, 전송자의 연락처 정보, 메시지의 본문/콘텐츠)에 고유한 시각적 성분(텍스트, 메타데이터, 그래픽)을 포함한다. 마찬가지로, 제2 착신 인스턴트 메시지의 추가적 성분은 제2 인스턴트 메시지(예를 들어, 전송자의 이름, 전송자의 연락처 정보, 메시지의 본문/콘텐츠)에 고유한 시각적 성분(텍스트, 메타데이터, 그래픽)을 포함한다. 일부 실시예들에 따라, 제1 출력에 수반되는 제1 추가적 성분은, 옵션적으로, 제1 경보를 트리거한 제1 이벤트를 설명하는 정보(예를 들어, 텍스트 정보)를 제공하고(예를 들어, 자동화 어시스턴트 응답의 메시지 또는 텍스트 버전의 스니펫(snippet)), 제2 출력에 수반되는 제2 추가적 성분은 제2 경보를 트리거한 제2 이벤트를 설명하는 정보(예를 들어, 텍스트 정보)를 제공한다.
일부 실시예들에 따르면, 제2 출력을 제공한 후(1320), 디바이스(100)는 제3 경보 조건의 발생을 검출하고(1325), 제3 경보 조건의 발생을 검출하는 것에 응답하여, 제3 햅틱 성분 및 제3 비-햅틱 성분을 포함하는 제3 출력을 제공한다(1330). 제1 경보 조건, 제2 경보 조건, 및 제3 경보 조건이 동일한 클래스의 경보 조건 내에 있는 상이한 경보 조건들인 경우, 제1 출력, 제2 출력, 및 제3 출력은 옵션적으로 하나 이상의 동일한 성분을 공유하고 하나 이상의 상이한 성분을 갖는다. 제3 경보 조건이 제1 경보 조건 및 제2 경보 조건과 상이한 클래스의 경보 조건 내에 있는 경우, 제3 햅틱 성분은 옵션적으로 제1 햅틱 성분 및 제2 햅틱 성분 둘 모두와 상이하고, 제3 비-햅틱 성분은 옵션적으로 제1 비-햅틱 성분 및 제2 비-햅틱 성분 둘 모두와 상이하다. 대안적으로, 제1 경보 조건, 제2 경보 조건 및 제3 경보 조건이 동일한 클래스의 경보 조건 내에 있는 상이한 경보 조건들인 경우, 일부 실시예들에 따라, 제1, 제2 및 제3 출력들은 하나 이상의 성분을 공통으로 갖고(예를 들어, 햅틱, 비-햅틱), 제3 경보 조건이 제1 경보 조건 및 제2 경보 조건과 상이한 클래스의 경보 조건 내에 있는 경우, 제3 햅틱 출력은 제1 출력 및 제2 출력과 공통 성분들을 갖지 않는다.
도 13에서의 동작들이 설명되는 특정한 순서는 단지 예시적이며, 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내도록 의도되지 않는다는 것을 이해하여야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방법들을 인식할 것이다. 또한, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(700, 900, 1000, 1100, 1200, 2500, 2600, 3000, 3200))과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들이 도 13과 관련하여 전술한 방법(1300)과 유사한 방식으로 또한 적용가능하다는 것에 유의해야 한다. 예를 들어, 방법(1300)을 참조하여 전술한 입력들, 경보 조건들, 애플리케이션들, 및 햅틱 출력들은 옵션적으로, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(700, 900, 1000, 1100, 1200, 2500, 2600, 3000, 3200))을 참조하여 본 명세서에 기술된 입력들, 경보 조건들, 애플리케이션들, 및 햅틱 출력들의 특성들 중 하나 이상을 갖는다. 간결성을 위해, 이들 상세사항들은 여기서 반복되지 않는다.
도 7 및 도 9 내지 도 13을 참조하여 전술한 동작들은, 옵션적으로, 도 1a, 도 1b, 및 도 14 내지 도 19에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 입력을 수신하고, 경보 조건들을 검출하고, 상태들을 결정하고, 경보 조건 트리거들을 결정하고, 햅틱 및 오디오 출력을 제공하고, 동작들을 수행하는 것은, 옵션적으로, 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응형 디스플레이(112) 상의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의(186)와 비교하고, 터치 감응형 표면 상의 제1 위치에서의 제1 접촉이 사용자 인터페이스 상의 객체의 선택과 같은 미리정의된 이벤트 또는 서브-이벤트에 대응하는지 여부를 결정한다. 각자의 미리정의된 이벤트 또는 서브-이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브-이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화시킨다. 이벤트 핸들러(190)는 옵션적으로 애플리케이션 내부 상태(192)를 업데이트하기 위해 데이터 업데이터(176) 또는 객체 업데이터(177)를 활용하거나 호출한다. 일부 실시예들에서, 이벤트 핸들러(190)는 각자의 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 표시되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a, 도1b, 및 도 14 내지 도 19에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
전술한 바와 같이, 도 7 및 도 9 내지 도 13을 참조하여 설명된 동작들은 옵션적으로 도 14 내지 도 19에 도시된 컴포넌트들에 의해 구현된다. 도 14는 다양한 기술된 실시예들의 원리들에 따라 구성된 디바이스(100)의 예시적인 기능 블록도를 도시한다. 다양한 기술된 실시예들의 원리들을 구현하기 위해 도 14에서 기술된 기능 블록들이 옵션적으로 조합되거나 서브블록들로 분리됨이 통상의 기술자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 14에 도시된 바와 같이, 디바이스(100)는 애플리케이션을 표시하도록 구성된 디스플레이 유닛(1401), 사용자 접촉을 수신하도록 구성된 터치 감응형 표면 유닛(1403), 및 디스플레이 유닛(1401) 및 터치 감응형 표면 유닛(1403)에 결합된 처리 유닛(1405)을 포함한다. 일부 실시예들에서, 처리 유닛(1405)은 검출 유닛(1410), 상태 결정 유닛(1415), 햅틱 제공 유닛(1420), 참여 결정 유닛(1425) 및 출력 결정 유닛(1430)을 포함한다.
처리 유닛(1405)은 (예를 들어, 검출 유닛(1410)을 이용해) 컴퓨팅 디바이스 상에서 실행되는 애플리케이션과 연관된 경보 조건을 검출하도록 구성된다. 또한, 처리 유닛(1405)은 (예를 들어, 상태 결정 유닛(1415)을 이용해) 경보 조건을 검출하는 것에 응답하여, 경보 조건과 연관된 시간에 애플리케이션과 연관된 상태를 결정하도록 구성된다. 애플리케이션이 경보 조건과 연관된 시간에 활성 상태에 있었다는 결정에 따라, 처리 유닛(1405)은 (예를 들어, 햅틱 제공 유닛(1420)을 이용해) 경보 조건의 발생을 나타내는 제1 햅틱 출력을 제공하고, 제1 햅틱 출력은 제1 세트의 출력 특성들을 가지며, 애플리케이션이 경보 조건과 연관된 시간에 비활성 상태에 있었다는 결정에 따라, (예를 들어, 햅틱 제공 유닛(1420)을 이용해) 경보 조건의 발생을 나타내는 제2 햅틱 출력을 제공하고, 제2 햅틱 출력은 제2 세트의 출력 특성들을 가지며, 제2 햅틱 출력은 제1 햅틱 출력과 상이하다.
다음 단락들([0335] 내지 [0347])은 도 14에 도시된 디바이스(100)에 의해 개별적으로 또는 임의의 조합으로 구현될 수 있는 상이한 실시예들을 설명한다.
처리 유닛(1405)은 (예를 들어, 상태 결정 유닛(1415)을 이용해) 애플리케이션에 대한 사용자 인터페이스가 경보 조건과 연관된 시간에 디바이스의 터치스크린 상에 표시되었는지 여부를 결정함으로써 경보 조건과 연관된 시간에 애플리케이션과 연관된 상태를 결정한다.
처리 유닛(1405)은 (예를 들어, 상태 결정 유닛(1415)을 이용해) 애플리케이션에 대한 사용자 입력이 경보 조건을 트리거했는지 여부를 결정함으로써 경보 조건과 연관된 시간에 애플리케이션과 연관된 상태를 결정하며, 이때 사용자 상호작용은 경보 조건과 상이하다.
애플리케이션이 경보 조건의 시간에 검출된 사용자 상호작용에 기초하여 활성 상태에 있었다면, 처리 유닛(1405)은 (예를 들어, 참여 결정 유닛(1425)을 이용해) 경보 조건의 시간에 사용자 상호작용과 연관된 사용자 참여의 레벨을 결정하고, (예를 들어, 출력 결정 유닛을 이용해) 결정된 참여의 레벨에 기초하여 제1 햅틱 출력에 대한 제1 세트의 출력 특성들 중 하나 이상을 결정한다.
처리 유닛(1405)이 애플리케이션이 활성 상태에 있었음을 결정하는 것은, 경보 조건과 연관된 시간에 애플리케이션이 컴퓨팅 디바이스 상의 포어그라운드에서 실행 중이었음을 결정하는 것을 포함한다. 처리 유닛(1405)이 애플리케이션이 비활성 상태에 있었음을 결정하는 것은, 경보 조건과 연관된 시간에 애플리케이션이 컴퓨팅 디바이스 상에서 실행 중이지 않거나 또는 컴퓨팅 디바이스 상의 백그라운드에서 실행 중이었음을 결정하는 것을 포함한다.
디스플레이 유닛(1401)은 애플리케이션에 대응하는 각각의 사용자 인터페이스 윈도우를, 디바이스 상의 다중-애플리케이션-윈도우 사용자 인터페이스 상에서 하나 이상의 다른 사용자 인터페이스 윈도우와 동시에 표시한다. 처리 유닛(1405)은, (예를 들어, 상태 결정 유닛(1415)을 이용해) 경보 조건과 연관된 시간에 애플리케이션에 대응하는 각각의 사용자 인터페이스 윈도우가 다중-애플리케이션-윈도우 사용자 인터페이스의 포어그라운드에 표시되었는지 여부를 결정한다.
디스플레이 유닛(1401)은 경보 조건과 연관된 시간에 디바이스 상의 다중-애플리케이션-윈도우 사용자 인터페이스 상에 하나 이상의 다른 사용자 인터페이스 윈도우를 동시에 표시하고, 처리 유닛(1405)이 (예를 들어, 상태 결정 유닛(1415)을 이용해) 경보 조건과 연관된 시간에 애플리케이션과 연관된 상태를 결정하는 것은, 경보 조건과 연관된 시간에 애플리케이션에 대응하는 각각의 사용자 인터페이스 윈도우가 다중-애플리케이션-윈도우 사용자 인터페이스에 표시되었는지 여부를 결정하는 것을 포함한다.
일부 실시예들에서, 경보 조건은 애플리케이션에 의해 자동으로 트리거되는 이벤트, 디바이스의 외부에 있는 소스로부터 애플리케이션에 의해 수신된 자동 개시된 이벤트 통지, 또는 디바이스를 동작시키는 사용자 이외의 인간 사용자로부터 애플리케이션에 의해 수신된 수동 개시된 이벤트 통지에 대응한다.
처리 유닛(1405)은 (예를 들어, 출력 결정 유닛(1430)을 이용해) 제1 오디오 출력을 수반하는 제1 햅틱 출력 및 제2 오디오 출력을 수반하는 제2 햅틱 출력을 포함하는 출력을 제공하며, 이때 제1 햅틱 출력은 제2 햅틱 출력과 동일하고 제1 오디오 출력은 제2 오디오 출력과 상이하다. 대안적으로, 처리 유닛(1405)은 (예를 들어, 출력 결정 유닛(1430)을 이용해) 오디오 출력을 수반하는 제1 햅틱 출력 및 동일한 오디오 출력을 수반하는 제2 햅틱 출력을 포함하는 출력을 제공하며, 이때 제1 햅틱 출력은 제2 햅틱 출력과 상이하다.
처리 유닛(1405)은 오디오 출력에 의해 제2 햅틱 출력을 수반시키며, 제2 햅틱 출력의 파형은 수반하는 오디오 출력의 파형에 기초하여 생성되고, 그것을 미러링하고, 그것에 동기화된다. 처리 유닛(1405)은 (예를 들어, 출력 결정 유닛(1430)을 이용해) 오디오 출력을 수반하지 않는 제1 햅틱 출력 및 오디오 출력을 수반하는 제2 햅틱 출력을 포함하는 출력을 제공한다. 일부 실시예들에서, 제1 햅틱 출력은 제2 햅틱 출력과 유사하다. 일부 실시예들에서, 제2 햅틱 출력은 제1 햅틱 출력보다 큰 세기를 갖는다.
(예를 들어, 출력 결정 유닛(1430)에 의해 제공되는) 햅틱 출력의 제1 세트의 특성들은 제1 햅틱 출력의 진폭, 지속시간, 규칙성, 반복 주파수, 또는 햅틱 특징들의 선택 중 하나 이상을 포함한다. 일부 실시예들에서, 제2 햅틱 출력은 제1 햅틱 출력과 상이하고 그것보다 큰 세기를 갖는다.
처리 유닛(1405)은 (예를 들어, 상태 결정 유닛을 이용해) 경보 조건과 연관된 시간에 컴퓨팅 디바이스가 활성이었음을 결정함으로써 경보 조건과 연관된 시간에 컴퓨팅 디바이스의 상태를 결정하고, 애플리케이션이 비활성 상태에 있었음을 결정하는 것은 컴퓨팅 디바이스가 경보 조건과 연관된 시간에 비활성이었음을 결정하는 것을 포함한다. 제1 및 제2 세트의 특성들은 일부 실시예들에 따라, 컴퓨팅 디바이스의 디바이스 유형에 대응한다.
일부 실시예들에서, 제1 시점에서, 애플리케이션이 활성 상태에 있는 동안, 처리 유닛(1405)은 (예를 들어, 검출 유닛(1410)을 이용해) 애플리케이션과 연관된 제1 경보 조건을 검출하고, 제1 애플리케이션이 활성 상태에 있는 동안 제1 경보 조건을 검출하는 것에 응답하여, 처리 유닛(1404)은 (예를 들어, 출력 결정 유닛(1430)을 이용해) 제1 경보 조건을 나타내는 제1 출력을 제공한다. 제2 시점에서, 제1 애플리케이션이 비활성 상태에 있는 동안, 처리 유닛(1405)은 제2 경보 조건을 검출하고, 애플리케이션이 비활성 상태에 있는 동안 제2 경보 조건을 검출하는 것에 응답하여, 처리 유닛(1405)은 (예를 들어, 출력 결정 유닛(1440)을 이용해) 제2 경보 조건을 나타내는 제2 햅틱 출력을 제공하며, 제2 햅틱 출력은 제1 햅틱 출력과 상이하다.
일부 실시예들에서, 디바이스는 (예를 들어, 터치 감응형 표면 유닛(1403)에 의해 제공되는) 터치 감응형 디스플레이를 갖고, 제1 햅틱 출력 및 제2 햅틱 출력은 (예를 들어, 출력 결정 유닛(1430)을 이용해) 컴퓨팅 디바이스 상의 터치 감응형 디스플레이를 통해 제공된다. 전술한 바와 같이, 도 7 및 도 9 내지 도 13을 참조하여 설명된 동작들은 옵션적으로 도 14 내지 도 19에 도시된 컴포넌트들에 의해 구현된다. 도 14는 다양한 기술된 실시예들의 원리들에 따라 구성된 디바이스(100)의 예시적인 기능 블록도를 도시한다. 다양한 기술된 실시예들의 원리들을 구현하기 위해 도 14에서 기술된 기능 블록들이 옵션적으로 조합되거나 서브블록들로 분리됨이 통상의 기술자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
전술한 바와 같이, 도 7 및 도 9 내지 도 13을 참조하여 설명된 동작들은 옵션적으로 도 14 내지 도 19에 도시된 컴포넌트들에 의해 구현된다. 도 15는 다양한 기술된 실시예들의 원리들에 따라 구성된 디바이스(100)의 예시적인 기능 블록도를 도시한다. 다양한 기술된 실시예들의 원리들을 구현하기 위해 도 15에서 기술된 기능 블록들이 옵션적으로 조합되거나 서브블록들로 분리됨이 통상의 기술자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 15에 도시된 바와 같이, 디바이스(100)는 애플리케이션을 표시하도록 구성된 디스플레이 유닛(1501), 사용자 접촉을 수신하도록 구성된 터치 감응형 표면 유닛(1503), 및 디스플레이 유닛(1501) 및 터치 감응형 표면 유닛(1503)에 결합된 처리 유닛(1505)을 포함한다. 일부 실시예들에서, 처리 유닛(1505)은 검출 유닛(1510), 트리거 결정 유닛(1515), 햅틱 제공 유닛(1520), 외부 이벤트 결정 유닛(1525), 출력 변형 제공 유닛(1530), 긴급성 결정 유닛(1535), 컨텍스트 결정 유닛(1540), 변조 유닛(1545) 및 개인 통신 결정 유닛(1550)을 포함한다.
처리 유닛(1505)은 (예를 들어, 검출 유닛(1510)을 이용해) 애플리케이션과 연관된 경보 조건의 발생을 검출하고, 경보 조건의 발생을 검출하는 것에 응답하여, (예를 들어, 트리거 결정 유닛(1515)을 이용해) 경보 조건이 수동-개시된 이벤트에 의해 트리거되었는지 여부를 결정하도록 구성된다. 경보 조건이 수동-개시된 이벤트에 의해 트리거되었다는 결정에 따라, 처리 유닛(1505)은 (예를 들어, 햅틱 제공 유닛(1520)을 이용해) 수동-개시된 이벤트 통지에 대응하는 제1 햅틱 출력을 제공하고, 경보 조건이 자동-개시된 이벤트에 의해 트리거되었다는 결정에 따라, 처리 유닛(1505)은 (예를 들어, 햅틱 제공 유닛(1520)을 이용해) 자동-개시된 이벤트 통지에 대응하는 제2 햅틱 출력을 제공하며, 여기서 제2 햅틱 출력은 제1 햅틱 출력과 상이하다.
다음 단락들([0353] 내지 [0364])은 도 15에 도시된 디바이스(100)에 의해 개별적으로 또는 임의의 조합으로 구현될 수 있는 상이한 실시예들을 설명한다.
처리 유닛(1505)은 일부 실시예들에 따라, (예를 들어, 트리거 결정 유닛(1515)을 이용해) 경보 조건이 인간 사용자에 의해 개시된 이벤트에 대응하는지 여부를 결정함으로써 경보 조건이 수동-개시된 이벤트에 의해 트리거되었음을 결정한다. 일부 실시예들에서, 처리 유닛(1505)은 (예를 들어, 트리거 결정 유닛(1515)을 이용해) 경보 조건이 컴퓨팅 디바이스의 사용자 이외의 인간 사용자에 의해 개시된 이벤트에 대응하는지 여부를 결정함으로써 경보 조건이 수동-개시된 이벤트에 의해 트리거되었음을 결정한다.
처리 유닛(1505)은 일부 실시예들에 따라, (예를 들어, 트리거 결정 유닛(1515)을 이용해) 경보 조건이 인간 사용자로부터 수신된 입력에 대응하는지 여부를 결정함으로써 경보 조건이 수동-개시된 이벤트에 의해 트리거되었음을 결정하며, 입력은 컴퓨팅 디바이스의 사용자를 식별하고, 입력은 컴퓨팅 디바이스의 사용자에게 입력에 관해 경보하기 위한 인간 사용자로부터의 표시를 포함한다.
처리 유닛(1505)은 일부 실시예들에 따라, (예를 들어, 트리거 결정 유닛(1515)을 이용해) 경보 조건이 애플리케이션에 의해 자동으로 트리거되었는지 또는 디바이스의 외부에 있는 소스로부터 애플리케이션에 의해 수신된 자동-개시된 이벤트 통지였는지 여부를 결정한다. 대안적으로, 처리 유닛(1505)은 (예를 들어, 트리거 결정 유닛(1515)을 이용해) 경보 조건이 미리결정된 시간에 발생하거나 미리결정된 트리거 조건의 충족에 대해 보고한다고 결정함으로써 경보 조건이 자동-개시된 이벤트에 의해 트리거되었음을 결정한다.
경보 조건이 자동-개된시 이벤트에 의해 트리거되었다는 결정에 따라, 처리 유닛(1505)은 일부 실시예들에 따라, (예를 들어, 외부 이벤트 결정 유닛(1525)을 이용해) 자동-개시된 이벤트가 디바이스 외부에서 발생하는 자동-개시된 이벤트에 대응하는지 여부를 결정한다. 자동-개시된 이벤트가 디바이스 외부에서 발생하는 이벤트에 대응한다는 결정에 따라, 처리 유닛(1505)은 (예를 들어, 출력 변형 제공 유닛(1530)을 이용해) 외부적으로 발생하는 자동-개시된 이벤트의 통지에 대응하는, 제2 햅틱 출력의 제1 변형을 제공한다. 자동-개시된 이벤트가 디바이스 내에서 개시된 이벤트에 대응한다는 결정에 따라, 처리 유닛(1505)은 (예를 들어, 출력 변형 제공 유닛(1530)을 이용해) 내부적으로 생성된 자동-개시된 이벤트의 통지에 대응하는 제2 햅틱 출력의 제2 변형을 제공한다.
경보 조건이 수동-개시된 이벤트에 의해 트리거되었다는 결정에 따라, 처리 유닛(1505)은 일부 실시예들에 따라, (예를 들어, 긴급성 결정 유닛(1535)을 이용해) 수동-개시된 이벤트와 관련된 긴급성의 측정치를 결정하고, (예를 들어, 변조 유닛(1545)을 이용해) 긴급성의 측정치에 기초하여 제1 햅틱 출력의 세기를 변조한다. 경보 조건이 수동-개시된 이벤트에 의해 트리거되었다는 결정에 따라, 처리 유닛(1505)은 일부 실시예들에 따라, (예를 들어, 컨텍스트 결정 유닛(1540)을 이용해) 수동-개시된 이벤트와 연관된 하나 이상의 컨텍스트 속성을 결정하고, 일부 실시예들에 따라, (예를 들어, 변조 유닛(1545)을 이용해) 하나 이상의 컨텍스트 속성에 기초하여 제1 햅틱 출력의 세기를 변조한다.
경보 조건이 자동-개시된 이벤트에 의해 트리거되었다는 결정에 따라, 처리 유닛(1505)은 일부 실시예들에 따라, (예를 들어, 컨텍스트 결정 유닛(1540)을 이용해) 경보 조건과 연관된 특성들을 분석하여 자동-개시된 이벤트와 연관된 하나 이상의 컨텍스트 속성을 결정하고, (예를 들어, 변조 유닛(1545)을 이용해) 하나 이상의 컨텍스트 속성에 기초하여 제2 출력의 세기를 변조한다.
경보 조건이 자동-개시된 이벤트에 의해 트리거되었다는 결정에 따라, 처리 유닛(1505)은 일부 실시예들에 따라, (예를 들어, 긴급성 결정 유닛(1535)을 이용해) 자동-개시된 이벤트와 연관된 긴급성의 시변 측정치를 결정하고, (예를 들어, 변조 유닛(154)을 이용해) 긴급성의 시변 측정치를 나타내도록 제2 햅틱 출력의 세기를 특정된 시간의 윈도우에 걸쳐 변조한다.
일부 실시예들에서, 제1 햅틱 출력은 제1 오디오 출력을 수반하고, 제2 햅틱 출력은 제2 오디오 출력을 수반하며, 제1 햅틱 출력은 제2 햅틱 출력과 유사하고, 제1 오디오 출력은 제2 오디오 출력과 상이하다. 일부 실시예들에서, 제1 햅틱 출력은 제1 오디오 출력을 수반하고, 제2 햅틱 출력은 제2 오디오 출력을 수반하며, 제1 오디오 출력은 제2 오디오 출력과 유사하고, 제1 햅틱 출력은 제2 햅틱 출력과 상이하다. 일부 실시예들에서, 제1 햅틱 출력은 제1 오디오 출력을 수반하고 제2 햅틱 출력은 오디오 출력을 수반하지 않는다. 제1 햅틱 출력은 옵션적으로 제2 햅틱 출력과 유사하다.
일부 실시예들에 따르면, 수동-개시된 이벤트 통지에 대응하는 제1 햅틱 출력은 자동-개시된 이벤트 통지에 대응하는 제2 햅틱 출력보다 강렬하다. 일부 상황들에서, 제1 햅틱 출력은 제1 햅틱 출력의 진폭, 제1 햅틱 출력의 지속시간, 제1 햅틱 출력과 연관된 규칙성, 제1 햅틱 출력 내의 햅틱 특징들의 반복 주파수, 제1 햅틱 출력을 구성하는 햅틱 특징들의 선택 중 하나 이상을 포함하는 제1 세트의 특성들에 의해 특성화되고, 제2 햅틱 출력은 제2 햅틱 출력의 진폭, 제2 햅틱 출력의 지속시간, 제2 햅틱 출력과 연관된 규칙성, 제2 햅틱 출력 내의 햅틱 특징들의 반복 주파수, 제2 햅틱 출력을 구성하는 햅틱 특징들의 선택 중 하나 이상을 포함하는 제2 세트의 특성들에 의해 특성화된다.
처리 유닛(1505)은 일부 실시예들에 따라, (예를 들어, 검출 유닛(1510)을 이용해) 제1 인간 전송자로부터의 착신 이메일 메시지에 대응하는 제1 경보 조건을 검출한다. 착신 이메일 메시지가 수동-개시된 이벤트에 대응한다고 결정하는 것에 응답하여, 처리 유닛(1505)은 (예를 들어, 햅틱 제공 유닛(1520)을 이용해) 제1 햅틱 출력을 제공한다. 처리 유닛(1505)은 (예를 들어, 검출 유닛(1510)을 이용해) 제2 인간 전송자로부터의 착신 텍스트 메시지에 대응하는 제2 경보 조건을 검출하고, 착신 텍스트 메시지가 수동-개시된 이벤트에 대응한다고 결정하는 것에 응답하여, (예를 들어, 햅틱 제공 유닛(1520)을 이용해) 제1 햅틱 출력을 제공한다.
일부 실시예들에서, 디바이스는 (예를 들어, 터치 감응형 표면 유닛(1503)에 의해 제공되는) 터치 감응형 디스플레이를 갖고, 제1 햅틱 출력 및 제2 햅틱 출력은 (예를 들어, 햅틱 제공 유닛(1520)을 이용해) 컴퓨팅 디바이스 상의 터치 감응형 디스플레이를 통해 제공된다.
처리 유닛(1505)은 일부 실시예들에 따라, (예를 들어, 검출 유닛(1510)을 이용해) 애플리케이션과 연관된 경보 조건의 발생을 검출하고, (예를 들어, 개인 통신 결정 유닛(1550)을 이용해) 경보 조건이 사용자와 연관된 연락처들의 목록 내의 전송자로부터의 개인 통신에 대응하는지 여부를 결정한다. 경보 조건이 사용자와 연관된 연락처들의 목록 내의 전송자로부터의 개인 통신에 대응한다는 결정에 따라, 처리 유닛(1505)은 (예를 들어, 햅틱 제공 유닛(1520)을 이용해) 개인 경보 통지에 대응하는 제1 햅틱 출력을 제공하고, 경보 조건이 사용자와 연관된 연락처들의 목록 내의 전송자로부터의 개인 통신에 대응하지 않는다는 결정에 따라, 처리 유닛(1505)은 (예를 들어, 햅틱 제공 유닛(1520)을 이용해) 자동 경보 통지에 대응하는 제2 햅틱 출력을 제공하며, 여기서 제1 햅틱 출력은 제2 햅틱 출력보다 크기가 크다.
전술한 바와 같이, 도 7 및 도 9 내지 도 13을 참조하여 설명된 동작들은 옵션적으로 도 14 내지 도 19에 도시된 컴포넌트들에 의해 구현된다. 도 16은 다양한 기술된 실시예들의 원리들에 따라 구성된 디바이스(100)의 예시적인 기능 블록도를 도시한다. 다양한 기술된 실시예들의 원리들을 구현하기 위해 도 16에서 기술된 기능 블록들이 옵션적으로 조합되거나 서브블록들로 분리됨이 통상의 기술자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 16에 도시된 바와 같이, 디바이스(100)는 애플리케이션을 표시하도록 구성된 디스플레이 유닛(1601), 사용자 접촉을 수신하도록 구성된 터치 감응형 표면 유닛(1603), 및 디스플레이 유닛(1601) 및 터치 감응형 표면 유닛(1603)에 결합된 처리 유닛(1605)을 포함한다. 일부 실시예들에서, 처리 유닛(1605)은 검출 유닛(1610), 출력 제공 유닛(1615), 변조 조건 결정 유닛(1620), 출력 수정 유닛(1625), 참여 측정 유닛(1630), 촉각적 입력 결정 유닛(1635), 출력 종료 유닛(1640), 주변 조건 결정 유닛(1645), 출력 지연 유닛(1650), 및 프라이밍 제공 유닛(1655)을 포함한다.
처리 유닛(1605)은 (예를 들어, 검출 유닛(1610)을 이용해) 애플리케이션에 대한 사용자 입력을 수신하는 것과 연관된 컴퓨팅 디바이스 상의 제1 경보 조건을 검출하도록 구성되며, 제1 경보 조건을 검출하는 것에 응답하여, (예를 들어, 출력 제공 유닛(1615)을 이용해) 제1 세기를 갖고 애플리케이션에 대한 사용자 입력에 대응하는 제1 햅틱 출력을 제공한다. 제1 햅틱 출력을 제공한 후, 처리 유닛(1605)은 (예를 들어, 검출 유닛(1610)을 이용해) 애플리케이션에서의 미리결정된 시스템 이벤트를 수신하는 것과 연관된 제2 경보 조건을 검출하고, 제2 경보 조건을 검출하는 것에 응답하여, (예를 들어, 출력 제공 유닛(1615)을 이용해) 제2 세기를 갖고 미리결정된 시스템 이벤트에 대응하는 제2 햅틱 출력을 제공하며, 여기서 제2 세기는 제1 세기보다 크다.
다음 단락들([039] 내지 [0386])은 도 16에 도시된 디바이스(100)에 의해 개별적으로 또는 임의의 조합으로 구현될 수 있는 상이한 실시예들을 설명한다.
일부 실시예들에서, 제1 햅틱 출력은 사용자 입력에 직접적으로 응답하여 그리고 그것의 결과로서 제공되는 피드백이다. 제2 경보 조건은 일부 실시예들에 따라, 애플리케이션에 의해 자동으로 트리거되는 이벤트, 애플리케이션에 의해 수신된 자동으로 개시된 이벤트 통지, 또는 애플리케이션에 의해 수신된 수동으로 개시된 이벤트 통지에 대응한다.
일부 실시예들에 따라, 처리 유닛(1605)은 (예를 들어, 변조 조건 결정 유닛(1620)을 이용해) 입력 기반 변조 조건이 존재하는지 여부를 결정하고, 입력 기반 변조 조건이 존재한다는 결정에 따라, 제1 햅틱 출력을 제공하기 전에, 처리 유닛(1605)은 (예를 들어, 출력 수정 유닛(1625)을 이용해) 제1 햅틱 출력을 수정한다.
일부 실시예들에서, 각각의 경보 조건을 검출한 후, 처리 유닛(1605)은 (예를 들어, 참여 측정 유닛(1630)을 이용해) 각각의 경보 조건이 컴퓨팅 디바이스 상에서 수신된 각각의 사용자 입력으로부터 기인했음을 결정하고 검출된 사용자 입력과 연관된 사용자 참여의 측정치를 식별한다. 처리 유닛(1605)은 (예를 들어, 출력 수정 유닛(1625)을 이용해) 사용자 참여의 측정치에 기초하여 제1 햅틱 출력의 제1 신호 세기를 변조한다.
일부 실시예들에서, 각각의 경보 조건을 검출한 후, 처리 유닛(1605)은 (예를 들어, 촉각적 입력 결정 유닛(1635)을 이용해) 각각의 경보 조건이 디바이스 상에서 촉각적 사용자 입력을 수신하는 것으로부터 기인했음을 결정하고, 디바이스 상에서 촉각적 사용자 입력을 수신하는 위치를 식별한다. 처리 유닛(1605)은 (예를 들어, 출력 수정 유닛(1625)을 이용해) 디바이스 상에서 촉각적 사용자 입력을 수신하는 위치의 특정된 반경 임계치 내에서 제1 햅틱 출력의 햅틱 에너지의 특정된 비율보다 큰 햅틱 에너지를 제공함으로써, 제1 햅틱 출력의 공간적 햅틱 에너지 프로파일을 변조한다.
일부 실시예들에서, 각각의 경보 조건을 검출한 후, 처리 유닛(1605)은 (예를 들어, 촉각적 입력 결정 유닛(1635)을 이용해) 각각의 경보 조건이 디바이스 상에서 촉각적 사용자 입력을 수신하는 것으로부터 기인했음을 결정하고, (예를 들어, 출력 수정 유닛(1625)을 이용해) 제1 햅틱 출력이 디바이스 상에서 촉각적 사용자 입력을 수신하는 위치에서 인지가능하도록 제1 햅틱 출력의 햅틱 에너지의 진폭을 감소시킴으로써, 제1 햅틱 출력의 공간적 햅틱 에너지 프로파일을 변조한다. 디바이스 상에서 촉각적 사용자 입력을 수신하는 위치는 시간에 따라 변할 수 있고, 공간적 햅틱 에너지는 촉각적 사용자 입력을 수신하는 시변 위치에 대응하여 시간에 따라 변할 수 있다.
일부 실시예들에서, 각각의 경보 조건을 검출한 후, 처리 유닛(1605)은 (예를 들어, 촉각적 입력 결정 유닛(1635)을 이용해) 각각의 경보 조건이 촉각적 사용자 입력을 수신하는 것으로부터 기인했음을 결정하고, 촉각적 사용자 입력의 시변 형태적 속성들을 식별한다. 처리 유닛(1605)은 (예를 들어, 출력 수정 유닛(1625)을 이용해) 촉각적 사용자 입력의 시변 형태적 속성들을 모방하기 위해 제1 햅틱 출력의 형태적 특성들을, 시간에 걸쳐, 수정한다. 시변 형태적 속성들은 일부 실시예들에 따라, 촉각적 사용자 입력과 컴퓨팅 디바이스의 터치 감응형 표면 사이의 시간-의존 접촉 압력 프로파일을 포함하고, 수정하는 것은 (예를 들어, 출력 수정 유닛(1625)을 이용해) 촉각적 사용자 입력과 컴퓨팅 디바이스의 터치 감응형 표면 사이의 시간-의존 접촉 압력 프로파일을 미러링하기 위해 제1 햅틱 출력의 에너지 프로파일을 시간에 따라 변조하는 것을 포함한다.
일부 실시예들에서, 각각의 경보 조건을 검출한 후, 처리 유닛(1605)은 (예를 들어, 촉각적 입력 결정 유닛(1635)을 이용해) 각각의 경보 조건이 지속적 사용자 입력으로부터 기인했음을 결정하고, 결정하는 것에 응답하여, (예를 들어, 출력 제공 유닛(1615)을 이용해) 지속적 사용자 입력의 개시 시간에 제1 햅틱 출력을 개시한다. 처리 유닛(1605)은 (예를 들어, 출력 종료 유닛(1640)을 이용해) 지속적 사용자 입력의 종료를 검출하고, 지속적 사용자 입력의 종료 시간에 제1 햅틱 출력을 종료한다.
처리 유닛(1605)은 (예를 들어, 주변 조건 결정 유닛(1645)을 이용해) 주변 조건 기반 변조 조건이 존재하는지 여부를 결정하고, 주변 조건 기반 변조 조건이 존재한다는 결정에 따라, 제2 햅틱 출력을 제공하기 전에, (예를 들어, 출력 수정 유닛(1625)을 이용해) 제2 햅틱 출력을 수정한다.
일부 실시예들에서, 각각의 애플리케이션과 연관된 각각의 경보 조건을 검출한 후, 처리 유닛(1605)은 각각의 경보 조건이 사용자 입력을 수신하는 것으로부터 기인하지 않았음을 결정하고, 각각의 경보 조건이 사용자 입력을 수신하는 것으로부터 기인하지 않았음을 결정하는 것에 응답하여, 처리 유닛(1605)은 (예를 들어, 주변 조건 결정 유닛(1645)을 이용해) 각각의 경보 조건의 발생 시에 하나 이상의 주변 조건이 햅틱 출력에 대한 잠재적 간섭으로서 디바이스에 대해 존재하는지 여부를 결정한다. 디바이스에 대해 간섭 주변 조건들이 존재하지 않는다는 결정에 따라, 처리 유닛(1605)은 (예를 들어, 출력 제공 유닛(1615)을 이용해) 사용자의 수용성의 상태에 기초하여 각각의 제2 햅틱 출력을 제공한다. 하나 이상의 주변 조건이 햅틱 출력에 대한 잠재적 간섭으로서 디바이스에 대해 존재한다는 결정에 따라, 처리 유닛(1605)은 (예를 들어, 출력 지연 유닛(1650)을 이용해) 각각의 제2 출력을 사용자에게 제공하는 것을 지연시킨다.
일부 실시예들에서, 각각의 애플리케이션과 연관된 각각의 경보 조건을 검출한 후, 처리 유닛(1605)은 각각의 경보 조건이 사용자 입력을 수신하는 것으로부터 기인하지 않았음을 결정하고, 각각의 경보 조건이 사용자 입력을 수신하는 것으로부터 기인하지 않았음을 결정하는 것에 응답하여, 처리 유닛(1605)은 (예를 들어, 주변 조건 결정 유닛(1645)을 이용해) 각각의 경보 조건의 발생 시에 하나 이상의 주변 조건이 햅틱 출력에 대한 잠재적 간섭으로서 디바이스에 대해 존재하는지 여부를 결정한다. 디바이스에 대해 간섭 주변 조건들이 존재하지 않는다는 결정에 따라, 처리 유닛(1605)은 (예를 들어, 출력 수정 유닛(1625)을 이용해) 제2 햅틱 출력의 제1 변형을 사용자에게 제공하며, 제2 햅틱 출력의 제1 변형은 제1 세트의 출력 특성들을 갖는다. 하나 이상의 주변 조건이 햅틱 출력에 대한 잠재적 간섭으로서 디바이스에 대해 존재한다는 결정에 따라, 처리 유닛(1605)은 (예를 들어, 출력 수정 유닛(1625)을 이용해) 제2 햅틱 출력의 제2 변형을 사용자에게 제공하며, 제2 햅틱 출력의 제2 변형은 제2 세트의 출력 특성들을 갖고, 제2 세트의 특성들은 제1 세트의 특성들과 상이하고, 제2 햅틱 출력의 제2 변형은 제2 햅틱 출력의 제1 변형보다 큰 세기를 갖는다.
일부 실시예들에서, 각각의 애플리케이션과 연관된 각각의 경보 조건을 검출한 후, 처리 유닛(1605)은 각각의 경보 조건이 사용자 입력을 수신하는 것으로부터 기인하지 않았음을 결정하고, 각각의 경보 조건이 사용자 입력을 수신하는 것으로부터 기인하지 않았음을 결정하는 것에 응답하여, 처리 유닛(1605)은 (예를 들어, 프라이밍 제공 유닛(1655)을 이용해) 제2 햅틱 출력에 대한 프리커서로서 프라이밍 햅틱 출력을 제공하며, 프라이밍 햅틱 출력은 디바이스를 동작시키는 사용자의 참여 레벨을 제2 햅틱 출력으로 증가시키기 위한 것이고, 여기서 프라이밍 햅틱 출력의 적어도 일부분은 제2 햅틱 출력보다 두드러진다. 또한, 처리 유닛(1605)은 (예를 들어, 출력 제공 유닛(1615)을 이용해) 프라이밍 햅틱 출력을 제공하는 특정된 시간 간격 내에 그리고 그 후에 제2 햅틱 출력을 제공한다. 일부 실시예들에서, 프라이밍 햅틱 출력은 시변 파형 형태를 갖는 프라이밍 햅틱 성분을 포함하며, 시변 파형 형태는 햅틱 성분의 시간에 따라 점진적으로 증가하는 세기에 의해 특성화된다. 일부 실시예들에서, 프라이밍 햅틱 출력은 시변 파형 형태를 갖는 프라이밍 햅틱 성분을 포함하며, 시변 파형 형태는 강조된 햅틱 특징 및 뒤이은 햅틱 성분의 점진적으로 감소하는 세기에 의해 특성화된다.
일부 실시예들에서, 제2 햅틱 출력에는 프라이밍 햅틱 출력이 선행되고, 제1 햅틱 출력은, 수신된 사용자 입력으로부터 기인하는 대응하는 경보 조건에 응답하여, 대응하는 선행 프라이밍 햅틱 출력 없이, 직접적으로 제공된다. 일부 실시예들에서, 프라이밍 햅틱 출력의 특성들은 경보 조건과 연관된 긴급성 또는 컨텍스트에 기초하여 선택된다.
일부 실시예들에서, 처리 유닛(1605)은 (예를 들어, 검출 유닛(1610)을 이용해) 제1 애플리케이션과 연관된 애플리케이션 사용자 인터페이스 상에 표시된 사용자 인터페이스 요소의 사용자 선택에 대응하는 제1 경보 조건을 검출한다. 제1 경보 조건에 응답하여, 처리 유닛(1605)은 (예를 들어, 출력 제공 유닛(1615)을 이용해) 사용자 인터페이스 요소의 사용자 선택을 나타내는 각각의 제1 햅틱 출력을 제공하며, 각각의 제1 햅틱 출력은 제1 세기 및 제1 지속시간의 제1 햅틱 특징을 포함하는 제1 햅틱 성분을 포함한다. 각각의 제1 햅틱 출력을 제공한 후, 처리 유닛(1605)은 (예를 들어, 검출 유닛(1610)을 이용해) 제1 애플리케이션에 의해 수신된 경보 통지에 대응하는 제2 경보 조건을 검출하고, 제2 경보 조건에 응답하여, 처리 유닛(1605)은 (예를 들어, 출력 제공 유닛(1615)을 이용해) 경보 통지의 수신을 나타내는 각각의 제2 햅틱 출력을 제공하고, 각각의 제2 햅틱 출력은 제2 세기 및 제2 지속시간의 제2 햅틱 특징을 포함하는 제2 햅틱 성분을 포함하며, 각각의 제2 햅틱 출력은, 제2 햅틱 특징이 제1 햅틱 특징보다 두드러지거나, 제2 세기가 제1 세기보다 크거나, 또는 제2 지속시간이 제1 지속시간보다 긴 것에 기초하여, 각각의 제1 출력과 상이하고 그것보다 두드러진다.
일부 실시예들에서, 처리 유닛(1605)은 (예를 들어, 검출 유닛(1610)을 이용해) 제1 애플리케이션과 연관된 제1 경보 조건을 검출하고 - 제1 경보 조건은 각각의 사용자 입력으로부터 기인함 -, (예를 들어, 출력 제공 유닛(1615)을 이용해) 제1 경보 조건을 나타내는 각각의 제1 햅틱 출력을 제공한다. 각각의 제1 햅틱 출력을 제공한 후, 처리 유닛(1605)은 (예를 들어, 검출 유닛(1610)을 이용해) 제1 애플리케이션과 연관된 제2 경보 조건을 검출하고 - 제2 경보 조건은 사용자 입력을 수신하는 것으로부터 기인하지 않음 -, (예를 들어, 출력 제공 유닛(1615)을 이용해) 제2 경보 조건을 나타내는 각각의 제2 햅틱 출력을 제공하며, 각각의 제2 햅틱 출력은 각각의 제1 출력과 상이하고 그것보다 큰 세기를 갖는다.
일부 실시예들에서, 제1 햅틱 출력은 제1 햅틱 출력의 진폭, 제1 햅틱 출력의 지속시간, 제1 햅틱 출력과 연관된 규칙성, 제1 햅틱 출력 내의 햅틱 특징들의 반복 주파수, 제1 햅틱 출력을 구성하는 햅틱 특징들의 선택 중 하나 이상을 포함하는 제1 세트의 특성들을 갖고, 제2 햅틱 출력은 제2 햅틱 출력의 진폭, 제2 햅틱 출력과 연관된 햅틱 성분의 지속시간, 제2 햅틱 출력과 연관된 규칙성, 제2 햅틱 출력 내의 햅틱 특징들의 반복 주파수, 제2 햅틱 출력을 구성하는 햅틱 특징들의 선택 중 하나 이상을 포함하는 제2 세트의 특성들을 갖는다.
일부 실시예들에서, 제1 햅틱 출력은 제1 오디오 출력을 수반하고, 제2 햅틱 출력은 제2 오디오 출력을 수반하며, 제1 햅틱 출력은 제2 햅틱 출력과 유사하고, 제1 오디오 출력은 제2 오디오 출력과 상이하다. 일부 실시예들에서, 제1 햅틱 출력은 제1 오디오 출력을 수반하고, 제2 햅틱 출력은 제2 오디오 출력을 수반하며, 제1 오디오 출력은 제2 오디오 출력과 유사하고, 제1 햅틱 출력은 제2 햅틱 출력과 상이하다.
일부 실시예들에서, 제1 햅틱 출력의 제1 세기 및 제2 햅틱 출력의 제2 세기는 추가로, 디바이스 상의 음량 설정과 역관계로 조정된다. 일부 실시예들에 따르면, 제2 햅틱 출력은 오디오 출력을 수반하고, 제1 햅틱 출력은 오디오 출력을 수반하지 않는다.
일부 실시예들에서, 컴퓨팅 디바이스는 (예를 들어, 터치 감응형 표면 유닛(1603)을 이용해) 사용자 입력을 수신하기 위한 터치 감응형 디스플레이를 포함하고, 제1 햅틱 출력 및 제2 햅틱 출력은 (예를 들어, 출력 제공 유닛(1615)을 이용해) 컴퓨팅 디바이스 상의 터치 감응형 디스플레이를 통해 제공된다.
전술한 바와 같이, 도 7 및 도 9 내지 도 13을 참조하여 설명된 동작들은 옵션적으로 도 14 내지 도 19에 도시된 컴포넌트들에 의해 구현된다. 도 17은 다양한 기술된 실시예들의 원리들에 따라 구성된 디바이스(100)의 예시적인 기능 블록도를 도시한다. 다양한 기술된 실시예들의 원리들을 구현하기 위해 도 17에서 기술된 기능 블록들이 옵션적으로 조합되거나 서브블록들로 분리됨이 통상의 기술자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 17에 도시된 바와 같이, 디바이스(100)는 애플리케이션을 표시하도록 구성된 디스플레이 유닛(1701), 사용자 접촉을 수신하도록 구성된 터치 감응형 표면 유닛(1703), 및 디스플레이 유닛(1701) 및 터치 감응형 표면 유닛(1703)에 결합된 처리 유닛(1705)을 포함한다. 일부 실시예들에서, 처리 유닛(1705)은 입력 수신 유닛(1710), 진행 중인 출력 개시 유닛(1715), 진행 중인 출력 종료 유닛(1720), 피드백 제공 유닛(1725) 및 추가적 입력 수신 유닛(1730)을 포함한다.
처리 유닛(1705)은 (예를 들어, 입력 수신 유닛(1710)을 이용해) 컴퓨팅 디바이스 상에서 실행되는 애플리케이션에 의해 수행되는 다중-부분 동작의 제1 부분에 대응하는 입력을 수신하고, 다중-부분 동작의 제1 부분에 대응하는 입력을 수신하는 것에 응답하여, (예를 들어, 진행 중인 출력 개시 유닛(1715)을 이용해) 진행 중인 햅틱 출력 시퀀스를 개시하도록 구성된다. 진행 중인 햅틱 출력 시퀀스를 개시한 후, 처리 유닛(1705)은 (예를 들어, 입력 수신 유닛(1710)을 이용해) 다중-부분 동작의 제2 부분에 대응하는 입력을 수신하고, 다중-부분 동작의 제2 부분에 대응하는 입력을 수신하는 것에 응답하여, (예를 들어, 진행 중인 출력 종료 유닛(1720)을 이용해) 진행 중인 햅틱 출력 시퀀스를 종료한다.
다음 단락들([0391] 내지 [0406])은 도 17에 도시된 디바이스(100)에 의해 개별적으로 또는 임의의 조합으로 구현될 수 있는 상이한 실시예들을 설명한다.
일부 실시예들에서, 다중-부분 동작의 제1 부분에 대응하는 입력은 (예를 들어, 터치 감응형 표면 유닛(1703)을 이용해) 디바이스의 터치 감응형 표면 상에서 검출되고, 다중-부분 동작의 제2 부분에 대응하는 입력은 (예를 들어, 입력 수신 유닛(1710)을 이용해) 디바이스의 터치 감응형 표면 상에서 검출된다. 햅틱 출력 시퀀스는 일부 실시예들에 따라, (예를 들어, 진행 중인 출력 개시 유닛(1715)을 이용해) 터치 감응형 표면을 통해 제공된다.
일부 실시예들에서, 다중-부분 동작의 제1 부분에 대응하는 입력은 (예를 들어, 입력 수신 유닛(1710)을 이용해) 디바이스에 의해 검출되고, 다중-부분 동작의 제2 부분에 대응하는 입력은 제2 디바이스에 의해 검출된다. 일부 실시예들에서, 다중-부분 동작의 제1 부분에 대응하는 입력 및 다중-부분 동작의 제2 부분에 대응하는 입력은 (예를 들어, 입력 수신 유닛(1710)을 이용해) 디바이스에 의해 검출된다.
일부 실시예들에 따르면, 다중-부분 동작은 보안 거래이며, 다중-부분 동작의 제1 부분은 보안 거래를 인가하도록 디바이스를 준비시키는 것을 포함하고, 제2 부분 다중-부분 동작은 보안 거래를 인가하는 것을 포함한다. 일부 실시예들에 따르면, 다중-부분 동작은 보안 거래이며, 다중-부분 동작의 제1 부분은 보안 거래를 완료하기 위해 사용자 인증이 요구되는지 여부를 결정하는 것을 포함하고, 제2 부분 다중-부분 동작은 보안 거래에 대한 사용자 인증을 수신하는 것을 포함한다.
일부 실시예들에서, 다중-부분 동작의 제1 부분은 문서의 초안을 닫는 것을 포함하고, 다중-부분 동작의 제2 부분은 문서의 초안으로 복귀하는 것을 포함한다. 일부 실시예들에서, 다중-부분 동작의 제1 부분에 대응하는 입력은 디바이스 상에서 실행되는 애플리케이션과 상호작용하는 제1 사용자 입력이고, 다중-부분 동작의 제2 부분에 대응하는 입력은 애플리케이션과 상호작용하는 제2 사용자 입력이며, 제2 사용자 입력은 제1 사용자 입력과 구별된다.
일부 실시예들에 따르면, 다중-부분 동작의 제1 부분에 대응하는 입력을 검출하는 것은 (예를 들어, 입력 수신 유닛(1710)을 이용해) 터치 감응형 표면 상의 접촉을 검출하는 것을 포함하고, 다중-부분 동작의 제2 부분에 대응하는 입력을 검출하는 것은 (예를 들어, 입력 수신 유닛(1710)을 이용해) 터치 감응형 표면 상의 접촉의 이동을 검출하는 것을 포함한다. 일부 실시예들에서, 다중-부분 동작의 제1 부분에 대응하는 입력을 검출하는 것은 (예를 들어, 입력 수신 유닛(1710)을 이용해) 터치 감응형 표면 상의 접촉의 이동을 검출하는 것을 포함하고, 다중-부분 동작의 제2 부분에 대응하는 입력을 검출하는 것은 (예를 들어, 입력 수신 유닛(1710)을 이용해) 터치 감응형 표면 상의 접촉의 리프트오프를 검출하는 것을 포함한다.
일부 실시예들에서, 다중-부분 동작의 제1 및 제2 부분들에 대응하는 입력들은 단일 제스처를 포함하며, 다중-부분 동작의 제1 부분에 대응하는 입력은 제스처의 초기 부분이고 다중-부분 동작의 제2 부분에 대응하는 입력은 제스처의 후속 부분이다. 일부 실시예들에 따르면, 제스처는 (예를 들어, 터치 감응형 표면 유닛(1703)을 이용해) 디바이스의 디스플레이 상에 표시된 사용자 인터페이스에서의 제1 위치에 대응하는 터치 감응형 표면의 일부분 상에서 개시되고, 제1 위치와 상이한 사용자 인터페이스에서의 제2 위치에 대응하는 터치 감응형 표면의 제2 부분 상에서 종료한다.
일부 실시예들에서, 다중-부분 동작의 제1 부분에 대응하는 입력은 각각의 애플리케이션과 연관된 이벤트를 개시하고, 이벤트는 다중-부분 동작의 제2 부분에 대응하는 입력의 수신 시까지 지속되며, 다중-부분 동작의 제2 부분에 대응하는 입력은 (예를 들어, 진행 중인 출력 종료 유닛(1720)을 이용해) 각각의 애플리케이션과 연관된 이벤트를 종료한다.
일부 실시예들에 따르면, 애플리케이션은 텍스트 편집 애플리케이션이고, 다중-부분 동작의 제1 부분에 대응하는 입력은 텍스트 편집 애플리케이션의 텍스트-엔트리 모드를 인에이블하는 제1 사용자 인터페이스 요소의 선택이다. 일부 실시예들에 따라, 다중-부분 동작은 텍스트 편집 애플리케이션에 대한 텍스트-엔트리를 위한 하나 이상의 입력을 포함하고, 이벤트는 텍스트-엔트리를 위한 입력들에 응답하는 텍스트 편집 문서에서의 텍스트 조작에 대응한다. 다중-부분 동작의 제2 부분에 대응하는 입력은 텍스트 편집 애플리케이션의 텍스트-엔트리 모드를 디스에이블하는 사용자 인터페이스 요소의 선택이다.
일부 실시예들에서, 다중-부분 동작의 제1 부분에 대응하는 입력은 거래를 개시하는 제1 사용자 인터페이스 요소의 선택이고, 다중-부분 동작은 거래를 처리하는 데 요구되는 정보의 엔트리를 위한 하나 이상의 입력을 포함한다. 일부 실시예들에서 이벤트는 거래를 처리하는 데 요구되는 정보를 수신하는 하나 이상의 데이터 엔트리 필드의 모집단에 대응하고, 다중-부분 동작의 제2 부분에 대응하는 입력은 거래의 완료를 인가하는 사용자 인터페이스 요소의 선택이다.
일부 실시예들에서, 다중-부분 동작의 제2 부분에 대응하는 입력은 다중-부분 동작의 제1 부분에 대응하는 입력을 뒤따르고, 이벤트의 지속시간에 대응하는 특정된 시간 간격에 의해 다중-부분 동작의 제1 부분에 대응하는 입력으로부터 시간적으로 분리되며, 진행 중인 햅틱 출력 시퀀스는 이벤트의 지속시간 전체에 걸쳐 제공되고 이벤트의 발생을 나타낸다. 진행 중인 햅틱 출력 시퀀스의 특성들은 옵션적으로 다중-부분 동작의 제1 부분에 대응하는 입력에 의해 개시되는 이벤트에 기초하여 선택된다.
일부 실시예들에서, 처리 유닛(1705)은 (예를 들어, 피드백 제공 유닛(1725)을 이용해) 다중-부분 동작의 제1 부분에 대응하는 입력을 수신하는 것에 응답하여 제1 햅틱 피드백을 제공하며, 제1 햅틱 피드백은 이벤트에 기초하여 선택되고 이벤트의 개시를 나타내고, 제1 햅틱 피드백은 진행 중인 햅틱 출력 시퀀스와 구별된다. 처리 유닛(1705)은 추가로 (예를 들어, 피드백 제공 유닛(1725)을 이용해) 다중-부분 동작의 제2 부분에 대응하는 입력을 수신하는 것에 응답하여 제2 햅틱 피드백을 제공하며, 제2 햅틱 피드백은 진행 중인 햅틱 출력 시퀀스와 구별된다.
일부 실시예들에 따라, 다중-부분 동작의 제1 부분에 대응하는 입력은 애플리케이션과 연관된 진행 중인 이벤트를 중지시키고, 다중-부분 동작의 제2 부분에 대응하는 입력은 애플리케이션과 연관된 진행 중인 이벤트를 재개한다.
일부 실시예들에서, 애플리케이션은 음성 통신 애플리케이션이고, 이벤트는 다중-부분 동작의 제1 부분에 대응하는 입력의 수신 시에 발생하는 진행 중인 음성 통신이다. 일부 실시예들에서, 다중-부분 동작의 제1 부분에 대응하는 입력은 음성 통신 애플리케이션의 제1 사용자 인터페이스 요소의 선택이며, 선택은 진행 중인 음성 통신을 중지시키고, 다중-부분 입력의 제2 부분에 대응하는 입력은 음성 통신을 재개하는 제2 사용자 인터페이스 요소의 선택이다.
일부 실시예들에서, 다중-부분 동작의 제1 부분에 응답하여 진행 중인 햅틱 출력 시퀀스를 개시한 후에, 그리고 다중-부분 동작의 제2 부분에 대응하는 입력을 수신하기 전에, 처리 유닛(1705)은 (예를 들어, 추가적 입력 수신 유닛(1730)을 이용해) 하나 이상의 추가적 사용자 입력을 수신하며, 이는 다중-부분 동작의 제2 부분에 대응하는 입력과 구별된다. 처리 유닛(1705)은, 다중-부분 동작의 제2 부분에 대응하는 입력을 수신할 때까지, (예를 들어, 진행 중인 출력 개시 유닛(1715)을 이용해) 추가적 사용자 입력들에 관계없이 진행 중인 햅틱 출력을 계속해서 제공한다. 일부 실시예들에서, 진행 중인 햅틱 출력 시퀀스의 세기는 다중-부분 동작에 대응하는 후속 입력이 수신될 때까지 시간에 따라 증가한다.
일부 실시예들에 따르면, (예를 들어, 입력 수신 유닛(1710)을 이용해) 다중-부분 동작의 제1 부분에 대응하는 입력을 검출하는 것에 응답하여, 처리 유닛(1705)은 (예를 들어, 진행 중인 출력 개시 유닛(1715)을 이용해) 진행 중인 햅틱 시퀀스에 수반되는 진행 중인 오디오 출력 시퀀스를 개시하고, (예를 들어, 입력 수신 유닛(1710)을 이용해) 다중-부분 동작의 제2 부분에 대응하는 입력을 검출하는 것에 응답하여, (예를 들어, 진행 중인 출력 종료 유닛(1720)을 이용해) 진행 중인 오디오 출력 시퀀스를 종료한다.
일부 실시예들에서, 햅틱 출력 시퀀스의 시변 햅틱 에너지 프로파일은 오디오 출력 시퀀스의 시변 음향 에너지 프로파일을 모방한다. 일부 상황들에서, 다중-부분 동작의 제1 부분에 대응하는 입력이 진행 중인 이벤트를 일시 정지하지 않지만 각각의 애플리케이션과 연관된 이벤트를 개시한다고 결정하는 것에 응답하여, 처리 유닛(1705)은 (예를 들어, 진행 중인 출력 개시 유닛(1715)을 이용해) 수반하는 오디오 출력 시퀀스 없이 햅틱 출력 시퀀스를 제공하고, 다중-부분 동작의 제1 부분에 대응하는 입력이 각각의 애플리케이션과 연관된 진행 중인 이벤트를 일시 정지한다고 결정하는 것에 응답하여, 처리 유닛(1705)은 (예를 들어, 진행 중인 출력 개시 유닛(1715)을 이용해) 진행 중인 햅틱 출력 시퀀스에 수반되는 진행 중인 오디오 출력 시퀀스를 제공한다.
전술한 바와 같이, 도 7 및 도 9 내지 도 13을 참조하여 설명된 동작들은 옵션적으로 도 14 내지 도 19에 도시된 컴포넌트들에 의해 구현된다. 도 18은 다양한 기술된 실시예들의 원리들에 따라 구성된 디바이스(100)의 예시적인 기능 블록도를 도시한다. 다양한 기술된 실시예들의 원리들을 구현하기 위해 도 18에서 기술된 기능 블록들이 옵션적으로 조합되거나 서브블록들로 분리됨이 통상의 기술자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 18에 도시된 바와 같이, 디바이스(100)는 애플리케이션을 표시하도록 구성된 디스플레이 유닛(1801), 사용자 접촉을 수신하도록 구성된 터치 감응형 표면 유닛(1803), 및 디스플레이 유닛(1801) 및 터치 감응형 표면 유닛(1803)에 결합된 처리 유닛(1805)을 포함한다. 일부 실시예들에서, 처리 유닛(1805)은 입력 검출 유닛(1810), 출력 제공 유닛(1815), 동작 수행 유닛(1820), 이미지 캡처 유닛(1825), 보안 거래 인가 유닛(1830) 및 저장 동작 수행 유닛(1835)을 포함한다.
처리 유닛(1805)은 (예를 들어, 입력 검출 유닛(1810)을 이용해) 제1 동작을 수행하라는 요청에 대응하는 제1 입력을 검출하고, 제1 입력을 검출하는 것에 응답하여, (예를 들어, 출력 제공 유닛(1815)을 이용해) 햅틱 성분을 포함하는 제1 출력을 제공하도록 구성된다. 또한 제1 입력을 검출하는 것에 응답하여, 처리 유닛(1805)은 (예를 들어, 동작 수행 유닛(1820)을 이용해) 제1 동작을 수행하도록 구성된다. 제1 동작을 수행한 후, 처리 유닛(1805)은 (예를 들어, 입력 검출 유닛(1810)을 이용해) 제1 동작 및 보충 동작을 포함하는 제2 동작을 수행하라는 요청에 대응하는 제2 입력을 검출하고, 제2 입력을 검출하는 것에 응답하여, (예를 들어, 출력 제공 유닛(1815)을 이용해) 햅틱 성분을 포함하는 제2 출력을 제공하도록 구성되며, 여기서 제2 출력은 보충 동작에 대응하는 보충 출력을 제공하는 것과 함께 제1 출력을 포함한다. 또한 제2 입력을 검출하는 것에 응답하여, 처리 유닛(1805)은 (예를 들어, 동작 수행 유닛(1820)을 이용해) 제2 동작을 수행하도록 구성된다.
다음 단락들([0411] 내지 [0420])은 도 18에 도시된 디바이스(100)에 의해 개별적으로 또는 임의의 조합으로 구현될 수 있는 상이한 실시예들을 설명한다.
일부 실시예들에서, 제2 입력을 검출하는 것에 응답하여, 처리 유닛(1805)은 (예를 들어, 동작 수행 유닛(1820) 및 출력 제공 유닛(1815)을 이용해 제1 동작을 수행하고 동시에 제1 출력을 제공하며, 보충 동작을 수행하고 동시에 보충 출력을 제공한다.
일부 실시예들에서, 제2 입력을 검출하는 것에 응답하여, 처리 유닛(1805)은 (예를 들어, 동작 수행 유닛(1820)을 이용해) 보충 동작을 수행하기 이전에 제1 동작을 수행하고, (예를 들어, 출력 제공 유닛(1815)을 이용해) 보충 출력을 제공하기 이전에 제1 출력을 제공한다. 일부 실시예들에서, 제2 입력을 검출하는 것에 응답하여, 처리 유닛(1805)은 (예를 들어, 동작 수행 유닛(1820)을 이용해) 보충 동작을 수행한 이후에 제1 동작을 수행하고, (예를 들어, 출력 제공 유닛(1815)을 이용해) 보충 출력을 제공한 이후에 제1 출력을 제공한다.
일부 실시예들에서, 제2 입력을 검출하는 것에 응답하여, 처리 유닛(1805)은 (예를 들어, 동작 수행 유닛(1820)을 이용해) 보충 동작의 일부분과 동시에 제1 동작의 적어도 일부분을 수행하고, (예를 들어, 출력 제공 유닛(1815)을 이용해) 보충 출력의 일부분과 동시에 제1 출력의 적어도 일부분을 제공한다.
일부 실시예들에서, 제1 동작은 카메라로 이미지를 캡처하는 것에 대응하고, 제2 동작은 특정된 시간 간격 후에 이미지를 캡처하는 것에 대응한다. 일부 실시예들에서, 제1 동작은 디바이스가 보안 거래를 인가할 수 있게 하는 거래-인에이블 동작에 대응하고, 제2 동작은 디바이스가 보안 거래를 인가할 수 있게 하는 것 및 보안 거래를 인가하는 것에 대응한다.
일부 실시예들에 따르면, 제1 동작은 기존 파일 내에 콘텐츠를 저장하기 위한 저장 동작에 대응하고, 제2 동작은 기존 파일 내의 콘텐츠를 새로운 파일에 저장하기 위한 새이름으로 저장 동작에 대응한다. 일부 실시예들에 따르면, 제1 동작은 메시지 받은편지함에 있는 메시지에 대한 답장을 전송하기 위한 전송 동작에 대응하고, 제2 동작은 메시지 받은편지함에 있는 메시지에 대한 답장을 전송하고 그것을 메시지 받은편지함으로부터 제거하기 위한 전송 및 아카이브 동작에 대응한다. 일부 실시예들에서, 보충 동작은 가변 값을 가지며, 보충 출력은 가변 속성의 값에 기초한다.
일부 실시예들에서, 제2 출력에 대응하는 햅틱 성분은 제1 출력에 대응하는 제1 햅틱 성분 및 보충 출력에 대응하는 제2 햅틱 성분을 포함하고, 제2 햅틱 성분은 제1 햅틱 성분과 구별된다. 일부 상황들에서, 보충 출력은 비-햅틱 성분을 포함한다. 일부 실시예들에서, 제2 출력은 제1 동작과 상이한 것으로서 보충 동작을 식별하는 텍스트 성분을 포함한다. 그리고 일부 경우들에서, 보충 출력은 오디오 성분을 포함하고 제1 출력은 오디오 성분을 포함하지 않는다.
일부 실시예들에 따르면, 컴퓨팅 디바이스는 터치 감응형 디스플레이를 포함하고, 제1 및 제2 입력들은 (예를 들어, 터치 감응형 표면 유닛(1803)을 이용해) 터치 감응형 디스플레이를 통해 수신된다. 일부 실시예들에서, 제1 출력의 햅틱 성분 및 제2 출력의 햅틱 성분은 (예를 들어, 출력 제공 유닛(1815)을 이용해) 터치 감응형 디스플레이를 통해 제공된다.
일부 실시예들에서, 처리 유닛(1805)은 (예를 들어, 입력 검출 유닛(1810)을 이용해) 카메라를 이용한 제1 이미지의 캡처에 대한 요청에 대응하는 제1 입력을 검출하고, 제1 입력을 검출하는 것에 응답하여, 처리 유닛(1805)은 (예를 들어, 출력 제공 유닛(1815)을 이용해) 햅틱 성분을 포함하는 제1 출력을 제공한다. 또한, 제1 입력을 검출하는 것에 응답하여, 처리 유닛(1805)은 (예를 들어, 이미지 캡처 유닛(1825)을 이용해) 제1 이미지를 캡처하고, 제1 이미지를 캡처한 후, (예를 들어, 입력 검출 유닛(1810)을 이용해) 특정된 시간 간격 후에 제2 이미지를 캡처하라는 요청에 대응하는 제2 입력을 검출한다. 제2 입력을 검출하는 것에 응답하여, 처리 유닛(1805)은 (예를 들어, 출력 제공 유닛(1815)을 이용해) 햅틱 성분을 포함하는 제2 출력을 제공하며, 여기서 제2 출력은 특정된 시간 간격의 경과를 측정하는 것에 대응하는 보충 출력을 제공하는 것과 함께 제1 출력을 포함하고, 처리 유닛(1805)은 (예를 들어, 이미지 캡처 유닛(1825)을 이용해) 특정된 시간 간격 후에 제2 이미지를 캡처한다.
일부 실시예들에서, 처리 유닛(1805)은 (예를 들어, 입력 검출 유닛(1810)을 이용해) 디바이스가 보안 거래를 인가할 수 있게 하는 거래-인에이블 동작을 수행하라는 요청에 대응하는 제1 입력을 검출하고, 제1 입력을 검출하는 것에 응답하여, (예를 들어, 출력 제공 유닛(1815)을 이용해) 햅틱 성분을 포함하는 제1 출력을 제공한다. 또한 제1 입력을 검출하는 것에 응답하여, 처리 유닛(1805)은 (예를 들어, 보안 거래 인가 유닛(1830)을 이용해) 디바이스가 보안 거래를 인가할 수 있게 한다. 거래-인에이블 동작을 수행한 후, 처리 유닛(1805)은 (예를 들어, 입력 검출 유닛(1810)을 이용해) 보안 거래를 인가하라는 요청에 대응하는 제2 입력을 검출하고, 제2 입력을 검출하는 것에 응답하여, (예를 들어, 출력 제공 유닛(1815)을 이용해) 햅틱 성분을 포함하는 제2 출력을 제공하며, 여기서 제2 출력은 보안 거래를 인가하는 것에 대응하는 보충 출력을 제공하는 것과 함께 제1 출력을 포함한다. 또한 제2 입력을 검출하는 것에 응답하여, 처리 유닛(1805)은 (예를 들어, 보안 거래 인가 유닛(1830)을 이용해) 보안 거래를 인가한다.
일부 실시예들에서, 처리 유닛(1805)은 (예를 들어, 입력 검출 유닛(1810)을 이용해) 저장 동작을 수행하라는 요청에 대응하는 제1 입력을 검출하고, 제1 입력을 검출하는 것에 응답하여, (예를 들어, 출력 제공 유닛(1815)을 이용해) 햅틱 성분을 포함하는 제1 출력을 제공한다. 또한 제1 입력을 검출하는 것에 응답하여, 처리 유닛(1805)은 (예를 들어, 저장 동작 수행 유닛(1835)을 이용해) 기존 파일 내에 콘텐츠를 저장하기 위한 저장 동작을 수행하고, 저장 동작을 수행한 후, 처리 유닛(1805)은 (예를 들어, 입력 검출 유닛(1810)을 이용해) 기존 파일 내의 콘텐츠를 새로운 파일에 저장하는 새이름으로 저장 동작을 수행하라는 요청에 대응하는 제2 입력을 검출하고, 제2 입력을 검출하는 것에 응답하여, (예를 들어, 출력 제공 유닛(1815)을 이용해) 햅틱 성분을 포함하는 제2 출력을 제공하며, 여기서 제2 출력은 새로운 파일의 생성에 대응하는 보충 출력을 제공하는 것과 함께 제1 출력을 포함한다. 또한 제2 입력을 검출하는 것에 응답하여, 처리 유닛(1805)은 (예를 들어, 저장 동작 수행 유닛(1835)을 이용해) 새이름으로 저장 동작을 수행한다.
전술한 바와 같이, 도 7 및 도 9 내지 도 13을 참조하여 설명된 동작들은 옵션적으로 도 14 내지 도 19에 도시된 컴포넌트들에 의해 구현된다. 도 19는 다양한 기술된 실시예들의 원리들에 따라 구성된 디바이스(100)의 예시적인 기능 블록도를 도시한다. 다양한 기술된 실시예들의 원리들을 구현하기 위해 도 19에서 기술된 기능 블록들이 옵션적으로 조합되거나 서브블록들로 분리됨이 통상의 기술자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 19에 도시된 바와 같이, 디바이스(100)는 애플리케이션을 표시하도록 구성된 디스플레이 유닛(1901), 사용자 접촉을 수신하도록 구성된 터치 감응형 표면 유닛(1903), 및 디스플레이 유닛(1901) 및 터치 감응형 표면 유닛(1903)에 결합된 처리 유닛(1905)을 포함한다. 일부 실시예들에서, 처리 유닛(1905)은 경보 조건 검출 유닛(1910) 및 출력 제공 유닛(1915)을 포함한다.
처리 유닛(1905)은 (예를 들어, 경보 조건 검출 유닛(1910)을 이용해) 제1 경보 조건의 발생을 검출하고, 제1 경보 조건의 발생을 검출하는 것에 응답하여, (예를 들어, 출력 제공 유닛(1915)을 이용해) 제1 햅틱 성분 및 제1 비-햅틱 성분을 포함하는 제1 출력을 제공하도록 구성된다. 제1 출력을 제공한 후, 처리 유닛(1905)은 (예를 들어, 경보 조건 검출 유닛(1910)을 이용해) 제2 경보 조건의 발생을 검출하도록 구성되고, 제2 경보 조건의 발생을 검출하는 것에 응답하여, (예를 들어, 출력 제공 유닛(1915)을 이용해) 제2 햅틱 성분 및 제2 비-햅틱 성분을 포함하는 제2 출력을 제공한다. 제1 경보 조건 및 제2 경보 조건이 동일한 클래스의 경보 조건 내에 있는 상이한 경보 조건들인 경우, 제1 출력 및 제2 출력은 하나 이상의 동일한 성분을 공유하고 하나 이상의 상이한 성분을 가지며, 제1 경보 조건 및 제2 경보 조건이 상이한 클래스들의 경보 조건 내에 있는 상이한 경보 조건들인 경우, 제1 햅틱 성분은 제2 햅틱 성분과 상이하고 제1 비-햅틱 성분은 제2 비-햅틱 성분과 상이하다.
다음 단락들([0425] 내지 [0431])은 도 19에 도시된 디바이스(100)에 의해 개별적으로 또는 임의의 조합으로 구현될 수 있는 상이한 실시예들을 설명한다.
일부 실시예들에서, 제1 경보 조건 및 제2 경보 조건은 동일한 클래스의 경보 조건 내에 있으며, 여기서 클래스는 애플리케이션에 대한 경보 조건들과 연관된다. 일부 실시예들에서, 제1 경보 조건 및 제2 경보 조건은 동일한 클래스의 경보 조건 내에 있으며, 클래스는 애플리케이션들의 카테고리와 연관된다. 일부 실시예들에서, 제1 경보 조건 및 제2 경보 조건은 2개의 상이한 애플리케이션과 연관되며, 여기서 제1 경보 조건 및 제2 경보 조건은 동일한 클래스의 경보 조건 내에 있고, 클래스는 2개의 상이한 애플리케이션 내에서의 미리정의된 클래스의 기능들 내의 기능들에 대응한다. 일부 실시예들에 따르면, 제1 경보 조건 및 제2 경보 조건은 공통 애플리케이션과 연관되며, 여기서 제1 경보 조건 및 제2 경보 조건은 동일한 클래스의 경보 조건 내에 있고, 클래스는 미리정의된 클래스의 기능들 내의 기능들에 대응한다.
일부 실시예들에서, 경보 조건들의 클래스들은 메시지, 활동 경보, 미디어 재생 경보, 가상 어시스턴트 경보, 시스템 경보, 스케줄링 리마인더, 및 인터넷 브라우저 업데이트를 포함한다. 일부 실시예들에서, 제1 경보 조건 및 제2 경보 조건은 동일한 경보 조건의 개별 인스턴스들에 대응하며, 제1 출력은 제2 출력과 동일하다. 일부 실시예들에서, 제1 및 제2 비-햅틱 성분들은 오디오 출력들이다. 일부 실시예들에서, 제1 및 제2 비-햅틱 성분들은 시각적 출력들이다.
일부 실시예들에서, 제1 경보 조건 및 제2 경보 조건이 동일한 클래스의 경보 조건 내에 있는 상이한 경보 조건들인 경우, 제1 출력의 제1 햅틱 성분은 제2 출력의 제2 햅틱 성분과 동일하고, 제1 출력의 제1 비-햅틱 성분은 제2 출력의 제2 비-햅틱 성분과 상이하다. 일부 실시예들에서, 제1 경보 조건 및 제2 경보 조건이 동일한 클래스의 경보 조건 내에 있는 상이한 경보 조건들인 경우, 제1 출력의 제1 비-햅틱 성분은 제2 출력의 제2 비-햅틱 성분과 동일하고, 제1 출력의 제1 햅틱 성분은 제2 출력의 제2 햅틱 성분과 상이하다.
일부 실시예들에 따르면, 제1 경보 조건 및 제2 경보 조건은 동일한 경보 조건에 대응하고, 제1 출력은, 제2 출력에 수반되는 제2 추가적 성분과 상이한 제1 추가적 성분을 수반한다.
일부 실시예들에서, 제1 출력에 수반되는 제1 추가적 성분은 제1 경보를 트리거한 제1 이벤트를 설명하는 정보를 제공하고, 제2 출력에 수반되는 제2 추가적 성분은 제2 경보를 트리거한 제2 이벤트를 설명하는 정보를 제공한다.
일부 실시예들에서, 제2 출력을 제공한 후, 처리 유닛(1905)은 (예를 들어, 경보 조건 검출 유닛(1910)을 이용해) 제3 경보 조건의 발생을 검출하고, 제3 경보 조건의 발생을 검출하는 것에 응답하여, (예를 들어, 출력 제공 유닛(1915)을 이용해) 제3 햅틱 성분 및 제3 비-햅틱 성분을 포함하는 제3 출력을 제공하며, 여기서, 제1 경보 조건, 제2 경보 조건 및 제3 경보 조건은 동일한 클래스의 경보 조건 내에 있는 상이한 경보 조건들이고, 제1 출력, 제2 출력 및 제3 출력은 하나 이상의 동일한 성분을 공유하고 하나 이상의 상이한 성분을 갖고, 제3 경보 조건이 제1 경보 조건 및 제2 경보 조건과 상이한 클래스의 경보 조건 내에 있는 경우, 제3 햅틱 성분은 제1 햅틱 성분 및 제2 햅틱 성분 둘 모두와 상이하고, 제3 비-햅틱 성분은 제1 비-햅틱 성분 및 제2 비-햅틱 성분 둘 모두와 상이하다.
일부 실시예들에서, 컴퓨팅 디바이스는 (예를 들어, 터치 감응형 표면 유닛을 구비한) 터치 감응형 디스플레이를 갖고, 제1 출력의 제1 햅틱 성분 및 제2 출력의 제2 햅틱 성분은 (예를 들어, 출력 제공 유닛(1915)을 이용해) 컴퓨팅 디바이스 상의 터치 감응형 디스플레이를 통해 제공된다.
하드웨어 사양
소정 실시예들에서, 디바이스(100)는 단순화된 개략적 형태로 도시된, 음향 에너지를 전송 및 수신하기 위한 하나 이상의 음향 모듈(2006)을 포함할 수 있다. 음향 모듈(2006)은 비-제한적 예로서, 전자 디바이스의 스피커 또는 마이크로폰일 수 있다.
도 20에 도시된 바와 같이, 디바이스 하우징은 음향 모듈(2006)에 결합되는 제1 음향 포트(2020)를 포함한다. 일부 경우들에서, 음향 모듈(2006)은 디바이스(100)를 위한 마이크로폰 또는 스피커 요소로서 기능하도록 구성된다. 그러나, 이하의 설명의 목적을 위해, 음향 모듈(2006)은 스피커 요소 또는 모듈로서 설명된다. 음향 포트(2020)는 음향 모듈(2006)로부터 사용자의 귀로의 가청 신호의 전송을 용이하게 하는 오리피스들(2031, 2032)을 포함한다. 이 예에서, 오리피스들은 하우징(101)을 통해 연장되고 음향 모듈의 내부 컴포넌트들을 외부 환경과 음향적으로 연결한다. 다른 예들에서, 단일 음향 포트는 다수의 오리피스들 또는 단일 오리피스를 포함할 수 있다. 일부 실시예들에서, 음향 포트(2020)는 또한 하우징 구조물(2021)("우산(umbrella)"), 스크린 메시(screen mesh)(2015) 또는 액체 또는 다른 이물질의 유입을 억제하도록 구성된 다른 보호 요소를 포함할 수 있다.
우산 구조물(2021)은 일반적으로 물 또는 유체(2001)가 음향 모듈(2006)에 직접적으로 충돌하는 것을 방지한다. 하나의 예에서, 음향 포트(2001)는 모듈의 음향 챔버에 대해 오프셋되는 하나 이상의 오리피스 또는 개구부(2031, 2032)(예를 들어, 우산(2021)과 메시(2015) 사이에 있고 오리피스들(2031, 2032)을 포함하는 공간)를 포함한다. 우산 구조물은 케이스 또는 하우징(101)의 외부 표면 내로 형성될 수 있다. 예를 들어, 우산 구조물(2021)은 음향 챔버에 대해 오프셋되는 2개 이상의 오리피스 또는 개구부(2031, 2032) 사이에 위치된 재료로 형성될 수 있다.
또한, 소정 실시예들은 물이 챔버 내에 또는 오리피스의 다른 부분에 축적될 가능성을 줄이기 위해 음향 챔버를 형성할 수 있다. 스크린(2015)은 음향 공동(2011)을 외부 환경으로부터 분리시킬 수 있고, 외부 환경으로부터 음향 공동(2011) 내로의 액체 또는 다른 이물질의 유입을 방해할 수 있다. 예를 들어, 오리피스(들)(2031, 2032)의 측벽들은 오리피스 또는 챔버 내의 물의 표면 장력을 감소시키기 위해 스크린(2015)의 표면까지 실질적으로 연장될 수 있다. 마찬가지로, 오리피스의 외부는 오리피스에 인접한 액체의 표면 장력을 감소시키고 따라서 액체 제거를 용이하게 하기 위해 모따기될 수 있다.
도 20에 도시된 본 예에서, 음향 모듈(2006)은 스피커 모듈이다. 도 20에 도시된 바와 같이, 스피커 음향 모듈은 다이어프램(2010), 음성 코일(2009), 중앙 자석(2008) 및 측면 자석/코일(2007)을 포함하는, 사운드를 생성하고 전송하기 위한 다양한 컴포넌트들을 포함한다. 전형적인 구현에서, 다이어프램(2010)은 음성 코일(2009)에서의 자극 신호에 응답하여 음파 또는 음향 신호를 생성하도록 구성된다. 즉, 음성 코일(2009)에서의 변조된 자극 신호는 다이어프램(2010)의 이동을 일으킨다. 다이어프램(2010)의 이동은, 음향 모듈(2006)의 음향 공동(2011)을 통해 그리고 결국 포트(2020) 밖으로 외부 환경으로 전파되는 음파를 생성한다. 일부 경우들에서, 음향 공동(106)은 다이어프램(2010)의 이동에 의해 생성된 음파를 증폭 및/또는 감쇠하도록 구성되는 형상 및 크기를 갖는 음향 공진기로서 기능한다.
소정 실시예들에서, 음향 모듈(2006)은 또한 단부 벽(2013) 및 베이스(2014)와 같은 구조적 지지 요소들을 포함한다. 이들 요소는 스피커 요소들에 대한 물리적 지지를 제공할 수 있고; 다양한 요크들, 커넥터들 등이 또한 그러한 지지를 제공할 수 있다. 소정 실시예들은 디바이스의 내부를 환경에 대해 밀봉하는 개스킷(2016)을 포함할 수 있다. 본 명세서에 인용된 구조는 제한이 아닌 예시로서 의도된다는 것을 이해해야 한다. 예를 들어, 대안적 실시예들에서, 음향 공동은 추가적 컴포넌트들로 형성될 수 있거나 단일 컴포넌트로 형성될 수 있다.
도 20에 도시된 음향 모듈(2006)은 스피커 음향 모듈의 유형의 하나의 예로서 제공되며; 일부 실시예들은 상이한 유형들의 스피커들, 마이크로폰들 등을 사용할 수 있다. 또한, 스피커의 맥락에서 설명되었지만, 전술한 내용은 마이크로폰에 동일하게 적용가능하고, 많은 실시예들은 마찬가지로 마이크로폰을 포함할 수 있다.
본 명세서에 기술된 실시예들은 터치의 위치를 검출하기 위한 하나 이상의 센서를 포함할 수 있다. 특히, 터치 센서는 터치 감응형 표면을 형성하도록 웨어러블 전자 디바이스의 디스플레이에 대해 배치될 수 있다. 다음 설명은 터치의 위치를 결정하는 데 사용될 수 있는 개별 터치 센서들에 관해서 제공된다.
일 실시예에서, 디바이스는 자기-용량성 픽셀들 또는 전극들의 어레이로부터 형성될 수 있는 자기-용량성 터치 센서들을 포함할 수 있다. 도 21a는 자기-정전용량 터치 픽셀 전극 및 감지 회로에 대응하는 예시적인 터치 센서 회로를 도시한다. 터치 센서 회로(2109)는, 그와 연관된 접지에 대한 고유 자기-정전용량, 및 또한 손가락(2112)과 같은 물체가 터치 픽셀 전극(2102)에 근접하거나 그에 터치하고 있을 때 형성될 수 있는 접지에 대한 추가적 자기-정전용량을 가질 수 있는 터치 픽셀 전극(2102)을 가질 수 있다. 터치 픽셀 전극(2102)의 접지에 대한 총 자기-정전용량은 정전용량(2104)으로 도시될 수 있다. 터치 픽셀 전극(2102)은 감지 회로(2114)에 결합될 수 있다. 다른 구성들이 채용될 수 있지만, 감지 회로(2114)는 연산 증폭기(2108), 피드백 저항기(2116), 피드백 커패시터(2110), 및 입력 전압원(2106)을 포함할 수 있다. 예를 들어, 피드백 저항기(2116)는 스위치 커패시터 저항기에 의해 대체될 수 있다. 터치 픽셀 전극(2102)은 연산 증폭기(2108)의 반전 입력에 결합될 수 있다. AC 전압원(2106)이 연산 증폭기(2108)의 비-반전 입력에 결합될 수 있다. 터치 센서 회로(2109)는 터치 센서 패널을 터치하거나 그에 근접한 손가락(2112)에 의해 유도된 터치 픽셀 전극(2102)의 총 자기-정전용량(2104)에서의 변화를 감지하도록 구성될 수 있다. 출력(2120)은 프로세서에 의해 근접 또는 터치 이벤트의 존재를 결정하는 데 사용될 수 있거나, 또는 출력은 터치 또는 근접 이벤트의 존재를 결정하기 위해 별개의 로직 네트워크로 입력될 수 있다.
도 21b는 예시적인 자기-정전용량 터치 센서(2130)를 도시한다. 터치 센서(2130)는 표면 상에 배치되고 터치 제어기(2106) 내의 감지 채널들에 결합된 복수의 터치 픽셀 전극(2102)을 포함할 수 있고, 구동/감지 인터페이스(2125)를 통해 감지 채널들로부터의 자극 신호들에 의해 구동될 수 있고, 또한 구동/감지 인터페이스(2125)를 통해 감지 채널들에 의해 감지될 수 있다. 터치 제어기(2106)가 각각의 터치 픽셀 전극(2102)에서 검출된 터치의 양을 결정한 후, 터치가 발생한 터치 스크린 패널에서의 터치 픽셀들의 패턴은 터치의 "이미지"(예를 들어, 터치 스크린을 터치하거나 그에 가깝게 근접한 물체들의 패턴)로 여겨질 수 있다. 도 21b의 터치 픽셀 전극들(2102)의 배열은 하나의 예로서 제공되지만, 터치 픽셀 전극들의 배열 및/또는 기하학적 구조는 실시예에 따라 변할 수 있다.
소정 실시예들은 상이한 터치-감지 메커니즘들을 채용할 수 있다. 예를 들어, 소정 실시예들은 터치를 검출하기 위해 상호-정전용량 센서 어레이를 사용할 수 있다. 일부 실시예들은 저항성 터치 센서, 광학 터치 센서, 또는 본 명세서에서 논의된 임의의 터치-감지 기술의 임의의 조합을 사용할 수 있다. 따라서, 자기-용량성 터치 감지가 어느 정도 상세하게 설명되었지만, 본 명세서에서의 터치 감지 등에 대한 언급은 임의의 주어진 실시예에서 사용된 특정 유형의 터치 센서에 관계없이 터치의 검출을 커버하도록 의도된다는 것을 이해해야 한다.
소정 실시예들에서, 전자 디바이스는 햅틱 피드백을 사용자에게 제공하기 위한 하나 이상의 햅틱 모듈을 포함할 수 있다. 본 명세서에 기술된 실시예들은 인지가능한 햅틱 피드백을 제공하기에 적합한 하나 이상의 햅틱 액추에이터의 형태를 취하거나 그에 관련될 수 있다. 이러한 액추에이터들은 전자기 코일, 영구 자석 또는 다른 자기장 소스를 포함할 수 있다. 자기장은 코일에 동력이 공급될 때 질량체(mass)에 로렌츠 힘을 가함으로써 햅틱 액추에이터의 질량체에 모션을 유도할 수 있다. 코일을 통하는 전류의 방향은 질량체의 모션 방향을 결정하는 반면, 자기장의 강도는 질량의 속도 및 따라서 햅틱 출력의 크기를 결정한다.
일반적으로, 일부 실시예들에서 구현된 햅틱 액추에이터들은, 전자 디바이스의 매우 콤팩트한 폼 팩터가 주어지면, 결과적인 기계적 에너지를 최대화 또는 향상시키도록 구성될 수 있다.
일 실시예에서 그리고 도 22a 및 도 22b에 도시된 바와 같이, 햅틱 액추에이터(2450)는 질량체가 휴지 상태에 있을 때 코일(2200) 내에 적어도 부분적으로 배치된 질량체를 가질 수 있다. 이 질량체는 프레임(2260) 내에 부착된 자석 어레이로서 구현된 반대 극성들의 2개의 자석(2211, 2212)을 포함할 수 있으며; 프레임(2260)은 질량체에 여분의 중량을 제공할 수 있으며, 따라서 더 강한 햅틱 출력이 생성될 수 있다. 중앙 블록(2270)은 자석들을 분리시킬 수 있지만, 이것은 옵션적이다. 샤프트(2250)는 질량체가 샤프트 상에서 자유롭게 미끄러질 수 있도록 질량체를 통해 연장될 수 있다.
자석 어레이(자석들(2211, 2212) 및 중심 블록(2270)으로부터 형성됨)는 코일이 전류에 의해 동력공급될 때 코일(2200)의 자기장과 상호작용하는 반경방향 자기장(도 22b 참조)을 생성할 수 있다. 자기장의 상호작용으로부터 기인하는 로렌츠 힘은 질량체가 샤프트(2250)를 따라 제1 방향으로 이동하게 한다. 코일(2200)을 통하는 전류 흐름을 반전시키는 것은 로렌츠 힘을 반전시킨다. 그 결과, 자석들(2211, 2212) 상의 자기장 또는 자력 또한 반전되고 질량체는 제2 방향으로 이동할 수 있다. 따라서, 질량체는 코일을 통하는 전류 흐름의 방향에 따라, 샤프트를 따라 양방향으로 이동할 수 있다. 코일(2200)을 통해 교류 전류를 통과시키는 것은, 중앙 자석 어레이가 샤프트를 따라 앞뒤로 이동하게 할 수 있다. 이 모션은 액추에이터의 하우징(2220)에서 모션을 유도할 수 있으며, 이는 결국 전자 디바이스의 하우징에서 모션을 유도할 수 있다.
중앙 자석 어레이가 샤프트(2250)로 끌어당겨져서 둘 사이의 마찰을 증가시키고 그에 의해 중앙 자석 어레이 및 프레임(2260)을 이동시키는 데 필요한 힘을 증가시킬 수 있는 것을 방지하기 위해, 샤프트는 텅스텐, 티타늄, 스테인리스 강 등과 같은 비-페라이트 재료로 형성될 수 있고, 질량체는 베어링들 상에서 샤프트를 따라 미끄러질 수 있다.
액추에이터는 또한 질량체에 복원력을 제공하는 구조물들을 가질 수 있다. 예를 들어, 스프링(2210)이 샤프트의 어느 하나의 단부에 위치될 수 있다. 질량체가 스프링에 충돌할 때, 스프링은 압축되고 운동 에너지를 저장한다. 이 운동 에너지는 샤프트(2250)를 따라 질량체를 복귀시키도록 해제될 수 있으며, 이에 의해 그것의 초기 시작 위치로 또는 그 근방으로 그것을 보낼 수 있다. 스프링(들)의 운동 에너지는 코일과 협력하여 이러한 방식으로 자석을 이동시킬 수 있다.
선형 액추에이터가 본 명세서에서 설명되었지만, 다른 유형의 액추에이터들이 상이한 실시예들에서 사용될 수 있음을 이해해야 한다. 예를 들어, 일부 실시예들은 로터리 액추에이터, 압전 액추에이터, 또는 임의의 다른 적합한 선형 또는 비-선형 액추에이터를 채용할 수 있다. 마찬가지로, 소정 실시예들은 협력하여 작동하는 다수의 액추에이터들을 채용할 수 있다.
본 명세서에서 기술된 실시예들은 적합한 전자 디바이스의 형태를 취하거나, 그 내에 통합되거나, 또는 그것과 함께 동작할 수 있다. 그러한 디바이스의 하나의 예가 도 23a에 도시되며, 웨어러블 메커니즘의 형태를 취한다. 도시된 바와 같이, 메커니즘은 사용자의 손목에 착용되고 밴드에 의해 그것에 고정될 수 있다. 메커니즘은 다음을 포함하지만, 이에 제한되지 않는 다양한 기능들을 가질 수 있다: 시간을 기록하는 것; 사용자의 생리학적 신호들을 모니터링하고 그러한 신호들에 기초하여 건강-관련 정보를 제공하는 것; 상이한 기능들을 갖는 상이한 유형들의 디바이스들일 수 있는 다른 전자 디바이스들과 (유선 또는 무선 방식으로) 통신하는 것; 그 일부 또는 전부가 서로 동기화될 수 있는, 오디오, 햅틱, 시각적 및/또는 다른 감각 출력을 포함할 수 있는 경보들을 사용자에게 제공하는 것; 디스플레이 상에 데이터를 시각적으로 표시하는 것; 디바이스의 동작들을 개시, 제어, 또는 수정하는 데 사용될 수 있는 하나 이상의 센서로부터 데이터를 수집하는 것; 디바이스의 표면 상의 터치의 위치 및/또는 디바이스 상에 가해진 힘의 양을 결정하고, 둘 중 하나 또는 둘 모두를 입력으로서 사용하는 것; 하나 이상의 기능을 제어하기 위한 음성 입력을 받아들이는 것; 하나 이상의 기능을 제어하기 위한 촉각적 입력을 받아들이는 것 등.
적합한 전자 디바이스들의 대안적인 실시예들은 도 4a에 도시된 바와 같은 전화, 태블릿 컴퓨팅 디바이스, 휴대용 미디어 플레이어, 또는 다른 휴대용 다기능 디바이스(100)를 포함한다. 또 다른 적합한 전자 디바이스들은 랩톱/노트북 컴퓨터, 개인 휴대 정보 단말기, 터치 스크린, 입력 감응형 패드 또는 표면 등을 포함할 수 있다.
도 24는 웨어러블 전자 디바이스의 예시적인 개략도를 도시한다. 도 24에 도시된 바와 같이, 디바이스(100)는 명령어들이 저장된 메모리(2410)에 액세스하도록 구성되는 하나 이상의 처리 유닛(2405)을 포함한다. 명령어들 또는 컴퓨터 프로그램들은 디바이스(100)에 대하여 설명된 동작들 또는 기능들 중 하나 이상을 수행하도록 구성될 수 있다. 예를 들어, 명령어들은 디바이스의 다양한 컴포넌트들의 동작을 제어 또는 조정하도록 구성될 수 있다. 이러한 컴포넌트들은 디스플레이(2415), 하나 이상의 입력/출력 컴포넌트(2420), 하나 이상의 통신 채널(2425), 하나 이상의 센서(2430, 2435), 스피커(2440), 마이크로폰(2445), 및/또는 하나 이상의 햅틱 피드백 디바이스(2450)를 포함하지만, 이에 제한되지 않는다. 일부 실시예들에서, 스피커 및 마이크로폰은 단일 유닛으로 조합될 수 있고/있거나, 디바이스의 하우징을 통하는 공통 포트를 공유할 수 있다. 일부 실시예들은 또한 배터리(2455) 또는 무선 전력(2460)을 포함한다. 도 24에 도시된 디바이스(100)의 컴포넌트들 각각은 그 대신에, 대응하는 이름 또는 기능을 갖는 다른 도면에서의 컴포넌트일 수 있다.
도 24의 처리 유닛들(2405)은 데이터 또는 명령어들을 처리, 수신, 또는 전송할 수 있는 임의의 전자 디바이스로서 구현될 수 있다. 예를 들어, 처리 유닛들(2405)은 마이크로프로세서, 중앙 처리 장치(CPU), 응용 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 또는 이러한 디바이스들의 조합들 중 하나 이상을 포함할 수 있다. 본 명세서에 기술된 바와 같이, 용어 "프로세서"는 단일의 프로세서나 처리 유닛, 다수의 프로세서들, 다수의 처리 유닛들, 또는 다른 적합하게 구성된 컴퓨팅 요소 또는 요소들을 내포하도록 의도된다.
일부 실시예들에서, 전자 디바이스는 다양한 밴드, 스트랩, 또는 다른 유지 메커니즘(총칭하여, "밴드들")을 수용할 수 있다. 이들 밴드는, 디바이스 내의 리세스 또는 다른 개구에 수용되고 그것에 잠금되는 러그(lug)에 의해, 전자 디바이스에 착탈가능하게 연결될 수 있다. 러그는 밴드의 일부일 수 있거나 밴드로부터 분리가능할(그리고/또는 그와 별개일) 수 있다. 일반적으로, 러그는 전자 디바이스의 리세스 내에 잠금될 수 있고, 이에 따라 밴드와 디바이스 사이의 연결을 유지할 수 있다. 사용자는 잠금 메커니즘을 해제하여, 러그가 슬라이드하거나 다른 식으로 리세스 밖으로 이동하도록 할 수 있다. 일부 실시예들에서, 리세스는 밴드 내에 형성될 수 있고 러그는 디바이스에 부착 또는 그에 통합될 수 있다.
사용자는 밴드와 전자 디바이스의 조합을 변경함으로써, 두 카테고리의 혼합 및 매칭을 허용할 수 있다. 다른 형태 및/또는 기능을 갖는 디바이스가 유사한 리세스를 포함할 수 있으며, 러그 및/또는 러그를 포함하는 밴드와 해제가능하게 정합될 수 있다는 것이 이해되어야 한다. 이러한 방식으로, 밴드 및 디바이스의 생태계(ecosystem)가 구상될 수 있으며, 그 각각은 다른 것과 호환가능하다. 하나의 추가적인 예로서, 단일 밴드가 디바이스들에 연결하는 데 사용될 수 있으며; 그러한 실시예들에서 밴드는 전기 배선들을 포함하여, 두 디바이스들이 서로에 신호들을 전송하고 이에 의해 서로 상호작용하도록 할 수 있다.
많은 실시예들에서, 전자 디바이스는 시간을 기록 및 표시하여, 본질적으로 다른 것들 중에서 손목 시계로서 기능할 수 있다. 시간은 디바이스, 그것의 설정, 및 (일부 경우들에서) 사용자의 선호도에 따라, 아날로그 또는 디지털 포맷으로 표시될 수 있다. 일반적으로, 시간은 디바이스의 외부의 일부를 형성하는 디지털 디스플레이 스택 상에 표시된다.
디스플레이 스택은, 디스플레이를 덮는, 커버 유리와 같은 커버 요소를 포함할 수 있다. 커버 유리는 반드시 유리로 형성될 필요는 없지만, 그것은 하나의 옵션이며; 그것은 사파이어, 지르코니아, 알루미나, 화학 강화 유리, 경화 플라스틱 등으로 형성될 수 있다. 마찬가지로, 디스플레이는 액정 디스플레이, 유기 발광 다이오드 디스플레이, 또는 임의의 다른 적합한 디스플레이 기술일 수 있다. 다른 요소들 중에서, 디스플레이 스택은 일부 실시예들에서 백라이트를 포함할 수 있다.
디바이스는 또한 커버 유리 상의 터치의 위치를 결정하기 위해 하나 이상의 터치 센서를 포함할 수 있다. 터치 센서는 터치의 위치를 결정하기 위해 디스플레이 스택 상에 또는 그 내에 통합될 수 있다. 터치 센서는 특정 실시예들에서 자기-용량성이거나, 다른 실시예들에서는 상호-용량성이거나, 또는 이들의 조합일 수 있다.
유사하게, 디바이스는 커버 유리에 가해진 힘의 양을 결정하기 위한 힘 센서를 포함할 수 있다. 힘 센서는 일부 실시예들에서 용량성 센서일 수 있고, 일부 실시예들에서는 스트레인 센서일 수 있다. 어느 실시예에서든, 힘 센서는 일반적으로 투명하고 투명 재료들로 제조되거나, 디스플레이의 뷰를 방해하지 않도록 디스플레이 아래 또는 그로부터 멀리 위치된다. 힘 센서는, 예를 들어, 실리콘 또는 다른 변형가능 재료에 의해 분리된 2개의 용량성 플레이트의 형태를 취할 수 있다. 용량성 플레이트들이 외부 힘 하에서 서로 더 가깝게 이동함에 따라, 정전용량의 변화가 측정될 수 있고, 외부 힘의 값은 정전용량 변화로부터 상관된다. 또한, 힘 센서 상의 다수의 점들로부터의, 또는 다수의 힘 센서들로부터의 상대적 정전용량 변화들을 비교함으로써, 힘이 가해지는 위치 또는 위치들이 결정될 수 있다. 일 실시예에서, 힘 센서는 디스플레이의 주변부 아래로 연장되는 개스킷의 형태를 취할 수 있다. 개스킷은 실시예에 따라, 분할되거나 일체형일 수 있다.
전자 디바이스는 사용자에게 경보를 제공할 수 있다. 경보는 다음에 응답하여 생성될 수 있다: 디바이스의 상태의 변화(그 하나의 예로, 전력이 부족한 것); 디바이스에 의한 정보의 수신(예컨대 메시지를 수신하는 것); 디바이스와 다른 메커니즘/디바이스 사이의 통신들(예컨대 제2 유형의 디바이스가, 메시지가 대기 중이거나 통신이 진행 중임을 그 디바이스에 알리는 것); 애플리케이션(예컨대, 게임의 일부로서, 또는 캘린더 약속이 임박할 때) 또는 운영 체제(예컨대 디바이스의 전원이 온되거나 셧다운될 때)의 동작 상태 등. 경보에 대한 트리거들의 개수 및 유형은 다양하고 광범위하다.
경보는 청각적, 시각적, 햅틱, 또는 이들의 조합일 수 있다. 햅틱 액추에이터는 디바이스 내에 수용될 수 있고, 햅틱 출력을 생성하도록 선형적으로 이동할 수 있다(그러나 대안적인 실시예들에서 햅틱 액추에이터는 로터리 또는 임의의 다른 유형일 수 있다). 스피커는 경보의 청각적 성분들을 제공할 수 있으며, 전술한 디스플레이는 시각적 경보 성분들을 제공할 수 있다. 일부 실시예들에서, 전용 조명, 디스플레이, 또는 다른 시각적 출력 성분이 경보의 일부로서 사용될 수 있다.
경보의 청각적, 햅틱 및/또는 시각적 성분들은 사용자에게 전체적인 경험을 제공하기 위해 동기화될 수 있다. 하나 이상의 성분은, 그것들 사이에 원하는 동기화를 생성하도록 다른 성분들에 대해 지연될 수 있다. 성분들은 그것들이 실질적으로 동시에 인식되도록 동기화될 수 있으며; 하나의 예로서, 햅틱 출력이 오디오보다 인지하는 데 오래 걸릴 수 있으므로 햅틱 출력은 청각적 출력보다 약간 전에 개시될 수 있다. 다른 예로서, 햅틱 출력(또는 그 일부분)은 청각적 출력보다 상당히 전에 그러나 약하거나 심지어 잠재의식적(subliminal) 수준으로 개시됨으로써, 착용자에게 청각적 출력을 수신하게 될 것을 프라이밍할 수 있다.
예시적인 전자 디바이스는 유선 연결을 통해 또는 무선으로 다른 전자 디바이스들과 통신할 수 있다. 데이터가 디바이스들 사이에서 전달되어, 하나의 디바이스가 다른 디바이스에 정보를 중계하는 것; 다른 디바이스를 제어하는 것; 다른 디바이스의 센서들, 출력들, 및/또는 입력들을 이용하는 것 등을 수행하도록 허용할 수 있다. 도 23b는 자신의 주머니 내에 제2 전자 디바이스(2320)를 갖는, 샘플 전자 디바이스(100)를 착용한 사용자(2310)를 도시한다. 제2 디바이스는, 옵션적으로, 디바이스들(100, 300)에 대해 본 명세서에 설명된 능력들 중 임의의 것을 갖는다. 데이터는 전자 디바이스들(100, 2320) 사이에서 무선으로 전송됨으로써, 사용자(210)가 제1 전자 디바이스(100)에 의해 제2 디바이스(2320)로부터의 데이터를 수신하고, 보고, 그것과 상호작용하도록 허용할 수 있다. 따라서, 사용자(2310)는 실제로 제2 디바이스와 직접 상호작용할 필요 없이 제1 전자 디바이스(100)를 통해 제2 디바이스의 기능의 일부 또는 전부에 대한 액세스를 가질 수 있다.
또한, 전자 디바이스들(100, 2320)은 데이터를 공유하기 위해서 뿐만 아니라 기능을 공유하기 위해서 협력할 수 있다. 예를 들어, 두 디바이스 중 하나는, 다른 디바이스가 갖고 있지 않은 센서, 애플리케이션, 또는 기능을 포함할 수 있다. 그러한 능력들이 없는 전자 디바이스는 그것들을 다른 디바이스로부터 요청할 수 있으며, 다른 디바이스는 요청하는 디바이스와 무선으로 공유할 수 있다. 따라서, 다수의 디바이스들은 둘 사이에서 그리고 궁극적으로는 사용자에게, 확장된 기능들, 소프트웨어, 액세스 등을 제공하기 위해 함께 동작할 수 있다. 하나의 비-제한적 예로서, 전자 디바이스(100)는 전화를 걸거나 받을 수 없는 반면에, 제2 디바이스(2320)는 그것을 수행하는 것이 가능할 수 있다. 사용자는 그럼에도 불구하고 제1 디바이스(100)를 통해 전화를 걸고/걸거나 받을 수 있으며, 제1 디바이스(100)는 실제로 전화를 걸거나 받기 위해 제2 디바이스(2320)를 이용할 수 있다.
다른 비-제한적 예로서, 전자 디바이스(100)는 근방의 판매 단말기와 무선으로 통신함으로써, 사용자가 상품을 판매, 구매, 또는 반환하는 것과 같은 거래를 신속하고 효율적으로 이행하도록 허용할 수 있다. 전자 디바이스는 이들 및 다른 기능들을 수행하기 위해 근거리 통신 기술을 사용할 수 있다.
전술한 바와 같이, 밴드가 두 전자 디바이스에 연결될 수 있고 둘 사이의 유선 통신 경로로서 역할을 할 수 있다. 다른 예로서, 디바이스들은 무선으로 통신함으로써, 하나의 디바이스가 제2 디바이스로부터 정보를 사용자에게 중계하도록 허용할 수 있다. 이러한 후자의 예는 제2 디바이스가 액세스가능하지 않을 경우 특히 유용할 수 있다.
특정 실시예들은 사용자의 특정한 생리학적 특성들을 측정하기 위한 하나 이상의 생체인식 센서를 포함할 수 있다. 디바이스는 예를 들어, 사용자의 심박수 또는 혈중 산소 포화도 레벨을 결정하기 위한 맥파 센서를 포함할 수 있다. 디바이스는 또한 또는 그 대신에, 사용자의 신체 임피던스를 측정하기 위한 전극들을 포함할 수 있으며, 이는 디바이스가 체지방률, 신체의 전기적 활동량, 신체 임피던스 등을 추정하도록 허용할 수 있다. 또한 혈압, 자외선 노출 등을 포함한다. 전자 디바이스 내에 통합되거나 그와 연관된 센서들에 따라, 다양한 사용자 특성들이 측정 및/또는 추정됨으로써, 상이한 건강 정보가 사용자에게 제공되도록 허용할 수 있다.
특정 실시예들은 무선으로 충전될 수 있다. 예를 들어, 유도 충전 베이스는 디바이스의 배터리를 충전하기 위해 디바이스 내의 유도 수신기에 전력을 전송할 수 있다. 또한, 디바이스와 베이스 사이의 유도성 필드를 가변함으로써, 데이터가 둘 사이에 전달될 수 있다. 하나의 간단한 비-제한적인 예로서, 이것은 디바이스가 베이스 상에 배치될 때 베이스를 저전력 슬립(low-power sleep) 상태로부터 활성 충전 상태로 웨이크(wake)하는 데 사용될 수 있다. 다른 무선 충전 시스템들 또한 사용될 수 있다(예를 들어, 근거리 자기 공명(near field magnetic resonance) 및 무선 주파수). 대안적으로, 디바이스는 또한 전극들을 통한 유선 충전을 채용할 수 있다.
특정 실시예들에서, 디바이스는 지주부(stem)를 갖는 크라운의 형태를 취할 수 있는, 회전식 입력(rotary input)을 포함할 수 있다. 크라운 및 지주부는 회전식 입력을 제공하도록 회전될 수 있다. 지주부 및/또는 크라운의 회전은 광학적, 전기적, 자기적, 또는 기계적으로 감지될 수 있다. 또한, 일부 실시예들에서 크라운 및 지주부는 또한 측방향으로 이동함으로써, 제2 유형의 입력을 디바이스에 제공할 수 있다.
전자 디바이스는 마찬가지로 하나 이상의 버튼을 포함할 수 있다. 버튼(들)은 또 다른 입력을 디바이스에 제공하도록 눌러질 수 있다. 다양한 실시예들에서, 버튼은 돔 스위치, 로커 스위치, 전기 접점, 자기 스위치 등일 수 있다. 일부 실시예들에서, 버튼은 방수성이거나, 또는 다른 식으로 환경에 대해 밀봉될 수 있다.
다양한 실시예들은 하나 이상의 모션 센서를 포함하거나 다른 식으로 통합할 수 있다. 모션 센서는 디바이스의 모션을 검출하고, 모션에 기초하여 디바이스 또는 연관된 애플리케이션들의 상태, 출력, 또는 입력을 제공, 수정, 중단하거나, 또는 다른 식으로 그것에 영향을 줄 수 있다. 비-제한적인 예들로서, 모션은 디바이스를 침묵시키거나(silence), 디바이스에 의해 생성된 경보를 확인응답하는(acknowledge) 데 사용될 수 있다. 예시적인 모션 센서들은 가속도계, 자이로스코프 센서, 자력계, GPS 센서, 거리 센서 등을 포함한다. 일부 실시예들은 위치 및/또는 내비게이션 지원을 용이하게 하거나 가능하게 하기 위해 GPS 센서를 사용할 수 있다.
도 24에 도시된 바와 같이, 디바이스(100)는 또한 스피커(2440) 및/또는 마이크로폰(2445)을 포함하는, 하나 이상의 음향 요소를 포함할 수 있다. 스피커(2440)는 드라이브 전자장치 또는 회로를 포함할 수 있고, 명령 또는 입력에 응답하여 가청음 또는 음향 신호를 생성하도록 구성될 수 있다. 유사하게, 마이크로폰(2445)은 또한 드라이브 전자장치 또는 회로를 포함할 수 있고, 명령 또는 입력에 응답하여 가청음 또는 음향 신호를 수신하도록 구성된다. 스피커(2440) 및 마이크로폰(2445)은 케이스 내의 포트 또는 개구부에 음향적으로 결합될 수 있으며, 이는 음향 에너지가 통과하는 것을 허용하지만, 액체 및 다른 오염물의 유입은 방지할 수 있다.
특정 실시예들은 주변 광 센서를 포함할 수 있다. 주변 광 센서는 디바이스가 그것의 환경의 밝기를 감지하고 그에 따라 특정 동작 파라미터들을 조정하도록 허용할 수 있다. 예를 들어, 전자 디바이스는 감지된 주변광에 응답하여 디스플레이의 밝기를 수정할 수 있다. 다른 예로서, 전자 디바이스는 소정 시간 기간 동안 광이 감지되지 않거나 거의 감지되지 않는 경우 디스플레이를 턴오프시킬 수 있다.
전자 디바이스의 이들 및 다른 기능들, 동작들, 및 능력들은 본 명세서를 전체적으로 읽으면 명백해질 것이다.
경보 클래스 기반 햅틱 출력
경보 조건들은 일부 실시예들에 따라 많은 상이한 방식들로 트리거될 수 있다. 예를 들면, 일부 경보들은 이메일을 수신하는 것, 음성메일 메시지를 수신하는 것, 및 텍스트 메시지를 수신하는 것과 같은, 다른 사람으로부터의 통신에 의해 트리거된다. 다른 경보들은 캘린더 경보 또는 리마인더와 같은, 사용자-설정 통지들에 의해 트리거된다. 또 다른 경보들은 금융 거래 이벤트 또는 디바이스 페어링 이벤트와 같이, 애플리케이션 기반 또는 디바이스 기반 경보들과 같은, 시스템 기반 통지들에 의해 트리거된다. 일부 경보들은 제3자 애플리케이션들에 의해 트리거되는 반면, 다른 경보들은 디바이스에 네이티브(native)인 애플리케이션들 또는 다른 양상들로부터 트리거된다. 일부 실시예들에 따라, 어떤 유형의 트리거가 경보를 제공했는지는, 대응하는 햅틱 출력을 제공하기 위한 기초를 제공한다.
대응하는 햅틱은 일부 실시예들에 따라 경보 클래스와 연관되어, 사용자가 시간에 따라 특정 햅틱 및 특정 경보 클래스들과 연관된 다른 출력을 갖는 언어로서 햅틱 피드백을 이해하게 할 수 있다. 다양한 경보 클래스들과 상관되는 햅틱 출력을 제공하는 것은 보다 효율적인 인간-기계 인터페이스를 생성하고, 이에 의해 사용자가 경보들을 이해하고 동작들을 수행하는 데 걸리는 시간의 양을 감소시키며, 이는 결과적으로 에너지 사용을 감소시키고 배터리 전력공급 디바이스들에 대한 배터리 수명을 증가시킨다. 도 25는 일부 실시예들에 따른, 다양한 햅틱 및 다른 피드백 경보들 - 각각은 상이한 경보 클래스에 대응함 - 을 제공하기 위한 방법(2500)의 흐름도이다. 일부 실시예들에서, 도 25에 도시된 단계들 이외의 상이한 단계들이 수행될 수 있음에 유의한다.
방법은 디바이스(100)가 이벤트를 검출하는 것(2505)에 의해 시작된다. 촉각적 출력 생성기를 갖는 컴퓨팅 디바이스(100) 상에서 실행되는 애플리케이션에 대해, 이벤트는 다양한 실시예들에 따라 다양한 형태들을 취한다. 이벤트는 디바이스의 사용자를 대상으로 하는 임의의 통지, 경보 또는 다른 이벤트이다. 일부 상황들에서, 디바이스(100)는 터치 감응형 디스플레이를 갖는다.
상이한 유형의 경보 이벤트들은 일부 실시예들에 따라 상이한 이벤트 클래스들에 대응한다. 이벤트 유형이 특정 클래스에 속한다는 결정에 따라, 경보가 이벤트 클래스에 대응하여 제공된다. 예를 들어, 이벤트가 제1 이벤트 클래스 내의 이벤트의 유형이라는 결정에 따라, 촉각적 출력 생성기에 의해 생성된 제1 햅틱 성분을 포함하는 제1 경보가 제공된다(2515). 유사하게, 이벤트가 복수의 상이한 이벤트 유형을 포함하는 제2 이벤트 클래스 내의 이벤트의 유형이라는 결정에 따라, 촉각적 출력 생성기에 의해 생성된 제2 햅틱 성분을 포함하는 제2 경보가 제공되며(2520), 제2 햅틱 성분은 제1 햅틱 성분과 상이하다. 마찬가지로, 이벤트가 복수의 상이한 이벤트 유형을 포함하는 제3 이벤트 클래스 내의 이벤트의 유형이라는 결정에 따라, 촉각적 출력 생성기에 의해 생성된 제3 햅틱 성분을 포함하는 제3 경보가 제공되며(2525), 제3 햅틱 성분은 제1 햅틱 성분 및 제2 햅틱 성분과 상이하다. 따라서, 햅틱 출력은, 일부 실시예들에 따라 이벤트가 속하는 이벤트 클래스에 의존한다.
일부 실시예들에 따르면, 제1 햅틱 성분은, 햅틱 출력들 사이의 간격, 햅틱 출력들의 개수, 및 햅틱 성분 동안의 시간에 걸친 햅틱 출력들의 진폭의 변화 중 하나 이상에 기초하여, 제2 햅틱 성분 및 제3 햅틱 성분과 상이하다.
일부 실시예들에서, 위에서 도 25와 관련하여 논의된 바와 같이, 햅틱 성분들은, 경보의 가청 성분이 디바이스에 의해 제공되든지 제공되지 않든지 사용자가 상이한 클래스들의 경보들 사이에서 쉽게 구별할 수 있도록, 상당히 상이하게 설계된다. 예를 들어, 디바이스는 상이한 이벤트들에 대응하는 복수의 고유한 경보를 가질 수 있으며, 제1 이벤트 클래스, 제2 이벤트 클래스 및 제3 이벤트 클래스는, 고유한 경보들에 대응하는 이벤트들보다 전형적으로 더 자주 발생하는 이벤트들의 유형들에 대응한다.
일부 상황들에서, 이벤트 클래스들은 상이한 인자들에 기초하여 생성된 이벤트들에 대응한다. 예를 들어, 일부 실시예들에 따르면, 제1 클래스의 이벤트들은 다른 사용자들로부터의 통신에 기초하여 생성된 이벤트들을 포함하고, 제2 클래스의 이벤트들은 디바이스의 사용자에 의해 입력된 미리정의된 기준들에 기초하여 생성된 이벤트들을 포함하며, 제3 클래스의 이벤트들은 디바이스-모니터링된 기준들의 충족에 기초하여 생성된 이벤트들을 포함한다.
일부 실시예들에 따르면, 이벤트 클래스들은 다양한 이벤트들에 대응하며, 이는 표 9와 관련하여 하기에서 더 논의되는 바와 같다. 예를 들어, 일부 실시예들에 따르면, 제1 유형의 이벤트는 개인 이벤트 클래스 내에 있고, 제2 유형의 이벤트는 사용자-설정 이벤트 클래스 내에 있고, 제3 유형의 이벤트는 시스템 이벤트 클래스 내에 있다. 개인 이벤트 클래스는 착신 메시지, 착신 이메일, 착신 음성메일 등과 같은 이벤트들을 포함할 수 있다. 사용자-설정 이벤트 클래스는 캘린더 통지, 리마인더 통지, 타이머/알람 이벤트 등과 같은 이벤트들을 포함할 수 있다. 시스템 이벤트 클래스는 페어링 이벤트, 금융 거래 이벤트, 또는 배터리 레벨 이벤트 등과 같은 이벤트들을 포함할 수 있다. 일부 실시예들에 따르면, 각 클래스에 대응하는 경보들은, 클래스가 햅틱 출력의 하나 이상의 속성을 공유하도록, 그 클래스에 대해 미리-구성된다. 일부 실시예들에 따르면, 클래스에 대응하는 햅틱은 디바이스(100)의 사용자에 의해 구성가능하다.
일부 실시예들에 따르면, 이벤트를 검출하는 것에 응답하여(2506), 그리고 이벤트가 복수의 상이한 이벤트 유형을 포함하는 제4 이벤트 클래스 내의 이벤트의 유형이라는 결정에 따라, 촉각적 출력 생성기에 의해 생성된, 제4 햅틱 성분을 포함하는 제4 경보를 제공하며(2530), 제4 햅틱 성분은 제1 햅틱 성분, 제2 햅틱 성분 및 제3 햅틱 성분과 상이하다. 제4 이벤트 클래스는 일부 실시예들에 따라, 다양한 제2당사자(second-party) 또는 제3자 이벤트들을 포함할 수 있는, 제3자 애플리케이션 - 예를 들어, 소셜 네트워킹 메시지를 제공하는 소셜 네트워크 또는 게임 통지를 제공하는 게임 애플리케이션 - 에 의해 생성된 이벤트에 대응한다.
일부 실시예들에 따르면, 제4 햅틱 성분은 제1 햅틱 성분, 제2 햅틱 성분, 또는 제3 햅틱 성분에 포함되지 않는 햅틱 출력 요소에 의해, 제1 햅틱 성분, 제2 햅틱 성분 및 제3 햅틱 성분과 구별된다. 예를 들어, 제3자 애플리케이션에 의해 생성된 이벤트에 대응하는 제4 이벤트 클래스의 경우, 제4 햅틱 성분은 제3자 이벤트들(예를 들어, 특정 진동 패턴)에 고유하고 다른 클래스들에 대응하여 제공된 햅틱 출력에 포함되지 않는 햅틱 성분을 포함하여, 경보가 디바이스에 의해 공급되는 네이티브 애플리케이션들 또는 특징들 중 임의의 것으로부터가 아닌 제3자 애플리케이션으로부터 온 것임을 사용자가 쉽게 알 수 있도록 한다. 이 예에서 제1, 제2 및 제3 이벤트 클래스들은 디바이스로부터 직접적으로 또는 디바이스에 네이티브인 애플리케이션으로부터 개시되는 이벤트들에 대응한다. 그러나, 일부 실시예들에서, 주어진 클래스에 대응하는 햅틱 성분은 그 클래스에 고유할 수 있고 다른 클래스들에 대응하여 제공된 햅틱 출력에는 포함되지 않을 수 있어서, 사용자는 햅틱 출력으로부터, 경보가 다른 클래스들과 구별되는 특정 이벤트 클래스로부터 온 것임을 쉽게 알 수 있다.
일부 실시예들에서, 햅틱 출력이 각각의 오디오 성분 출력을 수반하는 경우, 오디오 성분들은 또한 이벤트 클래스를 반영한다. 예를 들어, 소정 클래스에 대한 오디오 성분은 그 클래스(예를 들어, 특정 유형의 사운드)에 고유할 수 있고 다른 클래스들에 대응하여 제공된 오디오 출력에는 포함되지 않을 수 있어서, 사용자는 오디오 출력으로부터, 경보가 다른 클래스들과 구별되는 특정 이벤트 클래스로부터 온 것임을 쉽게 알 수 있다.
표 9는, 검출된 이벤트가 공지된 이벤트 클래스임을 결정하는 데 사용되는 정보를 디바이스(100)가 갖는, 몇 가지 예시적인 상황들을 도시한다. 도시된 예들은 개인, 사용자-설정, 시스템 및 제3자의, 4개의 이벤트 클래스를 나타내지만, 임의의 이벤트 클래스일 수 있다. 표 9에 도시된 이벤트 유형들은 이메일 메시지, 텍스트 메시지, 음성메일(개인), 캘린더 및 리마인더 통지, 타이머 및 알람 경보(사용자-설정), 디바이스 페어링, 금융 번역, 배터리 레벨 표시(시스템), 및 제3자 메시지 및 통지(제3자)를 포함하지만, 이러한 결정을 하기 위해 디바이스(100)에 유사한 정보를 제공하는 임의의 다른 이벤트들일 수 있다.
[표 9]
Figure pat00026
도시된 예들의 경우, 이벤트 클래스 열은 이벤트가 속하는 4개의 클래스를 도시한다: 개인, 사용자-설정, 시스템, 또는 제3자. 각각의 클래스 내에서, 다양한 이벤트 유형들이 이벤트 유형 열마다 열거된다. 몇 가지 예들이 각각의 이벤트 클래스에 대해 열거되지만, 목록은 다른 이벤트 유형들을 제외하기 위한 것은 아니다. 일부 실시예들에서, 개인 이벤트들은 이메일, 텍스트, 또는 음성메일과 같은, 전형적으로 다른 사용자에 의해, 개인적으로 디바이스 사용자에게 전송되는 이벤트들이다. 사용자-설정 이벤트들은, 일부 실시예들에 따라, 이름이 암시하는 바와 같이, 디바이스의 사용자에 의해 설정되는 이벤트들, 예를 들어, 캘린더 통지, 리마인더, 타이머 종료, 알람이 울리는 것 등이다. 일부 실시예들에서, 시스템 이벤트들은 디바이스 페어링 또는 배터리 레벨 표시와 같은, 디바이스 또는 시스템 자체에 의해 생성된 이벤트들이다. 제3자 이벤트들은 상당히 다양할 수 있지만, 일부 실시예들에 따르면, 일반적으로 디바이스 상에서 실행되는 제3자 애플리케이션에 의해 트리거되는 이벤트에 대응한다. 제3자 이벤트들의 예들은 소셜 네트워킹 애플리케이션에 대응하는 메시지 또는 통지, 게임 애플리케이션에 대응하는 통지 또는 리마인더, 피트니스 애플리케이션에 대응하는 활동 경보 등을 포함한다.
도시된 예들에서, 이벤트 유형에 관계없이, 주어진 이벤트 클래스에 대응하는 모든 이벤트는 동일한 햅틱 및 오디오 출력을 갖는다는 것에 유의한다. 일부 실시예들에 따르면, 모든 개인 이벤트 클래스 이벤트들은 먼저 빠른 더블 탭을 포함하는 햅틱 성분, 및 뒤이은 긴 페이드를 갖는 딩(ding) 오디오 성분의 출력을 제공한다. 이 예에서, 출력은 탭-탭-딩(페이드)으로서 사용자에 의해 인지된다. 일부 실시예들에 따르면, 모든 사용자-설정 이벤트 클래스 이벤트들은 먼저 느린 더블 탭을 포함하는 햅틱 성분, 및 뒤이은 차임 오디오 성분의 출력을 제공한다. 이 예에서, 출력은 탭---탭-차임으로서 사용자에 의해 인지된다.
일부 실시예들에 따르면, 모든 시스템 이벤트 클래스 이벤트들은 럼블(rumble)의 끝에서 더 조용한 "딧(dit)" 오디오 성분과 중첩하는 햅틱 럼블, 및 뒤이은 럼블의 완료 후에 시작되는 짧은 페이드를 갖는 딩 오디오 성분의 출력을 제공한다. 이 예에서, 출력은 럼블..(딧)..-딩(페이드)으로서 사용자에 의해 인지된다. 일부 실시예들에 따르면, 모든 제3자 이벤트 클래스 이벤트들은 제3자 애플리케이션들에 대응하는 일관된 햅틱 성분의 출력을 제공하며, 이는 빠른 더블 탭 및 버즈 페이드를 포함하며, 이때 버즈 페이드는 오디오 성분과 부분적으로 중첩하며, 이는 제3자 애플리케이션과 연관된 이벤트 유형 또는 조건에 따라 변할 수 있다. 이 예에서, 출력은 탭-탭-딩(업 또는 다운)...(버즈(페이드))...으로서 사용자에 의해 인지된다.
이 예들에서, 햅틱 및 오디오 성분들 둘 모두는 주어진 클래스에 고유하게 대응하여, 경보가 다른 클래스들과 구별되는 특정 이벤트 클래스로부터 온 것임을 사용자가 출력으로부터 쉽게 알 수 있게 한다. 제3자 애플리케이션 클래스의 예에서, 햅틱은 동일하고, 오디오는 클래스의 특성이지만 이벤트 유형 또는 조건에 따라 변한다. 또한, 햅틱 출력 부분만이 또한 이 예들에서 주어진 클래스에 고유하게 대응하여서, 사용자의 디바이스 상에서 사운드가 턴오프되어 있더라도, 경보가 특정 이벤트 클래스로부터 온 것임을 사용자가 햅틱 출력만으로 알 수 있게 한다. 사용자들에게 일관되고 쉽게 이해할 수 있는 경보 언어를 제공하기 위해, 상이한 클래스들의 경보들은 각각 다수의 상이한 이벤트들에 대응하며, 경보들이 사용자 선택가능한(또는 사용자 수정가능한) 실시예들에서, 사용자들은 옵션적으로 이벤트 클래스와 연관된 사운드 또는 햅틱 출력을 변경하기 위한 옵션들을 제공받지만, 그 사운드 또는 햅틱 출력을 변경하면 그 클래스의 경보들과 연관되는 모든 이벤트들에 대해 사운드 또는 햅틱 출력이 변화될 것이다. 또한, 일부 실시예들에서, 사용자들은 상이한 이벤트 클래스들에 이벤트들을 할당하는 옵션을 제공받는다. 이러한 사용자지정(customizability)은 사용자들이 그들의 디바이스에 의해 제공되는 경보들을 사용자지정할 수 있게 하면서, 경보들의 효율 및 유효성을 향상시키는 일관된 경보 언어를 여전히 유지할 수 있다.
도 25에서의 동작들이 설명되는 특정한 순서는 단지 예시적이며, 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내도록 의도되지 않는다는 것을 이해하여야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방법들을 인식할 것이다. 또한, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(700, 900, 1000, 1100, 1200, 1300, 2600, 3000, 3200))과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들이 도 25와 관련하여 전술한 방법(2500)과 유사한 방식으로 또한 적용가능하다는 것에 유의해야 한다. 예를 들어, 방법(2500)을 참조하여 전술한 입력들, 경보 조건들, 이벤트들, 애플리케이션들, 상태들, 및 햅틱 출력들은 옵션적으로, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(700, 900, 1000, 1100, 1200, 1300, 2600, 3000, 3200))을 참조하여 본 명세서에 기술된 입력들, 경보 조건들, 이벤트들, 애플리케이션들, 상태들, 및 햅틱 출력들의 특성들 중 하나 이상을 갖는다. 간결성을 위해, 이들 상세사항들은 여기서 반복되지 않는다.
햅틱 출력을 위한 선택적 경보 현저성
경보 조건들은 선택적으로 일부 실시예들에 따라 햅틱 출력의 현저성에서의 증가를 받게 된다. 일부 실시예들에서, 디바이스(100)는 햅틱 출력의 현저성을 수정하여 사용자를 "프라이밍"할 수 있으며, 이는 경보에 더 큰 주의를 끄는 것을 돕는다. 예를 들어, 디바이스(100)는 프라이밍 햅틱 출력을 다른 햅틱 출력에 대한 프리커서로서 제공할 수 있으며, 프라이밍 햅틱 출력은 디바이스(100)를 동작시키는 사용자의, 다른 햅틱 출력에 대한 주의력을 증가시키도록 설계된다. 일부 상황들에서, 현저성은 일부 햅틱들에 대해서는 증가되지만 다른 것들에는 그렇지 않다. 이것은 특히 감각 장애가 있는 사용자들(예를 들어, 가청 경보들을 들을 수 없거나 진동 경보들에 대한 감소된 감도를 갖는 사용자들)에게 중요하다.
도 26은 일부 실시예들에 따른, 다양한 햅틱들에 대한 선택적 현저성 증가를 제공하기 위한 방법(2600)의 흐름도이다. 일부 실시예들에서, 도 26에 도시된 단계들 이외의 상이한 단계들이 수행될 수 있음에 유의한다.
방법(2600)은 촉각적 출력 생성기를 갖는 컴퓨팅 디바이스에서 제1 이벤트의 발생을 검출하는 것(2605)에 의해 시작된다. 이벤트는 위의 도 25와 관련하여 논의된 이벤트 유형들을 포함하는, 임의의 유형일 수 있다. 제1 이벤트의 발생을 검출하는 것에 응답하여, 상이한 유형들의 이벤트들은 상이한 현저성을 갖는 상이한 경보들을 생성할 수 있다. 예를 들어, 제1 이벤트가 제1 유형의 이벤트라는 결정에 따라, 제1 햅틱 성분을 포함하는 제1 경보가 촉각적 출력 생성기를 이용해 제공되고(2610), 햅틱 성분은 적어도 부분적으로 디바이스의 경보-현저성 설정에 기초하여 선택된다. 제1 이벤트가 제2 유형의 이벤트라는 결정에 따라, 디바이스의 경보-현저성 설정에 관계없이 선택된 제2 햅틱 성분을 포함하는 제2 경보가 촉각적 출력 생성기를 이용해 제공된다(2630).
일부 실시예들에 따르면, 디바이스의 경보-현저성 설정은 2개의 값을 가지며, 이때 하나의 값은 경보의 현저성을 증가시키는 것에 대응하고 제2 값은 경보의 현저성을 증가시키지 않는 것에 대응한다. 도 27은 일부 실시예들에 따른, 디바이스(100) 상의 경보-현저성 설정을 위한 예시적인 사용자 인터페이스를 예시한다. 도시된 바와 같이, 증가된 현저성 경보 선택자(2710)는 사용자가 증가된 현저성의 사용을 턴온 또는 턴오프시키도록 허용하여, "온"은 소정 경보들이 증가된 현저성을 가질 것임을 나타내고 "오프"는 경보들이 증가된 현저성을 갖지 않을 것임을 나타내도록 한다. 본 명세서에 논의된 바와 같이, 일부 경보들은 이 설정이 온일 때 증가된 현저성을 가질 것이고, 일부 경보들은 설정을 고려하지 않을 것이다. 예를 들어, 도 25와 관련하여 논의된 예시적인 클래스들을 사용하면, 일부 실시예들에 따라, 경보-현저성 설정이 온일 때, 개인 및 사용자-설정 이벤트 클래스들 내의 이벤트들은 증가된 현저성을 갖는 햅틱 출력을 제공할 것이며, 시스템 및 제3자 이벤트 클래스들 내의 이벤트들은 경보-현저성 설정이 온임에도 불구하고 변경되지 않을 것이다.
이벤트 유형이 관련된 이벤트들의 이진 세트(binary set)의 일부인 경우, 일부 실시예들에 따라, 두 이벤트 중 하나는 증가된 현저성 햅틱을 수신하는 것으로 지정될 수 있다. 예를 들어, 버디 페어링(buddy pairing)은, 시도될 때 2개의 결과만을 갖는다: 성공적인 버디 페어링 또는 실패한 버디 페어링. 성공적인 버디 페어링에 대해, 그것이 예상된 결과이므로 증가된 현저성이 필요하지 않을 수도 있다. 그러나, 페어링의 실패는 예상되지 않을 수 있으며, 따라서 사용자의 주의를 더 쉽게 얻기 위해 증가된 현저성 햅틱을 통해 사용자의 주의에 호출될 수 있다. 따라서, 일부 실시예들에 따라, 이진 옵션들 중 버디 페어링 이벤트 실패 결과에 대해, 증가된 현저성 햅틱이 생성될 것인 반면에, 버디 페어링 성공에 대해서는 표준 햅틱 출력이 제공될 것이다.
일부 실시예들에서, 증가된-현저성 설정이 온일 때 경보가 증가된 현저성을 갖는지의 여부는 경보를 트리거한 이벤트의 중요도에 기초한다. 예를 들어, 일부 실시예들에서, 이벤트들은 이벤트의 중요도 또는 긴급성에 대응하는 정보(예를 들어, 메타데이터 형태), 예컨대 이메일 상의 긴급하거나 중요한 플래그, VIP 연락처로부터 수신된 메시지, 또는 이벤트가 다른 이벤트들보다 어떤 식으로 더 중요하다는 것을 나타내는 다른 유사한 정보를 포함할 수 있다. 일부 실시예들에서, 이벤트의 콘텐츠는 "긴급", "높은 중요도" 등과 같은 중요도를 나타내는 키워드들에 대해 검토될 수 있다. 일부 실시예들에서, 훨씬 더 높은 정도의 현저성이, 둘 이상의 증가된 현저성 표시자를 갖는 이벤트들에 대해 추가될 수 있다. 예를 들어, 메시지가 수신되고 증가된 현저성이 오프인 경우, 메시지는 개인 이벤트 클래스에 대한 표준 햅틱을 트리거한다. 그러나, 동일한 메시지가 VIP 연락처로부터 수신되고 현저성 설정이 오프인 경우, VIP 연락처를 다른 메시징 연락처들과 구별하기 위해 현저성의 소정 증가가 여전히 적용될 수 있다. 그리고 증가된 현저성이 온인 경우, 수신된 메시지들은 현저성을 증가시켰다. 따라서, 일부 실시예들에 따르면, 하나의 트리거로부터의 증가(예를 들어, 개인에 대한 증가된 현저성 설정)가 다른 트리거로부터의 증가(예를 들어, 메시지가 VIP 연락처로부터 오는 것)와 조합되어, "여분의 현저성(extra salience)" 출력을 생성할 수 있다. 예를 들어, 여분의 현저성 출력은 이벤트 클래스에 대한 표준 햅틱에 선행하는 3개의 별개의 프라이밍 햅틱 성분들일 수 있다.
일부 실시예들에 따르면, 일부 이벤트 유형들은 이벤트의 본질에 의해 더 중요하게 여겨진다. 예를 들어, 일부 경우들에서 금융 거래들을 트리거한 이벤트들은, 금융 거래들이 속하는 이벤트 클래스에 관계없이, 다른 이벤트들보다 중요하게 여겨질 수 있다. 따라서, 더 민감하게 여겨지는 특정 카테고리들의 이벤트들 - 금융 거래들의 예에서, 이들은 은행 또는 주식 거래 애플리케이션들과 연관된 임의의 활동, 또는 돈에 관련되고/되거나 사기 활동들에 영향을 더 받기 쉬운 다른 이벤트들을 포함할 수 있다. 다른 예는, 또한 디바이스를 동작시키는 사용자 이외의 인간 사용자로부터 직접 수신되었을 가능성이 있는 메시지 이벤트 유형들인, 증가된 현저성의 대상인 이벤트 클래스(예를 들어, 개인) 내의 이벤트들이다. 예를 들어, 사용자의 연락처 목록 상의 전화번호 또는 알려진 이메일 주소로부터의 착신 메시지 또는 통화. 디바이스를 동작시키는 사용자 이외의 인간 사용자로부터 수신되었을 가능성이 있는 이벤트 유형들에 대한 추가의 논의에 대해, 표 2를 참조한다. 이 예에서, 인간 사용자로부터 수신되었을 가능성이 있는 모든 메시지 이벤트 유형들은 증가된 현저성 햅틱을 갖지만(예를 들어, 메일, 메시지 및 음성메일), 클래스 내의 다른 이벤트 유형들은 그렇지 않다(예를 들어, 포토스트림(photostream) 활동).
일부 실시예들에 따르면, 이벤트 클래스 내의 다른 이벤트 유형들이 증가된 현저성 설정에 대응하는 증가된 현저성 출력을 제공하는 경우에도, 소정 이벤트 유형들은 증가된 햅틱 출력 현저성으로부터 제외될 수 있다. 예를 들어, 증가된 현저성이 온인 이벤트 클래스(예를 들어, 개인) 내에서, UI 상호작용들(예를 들어, 스크롤하기, 항목들을 내비게이션하기, UI 버튼들을 누르기, 또는 다른 사용자 입력)에 대한 응답들에 의해 트리거된 이벤트들은 설정이 온이더라도 증가된 현저성 경보들을 갖지 않는다. 일부 경우들에서, 사용자 입력은 애플리케이션 또는 디바이스와의 사용자 참여의 높은 레벨의 특성이며, 따라서 증가된 현저성을 요구하지 않는 이벤트이다. 따라서, 사용자가 애플리케이션/디바이스와 높은 정도의 참여 또는 상호작용을 가질 때, 사용자는 지나치게 강한 피드백 신호에 시달리지 않는다.
이벤트 클래스 내의 다른 이벤트 유형들이 증가된 현저성 설정에 대응하는 증가된 현저성 출력을 제공하는 경우에도, 소정 이벤트 유형들이 증가된 햅틱 출력 현저성으로부터 제외될 수 있는 다른 조건은, 경보를 제공하는 애플리케이션이 활성 상태에 있을 때(예를 들어, 디바이스 사용자에 의해 사용되고 있음)이다. 예를 들어, 수신된 메시지 이벤트 유형은 개인 이벤트 클래스 내에 있으며, 따라서 전형적으로 설정이 온일 때 증가된 현저성 경보들의 대상이 될 것이다. 그러나, 메시지가 수신되는 시간에 디바이스의 사용자가 메시징 애플리케이션을 사용하고 있는 이벤트에서, 증가된 현저성 햅틱은 제공되지 않을 것이다. 반면에, 동일한 수신된 메시지 이벤트는, 메시지가 수신되었을 때 사용자가 메시징 애플리케이션을 사용하고 있지 않았을 경우, 증가된 현저성을 트리거할 것이다.
제1 이벤트 유형이 경보-현저성 설정에 적어도 기초하여 선택된 햅틱 성분을 포함하는 경보를 제공하고, 제2 이벤트 유형이 경보-현저성 설정에 관계없이 햅틱 성분을 선택하는 위의 예에서, 설정 값이 경보의 현저성을 증가시키는 것에 대응하는 경우, 제1 경보는 증가된 현저성을 가질 것이고 제2 경보는 그렇지 않을 것이다. 따라서, 경보-현저성 설정이 경보의 현저성을 증가시키는 것에 대응하는 값을 가짐에도 불구하고, 모든 경보들이 증가된 현저성을 갖지는 않을 것이다. 위의 예를 계속하면, 제1 유형의 이벤트가 개인 이벤트 클래스 유형의 이벤트에 대응하는 착신 메시지 이벤트이고, 제2 유형의 이벤트가 시스템 이벤트 클래스 유형의 이벤트에 대응하는 결제 이벤트이며, 설정 값이 경보의 현저성을 증가시키는 것에 대응하는 경우, 메시지(개인 클래스) 이벤트는 증가된 현저성을 가질 것이지만 결제(시스템 클래스) 이벤트는 그렇지 않을 것이며, 이는 제2 유형이 설정을 고려하지 않기 때문이다. 일부 실시예들에 따르면, 개인 및 사용자-설정 이벤트 클래스들은 경보-현저성 설정이 온일 때 경보들에 대한 증가된 현저성 햅틱들을 가질 것이지만, 시스템 및 제3자 이벤트 클래스들은 경보-현저성 설정 값에 관계없이 표준 햅틱 경보를 가질 것이다.
일부 실시예들에 따르면, 제1 경보는 제2 경보와 상이하다. 예를 들어, 제1 경보는 제2 경보와 상이한 햅틱 성분을 포함할 수 있거나, 제1 경보는 제2 경보와 상이한 오디오 성분을 포함할 수 있거나, 제1 경보는 상이한 햅틱 성분 및 상이한 오디오 성분 둘 다를 포함할 수 있다.
그러나, 일부 실시예들에서, 디바이스는, 경보-현저성 설정이 제2 값을 가질 때, 추가적 햅틱 성분을 보류하고, 제1 복수의 이벤트 클래스 내의 이벤트들에 응답하여 트리거되는 경보들에 대해 단지 표준 햅틱 성분을 제공한다(2625). 클래스들에 관련된 위의 예들을 계속하면, 표준 햅틱 성분은, 경보-현저성 설정이 제2 값(오프)을 가질 때, 개인 또는 사용자-설정 이벤트 클래스 이벤트들에 응답하여 트리거되는 경보들로부터 기인할 것이다. 마찬가지로, 일부 실시예들에서, 디바이스는, 경보-현저성 설정이 제1 값 또는 제2 값을 갖는 것에 관계없이, 추가적 햅틱 성분을 제공하는 것을 보류하고, 제2 복수의 이벤트 클래스 내의 이벤트들에 응답하여 트리거되는 경보들에 대해 단지 표준 햅틱 성분을 제공한다(2625). 클래스들에 관련된 위의 예들을 계속하면, 표준 햅틱 성분은 또한, 경보-현저성 설정 값에 관계없이, 시스템 또는 제3자 이벤트 클래스 이벤트들에 응답하여 트리거되는 경보들로부터 기인할 것이다. 일부 경우들에서, 제2 복수의 이벤트 클래스는 제1 복수의 이벤트 클래스와 구별된다. 따라서, 일부 예들에서, 착신 이벤트가 디바이스가 경보-현저성을 증가시키고 경보-현저성 값이 경보의 현저성을 증가시키는 것으로 설정되는 이벤트 클래스 둘 모두일 경우에만, 추가적 햅틱 성분은 제공된다. 예를 들어, 경보-현저성 설정이 "온"일 때, 개인 또는 사용자-설정 이벤트 클래스들 내의 이벤트.
일부 실시예들에 따르면, 다양한 햅틱들에 대한 선택적 현저성 증가를 제공하기 위한 방법은 경보-현저성 설정의 값을 먼저 결정하는 것(2615)을 포함한다. 경보-현저성 설정이 제1 값을 갖는다는 결정에 따라, 제1 경보는 제1 햅틱 성분 및 제2 햅틱 성분을 포함하는 반면(2620), 경보-현저성 설정이 제1 값과 상이한 제2 값을 갖는다는 결정에 따라, 제1 경보는 제1 햅틱 성분을 포함하지만 제2 햅틱 성분은 포함하지 않는다(2625). 예를 들어, 제1 값은 "경보 현저성 증가(increase alert salience)" 값일 수 있고 제2 값은 "경보 현저성 비-증가(do not increase alert salience)" 값일 수 있다. 위의 예들을 계속하면, 개인 또는 사용자-설정 이벤트 클래스들 내의 이벤트, 및 "경보 현저성 증가"(온)인 경보-현저성 설정의 경우, 일부 실시예들에 따라 경보들은 제1 햅틱 성분 - 대응하는 이벤트 클래스에 대한 표준 햅틱 성분 - 및 경보와 연관된 햅틱 출력의 현저성을 증가시키는 제2 햅틱 성분 둘 다를 포함할 것이다. 경보-현저성 설정이 "경보 현저성 증가"(온)이더라도, 시스템 또는 제3자 이벤트 클래스들 내의 이벤트의 경우, 일부 실시예들에 따라 경보들은 클래스에 대응하는 이벤트에 대해 제1, 표준 햅틱 성분만을 포함할 것이다. 일부 실시예들에 따르면, 방법은, 제1 이벤트가 제3 유형의 이벤트라는 결정에 따라, 디바이스의 경보-현저성 설정에 적어도 부분적으로 기초하여 선택된 햅틱 성분을 포함하는 제3 경보를 제공하는 것을 추가로 포함한다. 이 예에서, 디바이스의 경보-현저성 설정에 적어도 부분적으로 기초하여 선택된 햅틱 성분을 포함하는 제3 경보를 제공하는 것은, (예를 들어, 위의 단계(2615)와 유사하게) 경보-현저성 설정의 값을 결정하는 것을 포함한다. 이벤트 클래스 예들을 다시 참조하면, 일부 실시예들에 따라, 개인 이벤트 클래스가 제1 유형이었으면, 사용자-설정 이벤트 클래스는 이 예의 제3 유형이다.
일부 실시예들에 따르면, 경보-현저성 설정이 제1 값을 갖는다는 결정에 따라, 제3 경보는 제3 햅틱 성분 및 제4 햅틱 성분을 포함하고, 경보-현저성 설정이 제1 값과 상이한 제2 값을 갖는다는 결정에 따라, 제3 경보는 제3 햅틱 성분을 포함하지만 제4 햅틱 성분은 포함하지 않는다. 이전 예에서와 같이, 일부 실시예들에 따라, 제1 값은 경보 현저성 증가 값이고, 제2 값은 현저성 비-증가 값이다. 예를 들어, 제3 햅틱 성분 - 대응하는 이벤트 클래스에 대한 표준 햅틱 성분 - 은 경보와 연관된 햅틱 출력의 현저성을 증가시키기 위해, 제4 햅틱 성분과 짝지어질 것이다. 또한, 일부 실시예들에서, 제4 햅틱 성분은 제2 햅틱 성분과 동일하다. 예를 들어, 제1 햅틱 성분 및 제2 햅틱 성분 둘 모두는 경보가 임박했다는 것을 사용자에게 통지하는 데 사용되는, 증가된-현저성 햅틱, 또는 프라이밍, 성분들이다. 일부 실시예들에서, 디바이스는 프라이밍 햅틱 출력을 제공하는 특정된 시간 간격 내에 그리고 그 후에 제2 햅틱 출력을 제공한다. 이벤트 클래스 예들을 계속하면, 사용자-설정 이벤트 클래스 내의 이벤트들에 대한 이벤트 경보들의 증가된 현저성에 대응하는 제4 햅틱은, 개인 이벤트 클래스 내의 이벤트들에 대한 이벤트 경보들의 증가된 현저성에 대응하는 제2 햅틱과 동일하며, 햅틱 성분들 둘 모두는 각각의 클래스에 대한 표준 햅틱에 선행하는 프라이밍 햅틱이다.
일부 실시예들에 따르면, 방법은 추가로, 디바이스의 경보-현저성 설정이 제1 값을 갖는 동안 제1 경보가 검출될 때, 제1 이벤트에 응답하여 제공된 제1 경보가 제1 햅틱 성분 및 제2 햅틱 성분을 포함하고, 제1 이벤트에 응답하여 제공된 제2 경보가 제2-경보 햅틱 성분을 포함한다는 것을 포함한다. 방법은, 일부 실시예들에서, 디바이스의 경보-현저성 설정이 제1 값을 갖는 동안 디바이스의 경보-현저성 설정을 제2 값으로 변경하라는 요청을 수신하고, 경보-현저성 설정을 변경하라는 요청을 수신하는 것에 응답하여, 경보-현저성 설정을 제2 값으로 변경하는 것으로 계속된다. 예를 들어, 개인 이벤트 클래스 이벤트들의 경우 경보-현저성 설정이 온인 것으로 인해 제1 및 제2 햅틱 성분들이 제공되었다면, 요청은 경보-현저성 설정을 턴오프시키라는 요청이다. 유사하게, 방법은 일부 실시예들에서, 디바이스의 경보-현저성 설정이 제2 값을 갖는 동안, 제2 이벤트의 발생을 검출하는 것, 및 이에 응답하여 제2 이벤트가 제1 유형의 이벤트라는 결정에 따라 제3 경보를 제공하는 것을 포함하며, 제3 경보는 제1 햅틱 성분을 포함하고 제2 햅틱 성분은 포함하지 않는다. 예를 들어, 제3 햅틱 성분은, 경보-현저성 설정이 턴오프되었기 때문에, 사용자-설정 이벤트 클래스 이벤트들에 대해서만 제공되었다. 마찬가지로, 제2 이벤트가 제2 유형의 이벤트라는 결정에 따라, 방법은 제2-경보 햅틱 성분을 포함하는 제2 경보를 제공하는 것으로 진행한다. 일부 실시예들에서, 제2 경보는 제2 햅틱 성분을 포함하지 않는다(예를 들어, 경보-현저성 설정이 "경보 현저성 증가" "경보 현저성 비-증가"로 설정되어 있든지, 제2 경보는 경보-현저성 설정에 의해 영향을 받지 않고 제2 "여분의 현저성" 햅틱 성분을 포함하지 않는다). 예를 들어, 제2 유형의 이벤트는 시스템 이벤트 클래스 이벤트이며, 제2 햅틱 성분은 경보-현저성 설정에 관계없이 출력에 포함되지 않는다.
일부 실시예들에 따르면, 제1 햅틱 성분은 햅틱 출력들 사이의 간격, 햅틱 출력들의 개수, 및 햅틱 성분 동안의 시간에 걸친 햅틱 출력들의 진폭의 변화 중 하나 이상에 기초하여, 제2 햅틱 성분 및 제3 햅틱 성분과 상이하다.
일부 실시예들에서, 위에서 도 25와 관련하여 논의된 바와 같이, 햅틱 성분들은, 경보의 가청 성분이 디바이스에 의해 제공되든지 제공되지 않든지 사용자가 상이한 클래스들의 경보들 사이에서 쉽게 구별할 수 있도록, 상당히 상이하게 설계된다. 예를 들어, 디바이스는 상이한 이벤트들에 대응하는 복수의 고유한 경보를 가질 수 있으며, 제1 이벤트 클래스, 제2 이벤트 클래스 및 제3 이벤트 클래스는, 고유한 경보들에 대응하는 이벤트들보다 전형적으로 더 자주 발생하는 이벤트들의 유형들에 대응한다. 그것이 클래스들에 관련될 때, 제1 이벤트 클래스 내의 이벤트에 대한 경보의 햅틱 성분은 사용자에 의해 제2 이벤트 클래스 내의 이벤트에 대한 경보의 햅틱 성분과 구별가능하며, 둘 모두는, 사용자에 의해, 제3 이벤트 클래스 내의 이벤트에 대한 경보의 햅틱 성분과 구별가능하다. 일부 경우들에서, 전형적으로 더 자주 발생하는 이벤트들은, 통계적으로 말하면, 다른 이벤트들보다 자주 발생하는 이벤트들이다. 표 9와 관련하여 전술한 바와 같이, 일부 실시예들에서, 더 자주 발생하는 이벤트들은 이벤트 클래스들로 함께 그룹화되고 일관된 경보를 제공받음으로써, 사용자는 자주 발생하는 상이한 유형들의 이벤트들을 구별하는 것을 배울 수 있다.
일부 실시예들에서, 이벤트와 연관된 이벤트 클래스는, 추가적 햅틱 성분이 트리거된 경보와 관련하여 제공되는지 여부에 영향을 미친다. 일부 실시예들에 따르면, 경보-현저성 설정이 제1 값을 가질 때, 제1 복수의 이벤트 클래스(예를 들어, 개인) 내의 이벤트들에 응답하여 트리거되는 경보들에 대해 추가적 햅틱 성분이 제공된다(2620). 예를 들어, 제1 이벤트 클래스와 연관된 햅틱 이외에, 추가적 햅틱이 또한 제공된다. 추가적 햅틱은 일부 실시예들에서 프라이밍 햅틱이다. 예를 들어, 일부 상황들에서 제2 햅틱 성분은 제1 햅틱 성분에 선행한다.
일부 상황들에서, 이벤트 클래스들은 상이한 인자들에 기초하여 생성된 이벤트들에 대응한다. 예를 들어, 일부 실시예들에 따르면, 제1 클래스의 이벤트들은 다른 사용자들로부터의 통신에 기초하여 생성된 이벤트들을 포함하고, 제2 클래스의 이벤트들은 디바이스의 사용자에 의해 입력된 미리정의된 기준들에 기초하여 생성된 이벤트들을 포함하며, 제3 클래스의 이벤트들은 디바이스-모니터링된 기준들의 충족에 기초하여 생성된 이벤트들을 포함한다. 일부 실시예들에 따르면, 이벤트 클래스들은, 도 25와 관련하여 논의된 이벤트 클래스들 - 개인, 사용자-설정, 시스템, 및 제3자 - 과 유사하게, 이벤트 정보에 의해 클래스에 속하는 것으로 특성화된다.
일부 실시예들에서, 이벤트 클래스들은, 디바이스가 사용자로 하여금 어떤 유형들의 이벤트들이 이벤트 클래스에 속하는지를 선택하게 할 수 있도록, 구성가능하다. 그러나, 일부 실시예들에서, 이벤트 클래스에 속하는 유형들의 이벤트들은 미리정의되고, 디바이스는 디바이스의 사용자로 하여금 어떤 이벤트 유형들이 특정 이벤트 클래스에 속하는지를 선택할 수 있게 하지 않는다.
유사하게, 일부 실시예들에 따라, 경보-현저성 설정은 사용자 구성가능하여, 사용자가 특정 이벤트 클래스들 또는, 심지어 사용자가 햅틱 출력에서의 증가된 현저성을 원할 수 있는 개별 이벤트 유형들을 선택할 수 있도록 한다. 사용자가 더 중요한 것으로 여기는 이벤트들과 상관되는 햅틱 출력을 사용자가 사용자지정할 수 있게 하는 것은 보다 효율적인 인간-기계 인터페이스를 생성하고, 이에 의해 사용자가 동작들을 수행하는 데 걸리는 시간의 양을 감소시키며, 이는 결과적으로 에너지 사용을 감소시키고 배터리 전력공급 디바이스들에 대한 배터리 수명을 증가시킨다.
표 10은, 디바이스(100)가 경보-현저성 설정에 기초하여 현저성을 선택적으로 증가시키기 위한 정보를 갖는, 몇 가지 예시적인 상황들을 도시한다. 도시된 예들은 표 9에서 위에서 도시된 바와 같은 동일한 4개의 이벤트 클래스 - 개인, 사용자-설정, 시스템, 및 제3자 - 를 나타내지만, 임의의 이벤트 클래스일 수 있다.
[표 10]
Figure pat00027
도시된 예들의 경우, 이벤트 클래스 열은 이벤트가 속하는 4개의 클래스를 도시한다: 개인, 사용자-설정, 시스템, 또는 제3자. 각각의 클래스 내에서, 다양한 이벤트 유형들이 이벤트 유형 열마다 열거된다. 몇 가지 예들이 각각의 이벤트 클래스에 대해 열거되지만, 목록은 다른 이벤트 유형들을 제외하기 위한 것은 아니다. 이전 차트에서와 같이, 이벤트 유형에 관계없이, 주어진 이벤트 클래스에 대응하는 모든 이벤트는 동일한 표준 햅틱, 및 클래스의 특성인 오디오 출력을 가지며, 각각의 클래스는 이벤트 클래스에 대응하는 임의의 이벤트들에 대해 동일한 증가된 현저성 출력을 또한 공유한다. 제3자 애플리케이션 클래스의 예에서, 햅틱은 동일하며, 수반하는 오디오 성분은 오디오가 이벤트 유형 또는 조건에 따라 변하더라도 제3자 애플리케이션들의 특성이다.
표 10은 경보-현저성 설정에 대응하는 여분의 열을 포함한다. 경보-현저성 설정이 오프여서, 증가된 현저성이 사용되지 않아야 함을 나타내는 경우, 표 9의 예들에 대응하는 표준 햅틱 및 오디오 출력이 도시되는 것에 유의한다. 이것은 주어진 클래스에 고유하게 대응하는 햅틱 및 오디오 성분들 둘 모두의 목표를 유지하여, 경보가 다른 클래스들과 구별되는 특정 이벤트 클래스로부터 온 것임을 사용자가 출력으로부터 쉽게 알 수 있게 한다.
이벤트 클래스들, 개인 및 사용자-설정 둘 모두에 대해, 경보-현저성이 턴온되어서, 증가된 현저성이 사용되어야 함을 나타내는 경우, 현저한(salient) 버즈 햅틱이 클래스에 대한 표준 출력에 추가된다. 일부 실시예들에 따르면, 추가적 햅틱은 경보의 시작에 추가되어, 그것이 표준 출력에 선행하도록 한다. 이 예에서, 더 긴 지속시간 및 높은 주파수의 일련의 탭들인, 현저한 버즈 햅틱 성분이 추가되어, 사용자가 일정한 진동 또는 "버즈"를 느끼도록 한다. 일부 실시예들에 따르면, 현저한 버즈는 0.5초 이상의 지속시간을 갖고, 버즈의 시작부터 종료까지 세기가 증가하며, 이는 표준 출력 이전에 사용자의 주의를 얻는 것을 돕는다. 또한, 경보-현저성 설정이 온인 경우에도, 이벤트 클래스들 중 2개인, 시스템 및 제3자는 출력의 현저성에서의 증가를 보여주지 않으며, 즉, 설정에 관계없이 표준 출력이 사용된다는 것에 유의한다.
[표 11]
Figure pat00028
Figure pat00029
Figure pat00030
위에서 도시된 표 11에서, 상이한 이벤트들에 대응하는 상이한 오디오 출력들 및 햅틱 출력들이 도시된다. 이벤트들은 통지들, 피드백, 및 경보들로 구분된다. 동일한 이름을 갖는 오디오 출력들은 동일한(또는 실질적으로 동일한) 오디오 출력(오디오 파형들)에 대응한다. 상이한 이름들을 갖는 오디오 출력들은 상이한(또는 실질적으로/인지가능하게 상이한) 오디오 출력들(오디오 파형들)에 대응한다. 동일한 이름을 갖는 햅틱 출력들은 동일한(또는 실질적으로 동일한) 햅틱 출력(햅틱 파형들)에 대응한다. 상이한 이름들을 갖는 햅틱 출력들은 상이한(또는 실질적으로/인지가능하게 상이한) 햅틱 출력들(햅틱 파형들)에 대응한다. 괄호()로 묶인 햅틱/오디오 출력 이름들은, 옵션적으로, 생략되고 오디오 출력 또는 햅틱 출력이 없는 것으로 대체된다.
일부 실시예들에서, 햅틱/오디오 출력들은 전술한 통지 클래스들에 추가하여 복수의 유형 및 또는 클래스로 그룹화된다. 통지들은 일반적으로 사용자가 디바이스에 주의를 기울이지 않을 때(예를 들어, 새 메시지가 수신되거나, 캘린더 이벤트가 발생할 시간일 때) 사용자의 주의를 얻도록 설계되는 햅틱/오디오 출력들에 대응한다. 경보들은 일반적으로, 사용자가 디바이스에 주의를 기울이고 있는 동안에 디바이스에서 수행되고 있는 동작들(또는 디바이스의 조건들)에 대해 사용자에게 경보하도록 설계되는 햅틱/오디오 출력들에 대응한다(예를 들어, 사용자가 걷거나 운전하는 동안의 내비게이션 명령어들, 디바이스 잠금해제 실패/성공 등). 피드백은 일반적으로, 사용자로부터의 입력들(예를 들어, 스크롤 입력, 버튼 선택 입력, 전송된 메시지 등)이 디바이스에 의해 검출되었다는 피드백을 사용자에게 주도록, 또는 입력이 디바이스로 하여금 소정 임계치(예를 들어, 스크롤 한도, 줌 한도, 대안적 메뉴가 표시되는 힘/압력 임계치)에 도달하게 했음을 나타내도록 설계되는 햅틱/오디오 출력들에 대응한다. 일부 실시예들에서, 증가된 현저성 설정이 "온"일 때, 증가된 현저성 햅틱/오디오 출력이 통지들에 대해 제공되며, 이는 사용자가 주의를 기울이고 있지 않을 때 사용자의 주의를 얻도록 설계되지만, 피드백에 대해서는 그렇지 않다(예를 들어, 사용자는 이미 디바이스에 주의를 기울이고 있고 디바이스와 적극적으로 상호작용하고 있기 때문에). 일부 실시예들에서, 증가된 현저성 햅틱/오디오 출력은, 애플리케이션이 닫혀 있을 때 애플리케이션과 연관된 일부 통지들(예를 들어, 메시지 통지들)에 대해서는 제공되지만, 애플리케이션이 열려 있을 때 애플리케이션과 연관된 피드백(예를 들어, 메시징 애플리케이션이 열려 있을 때 전송된 메시지 및 수신된 메시지 경보들)에 대해서는 그렇지 않다. 예를 들어 표 11에서, 메시지 통지는 증가된 현저성 설정에 기초한 상이한 햅틱 출력들을 사용하지만(예를 들어, 증가된 현저성 설정이 오프일 때의 햅틱 출력(H001), 및 증가된 현저성 설정이 온일 때의 햅틱 출력(H066)), 메시지가 전송될 때의 메시지 피드백은 증가된 현저성 설정과 관계없이 동일한 햅틱 출력을 사용한다(예를 들어, 증가된 현저성 설정이 온이거나 오프인 경우 햅틱 출력(H023)이 사용됨).
일부 실시예들에서, 경보 현저성 설정은 햅틱 출력의 현저성을 변경하면서 대응하는 오디오 출력의 현저성은 변경하지 않는다. 예를 들어, 위에서 표 11에 도시된 바와 같이, 메시지 통지는 증가된 현저성 설정이 온이든지 아니든지 동일한 오디오 출력(A001)을 사용하지만, 증가된 현저성 설정에 따라 상이한 햅틱 출력을 사용한다(예를 들어, 증가된 현저성 설정이 오프일 때 햅틱 출력(H001)이 사용되고, 증가된 현저성 설정이 온일 때 햅틱 출력(H066)이 사용됨).
도 26에서의 동작들이 설명되는 특정한 순서는 단지 예시적이며, 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내도록 의도되지 않는다는 것을 이해하여야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방법들을 인식할 것이다. 또한, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(700, 900, 1000, 1100, 1200, 1300, 2500, 3000, 3200))과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들이 도 26과 관련하여 전술한 방법(2600)과 유사한 방식으로 또한 적용가능하다는 것에 유의해야 한다. 예를 들어, 방법(2600)을 참조하여 전술한 입력들, 경보 조건들, 이벤트들, 애플리케이션들, 상태들, 및 햅틱 출력들은 옵션적으로, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(700, 900, 1000, 1100, 1200, 1300, 2500, 3000, 3200))을 참조하여 본 명세서에 기술된 입력들, 경보 조건들, 이벤트들, 애플리케이션들, 상태들, 및 햅틱 출력들의 특성들 중 하나 이상을 갖는다. 간결성을 위해, 이들 상세사항들은 여기서 반복되지 않는다.
도 25 내지 도 27을 참조하여 설명된 동작들은, 옵션적으로, 도 28 및 도 29에 도시된 컴포넌트들에 의해 구현된다. 도 28은 다양한 기술된 실시예들의 원리들에 따라 구성된 디바이스(100)의 예시적인 기능 블록도를 도시한다. 다양한 기술된 실시예들의 원리들을 구현하기 위해 도 28에서 기술된 기능 블록들이 옵션적으로 조합되거나 서브블록들로 분리됨이 통상의 기술자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 28에 도시된 바와 같이, 디바이스(100)는 애플리케이션을 표시하도록 구성된 디스플레이 유닛(2801), 사용자 접촉을 수신하도록 구성된 터치 감응형 표면 유닛(2803), 및 디스플레이 유닛(2801) 및 터치 감응형 표면 유닛(2803)에 결합된 처리 유닛(2805)을 포함한다. 일부 실시예들에서, 처리 유닛(2805)은 검출 유닛(2810) 및 경보 제공 유닛(2815)을 포함한다.
다음 단락들([0524] 내지 [0527])은 도 28에 도시된 디바이스(100)에 의해 개별적으로 또는 임의의 조합으로 구현될 수 있는 상이한 실시예들을 설명한다.
처리 유닛(2805)은 (예를 들어, 검출 유닛(2810)을 이용해) 촉각적 출력 생성기를 갖는 디바이스에서 이벤트를 검출하고, 이벤트를 검출하는 것에 응답하여, 이벤트가 복수의 상이한 이벤트 유형을 포함하는 제1 이벤트 클래스 내의 이벤트의 유형이라는 결정에 따라, (예를 들어, 경보 제공 유닛(2815)을 이용해) 촉각적 출력 생성기에 의해 생성된 제1 햅틱 성분을 포함하는 제1 경보를 제공하도록 구성된다.
이벤트가 복수의 상이한 이벤트 유형을 포함하는 제2 이벤트 클래스 내의 이벤트의 유형이라는 결정에 따라, 처리 유닛(2805)은 (예를 들어, 경보 제공 유닛(2815)을 이용해) 촉각적 출력 생성기에 의해 생성된 제2 햅틱 성분을 포함하는 제2 경보를 제공하도록 구성되며, 제2 햅틱 성분은 제1 햅틱 성분과 상이하다. 이벤트가 복수의 상이한 이벤트 유형을 포함하는 제3 이벤트 클래스 내의 이벤트의 유형이라는 결정에 따라, 처리 유닛(2805)은 (예를 들어, 경보 제공 유닛(2815)을 이용해) 촉각적 출력 생성기에 의해 생성된 제3 햅틱 성분을 포함하는 제3 경보를 제공하도록 구성되며, 제3 햅틱 성분은 제1 햅틱 성분 및 제2 햅틱 성분과 상이하다.
일부 실시예들에 따르면, 제1 클래스의 이벤트들은 다른 사용자들로부터의 통신에 기초하여 생성된 이벤트들을 포함하고, 제2 클래스의 이벤트들은 디바이스의 사용자에 의해 입력된 미리정의된 기준들에 기초하여 생성된 이벤트들을 포함하며, 제3 클래스의 이벤트들은 디바이스-모니터링된 기준들의 충족에 기초하여 생성된 이벤트들을 포함한다. 일부 실시예들에 따르면, 제1 햅틱 성분은, 햅틱 출력들 사이의 간격, 햅틱 출력들의 개수, 및 햅틱 성분 동안의 시간에 걸친 햅틱 출력들의 진폭의 변화(예를 들어, 경보 제공 유닛(2815)에 의해 제공된 출력들) 중 적어도 하나에 기초하여, 제2 햅틱 성분 및 제3 햅틱 성분과 상이하다.
일부 실시예들에 따르면, 디바이스는 상이한 이벤트들에 대응하는 복수의 고유한 경보(예를 들어, 경보 제공 유닛(2815)에 의해 제공됨)를 가지며, 제1 이벤트 클래스, 제2 이벤트 클래스 및 제3 이벤트 클래스는, 고유한 경보들에 대응하는 이벤트들보다 전형적으로 더 자주 발생하는 이벤트들의 유형들에 대응한다.
이벤트를 검출하는 것에 응답하여, 이벤트가 복수의 상이한 이벤트 유형을 포함하는 제4 이벤트 클래스 내의 이벤트의 유형이라는 결정에 따라, 처리 유닛(2805)은 (예를 들어, 경보 제공 유닛(2815)을 이용해) 촉각적 출력 생성기에 의해 생성된 제4 햅틱 성분을 포함하는 제4 경보를 제공하도록 구성되며, 제4 햅틱 성분은 제1 햅틱 성분, 제2 햅틱 성분 및 제3 햅틱 성분과 상이하다. 일부 실시예들에 따르면, 제4 이벤트 클래스는 제3자 애플리케이션에 의해 생성된 이벤트에 대응한다. 일부 실시예들에 따르면, 제4 햅틱 성분은 제1 햅틱 성분, 제2 햅틱 성분, 또는 제3 햅틱 성분에 포함되지 않는 햅틱 출력 요소에 의해, 제1 햅틱 성분, 제2 햅틱 성분 및 제3 햅틱 성분과 구별된다.
전술한 바와 같이, 도 25 내지 도 27을 참조하여 설명된 동작들은, 옵션적으로, 도 28 및 도 29에 도시된 컴포넌트들에 의해 구현된다. 도 29는 다양한 기술된 실시예들의 원리들에 따라 구성된 디바이스(100)의 예시적인 기능 블록도를 도시한다. 다양한 기술된 실시예들의 원리들을 구현하기 위해 도 29에서 기술된 기능 블록들이 옵션적으로 조합되거나 서브블록들로 분리됨이 통상의 기술자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 29에 도시된 바와 같이, 디바이스(100)는 애플리케이션을 표시하도록 구성된 디스플레이 유닛(2901), 사용자 접촉을 수신하도록 구성된 터치 감응형 표면 유닛(2903), 및 디스플레이 유닛(2901) 및 터치 감응형 표면 유닛(2903)에 결합된 처리 유닛(2905)을 포함한다. 일부 실시예들에서, 처리 유닛(2905)은 검출 유닛(2910), 경보 제공 유닛(2915), 경보-현저성 결정 유닛(2920) 및 설정 변경 유닛(2925)을 포함한다.
다음 단락들([0532] 내지 [0540])은 도 29에 도시된 디바이스(100)에 의해 개별적으로 또는 임의의 조합으로 구현될 수 있는 상이한 실시예들을 설명한다.
처리 유닛(2905)은 (예를 들어, 검출 유닛(2910)을 이용해) 촉각적 출력 생성기를 갖는 컴퓨팅 디바이스에서 제1 이벤트의 발생을 검출하고, 제1 이벤트가 제1 유형의 이벤트라는 결정에 따라, (예를 들어, 경보 제공 유닛(2915)을 이용해) 디바이스의 경보-현저성 설정에 적어도 부분적으로 기초하여 선택된 제1 햅틱 성분을 포함하는 제1 경보를 촉각적 출력 생성기를 이용해 제공하도록 구성된다. 제1 이벤트가 제2 유형의 이벤트라는 결정에 따라, 처리 유닛(2905)은 (예를 들어, 경보 제공 유닛(2915)을 이용해) 디바이스의 경보-현저성 설정에 관계없이 선택된 제2 햅틱 성분을 포함하는 제2 경보를 촉각적 출력 생성기를 이용해 제공하도록 구성된다. 일부 실시예들에 따르면, 제1 경보는 제2 경보와 상이하다.
일부 실시예들에 따르면, 디바이스의 경보-현저성 설정에 적어도 부분적으로 기초하여 선택된 햅틱 성분을 포함하는 제1 경보를 제공하는 것은 (예를 들어, 경보-현저성 결정 유닛(2920)을 이용해) 경보-현저성 설정의 값을 결정하는 것을 포함한다. 일부 실시예들에 따르면, 경보-현저성 설정이 제1 값을 갖는다는 결정에 따라, (예를 들어, 경보 제공 유닛(2915)에 의해 제공된) 제1 경보는 제1 햅틱 성분 및 제2 햅틱 성분을 포함한다. 일부 실시예들에 따르면, 경보-현저성 설정이 제1 값과 상이한 제2 값을 갖는다는 결정에 따라, (예를 들어, 경보 제공 유닛(2915)에 의해 제공된) 제1 경보는 제1 햅틱 성분을 포함하지만 제2 햅틱 성분은 포함하지 않는다. 일부 실시예들에 따르면, 경보-현저성 설정의 제1 값은 온이고 경보-현저성 설정의 제2 값은 오프이다. 일부 실시예들에 따르면, 제2 햅틱 성분은 제1 햅틱 성분에 선행한다.
제1 이벤트가 제3 유형의 이벤트라는 결정에 따라, 처리 유닛(2905)은 (예를 들어, 경보 제공 유닛(2915)에 의해 제공된) 디바이스의 경보-현저성 설정에 적어도 부분적으로 기초하여 선택된 햅틱 성분을 포함하는 제3 경보를 제공하도록 구성된다. 일부 실시예들에 따르면, 처리 유닛(2905)이 디바이스의 경보-현저성 설정에 적어도 부분적으로 기초하여 선택된 햅틱 성분을 포함하는 제3 경보를 제공하는 것은, 처리 유닛(2905)이 (예를 들어, 경보-현저성 결정 유닛(2920)을 이용해) 경보-현저성 설정의 값을 결정하도록 구성되는 것을 포함한다.
일부 실시예들에 따르면, 경보-현저성 설정이 제1 값을 갖는다는 결정에 따라, 제3 경보는 제3 햅틱 성분 및 제4 햅틱 성분을 포함한다. 일부 실시예들에 따르면, 경보-현저성 설정이 제1 값과 상이한 제2 값을 갖는다는 결정에 따라, 제3 경보는 제3 햅틱 성분을 포함하지만 제4 햅틱 성분은 포함하지 않는다. 일부 실시예들에 따르면, 제4 햅틱 성분은 제2 햅틱 성분과 동일하다.
일부 실시예들에 따르면, 디바이스의 경보-현저성 설정이 제1 값을 갖는 동안 제1 경보가 검출될 때, 제1 이벤트에 응답하여 제공된 제1 경보는 제1 햅틱 성분 및 제2 햅틱 성분을 포함하고, 제1 이벤트에 응답하여 제공된 제2 경보는 제2-경보 햅틱 성분을 포함한다(예를 들어, 경보들은 경보 제공 유닛(2915)에 의해 제공됨). 일부 실시예들에 따르면, 디바이스의 경보-현저성 설정이 제1 값을 갖는 동안, 처리 유닛(2905)은 (예를 들어, 설정 변경 유닛(2925)을 이용해) 디바이스의 경보-현저성 설정을 제2 값으로 변경하라는 요청을 수신하도록 구성된다. 또한, 일부 실시예들에 따르면, 경보-현저성 설정을 제2 값으로 변경하라는 요청을 수신하는 것에 응답하여, 처리 유닛(2905)은 (예를 들어, 설정 변경 유닛(2925)을 이용해) 경보-현저성 설정을 제2 값으로 변경하도록 구성된다.
일부 실시예들에 따르면, 디바이스의 경보-현저성 설정이 제2 값을 갖는 동안, 처리 유닛(2905)은 (예를 들어, 검출 유닛(2910)을 이용해) 제2 이벤트의 발생을 검출하도록 구성되고, 제2 이벤트의 발생을 검출하는 것에 응답하여, 제2 이벤트가 제1 유형의 이벤트라는 결정에 따라, 처리 유닛(2905)은 (예를 들어, 경보 제공 유닛(2915)을 이용해) 제1 햅틱 성분을 포함하고 제2 햅틱 성분은 포함하지 않는 제3 경보를 제공하도록 구성된다. 일부 실시예들에 따르면, 제2 이벤트가 제2 유형의 이벤트라는 결정에 따라, 처리 유닛(2905)은 (예를 들어, 경보 제공 유닛(2915)을 이용해) 제2-경보 햅틱 성분을 포함하는 제2 경보를 제공하도록 구성된다.
일부 실시예들에 따르면, 처리 유닛(2905)은 (예를 들어, 경보 제공 유닛(2915)을 이용해) 경보-현저성 설정이 제1 값을 가질 때 제1 복수의 이벤트 클래스 내의 이벤트들에 응답하여 트리거되는 경보들에 대해 추가적 햅틱 성분을 제공하도록 구성된다. 일부 실시예들에 따르면, 처리 유닛(2905)은 (예를 들어, 경보 제공 유닛(2915)을 이용해) 경보-현저성 설정이 제2 값을 가질 때 제1 복수의 이벤트 클래스 내의 이벤트들에 응답하여 트리거되는 경보들에 대해 추가적 햅틱 성분을 제공하는 것을 보류하도록 구성된다. 일부 실시예들에 따르면, 처리 유닛(2905)은 (예를 들어, 경보 제공 유닛(2915)을 이용해) 경보-현저성 설정이 제1 값 또는 제2 값을 갖는 것에 관계없이, 제1 복수의 이벤트 클래스와 구별되는 제2 복수의 이벤트 클래스 내의 이벤트들에 응답하여 트리거되는 경보들에 대해 추가적 햅틱 성분을 제공하는 것을 보류하도록 구성된다.
일부 실시예들에 따르면, 제1 클래스의 이벤트들은 다른 사용자들로부터의 통신에 기초하여 생성된 이벤트들을 포함하고, 제2 클래스의 이벤트들은 디바이스의 사용자에 의해 입력된 미리정의된 기준들에 기초하여 생성된 이벤트들을 포함하며, 제3 클래스의 이벤트들은 디바이스-모니터링된 기준들의 충족에 기초하여 생성된 이벤트들을 포함한다. 일부 실시예들에 따르면, 제1 햅틱 성분은 햅틱 출력들 사이의 간격, 햅틱 출력들의 개수, 및 햅틱 성분 동안의 시간에 걸친 햅틱 출력들(예를 들어, 경보 제공 유닛(2915)에 의해 제공된 출력들)의 진폭의 변화 중 적어도 하나에 기초하여, 제2 햅틱 성분 및 제3 햅틱 성분과 상이하다.
일부 실시예들에 따르면, 디바이스는 상이한 이벤트들에 대응하는 복수의 고유한 경보(예를 들어, 경보 제공 유닛(2915)에 의해 제공됨)를 가지며, 제1 이벤트 클래스, 제2 이벤트 클래스 및 제3 이벤트 클래스는, 고유한 경보들에 대응하는 이벤트들보다 전형적으로 더 자주 발생하는 이벤트들의 유형들에 대응한다.
애플리케이션-특정 햅틱/오디오 출력
경보 조건들은 다양한 상이한 애플리케이션 클래스들(예를 들어, 제1당사자(first party) 애플리케이션, 제3자 애플리케이션) 내에서 트리거되고, 다양한 애플리케이션들(예를 들어, 이메일, 캘린더, 텍스트 메시지, 결제 애플리케이션, 타이머 애플리케이션 등)에 의해 트리거되고, 많은 상이한 컨텍스트들(예를 들어, 행위 성공, 행위 실패 등)에서 트리거될 수 있다. 어떤 애플리케이션 클래스가 검출되고, 어떤 애플리케이션이 검출되고, 그리고/또는 검출된 조건이 어떤 컨텍스트에서 검출되는지는, 일부 실시예들에 따라, 대응하는 출력을 생성하기 위한 기초를 제공한다. 애플리케이션 클래스, 애플리케이션, 및/또는 컨텍스트와 상관되는 햅틱 및/또는 오디오 출력을 제공하는 것은, 출력에 대한 햅틱 및 오디오 브랜딩(branding)에서의 일관성을 허용하며, 따라서 보다 효율적인 인간-기계 인터페이스를 생성하고, 이에 의해 사용자가 동작들을 수행하는 데 걸리는 시간의 양을 감소시키며, 이는 결과적으로 에너지 사용을 감소시키고 배터리 전력공급 디바이스들에 대한 배터리 수명을 증가시킨다.
표 12는 햅틱 및 오디오 출력 둘 모두를 사용하는 출력 브랜드 일관성의 예들로서, 다양한 애플리케이션 클래스들, 애플리케이션들 및 컨텍스트들에 대한 개요를 제공한다.
[표 12]
Figure pat00031
표 12의 처음 두 행은 제1 애플리케이션 클래스의, 제1당사자 애플리케이션들, 및 제2 애플리케이션 클래스의, 제3자 애플리케이션들을 도시한다. 각각의 클래스 내의 애플리케이션들에 대해, 경보는, 애플리케이션들의 클래스에 대응하는 햅틱 출력 성분과, 해당 애플리케이션 클래스에 특정된 파형 변형들을 포함하는 오디오 출력 성분의 조합이며, 예를 들어, 제1당사자 애플리케이션 경보들은 제1 햅틱 성분 및 제1 클래스 파형의 변형을 포함하는 반면, 제3자 애플리케이션 경보들은 제2 햅틱 성분 및 제2 클래스 파형의 변형을 포함한다. 이것은 각각의 애플리케이션 클래스와 연관된, 일관된 햅틱을 유지한다. 그러나, 제1당사자 애플리케이션들 각각은 전형적으로 자신의 햅틱을 갖는 한편, 제3자 애플리케이션은 전형적으로 단일 햅틱을 공유한다. 보다 구체적인 예들이 표 13과 관련하여 아래에서 논의된다.
표 12의 제3 및 제4 행은 임의의 트리거 조건에 기초한, 단일 클래스(제1당사자 애플리케이션) 내의 2개의 상이한 애플리케이션을 도시한다. 애플리케이션들 둘 모두 제1당사자 애플리케이션 클래스에 대응하는 동일한(제1) 햅틱 출력을 제공하지만, 각각은 특정 애플리케이션과 연관된 파형에 대한 파형 변형에 대응하는 상이한 오디오 출력을 갖는다. 예를 들어, 제1 애플리케이션은 제1 햅틱 출력을, 제1 애플리케이션과 연관된 파형 변형과 짝지우고, 제1 애플리케이션 내의 상이한 조건들에 대해서는 상이한 변형들과 짝지운다. 유사하게, 제2 애플리케이션은 제1 햅틱 출력을, 제2 애플리케이션과 연관된 파형 변형과 짝지우고, 제2 애플리케이션 내의 상이한 조건들에 대해서는 상이한 변형들과 짝지운다. 이것은 각각의 애플리케이션과 연관된, 일관된 햅틱을 유지한다. 보다 구체적인 예들이 표 14와 관련하여 아래에서 논의된다.
표 12의 마지막 4개 행은 2개의 상이한 조건(성공, 실패)을 도시하며, 이때 햅틱 출력은 조건에 걸쳐 일관적이고, 오디오 출력은 특정 컨텍스트에 기초하여 가변적이다. 예를 들어, 성공 조건은 성공과 연관된 일관된 제1 햅틱을 제공하지만, 컨텍스트 1은 컨텍스트 1과 연관된 제1 세트의 파형들을 제공하고 컨텍스트 2는 컨텍스트 2와 연관된 제2 세트의 파형들을 제공한다. 마찬가지로, 실패 조건은 실패와 연관된 일관된 제1 햅틱을 제공하지만, 컨텍스트 1은 컨텍스트 1과 연관된 제1 세트의 파형들을 제공하고 컨텍스트 2는 컨텍스트 2와 연관된 제2 세트의 파형들을 제공한다. 이것은 각각의 조건(성공, 실패)과 연관된, 일관된 햅틱을 유지한다. 보다 구체적인 예들이 표 15와 관련하여 아래에서 논의된다.
경보 조건이 어떤 애플리케이션 클래스 내에서 트리거되는지는 일부 실시예들에 따라, 대응하는 출력을 생성하기 위한 기초를 제공한다. 도 30은 일부 실시예들에 따른, 제1 조건 및 제2 조건을 검출하고, 햅틱 및 오디오 출력들을 포함하는 대응하는 경보들을 생성하기 위한 방법(3000)의 흐름도이다. 일부 실시예들에서, 도 30에 도시된 단계들 이외의 상이한 단계들이 수행될 수 있음에 유의한다.
방법은, 하나 이상의 햅틱 출력 디바이스 및 하나 이상의 오디오 출력 디바이스를 갖는 전자 디바이스에서, 디바이스에서의 제1 조건의 발생을 검출하는 것(3005)에 의해 시작된다. 일부 실시예들에 따라, 제1 조건은 본 명세서의 다른 곳에서 설명된 다양한 경보 조건들 중 임의의 것일 수 있고, 애플리케이션은 디바이스(100) 상에서 실행되는 임의의 애플리케이션일 수 있다. 예를 들어, 일부 실시예들에서, 조건의 발생은 몇 가지 예를 들면, 통신의 수신(예를 들어, 외부 소스로부터의 메시지), 사용자로부터의 입력의 검출(예를 들어, 터치, 음성, 또는 피드백과 연관되는 기계적 입력), 또는 트리거 기준들의 충족의 검출(예를 들어, 알람의 만료, 운동의 완료 등) 중 하나 이상을 포함한다. 일부 실시예들에 따르면, 컴퓨팅 디바이스(100)는 사용자 입력을 수신하기 위한 터치 감응형 디스플레이를 포함한다.
제1 조건의 발생을 검출하는 것에 응답하여, 디바이스(100)는 제1 클래스의 애플리케이션들 내의 각각의 애플리케이션에 대응하는 제1 경보를 생성한다(3010). 제1 경보는, 이 예에서, 하나 이상의 햅틱 출력 디바이스를 통해 출력되는 제1 햅틱 성분(3012), 및 하나 이상의 오디오 출력 디바이스를 통해 출력되는 제1 오디오 성분(3014)을 포함한다. 이 예에서, 오디오 성분은 제1 클래스의 애플리케이션들 내의 각각의 애플리케이션에 의해 사용되도록 지정된 오디오 파형으로부터 구성된다. 일부 실시예들에서, 제1 클래스의 애플리케이션들은 제1당사자 애플리케이션들을 포함하고, 오디오 성분은 각각의 애플리케이션에 대한 경보들을 다른 애플리케이션들에 대한 경보들과 구별하는 데 사용되는 고유한 오디오 샘플이다. 일부 실시예들에 따르면, 제1 햅틱 출력은 컴퓨팅 디바이스(100) 상의 터치 감응형 디스플레이를 통해 제공된다.
디바이스(100)는 또한, 옵션적으로 나중에, 디바이스(100)에서의 제2 조건의 발생을 검출한다(3015). 제2 조건의 발생을 검출하는 것에 응답하여, 디바이스는 제1 클래스의 애플리케이션들과 상이한 제2 클래스의 애플리케이션들 내의 각각의 애플리케이션에 대응하는 제2 경보를 생성하며(3020), 제2 경보는 하나 이상의 햅틱 출력 디바이스를 통해 출력되는 제2 햅틱 성분(3022) 및 하나 이상의 오디오 출력 디바이스를 통해 출력되는 제2 오디오 성분(3024)을 포함한다. 이 경우에, 오디오 성분은 제2 클래스의 애플리케이션들 내의 애플리케이션들에 의해 사용되도록 지정된 오디오 파형으로부터 구성된다. 일부 실시예들에서, 제2 클래스의 애플리케이션들은 제3자 애플리케이션들을 포함하고, 오디오 성분은 제3자 애플리케이션들에 대한 경보들을 제1당사자 애플리케이션들에 대한 경보들과 구별하는 데 사용되는 오디오 샘플이다. 일부 실시예들에 따르면, 제1 햅틱 출력은 컴퓨팅 디바이스(100) 상의 터치 감응형 디스플레이를 통해 제공된다.
표 13은 다양한 애플리케이션 클래스들에 대한 경보들에 대응하는 예시적인 햅틱 및 오디오 출력들을 도시한다. 표의 처음 3개 행은 제1 애플리케이션 클래스, 예를 들어, 제1당사자 애플리케이션들에 대응하는 경보들을 도시한다. 제1당사자 이메일, 캘린더, 및 텍스트 메시지 애플리케이션들 각각에 대해, 출력은 제1 애플리케이션 클래스(제1당사자 애플리케이션들)에 대응하는 제1 햅틱, 및 제1 애플리케이션 클래스(제1당사자 애플리케이션들)에 대응하는 파형 인스턴스를 포함하는 오디오 출력을 포함한다. 파형 변형들은 도 31과 관련하여 아래에서 더 상세히 논의된다. 애플리케이션 클래스와 상관되는 햅틱 및 오디오 출력을 제공함으로써, 사용자는 애플리케이션 클래스와 연관된 출력에 대한 브랜딩에서의 일관성을 제공받는다. 위의 표 9 및 표 10은 제1당사자 및 제3자 경보들 둘 모두의 예들을 제공한다.
유사하게, 표의 마지막 3개 행은 제2 애플리케이션 클래스, 예를 들어, 제3자 애플리케이션들에 대응하는 경보들을 도시한다. 일부 실시예들에 따라, 제3자 메시지, 통지, 및 경보 각각에 대해, 출력은 제1당사자 애플리케이션에 대응하는 제1 햅틱과는 상이한, 제2 애플리케이션 클래스(제3자 애플리케이션들)에 대응하는 제2 햅틱, 및 제2 애플리케이션 클래스(제3자 애플리케이션들)에 대응하는 파형 인스턴스를 포함하는 오디오 출력을 포함한다. 애플리케이션 클래스와 상관되는 햅틱 및 오디오 출력을 제공함으로써, 사용자는 애플리케이션 클래스와 연관된 출력에 대한 브랜딩에서의 일관성을 제공받는다.
[표 13]
Figure pat00032
또한, 제3자 애플리케이션들은 고유한 세트의 햅틱 경보들을 갖지만, 그것들은 또한 동일한 햅틱 피드백의 일부를 공유할 수 있다. 예를 들어, 디스플레이의 끝에 도달할 때 바운스하는(bounce) 스크롤가능 목록 보기(scrollable list view)와 같은 사용자 인터페이스 요소와 함께 제공되는 시뮬레이션된 바운스(고무 밴드-같은) 효과를 제공하는 햅틱 또는 햅틱/오디오 클릭과 같이, 물리적 피드백을 시뮬레이션하는 경보는, 사용 중인 애플리케이션의 클래스에 관계없이 이용가능할 수 있다. 애플리케이션이 스크롤가능 목록을 포함하는 경우, 출력은, 애플리케이션 클래스에 관계없이, 해당 행위 시 애플리케이션 내에서의 사용에 이용가능하다.
일부 실시예들에 따르면, 방법에서의 제1 경보를 생성하는 것(3010)은 경보가 제1 클래스의 애플리케이션들 내의 각각의 애플리케이션에 대응한다는 결정에 따른 것이고, 제2 경보를 생성하는 것(3020)은 경보가 제1 클래스의 애플리케이션들과 상이한 제2 클래스의 애플리케이션들 내의 각각의 애플리케이션에 대응한다는 결정에 따른 것이다.
일부 실시예들에 따르면, 제1 햅틱 성분 및 제2 햅틱 성분은 제1 클래스의 애플리케이션 및 제2 클래스의 애플리케이션 둘 모두에 이용가능한 하나 이상의 햅틱 파형으로부터 구성된다. 예를 들어, 본 명세서에 기술된 다양한 파형들 중 임의의 것, 예를 들어, 미니탭, 마이크로탭, 탭, 사인파 등. 전술한 도 5는 다양한 햅틱 파형 형태들의 예들을 도시한다.
디바이스(100)는 일부 실시예들에 따라, 상이한 경보들을 생성하도록(3010, 3020) 구성된다. 상이한 경보들은, 제1 클래스의 애플리케이션들에 이용가능하고 제2 클래스의 애플리케이션들에는 이용가능하지 않은 오디오 성분들을 포함하는, 2개 이상의 경보의 제1 서브세트를 포함한다. 예를 들어, 소정 오디오 성분들은 제1당사자 애플리케이션들에 의해 사용되도록 지정될 수 있지만, 제3자 애플리케이션들에 의한 사용에는 이용가능하지 않다. 상이한 경보들은 또한, 제2 클래스의 애플리케이션들에 이용가능하고 제2 클래스의 애플리케이션들에 의해 사용되도록 지정된 오디오 파형으로부터 구성되는 오디오 성분들을 포함하는, 2개 이상의 경보의 제2 서브세트를 포함한다. 예를 들어, 특정한 오디오 파형은 제3자 애플리케이션들에 의한 사용에 특정될 수 있으며, 따라서 제3자 애플리케이션들의 특성인 일관된 오디오를 제공할 수 있다. 전술한 도 6은 다양한 오디오 파형 형태들의 예들을 도시한다.
일부 실시예들에 따르면, 경보들의 제2 서브세트는 제2 클래스의 애플리케이션들과 연관되는 동일한 각각의 오디오 샘플(예를 들어, 마이크로폰을 이용한 사운드의 레코딩인 자연적인 오디오 샘플, 또는 디지털로 생성된 합성 오디오 샘플)에 상이한 변환들을 적용함으로써 생성되는 2개의 경보를 포함한다. 일부 실시예들에서, 2개의 경보는 제2 클래스의 애플리케이션들과 연관되는 각각의 오디오 샘플에 제1 변환을 적용함으로써 생성된 오디오 성분을 포함하는 경보를 포함한다. 일부 실시예들에서, 이 경보는 제2 클래스의 애플리케이션들 내의 복수의 애플리케이션에 이용가능하다. 2개의 경보는 또한, 옵션적으로, 제2 클래스의 애플리케이션들과 연관되는 각각의 오디오 샘플에 제2 변환을 적용함으로써 생성된 오디오 성분을 포함하는 상이한 경보를 포함하며, 여기서 제1 변환은 제2 변환과 상이하다. 일부 실시예들에서, 이 상이한 경보는 제2 클래스의 애플리케이션들 내의 복수의 애플리케이션에 이용가능하다. 파형들에 적용된 변환들은 예를 들어, 오디오 샘플의 진폭, 지속시간, 피치, 또는 반복 횟수를 변경하는 것을 포함한다.
마찬가지로, 일부 실시예들에 따르면, 경보들의 제1 서브세트는 제1 클래스의 애플리케이션들 내의 제1 애플리케이션과 연관되는 (동일한) 각각의 오디오 샘플에 상이한 변환들을 적용함으로써 생성된 2개의 경보를 포함한다. 일부 실시예들에서, 2개의 경보는 제1 클래스의 애플리케이션들 내의 제1 애플리케이션과 연관되는 각각의 오디오 샘플에 제1 변환을 적용함으로써(예를 들어, 오디오 샘플의 진폭, 지속시간, 피치, 또는 반복 횟수를 변경함으로써) 생성된 오디오 성분을 포함하는 경보를 포함한다. 일부 실시예들에서, 이 경보는 제1 클래스의 애플리케이션들 내의 복수의 애플리케이션에 이용가능하다. 일부 실시예들에서, 이 경보는 제1 클래스의 애플리케이션들 내의 제1 애플리케이션에만 이용가능하다. 2개의 경보는 또한, 옵션적으로, 제1 클래스의 애플리케이션들 내의 제1 애플리케이션과 연관되는 각각의 오디오 샘플에 제2 변환을 적용함으로써 생성된 오디오 성분을 포함하는 상이한 경보를 포함하며, 여기서 제1 변환은 제2 변환과 상이하다. 일부 실시예들에서, 이 상이한 경보는 제1 클래스의 애플리케이션들 내의 복수의 애플리케이션에 이용가능하다. 일부 실시예들에서, 이 상이한 경보는 제1 클래스의 애플리케이션들 내의 제1 애플리케이션에만 이용가능하다.
유사하게, 일부 실시예들에 따르면, 경보들의 제1 서브세트는 제1 클래스의 애플리케이션들 내의 제2 애플리케이션과 연관되는 동일한 각각의 오디오 샘플에 상이한 변환들을 적용함으로써 생성된 2개의 경보를 포함하며, 여기서 제2 애플리케이션과 연관되는 각각의 오디오 샘플은 제1 애플리케이션과 연관되는 각각의 오디오 샘플과 상이하다. 예를 들어, 제1 애플리케이션 및 제2 애플리케이션 각각은 애플리케이션에 대한 "브랜드" 역할을 하는 특성 사운드들을 가지며, 예를 들어, 결제 애플리케이션은 결제 애플리케이션에 고유한 사운드 샘플로 생성된 경보들을 사용하여, 결제 성공, 결제 실패, 및 결제 애플리케이션에 대한 계정 활성화가, 인식가능하게 유사한 사운드를 갖게 한다. 그에 비해, 가상 어시스턴트 애플리케이션은 가상 어시스턴트 애플리케이션에 고유한 사운드 샘플로 생성된 경보들을 사용하여, 가상 어시스턴트 성공, 가상 어시스턴트 실패, 및 가상 어시스턴트 준비됨 모두가, 결제 애플리케이션에 대한 경보들의 인식가능하게 유사한 사운드와 상이한, 인식가능하게 유사한 사운드를 갖게 한다. 일부 실시예들에서, 2개의 경보는 제1 클래스의 애플리케이션들 내의 제2 애플리케이션과 연관되는 각각의 오디오 샘플에 제1 변환을 적용함으로써(예를 들어, 오디오 샘플의 진폭, 지속시간, 피치, 또는 반복 횟수를 변경함으로써) 생성된 오디오 성분을 포함하는 경보를 포함한다. 일부 실시예들에서, 이 경보는 제1 클래스의 애플리케이션들 내의 복수의 애플리케이션에 이용가능하다. 일부 실시예들에서, 이 경보는 제1 클래스의 애플리케이션들 내의 제2 애플리케이션에만 이용가능하다. 2개의 경보는 또한, 옵션적으로, 제1 클래스의 애플리케이션들 내의 제2 애플리케이션과 연관되는 각각의 오디오 샘플에 제2 변환을 적용함으로써 생성된 오디오 성분을 포함하는 상이한 경보를 포함하며, 여기서 제1 변환은 제2 변환과 상이하다. 일부 실시예들에서, 이 상이한 경보는 제1 클래스의 애플리케이션들 내의 복수의 애플리케이션에 이용가능하다. 일부 실시예들에서, 이 상이한 경보는 제1 클래스의 애플리케이션들 내의 제2 애플리케이션에만 이용가능하다.
경보 조건이 어떤 애플리케이션 내에서 트리거되는지는 일부 실시예들에 따라, 대응하는 출력을 생성하기 위한 기초를 제공한다. 표 14는 단일 애플리케이션 클래스(제1당사자 애플리케이션들) 내에서의 2개의 상이한 애플리케이션(이메일, 결제)에 대한 경보들에 대응하는 예시적인 햅틱 및 오디오 출력들을 도시한다. 표의 처음 3개 행은 제1 애플리케이션, 예를 들어, 이메일에 대응하는 경보들을 도시한다. 이메일 수신됨, 이메일 전송됨, 및 이메일 삭제됨의, 이메일 조건들 각각에 대해, 출력은 제1 애플리케이션 클래스(제1당사자 애플리케이션들)에 대응하는 제1 햅틱, 및 이메일 애플리케이션에 대응하는 파형 인스턴스를 포함하는 오디오 출력을 포함한다. 각각의 이메일 애플리케이션 조건은 이메일 파형의 파형 변형 - 제1 애플리케이션 파형 1, 2, 3 - 을 갖는다. 파형 변형들은 도 31과 관련하여 아래에서 더 상세히 논의된다. 이메일 애플리케이션과 상관되는 오디오 출력을 제공함으로써, 사용자는 이메일 애플리케이션과 연관된 출력에 대한 브랜딩에서의 일관성을 제공받는다.
표의 마지막 3개 행은 제2 애플리케이션, 예를 들어, 결제에 대응하는 경보들을 도시한다. 결제 성공, 결제 실패, 계정 활성화의 결제 조건들 각각에 대해, 출력은 제1 애플리케이션 클래스(제1당사자 애플리케이션들)에 대응하는 제1 햅틱, 및 결제 애플리케이션에 대응하는 파형 인스턴스를 포함하는 오디오 출력을 포함한다. 각각의 결제 애플리케이션 조건은 결제 파형의 파형 변형 - 제2 애플리케이션 파형 1, 2, 3 - 을 갖는다. 결제 애플리케이션과 상관되는 오디오 출력을 제공함으로써, 사용자는 결제 애플리케이션과 연관된 출력에 대한 브랜딩에서의 일관성을 제공받는다.
[표 14]
Figure pat00033
일부 실시예들에 따르면, 경보들의 제2 서브세트는 제1 클래스의 애플리케이션들에 이용가능하지 않다. 예를 들어, 제1당사자 애플리케이션들은 제3자 애플리케이션 경보 사운드들을 사용하도록 허용되지 않으며, 옵션적으로 그 반대도 그렇다. 일부 실시예들에 따르면, 경보들의 제1 및 제2 서브세트들 둘 모두는 제1 클래스의 애플리케이션들 및 제2 클래스의 애플리케이션들에 이용가능한 햅틱 성분들을 포함하여, 제3자 애플리케이션들 둘 모두가 공유된 햅틱 성분들을 사용하도록 허용된다.
일부 실시예들에 따르면, 상이한 경보들은 제2 클래스의 애플리케이션들 및 제1 클래스의 애플리케이션들에 이용가능한 오디오 성분들을 포함하는 2개 이상의 경보의 제3 서브세트를 포함하며, 예를 들어, 그것들은 공유된 사용에 대해 지정된다. 예를 들어, 디스플레이의 끝에 도달할 때 바운스하는 스크롤가능 목록 보기와 같은 사용자 인터페이스 요소와 함께 제공되는 시뮬레이션된 바운스(고무 밴드-같은) 효과를 제공하는 햅틱 또는 햅틱/오디오 클릭과 같이, 물리적 피드백을 시뮬레이션하는 경보는, 사용 중인 애플리케이션의 클래스에 관계없이 이용가능할 수 있다. 애플리케이션이 스크롤가능 목록을 포함하는 경우, 출력은, 애플리케이션 클래스에 관계없이, 해당 행위 시 애플리케이션 내에서의 사용에 이용가능하다. 따라서, 위의 표 13과 관련하여 언급된 바와 같이, 제3자 애플리케이션들은 햅틱 경보들의 고유한 세트를 갖지만, 그것들은 또한 동일한 햅틱 피드백의 일부를 공유할 수 있다.
일부 실시예들에 따르면, 하나 이상의 오디오 출력 디바이스를 통해 출력되는 제1 오디오 성분은 제1 클래스의 애플리케이션들(예를 들어, 제1당사자 애플리케이션들) 내의 제1 애플리케이션(예를 들어, 결제 애플리케이션)에 의해 사용되도록 지정된 오디오 파형으로부터 구성된다. 예를 들어, 오디오 성분은 옵션적으로, 제1 애플리케이션에 대한 경보들을 다른 애플리케이션들에 대한 경보들과 구별하는 데 사용되는 고유한 오디오 샘플이다. 일부 실시예들에 따르면, 하나 이상의 오디오 출력 디바이스를 통해 출력되는 제1 오디오 성분은 제1 클래스의 애플리케이션들(예를 들어, 제1당사자 애플리케이션들) 내의 제2 애플리케이션(예를 들어, 가상 어시스턴트 애플리케이션)에 의해 사용되도록 지정된 오디오 파형으로부터 구성된다. 예를 들어, 오디오 성분은 옵션적으로, 제2 애플리케이션에 대한 경보들을 다른 애플리케이션들에 대한 경보들과 구별하는 데 사용되는 고유한 오디오 샘플이다.
일부 실시예들에 따르면, 하나 이상의 오디오 출력 디바이스를 통해 출력되는 제2 오디오 성분은, 경보가 제2 클래스의 애플리케이션들(예를 들어, 제1당사자 애플리케이션들) 내의 제3 애플리케이션(예를 들어, 결제 애플리케이션)에 대응할 때, 제2 클래스의 애플리케이션 내의 애플리케이션들에 의해 사용되도록 지정된 오디오 파형으로부터 구성된다. 예를 들어, 오디오 성분은 옵션적으로, 제1 애플리케이션에 대한 경보들을 다른 애플리케이션들에 대한 경보들과 구별하는 데 사용되는 고유한 오디오 샘플이다.
일부 실시예들에 따르면, 하나 이상의 오디오 출력 디바이스를 통해 출력되는 제1 오디오 성분은, 경보가 제2 클래스의 애플리케이션들(예를 들어, 제1당사자 애플리케이션들) 내의 제2 애플리케이션(예를 들어, 가상 어시스턴트 애플리케이션)에 대응할 때, 제2 클래스의 애플리케이션 내의 애플리케이션들에 의해 사용되도록 지정된 오디오 파형으로부터 구성된다. 예를 들어, 오디오 성분은 제1 애플리케이션에 대한 경보들을 다른 애플리케이션들에 대한 경보들과 구별하는 데 사용되는 고유한 오디오 샘플이다.
도 30에서의 동작들이 설명되는 특정한 순서는 단지 예시적이며, 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내도록 의도되지 않는다는 것을 이해하여야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방법들을 인식할 것이다. 또한, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(700, 900, 1000, 1100, 1200, 1300, 2500, 2600, 3200))과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들이 도 30과 관련하여 전술한 방법(3000)과 유사한 방식으로 또한 적용가능하다는 것에 유의해야 한다. 예를 들어, 방법(3000)을 참조하여 전술한 입력들, 경보 조건들, 이벤트들, 애플리케이션들, 상태들, 및 햅틱 출력들은 옵션적으로, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(700, 900, 1000, 1100, 1200, 1300, 2500, 2600, 3200))을 참조하여 본 명세서에 기술된 입력들, 경보 조건들, 이벤트들, 애플리케이션들, 상태들, 및 햅틱 출력들의 특성들 중 하나 이상을 갖는다. 간결성을 위해, 이들 상세사항들은 여기서 반복되지 않는다.
도 31은 일부 실시예들에 따른 파형의 다양한 인스턴스들을 도시한다. 파형은 햅틱 또는 오디오일 수 있다. 도시된 바와 같이, 파형(3105)은 그것의 특징들과 연관된 소정 진폭들(3110)뿐만 아니라, 파형의 특징들 사이의 전체 지속시간(3115) 및 주파수(3120)를 갖는다. 파형(3125)은, 진폭들(3110)에 영향을 미치지 않지만 파형의 특징들 사이의 더 긴 전체 지속시간(3130) 및 더 낮은 주파수(3135)를 제공하는 변환이 적용된 파형(3105)이다. 파형(3140)은, 진폭들(3145) 둘 모두에 영향을 미치며 파형의 특징들 사이의 더 짧은 전체 지속시간(3150) 및 더 높은 주파수(3155)를 제공하는 변환이 적용된 파형(3105)이다.
이들 변환된 파형들을 위의 논의와 관련시키면, 파형(3105)은 소정 애플리케이션 클래스 또는 애플리케이션과 함께 사용하도록 지정된다. 예를 들어, 결제 애플리케이션은 일부 실시예들에 따라, 오디오 파형(3105)과 연관된다. 이 예에서, 경보들이 결제 애플리케이션에 고유한 사운드 샘플로 생성되어, 파형 인스턴스(3125)가 결제 성공을 나타내고, 파형 인스턴스(3140)가 결제 실패를 나타내며, 파형 인스턴스(3105)가 결제 애플리케이션에 대한 계정 활성화를 나타내도록 한다. 각각의 파형 인스턴스(3105, 3125, 3140)는 파형(3105)의 동일한 사운드 샘플에 기초하기 때문에, 3개 모두는 사용자가 결제 애플리케이션과 연관시킬 수 있는 인식가능하게 유사한 사운드를 갖는다.
경보 조건이 어떤 컨텍스트에서 트리거되는지는 일부 실시예들에 따라, 대응하는 출력을 생성하기 위한 기초를 제공한다. 컨텍스트와 상관되는 햅틱 및/또는 오디오 출력을 제공하는 것은, 출력에 대한 햅틱 및 오디오 브랜딩에서의 일관성을 허용하며, 따라서 보다 효율적인 인간-기계 인터페이스를 생성하고, 이에 의해 사용자가 동작들을 수행하는 데 걸리는 시간의 양을 감소시키며, 이는 결과적으로 에너지 사용을 감소시키고 배터리 전력공급 디바이스들에 대한 배터리 수명을 증가시킨다. 도 32는 일부 실시예들에 따른, 제1 및 제2 컨텍스트에서 제1 조건을 검출하고, 햅틱 및 오디오 출력들을 포함하는 대응하는 경보들을 생성하기 위한 방법(3200)의 흐름도이다. 일부 실시예들에서, 도 32에 도시된 단계들 이외의 상이한 단계들이 수행될 수 있음에 유의한다.
방법은, 하나 이상의 햅틱 출력 디바이스 및 하나 이상의 오디오 출력 디바이스를 갖는 전자 디바이스(100)에서, 디바이스에서의 제1 컨텍스트에서 제1 조건의 발생을 검출하는 것(3205)에 의해 시작된다. 예를 들어, 조건은 실패 조건이고, 실패 이벤트의 컨텍스트는 그것이 제1 애플리케이션에서 발생했다는 것이다. 일부 실시예들에 따르면, 조건의 발생은 몇 가지 예를 들면, 통신의 수신(예를 들어, 외부 소스로부터의 메시지), 사용자로부터의 입력의 검출(예를 들어, 터치, 음성, 또는 피드백과 연관되는 기계적 입력), 및 트리거 기준들의 충족의 검출(예를 들어, 알람의 만료, 운동의 완료 등) 중 하나 이상을 포함한다. 일부 실시예들에 따르면, 컴퓨팅 디바이스(100)는 사용자 입력을 수신하기 위한 터치 감응형 디스플레이를 포함한다.
제1 컨텍스트에서 제1 조건의 발생을 검출하는 것에 응답하여, 디바이스(100)는 발생한 조건의 유형(예를 들어, 실패 이벤트가 발생했음)을 나타내는 제1 햅틱 성분(3212), 및 제1 조건이 제1 컨텍스트에서(예를 들어, 특정 애플리케이션 내에서) 발생했음을 나타내는 제1 오디오 성분(3214)을 포함하는 제1 조건에 대응하는 제1 경보를 생성한다(3210). 일부 실시예들에 따르면, 제1 햅틱 출력은 컴퓨팅 디바이스(100) 상의 터치 감응형 디스플레이를 통해 제공된다.
디바이스(100)는 또한 제1 컨텍스트와 상이한 제2 컨텍스트에서(예를 들어, 제1 애플리케이션과 상이한 제2 애플리케이션에서) 제1 조건의 발생을 검출한다(3215). 제2 컨텍스트에서 제1 조건의 발생을 검출하는 것에 응답하여, 디바이스(100)는 제1 조건이 발생했음을 나타내는 제1 햅틱 성분(3212) - 예를 들어, 제2 애플리케이션 컨텍스트에서의 실패에 대응하는 동일한 햅틱 성분 -, 및 제1 조건이 제1 컨텍스트와 상이한 제2 컨텍스트에서 발생했음을 나타내는, 제1 오디오 성분과 상이한 제2 오디오 성분(3222)을 포함하는 제1 조건에 대응하는 제2 경보를 생성한다(3220). 예를 들어, 실패 이벤트가 제1 애플리케이션과 상이한 제2 애플리케이션에서 발생했거나, 또는 실패 이벤트는 사용자가 실패한 동작의 수행에 대한 다른 요청을 제출하도록 하는 옵션을 포함하며, 따라서 출력의 오디오 부분은 제1 컨텍스트에서의 동일한 조건들(실패)의 것과 상이하다.
일부 실시예들에 따르면, 방법에서의 제1 경보를 생성하는 것(3210)은 경보가 제1 컨텍스트에서 발생한 제1 조건에 대응한다는 결정에 따른 것이고, 제2 경보를 생성하는 것(3220)은 제1 조건이 제2 컨텍스트에서 발생했다는 결정에 따른 것이다.
조건(예를 들어, 실패)에 대해 일관된 햅틱을 유지함으로써, 햅틱 파형은 시맨틱 의미를 갖는다. 유사하게, 조건과 연관된 햅틱 의미는 오디오 성분의 시맨틱 의미와는 독립적이다. 예를 들어, 일부 실시예들에 따라 오디오 경보는 햅틱 경보에 대한 컨텍스트를 제공하는데, 이는 햅틱에 대해서보다 오디오에 대한 동적 범위가 더 크기 때문이다.
일부 실시예들에 따르면, 방법은 제1 및 제2 컨텍스트들과 상이한 제3 컨텍스트에서 디바이스에서의 제1 조건(예를 들어, 실패)의 발생을 검출하는 것(3230)을 추가로 포함한다. 제3 컨텍스트에서 디바이스에서의 제1 조건의 발생을 검출하는 것에 응답하여, 디바이스(100)는, 발생한 조건의 유형을 나타내는 제1 햅틱 성분(3212)(예를 들어, 실패 이벤트가 발생했음을 나타내는 동일한 햅틱 성분), 및 제1 조건이 제3 컨텍스트에서 발생했음(예를 들어, 실패 이벤트가 제1 애플리케이션과 상이한 제3 애플리케이션에서 발생했음)을 나타내는, 제1 오디오 성분 및 제2 오디오 성분과 상이한 제3 오디오 성분(3242)을 포함하는, 제3 컨텍스트에서의 제1 조건에 대응하는 제3 경보를 생성한다(3240). 일부 실시예들에 따르면, 방법에서의 제3 경보를 생성하는 것(3240)은, 경보가 제3 컨텍스트에서 발생한 제1 조건에 대응한다는 결정에 따른 것이다.
경보 조건이 트리거되는 컨텍스트는, 일부 실시예들에 따라, 대응하는 출력을 생성하기 위한 기초를 제공한다. 표 13은 상이한 컨텍스트들에서, 그리고 2개의 상이한 애플리케이션 클래스에 걸쳐, 2개의 상이한 조건들(성공, 실패)에 대한 경보들에 대응하는 예시적인 햅틱 및 오디오 출력들을 도시한다. 표의 처음 2개 행은 제1 조건(성공)에 대응하는 경보들을 도시한다. 성공의 각 컨텍스트(결제 애플리케이션, 이메일 애플리케이션)에 대해, 출력은 조건(성공)에 대응하는 제1 햅틱, 및 성공의 컨텍스트(결제, 메시지 전송)에 대응하는 파형 인스턴스를 포함하는 오디오 출력을 포함한다.
표의 제3 및 제4 행은 제2 조건(실패)에 대응하는 경보들을 도시한다. 실패의 각 컨텍스트(결제 애플리케이션, 이메일 애플리케이션)에 대해, 출력은 조건(실패)에 대응하는 제2 햅틱, 및 성공의 컨텍스트(결제, 메시지 전송)에 대응하는 파형 인스턴스를 포함하는 오디오 출력을 포함한다.
처음 4개 행은 또한 제1 애플리케이션 클래스의, 제1당사자 애플리케이션들에 대응한다. 표의 마지막 2개 행은 제2 애플리케이션 클래스(예를 들어, 제3자 애플리케이션)의 컨텍스트에서의 성공 및 실패 조건들에 대응하는 경보들을 도시한다. 이 예에서, 애플리케이션은 동일하지만, 오디오 출력은 변하는데, 이는 제공된 오디오가 컨텍스트로서 애플리케이션 클래스를 사용하고, 조건(성공 실패)에 대한 대응하는 햅틱과 함께 제2 클래스 파형들 1, 2를 제공하기 때문이다. 컨텍스트에 관계없이 조건(성공, 실패)과 일관되게 상관되는 햅틱 출력을 제공함으로써, 사용자는 조건과 연관된 출력에 대한 브랜딩에서의 일관성을 제공받고, 오디오 경보는 햅틱 경보에 대한 컨텍스트를 제공하는데, 이는 햅틱에 대해서보다 오디오에 대한 이용가능한 동적 범위가 더 크기 때문이다.
[표 13]
Figure pat00034
일부 실시예들에 따르면, 제1 햅틱 성분은 사용자에 의해 요청된 동작이 발생하지 못했음을 나타내고, 제1 오디오 성분은 동작이 제1 애플리케이션에서 발생하지 못했음을 나타내며(예를 들어, 제1당사자 결제 애플리케이션을 사용해 결제하는 데 실패), 제2 오디오 성분은 동작이 제2 애플리케이션에서 발생하지 못했음을 나타낸다(예를 들어, 제3자 메시징 애플리케이션에서 메시지를 전송하는 데 실패). 따라서, 햅틱 성분은 공유되고, 오디오 성분은 실패가 발생한 애플리케이션에 기초하여 변한다.
일부 실시예들에 따르면, 제1 햅틱 성분은 사용자에 의해 요청된 동작이 성공적으로 발생했음을 나타내고, 제1 오디오 성분은 동작이 제1 애플리케이션에서 발생했음을 나타내며(예를 들어, 제1당사자 결제 애플리케이션을 사용한 성공적인 결제), 제2 오디오 성분은 동작이 제2 애플리케이션에서 발생했음을 나타낸다. (예를 들어, 제3자 메시징 애플리케이션에서 성공적으로 전송된 메시지). 따라서, 햅틱 성분은 공유되고, 오디오 성분은 성공이 발생한 애플리케이션에 기초하여 변한다. 일부 실시예들에 따르면, 제1 오디오 성분은 제1 애플리케이션에 의해 사용되도록 지정된 오디오 파형에 기초하여 생성된다. 일부 실시예들에서, 제1 애플리케이션에 의해 사용되도록 지정된 오디오 파형은 또한, 예를 들어, 도 30과 관련하여 위에서 더 상세히 기술된 바와 같이, 제1 애플리케이션에 대응하는 경보들에 대한 다른 오디오 성분들을 생성하는 데 사용된다. 제2 오디오 성분은 제1 애플리케이션과 상이한 제2 애플리케이션에 의해 사용되도록 지정된 오디오 파형에 기초하여 생성된다. 일부 실시예들에서, 제2 애플리케이션에 의해 사용되도록 지정된 오디오 파형은 또한, 예를 들어, 도 30과 관련하여 위에서 더 상세히 기술된 바와 같이, 제2 애플리케이션에 대응하는 경보들에 대한 다른 오디오 성분들을 생성하는 데 사용된다.
일부 실시예들에 따르면, 제1 오디오 성분은 제1 클래스의 애플리케이션들 내의 애플리케이션에 의해 사용되도록 지정된 오디오 파형에 기초하여 생성된다. 일부 실시예들에서, 제1당사자 애플리케이션에 의해 사용되도록 지정된 오디오 파형은 또한, 예를 들어, 도 30과 관련하여 위에서 더 상세히 기술된 바와 같이, 제1당사자 애플리케이션에 대응하는 경보들에 대한 다른 오디오 성분들을 생성하는 데 사용된다. 제2 오디오 성분은 제1 클래스의 애플리케이션들과 상이한 제2 클래스의 애플리케이션들 내의 애플리케이션들에 의해 사용되도록 지정된 오디오 파형에 기초하여 생성된다. 일부 실시예들에서, 제3자 애플리케이션들에 의해 사용되도록 지정된 오디오 파형은 또한, 예를 들어, 도 30과 관련하여 위에서 더 상세히 기술된 바와 같이, 제3자 애플리케이션들에 대응하는 경보들에 대한 다른 오디오 성분들을 생성하는 데 사용된다.
일부 실시예들에 따르면, 디바이스는 복수의 상이한 조건 및 복수의 상이한 컨텍스트에 응답하여 햅틱 성분 및 오디오 성분을 포함하는 경보들을 제공하도록 구성된다. 예를 들어, 제1 조건은 제1 햅틱 성분에 의해 나타내어지고(signified), 제1 조건과 상이한 제2 조건은 제1 햅틱 성분과 상이한 제2 햅틱 성분에 의해 나타내어진다. 일부 실시예들에서, 제1 햅틱 성분 및 제2 햅틱 성분은, 그것들이 상이한 지속시간, 크기, 또는 파형을 갖기 때문에 상이하다. 일부 실시예들에서, 제1 오디오 성분 및 제2 오디오 성분은, 그것들이 상이한 수의 순차적 햅틱 출력들을 포함하기 때문에 상이하다. 일부 실시예들에 따르면, 제1 컨텍스트는 제1 오디오 성분에 의해 나타내어지고, 제1 컨텍스트와 상이한 제2 컨텍스트는 제1 오디오 성분과 상이한 제2 오디오 성분에 의해 나타내어진다. 일부 실시예들에서, 제1 오디오 성분 및 제2 오디오 성분은, 그것들이 상이한 오디오 샘플들에 기초하기 때문에 상이하다. 일부 실시예들에서, 제1 오디오 성분 및 제2 오디오 성분은, 그것들이 상이한 수의 순차적 음들을 포함하기 때문에 상이하다.
일부 실시예들에 따르면, 제1 조건은 요청된 동작의 성공을 나타내고, 제1 햅틱 성분은 제1 오디오 성분 내의 특징들과 정렬되는 일련의 햅틱 출력들을 포함한다. 예를 들어, 정렬은 햅틱 및 오디오 출력들 사이의 특징들이 동기화되고, 서로 모방하고, 그리고/또는 서로 미러링하는 것을 의미할 수 있으며, 예를 들어, 오디오 성분 내의 순차적 음들에 대응하는 햅틱 성분 내의 별개의 햅틱 출력들이 생성된다. 예를 들어, 햅틱 출력들은 일부 실시예들에 따라, 오디오 성분 내의 순차적 음들 직전에 또는 그 동안에 제공된다. 일부 실시예들에 따르면, 제1 조건은 요청된 동작의 실패를 나타내고, 제1 햅틱 성분은 제1 오디오 성분 내의 특징들과 정렬되지 않으며, 예를 들어, 오디오 성분 내의 순차적 음들에 대응하지 않는 햅틱 성분 내의 햅틱 출력들이 생성된다. 예를 들어, 오디오 성분 내의 복수의 순차적 음에 걸쳐 연장되는 연속적 햅틱 출력이 제공된다.
일부 실시예들에 따르면, 제1 조건은 요청된 동작의 성공을 나타내고, 제1 햅틱 성분은 제2 오디오 성분 내의 특징들과 정렬되는 일련의 햅틱 출력들을 포함하며, 예를 들어, 오디오 성분 내의 순차적 음들에 대응하는 햅틱 성분 내의 별개의 햅틱 출력들이 생성된다. 예를 들어, 햅틱 출력들은 일부 실시예들에 따라, 오디오 성분 내의 순차적 음들 직전에 또는 그 동안에 제공된다. 일부 실시예들에 따르면, 제1 조건은 요청된 동작의 실패를 나타내고, 제1 햅틱 성분은 제2 오디오 성분 내의 특징들과 정렬되지 않으며, 예를 들어, 오디오 성분 내의 순차적 음들에 대응하지 않는 햅틱 성분 내의 햅틱 출력들이 생성된다. 예를 들어, 일부 실시예들에 따라, 오디오 성분 내의 복수의 순차적 음에 걸쳐 연장되는 연속적 햅틱 출력이 제공된다.
도 6과 관련하여 논의된 바와 같이, 각각의 햅틱 출력은 대응하는 오디오 출력을 수반할 수 있으며, 이때 각각의 오디오 출력의 적어도 일부분은 각각의 햅틱 출력의 적어도 일부분과 동시 발생적이거나, 또는 각각의 오디오 출력은 각각의 햅틱 출력과 시간적으로 가깝게 발생하여 각각의 햅틱 출력 및 각각의 오디오 출력이 인지적으로 동시 발생적이거나 동시적이도록 한다. 햅틱 및 오디오 파형들은 완벽하게 정렬될 필요는 없으며, 디바이스는, 소정 클래스들의 햅틱 및 오디오 출력들에 대해, 햅틱 및 오디오 출력들이 그것들이 시간적으로 약간 오프셋되더라도 사용자에 의해 동시 발생적이거나 동시적인 것으로 인지될 것이라는 사실을 고려할 수 있다(예를 들어, 오디오 출력이 햅틱 출력보다 빨리 처리되기 때문에, 오디오 출력을 제공하기 전에 햅틱 출력을 제공하는 것은, 일부 상황에서, 사용자로 하여금 오디오 및 햅틱 출력을 동시에 또는 동시적으로 발생하는 것으로 인지하게 할 것이다).
도 32에서의 동작들이 설명되는 특정한 순서는 단지 예시적이며, 설명된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내도록 의도되지 않는다는 것을 이해하여야 한다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방법들을 인식할 것이다. 또한, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(700, 900, 1000, 1100, 1200, 1300, 2500, 2600, 3000))과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들이 도 32와 관련하여 전술한 방법(3000)과 유사한 방식으로 또한 적용가능하다는 것에 유의해야 한다. 예를 들어, 방법(3000)을 참조하여 전술한 입력들, 경보 조건들, 이벤트들, 애플리케이션들, 상태들, 및 햅틱 출력들은 옵션적으로, 본 명세서에 기술된 다른 방법들(예컨대, 방법들(700, 900, 1000, 1100, 1200, 1300, 2500, 2600, 3000))을 참조하여 본 명세서에 기술된 입력들, 경보 조건들, 이벤트들, 애플리케이션들, 상태들, 및 햅틱 출력들의 특성들 중 하나 이상을 갖는다. 간결성을 위해, 이들 상세사항들은 여기서 반복되지 않는다.
도 33a는 일부 실시예들에 따른, 둘 모두 시간적으로 분리되고 동시 발생적인, 다양한 햅틱 및 오디오 파형들을 도시한다. 햅틱 파형(3305) 및 오디오 파형(3310)은, 예를 들어, 경보에 대한 출력으로서 함께 사용될 수 있다. 조합된 출력(3315)에 도시된 바와 같이, 햅틱 파형(3305) 및 오디오 파형(3310)은 정렬되어 있지 않고, 사용자에 의해 햅틱 다음에 오디오가 뒤따르고 다음에 햅틱이 뒤따르고 다음에 오디오가 뒤따르는 것으로서 인지될 것이다. 그러나, 햅틱 파형(3305) 및 오디오 파형(3320)은, 조합된 출력(3325)에 도시된 바와 같이 함께 사용될 때 정렬됨으로써, 정렬이 완벽하지 않더라도 오디오 출력이 햅틱 출력과 동시 발생적인 것으로서 사용자에 의해 인지된다.
도 33b는 일부 실시예들에 따른, 시간적으로 중첩하는, 다양한 햅틱 및 오디오 파형들을 도시한다. 예를 들어, 햅틱 파형(3330)은 일부 실시예들에 따른, 실패 이벤트에 대한 햅틱 파형이다. 실패 햅틱(3330)은 일부 실시예들에 따라, 지속적 버즈이다. 실패 햅틱(3330)이 상이한 오디오 출력과 함께 사용될 때, 그것은 도 32와 관련하여 기술된 바와 같이 상이한 유형들의 실패들 및/또는 상이한 컨텍스트들에서의 실패들을 나타낸다. 오디오 파형(3335)은 제3자 오디오 파형을 나타내며, 이 예에서는 딩-딩-던(ding-ding-dun)과 같이 들리는 실패 오디오 샘플을 나타낸다. 조합된 출력(3340)에 도시된 바와 같이, 햅틱 파형(3330) 및 오디오 파형(3335)은 정렬된다. 오디오 파형(3345)은 상이한 제3자 오디오 파형을 나타내며, 이 예에서는 던-던-던과 같이 들리는 재시도 오디오 샘플을 나타낸다. 그것은 제3자 오디오 파형의 변형들로서 실패 오디오 파형(3335)과 유사한 오디오 샘플이지만, 2개의 동일한 특징 및 상이한 제3의 특징이 아닌, 3개의 유사한 특징들을 갖는다. 실패 햅틱(3330)과 조합될 때, 조합된 파형(3350)이 발생한다. 조합된 파형(3350)은 실패 햅틱(3330)을 공유하지만, 컨텍스트에 있어서 상이하며 따라서 오디오 출력이 오디오 파형(3335)과 상이하다.
도 33c는 일부 실시예들에 따른, 시간적으로 중첩하는, 다양한 햅틱 및 오디오 파형들을 도시한다. 예를 들어, 햅틱 파형(3330)은 일부 실시예들에 따른, 도 33b와 동일한, 실패 이벤트에 대한 햅틱 파형이다. 실패 햅틱(3330)은 2개의 상이한 제1당사자 오디오 파형들(3355, 3365)과 함께 사용되어, 2개의 상이하지만 관련된 제1당사자 경보들을 생성한다. 오디오 파형(3355)은 디-덤(de-dum), 디-덤과 같이 들리는 결제 실패 오디오 샘플에 대한 제1당사자 오디오 파형을 나타낸다. 조합된 출력(3360)은, 햅틱 파형(3330)과 오디오 파형(3335)이 정렬된 것을 도시한다. 오디오 파형(3365)은 상이한 제1당사자 오디오 파형을 나타내며, 이 예에서는 디-덤, 디-덤, 디-덤과 같이 들리는 패스코드 엔트리 실패 샘플을 나타낸다. 실패 햅틱(3330)과 조합될 때, 조합된 파형(3370)이 발생한다. 조합된 파형(3370)은 실패 햅틱(3330)을 공유하지만, 컨텍스트에 있어서 상이하며 따라서 오디오 출력이 오디오 파형(3355)과 상이하다.
도 30 및 도 32를 참조하여 전술한 동작들은, 옵션적으로, 도 1a, 도 1b, 도 34, 및 도 35에 도시된 컴포넌트들에 의해 구현된다. 도 34는 다양한 기술된 실시예들의 원리들에 따라 구성된 디바이스(100)의 예시적인 기능 블록도를 도시한다. 다양한 기술된 실시예들의 원리들을 구현하기 위해 도 34에서 기술된 기능 블록들이 옵션적으로 조합되거나 서브블록들로 분리됨이 통상의 기술자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 34에 도시된 바와 같이, 디바이스(100)는 애플리케이션을 표시하도록 구성된 디스플레이 유닛(3401), 사용자 접촉을 수신하도록 구성된 터치 감응형 표면 유닛(3403), 및 디스플레이 유닛(3401) 및 터치 감응형 표면 유닛(3403)에 결합된 처리 유닛(3405)을 포함한다. 일부 실시예들에서, 처리 유닛(3405)은 검출 유닛(3410) 및 경보 생성 유닛(3415)을 포함한다.
다음 단락들([0594] 내지 [0602])은 도 34에 도시된 디바이스(100)에 의해 개별적으로 또는 임의의 조합으로 구현될 수 있는 상이한 실시예들을 설명한다.
처리 유닛(3405)은 하나 이상의 햅틱 출력 디바이스를 갖는 전자 디바이스에서, (예를 들어, 검출 유닛(3410)을 이용해) 디바이스에서의 제1 조건의 발생을 검출하고, 발생을 검출하는 것에 응답하여, 옵션적으로 경보가 제1 클래스의 애플리케이션들 내의 각각의 애플리케이션에 대응한다는 결정에 따라, (예를 들어, 경보 생성 유닛(3415)을 이용해) 제1 클래스의 애플리케이션들 내의 각각의 애플리케이션에 대응하는 제1 경보를 생성하도록 구성된다. 처리 유닛(3405)은 또한, (예를 들어, 검출 유닛(3410)을 이용해) 디바이스에서의 제2 조건의 발생을 검출하고, 이에 응답하여 (예를 들어, 경보 생성 유닛(3415)을 이용해) 제1 클래스의 애플리케이션들과 상이한 제2 클래스의 애플리케이션들 내의 각각의 애플리케이션에 대응하는 제2 경보를 생성하도록 구성되며, 제2 경보는 하나 이상의 햅틱 출력 디바이스를 통해 출력되는 제2 햅틱 성분, 및 제2 클래스의 애플리케이션들 내의 애플리케이션들에 의해 사용되도록 지정된 오디오 파형으로부터 구성되는, 하나 이상의 오디오 출력 디바이스를 통해 출력되는 제2 오디오 성분을 포함한다.
일부 실시예들에 따르면, 제1 햅틱 성분 및 제2 햅틱 성분은 제1 클래스의 애플리케이션 및 제2 클래스의 애플리케이션 둘 모두에 이용가능한 하나 이상의 햅틱 파형으로부터 구성된다.
일부 실시예들에 따르면, 디바이스(100)는 (예를 들어, 경보 생성 유닛(3415)에 의해) 복수의 상이한 경보를 생성하도록 구성된다. 복수의 상이한 경보는 제1 클래스의 애플리케이션들에 이용가능하고 제2 클래스의 애플리케이션들에 이용가능하지 않은 오디오 성분들을 포함하는 2개 이상의 경보의 제1 서브세트를 포함하고, 복수의 상이한 경보는 제2 클래스의 애플리케이션들에 이용가능하고 제2 클래스의 애플리케이션들에 의해 사용되도록 지정된 오디오 파형으로부터 구성되는 오디오 성분들을 포함하는 2개 이상의 경보의 제2 서브세트를 포함한다.
일부 실시예들에 따르면, 경보들의 제2 서브세트는 제2 클래스의 애플리케이션들과 연관되는 각각의 오디오 샘플에 상이한 변환들을 적용함으로써 (예를 들어, 경보 생성 유닛(3415)에 의해) 생성된 2개의 경보를 포함한다. 일부 실시예들에 따르면, 경보들의 제1 서브세트는 제1 클래스의 애플리케이션들 내의 제1 애플리케이션과 연관되는 각각의 오디오 샘플에 상이한 변환들을 적용함으로써 (예를 들어, 경보 생성 유닛(3415)에 의해) 생성된 2개의 경보를 포함한다.
일부 실시예들에 따르면, 경보들의 제1 서브세트는 제1 클래스의 애플리케이션들 내의 제2 애플리케이션과 연관되는 각각의 오디오 샘플에 상이한 변환들을 적용함으로써 (예를 들어, 경보 생성 유닛(3415)에 의해) 생성된 2개의 경보를 포함하며, 여기서 제2 애플리케이션과 연관되는 각각의 오디오 샘플은 제1 애플리케이션과 연관되는 각각의 오디오 샘플과 상이하다. 일부 실시예들에 따르면, 경보들의 제2 서브세트는 제1 클래스의 애플리케이션들에 이용가능하지 않다.
일부 실시예들에 따르면, (예를 들어, 경보 생성 유닛(3415)에 의해 생성된) 2개 이상의 경보의 제1 서브세트는 제1 클래스의 애플리케이션들 및 제2 클래스의 애플리케이션들에 이용가능한 햅틱 성분들을 포함하고, 2개 이상의 경보의 제2 서브세트는 제2 클래스의 애플리케이션들 및 제1 클래스의 애플리케이션들에 이용가능한 햅틱 성분들을 포함한다.
일부 실시예들에 따르면, (예를 들어, 경보 생성 유닛(3415)에 의해 생성된) 복수의 상이한 경보는 제2 클래스의 애플리케이션들 및 제1 클래스의 애플리케이션들에 이용가능한 오디오 성분들을 포함하는 2개 이상의 경보의 제3 서브세트를 포함한다.
일부 실시예들에 따르면, (예를 들어, 경보 생성 유닛(3415)에 의해) 하나 이상의 오디오 출력 디바이스를 통해 출력되는 제1 오디오 성분은 제1 클래스의 애플리케이션들 내의 제1 애플리케이션에 의해 사용되도록 지정된 오디오 파형으로부터 구성되고, 하나 이상의 오디오 출력 디바이스를 통해 출력되는 제1 오디오 성분은 제1 클래스의 애플리케이션들 내의 제2 애플리케이션에 의해 사용되도록 지정된 오디오 파형으로부터 구성된다.
일부 실시예들에 따르면, (예를 들어, 경보 생성 유닛(3415)에 의해) 하나 이상의 오디오 출력 디바이스를 통해 출력되는 제2 오디오 성분은, 경보가 제2 애플리케이션 클래스의 애플리케이션들 내의 제3 애플리케이션에 대응할 때 제2 클래스의 애플리케이션 내의 애플리케이션들에 의해 사용되도록 지정된 오디오 파형으로부터 구성되고, 하나 이상의 오디오 출력 디바이스를 통해 출력되는 제1 오디오 성분은, 경보가 제2 클래스의 애플리케이션들 내의 제2 애플리케이션에 대응할 때 제2 클래스의 애플리케이션 내의 애플리케이션들에 의해 사용되도록 지정된 오디오 파형으로부터 구성된다.
도 35는 다양한 기술된 실시예들의 원리들에 따라 구성된 디바이스(100)의 예시적인 기능 블록도를 도시한다. 다양한 기술된 실시예들의 원리들을 구현하기 위해 도 35에서 기술된 기능 블록들이 옵션적으로 조합되거나 서브블록들로 분리됨이 통상의 기술자에 의해 이해된다. 따라서, 본 명세서의 설명은, 옵션적으로, 본 명세서에 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가 정의를 지원한다.
도 35에 도시된 바와 같이, 디바이스(100)는 애플리케이션을 표시하도록 구성된 디스플레이 유닛(3501), 사용자 접촉을 수신하도록 구성된 터치 감응형 표면 유닛(3503), 및 디스플레이 유닛(3501) 및 터치 감응형 표면 유닛(3503)에 결합된 처리 유닛(3505)을 포함한다. 일부 실시예들에서, 처리 유닛(3505)은 검출 유닛(3510) 및 경보 생성 유닛(3515)을 포함한다.
다음 단락들([0606] 내지 [0615])은 도 35에 도시된 디바이스(100)에 의해 개별적으로 또는 임의의 조합으로 구현될 수 있는 상이한 실시예들을 설명한다.
처리 유닛(3505)은 하나 이상의 햅틱 출력 디바이스를 갖는 전자 디바이스에서, (예를 들어, 검출 유닛(3510)을 이용해) 제1 컨텍스트에서 제1 조건의 발생을 검출하고, 발생을 검출하는 것에 응답하여, (예를 들어, 경보 생성 유닛(3515)을 이용해) 발생한 조건의 유형을 나타내는 제1 햅틱 성분, 및 제1 조건이 제1 컨텍스트에서 발생했음을 나타내는 제1 오디오 성분을 포함하는 제1 조건에 대응하는 제1 경보를 생성하도록 구성된다.
처리 유닛(3505)은 또한, (예를 들어, 검출 유닛(3510)을 이용해) 제1 컨텍스트와 상이한 제2 컨텍스트에서 제1 조건의 디바이스에서의 발생을 검출하고, 발생을 검출하는 것에 응답하여, (예를 들어, 경보 생성 유닛(3515)을 이용해) 제1 조건이 발생했음을 나타내는 제1 햅틱 성분, 및 제1 조건이 제1 컨텍스트와 상이한 제2 컨텍스트에서 발생했음을 나타내는, 제1 오디오 성분과 상이한 제2 오디오 성분을 포함하는 제1 조건에 대응하는 제2 경보를 생성하도록 구성된다.
처리 유닛(3505)은 또한, (예를 들어, 검출 유닛(3510)을 이용해) 제1 및 제2 컨텍스트들과 상이한 제3 컨텍스트에서 디바이스에서의 제1 조건의 디바이스에서의 발생을 검출하고, 제3 컨텍스트에서 디바이스에서의 제1 조건의 발생을 검출하는 것에 응답하여, (예를 들어, 경보 생성 유닛(3515)을 이용해) 발생한 조건의 유형을 나타내는 제1 햅틱 성분, 및 제1 조건이 제2 제3 컨텍스트에서 발생했음을 나타내는, 제1 오디오 성분 및 제2 오디오 성분과 상이한 제3 오디오 성분을 포함하는 제3 컨텍스트에서의 제1 조건에 대응하는 제3 경보를 생성하도록 구성된다.
일부 실시예들에 따르면, 제1 햅틱 성분은 사용자에 의해 요청된 동작이 발생하지 못했음을 나타내고, 제1 오디오 성분은 동작이 제1 애플리케이션에서 발생하지 못했음을 나타내며, 제2 오디오 성분은 동작이 제2 애플리케이션에서 발생하지 못했음을 나타낸다.
일부 실시예들에 따르면, 제1 햅틱 성분은 사용자에 의해 요청된 동작이 성공적으로 발생했음을 나타내고, 제1 오디오 성분은 동작이 제1 애플리케이션에서 발생했음을 나타내며; 제2 오디오 성분은 동작이 제2 애플리케이션에서 발생했음을 나타낸다.
일부 실시예들에 따르면, 제1 오디오 성분은 제1 애플리케이션에 의해 사용되도록 지정된 오디오 파형에 기초하여 생성되고, 제2 오디오 성분은 제1 애플리케이션과 상이한 제2 애플리케이션에 의해 사용되도록 지정된 오디오 파형에 기초하여 생성된다.
일부 실시예들에 따르면, 제1 오디오 성분은 제1 클래스의 애플리케이션들 내의 애플리케이션에 의해 사용되도록 지정된 오디오 파형에 기초하여 생성되고, 제2 오디오 성분은 제1 클래스의 애플리케이션들과 상이한 제2 클래스의 애플리케이션들 내의 애플리케이션들에 의해 사용되도록 지정된 오디오 파형에 기초하여 생성된다.
일부 실시예들에 따르면, 디바이스는 (예를 들어, 경보 생성 유닛(3515)을 이용해) 복수의 상이한 조건 및 복수의 상이한 컨텍스트에 응답하여 햅틱 성분 및 오디오 성분을 포함하는 경보들을 제공하도록 구성되며, 제1 조건은 제1 햅틱 성분에 의해 나타내어지고, 제1 조건과 상이한 제2 조건은 제1 햅틱 성분과 상이한 제2 햅틱 성분에 의해 나타내어지며, 제1 컨텍스트는 제1 오디오 성분에 의해 나타내어지고, 제1 컨텍스트와 상이한 제2 컨텍스트는 제1 오디오 성분과 상이한 제2 오디오 성분에 의해 나타내어진다.
일부 실시예들에 따르면, 제1 조건은 요청된 동작의 성공을 나타내고, 제1 햅틱 성분은 제1 오디오 성분 내의 특징들과 정렬된 일련의 햅틱 출력들을 포함하며, 제1 조건은 요청된 동작의 실패를 나타내고, 제1 햅틱 성분은 (예를 들어, 경보 생성 유닛(3515)에 의해 생성된) 제1 오디오 성분 내의 특징들과 정렬되지 않는다.
일부 실시예들에 따르면, 제1 조건은 요청된 동작의 성공을 나타내고, 제1 햅틱 성분은 제2 오디오 성분 내의 특징들과 정렬된 일련의 햅틱 출력들을 포함하며, 제1 조건은 요청된 동작의 실패를 나타내고, 제1 햅틱 성분은 제2 오디오 성분 내의 특징들과 정렬되지 않는다.
전술한 설명은, 설명의 목적을 위해, 특정 실시예들을 참조하여 기술되었다. 그러나, 위의 예시적인 논의들은 본 발명을 개시된 정확한 형태들로 규명하거나 제한하려는 의도는 아니다. 상기 교시 내용들을 바탕으로 많은 수정들 및 변형들이 가능하다. 본 발명의 원리 및 그의 실제적인 응용을 가장 잘 설명하여서 다른 통상의 지식을 가진 자들이 본 발명 및 다양한 기술된 실시예를 고려되는 특정 용도에 적합한 바와 같은 다양한 변형과 함께 가장 잘 사용하는 것을 가능하게 하도록 실시예들이 선택 및 설명되었다.
본 명세서에 설명된 단계들, 동작들 또는 프로세스들 중 임의의 것은 하나 이상의 하드웨어 또는 소프트웨어 모듈로, 단독으로 또는 다른 디바이스들과 함께, 수행되거나 구현될 수 있다. 일 실시예에서, 소프트웨어 모듈은 설명된 단계들, 동작들 또는 프로세스들 중 임의의 것 또는 전부를 수행하기 위해 컴퓨터 프로세서에 의해 실행될 수 있는, 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능 매체를 포함하는 컴퓨터 프로그램 제품으로 구현된다.
본 발명의 실시예들은 또한 본 명세서에서의 동작들을 수행하기 위한 장치에 관한 것일 수 있다. 이러한 장치는 요구된 목적들을 위해 특별하게 구성될 수 있고/있거나, 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성된 범용 컴퓨팅 디바이스를 포함할 수 있다. 이러한 컴퓨터 프로그램은 유형의(tangible) 컴퓨터 판독가능 저장 매체에 저장되거나, 전자적 명령어들을 저장하기에 적합하고 컴퓨터 시스템 버스에 결합된 임의의 유형의 매체에 저장될 수 있다. 또한, 본 명세서에 언급된 임의의 컴퓨팅 시스템들은 단일 프로세서를 포함할 수 있거나, 증가된 컴퓨팅 능력을 위한 다수의 프로세서 설계들을 채용하는 아키텍처들일 수 있다.
마지막으로, 본 명세서에 사용된 표현은 주로 가독성과 교육적 목적들을 위해 선택되었고, 그것은 본 발명의 요지를 상세히 기술하거나 제한하기 위해 선택된 것은 아닐 수 있다. 따라서, 본 발명의 범위는 이 상세한 설명에 의해서가 아니라, 본 명세서에 기초한 출원에 대해 발행되는 임의의 청구범위에 의해 제한되는 것으로 의도된다. 따라서, 본 발명의 실시예들의 개시내용은 다음의 청구범위에 기재된 본 발명의 범위를 제한하려는 것이 아니라 예시하는 것으로 의도된다.

Claims (30)

  1. 방법으로서,
    촉각 출력 생성기를 갖는 전자 디바이스에서,
    상기 전자 디바이스에서 이벤트를 검출하는 단계; 및
    상기 전자 디바이스에서 상기 이벤트를 검출하는 것에 응답하여:
    상기 이벤트가 복수의 상이한 이벤트 유형들을 포함하는 제1 이벤트 클래스 내의 이벤트의 유형이라는 결정에 따라, 상기 촉각 출력 생성기에 의해 생성된 제1 햅틱 컴포넌트를 포함하는 제1 경보를 상기 전자 디바이스에서 제공하는 단계; 및
    상기 이벤트가 복수의 상이한 이벤트 유형들을 포함하는 제2 이벤트 클래스의 이벤트의 유형이라는 결정에 따라, 상기 제1 햅틱 컴포넌트와 상이한, 상기 촉각 출력 생성기에 의해 생성된 제2 햅틱 컴포넌트를 포함하는 제2 경보를 상기 전자 디바이스에서 제공하는 단계 - 상기 제1 이벤트 클래스의 상기 복수의 상이한 이벤트 유형들은 상기 제2 이벤트 클래스의 상기 복수의 상이한 이벤트 유형들과 상이함 -; 및
    상기 이벤트가 복수의 상이한 이벤트 유형들을 포함하는 제3 이벤트 클래스의 이벤트의 유형이라는 결정에 따라, 상기 제1 햅틱 컴포넌트 및 상기 제2 햅틱 컴포넌트와 상이한, 상기 촉각 출력 생성기에 의해 생성된 제3 햅틱 컴포넌트를 포함하는 제3 경보를 상기 전자 디바이스에서 제공하는 단계를 포함하고, 상기 제2 이벤트 클래스의 상기 복수의 상이한 이벤트 유형들은 상기 제3 이벤트 클래스의 상기 복수의 상이한 이벤트 유형들과 상이한 방법.
  2. 제1항에 있어서, 상기 이벤트를 검출하는 것에 응답하여, 상기 이벤트가 복수의 상이한 이벤트 유형들을 포함하는 제4 이벤트 클래스 내의 이벤트의 유형이라는 결정에 따라, 상기 제1 햅틱 컴포넌트, 상기 제2 햅틱 컴포넌트, 및 상기 제3 햅틱 컴포넌트와 상이한, 상기 촉각 출력 생성기에 의해 생성된 제4 햅틱 컴포넌트를 포함하는 제4 경보를 상기 전자 디바이스에서 제공하는 단계를 포함하는 방법.
  3. 제2항에 있어서, 상기 제4 이벤트 클래스는 제3자 애플리케이션에 의해 생성된 이벤트에 대응하는 방법.
  4. 제2항에 있어서, 상기 제4 햅틱 컴포넌트는 상기 제1 햅틱 컴포넌트, 상기 제2 햅틱 컴포넌트, 또는 상기 제3 햅틱 컴포넌트에 포함되지 않은 햅틱 출력 요소에 의해 상기 제1 햅틱 컴포넌트, 상기 제2 햅틱 컴포넌트, 및 상기 제3 햅틱 컴포넌트와 구별되는 방법.
  5. 제1항에 있어서, 상기 제1 햅틱 컴포넌트는 햅틱 출력들 사이의 간격, 햅틱 출력들의 수, 및 각자의 햅틱 컴포넌트 동안의 시간 경과에 따른 햅틱 출력들의 진폭의 변화 중 적어도 하나에 기초하여 상기 제2 햅틱 컴포넌트 및 상기 제3 햅틱 컴포넌트와 상이한 방법.
  6. 제1항에 있어서,
    상기 제1 이벤트 클래스는 다른 사용자들로부터의 통신들에 기초하여 생성된 이벤트들을 포함하고;
    상기 제2 이벤트 클래스는 상기 전자 디바이스의 사용자에 의해 입력된 미리 정의된 기준에 기초하여 생성된 이벤트들을 포함하고;
    상기 제3 이벤트 클래스는 상기 전자 디바이스에 의해 모니터링된 디바이스 모니터링 기준의 충족에 기초하여 생성된 이벤트들을 포함하는 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 전자 디바이스는 상기 제1 이벤트 클래스, 상기 제2 이벤트 클래스, 및 상기 제3 이벤트 클래스에 대응하는 이벤트들 이외의 복수의 상이한 이벤트들에 대응하는 복수의 경보들을 제공하도록 구성되고, 상기 복수의 상이한 이벤트들은 제1 주파수로 발생하고, 상기 제1 이벤트 클래스, 상기 제2 이벤트 클래스, 및 상기 제3 이벤트 클래스는 상기 제1 주파수보다 큰 주파수로 발생하는 이벤트들의 유형들에 대응하는 방법.
  8. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 전자 디바이스는 터치 감응형 디스플레이를 갖고,
    상기 햅틱 컴포넌트들은 상기 전자 디바이스의 상기 터치 감응형 디스플레이를 통해 제공되는 방법.
  9. 전자 디바이스로서,
    촉각 출력 생성기;
    하나 이상의 프로세서; 및
    하나 이상의 프로그램을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램은 상기 하나 이상의 프로세서에 의해 실행되도록 구성되고, 상기 하나 이상의 프로그램은:
    상기 전자 디바이스에서 이벤트를 검출하고;
    상기 전자 디바이스에서 상기 이벤트를 검출하는 것에 응답하여:
    상기 이벤트가 복수의 상이한 이벤트 유형들을 포함하는 제1 이벤트 클래스 내의 이벤트의 유형이라는 결정에 따라, 상기 촉각 출력 생성기에 의해 생성된 제1 햅틱 컴포넌트를 포함하는 제1 경보를 상기 전자 디바이스에서 제공하고;
    상기 이벤트가 복수의 상이한 이벤트 유형들을 포함하는 제2 이벤트 클래스의 이벤트의 유형이라는 결정에 따라, 상기 제1 햅틱 컴포넌트와 상이한, 상기 촉각 출력 생성기에 의해 생성된 제2 햅틱 컴포넌트를 포함하는 제2 경보를 상기 전자 디바이스에서 제공하고 - 상기 제1 이벤트 클래스의 상기 복수의 상이한 이벤트 유형들은 상기 제2 이벤트 클래스의 상기 복수의 상이한 이벤트 유형들과 상이함 -;
    상기 이벤트가 복수의 상이한 이벤트 유형들을 포함하는 제3 이벤트 클래스의 이벤트의 유형이라는 결정에 따라, 상기 제1 햅틱 컴포넌트 및 상기 제2 햅틱 컴포넌트와 상이한, 상기 촉각 출력 생성기에 의해 생성된 제3 햅틱 컴포넌트를 포함하는 제3 경보를 상기 전자 디바이스에서 제공하기 위한 명령어들을 포함하며, 상기 제2 이벤트 클래스의 상기 복수의 상이한 이벤트 유형들은 상기 제3 이벤트 클래스의 상기 복수의 상이한 이벤트 유형들과 상이한 전자 디바이스.
  10. 제9항에 있어서, 상기 하나 이상의 프로그램은 상기 이벤트를 검출하는 것에 응답하여, 상기 이벤트가 복수의 상이한 이벤트 유형들을 포함하는 제4 이벤트 클래스 내의 이벤트의 유형이라는 결정에 따라, 상기 제1 햅틱 컴포넌트, 상기 제2 햅틱 컴포넌트, 및 상기 제3 햅틱 컴포넌트와 상이한, 상기 촉각 출력 생성기에 의해 생성된 제4 햅틱 컴포넌트를 포함하는 제4 경보를 상기 전자 디바이스에서 제공하기 위한 명령어들을 포함하는 전자 디바이스.
  11. 제10항에 있어서, 상기 제4 이벤트 클래스는 제3자 애플리케이션에 의해 생성된 이벤트에 대응하는 전자 디바이스.
  12. 제11항에 있어서, 상기 제4 햅틱 컴포넌트는 상기 제1 햅틱 컴포넌트, 상기 제2 햅틱 컴포넌트, 또는 상기 제3 햅틱 컴포넌트에 포함되지 않은 햅틱 출력 요소에 의해 상기 제1 햅틱 컴포넌트, 상기 제2 햅틱 컴포넌트, 및 상기 제3 햅틱 컴포넌트와 구별되는 전자 디바이스.
  13. 제9항에 있어서, 상기 제1 햅틱 컴포넌트는 햅틱 출력들 사이의 간격, 햅틱 출력들의 수, 및 각자의 햅틱 컴포넌트 동안의 시간 경과에 따른 햅틱 출력들의 진폭의 변화 중 적어도 하나에 기초하여 상기 제2 햅틱 컴포넌트 및 상기 제3 햅틱 컴포넌트와 상이한 전자 디바이스.
  14. 제9항에 있어서,
    상기 제1 이벤트 클래스는 다른 사용자들로부터의 통신들에 기초하여 생성된 이벤트들을 포함하고;
    상기 제2 이벤트 클래스는 상기 전자 디바이스의 사용자에 의해 입력된 미리 정의된 기준에 기초하여 생성된 이벤트들을 포함하고;
    상기 제3 이벤트 클래스는 상기 전자 디바이스에 의해 모니터링된 디바이스 모니터링 기준의 충족에 기초하여 생성된 이벤트들을 포함하는 전자 디바이스.
  15. 제9항 내지 제14항 중 어느 한 항에 있어서, 상기 전자 디바이스는 상기 제1 이벤트 클래스, 상기 제2 이벤트 클래스, 및 상기 제3 이벤트 클래스에 대응하는 이벤트들 이외의 복수의 상이한 이벤트들에 대응하는 복수의 경보들을 제공하도록 구성되고, 상기 복수의 상이한 이벤트들은 제1 주파수로 발생하고, 상기 제1 이벤트 클래스, 상기 제2 이벤트 클래스, 및 상기 제3 이벤트 클래스는 상기 제1 주파수보다 큰 주파수로 발생하는 이벤트들의 유형들에 대응하는 전자 디바이스.
  16. 제9항 내지 제14항 중 어느 한 항에 있어서,
    상기 전자 디바이스는 터치 감응형 디스플레이를 갖고,
    상기 햅틱 컴포넌트들은 상기 전자 디바이스의 상기 터치 감응형 디스플레이를 통해 제공되는 전자 디바이스.
  17. 제9항 내지 제14항 중 어느 한 항에 있어서, 상기 제1 이벤트 클래스의 상기 복수의 상이한 이벤트 유형들은 텍스트 메시지 이벤트들, 음성메일 이벤트들, 및 이메일 이벤트들을 포함하는 전자 디바이스.
  18. 제17항에 있어서, 상기 제2 이벤트 클래스의 상기 복수의 상이한 이벤트 유형들은 캘린더 이벤트들 및 리마인더 이벤트들을 포함하는 전자 디바이스.
  19. 하나 이상의 프로그램을 저장하는 컴퓨터 판독가능 저장 매체로서,
    상기 하나 이상의 프로그램은, 촉각 출력 생성기를 갖는 전자 디바이스에 의해 실행될 때, 상기 전자 디바이스로 하여금,
    상기 전자 디바이스에서 이벤트를 검출하고;
    상기 전자 디바이스에서 상기 이벤트를 검출하는 것에 응답하여:
    상기 이벤트가 복수의 상이한 이벤트 유형들을 포함하는 제1 이벤트 클래스 내의 이벤트의 유형이라는 결정에 따라, 상기 촉각 출력 생성기에 의해 생성된 제1 햅틱 컴포넌트를 포함하는 제1 경보를 상기 전자 디바이스에서 제공하고;
    상기 이벤트가 복수의 상이한 이벤트 유형들을 포함하는 제2 이벤트 클래스의 이벤트의 유형이라는 결정에 따라, 상기 제1 햅틱 컴포넌트와 상이한, 상기 촉각 출력 생성기에 의해 생성된 제2 햅틱 컴포넌트를 포함하는 제2 경보를 상기 전자 디바이스에서 제공하고 - 상기 제1 이벤트 클래스의 상기 복수의 상이한 이벤트 유형들은 상기 제2 이벤트 클래스의 상기 복수의 상이한 이벤트 유형들과 상이함 -;
    상기 이벤트가 복수의 상이한 이벤트 유형들을 포함하는 제3 이벤트 클래스의 이벤트의 유형이라는 결정에 따라, 상기 제1 햅틱 컴포넌트 및 상기 제2 햅틱 컴포넌트와 상이한, 상기 촉각 출력 생성기에 의해 생성된 제3 햅틱 컴포넌트를 포함하는 제3 경보를 상기 전자 디바이스에서 제공하게 하는 명령어들을 포함하며, 상기 제2 이벤트 클래스의 상기 복수의 상이한 이벤트 유형들은 상기 제3 이벤트 클래스의 상기 복수의 상이한 이벤트 유형들과 상이한 컴퓨터 판독가능 저장 매체.
  20. 제19항에 있어서, 상기 하나 이상의 프로그램은, 상기 전자 디바이스에 의해 실행될 때, 상기 전자 디바이스로 하여금, 상기 이벤트를 검출하는 것에 응답하여, 상기 이벤트가 복수의 상이한 이벤트 유형들을 포함하는 제4 이벤트 클래스 내의 이벤트의 유형이라는 결정에 따라, 상기 제1 햅틱 컴포넌트, 상기 제2 햅틱 컴포넌트, 및 상기 제3 햅틱 컴포넌트와 상이한, 상기 촉각 출력 생성기에 의해 생성된 제4 햅틱 컴포넌트를 포함하는 제4 경보를 상기 전자 디바이스에서 제공하게 하는 명령어들을 포함하는 컴퓨터 판독가능 저장 매체.
  21. 제20항에 있어서, 상기 제4 이벤트 클래스는 제3자 애플리케이션에 의해 생성된 이벤트에 대응하는 컴퓨터 판독가능 저장 매체.
  22. 제20항에 있어서, 상기 제4 햅틱 컴포넌트는 상기 제1 햅틱 컴포넌트, 상기 제2 햅틱 컴포넌트, 또는 상기 제3 햅틱 컴포넌트에 포함되지 않은 햅틱 출력 요소에 의해 상기 제1 햅틱 컴포넌트, 상기 제2 햅틱 컴포넌트, 및 상기 제3 햅틱 컴포넌트와 구별되는 컴퓨터 판독가능 저장 매체.
  23. 제19항에 있어서, 상기 제1 햅틱 컴포넌트는 햅틱 출력들 사이의 간격, 햅틱 출력들의 수, 및 각자의 햅틱 컴포넌트 동안의 시간 경과에 따른 햅틱 출력들의 진폭의 변화 중 적어도 하나에 기초하여 상기 제2 햅틱 컴포넌트 및 상기 제3 햅틱 컴포넌트와 상이한 컴퓨터 판독가능 저장 매체.
  24. 제19항에 있어서,
    상기 제1 이벤트 클래스는 다른 사용자들로부터의 통신들에 기초하여 생성된 이벤트들을 포함하고;
    상기 제2 이벤트 클래스는 상기 전자 디바이스의 사용자에 의해 입력된 미리 정의된 기준에 기초하여 생성된 이벤트들을 포함하고;
    상기 제3 이벤트 클래스는 상기 전자 디바이스에 의해 모니터링된 디바이스 모니터링 기준의 충족에 기초하여 생성된 이벤트들을 포함하는 컴퓨터 판독가능 저장 매체.
  25. 제19항 내지 제24항 중 어느 한 항에 있어서, 상기 전자 디바이스는 상기 제1 이벤트 클래스, 상기 제2 이벤트 클래스, 및 상기 제3 이벤트 클래스에 대응하는 이벤트들 이외의 복수의 상이한 이벤트들에 대응하는 복수의 경보들을 제공하도록 구성되고, 상기 복수의 상이한 이벤트들은 제1 주파수로 발생하고, 상기 제1 이벤트 클래스, 상기 제2 이벤트 클래스, 및 상기 제3 이벤트 클래스는 상기 제1 주파수보다 큰 주파수로 발생하는 이벤트들의 유형들에 대응하는 컴퓨터 판독가능 저장 매체.
  26. 제19항 내지 제24항 중 어느 한 항에 있어서,
    상기 전자 디바이스는 터치 감응형 디스플레이를 갖고,
    상기 햅틱 컴포넌트들은 상기 전자 디바이스의 상기 터치 감응형 디스플레이를 통해 제공되는 컴퓨터 판독가능 저장 매체.
  27. 제19항 내지 제24항 중 어느 한 항에 있어서, 상기 제1 이벤트 클래스의 상기 복수의 상이한 이벤트 유형들은 텍스트 메시지 이벤트들, 음성메일 이벤트들, 및 이메일 이벤트들을 포함하는 컴퓨터 판독가능 저장 매체.
  28. 제25항에 있어서, 상기 제2 이벤트 클래스의 상기 복수의 상이한 이벤트 유형들은 캘린더 이벤트들 및 리마인더 이벤트들을 포함하는 컴퓨터 판독가능 저장 매체.
  29. 제25항에 있어서, 상기 제2 이벤트 클래스의 상기 복수의 상이한 이벤트 유형들은 타이머 이벤트들 및 알람 이벤트들을 포함하는 컴퓨터 판독가능 저장 매체.
  30. 제25항에 있어서, 상기 제3 이벤트 클래스의 상기 복수의 상이한 이벤트 유형들은 상기 전자 디바이스 상의 제3자 애플리케이션들에 의해 트리거된 이벤트들을 포함하는 컴퓨터 판독가능한 저장 매체.
KR1020217021011A 2014-09-02 2015-07-23 가변 햅틱 출력을 위한 시맨틱 프레임워크 KR102373337B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227007635A KR102475306B1 (ko) 2014-09-02 2015-07-23 가변 햅틱 출력을 위한 시맨틱 프레임워크

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US201462044870P 2014-09-02 2014-09-02
US62/044,870 2014-09-02
US201562129905P 2015-03-08 2015-03-08
US62/129,905 2015-03-08
US201562172122P 2015-06-07 2015-06-07
US62/172,122 2015-06-07
PCT/US2015/041858 WO2016036447A2 (en) 2014-09-02 2015-07-23 Semantic framework for variable haptic output
KR1020207030968A KR102275700B1 (ko) 2014-09-02 2015-07-23 가변 햅틱 출력을 위한 시맨틱 프레임워크

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207030968A Division KR102275700B1 (ko) 2014-09-02 2015-07-23 가변 햅틱 출력을 위한 시맨틱 프레임워크

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227007635A Division KR102475306B1 (ko) 2014-09-02 2015-07-23 가변 햅틱 출력을 위한 시맨틱 프레임워크

Publications (2)

Publication Number Publication Date
KR20210087571A true KR20210087571A (ko) 2021-07-12
KR102373337B1 KR102373337B1 (ko) 2022-03-11

Family

ID=53794510

Family Applications (8)

Application Number Title Priority Date Filing Date
KR1020177005874A KR102096146B1 (ko) 2014-09-02 2015-07-23 가변 햅틱 출력을 위한 시맨틱 프레임워크
KR1020237004128A KR102521953B1 (ko) 2014-09-02 2015-07-23 가변 햅틱 출력을 위한 시맨틱 프레임워크
KR1020227007635A KR102475306B1 (ko) 2014-09-02 2015-07-23 가변 햅틱 출력을 위한 시맨틱 프레임워크
KR1020227042472A KR102497720B1 (ko) 2014-09-02 2015-07-23 가변 햅틱 출력을 위한 시맨틱 프레임워크
KR1020197000444A KR102056298B1 (ko) 2014-09-02 2015-07-23 가변 햅틱 출력을 위한 시맨틱 프레임워크
KR1020207030968A KR102275700B1 (ko) 2014-09-02 2015-07-23 가변 햅틱 출력을 위한 시맨틱 프레임워크
KR1020217021011A KR102373337B1 (ko) 2014-09-02 2015-07-23 가변 햅틱 출력을 위한 시맨틱 프레임워크
KR1020197036500A KR102174122B1 (ko) 2014-09-02 2015-07-23 가변 햅틱 출력을 위한 시맨틱 프레임워크

Family Applications Before (6)

Application Number Title Priority Date Filing Date
KR1020177005874A KR102096146B1 (ko) 2014-09-02 2015-07-23 가변 햅틱 출력을 위한 시맨틱 프레임워크
KR1020237004128A KR102521953B1 (ko) 2014-09-02 2015-07-23 가변 햅틱 출력을 위한 시맨틱 프레임워크
KR1020227007635A KR102475306B1 (ko) 2014-09-02 2015-07-23 가변 햅틱 출력을 위한 시맨틱 프레임워크
KR1020227042472A KR102497720B1 (ko) 2014-09-02 2015-07-23 가변 햅틱 출력을 위한 시맨틱 프레임워크
KR1020197000444A KR102056298B1 (ko) 2014-09-02 2015-07-23 가변 햅틱 출력을 위한 시맨틱 프레임워크
KR1020207030968A KR102275700B1 (ko) 2014-09-02 2015-07-23 가변 햅틱 출력을 위한 시맨틱 프레임워크

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020197036500A KR102174122B1 (ko) 2014-09-02 2015-07-23 가변 햅틱 출력을 위한 시맨틱 프레임워크

Country Status (8)

Country Link
US (10) US9542820B2 (ko)
EP (2) EP3964931A1 (ko)
JP (4) JP6538825B2 (ko)
KR (8) KR102096146B1 (ko)
CN (5) CN115756154A (ko)
AU (5) AU2015312344B2 (ko)
TW (2) TWI604302B (ko)
WO (1) WO2016036447A2 (ko)

Families Citing this family (180)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7469381B2 (en) 2007-01-07 2008-12-23 Apple Inc. List scrolling and document translation, scaling, and rotation on a touch-screen display
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
DE112013002381T5 (de) 2012-05-09 2015-02-26 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Bewegung und Ablegen eines Benutzerschnittstellenobjekts
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
CN108241465B (zh) 2012-05-09 2021-03-09 苹果公司 用于针对在用户界面中执行的操作提供触觉反馈的方法和装置
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
KR101670570B1 (ko) 2012-05-09 2016-10-28 애플 인크. 사용자 인터페이스 객체를 선택하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
EP2847662B1 (en) 2012-05-09 2020-02-19 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
KR101823288B1 (ko) 2012-05-09 2018-01-29 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
CN104487929B (zh) 2012-05-09 2018-08-17 苹果公司 用于响应于用户接触来显示附加信息的设备、方法和图形用户界面
CN105264479B (zh) 2012-12-29 2018-12-25 苹果公司 用于对用户界面分级结构进行导航的设备、方法和图形用户界面
EP2912542B1 (en) 2012-12-29 2022-07-13 Apple Inc. Device and method for forgoing generation of tactile output for a multi-contact gesture
CN104885050B (zh) 2012-12-29 2017-12-08 苹果公司 用于确定是滚动还是选择内容的设备、方法和图形用户界面
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
US10691230B2 (en) 2012-12-29 2020-06-23 Apple Inc. Crown input for a wearable electronic device
EP2939095B1 (en) 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
US10275117B2 (en) 2012-12-29 2019-04-30 Apple Inc. User interface object manipulations in a user interface
AU2013368443B2 (en) 2012-12-29 2016-03-24 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
US10578499B2 (en) 2013-02-17 2020-03-03 Microsoft Technology Licensing, Llc Piezo-actuated virtual buttons for touch surfaces
USD738889S1 (en) * 2013-06-09 2015-09-15 Apple Inc. Display screen or portion thereof with animated graphical user interface
US10503388B2 (en) * 2013-09-03 2019-12-10 Apple Inc. Crown input for a wearable electronic device
CN105683877B (zh) 2013-09-03 2019-05-28 苹果公司 用于操纵用户界面对象的用户界面
US10545657B2 (en) 2013-09-03 2020-01-28 Apple Inc. User interface for manipulating user interface objects
US11068128B2 (en) 2013-09-03 2021-07-20 Apple Inc. User interface object manipulations in a user interface
US10001817B2 (en) 2013-09-03 2018-06-19 Apple Inc. User interface for manipulating user interface objects with magnetic properties
US9448631B2 (en) 2013-12-31 2016-09-20 Microsoft Technology Licensing, Llc Input device haptics and pressure sensing
US9330547B2 (en) * 2014-05-20 2016-05-03 Immersion Corporation Haptic effect authoring tool based on a haptification model
US10523622B2 (en) * 2014-05-21 2019-12-31 Match Group, Llc System and method for user communication in a network
US9588586B2 (en) * 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity
US9607507B1 (en) * 2014-06-25 2017-03-28 Amazon Technologies, Inc. User activity-based actions
CN116301544A (zh) 2014-06-27 2023-06-23 苹果公司 尺寸减小的用户界面
US10073590B2 (en) 2014-09-02 2018-09-11 Apple Inc. Reduced size user interface
CN111210891B (zh) 2014-09-02 2023-08-25 苹果公司 身体活动和健身监视器
USD763285S1 (en) * 2014-09-02 2016-08-09 Apple Inc. Display screen or portion thereof with graphical user interface
CN115756154A (zh) 2014-09-02 2023-03-07 苹果公司 用于可变触觉输出的语义框架
WO2016036510A1 (en) 2014-09-02 2016-03-10 Apple Inc. Music user interface
WO2016036414A1 (en) 2014-09-02 2016-03-10 Apple Inc. Button functionality
WO2016036509A1 (en) 2014-09-02 2016-03-10 Apple Inc. Electronic mail user interface
US20160217681A1 (en) * 2015-01-23 2016-07-28 Honeywell International Inc. Method to invoke backup input operation
US10365807B2 (en) 2015-03-02 2019-07-30 Apple Inc. Control of system zoom magnification using a rotatable input mechanism
USD765098S1 (en) * 2015-03-06 2016-08-30 Apple Inc. Display screen or portion thereof with graphical user interface
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10152208B2 (en) 2015-04-01 2018-12-11 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
JP6222186B2 (ja) * 2015-08-11 2017-11-01 コニカミノルタ株式会社 操作パネル、およびそれを備えた画像形成装置
CN113521710A (zh) 2015-08-20 2021-10-22 苹果公司 基于运动的表盘和复杂功能块
US20170091753A1 (en) * 2015-09-28 2017-03-30 Paypal, Inc. Sensory feedback payment system
US10331873B1 (en) 2015-10-09 2019-06-25 United Services Automobile Association (“USAA”) Graphical event-based password system
US10088906B2 (en) * 2015-11-10 2018-10-02 Joyhaptics Oy Method and apparatus for recognizing swipe operation of a user on a user interface
US9880627B2 (en) * 2015-12-15 2018-01-30 Immersion Corporation Automated haptic setting generation
US10164849B2 (en) * 2015-12-18 2018-12-25 Facebook, Inc. Techniques to detect foreground processes
US10061385B2 (en) * 2016-01-22 2018-08-28 Microsoft Technology Licensing, Llc Haptic feedback for a touch input device
USD801388S1 (en) * 2016-02-11 2017-10-31 Sears Brands, L.L.C. Display screen or portion thereof with icon
WO2017159886A1 (ko) * 2016-03-14 2017-09-21 엘지전자(주) 무선 통신 시스템에서 상향링크 데이터의 전송 방법 및 이를 위한 장치
US9679547B1 (en) * 2016-04-04 2017-06-13 Disney Enterprises, Inc. Augmented reality music composition
US11416212B2 (en) * 2016-05-17 2022-08-16 Microsoft Technology Licensing, Llc Context-based user agent
JP6691434B2 (ja) * 2016-06-07 2020-04-28 株式会社Ｎｔｔドコモ コンテンツ提示装置
DK201770423A1 (en) 2016-06-11 2018-01-15 Apple Inc Activity and workout updates
DK179823B1 (en) * 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK179657B1 (en) 2016-06-12 2019-03-13 Apple Inc. Devices, methods and graphical user interfaces for providing haptic feedback
US10346825B2 (en) * 2016-06-27 2019-07-09 Paypal, Inc. Pressure sensitive device casings to enable device functionality
EP3270262A1 (en) * 2016-07-12 2018-01-17 Vestel Elektronik Sanayi ve Ticaret A.S. Touch-screen control device with haptic feedback
JP2018030107A (ja) * 2016-08-26 2018-03-01 レノボ・シンガポール・プライベート・リミテッド 触覚フィードバック・システム、電子機器および触覚フィードバックの生成方法
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
EP3291054B8 (en) * 2016-09-06 2019-07-24 Apple Inc. Devices, methods, and graphical user interfaces for haptic mixing
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK179082B1 (en) * 2016-09-06 2017-10-16 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
US10469971B2 (en) * 2016-09-19 2019-11-05 Apple Inc. Augmented performance synchronization
DK179978B1 (en) * 2016-09-23 2019-11-27 Apple Inc. IMAGE DATA FOR ENHANCED USER INTERACTIONS
US10073548B2 (en) * 2016-11-08 2018-09-11 Wacom Co., Ltd. Stylus having variable transmit signal strength, and sensor for detecting such stylus
US10599823B2 (en) * 2016-11-18 2020-03-24 Invensense, Inc. Systems and methods for coordinating applications with a user interface
JP2018097706A (ja) * 2016-12-15 2018-06-21 株式会社東海理化電機製作所 触聴覚呈示装置
US10732954B2 (en) 2016-12-30 2020-08-04 Dropbox, Inc. User engagement aware auto-updater
US10733054B2 (en) * 2016-12-30 2020-08-04 Dropbox, Inc. User engagement aware auto-restart
DE112018000310T5 (de) 2017-01-04 2019-10-02 Joyson Safety Systems Acquisition Llc Schalterbaugruppe mit kraftabhängiger variabler Scroll-Geschwindigkeit und Verwendungsverfahren
JP6868397B2 (ja) * 2017-01-12 2021-05-12 任天堂株式会社 振動制御システム、振動制御装置、振動制御プログラムおよび振動制御方法
EP3573525B1 (en) * 2017-01-27 2023-06-07 Northwestern University Epidermal virtual reality devices
US10423276B2 (en) * 2017-01-30 2019-09-24 Atmel Corporation Applying a signal to a touch sensor
WO2018147850A1 (en) * 2017-02-09 2018-08-16 Sony Mobile Communications Inc. System and method for controlling notifications in an electronic device according to user status
US10976925B2 (en) 2017-03-09 2021-04-13 Google Llc Notification shade with animated reveal of notification indications
US10373474B2 (en) * 2017-03-09 2019-08-06 Keithley Instruments, Llc Auto setting of alarm limits
US10938767B2 (en) * 2017-03-14 2021-03-02 Google Llc Outputting reengagement alerts by a computing device
US20180287987A1 (en) * 2017-03-29 2018-10-04 NURO Secure Messaging Ltd. System and method thereof for contextual customization of notifications
DE112017007223T5 (de) * 2017-04-10 2019-12-05 Mitsubishi Electric Corporation Benutzerschnittstellenvorrichtung
US11651336B1 (en) * 2017-04-27 2023-05-16 United Services Automobile Association (Usaa) Time-varying haptic alerts for computing devices
US10464569B2 (en) * 2017-04-28 2019-11-05 Nxp B.V. Vibration sensor
US10396272B2 (en) * 2017-05-04 2019-08-27 International Business Machines Corporation Display distortion for alignment with a user gaze direction
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
AU2017421181B2 (en) * 2017-06-30 2022-08-04 Razer (Asia-Pacific) Pte. Ltd. Adjustable tactile feedback with force sensors and haptic actuators
US20190027000A1 (en) * 2017-07-19 2019-01-24 Kovacorp Interactive Alert Notification System
RU173988U1 (ru) * 2017-07-28 2017-09-25 Открытое акционерное общество "Исток-Аудио Интернэшнл" (ОАО "Исток-Аудио Интернэшнл") Приемник универсальный для системы оповещения
CN107479816B (zh) * 2017-07-28 2019-09-24 Oppo广东移动通信有限公司 黑屏手势的识别方法、装置、存储介质及移动终端
CN107589698B (zh) * 2017-09-20 2021-05-25 友达光电股份有限公司 应用于物联网中的感测装置及控制方法
US10509473B2 (en) * 2017-09-21 2019-12-17 Paypal, Inc. Providing haptic feedback on a screen
US10564741B2 (en) * 2017-10-19 2020-02-18 Microsoft Technology Licensing, Llc Active stylus pairing with a digitizer
KR102440291B1 (ko) 2017-11-15 2022-09-07 삼성디스플레이 주식회사 전자장치 및 전자장치 제어방법
CN109963205A (zh) * 2017-12-25 2019-07-02 上海全土豆文化传播有限公司 多媒体剪辑方法及装置
US10204336B1 (en) 2018-01-12 2019-02-12 Capital One Services, Llc Generating a sensory indication
CN108446007B (zh) * 2018-02-02 2020-11-20 华东师范大学 一种基于手势事件频率学习的手机浏览器功耗节约方法
CN108388403B (zh) * 2018-02-07 2020-05-12 维沃移动通信有限公司 一种处理消息的方法及终端
US10216231B1 (en) * 2018-02-20 2019-02-26 Nvf Tech Ltd Moving magnet actuator for haptic alerts
CN111801145A (zh) * 2018-03-29 2020-10-20 科乐美数码娱乐株式会社 信息处理装置以及在其中记录有用于信息处理装置的程序的记录介质
US11317833B2 (en) * 2018-05-07 2022-05-03 Apple Inc. Displaying user interfaces associated with physical activities
US11132406B2 (en) * 2018-05-18 2021-09-28 Google Llc Action indicators for search operation output elements
US11030921B2 (en) 2018-06-08 2021-06-08 Wells Fargo Bank, N.A. Change data driven tactile response
US10345910B1 (en) * 2018-06-15 2019-07-09 Immersion Corporation Haptic actuator assembly with a spring pre-load device
US10917180B2 (en) * 2018-07-24 2021-02-09 Comcast Cable Communications, Llc Controlling vibration output from a computing device
US11016587B2 (en) 2018-09-11 2021-05-25 Apple Inc. Watch crown haptic support to provide detent-like operation
US11435830B2 (en) 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
US10712824B2 (en) 2018-09-11 2020-07-14 Apple Inc. Content-based tactile outputs
US11484267B2 (en) * 2018-09-11 2022-11-01 Apple Inc. Contact detection for physiological sensor
US10719130B1 (en) * 2018-12-27 2020-07-21 Apple Inc. Haptic actuator including overmolded field member and related methods
EP3677996B1 (en) * 2019-01-07 2022-03-23 Goodix Technology (HK) Company Limited Audio-haptic signal generator
US11086431B2 (en) * 2019-01-30 2021-08-10 Samsung Display Co., Ltd. Display device and method for providing haptic feedback by display device
US10921892B2 (en) * 2019-02-04 2021-02-16 Subpac, Inc. Personalized tactile output
US11670962B2 (en) * 2019-04-09 2023-06-06 Apple Inc. Electronic device with coil for wireless charging and haptic outputs
WO2020211919A1 (en) * 2019-04-15 2020-10-22 Safetyn Alerting system for a light aircraft
DK201970532A1 (en) 2019-05-06 2021-05-03 Apple Inc Activity trends and workouts
CN112015308B (zh) * 2019-05-31 2022-07-15 北京小米移动软件有限公司 内容展示方法及装置
US10996761B2 (en) 2019-06-01 2021-05-04 Apple Inc. User interfaces for non-visual output of time
CN110231869B (zh) * 2019-06-11 2022-08-05 Oppo广东移动通信有限公司 一种触摸电极的控制方法、装置、存储介质及电子设备
KR20200144785A (ko) * 2019-06-19 2020-12-30 삼성전자주식회사 사용자 입력에 대응되는 피드백의 속성을 조정하는 전자 장치 및 방법
US11637921B2 (en) * 2019-09-09 2023-04-25 Motorola Mobility Llc Enabling vibration notification based on environmental noise
US11662820B2 (en) 2020-01-08 2023-05-30 Dell Products, Lp System for a solid-state keyboard and touchpad providing haptic feedback
US11646020B2 (en) * 2020-01-24 2023-05-09 International Business Machines Corporation Communication notification management
US11067269B1 (en) 2020-01-31 2021-07-20 Dell Products, Lp System and method for backlight integration with electrical contact foil in piezoelectric haptic keyboard
US10860112B1 (en) 2020-01-31 2020-12-08 Dell Products, Lp System for a solid-state keyboard and touchpad with a single sheet cover for providing haptic feedback
US11579695B2 (en) 2020-01-31 2023-02-14 Dell Products, Lp System and method for generating sound effects on fingertips with piezoelectric actuators of a haptic keyboard
US11106772B2 (en) 2020-01-31 2021-08-31 Dell Products, Lp System and method for continuous user identification via piezo haptic keyboard and touchpad dynamics
US11079849B1 (en) 2020-01-31 2021-08-03 Dell Products, Lp System for extended key actions and haptic feedback and optimized key layout for a solid-state keyboard and touchpad
US11294469B2 (en) 2020-01-31 2022-04-05 Dell Products, Lp System and method for processing user input via a reconfigurable haptic interface assembly for displaying a modified keyboard configuration
US11093048B1 (en) 2020-01-31 2021-08-17 Dell Products, Lp System for modified key actions and haptic feedback for smart typing assist with a solid-state keyboard and touchpad
US11301053B2 (en) 2020-01-31 2022-04-12 Dell Products, Lp System for providing haptic feedback across full palm rest in fixed position of information handling system
US10936073B1 (en) 2020-01-31 2021-03-02 Dell Products, Lp System and method for generating high-frequency and mid-frequency audible sound via piezoelectric actuators of a haptic keyboard
US11079816B1 (en) 2020-01-31 2021-08-03 Dell Products, Lp System and method for vapor chamber directional heat dissipation for a piezoelectric keyboard assembly
US11175745B2 (en) 2020-01-31 2021-11-16 Dell Products, Lp System and method for application of piezo electric haptic keyboard personal typing profile
US11106286B2 (en) 2020-01-31 2021-08-31 Dell Products, Lp System and method for mood detection via piezo haptic keyboard dynamics
DK202070613A1 (en) 2020-02-14 2021-10-15 Apple Inc User interfaces for workout content
US11209929B2 (en) * 2020-02-17 2021-12-28 Robert Bosch Gmbh Faulty pressure sensor determination of a portable communication device touch display
US20210337000A1 (en) * 2020-04-24 2021-10-28 Mitel Cloud Services, Inc. Cloud-based communication system for autonomously providing collaborative communication events
US11340738B2 (en) * 2020-08-18 2022-05-24 Novatek Microelectronics Corp. Method for force sensing, electronic module capable of facilitating force sensing, and computing apparatus
US11343460B2 (en) 2020-09-10 2022-05-24 Atlassian Pty Ltd. Participation management system for videoconferencing
DE112020007633T5 (de) * 2020-09-22 2023-08-31 Google Llc Führen von fingerabdruckerfassung über benutzerrückmeldung
US11334166B2 (en) 2020-09-30 2022-05-17 International Business Machines Corporation Multi-sensory notifications
FI130484B (en) 2021-02-26 2023-09-29 Amer Sports Digital Services Oy Delivery of content and/or functional features to wearable devices
US11775084B2 (en) * 2021-04-20 2023-10-03 Microsoft Technology Licensing, Llc Stylus haptic component arming and power consumption
WO2022240310A1 (ru) * 2021-05-13 2022-11-17 Евгений Уралович ХАФИЗОВ Система управления тестированием программного обеспечения
EP4323992A1 (en) 2021-05-15 2024-02-21 Apple Inc. User interfaces for group workouts
US11915805B2 (en) 2021-06-06 2024-02-27 Apple Inc. User interfaces for shared health-related data
CN113323515B (zh) * 2021-06-07 2022-07-22 北京京东方技术开发有限公司 基于触觉反馈的密码输出装置、身份认证装置及其方法
US11531398B1 (en) * 2021-08-20 2022-12-20 Apple Inc. Gyroscopic precession engine for wearable devices
US11645871B1 (en) 2021-11-18 2023-05-09 International Business Machines Corporation Engagement based contextual feedback for devices
US11954256B2 (en) 2021-12-17 2024-04-09 Google Llc Haptic interface for computing devices
US20230237287A1 (en) * 2022-01-25 2023-07-27 Apple Inc. Managing information on a computer system
WO2023163490A1 (ko) * 2022-02-25 2023-08-31 삼성전자주식회사 터치 인식을 위한 인식 감도를 조정하는 방법 및 이를 수행하는 전자 장치
US11809630B1 (en) 2022-04-21 2023-11-07 Meta Platforms Technologies, Llc Using a haptic effects library to determine whether to provide predefined or parametrically-defined haptic responses, and systems and methods of use thereof
US11896871B2 (en) 2022-06-05 2024-02-13 Apple Inc. User interfaces for physical activity information
CN115079915B (zh) * 2022-07-19 2023-06-23 荣耀终端有限公司 日历视图的显示方法、电子设备及可读存储介质
US20240061505A1 (en) * 2022-08-19 2024-02-22 Qualcomm Incorporated Adjusting haptic rendering based on contextual awareness

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090113186A (ko) * 2008-04-25 2009-10-29 리서치 인 모션 리미티드 터치 감지형 입력 표면을 포함하는 전자 디바이스 및 사용자 선택 입력의 판정 방법
KR20100056396A (ko) * 2008-11-18 2010-05-27 스튜더 프로페시오날 아우디오 게엠베하 입력 장치 및 입력 장치에 의한 사용자 입력의 검출 방법

Family Cites Families (459)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6433771B1 (en) 1992-12-02 2002-08-13 Cybernet Haptic Systems Corporation Haptic device attribute control
EP0760125B1 (en) 1994-05-16 2002-04-03 Apple Computer, Inc. A system and method for customizing appearance and behavior of graphical user interfaces
US20030040361A1 (en) 1994-09-21 2003-02-27 Craig Thorner Method and apparatus for generating tactile feedback via relatively low-burden and/or zero burden telemetry
US6219032B1 (en) 1995-12-01 2001-04-17 Immersion Corporation Method for providing force feedback to a user of an interface device based on interactions of a controlled cursor with graphical elements in a graphical user interface
US5990869A (en) 1996-08-20 1999-11-23 Alliance Technologies Corp. Force feedback mouse
JP3655438B2 (ja) 1997-07-17 2005-06-02 任天堂株式会社 ビデオゲームシステム
JP3138666B2 (ja) 1997-08-21 2001-02-26 日本電気通信システム株式会社 携帯電話機
US6211861B1 (en) * 1998-06-23 2001-04-03 Immersion Corporation Tactile mouse device
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
JP2000209311A (ja) * 1999-01-13 2000-07-28 Yazaki Corp 車両用呼出応対方法
US7469381B2 (en) 2007-01-07 2008-12-23 Apple Inc. List scrolling and document translation, scaling, and rotation on a touch-screen display
US7561142B2 (en) 1999-07-01 2009-07-14 Immersion Corporation Vibrotactile haptic feedback devices
WO2001024158A1 (en) 1999-09-28 2001-04-05 Immersion Corporation Controlling haptic sensations for vibrotactile feedback interface devices
US6424251B1 (en) 1999-11-10 2002-07-23 Matthew T. Byrne Personal electronic device notification system
US6560165B1 (en) 2000-03-28 2003-05-06 Diane K. Barker Medical information appliance
US7016707B2 (en) 2000-06-21 2006-03-21 Seiko Epson Corporation Mobile telephone and radio communication device cooperatively processing incoming call
AU2001294852A1 (en) 2000-09-28 2002-04-08 Immersion Corporation Directional tactile feedback for haptic feedback interface devices
US6791536B2 (en) 2000-11-10 2004-09-14 Microsoft Corporation Simulating gestures of a pointing device using a stylus and providing feedback thereto
GB0029622D0 (en) 2000-12-05 2001-01-17 Nokia Networks Oy Improved user interface
JP4327369B2 (ja) * 2001-02-23 2009-09-09 ヤマハ株式会社 携帯端末、着信通知制御プログラム及び着信通知制御プログラムを記録した記録媒体
US6703550B2 (en) 2001-10-10 2004-03-09 Immersion Corporation Sound data output and manipulation using haptic feedback
EP2793101A3 (en) 2001-11-01 2015-04-29 Immersion Corporation Method and apparatus for providing tactile feedback sensations
WO2003046732A1 (fr) * 2001-11-27 2003-06-05 Matsushita Electric Industrial Co., Ltd. Unite de notification d'informations de port
US6690387B2 (en) 2001-12-28 2004-02-10 Koninklijke Philips Electronics N.V. Touch-screen image scrolling system and method
JP2003288158A (ja) 2002-01-28 2003-10-10 Sony Corp タクタイル・フィードバック機能を持つ携帯型機器
JP2004064117A (ja) * 2002-07-24 2004-02-26 Kenwood Corp 移動体通信端末、着信報知方法及びプログラム
EP1406150A1 (en) 2002-10-01 2004-04-07 Sony Ericsson Mobile Communications AB Tactile feedback method and device and portable device incorporating same
US20040095311A1 (en) 2002-11-19 2004-05-20 Motorola, Inc. Body-centric virtual interactive apparatus and method
AU2003298038A1 (en) * 2002-12-08 2004-06-30 Immersion Corporation Using haptic effects to enhance information content in communications
US8165640B2 (en) 2003-03-14 2012-04-24 Jeffrey D Mullen Systems and methods for providing remote incoming call notification for cellular phones
US7886236B2 (en) 2003-03-28 2011-02-08 Microsoft Corporation Dynamic feedback for gestures
US7454009B2 (en) 2003-04-25 2008-11-18 International Business Machines Corporation Ring-tone identification of urgent phone calls
JP4240293B2 (ja) 2003-05-27 2009-03-18 株式会社ソニー・コンピュータエンタテインメント マルチメディア再生装置およびマルチメディア再生方法
JP2004363999A (ja) * 2003-06-05 2004-12-24 Hitachi Ltd 携帯電話機、携帯電話基地局サーバ及びｉｐ電話装置と電子メールシステム
US7130664B1 (en) 2003-06-12 2006-10-31 Williams Daniel P User-based signal indicator for telecommunications device and method of remotely notifying a user of an incoming communications signal incorporating the same
US7669177B2 (en) * 2003-10-24 2010-02-23 Microsoft Corporation System and method for preference application installation and execution
US20060066569A1 (en) * 2003-12-08 2006-03-30 Immersion Corporation, A Delaware Corporation Methods and systems for providing haptic messaging to handheld communication devices
JP2005276089A (ja) * 2004-03-26 2005-10-06 Seiko Epson Corp 入力装置、画像表示装置及びプロジェクタ
US20050231489A1 (en) 2004-04-15 2005-10-20 Research In Motion Limited System and method for providing dynamic tactile feedback on hand-held electronic devices
US7305257B2 (en) 2004-04-16 2007-12-04 Research In Motion Limited Portable alerter for wireless device
JP2006011646A (ja) 2004-06-23 2006-01-12 Pioneer Electronic Corp 触覚表示装置及び触覚表示機能付タッチパネル装置
US7308253B2 (en) 2004-06-30 2007-12-11 Avaya Technology Corp. Log-based ringtone service
US8867724B2 (en) * 2004-08-31 2014-10-21 At&T Intellectual Property I, L.P. Distinctive ring tones prompted by call urgency and context
US8232969B2 (en) 2004-10-08 2012-07-31 Immersion Corporation Haptic feedback for button and scrolling action simulation in touch input devices
US9591345B2 (en) 2004-10-21 2017-03-07 Core Wireless Licensing S.A.R.L. Group editing of media content stored on wireless portable devices
US7720213B2 (en) * 2004-12-30 2010-05-18 Alcatel Lucent Parameter dependent ring tones
US8768838B1 (en) 2005-02-02 2014-07-01 Nexus Payments, LLC Financial transactions using a rule-module nexus and a user account registry
US8082292B2 (en) 2005-04-18 2011-12-20 Research In Motion Limited Method and system for centralized user notification and application execution control
US20060248183A1 (en) * 2005-04-28 2006-11-02 Microsoft Corporation Programmable notifications for a mobile device
US7911983B2 (en) * 2005-07-29 2011-03-22 Cisco Technology, Inc. Selective mute/unmute control over applications running on a PC
KR100714725B1 (ko) 2005-08-29 2007-05-07 삼성전자주식회사 입력 정보의 노출을 방지하기 위한 입력 장치 및 입력 방법
US9166823B2 (en) * 2005-09-21 2015-10-20 U Owe Me, Inc. Generation of a context-enriched message including a message component and a contextual attribute
US20070088560A1 (en) * 2005-10-14 2007-04-19 Motorola, Inc. Method and system for conveying context information in a personal and family security environment
US20070106457A1 (en) 2005-11-09 2007-05-10 Outland Research Portable computing with geospatial haptic compass
US20070132789A1 (en) 2005-12-08 2007-06-14 Bas Ording List scrolling in response to moving contact over list of index symbols
US7958456B2 (en) 2005-12-23 2011-06-07 Apple Inc. Scrolling list with floating adjacent index symbols
CN101375582A (zh) * 2006-01-19 2009-02-25 高通股份有限公司 将已分类源地址群组与振动模式相关联的方法
US7710958B2 (en) 2006-01-20 2010-05-04 Iona Technologies Limited Method for recoverable message exchange independent of network protocols
JP5129478B2 (ja) 2006-03-24 2013-01-30 株式会社デンソーアイティーラボラトリ 画面表示装置
US8144125B2 (en) 2006-03-30 2012-03-27 Cypress Semiconductor Corporation Apparatus and method for reducing average scan rate to detect a conductive object on a sensing device
US7751542B2 (en) 2006-05-04 2010-07-06 Avaya Inc. Feeble ring tones
US20070283239A1 (en) 2006-05-30 2007-12-06 Robert Paul Morris Methods, systems, and computer program products for providing a user interaction model for use by a device
JP2008033739A (ja) 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置
US9304675B2 (en) 2006-09-06 2016-04-05 Apple Inc. Portable electronic device for instant messaging
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US7809406B2 (en) 2006-09-15 2010-10-05 Sony Ericsson Mobile Communications Ab Continued transfer or streaming of a data file after loss of a local connection
US7890863B2 (en) * 2006-10-04 2011-02-15 Immersion Corporation Haptic effects with proximity sensing
DE102006048833A1 (de) 2006-10-16 2008-04-17 Universität Rostock Behandlung von Osteoporose
WO2008075082A1 (en) 2006-12-21 2008-06-26 Symbian Software Limited Mobile device and method of operation thereof
US8583189B2 (en) 2006-12-28 2013-11-12 Motorola Mobility Llc Method and apparatus for the selective use of imperceptible invites
US7844915B2 (en) 2007-01-07 2010-11-30 Apple Inc. Application programming interfaces for scrolling operations
CN101232665B (zh) 2007-01-24 2012-02-22 北京三星通信技术研究有限公司 用于移动通信终端的回电设定及自动提示的方法
JP2008181365A (ja) * 2007-01-25 2008-08-07 Mitsubishi Electric Corp 携帯機器
US8098234B2 (en) 2007-02-20 2012-01-17 Immersion Corporation Haptic feedback system with stored effects
KR100835297B1 (ko) 2007-03-02 2008-06-05 광주과학기술원 촉감 정보 표현을 위한 노드 구조 및 이를 이용한 촉감정보 전송 방법과 시스템
US7801569B1 (en) 2007-03-22 2010-09-21 At&T Intellectual Property I, L.P. Mobile communications device with distinctive vibration modes
TWI351638B (en) 2007-04-27 2011-11-01 Htc Corp Touch-based tab navigation method and related devi
US8144126B2 (en) 2007-05-07 2012-03-27 Cypress Semiconductor Corporation Reducing sleep current in a capacitance sensing system
JP4803105B2 (ja) * 2007-05-09 2011-10-26 ソニー株式会社 電子機器
US9954996B2 (en) 2007-06-28 2018-04-24 Apple Inc. Portable electronic device with conversation management for incoming instant messages
US8258986B2 (en) 2007-07-03 2012-09-04 Cypress Semiconductor Corporation Capacitive-matrix keyboard with multiple touch detection
US8026814B1 (en) * 2007-07-25 2011-09-27 Pinpoint Technologies Inc. Wireless mesh network for an asset tracking system
US8331268B2 (en) 2007-08-31 2012-12-11 At&T Intellectual Property I, L.P. Methods, systems, and computer-readable media for providing an event alert
US9619143B2 (en) 2008-01-06 2017-04-11 Apple Inc. Device, method, and graphical user interface for viewing application launch icons
EP2040146B1 (en) 2007-09-18 2020-12-09 Microsoft Technology Licensing, LLC Mobile terminal and method of controlling operation of the same
US8098235B2 (en) 2007-09-28 2012-01-17 Immersion Corporation Multi-touch device having dynamic haptic effects
US7768838B2 (en) 2007-10-30 2010-08-03 Micron Technology, Inc. Operating memory cells
US20090128581A1 (en) 2007-11-20 2009-05-21 Microsoft Corporation Custom transition framework for application state transitions
US20090135142A1 (en) 2007-11-27 2009-05-28 Motorola, Inc. Data entry device and method
US9509829B2 (en) 2007-12-28 2016-11-29 Apple, Inc. Urgent communications
US8373549B2 (en) * 2007-12-31 2013-02-12 Apple Inc. Tactile feedback in an electronic device
US9857872B2 (en) 2007-12-31 2018-01-02 Apple Inc. Multi-touch display screen with localized tactile feedback
US8577423B2 (en) 2008-02-27 2013-11-05 Palm, Inc. Vibration tone differentiation
US20090219252A1 (en) 2008-02-28 2009-09-03 Nokia Corporation Apparatus, method and computer program product for moving controls on a touchscreen
US10015158B2 (en) 2008-02-29 2018-07-03 Blackberry Limited Methods and apparatus for use in enabling a mobile communication device with a digital certificate
US8205157B2 (en) 2008-03-04 2012-06-19 Apple Inc. Methods and graphical user interfaces for conducting searches on a portable multifunction device
BRPI0804355A2 (pt) * 2008-03-10 2009-11-03 Lg Electronics Inc terminal e método de controle do mesmo
US9513704B2 (en) 2008-03-12 2016-12-06 Immersion Corporation Haptically enabled user interface
JP2009265818A (ja) 2008-04-23 2009-11-12 Denso Corp ドライバ覚醒装置
JP2009278294A (ja) * 2008-05-13 2009-11-26 Sony Ericsson Mobilecommunications Japan Inc 情報処理装置、情報処理方法、情報処理プログラム、及び携帯端末装置
KR101456001B1 (ko) 2008-05-23 2014-11-03 엘지전자 주식회사 단말기 및 그 제어 방법
US8266550B1 (en) 2008-05-28 2012-09-11 Google Inc. Parallax panning of mobile device desktop
US9357052B2 (en) 2008-06-09 2016-05-31 Immersion Corporation Developing a notification framework for electronic device events
US8203444B2 (en) * 2008-06-10 2012-06-19 Silent Call Corporation Alerting device with supervision
KR101498622B1 (ko) 2008-06-25 2015-03-04 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
US8306576B2 (en) 2008-06-27 2012-11-06 Lg Electronics Inc. Mobile terminal capable of providing haptic effect and method of controlling the mobile terminal
KR101556522B1 (ko) 2008-06-27 2015-10-01 엘지전자 주식회사 촉각 효과를 제공하는 휴대 단말기 및 그 제어방법
KR101443341B1 (ko) 2008-06-30 2014-11-03 엘지전자 주식회사 휴대 단말기 및 그 동작제어 방법
KR101474963B1 (ko) * 2008-07-01 2014-12-19 엘지전자 주식회사 휴대 단말기 및 그 제어방법
US9600175B2 (en) 2008-07-14 2017-03-21 Sony Corporation Method and system for classification sign display
KR101404367B1 (ko) 2008-07-15 2014-06-20 임머숀 코퍼레이션 메시지 콘텐츠를 진동촉각 메시징을 위한 가상 물리적 속성들로 맵핑하기 위한 시스템 및 방법
GB2462465B (en) 2008-08-08 2013-02-13 Hiwave Technologies Uk Ltd Touch sensitive device
US8604364B2 (en) 2008-08-15 2013-12-10 Lester F. Ludwig Sensors, algorithms and applications for a high dimensional touchpad
US8402381B2 (en) 2008-09-23 2013-03-19 International Business Machines Corporation Automatically arranging widgets of a model within a canvas using iterative region based widget relative adjustments
GB2464117B (en) * 2008-10-03 2015-01-28 Hiwave Technologies Uk Ltd Touch sensitive device
EP3654141A1 (en) 2008-10-06 2020-05-20 Samsung Electronics Co., Ltd. Method and apparatus for displaying graphical user interface depending on a user's contact pattern
KR101529502B1 (ko) 2008-10-16 2015-06-17 엘지전자 주식회사 인스턴트 메시지 제어방법과 이를 이용한 이동 단말기
KR101569176B1 (ko) 2008-10-30 2015-11-20 삼성전자주식회사 오브젝트 실행 방법 및 장치
JP5003655B2 (ja) * 2008-11-07 2012-08-15 富士通株式会社 携帯端末装置
JP5227769B2 (ja) 2008-12-05 2013-07-03 ソニーモバイルコミュニケーションズ， エービー 携帯端末およびコンピュータプログラム
JP5181093B2 (ja) 2008-12-08 2013-04-10 韓國電子通信研究院 タッチスクリーン及びその動作方法
US8886252B2 (en) 2008-12-22 2014-11-11 Htc Corporation Method and apparatus for automatically changing operating modes in a mobile device
US8686952B2 (en) 2008-12-23 2014-04-01 Apple Inc. Multi touch with multi haptics
JP4746085B2 (ja) 2008-12-25 2011-08-10 京セラ株式会社 入力装置
US8378979B2 (en) * 2009-01-27 2013-02-19 Amazon Technologies, Inc. Electronic device with haptic feedback
EP2396958B1 (en) 2009-02-11 2013-01-02 Nxp B.V. Controlling an adaptation of a behavior of an audio device to a current acoustic environmental condition
GB2480418B (en) * 2009-02-20 2013-11-13 Solocem Systems Oy Short-range communication-enabled mobile device, method and related server arrangement
US9746923B2 (en) 2009-03-12 2017-08-29 Immersion Corporation Systems and methods for providing features in a friction display wherein a haptic effect is configured to vary the coefficient of friction
US8572513B2 (en) 2009-03-16 2013-10-29 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
KR101553842B1 (ko) 2009-04-21 2015-09-17 엘지전자 주식회사 멀티 햅틱 효과를 제공하는 휴대 단말기 및 그 제어방법
US9658760B2 (en) 2009-05-07 2017-05-23 Creative Technology Ltd. Methods for searching digital files on a user interface
JP2010268086A (ja) * 2009-05-13 2010-11-25 Nec Saitama Ltd 携帯端末装置およびその着信報知出力制御方法
US8279194B2 (en) 2009-05-22 2012-10-02 Elo Touch Solutions, Inc. Electrode configurations for projected capacitive touch screen
KR101597553B1 (ko) 2009-05-25 2016-02-25 엘지전자 주식회사 기능 실행 방법 및 그 장치
US20100302042A1 (en) 2009-05-28 2010-12-02 David Barnett Sensor-based independent living assistant
US8271898B1 (en) 2009-06-04 2012-09-18 Mellmo Inc. Predictive scrolling
US8254957B2 (en) 2009-06-16 2012-08-28 Intel Corporation Context-based limitation of mobile device operation
KR20100136156A (ko) 2009-06-18 2010-12-28 삼성전자주식회사 터치스크린을 구비하는 휴대 단말기의 화면 스크롤 방법 및 장치
US8310458B2 (en) 2009-07-06 2012-11-13 Research In Motion Limited Electronic device including a moveable touch-sensitive input and method of controlling same
US20110017828A1 (en) * 2009-07-24 2011-01-27 Jadak, Llc Handheld optical imaging device and method
US8378798B2 (en) 2009-07-24 2013-02-19 Research In Motion Limited Method and apparatus for a touch-sensitive display
US8477106B2 (en) 2009-07-29 2013-07-02 Elo Touch Solutions, Inc. System and method for a projected capacitive touchscreen having weight based coordinate determination
US20110053577A1 (en) * 2009-08-31 2011-03-03 Lee Changkee Methods and apparatus for communicating by vibrating or moving mobile devices
US20110055753A1 (en) 2009-08-31 2011-03-03 Horodezky Samuel J User interface methods providing searching functionality
US9176962B2 (en) 2009-09-07 2015-11-03 Apple Inc. Digital media asset browsing with audio cues
US20110074695A1 (en) 2009-09-25 2011-03-31 Peter William Rapp Device, Method, and Graphical User Interface Using Mid-Drag Gestures
US20130053657A1 (en) 2009-09-28 2013-02-28 Illuminare Holdings Ltd. Intravaginal monitoring device and network
US8131848B1 (en) 2009-09-29 2012-03-06 Jason Adam Denise Image analysis and communication device control technology
US8487759B2 (en) 2009-09-30 2013-07-16 Apple Inc. Self adapting haptic device
US9338274B2 (en) 2009-10-02 2016-05-10 Blackberry Limited Method of interacting with electronic devices in a locked state and handheld electronic device configured to permit interaction when in a locked state
US8279052B2 (en) 2009-11-04 2012-10-02 Immersion Corporation Systems and methods for haptic confirmation of commands
US9128602B2 (en) 2009-11-25 2015-09-08 Yahoo! Inc. Gallery application for content viewing
EP2328063B1 (en) 2009-11-30 2018-01-10 BlackBerry Limited Portable electronic device and method of controlling same to provide tactile feedback
US8204548B1 (en) 2009-12-01 2012-06-19 Sprint Communications Company L.P. System and method for mobile device application pre-emption
US8347238B2 (en) 2009-12-16 2013-01-01 Apple Inc. Device, method, and graphical user interface for managing user interface content and user interface elements by dynamic snapping of user interface elements to alignment guides
US20110148608A1 (en) 2009-12-18 2011-06-23 Research In Motion Limited Portable electronic device and method of control
JP5437786B2 (ja) 2009-12-21 2014-03-12 京セラ株式会社 触感呈示装置
US8386965B2 (en) 2010-01-15 2013-02-26 Apple Inc. Techniques and systems for enhancing touch screen device accessibility through virtual containers and virtually enlarged boundaries
US20110202843A1 (en) 2010-02-15 2011-08-18 Robert Paul Morris Methods, systems, and computer program products for delaying presentation of an update to a user interface
US8548418B1 (en) 2010-01-25 2013-10-01 Sprint Spectrum L.P. Methods and devices for distributing ringtone
JP5635274B2 (ja) 2010-01-27 2014-12-03 京セラ株式会社 触感呈示装置および触感呈示方法
JP5360499B2 (ja) * 2010-02-01 2013-12-04 国立大学法人東北大学 力覚提示方法および力覚提示装置
TW201205910A (en) 2010-02-03 2012-02-01 Bayer Materialscience Ag An electroactive polymer actuator haptic grip assembly
US9361018B2 (en) 2010-03-01 2016-06-07 Blackberry Limited Method of providing tactile feedback and apparatus
US8957981B2 (en) 2010-03-03 2015-02-17 Intellectual Ventures Fund 83 Llc Imaging device for capturing self-portrait images
US9170708B2 (en) 2010-04-07 2015-10-27 Apple Inc. Device, method, and graphical user interface for managing folders
KR101657543B1 (ko) 2010-06-14 2016-09-22 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
EP2378406B1 (en) 2010-04-13 2018-08-22 LG Electronics Inc. Mobile terminal and method of controlling operation of the mobile terminal
US8698766B2 (en) 2010-04-22 2014-04-15 Maxim Integrated Products, Inc. System integration of tactile feedback and touchscreen controller for near-zero latency haptics playout
CN107102721A (zh) * 2010-04-23 2017-08-29 意美森公司 用于提供触觉效果的系统和方法
US8671504B2 (en) * 2010-04-28 2014-03-18 Denso Corporation Cover of vehicle optical sensor and vehicle optical sensor device
US20110271181A1 (en) 2010-04-28 2011-11-03 Acer Incorporated Screen unlocking method and electronic apparatus thereof
US20110267294A1 (en) 2010-04-29 2011-11-03 Nokia Corporation Apparatus and method for providing tactile feedback for user
US20110267181A1 (en) 2010-04-29 2011-11-03 Nokia Corporation Apparatus and method for providing tactile feedback for user
US20110270358A1 (en) 2010-04-30 2011-11-03 Medtronic, Inc. Implantable medical device programming using gesture-based control
US8451255B2 (en) 2010-05-14 2013-05-28 Arnett Ryan Weber Method of providing tactile feedback and electronic device
EP2386935B1 (en) 2010-05-14 2015-02-11 BlackBerry Limited Method of providing tactile feedback and electronic device
US8466889B2 (en) 2010-05-14 2013-06-18 Research In Motion Limited Method of providing tactile feedback and electronic device
US20120327006A1 (en) 2010-05-21 2012-12-27 Disney Enterprises, Inc. Using tactile feedback to provide spatial awareness
US9749176B2 (en) 2010-06-29 2017-08-29 Nokia Technologies Oy Systems, methods, and apparatuses for providing adaptive user notifications
US8798534B2 (en) 2010-07-09 2014-08-05 Digimarc Corporation Mobile devices and methods employing haptics
EP2407896A1 (en) 2010-07-16 2012-01-18 Research In Motion Limited Systems and methods of user interface for image display
JP2012027875A (ja) 2010-07-28 2012-02-09 Sony Corp 電子機器、処理方法及びプログラム
US8766984B2 (en) 2010-08-20 2014-07-01 Qualcomm Incorporated Graphics rendering methods for satisfying minimum frame rate requirements
US9069760B2 (en) 2010-08-24 2015-06-30 Lg Electronics Inc. Mobile terminal and controlling method thereof
JP5656511B2 (ja) 2010-08-26 2015-01-21 京セラ株式会社 表示装置
US8676274B2 (en) 2010-08-27 2014-03-18 At&T Intellectual Property I, L.P. Devices, systems, and methods for notification of events on a wireless communication device
FR2964761B1 (fr) 2010-09-14 2012-08-31 Thales Sa Dispositif d'interaction haptique et procede de generation d'effets haptiques et sonores
DE112011101209T5 (de) 2010-09-24 2013-01-17 Qnx Software Systems Ltd. Warnmeldungs-Anzeige auf einer tragbaren elektronischen Vorrichtung
DE102010048745A1 (de) 2010-10-16 2012-04-19 Volkswagen Ag Benutzerschnittstelle und Verfahren zum Bedienen einer Benutzerschnittstelle
US20120105367A1 (en) 2010-11-01 2012-05-03 Impress Inc. Methods of using tactile force sensing for intuitive user interface
US8914743B2 (en) 2010-11-12 2014-12-16 Apple Inc. Device, method, and graphical user interface for navigating a list of identifiers
JPWO2012081182A1 (ja) 2010-12-13 2014-05-22 パナソニック株式会社 電子機器
US9223471B2 (en) 2010-12-28 2015-12-29 Microsoft Technology Licensing, Llc Touch screen control
US9052758B2 (en) 2010-12-31 2015-06-09 Blackberry Limited System and method for detecting accidental peripheral device disconnection
KR101785323B1 (ko) 2011-01-05 2017-10-17 삼성전자주식회사 휴대 단말기의 사용자 인터페이스 제공 방법 및 장치
CN102609078B (zh) 2011-01-20 2014-12-31 宏达国际电子股份有限公司 具有触觉反馈的电子装置及提供触觉反馈的方法
US8615511B2 (en) 2011-01-22 2013-12-24 Operational Transparency LLC Data visualization interface
US9158378B2 (en) 2011-02-10 2015-10-13 Kyocera Corporation Electronic device and control method for electronic device
EP2677433B1 (en) 2011-02-15 2016-05-04 NEC Corporation Portable terminal device and screen display method thereof
CN102651920A (zh) 2011-02-24 2012-08-29 腾讯科技（深圳）有限公司 基于移动通信终端的操作提示方法及移动通信终端
US8749349B2 (en) * 2011-03-11 2014-06-10 Nokia Corporation Method apparatus and computer program
US20120249461A1 (en) 2011-04-01 2012-10-04 Analog Devices, Inc. Dedicated user interface controller for feedback responses
JPWO2012137946A1 (ja) 2011-04-06 2014-07-28 京セラ株式会社 電子機器、操作制御方法および操作制御プログラム
US9448713B2 (en) 2011-04-22 2016-09-20 Immersion Corporation Electro-vibrotactile display
US9218727B2 (en) 2011-05-12 2015-12-22 Apple Inc. Vibration in portable devices
US8717151B2 (en) 2011-05-13 2014-05-06 Qualcomm Incorporated Devices and methods for presenting information to a user on a tactile output surface of a mobile device
US20120306790A1 (en) 2011-06-02 2012-12-06 Electronics And Telecommunications Research Institute Film type apparatus for providing haptic feedback and touch screen including the same
US9383820B2 (en) 2011-06-03 2016-07-05 Apple Inc. Custom vibration patterns
US9083821B2 (en) 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
EP2712441B1 (en) * 2011-06-05 2020-09-23 Apple Inc. Systems and methods for displaying notifications received from multiple applications
EP2535134B1 (de) 2011-06-16 2018-01-24 Klingelnberg AG Verfahren zum Vorverzahnen mehrerer unterschiedlicher Kegelräder
CN102330123A (zh) 2011-07-27 2012-01-25 太仓市金鹿电镀有限公司 一种连续镀金工艺
US20130031507A1 (en) 2011-07-28 2013-01-31 Moses George Systems and methods for scrolling a document by providing visual feedback of a transition between portions of the document
US9880640B2 (en) 2011-10-06 2018-01-30 Amazon Technologies, Inc. Multi-dimensional interface
GB2495486A (en) 2011-10-07 2013-04-17 Hiwave Technologies Uk Ltd Contextual haptic feedback in response to touch input
JP5899845B2 (ja) 2011-11-15 2016-04-06 セイコーエプソン株式会社 画像記録装置
CN102420906A (zh) * 2011-12-01 2012-04-18 华为终端有限公司 提示方法和用户终端
KR101597561B1 (ko) * 2011-12-15 2016-03-07 엘지전자 주식회사 햅틱 전송 방법 및 그 이동 단말기
US9223472B2 (en) 2011-12-22 2015-12-29 Microsoft Technology Licensing, Llc Closing applications
KR101919617B1 (ko) 2011-12-27 2018-11-16 엘지전자 주식회사 어포던스와 인터랙션이 강화된 사용자 인터페이스
US9032385B2 (en) 2011-12-28 2015-05-12 Lg Electronics Inc. Mobile terminal and control method thereof
US8812994B2 (en) 2011-12-29 2014-08-19 Apple Inc. Device, method, and graphical user interface for configuring restricted interaction with a user interface
US9092953B1 (en) 2012-01-24 2015-07-28 Bruce J. P. Mortimer System and method for providing a remote haptic stimulus
JP5590345B2 (ja) * 2012-02-01 2014-09-17 シャープ株式会社 入出力装置、入出力方法、及び入出力プログラム
US9411423B2 (en) 2012-02-08 2016-08-09 Immersion Corporation Method and apparatus for haptic flex gesturing
US8493354B1 (en) 2012-08-23 2013-07-23 Immersion Corporation Interactivity model for shared feedback on mobile devices
WO2013124099A1 (en) * 2012-02-20 2013-08-29 Sony Mobile Communications Ab Touch screen interface with feedback
CN102622175B (zh) 2012-02-24 2019-03-12 中兴通讯股份有限公司 一种在触摸屏设备上新建文件夹的方法及终端
US20130222224A1 (en) * 2012-02-24 2013-08-29 Marcus Eriksson Device, System and Method for Generating Display Data
US20130225300A1 (en) 2012-02-28 2013-08-29 Timothy J. Brinlee Apparatus for personalized gaming environment
US20130234929A1 (en) 2012-03-07 2013-09-12 Evernote Corporation Adapting mobile user interface to unfavorable usage conditions
US9247525B2 (en) 2012-03-16 2016-01-26 Qualcomm Incorporated Systems and methods for providing notifications
US9934713B2 (en) 2012-03-28 2018-04-03 Qualcomm Incorporated Multifunction wristband
US8881269B2 (en) 2012-03-31 2014-11-04 Apple Inc. Device, method, and graphical user interface for integrating recognition of handwriting gestures with a screen reader
WO2013156815A1 (en) 2012-04-18 2013-10-24 Nokia Corporation A display apparatus with haptic feedback
JP5987443B2 (ja) 2012-04-19 2016-09-07 富士通株式会社 操作動作検出装置、操作動作検出方法、及びプログラム
US9317119B2 (en) 2012-04-27 2016-04-19 Panasonic Intellectual Property Management Co., Ltd. Haptic feedback device, haptic feedback method, driving signal generating device and driving signal generation method
US20130290442A1 (en) * 2012-04-30 2013-10-31 Emoze Ltd. Downloaded attachments flow
CN108241465B (zh) 2012-05-09 2021-03-09 苹果公司 用于针对在用户界面中执行的操作提供触觉反馈的方法和装置
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
US10097496B2 (en) 2012-05-09 2018-10-09 Apple Inc. Electronic mail user interface
CN104487929B (zh) 2012-05-09 2018-08-17 苹果公司 用于响应于用户接触来显示附加信息的设备、方法和图形用户界面
US9804759B2 (en) 2012-05-09 2017-10-31 Apple Inc. Context-specific user interfaces
KR101670570B1 (ko) 2012-05-09 2016-10-28 애플 인크. 사용자 인터페이스 객체를 선택하는 디바이스, 방법, 및 그래픽 사용자 인터페이스
DE112013002381T5 (de) 2012-05-09 2015-02-26 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Bewegung und Ablegen eines Benutzerschnittstellenobjekts
KR101823288B1 (ko) 2012-05-09 2018-01-29 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
EP2847662B1 (en) 2012-05-09 2020-02-19 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169303A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Adaptive haptic feedback for electronic devices
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
US20130300684A1 (en) * 2012-05-11 2013-11-14 Samsung Electronics Co. Ltd. Apparatus and method for executing multi applications
US8570296B2 (en) * 2012-05-16 2013-10-29 Immersion Corporation System and method for display of multiple data channels on a single haptic display
US9891709B2 (en) 2012-05-16 2018-02-13 Immersion Corporation Systems and methods for content- and context specific haptic effects using predefined haptic effects
CN106133748B (zh) 2012-05-18 2020-01-31 苹果公司 用于基于指纹传感器输入来操纵用户界面的设备、方法和图形用户界面
US20130318437A1 (en) 2012-05-22 2013-11-28 Samsung Electronics Co., Ltd. Method for providing ui and portable apparatus applying the same
US8948821B2 (en) * 2012-05-27 2015-02-03 Qualcomm Incorporated Notification based on user context
US9348607B2 (en) 2012-06-07 2016-05-24 Apple Inc. Quiet hours for notifications
KR101305735B1 (ko) 2012-06-15 2013-09-06 성균관대학교산학협력단 촉각 효과의 제공 방법 및 장치
US8712383B1 (en) * 2012-06-21 2014-04-29 Google Inc. Tactile output device for computing device notifications
US8886576B1 (en) 2012-06-22 2014-11-11 Google Inc. Automatic label suggestions for albums based on machine learning
US9641239B2 (en) 2012-06-22 2017-05-02 Fitbit, Inc. Adaptive data transfer using bluetooth
DE102012211163A1 (de) 2012-06-28 2014-06-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Empfangen einer Eingabe auf einem berührungsempfindlichen Feld
US20140007005A1 (en) 2012-06-29 2014-01-02 Evernote Corporation Scrollable calendar with combined date and time controls
US20140002376A1 (en) 2012-06-29 2014-01-02 Immersion Corporation Method and apparatus for providing shortcut touch gestures with haptic feedback
US9110562B1 (en) 2012-07-26 2015-08-18 Google Inc. Snapping a pointing-indicator to a scene boundary of a video
US20150156196A1 (en) 2012-07-31 2015-06-04 Intellectual Discovery Co., Ltd. Wearable electronic device and method for controlling same
US9256366B2 (en) 2012-08-14 2016-02-09 Google Technology Holdings LLC Systems and methods for touch-based two-stage text input
CN102843681A (zh) 2012-08-15 2012-12-26 腾讯科技（深圳）有限公司 信息交互方法和装置
US9280206B2 (en) 2012-08-20 2016-03-08 Samsung Electronics Co., Ltd. System and method for perceiving images with multimodal feedback
US8896524B2 (en) * 2012-08-24 2014-11-25 Immersion Corporation Context-dependent haptic confirmation system
EP2703947B1 (de) 2012-08-27 2019-02-27 Siemens Aktiengesellschaft Bedieneinrichtung für ein technisches System
KR102008916B1 (ko) 2012-09-07 2019-08-08 삼성전자주식회사 미확인 콘텐츠 표시 방법 및 그 전자 장치
US10042603B2 (en) 2012-09-20 2018-08-07 Samsung Electronics Co., Ltd. Context aware service provision method and apparatus of user device
WO2014049392A1 (en) 2012-09-25 2014-04-03 Nokia Corporation Method and display device with tactile feedback
US20150234464A1 (en) 2012-09-28 2015-08-20 Nokia Technologies Oy Apparatus displaying animated image combined with tactile output
US8743072B2 (en) 2012-09-28 2014-06-03 Lg Electronics Inc. Display device and control method thereof
US9178509B2 (en) 2012-09-28 2015-11-03 Apple Inc. Ultra low travel keyboard
US9196134B2 (en) 2012-10-31 2015-11-24 Immersion Corporation Method and apparatus for simulating surface features on a user interface with haptic effects
CN103809884B (zh) 2012-11-07 2019-02-05 联想(北京)有限公司 一种触控反馈方法、触控反馈屏及电子设备
US9836150B2 (en) * 2012-11-20 2017-12-05 Immersion Corporation System and method for feedforward and feedback with haptic effects
US20150301697A1 (en) 2012-11-20 2015-10-22 Jolla Oy A graphical user interface for a portable computing device
CN104395866B (zh) 2012-11-30 2018-02-23 松下知识产权经营株式会社 触觉提示装置及触觉提示方法
CN103843842A (zh) 2012-12-03 2014-06-11 青岛艾华隆生物科技有限公司 一种高效无毒农药及其制备方法
KR102091077B1 (ko) 2012-12-14 2020-04-14 삼성전자주식회사 입력 유닛의 피드백을 제어하는 휴대 단말 및 방법과, 이를 제공하는 상기 입력 유닛 및 방법
JP6094198B2 (ja) 2012-12-17 2017-03-15 カシオ計算機株式会社 携帯型電子装置、通信システム、報知動作制御方法、及び、プログラム
CN103869960B (zh) 2012-12-18 2018-02-23 富泰华工业（深圳）有限公司 触感反馈系统及其提供触感反馈的方法
US9202350B2 (en) 2012-12-19 2015-12-01 Nokia Technologies Oy User interfaces and associated methods
US9223403B2 (en) 2012-12-19 2015-12-29 Panasonic Intellectual Property Management Co., Ltd. Tactile input and output device
US9128523B2 (en) 2012-12-20 2015-09-08 Amazon Technologies, Inc. Dynamically generating haptic effects from audio data
US9213478B2 (en) 2012-12-21 2015-12-15 Business Objects Software Visualization interaction design for cross-platform utilization
US9432323B2 (en) 2012-12-21 2016-08-30 Blackberry Limited Method, system and apparatus for providing notifications for different workspaces
US9323327B2 (en) 2012-12-22 2016-04-26 Intel Corporation System and method for providing tactile feedback
US9285880B2 (en) 2012-12-26 2016-03-15 Panasonic Intellectual Property Management Co., Ltd. Touch panel device and method of controlling a touch panel device
CN104885050B (zh) 2012-12-29 2017-12-08 苹果公司 用于确定是滚动还是选择内容的设备、方法和图形用户界面
EP2939095B1 (en) 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
EP2912542B1 (en) 2012-12-29 2022-07-13 Apple Inc. Device and method for forgoing generation of tactile output for a multi-contact gesture
KR101727047B1 (ko) 2012-12-31 2017-04-14 엘지전자 주식회사 진동 발생 장치 및 방법
US9417740B2 (en) 2013-01-03 2016-08-16 Nokia Technologies Oy Capacitive sensing apparatus with a shield electrode
KR20140090318A (ko) 2013-01-07 2014-07-17 삼성전자주식회사 햅틱 기반 카메라 운용 지원 방법 및 이를 지원하는 단말기
US9098991B2 (en) 2013-01-15 2015-08-04 Fitbit, Inc. Portable monitoring devices and methods of operating the same
US9088668B1 (en) 2013-01-24 2015-07-21 Amazon Technologies, Inc. Configuring notification intensity level using device sensors
US9699130B2 (en) 2013-01-24 2017-07-04 International Business Machines Corporation User interface with recipient status indication
KR20140095712A (ko) 2013-01-25 2014-08-04 삼성전자주식회사 알림 제어 방법 및 그 전자 장치
KR102087005B1 (ko) 2013-01-31 2020-03-11 삼성전자 주식회사 페이지 검색 방법 및 이를 지원하는 단말기
KR20140098384A (ko) * 2013-01-31 2014-08-08 삼성전자주식회사 복수의 터치스크린을 가지는 휴대 장치 및 복수의 터치스크린을 가지는 휴대 장치의 사운드 출력방법
US10775888B2 (en) 2013-02-15 2020-09-15 Facebook, Inc. Method and system for integrating haptic feedback into portable electronic devices
US20140232679A1 (en) 2013-02-17 2014-08-21 Microsoft Corporation Systems and methods to protect against inadvertant actuation of virtual buttons on touch surfaces
WO2014128021A1 (en) 2013-02-19 2014-08-28 Thomson Licensing Method and apparatus for notifying missed events
US10504339B2 (en) 2013-02-21 2019-12-10 Immersion Corporation Mobile device with instinctive alerts
KR102104910B1 (ko) 2013-02-28 2020-04-27 삼성전자주식회사 입력 유닛에 촉각 피드백을 제공하는 휴대 장치 및 그 방법
US8754757B1 (en) 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US10795528B2 (en) 2013-03-06 2020-10-06 Nuance Communications, Inc. Task assistant having multiple visual displays
US9854084B2 (en) 2013-03-06 2017-12-26 Google Llc Contextual alarm and notification management
US9189098B2 (en) 2013-03-14 2015-11-17 Immersion Corporation Systems and methods for syncing haptic feedback calls
US9436282B2 (en) 2013-03-14 2016-09-06 Immersion Corporation Contactor-based haptic feedback generation
US9632986B2 (en) 2013-03-14 2017-04-25 Aol Inc. Systems and methods for horizontally paginating HTML content
US9471200B2 (en) 2013-03-15 2016-10-18 Apple Inc. Device, method, and graphical user interface for organizing and presenting a collection of media items
WO2014149498A2 (en) 2013-03-15 2014-09-25 First Data Corporation Remote secure transactions
US20140267076A1 (en) 2013-03-15 2014-09-18 Immersion Corporation Systems and Methods for Parameter Modification of Haptic Effects
KR101666393B1 (ko) 2013-03-27 2016-10-14 한국전자통신연구원 음향효과를 이용한 촉각효과 재생 장치 및 방법
US20140292668A1 (en) 2013-04-01 2014-10-02 Lenovo (Singapore) Pte. Ltd. Touch input device haptic feedback
KR102115397B1 (ko) 2013-04-01 2020-05-26 삼성전자주식회사 휴대 장치 및 휴대 장치의 재생목록 표시 방법
US20140292706A1 (en) 2013-04-01 2014-10-02 Lenovo (Singapore) Pte. Ltd. Non-visual touch input targeting
US9507495B2 (en) 2013-04-03 2016-11-29 Blackberry Limited Electronic device and method of displaying information in response to a gesture
US9997032B2 (en) 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US9075435B1 (en) 2013-04-22 2015-07-07 Amazon Technologies, Inc. Context-aware notifications
JP6131091B2 (ja) 2013-04-22 2017-05-17 シャープ株式会社 情報処理装置および制御プログラム
JP6297787B2 (ja) 2013-04-25 2018-03-20 京セラ株式会社 携帯電子機器
KR20160002941A (ko) 2013-04-26 2016-01-08 임머숀 코퍼레이션 플렉서블 디스플레이를 위한 수동 강성 및 능동 변형 햅틱 출력 장치
US9939900B2 (en) 2013-04-26 2018-04-10 Immersion Corporation System and method for a haptically-enabled deformable surface
US20140329567A1 (en) 2013-05-01 2014-11-06 Elwha Llc Mobile device with automatic volume control
US20140331162A1 (en) 2013-05-06 2014-11-06 Sap Ag Quick time-related data entry
US20140340316A1 (en) 2013-05-14 2014-11-20 Microsoft Corporation Feedback for Gestures
JP6157215B2 (ja) 2013-05-23 2017-07-05 キヤノン株式会社 表示制御装置及びその制御方法
US9274603B2 (en) 2013-05-24 2016-03-01 Immersion Corporation Method and apparatus to provide haptic feedback based on media content and one or more external parameters
KR102161230B1 (ko) 2013-05-28 2020-09-29 삼성전자주식회사 멀티미디어 콘텐츠 검색을 위한 사용자 인터페이스 방법 및 장치
US20140358709A1 (en) 2013-05-31 2014-12-04 Mastercard Asia Pacific Pte. Ltd. Card Present Transaction Authentication by Short Messaging Service
DE102013210522A1 (de) 2013-06-06 2014-12-11 Aktiebolaget Skf Wälzlager
US9103681B2 (en) * 2013-06-08 2015-08-11 Apple Inc. Navigation application with several navigation modes
JP6093659B2 (ja) 2013-06-24 2017-03-08 シャープ株式会社 情報処理装置、および情報処理プログラム
US9804675B2 (en) 2013-06-27 2017-10-31 Elwha Llc Tactile feedback generated by non-linear interaction of surface acoustic waves
US9729730B2 (en) 2013-07-02 2017-08-08 Immersion Corporation Systems and methods for perceptual normalization of haptic effects
JP2015015600A (ja) 2013-07-04 2015-01-22 シャープ株式会社 携帯端末、制御方法
US10359857B2 (en) 2013-07-18 2019-07-23 Immersion Corporation Usable hidden controls with haptic feedback
US10037081B2 (en) 2013-08-12 2018-07-31 Immersion Corporation Systems and methods for haptic fiddling
KR101375613B1 (ko) 2013-08-14 2014-03-20 건국대학교 산학협력단 레이저를 이용하여 촉감을 제공하는 전자 장치 및 이를 이용한 방법
US9124720B2 (en) * 2013-08-19 2015-09-01 Lisa Marie West Driving cannot text noncontrolling cell phone app system and method
US20150054727A1 (en) * 2013-08-23 2015-02-26 Immersion Corporation Haptically enabled viewing of sporting events
US9652945B2 (en) 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9898085B2 (en) 2013-09-06 2018-02-20 Immersion Corporation Haptic conversion system using segmenting and combining
US9514620B2 (en) 2013-09-06 2016-12-06 Immersion Corporation Spatialized haptic feedback based on dynamically scaled values
JP6667987B2 (ja) 2013-09-06 2020-03-18 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚フィードバックを提供するための制御トラックを変換する方法及び装置
US9558637B2 (en) 2013-09-10 2017-01-31 Immersion Corporation Systems and methods for performing haptic conversion
JP6127853B2 (ja) 2013-09-13 2017-05-17 富士通株式会社 情報処理装置、方法及びプログラム
US20150078586A1 (en) 2013-09-16 2015-03-19 Amazon Technologies, Inc. User input with fingerprint sensor
US9892200B2 (en) 2013-09-18 2018-02-13 Ebay Inc. Location-based and alter-ego queries
US9553872B2 (en) * 2013-09-20 2017-01-24 Verizon Patent And Licensing Inc. Method and system for providing zero sign on user authentication
US9213408B2 (en) * 2013-10-08 2015-12-15 Immersion Corporation Generating haptic effects while minimizing cascading
US20150103015A1 (en) * 2013-10-10 2015-04-16 Blackberry Limited Devices and methods for generating tactile feedback
US9430796B1 (en) * 2013-10-16 2016-08-30 Google Inc. Direct purchase from user-received advertisement
GB2519558A (en) 2013-10-24 2015-04-29 Ibm Touchscreen device with motion sensor
CN104599121B (zh) 2013-10-30 2017-04-12 腾讯科技（深圳）有限公司 一种信息传输方法、装置和系统
US9189932B2 (en) 2013-11-06 2015-11-17 Andrew Kerdemelidis Haptic notification apparatus and method
KR101504237B1 (ko) 2013-11-15 2015-03-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9639158B2 (en) 2013-11-26 2017-05-02 Immersion Corporation Systems and methods for generating friction and vibrotactile effects
US9671826B2 (en) 2013-11-27 2017-06-06 Immersion Corporation Method and apparatus of body-mediated digital content transfer and haptic feedback
US9411422B1 (en) 2013-12-13 2016-08-09 Audible, Inc. User interaction with content markers
GB2521225A (en) 2013-12-16 2015-06-17 Vicast Ltd A method and apparatus for cataloguing data items
KR102225031B1 (ko) 2014-01-14 2021-03-09 엘지전자 주식회사 단말기 및 그 동작 방법
US9766852B2 (en) 2014-01-15 2017-09-19 Lenovo (Singapore) Pte. Ltd. Non-audio notification of audible events
WO2015116056A1 (en) 2014-01-29 2015-08-06 Hewlett-Packard Development Company, L.P. Force feedback
US10726018B2 (en) 2014-02-10 2020-07-28 Microsoft Technology Licensing, Llc Semantic matching and annotation of attributes
EP2908236A1 (en) 2014-02-13 2015-08-19 Samsung Electronics Co., Ltd Electronic device and index display method thereof
US9836123B2 (en) 2014-02-13 2017-12-05 Mide Technology Corporation Bussed haptic actuator system and method
WO2015126095A1 (ko) 2014-02-21 2015-08-27 삼성전자 주식회사 전자 장치
KR102102647B1 (ko) 2014-02-21 2020-04-21 엘지전자 주식회사 무선 리시버 및 그 제어 방법
JP2015166890A (ja) 2014-03-03 2015-09-24 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
KR102335217B1 (ko) 2014-03-05 2021-12-03 삼성전자 주식회사 전류 또는 전력 소모량을 이용한 애플리케이션 프로세서의 구동 방법 및 모바일 장치
US10417570B2 (en) 2014-03-06 2019-09-17 Verizon Patent And Licensing Inc. Systems and methods for probabilistic semantic sensing in a sensory network
JP2015170173A (ja) 2014-03-07 2015-09-28 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP6381240B2 (ja) 2014-03-14 2018-08-29 キヤノン株式会社 電子機器、触感制御方法及びプログラム
US9639231B2 (en) 2014-03-17 2017-05-02 Google Inc. Adjusting information depth based on user's attention
CN104932681B (zh) 2014-03-21 2019-09-20 意美森公司 触觉效果的自动调整
CN106104426B (zh) 2014-03-21 2020-04-03 意美森公司 用于基于力的对象操纵和触觉检测的系统、方法和计算机可读介质
JP2015185137A (ja) 2014-03-26 2015-10-22 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR102243680B1 (ko) 2014-04-07 2021-04-23 엘지전자 주식회사 투명 플렉서블 디스플레이 장치 및 그 장치의 제어 방법
KR20150118813A (ko) 2014-04-15 2015-10-23 삼성전자주식회사 햅틱 정보 운용 방법 및 이를 지원하는 전자 장치
US10162505B2 (en) 2014-04-17 2018-12-25 Blackberry Limited System and method for enabling customized notifications on an electronic device
JP6322830B2 (ja) 2014-05-09 2018-05-16 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システム、および情報処理方法
US9507420B2 (en) 2014-05-13 2016-11-29 Qualcomm Incorporated System and method for providing haptic feedback to assist in capturing images
CN105099688B (zh) * 2014-05-15 2018-12-21 阿里巴巴集团控股有限公司 一种电子账户的操作方法、支付页面的展示方法及装置
KR102204554B1 (ko) 2014-05-27 2021-01-19 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US11343335B2 (en) 2014-05-29 2022-05-24 Apple Inc. Message processing by subscriber app prior to message forwarding
US9733880B2 (en) 2014-05-30 2017-08-15 Immersion Corporation Haptic notification manager
US11256294B2 (en) 2014-05-30 2022-02-22 Apple Inc. Continuity of applications across devices
US9898162B2 (en) 2014-05-30 2018-02-20 Apple Inc. Swiping functions for messaging applications
US9971500B2 (en) 2014-06-01 2018-05-15 Apple Inc. Displaying options, assigning notification, ignoring messages, and simultaneous user interface displays in a messaging application
US9588586B2 (en) 2014-06-09 2017-03-07 Immersion Corporation Programmable haptic devices and methods for modifying haptic strength based on perspective and/or proximity
US9648062B2 (en) 2014-06-12 2017-05-09 Apple Inc. Systems and methods for multitasking on an electronic device with a touch-sensitive display
US20140320402A1 (en) 2014-07-14 2014-10-30 Immersion Corporation Self calibration for haptic devices
US9710063B2 (en) 2014-07-21 2017-07-18 Immersion Corporation Systems and methods for determining haptic effects for multi-touch input
WO2016017978A1 (en) 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Device and method for performing functions
US20160036996A1 (en) 2014-08-02 2016-02-04 Sony Corporation Electronic device with static electric field sensor and related method
DE202015005999U1 (de) 2014-08-26 2015-11-26 Apple Inc. Benutzerschnittstelle zum Einschränken von Meldungen und Alarmen
WO2016036509A1 (en) 2014-09-02 2016-03-10 Apple Inc. Electronic mail user interface
KR102019505B1 (ko) 2014-09-02 2019-09-06 애플 인크. 햅틱 통지
CN115756154A (zh) 2014-09-02 2023-03-07 苹果公司 用于可变触觉输出的语义框架
US9659482B2 (en) 2014-09-02 2017-05-23 Apple Inc. Context-based alerts for an electronic device
US9977573B2 (en) 2014-10-31 2018-05-22 Microsoft Technology Licensing, Llc Facilitating interaction between users and their environments using a headset having input mechanisms
GB2532766A (en) 2014-11-27 2016-06-01 Ibm Interaction with a graph for device control
KR101666532B1 (ko) 2014-12-01 2016-10-14 김정훈 실시간 진동 피드백을 제공하는 진동 마우스
US10764424B2 (en) 2014-12-05 2020-09-01 Microsoft Technology Licensing, Llc Intelligent digital assistant alarm system for application collaboration with notification presentation
KR102230523B1 (ko) 2014-12-08 2021-03-19 신상현 이동 단말기
CN104536643B (zh) 2014-12-10 2018-05-29 广东欧珀移动通信有限公司 一种图标拖动方法及终端
GB2533572A (en) 2014-12-22 2016-06-29 Nokia Technologies Oy Haptic output methods and devices
US9665960B1 (en) 2014-12-22 2017-05-30 Amazon Technologies, Inc. Image-based item location identification
US9466188B2 (en) * 2014-12-24 2016-10-11 Immersion Corporation Systems and methods for haptically-enabled alarms
US9851805B2 (en) 2014-12-24 2017-12-26 Immersion Corporation Systems and methods for haptically-enabled holders
DE102015200036A1 (de) 2015-01-05 2016-07-07 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung in einem Kraftfahrzeug zur Eingabe von Daten mit zwei Eingabearten und haptischer Rückkopplung
US9794402B2 (en) 2015-01-12 2017-10-17 Apple Inc. Updating device behavior based on user behavior
US9619034B2 (en) 2015-02-25 2017-04-11 Immersion Corporation Overlaying of haptic effects
US9600094B2 (en) 2015-03-04 2017-03-21 Lenovo (Singapore) Pte. Ltd. Apparatus, method, and program product for directing motion of a writing device
US10055121B2 (en) 2015-03-07 2018-08-21 Apple Inc. Activity based thresholds and feedbacks
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9542037B2 (en) 2015-03-08 2017-01-10 Apple Inc. Device, method, and user interface for processing intensity of touch contacts
US9788138B2 (en) 2015-04-03 2017-10-10 Snaptrack, Inc. Methods and systems of allocating application functions to motion-correlated devices
US10466861B2 (en) 2015-04-21 2019-11-05 Apple Inc. Adaptive user interfaces
WO2016171848A1 (en) 2015-04-23 2016-10-27 Thomson Licensing Vibration signatures for intelligent alerts
KR102307303B1 (ko) * 2015-05-20 2021-09-30 엘지전자 주식회사 이동단말기 및 그 제어방법
US9844984B2 (en) * 2015-05-22 2017-12-19 General Motors Llc Vehicle tire gauge systems
KR102423184B1 (ko) 2015-05-29 2022-07-21 삼성전자주식회사 화면 출력 방법 및 이를 지원하는 전자 장치
US20160357354A1 (en) 2015-06-04 2016-12-08 Apple Inc. Condition-based activation of a user interface
US9529500B1 (en) * 2015-06-05 2016-12-27 Apple Inc. Application recommendation based on detected triggering events
US10275116B2 (en) 2015-06-07 2019-04-30 Apple Inc. Browser with docked tabs
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9658704B2 (en) 2015-06-10 2017-05-23 Apple Inc. Devices and methods for manipulating user interfaces with a stylus
US10055048B2 (en) 2015-07-31 2018-08-21 Apple Inc. Noise adaptive force touch
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10034129B1 (en) 2015-08-24 2018-07-24 Groupon, Inc. Mobile proximity based messages
US11099650B1 (en) 2015-09-07 2021-08-24 Oliver Markus Haynold Camera with improved shutter button
US9928029B2 (en) 2015-09-08 2018-03-27 Apple Inc. Device, method, and graphical user interface for providing audiovisual feedback
UA118951U (uk) 2015-09-17 2017-09-11 Микола Сергійович Лещенко Спосіб представлення контенту користувачу
CN107735749A (zh) 2015-09-22 2018-02-23 意美森公司 基于压力的触觉
KR101708319B1 (ko) 2015-10-12 2017-02-20 엘지전자 주식회사 와치 타입 단말기
US20170185729A1 (en) 2015-11-18 2017-06-29 Srinidhi Boray Methods and systems of a hyperbolic-dirac-net-based bioingine platform and ensemble of applications
KR102521214B1 (ko) 2016-01-19 2023-04-13 삼성전자주식회사 사용자 인터페이스를 표시하는 방법 및 이를 지원하는 전자 장치
DK179657B1 (en) 2016-06-12 2019-03-13 Apple Inc. Devices, methods and graphical user interfaces for providing haptic feedback
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US11036387B2 (en) 2017-05-16 2021-06-15 Apple Inc. Devices, methods, and graphical user interfaces for navigating between user interfaces and interacting with control objects
US10365719B2 (en) 2017-07-26 2019-07-30 Google Llc Haptic feedback of user interface scrolling with synchronized visual animation components
US10712824B2 (en) * 2018-09-11 2020-07-14 Apple Inc. Content-based tactile outputs
US10674072B1 (en) 2019-05-06 2020-06-02 Apple Inc. User interfaces for capturing and managing visual media

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090113186A (ko) * 2008-04-25 2009-10-29 리서치 인 모션 리미티드 터치 감지형 입력 표면을 포함하는 전자 디바이스 및 사용자 선택 입력의 판정 방법
KR20100056396A (ko) * 2008-11-18 2010-05-27 스튜더 프로페시오날 아우디오 게엠베하 입력 장치 및 입력 장치에 의한 사용자 입력의 검출 방법

Also Published As

Publication number Publication date
KR20190140095A (ko) 2019-12-18
AU2018202796A1 (en) 2018-05-10
AU2020202916B9 (en) 2021-07-08
US9542820B2 (en) 2017-01-10
KR102096146B1 (ko) 2020-04-28
US20200111334A1 (en) 2020-04-09
AU2023204608A1 (en) 2023-08-03
KR20170037664A (ko) 2017-04-04
WO2016036447A4 (en) 2016-07-28
KR102174122B1 (ko) 2020-11-04
US20160062464A1 (en) 2016-03-03
AU2015312344B2 (en) 2018-04-19
TWI621011B (zh) 2018-04-11
JP6538825B2 (ja) 2019-07-03
US20160063825A1 (en) 2016-03-03
US10089840B2 (en) 2018-10-02
JP2023040093A (ja) 2023-03-22
KR102056298B1 (ko) 2019-12-16
JP7203135B2 (ja) 2023-01-12
KR102373337B1 (ko) 2022-03-11
KR20230025717A (ko) 2023-02-22
US10504340B2 (en) 2019-12-10
KR102521953B1 (ko) 2023-04-14
WO2016036447A3 (en) 2016-06-09
TW201629762A (zh) 2016-08-16
US11790739B2 (en) 2023-10-17
US10977911B2 (en) 2021-04-13
AU2021203205B2 (en) 2023-04-13
US20160063827A1 (en) 2016-03-03
US9830784B2 (en) 2017-11-28
AU2021203205A1 (en) 2021-06-10
KR20220032655A (ko) 2022-03-15
US20160063828A1 (en) 2016-03-03
US20160062466A1 (en) 2016-03-03
TW201712539A (zh) 2017-04-01
CN115700434A (zh) 2023-02-07
AU2018202796B2 (en) 2020-03-05
AU2015312344A1 (en) 2017-03-09
AU2020202916A1 (en) 2020-05-21
US10417879B2 (en) 2019-09-17
KR20220166376A (ko) 2022-12-16
US9928699B2 (en) 2018-03-27
JP2021101350A (ja) 2021-07-08
CN115963922A (zh) 2023-04-14
KR20200124779A (ko) 2020-11-03
US20180082552A1 (en) 2018-03-22
KR102475306B1 (ko) 2022-12-08
US20210192904A1 (en) 2021-06-24
US20230351869A1 (en) 2023-11-02
JP2019133693A (ja) 2019-08-08
JP2017531850A (ja) 2017-10-26
KR102497720B1 (ko) 2023-02-10
EP3189395A2 (en) 2017-07-12
KR20190004845A (ko) 2019-01-14
WO2016036447A2 (en) 2016-03-10
CN115756154A (zh) 2023-03-07
AU2020202916B2 (en) 2021-07-01
EP3964931A1 (en) 2022-03-09
CN115756151A (zh) 2023-03-07
JP6849722B2 (ja) 2021-03-24
US20160062465A1 (en) 2016-03-03
KR102275700B1 (ko) 2021-07-09
CN106575230A (zh) 2017-04-19
TWI604302B (zh) 2017-11-01

Similar Documents

Publication Publication Date Title
JP7203135B2 (ja) 可変触覚出力のための意味論的フレームワーク

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant