KR101947229B1 - 2개 이상의 디스플레이들을 동기화하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스 - Google Patents

2개 이상의 디스플레이들을 동기화하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스 Download PDF

Info

Publication number
KR101947229B1
KR101947229B1 KR1020157036936A KR20157036936A KR101947229B1 KR 101947229 B1 KR101947229 B1 KR 101947229B1 KR 1020157036936 A KR1020157036936 A KR 1020157036936A KR 20157036936 A KR20157036936 A KR 20157036936A KR 101947229 B1 KR101947229 B1 KR 101947229B1
Authority
KR
South Korea
Prior art keywords
display
input
user interface
delete delete
vehicle
Prior art date
Application number
KR1020157036936A
Other languages
English (en)
Other versions
KR20160014047A (ko
Inventor
저스틴 산타마리아
임란 차우드리
도날드 더블유. 핏셸
조지 피노
에밀리 클락 슈베르트
조슈아 에이치. 샤페르
밥 브래들리
에릭 리
스콧 헤르츠
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Priority claimed from US14/291,970 external-priority patent/US9965035B2/en
Publication of KR20160014047A publication Critical patent/KR20160014047A/ko
Application granted granted Critical
Publication of KR101947229B1 publication Critical patent/KR101947229B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3605Destination input or retrieval
    • G01C21/362Destination input or retrieval received from an external device or application, e.g. PDA, mobile phone or calendar application
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42226Reprogrammable remote control devices
    • H04N21/42227Reprogrammable remote control devices the keys being reprogrammable, e.g. soft keys
    • H04N21/42228Reprogrammable remote control devices the keys being reprogrammable, e.g. soft keys the reprogrammable keys being displayed on a display screen in order to reduce the number of keys on the remote control device itself
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1095Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/724098Interfacing with an on-board device of a vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224Touch pad or touch panel provided on the remote control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/38Universal adapter
    • G06F2213/3806Mobile device
    • H04N2005/443
    • H04N2005/4441

Abstract

디바이스가, 복수의 객체들을 포함하고 제2 디스플레이 상의 제2 사용자 인터페이스에 대응하는, 제1 디스플레이 상의 제1 사용자 인터페이스를 디스플레이한다. 제1 객체가 제2 사용자 인터페이스에서 선택된 객체로서 디스플레이되는 동안, 디바이스는, 제2 객체에 관한 정보를 요청하는 제1 입력을 검출하고, 제1 입력을 검출하는 것에 응답하여, 제1 사용자 인터페이스에서 제2 객체에 관한 정보를 디스플레이하고 제2 사용자 인터페이스에서 선택된 객체로서의 제1 객체의 디스플레이를 유지한다. 그 정보를 디스플레이한 후에, 디바이스는 제2 객체를 선택하는 제2 입력을 검출한다. 제2 입력의 선택을 검출하는 것에 응답하여, 디바이스는, 제1 사용자 인터페이스에서 선택된 객체로서 제2 객체를 디스플레이하고; 제2 사용자 인터페이스가 선택된 객체로서 제2 객체를 디스플레이할 수 있게 하는 정보를 제2 디스플레이로 제공한다.

Description

2개 이상의 디스플레이들을 동기화하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스{DEVICE, METHOD, AND GRAPHICAL USER INTERFACE FOR SYNCHRONIZING TWO OR MORE DISPLAYS}
관련 출원의 상호 참조
본 출원은 2013년 3월 15일자로 출원되고 발명의 명칭이 "음성 및 터치 사용자 인터페이스(Voice and Touch User Interface)"인 미국 가출원 제61/793,924호; 2011년 2월 22일자로 출원되고 발명의 명칭이 "원격 디바이스에 의해 제공되는 디스플레이 규칙들을 이용한 원격 디바이스로의 그래픽 사용자 인터페이스의 푸싱(Pushing a Graphical User Interface to a Remote Device with Display Rules Provided by the Remote Device)"인 미국 출원 제13/032,614호; 2010년 1월 6일자로 출원되고 발명의 명칭이 "원격 디바이스로의 사용자 인터페이스의 푸싱(Pushing a User Interface to a Remote Device)"인 미국 출원 제12/683,218호; 2008년 5월 13일자로 출원되고 발명의 명칭이 "원격 디바이스로의 사용자 인터페이스의 푸싱"인 미국 출원 제12/119,960호; 2011년 7월 1일자로 출원되고 발명의 명칭이 "원격 디바이스로의 사용자 인터페이스의 푸싱"인 미국 출원 제13/175,581호; 2011년 6월 15일자로 출원되고 발명의 명칭이 "원격 디바이스에 의해 제공되는 디스플레이 규칙들을 이용한 원격 디바이스로의 그래픽 사용자 인터페이스의 푸싱"인 미국 출원 제13/161,339호; 2011년 9월 30일자로 출원되고 발명의 명칭이 "핸즈프리 상호작용을 위한 사용자 인터페이스의 자동 적응(Automatically Adapting User Interface for Hands-Free Interaction)"인 미국 출원 제13/250,947호; 2011년 1월 10일자로 출원되고 발명의 명칭이 "지능형 자동화 어시스턴트(Intelligent Automated Assistant)"인 미국 출원 제12/987,982호; 2010년 1월 18일자로 출원되고 발명의 명칭이 "지능형 자동화 어시스턴트"인 미국 가출원 제61/295,774호; 2011년 6월 3일자로 출원되고 발명의 명칭이 "수행할 태스크들을 나타내는 데이터 아이템들을 생성 및 프로세싱(Generating and Processing Data Items that Represent Tasks to Perform)"인 미국 가출원 제61/493,201호; 2012년 6월 9일자로 출원되고 발명의 명칭이 "핸즈프리 상호작용을 위한 사용자 인터페이스의 자동 적응(Automatically Adapting User Interface for Hands-Free Interaction)"인 미국 가출원 제61/657,744호; 2008년 9월 9일자로 출원되고 발명의 명칭이 "퍼스널 DJ를 갖는 라디오(Radio with Personal DJ)"인 미국 출원 제12/207,316호; 2012년 11월 16일자로 출원되고 발명의 명칭이 "공유된 오디오 또는 시각적 리소스의 제어를 협상하기 위한 방법(System and Method for Negotiating Control of a Shared Audio or Visual Resource)"인 미국 가출원 제61/727,554호; 2013년 6월 8일자로 출원되고 발명의 명칭이 "여러 사용자 인터페이스들을 갖는 맵핑 애플리케이션(Mapping Application with Several User Interfaces)"인 미국 출원 제61/832,818호; 2013년 6월 8일자로 출원되고 발명의 명칭이 "템플릿으로부터 사용자 인터페이스들을 생성하기 위한 디바이스 및 방법(Device and Method for Generating User Interfaces from a Template)"인 미국 가출원 제61/832,841호; 2013년 6월 8일자로 출원되고 발명의 명칭이 "제한된 디스트랙션 및 비제한 디스트랙션 콘텍스트들에 대해 상이한 사용자 인터페이스들을 제공하기 위한 애플리케이션 게이트웨이(Application Gateway for Providing Different User Interfaces for Limited Distraction and Non-Limited Distraction Contexts)"인 미국 출원 제13/913,428호에 관련되며, 이들 출원들은 전체적으로 본 명세서에 참고로 포함된다.
본 출원은 대체로 2개 이상의 디스플레이들을 동기화하는 터치 감응 표면들을 갖는 전자 디바이스들(이들로 제한되지 않음)을 비롯한, 터치 감응 표면들을 갖는 전자 디바이스들에 관한 것이다.
터치 감응 표면들을 컴퓨터들 및 다른 전자 컴퓨팅 디바이스들의 입력 디바이스들로서 사용하는 일이 최근에 크게 증가하였다. 예시적인 터치 감응 표면들은 터치 패드들 및 터치 스크린 디스플레이들을 포함한다. 그러한 표면들은 제1 전자 디바이스와 연관된 제1 디스플레이 상의 사용자 인터페이스 객체들을 조작하기 위해 널리 사용된다.
예시적인 조작들은 하나 이상의 사용자 인터페이스 객체들의 위치 및/또는 크기를 조정하는 것 또는 버튼들을 활성화시키는 것 또는 사용자 인터페이스 객체들에 의해 표현되는 파일들/애플리케이션들을 여는 것 또는 다른 방식으로 사용자 인터페이스들을 조작하는 것을 포함한다. 예시적인 사용자 인터페이스 객체들은 디지털 이미지들, 비디오, 텍스트, 아이콘들, 버튼들과 같은 제어 요소들, 및 다른 그래픽들을 포함한다.
때때로 사용자들은 상이한 콘텐츠를 디스플레이할 수 있는 다수의 상이한 디스플레이들에 액세스한다. 예를 들어, 자동차 또는 다른 차량의 승객이 스마트 폰 및 그의 디스플레이에 액세스할 뿐만 아니라, 자동차 정보/엔터테인먼트 시스템 및 그의 디스플레이(들)에도 액세스할 수 있다. 그러나 다수의 상이한 디스플레이들이 이용가능한 경우, 이러한 상이한 디스플레이들 상에 콘텐츠를 디스플레이하기 위한 방법들은 번거롭고 비효율적이다. 예를 들어, 상이한 디스플레이들 상에 동일한 정보를 디스플레이하는 것은 대체로 임의의 유용한 추가 정보를 사용자에게 제공하지 못하고, 한편 상이한 디스플레이들 상에 관련 없는 정보를 디스플레이하는 것은 사용자에게 혼란스럽고 비효율적일 수 있으며 때때로 사용자로 하여금 둘 모두의 디바이스들 상에 디스플레이된 관련 콘텐츠를 유지하는 추가 시간을 소비하도록 한다. 게다가, 이러한 방법들은 필요한 것보다 더 오래 걸리고, 이에 의해 에너지를 낭비한다. 이러한 후자의 고려사항은 배터리 작동형 디바이스들에서 특히 중요하다.
따라서, 2개 이상의 디스플레이들을 동기화하기 위한 보다 효율적인 방법들 및 인터페이스들을 갖는 전자 디바이스들이 필요하다. 그러한 방법들 및 인터페이스들은 선택적으로, 2개 이상의 디스플레이들 상에 정보를 디스플레이하기 위한 종래의 방법들을 보완하거나 대체할 수 있다. 그러한 방법들 및 인터페이스들은 사용자에 대한 인지적 부담(cognitive burden)을 감소시키고 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리 작동형 디바이스들에 대해, 그러한 방법들 및 인터페이스들은 전력을 보존하고 배터리 충전들 사이의 시간을 증가시킨다.
추가적으로, 많은 상황에서, 디스플레이들 상에 디스플레이되는 그러한 사용자 인터페이스들과 상호작용할 때 사용을 위한 제어부들은 종종 엄격히 단일 디스플레이와 연관된다. 이것은 제어부들의 유연성을 제한하는데, 이는 비효율적인 사용자 인터페이스를 초래할 수 있다. 따라서, 상이한 디스플레이들 상에 디스플레이된 사용자 인터페이스들에 제어부들 및 다른 입력 소스들을 유연한 방식으로 끊김 없이 매핑시키는 시스템이 필요하다. 그러나, 상이한 디스플레이들에 상이한 제어부들을 매핑시킬 때, 실수로 제어부를 잘못된 디스플레이와 연관시키기 쉬울 것이다. 게다가, 어느 디스플레이가 특정한 제어부와 연관되는지를 판정하는 데 오래 걸리는 것은, 사용자 인터페이스와 사용자의 상호작용에 지연을 도입할 것이고, 이는 사용자 경험을 저하시킬 것이다. 이와 같이, 2개 이상의 디스플레이들의 상이한 디스플레이들에 제어부들 및 다른 입력 소스들을 매핑시키기 위한 빠르고, 정확하고 효율적인 시스템 및 방법이 필요하다.
터치 감응 표면들을 갖는 전자 디바이스들에 대한 사용자 인터페이스들과 연관된 상기 결점들 및 다른 문제점들이 개시된 디바이스들에 의해 감소되거나 제거된다. 일부 실시예들에서, 디바이스는 데스크톱 컴퓨터이다. 일부 실시예들에서, 디바이스는 휴대용(예컨대, 노트북 컴퓨터, 태블릿 컴퓨터, 또는 핸드헬드 디바이스)이다. 일부 실시예들에서, 디바이스는 터치패드를 갖는다. 일부 실시예들에서, 디바이스는 터치 감응 디스플레이("터치 스크린" 또는 "터치 스크린 디스플레이"로서 또한 알려짐)를 갖는다. 일부 실시예들에서, 디바이스는 그래픽 사용자 인터페이스(graphical user interface: GUI), 하나 이상의 프로세서들, 메모리, 및 다수의 기능들을 수행하기 위해 메모리에 저장되는 하나 이상의 모듈들, 프로그램들 또는 명령어들의 세트들을 갖는다. 일부 실시예들에서, 사용자는 주로 터치 감응 표면 상의 손가락 접촉들 및 제스처들을 통해 GUI와 상호작용한다. 일부 실시예들에서, 기능들은 선택적으로, 이미지 편집, 그리기(drawing), 프리젠팅(presenting), 워드 프로세싱, 웹사이트 생성, 디스크 저작, 스프레드시트 작성, 게임 플레잉, 전화 걸기, 화상 회의, 이메일 보내기, 인스턴트 메시징, 운동 지원, 디지털 사진촬영, 디지털 비디오 녹화, 웹 브라우징, 디지털 음악 재생, 및/또는 디지털 비디오 재생을 포함한다. 이들 기능을 수행하기 위한 실행 가능한 명령어들은 선택적으로, 비일시적 컴퓨터 판독가능 저장 매체 또는 하나 이상의 프로세서들에 의한 실행을 위해 구성된 다른 컴퓨터 프로그램 제품에 포함된다.
일부 실시예들에 따르면, 방법은 제1 디스플레이를 포함하는 제1 전자 디바이스에서 수행된다. 이 방법은 제1 디스플레이 상에 제1 사용자 인터페이스를 디스플레이하는 단계를 포함하고, 여기서 제1 사용자 인터페이스는 복수의 선택가능한 객체들 사이에서의 선택을 가능하게 하고; 제1 사용자 인터페이스는 제1 디스플레이와는 상이한 제2 디스플레이 상에 디스플레이된 제2 사용자 인터페이스에 대응하고; 복수의 선택가능한 객체들로부터의 제1 객체가 제2 사용자 인터페이스에서 선택된 객체로서 디스플레이된다. 이 방법은, 제1 객체가 제2 사용자 인터페이스에서 선택된 객체로서 디스플레이되는 동안, 제1 사용자 인터페이스에서 복수의 선택가능한 객체들 중에서의 제2 객체에 관한 정보를 디스플레이하라는 요청에 대응하는 사용자로부터의 제1 입력을 검출하는 단계; 제1 입력을 검출하는 것에 응답하여, 제2 사용자 인터페이스에서 선택된 객체로서의 제1 객체의 디스플레이를 유지하면서 제2 객체에 관한 개별 정보를 디스플레이하도록 제1 입력에 따라서 제1 디스플레이 상의 제1 사용자 인터페이스를 업데이트하는 단계; 및 제1 입력에 따라서 제1 사용자 인터페이스를 업데이트한 후에, 선택된 객체로서 제2 객체를 선택하라는 요청에 대응하는 사용자로부터의 제2 입력을 검출하는 단계를 포함한다. 이 방법은, 제2 입력을 검출하는 것에 응답하여, 선택된 객체로서 제2 객체를 디스플레이하도록 제2 입력에 따라서 제1 디스플레이 상의 제1 사용자 인터페이스를 업데이트하는 단계; 및 선택된 객체로서 제1 객체 대신에 제2 객체를 디스플레이하도록 제2 디스플레이 상의 제2 사용자 인터페이스가 업데이트될 수 있게 하는 정보를 제2 디스플레이로 제공하는 단계를 추가로 포함한다.
일부 실시예들에 따르면, 제1 전자 디바이스는 제1 디스플레이 유닛 상에 제1 사용자 인터페이스를 디스플레이하도록 구성된 제1 디스플레이 유닛을 포함하고, 여기서 제1 사용자 인터페이스는 복수의 선택가능한 객체들 사이에서의 선택을 가능하게 하고; 제1 사용자 인터페이스는 제1 디스플레이 유닛과는 상이한 제2 디스플레이 유닛 상에 디스플레이된 제2 사용자 인터페이스에 대응하고; 복수의 선택가능한 객체들로부터의 제1 객체가 제2 사용자 인터페이스에서 선택된 객체로서 디스플레이된다. 제1 전자 디바이스는 또한 제1 디스플레이 유닛에 연결된 프로세싱 유닛을 포함한다. 제1 객체가 제2 사용자 인터페이스에서 선택된 객체로서 디스플레이되는 동안, 프로세싱 유닛은 제1 사용자 인터페이스에서 복수의 선택가능한 객체들 중에서의 제2 객체에 관한 정보의 디스플레이를 가능하게 하라는 요청에 대응하는 사용자로부터의 제1 입력을 검출하도록; 제1 입력을 검출하는 것에 응답하여, 제2 사용자 인터페이스에서 선택된 객체로서의 제1 객체의 디스플레이를 유지하면서 제2 객체에 관한 개별 정보의 디스플레이를 가능하게 하도록 제1 입력에 따라서 제1 디스플레이 유닛 상의 제1 사용자 인터페이스를 업데이트하도록; 제1 입력에 따라서 제1 사용자 인터페이스를 업데이트한 후에, 선택된 객체로서 제2 객체를 선택하라는 요청에 대응하는 사용자로부터의 제2 입력을 검출하도록 구성된다. 제2 입력을 검출하는 것에 응답하여, 프로세싱 유닛은 추가로, 선택된 객체로서 제2 객체의 디스플레이를 가능하게 하도록 제2 입력에 따라서 제1 디스플레이 유닛 상의 제1 사용자 인터페이스를 업데이트하도록; 그리고 선택된 객체로서 제1 객체 대신에 제2 객체의 디스플레이가 가능하도록 제2 디스플레이 유닛 상의 제2 사용자 인터페이스가 업데이트될 수 있게 하는 정보를 제2 디스플레이 유닛으로 제공하도록 구성된다.
일부 실시예들에 따르면, 방법은 휴대용 디바이스 디스플레이를 포함하고 차량의 차량 디스플레이와 통신 상태에 있는 휴대용 전자 디바이스에서 수행된다. 이 방법은, 복수의 후보 목적지들을 포함하는 지도 검색 결과들의 세트를 획득하는 단계; 휴대용 디바이스 디스플레이 상에 휴대용 디바이스 내비게이션 인터페이스를 디스플레이하는 단계 - 여기서 휴대용 디바이스 내비게이션 인터페이스는 복수의 후보 목적지들로부터의 목적지의 선택을 가능하게 함 -; 및 차량 디스플레이가 차량 내비게이션 인터페이스를 디스플레이할 수 있게 하는 정보를 차량 디스플레이로 전송하는 단계 - 여기서 복수의 후보 목적지들 중 제1 목적지가 차량 내비게이션 인터페이스에서 선택된 목적지임 - 를 포함한다. 이 방법은, 제1 목적지가 차량 내비게이션 인터페이스에서 선택된 목적지인 동안, 제1 목적지 외의 복수의 후보 목적지들 중에서의 하나 이상의 후보 목적지들에 관한 정보를 디스플레이하라는 요청에 대응하는 사용자로부터의 제1 입력을 검출하는 단계; 제1 입력을 검출하는 것에 응답하여, 차량 디스플레이 상의 차량 내비게이션 인터페이스를 업데이트하지 않고서 제1 입력에 따라서 휴대용 디바이스 디스플레이 상의 휴대용 디바이스 내비게이션 인터페이스를 업데이트하는 단계; 및 제1 입력에 따라서 휴대용 디바이스 내비게이션 인터페이스를 업데이트한 후에, 선택된 목적지로서 복수의 후보 목적지들 중에서의 제2 목적지를 선택하라는 요청에 대응하는 사용자로부터의 제2 입력을 검출하는 단계를 포함한다. 이 방법은, 제2 입력을 검출하는 것에 응답하여, 선택된 목적지로서 제2 목적지를 디스플레이하도록 제2 입력에 따라서 휴대용 디바이스 디스플레이 상의 휴대용 디바이스 내비게이션 인터페이스를 업데이트하는 단계; 및 선택된 목적지로서 제2 목적지를 디스플레이하도록 제2 입력에 따라서 차량 디스플레이가 차량 내비게이션 인터페이스를 업데이트할 수 있게 하는 정보를 차량 디스플레이로 전송하는 단계를 추가로 포함한다.
일부 실시예들에 따르면, 휴대용 전자 디바이스는 휴대용 디바이스 내비게이션 인터페이스를 디스플레이하도록 구성된 휴대용 디바이스 디스플레이 유닛, 차량의 차량 디스플레이 유닛과 통신하도록 구성된 통신 인터페이스 유닛, 및 휴대용 디바이스 디스플레이 유닛 및 통신 인터페이스 유닛에 연결된 프로세싱 유닛을 포함한다. 상기 프로세싱 유닛은, 복수의 후보 목적지들을 포함하는 지도 검색 결과들의 세트를 획득하도록; 휴대용 디바이스 디스플레이 유닛 상에 휴대용 디바이스 내비게이션 인터페이스의 디스플레이를 가능하게 하도록 - 여기서 휴대용 디바이스 내비게이션 인터페이스는 복수의 후보 목적지들로부터의 목적지의 선택을 가능하게 함 -; 그리고 차량 디스플레이 유닛이 차량 내비게이션 인터페이스의 디스플레이를 가능하게 하는 정보를 차량 디스플레이 유닛으로 전송하도록 구성되고, 여기서 복수의 후보 목적지들 중 제1 목적지가 차량 내비게이션 인터페이스에서 선택된 목적지이다. 제1 목적지가 차량 내비게이션 인터페이스에서 선택된 목적지인 동안, 프로세싱 유닛은 또한, 제1 목적지 외의 복수의 후보 목적지들 중에서의 하나 이상의 후보 목적지들에 관한 정보의 디스플레이를 가능하게 하라는 요청에 대응하는 사용자로부터의 제1 입력을 검출하도록; 제1 입력을 검출하는 것에 응답하여, 차량 디스플레이 유닛 상의 차량 내비게이션 인터페이스를 업데이트하지 않고서 제1 입력에 따라서 휴대용 디바이스 디스플레이 유닛 상의 휴대용 디바이스 내비게이션 인터페이스를 업데이트하도록; 제1 입력에 따라서 휴대용 디바이스 내비게이션 인터페이스를 업데이트한 후에, 선택된 목적지로서 복수의 후보 목적지들 중에서의 제2 목적지를 선택하라는 요청에 대응하는 사용자로부터의 제2 입력을 검출하도록 구성된다. 제2 입력을 검출하는 것에 응답하여, 프로세싱 유닛은 추가로, 선택된 목적지로서 제2 목적지의 디스플레이를 가능하게 하도록 제2 입력에 따라서 휴대용 디바이스 디스플레이 유닛 상의 휴대용 디바이스 내비게이션 인터페이스를 업데이트하도록; 선택된 목적지로서 제2 목적지의 디스플레이를 가능하게 하도록 제2 입력에 따라서 차량 디스플레이 유닛이 차량 내비게이션 인터페이스를 업데이트할 수 있게 하는 정보를 차량 디스플레이 유닛으로 전송하도록 구성된다.
일부 실시예들에 따르면, 방법은 제1 디스플레이 및 제2 디스플레이를 포함하는 복수의 디스플레이들과 통신 상태에 있는 전자 디바이스에서 수행된다. 이 방법은 복수의 입력 소스들 중 제1 입력 소스에 의해 검출되는 제1 입력을 나타내는 제1 입력 정보를 수신하는 단계를 포함하고, 여기서 제1 입력 정보는 제1 입력 소스에 대한 제1 식별자; 및 제1 입력을 기술하는 제1 입력 설명(first input description)을 포함한다. 이 방법은 또한, 제1 식별자 및 입력 소스들을 대응하는 디스플레이들에 맵핑시키는 입력 소스 맵핑에 기초하여 복수의 디스플레이들로부터 제1 영향받는 디스플레이(first affected display)를 선택하는 단계를 포함한다. 이 방법은 제1 입력에 따라서 제1 영향받는 디스플레이가 업데이트될 수 있게 하는 업데이트 정보를 제1 영향받는 디스플레이로 전송하는 단계를 추가로 포함한다.
일부 실시예들에 따르면, 전자 디바이스는, 제1 디스플레이 유닛 및 제2 디스플레이 유닛을 포함하는 복수의 디스플레이 유닛들과 통신하도록 구성된 통신 인터페이스 유닛, 및 통신 인터페이스 유닛에 연결된 프로세싱 유닛을 포함한다. 프로세싱 유닛은, 복수의 입력 소스들 중 제1 입력 소스에 의해 검출되는 제1 입력을 나타내는 제1 입력 정보를 수신하도록 구성되고, 여기서 제1 입력 정보는 제1 입력 소스에 대한 제1 식별자; 및 제1 입력을 기술하는 제1 입력 설명을 포함한다. 프로세싱 유닛은 또한, 제1 식별자 및 입력 소스들을 대응하는 디스플레이들에 맵핑시키는 입력 소스 맵핑에 기초하여 복수의 디스플레이들로부터 제1 영향받는 디스플레이를 선택하도록 구성된다. 프로세싱 유닛은 추가로, 제1 입력에 따라서 제1 영향받는 디스플레이가 업데이트될 수 있게 하는 업데이트 정보를 제1 영향받는 디스플레이로 전송하도록 구성된다.
일부 실시예들에 따르면, 전자 디바이스는 하나 이상의 디스플레이들(예컨대, 제1 디스플레이, 제2 디스플레이, 휴대용 디바이스 디스플레이, 및/또는 차량 디스플레이)과 통신하기 위한 통신 인터페이스, 하나 이상의 프로세서들, 메모리, 및 메모리에 저장되고 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함하고, 하나 이상의 프로그램들은 본 명세서에 기술되는 방법들 중 임의의 방법의 동작들을 수행하기 위한 명령어들을 포함한다. 일부 실시예들에 따르면, 비일시적 컴퓨터 판독가능 저장 매체는, 하나 이상의 디스플레이들과 통신 상태에 있는 전자 디바이스에 의해 실행될 때, 디바이스로 하여금, 본 명세서에 언급되고 기술되는 방법들 중 임의의 방법의 동작들을 수행하게 하는 명령어들을 저장하고 있다. 일부 실시예들에 따르면, 하나 이상의 디스플레이들, 메모리, 및 메모리에 저장된 하나 이상의 프로그램들을 실행시키는 하나 이상의 프로세서들과 통신 상태에 있는 전자 디바이스 상의 그래픽 사용자 인터페이스는, 본 명세서에 기술되는 방법들 중 임의의 방법에서 기술되는 바와 같이, 입력들에 응답하여 업데이트되는, 전술된 방법들 중 임의의 방법으로 디스플레이되는 요소들 중 하나 이상을 포함한다. 일부 실시예들에 따르면, 하나 이상의 디스플레이들과 통신 상태에 있는 전자 디바이스는 본 명세서에 기술되는 방법들 중 임의의 방법의 동작들을 수행하기 위한 수단을 포함한다. 일부 실시예들에 따르면, 하나 이상의 디스플레이들과 통신 상태에 있는 전자 디바이스에서 사용하기 위한 정보 프로세싱 장치는 본 명세서에 기술되는 방법들 중 임의의 방법의 동작들을 수행하기 위한 수단을 포함한다.
따라서, 디스플레이들을 갖는 전자 디바이스들은 2개 이상의 디스플레이들을 동기화하기 위한 보다 효율적인 방법들 및 인터페이스들을 제공받아, 이에 의해 그러한 디바이스들에 대한 유효성, 효율성, 및 사용자 만족도를 증가시킨다. 그러한 방법들 및 인터페이스들은 2개 이상의 디스플레이들을 동기화하기 위한 종래의 방법들을 보완하거나 대체할 수 있다.
본 발명의 다양하게 기술된 실시예들의 보다 양호한 이해를 위해, 유사한 도면 부호들이 도면 전체에 걸쳐서 대응 부분들을 나타내는 다음의 도면들과 관련하여 아래의 발명을 실시하기 위한 구체적인 내용이 참조되어야 한다.
도 1a는 일부 실시예들에 따른 터치 감응 디스플레이를 갖는 휴대용 다기능 디바이스를 도시하는 블록도이다.
도 1b는 일부 실시예들에 따른 이벤트 처리를 위한 예시적인 컴포넌트들을 도시하는 블록도이다.
도 2는 일부 실시예들에 따른, 터치 스크린을 갖는 휴대용 다기능 디바이스를 도시한다.
도 3은 일부 실시예들에 따른, 디스플레이 및 터치 감응 표면을 갖는 예시적인 다기능 디바이스의 블록도이다.
도 4a는 일부 실시예들에 따른, 휴대용 다기능 디바이스 상의 애플리케이션들의 메뉴에 대한 예시적인 사용자 인터페이스를 도시한다.
도 4b는 일부 실시예들에 따른, 디스플레이와 별개인 터치 감응 표면을 갖는 다기능 디바이스에 대한 예시적인 사용자 인터페이스를 도시한다.
도 5a는 일부 실시예들에 따른, 휴대용 다기능 디바이스가 외부 프리젠테이션 시스템 및/또는 서버와 통신하는 운영 환경을 도시하는 블록도이다.
도 5b는 일부 실시예들에 따른, 업데이트 정보를 영향받는 디스플레이로 전송하는 방법을 예시하는 흐름도이다.
도 6a 내지 도 6v는 일부 실시예들에 따른, 2개 이상의 디스플레이들을 동기화하기 위한 예시적인 사용자 인터페이스들을 도시한다.
도 6w 내지 도 6ff는 일부 실시예들에 따른, 업데이트 정보를 영향받는 디스플레이로 전송하기 위한 예시적인 사용자 인터페이스들을 도시한다.
도 7a 내지 도 7d는 일부 실시예들에 따른, 2개 이상의 디스플레이들을 동기화하기 위한 방법을 예시하는 흐름도들이다.
도 8a 및 도 8b는 일부 실시예들에 따른, 2개 이상의 디스플레이들을 동기화하기 위한 방법을 예시하는 흐름도들이다.
도 9a 내지 도 9c는 일부 실시예들에 따른, 업데이트 정보를 영향받는 디스플레이로 전송하는 방법을 예시하는 흐름도들이다.
도 10은 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 11은 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
도 12는 일부 실시예들에 따른 전자 디바이스의 기능 블록도이다.
많은 전자 디바이스들은 전자 디바이스와 연관된 디스플레이 상의 그래픽 사용자 인터페이스를, 디스플레이 상에 디스플레이되는 사용자 인터페이스 객체들의 조작에 응답하여 업데이트한다. 후술되는 제1 전자 디바이스는 (일부 경우에) 제2 디스플레이 상의 제2 그래픽 인터페이스를 제1 전자 디바이스와 연관된 제1 디스플레이 상의 제1 그래픽 사용자 인터페이스와 동기화함으로써 이러한 방법들을 개선시킨다. 일부 실시예들에서, 제2 디스플레이는 제1 전자 디바이스와는 상이한 제2 전자 디바이스와 연관된다. 일부 실시예들에서, 제1 전자 디바이스는 (예컨대, 제1 전자 디바이스와 연관된 제1 터치 스크린 디스플레이 또는 제1 터치 감응 표면에서 조작된) 제1 그래픽 사용자 인터페이스 상의 사용자 인터페이스 객체들의 조작에 응답하여 제1 디스플레이와 제2 디스플레이를 동기화한다. 일부 실시예들에서, 제1 전자 디바이스는 (예컨대, 제2 전자 디바이스와 연관된 제2 터치 스크린 디스플레이 또는 제2 터치 감응 표면에서 조작된) 제2 그래픽 사용자 인터페이스 상의 사용자 인터페이스 객체들의 조작에 응답하여 제1 디스플레이와 제2 디스플레이를 동기화한다.
이하에서, 도 1a와 도 1b, 도 2 및 도 3은 예시적인 디바이스들의 설명을 제공한다. 도 4a와 도 4b 및 도 6a 내지 도 6ff는 예시적인 사용자 인터페이스들을 도시한다. 도 7a 내지 도 7d 및 도 8a와 도 8b는 2개 이상의 디스플레이들을 동기화하기 위한 방법을 예시하는 흐름도들이다. 도 9a 내지 도 9c는 업데이트 정보를 영향받는 디스플레이로 전송하는 방법을 예시하는 흐름도들이다. 도 6a 내지 도 6v의 사용자 인터페이스들은 도 7a 내지 도 7d 및 도 8a와 도 8b의 프로세스들을 예시하는 데 사용된다. 도 6w 내지 도 6ff의 사용자 인터페이스들은 도 9a 내지 도 9c의 프로세스들을 예시하는 데 사용된다.
예시적인 디바이스
이제, 실시예들이 상세하게 참조될 것이며, 실시예들의 예들이 첨부 도면들에 도시되어 있다. 하기의 상세한 설명에서, 많은 구체적인 상세사항들이 다양하게 기술된 실시예들의 완전한 이해를 제공하기 위해 설명된다. 그러나, 다양하게 기술된 실시예들이 이들 구체적인 상세사항들 없이 실시될 수 있다는 것은 당업자에게 명백할 것이다. 다른 예들에서, 잘 알려진 방법들, 절차들, 컴포넌트들, 회로들 및 네트워크들은 실시예들의 양태들을 불필요하게 모호하게 하지 않기 위해 상세히 설명되지 않았다.
일부 예들에서, 용어들, 제1, 제2 등이 본 명세서에서 다양한 요소들을 기술하는 데 사용되지만, 이들 요소들은 이들 용어들로 제한되어서는 안 된다는 것이 또한 이해될 것이다. 이들 용어들은 하나의 요소를 다른 요소와 구별하는 데에만 사용된다. 예를 들면, 다양하게 기술된 실시예들의 범주로부터 벗어남이 없이, 제1 접촉이 제2 접촉으로 지칭될 수 있고, 유사하게, 제2 접촉이 제1 접촉으로 지칭될 수 있다. 제1 접촉 및 제2 접촉 둘 모두가 접촉이지만, 그들이 동일한 접촉인 것은 아니다.
본 명세서에서 다양하게 기술된 실시예들의 설명에 사용되는 용어는 특정 실시예들을 기술하는 목적만을 위한 것이고, 제한하려는 의도는 아니다. 다양하게 기술된 실시예들의 설명 및 첨부된 청구범위에 사용되는 바와 같이, 단수의 형태("a", "an" 및 "the")는 문맥상 명백히 달리 나타나지 않는다면 복수의 형태도 마찬가지로 포함하려는 것으로 의도된다. 또한, 본 명세서에서 사용되는 바와 같은 용어 "및/또는"은 열거되는 관련 항목들 중 하나 이상의 항목들의 임의의 그리고 모든 가능한 조합들을 나타내고 그들을 포괄하는 것임이 이해될 것이다. 용어들 "포함한다(include)", "포함하는(including)", "포함한다(comprise)", 및/또는 "포함하는(comprising)"은, 본 명세서에서 사용될 때, 진술되는 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 특정하지만, 하나 이상의 다른 특징들, 정수들, 단계들, 동작들, 요소들, 컴포넌트들, 및/또는 이들의 그룹들의 존재 또는 추가를 배제하지 않음이 추가로 이해될 것이다.
본 명세서에서 사용되는 바와 같이, 용어 "~는 경우(if)"는, 선택적으로, 문맥에 따라 "~할 때(when)" 또는 "~ 시(upon)" 또는 "결정하는 것에 응답하여(in response to determining)" 또는 "검출하는 것에 응답하여(in response to detecting)"를 의미하는 것으로 해석된다. 유사하게, 구문 "결정된 경우" 또는 "[진술된 상태 또는 이벤트가] 검출된 경우"는, 선택적으로, 문맥에 따라 "결정 시" 또는 "결정하는 것에 응답하여" 또는 "[진술된 상태 또는 이벤트] 검출 시" 또는 "[진술된 상태 또는 이벤트를] 검출하는 것에 응답하여"를 의미하는 것으로 해석된다.
전자 디바이스들, 그러한 디바이스들에 대한 사용자 인터페이스들, 및 그러한 디바이스들을 사용하기 위한 연관된 프로세스들의 실시예들이 기술된다. 일부 실시예들에서, 디바이스는 PDA 및/또는 음악 재생기 기능들과 같은 다른 기능들을 또한 포함하는, 이동 전화기와 같은, 휴대용 통신 디바이스이다. 휴대용 다기능 디바이스들의 예시적인 실시예들은 미국 캘리포니아주 쿠퍼티노 소재의 애플 인크.(Apple Inc.)로부터의 아이폰(iPhone)(등록상표), 아이팟 터치(iPod Touch)(등록상표), 및 아이패드(iPad)(등록상표) 디바이스들을 제한 없이 포함한다. 터치 감응 표면들(예를 들어, 터치 스크린 디스플레이들 및/또는 터치 패드들)을 갖는 랩톱 또는 태블릿 컴퓨터들과 같은 다른 휴대용 전자 디바이스들이 선택적으로 사용된다. 일부 실시예들에서, 디바이스는 휴대용 통신 디바이스가 아니라, 터치 감응 표면(예를 들어, 터치 스크린 디스플레이 및/또는 터치 패드)을 갖는 데스크톱 컴퓨터임이 또한 이해되어야 한다.
이하의 논의에서, 디스플레이 및 터치 감응 표면을 포함하는 전자 디바이스가 기술된다. 그러나, 전자 디바이스가 선택적으로 물리적 키보드, 마우스 및/또는 조이스틱과 같은 하나 이상의 다른 물리적 사용자 인터페이스 디바이스들을 포함한다는 것을 이해하여야 한다.
디바이스는 전형적으로, 그리기 애플리케이션, 프리젠테이션 애플리케이션, 워드 프로세싱 애플리케이션, 웹사이트 제작 애플리케이션, 디스크 저작 애플리케이션, 스프레드시트 애플리케이션, 게이밍 애플리케이션, 전화 애플리케이션, 화상 회의 애플리케이션, 이메일 애플리케이션, 인스턴트 메시징 애플리케이션, 운동 지원 애플리케이션, 사진 관리 애플리케이션, 디지털 카메라 애플리케이션, 디지털 비디오 카메라 애플리케이션, 웹 브라우징 애플리케이션, 디지털 음악 재생기 애플리케이션, 및/또는 디지털 비디오 재생기 애플리케이션 중 하나 이상과 같은 다양한 애플리케이션들을 지원한다.
디바이스 상에서 실행되는 다양한 애플리케이션들은, 선택적으로, 터치 감응 표면과 같은 적어도 하나의 보편적인 물리적 사용자 인터페이스 디바이스를 사용한다. 터치 감응 표면의 하나 이상의 기능들뿐만 아니라 디바이스 상에 디스플레이되는 대응하는 정보는 하나의 애플리케이션으로부터 다음 애플리케이션으로 그리고/또는 개별 애플리케이션 내에서 선택적으로 조정되고/되거나 변경된다. 이러한 방식으로, 디바이스의 (터치 감응 표면과 같은) 보편적인 물리적 아키텍처는, 선택적으로, 사용자에게 직관적이고 명료한 사용자 인터페이스들을 이용하여 다양한 애플리케이션들을 지원한다.
이제 터치 감응 디스플레이들을 갖는 휴대용 디바이스들의 실시예들에 주목한다. 도 1a은 일부 실시예들에 따른 터치 감응 디스플레이들(112)을 갖는 휴대용 다기능 디바이스(100)를 도시하는 블록도이다. 터치 감응 디스플레이(112)는 때때로 편의상 "터치 스크린"이라고 지칭되고, 때때로 터치 감응 디스플레이 시스템으로 알려지거나 지칭된다. 디바이스(100)는 메모리(102)(선택적으로, 하나 이상의 컴퓨터 판독가능 저장 매체들을 포함함), 메모리 제어기(122), 하나 이상의 프로세싱 유닛(CPU)들(120), 주변기기 인터페이스(118), RF 회로(108), 오디오 회로(110), 스피커(111), 마이크로폰(113), 입력/출력(I/O) 서브시스템(106), 다른 입력 또는 제어 디바이스들(116) 및 외부 포트(124)를 포함한다. 디바이스(100)는, 선택적으로, 하나 이상의 광 센서들(164)을 포함한다. 디바이스(100)는, 선택적으로, 디바이스(100) 상의 접촉들의 세기를 검출하기 위한 하나 이상의 세기 센서들(165)(예컨대, 디바이스(100)의 터치 감응 디스플레이 시스템(112)과 같은 터치 감응 표면)을 포함한다. 디바이스(100)는, 선택적으로, 디바이스(100) 상에 촉각적 출력들을 생성하기 위한(예컨대, 디바이스(100)의 터치 감응 디스플레이 시스템(112) 또는 디바이스(300)의 터치패드(355)와 같은 터치 감응 표면 상에 촉각적 출력들을 생성하기 위한) 하나 이상의 촉각적 출력 생성기들(167)을 포함한다. 이들 컴포넌트들은, 선택적으로, 하나 이상의 통신 버스들 또는 신호 라인들(103)을 통해 통신한다.
명세서 및 청구범위에서 사용되는 바와 같이, 터치 감응 표면 상의 접촉의 "세기"라는 용어는 터치 감응 표면 상의 접촉(예컨대, 손가락 접촉)의 힘 또는 압력(단위 면적 당 힘), 또는 터치 감응 표면 상의 접촉의 힘 또는 압력에 대한 대체물(대용물(proxy))을 지칭한다. 접촉의 세기는, 적어도 4개의 구별되는 값들을 포함하고 보다 전형적으로는 수백 개의 구별되는 값들(예컨대, 적어도 256개)을 포함하는 소정 범위의 값들을 갖는다. 접촉의 세기는, 선택적으로, 다양한 접근법들 및 다양한 센서들 또는 센서들의 조합들을 사용하여 결정(또는 측정)된다. 예를 들어, 터치 감응 표면 아래의 또는 그에 인접한 하나 이상의 힘 센서들이 선택적으로 사용되어, 터치 감응 표면 상의 다양한 지점들에서 힘을 측정한다. 일부 구현예들에서, 다수의 힘 센서로부터의 힘 측정치들이 조합(예컨대, 가중 평균화)되어, 접촉의 추정되는 힘을 결정한다. 유사하게, 스타일러스의 압력 감응 팁(tip)은, 선택적으로, 터치 감응 표면 상의 스타일러스의 압력을 결정하는 데 사용된다. 대안적으로, 터치 감응 표면 상에서 검출된 접촉 면적의 크기 및/또는 그에 대한 변경, 접촉 부근의 터치 감응 표면의 커패시턴스(capacitance) 및/또는 그에 대한 변경, 및/또는 접촉 부근의 터치 감응 표면의 저항(resistance) 및/또는 그에 대한 변경은 선택적으로 터치 감응 표면 상의 접촉의 힘 또는 압력에 대한 대체물로서 사용된다. 일부 구현예들에서, 접촉 힘 또는 압력에 대한 대체 측정치들은 세기 임계치(예컨대, 세기 임계치는 대체 측정치들에 대응하는 단위들로 설명됨)가 초과되었는지 여부를 판정하는 데 직접적으로 이용된다. 일부 구현예들에서, 접촉 힘 또는 압력에 대한 대체 측정치들은 추정된 힘 또는 압력으로 변환되고, 추정된 힘 또는 압력은 세기 임계치가 초과되었는지 여부를 판정하는 데 이용된다(예를 들면, 세기 임계치는 압력의 단위로 측정된 압력 임계치임).
명세서 및 청구범위에 사용되는 바와 같이, 용어 "촉각적 출력"은 디바이스의 이전 위치에 대한 디바이스의 물리적 변위, 디바이스의 다른 컴포넌트(예컨대, 하우징)에 대한 디바이스의 소정 컴포넌트(예컨대, 터치 감응 표면)의 물리적 변위, 또는 사용자의 촉각을 이용하여 사용자에 의해 검출될 디바이스의 질량 중심에 대한 컴포넌트의 변위를 지칭한다. 예를 들면, 디바이스 또는 디바이스의 컴포넌트가 터치에 감응하는 사용자의 표면(예컨대, 손가락, 손바닥, 또는 사용자의 손의 기타 부분)과 접촉하는 상황에서, 물리적 변위에 의해 생성된 촉각적 출력은 사용자에 의해 디바이스 또는 디바이스의 컴포넌트의 물리적 특성들에서의 인지된 변화에 대응하는 촉감(tactile sensation)으로서 해석될 것이다. 예를 들면, 터치 감응 표면(예컨대, 터치 감응 디스플레이 또는 트랙패드)의 이동은, 선택적으로, 물리적 액추에이터 버튼의 "다운 클릭(down click)" 또는 "업 클릭(up click)"으로서 사용자에 의해 해석된다. 일부 경우에 있어서, 사용자는 사용자의 이동에 의해 물리적으로 눌리는(예를 들면, 변위되는) 터치 감응 표면과 연관되는 물리적 액추에이터 버튼의 이동이 없는 경우에도 "다운 클릭" 또는 "업 클릭"과 같은 촉감을 느낄 것이다. 다른 예로서, 터치 감응 표면의 이동은, 선택적으로, 터치 감응 표면의 평탄성(smoothness)에 변화가 없는 경우에도 터치 감응 표면의 "거칠기(roughness)"로서 사용자에 의해 해석되거나 감지된다. 사용자에 의한 터치의 그러한 해석들이 사용자의 개인적인 감각 인지(sensory perception)에 영향을 받을 것이고, 대다수의 사용자들에게 공통적인 많은 터치의 감각 인지들이 존재한다. 따라서, 촉각적 출력이 사용자의 특정 감각 인지(예를 들면, "업 클릭", "다운 클릭", "거칠기")에 대응하는 것으로서 기술되는 경우, 달리 언급되지 않는다면, 생성된 촉각적 출력은 전형적인(또는 평균적인) 사용자에 대해 기술된 감각 인지를 생성할 디바이스 또는 그의 컴포넌트의 물리적 변위에 대응한다.
디바이스(100)는 휴대용 다기능 디바이스의 일례일 뿐이고 디바이스(100)는, 선택적으로, 도시된 것보다 더 많거나 더 적은 컴포넌트들을 갖거나, 선택적으로, 2개 이상의 컴포넌트들을 조합하거나, 선택적으로, 컴포넌트들의 상이한 구성 또는 배열을 갖는다는 것이 인식되어야 한다. 도 1a에 도시된 다양한 컴포넌트들은 하나 이상의 신호 프로세싱 및/또는 주문형 집적 회로(application specific integrated circuit)들을 비롯한, 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어 둘 모두의 조합으로 구현된다.
메모리(102)는 선택적으로 고속 랜덤 액세스 메모리를 포함하고, 또한 선택적으로, 하나 이상의 자기 디스크 저장 디바이스, 플래시 메모리 디바이스, 또는 다른 비휘발성 솔리드 스테이트 메모리 디바이스와 같은 비휘발성 메모리를 포함한다. CPU(120) 및 주변기기 인터페이스(118)와 같은 디바이스(100)의 다른 컴포넌트들에 의한 메모리(102)에의 액세스는 선택적으로 메모리 제어기(122)에 의해 제어된다.
주변기기 인터페이스(118)는 디바이스의 입력 및 출력 주변기기들을 CPU(120) 및 메모리(102)에 연결하는 데 사용될 수 있다. 하나 이상의 프로세서들(120)은 디바이스(100)에 대한 다양한 기능들을 수행하고 데이터를 처리하기 위해 메모리(102) 내에 저장된 다양한 소프트웨어 프로그램들 및/또는 명령어들의 세트들을 구동하거나 실행시킨다.
일부 실시예들에서, 주변기기 인터페이스(118), CPU(120) 및 메모리 제어기(122)는, 선택적으로, 칩(104)과 같은 단일 칩 상에서 구현된다. 일부 다른 실시예들에서, 이들은 선택적으로 별개의 칩들 상에서 구현된다.
RF(radio frequency) 회로(108)는 전자기 신호들이라고도 지칭되는 RF 신호들을 수신 및 송신한다. RF 회로(108)는 전기 신호들을 전자기 신호들로/로부터 변환하고, 전자기 신호들을 통해 통신 네트워크들 및 다른 통신 디바이스들과 통신한다. RF 회로(108)는 선택적으로 안테나 시스템, RF 송수신기, 하나 이상의 증폭기들, 튜너, 하나 이상의 발진기들, 디지털 신호 프로세서, CODEC 칩셋, 가입자 식별 모듈(subscriber identity module, SIM) 카드, 메모리 등을 포함하지만 이들로 한정되지 않는, 이러한 기능들을 수행하기 위한 잘 알려진 회로를 포함한다. RF 회로(108)는 선택적으로 네트워크들, 예를 들어 월드 와이드 웹(WWW)으로 또한 지칭되는 인터넷, 인트라넷 및/또는 무선 네트워크, 예를 들어 셀룰러 전화 네트워크, 무선 근거리 통신망(local area network, LAN) 및/또는 대도시 통신망(metropolitan area network, MAN), 및 다른 디바이스들과 무선 통신에 의해 통신한다. 무선 통신은 선택적으로 GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), HSDPA(high-speed downlink packet access), HSUPA(high-speed uplink packet access), EV-DO(Evolution, Data-Only), HSPA, HSPA+, DC-HSPDA(Dual-Cell HSPA), LTE(long term evolution), NFC(near field communication), W-CDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스, Wi-Fi(Wireless Fidelity)(예를 들어, IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n), VoIP(voice over Internet Protocol), Wi-MAX, 이메일용 프로토콜(예를 들어, IMAP(Internet message access protocol) 및/또는 POP(post office protocol)), 인스턴트 메시징(예를 들어, XMPP(extensible messaging and presence protocol), SIMPLE(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions), IMPS(Instant Messaging and Presence Service)), 및/또는 SMS(Short Message Service), 또는 본 명세서의 출원일자로 아직 개발되지 않은 통신 프로토콜들을 포함하는 임의의 다른 적합한 통신 프로토콜을 포함하지만 이들로 한정되지 않는 복수의 통신 표준들, 프로토콜들 및 기술들 중 임의의 것을 이용한다.
오디오 회로(110), 스피커(111) 및 마이크로폰(113)은 사용자와 디바이스(100) 사이에서 오디오 인터페이스를 제공한다. 오디오 회로(110)는 주변기기 인터페이스(118)로부터 오디오 데이터를 수신하고, 오디오 데이터를 전기 신호로 변환하고, 전기 신호를 스피커(111)로 송신한다. 스피커(111)는 전기 신호를 사람이 들을 수 있는 음파로 변환한다. 오디오 회로(110)는 또한 음파로부터 마이크로폰(113)에 의해 변환된 전기 신호를 수신한다. 오디오 회로(110)는 전기 신호를 오디오 데이터로 변환하고, 프로세싱을 위해 오디오 데이터를 주변기기 인터페이스(118)로 송신한다. 오디오 데이터는 선택적으로 주변기기 인터페이스(118)에 의해 메모리(102) 및/또는 RF 회로(108)로부터 검색되고/되거나 메모리(102) 및/또는 RF 회로(108)로 송신된다. 일부 실시예들에서, 오디오 회로(110)는 또한 헤드셋 잭(예를 들면, 도 2의 212)을 포함한다. 헤드셋 잭은 출력-전용 헤드폰들, 또는 출력(예컨대, 한쪽 또는 양쪽 귀를 위한 헤드폰) 및 입력(예컨대, 마이크로폰) 양쪽 모두를 갖는 헤드셋과 같은 분리가능한 오디오 입/출력 주변기기들과 오디오 회로(110) 사이의 인터페이스를 제공한다.
I/O 서브시스템(106)은 터치 스크린(112) 및 기타 입력 제어 디바이스들(116)과 같은, 디바이스(100) 상의 입/출력 주변기기들을 주변기기 인터페이스(118)에 연결한다. I/O 서브시스템(106)은 선택적으로 디스플레이 제어기(156), 광 센서 제어기(158), 세기 센서 제어기(159), 햅틱 피드백 제어기(161) 및 다른 입력 또는 제어 디바이스들을 위한 하나 이상의 입력 제어기(160)를 포함한다. 하나 이상의 입력 제어기(160)는 다른 입력 또는 제어 디바이스들(116)로부터/로 전기 신호들을 수신/송신한다. 다른 입력 제어 디바이스들(116)은, 선택적으로, 물리적 버튼들(예를 들어, 푸시 버튼, 로커 버튼(rocker button) 등), 다이얼, 슬라이더 스위치, 조이스틱, 클릭 휠 등을 포함한다. 일부 대안적인 실시예들에서, 입력 제어기(들)(160)는 선택적으로 키보드, 적외선 포트, USB 포트, 및 마우스와 같은 포인터 디바이스 중 임의의 것에 연결된다(또는 어떤 것에도 연결되지 않는다). 하나 이상의 버튼들(예컨대, 도 2의 208)은, 선택적으로, 스피커(111) 및/또는 마이크로폰(113)의 음량 제어를 위한 업/다운 버튼을 포함한다. 하나 이상의 버튼들은 선택적으로 푸시 버튼(예컨대, 도 2의 206)을 포함한다.
터치 감응 디스플레이(112)는 디바이스와 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 제공한다. 디스플레이 제어기(156)는 터치 스크린(112)으로부터/으로 전기 신호들을 수신 및/또는 송신한다. 터치 스크린(112)은 사용자에게 시각적 출력을 디스플레이한다. 시각적 출력은, 선택적으로, 그래픽, 텍스트, 아이콘들, 비디오 및 이들의 임의의 조합(총칭하여 "그래픽"으로 지칭함)을 포함한다. 일부 실시예들에서, 시각적 출력의 일부 또는 전부가 사용자 인터페이스 객체들에 대응한다.
터치 스크린(112)은 햅틱 및/또는 촉각적 접촉에 기초하는 사용자로부터의 입력을 수용하는 터치 감응 표면, 센서 또는 센서들의 세트를 갖는다. 터치 스크린(112) 및 디스플레이 제어기(156)는 (메모리(102) 내의 임의의 연관된 모듈들 및/또는 명령어들의 세트들과 함께) 터치 스크린(112) 상의 접촉(및 접촉의 임의의 이동 또는 중단)을 검출하고, 검출된 접촉을 터치 스크린(112) 상에 디스플레이된 사용자 인터페이스 객체들(예컨대, 하나 이상의 소프트 키, 아이콘들, 웹 페이지들 또는 이미지들)과의 상호작용으로 변환한다. 예시적인 실시예에서, 터치 스크린(112)과 사용자 사이의 접촉 지점은 사용자의 손가락에 대응한다.
터치 스크린(112)은, 선택적으로, LCD(액정 디스플레이) 기술, LPD(발광 중합체 디스플레이) 기술, 또는 LED(발광 다이오드) 기술을 이용하지만, 다른 실시예들에서는 다른 디스플레이 기술들이 이용된다. 터치 스크린(112) 및 디스플레이 제어기(156)는 선택적으로 정전용량, 저항, 적외선 및 표면 음향파 기술들과, 터치 스크린(112)과의 하나 이상의 접촉 지점들을 결정하기 위한 다른 근접 센서 어레이들 또는 다른 요소들을 포함하지만 이들로 한정되지 않는, 현재 알려져 있거나 추후에 개발될 복수의 터치 감지 기술들 중 임의의 것을 이용하여, 접촉 및 그의 임의의 이동 또는 중단을 검출한다. 예시적인 실시예에서, 미국 캘리포니아주 쿠퍼티노 소재의 애플 인크.로부터의 아이폰(등록상표), 아이팟 터치(등록상표), 및 아이패드(등록상표)에서 발견되는 것과 같은 투영형 상호 정전용량식 감지 기술(projected mutual capacitance sensing technology)이 이용된다.
터치 스크린(112)은, 선택적으로, 100 dpi를 초과하는 비디오 해상도를 갖는다. 일부 실시예들에서, 터치 스크린은 대략 160 dpi의 비디오 해상도를 갖는다. 사용자는 선택적으로 스타일러스, 손가락 등과 같은 임의의 적합한 물체 또는 부속물을 이용하여 터치 스크린(112)과 접촉한다. 일부 실시예들에서, 사용자 인터페이스는 손가락 기반 접촉 및 제스처를 주로 이용하여 작동하도록 설계되는데, 이는 터치 스크린 상의 손가락의 더 넓은 접촉 면적으로 인해 스타일러스 기반 입력보다 덜 정밀할 수 있다. 일부 실시예들에서, 디바이스는 대략적인 손가락 기반 입력을 사용자가 원하는 행동들을 수행하기 위한 정밀한 포인터/커서 위치 또는 커맨드로 변환한다.
일부 실시예들에서, 터치 스크린 외에도, 디바이스(100)는, 선택적으로, 특정 기능들을 활성화 또는 비활성화하기 위한 터치패드(도시되지 않음)를 포함한다. 일부 실시예들에서, 터치패드는 터치 스크린과는 다르게 시각적 출력을 디스플레이하지 않는 디바이스의 터치 감응 영역이다. 터치패드는 선택적으로 터치 스크린(112)과 별개인 터치 감응 표면 또는 터치 스크린에 의해 형성된 터치 감응 표면의 연장부이다.
디바이스(100)는 또한 다양한 컴포넌트들에 전력을 공급하기 위한 전력 시스템(162)을 포함한다. 전력 시스템(162)은 전력 관리 시스템, 하나 이상의 전원들(예컨대, 배터리, 교류 전류(alternating current, AC)), 재충전 시스템, 전력 고장 검출 회로, 전력 변환기 또는 인버터, 전력 상태 표시기(예컨대, 발광 다이오드(LED)), 및 휴대용 디바이스들 내에서의 전력의 생성, 관리 및 분배와 연관된 임의의 다른 컴포넌트들을 선택적으로 포함한다.
디바이스(100)는 또한 선택적으로 하나 이상의 광 센서들(164)을 포함한다. 도 1a는 I/O 서브시스템(106) 내의 광 센서 제어기(158)에 연결된 광 센서를 도시한다. 광 센서(164)는 선택적으로 전하-결합 소자(charge-coupled device, CCD) 또는 상보성 금속-산화물 반도체(complementary metal-oxide semiconductor, CMOS) 포토트랜지스터들을 포함한다. 광 센서(164)는 하나 이상의 렌즈를 통해 투영된 주변환경으로부터의 광을 수신하고, 그 광을 이미지를 나타내는 데이터로 변환한다. 광 센서(164)는 선택적으로, 이미징 모듈(143)(카메라 모듈이라고도 지칭됨)과 함께, 정지 이미지들 또는 비디오를 캡처한다. 일부 실시예들에서, 광 센서는 디바이스 전면 상의 터치 스크린 디스플레이(112)의 반대편인 디바이스(100)의 배면 상에 위치되어, 터치 스크린 디스플레이는 정지 및/또는 비디오 이미지 획득을 위한 뷰파인더로서 사용될 수 있게 된다. 일부 실시예들에서, 사용자가 터치 스크린 디스플레이 상에서 다른 화상 회의 참가자들을 보는 동안, 사용자의 이미지가 선택적으로 화상 회의를 위해 획득되도록 다른 광 센서가 디바이스의 전면 상에 위치된다.
디바이스(100)는 또한 선택적으로 하나 이상의 접촉 세기 센서들(165)을 포함한다. 도 1a는 I/O 서브시스템(106) 내의 세기 센서 제어기(159)에 연결된 접촉 세기 센서를 도시한다. 접촉 세기 센서(165)는 선택적으로 하나 이상의 압전 저항 스트레인 게이지, 용량성 힘 센서, 전기적 힘 센서, 압전 힘 센서, 광학적 힘 센서, 용량성 터치 감응 표면, 또는 다른 세기 센서들(예를 들면, 터치 감응 표면 상의 접촉 힘(또는 압력)을 측정하는 데 사용되는 센서들)을 포함한다. 접촉 세기 센서(165)는 주변환경으로부터 접촉 세기 정보(예를 들면, 압력 정보 또는 압력 정보에 대한 대용물)를 수신한다. 일부 실시예들에서, 적어도 하나의 접촉 세기 센서는 터치 감응 표면(예를 들면, 터치 감응 디스플레이 시스템(112))과 함께 위치되거나 그에 근접해 있다. 일부 실시예들에서, 적어도 하나의 접촉 세기 센서가 디바이스(100)의 전면 상에 위치된 터치 스크린 디스플레이(112)의 반대편인 디바이스(100)의 배면 상에 위치된다.
디바이스(100)는 또한 선택적으로 하나 이상의 근접 센서들(166)을 포함한다. 도 1a는 주변기기 인터페이스(118)에 연결된 근접 센서(166)를 도시한다. 대안적으로, 근접 센서(166)는 I/O 서브시스템(106) 내의 입력 제어기(160)에 연결된다. 일부 실시예들에서, 근접 센서는 다기능 디바이스가 사용자의 귀 근처에 위치될 때(예를 들어, 사용자가 전화 통화를 하고 있을 때), 터치 스크린(112)을 오프 상태로 하고 디스에이블(disable)시킨다.
디바이스(100)는 또한 선택적으로 하나 이상의 촉각적 출력 생성기들(167)을 포함한다. 도 1a는 I/O 서브시스템(106) 내의 햅틱 피드백 제어기(161)에 연결된 촉각적 출력 생성기를 도시한다. 촉각적 출력 생성기(167)는 선택적으로 스피커들 또는 다른 오디오 컴포넌트들과 같은 하나 이상의 전자음향 디바이스 및/또는 모터, 솔레노이드, 전기활성 중합체, 압전 액추에이터, 정전 액추에이터, 또는 다른 촉각적 출력 생성 컴포넌트(예를 들면, 전기 신호들을 디바이스 상의 촉각적 출력들로 변환하는 컴포넌트)와 같이 에너지를 선형 모션(linear motion)으로 변환하는 전자기계 디바이스들을 포함한다. 접촉 세기 센서(165)는 햅틱 피드백 모듈(133)로부터 촉각적 피드백 생성 명령어들을 수신하여 디바이스(100)의 사용자에 의해 감지될 수 있는 디바이스(100) 상의 촉각적 출력들을 생성한다. 일부 실시예들에서, 적어도 하나의 촉각적 출력 생성기는 터치 감응 표면(예컨대, 터치 감응 디스플레이 시스템(112))과 함께 위치되거나 그에 근접해 있으며, 선택적으로 터치 감응 표면을 수직으로(예를 들면, 디바이스(100)의 표면 내/외로) 또는 측방향으로(예를 들면, 디바이스(100)의 표면과 동일한 평면 내에서 전후로) 이동함으로써 촉각적 출력을 생성한다. 일부 실시예들에서, 적어도 하나의 촉각적 출력 생성기 센서는 디바이스(100)의 전면 상에 위치된 터치 스크린 디스플레이(112)의 반대편인 디바이스(100)의 배면 상에 위치된다.
디바이스(100)는 또한 선택적으로 하나 이상의 가속도계들(168)을 포함한다. 도 1a는 주변기기 인터페이스(118)에 연결된 가속도계(168)를 도시한다. 대안적으로, 가속도계(168)는 선택적으로 I/O 서브시스템(106) 내의 입력 제어기(160)에 연결된다. 일부 실시예들에서, 하나 이상의 가속도계들로부터 수신된 데이터의 분석에 기초하여 터치 스크린 디스플레이 상에 세로보기(portrait view) 또는 가로보기(landscape view)로 정보가 디스플레이된다. 디바이스(100)는, 가속도계(들)(168) 외에도, 디바이스(100)의 위치 및 배향(예컨대, 세로 또는 가로)에 관한 정보를 획득하기 위한 GPS(또는 GLONASS 또는 다른 글로벌 내비게이션 시스템) 수신기(도시되지 않음) 및 자력계(도시되지 않음)를 선택적으로 포함한다.
일부 실시예들에서, 메모리(102)에 저장된 소프트웨어 컴포넌트들은 운영 체제(126), 통신 모듈(또는 명령어들의 세트)(128), 접촉/모션 모듈(또는 명령어들의 세트)(130), 그래픽 모듈(또는 명령어들의 세트)(132), 텍스트 입력 모듈(또는 명령어들의 세트)(134), 위성 위치확인 시스템(GPS) 모듈(또는 명령어들의 세트)(135), 및 애플리케이션들(또는 명령어들의 세트들)(136)을 포함한다. 게다가, 일부 실시예들에서, 메모리(102)는 도 1a 및 도 3에 도시된 바와 같이 디바이스/글로벌 내부 상태(157)를 저장한다. 디바이스/글로벌 내부 상태(157)는 애플리케이션들이, 존재하는 경우, 현재 활성 상태임을 나타내는 활성 애플리케이션 상태; 어떤 애플리케이션들, 뷰들 또는 다른 정보가 터치 스크린 디스플레이(112)의 다양한 구역들을 점유하는지를 나타내는 디스플레이 상태; 디바이스의 다양한 센서들 및 입력 제어 디바이스들(116)로부터 획득된 정보를 포함하는 센서 상태; 및 디바이스의 위치 및/또는 자세에 관한 위치 정보 중 하나 이상을 포함한다.
운영 체제(126)(예컨대, 다윈(Darwin), RTXC, 리눅스(LINUX), 유닉스(UNIX), OS X, 윈도(WINDOWS), 또는 VxWorks와 같은 내장형 운영 체제)는 일반적인 시스템 태스크들(예컨대, 메모리 관리, 저장 디바이스 제어, 전력 관리 등)을 제어 및 관리하기 위한 다양한 소프트웨어 컴포넌트들 및/또는 드라이버들을 포함하고, 다양한 하드웨어 및 소프트웨어 컴포넌트들 사이의 통신을 가능하게 한다.
통신 모듈(128)은 하나 이상의 외부 포트들(124)을 통한 다른 디바이스들과의 통신을 가능하게 하고, 또한 RF 회로(108) 및/또는 외부 포트(124)에 의해 수신되는 데이터를 처리하기 위한 다양한 소프트웨어 컴포넌트들을 포함한다. 외부 포트(124)(예컨대, 범용 직렬 버스(Universal Serial Bus, USB), 파이어와이어(FIREWIRE) 등)는 다른 디바이스들에 직접적으로 또는 네트워크(예컨대, 인터넷, 무선 LAN 등)를 통해 간접적으로 연결하도록 구성된다. 일부 실시예들에서, 외부 포트는 아이팟(애플 인크.의 상표) 디바이스들에서 사용되는 30-핀 커넥터와 동일하거나 유사하고/하거나 호환가능한 멀티-핀(예를 들어, 30-핀) 커넥터이다. 일부 실시예들에서, 외부 포트는 아이폰 및 아이팟(애플 인크.의 상표) 디바이스들에서 사용되는 8-핀 커넥터(예컨대, 조명 커넥터)와 동일하거나 유사하고/하거나 호환가능한 멀티-핀(예를 들어, 8-핀) 커넥터이다.
접촉/모션 모듈(130)은, 선택적으로, (디스플레이 제어기(156)와 함께) 터치 스크린(112), 및 다른 터치 감응 디바이스들(예컨대, 터치패드 또는 물리적 클릭 휠)과의 접촉을 검출한다. 접촉/모션 모듈(130)은 접촉이 발생했는지를 판정하는 것(예컨대, 손가락-다운 이벤트(finger-down event)를 검출하는 것), 접촉의 세기(예컨대, 접촉의 힘 또는 압력, 또는 접촉의 힘 또는 압력에 대한 대체물)를 판정하는 것, 접촉의 이동이 있는지를 판정하고 터치 감응 표면을 가로지르는 이동을 추적하는 것(예컨대, 하나 이상의 손가락-드래그 이벤트(finger-dragging event)를 검출하는 것), 및 접촉이 중지되었는지 여부를 판정하는 것(예컨대, 손가락-업 이벤트(finger-up event) 또는 접촉 중단을 검출하는 것)과 같은, 접촉의 검출에 관련된 다양한 동작들을 수행하기 위한 다양한 소프트웨어 컴포넌트들을 포함한다. 접촉/모션 모듈(130)은 터치 감응 표면으로부터 접촉 데이터를 수신한다. 일련의 접촉 데이터에 의해 표현되는 접촉 지점의 이동을 판정하는 것은 선택적으로, 접촉 지점의 속력(크기), 속도(크기 및 방향), 및/또는 가속도(크기 및/또는 방향의 변화)를 판정하는 것을 포함한다. 이들 동작들은, 선택적으로, 단일 접촉들(예컨대, 한 손가락 접촉들)에 또는 복수의 동시 접촉(예컨대, "멀티터치"/복수의 손가락 접촉)에 적용된다. 일부 실시예들에서, 접촉/모션 모듈(130) 및 디스플레이 제어기(156)는 터치패드 상의 접촉을 검출한다.
일부 실시예들에서, 접촉/모션 모듈(130)은 동작이 사용자에 의해 수행되었는지 여부를 판정하는 데(예컨대, 사용자가 아이콘에 대해 "클릭"했는지 여부를 판정하는 데) 하나 이상의 세기 임계치들의 세트를 이용한다. 일부 실시예들에서, 적어도 세기 임계치들의 서브세트(subset)가 소프트웨어 파라미터들에 따라 결정된다(예를 들면, 세기 임계치들은 특정 물리적 액추에이터들의 활성화 임계치들에 의해 결정되지 않으며, 디바이스(100)의 물리적 하드웨어를 변경하지 않고서 조정될 수 있다). 예를 들면, 트랙패드 또는 터치 스크린 디스플레이의 마우스 "클릭" 임계치는 트랙패드 또는 터치 스크린 디스플레이 하드웨어를 변경하지 않고서 넓은 범위의 미리 정의된 임계 값들 중 임의의 것으로 설정될 수 있다. 추가적으로, 일부 구현예들에서, 디바이스의 사용자에게는 (예컨대, 개개의 세기 임계치들을 조정함으로써 그리고/또는 복수의 세기 임계치를 시스템-레벨 클릭 "세기" 파라미터로 한번에 조정함으로써) 세기 임계치들의 세트 중의 하나 이상을 조정하기 위한 소프트웨어 세팅들이 제공된다.
접촉/모션 모듈(130)은, 선택적으로, 사용자에 의한 제스처 입력을 검출한다. 터치 감응 표면 상의 상이한 제스처들은 상이한 접촉 패턴들(예를 들어, 상이한 모션, 타이밍, 및/또는 검출된 접촉들의 세기)을 갖는다. 따라서, 제스처는 선택적으로 특정 접촉 패턴을 검출함으로써 검출된다. 예를 들어, 손가락 탭 제스처(finger tap gesture)를 검출하는 것은 손가락-다운 이벤트를 검출한 다음에 손가락-다운 이벤트와 동일한 위치(또는 실질적으로 동일한 위치)(예를 들어, 아이콘의 위치)에서 손가락 업(들어올림) 이벤트를 검출하는 것을 포함한다. 다른 예로서, 터치 감응 표면 상에서 손가락 스와이프 제스처(finger swipe gesture)를 검출하는 것은 손가락-다운 이벤트를 검출한 다음에 하나 이상의 손가락-드래그 이벤트들을 검출하고, 그에 후속하여 손가락-업(들어올림) 이벤트를 검출하는 것을 포함한다.
그래픽 모듈(132)은 디스플레이되는 그래픽의 시각적 임팩트(예컨대, 휘도, 투명도, 채도, 콘트라스트 또는 다른 시각적 속성)를 변경하기 위한 컴포넌트들을 포함하는, 터치 스크린(112) 또는 다른 디스플레이 상에서 그래픽을 렌더링 및 디스플레이하기 위한 다양한 공지된 소프트웨어 컴포넌트들을 포함한다. 본 명세서에서 사용되는 바와 같이, 용어 "그래픽"은 텍스트, 웹 페이지들, 아이콘들(예를 들어, 소프트 키들을 포함하는 사용자 인터페이스 객체들), 디지털 이미지들, 비디오들, 애니메이션들 등을 제한 없이 포함하는, 사용자에게 디스플레이될 수 있는 임의의 객체를 포함한다.
일부 실시예들에서, 그래픽 모듈(132)은 사용될 그래픽을 나타내는 데이터를 저장한다. 각각의 그래픽에는 선택적으로 대응하는 코드가 할당된다. 그래픽 모듈(132)은 필요한 경우 좌표 데이터 및 다른 그래픽 속성 데이터와 함께 디스플레이될 그래픽을 특정하는 하나 이상의 코드들을 애플리케이션들 등으로부터 수신하며, 이어서 스크린 이미지 데이터를 생성하여 디스플레이 제어기(156)에 출력한다.
햅틱 피드백 모듈(133)은 디바이스(100)와의 사용자 상호작용들에 응답하여 디바이스(100) 상의 하나 이상의 위치에서 촉각적 출력들을 생성하기 위하여 촉각적 출력 생성기(들)(167)에 의해 이용되는 명령어들을 생성하기 위한 다양한 소프트웨어 컴포넌트들을 포함한다.
선택적으로 그래픽 모듈(132)의 컴포넌트인 텍스트 입력 모듈(134)은 다양한 애플리케이션들(예컨대, 접촉(137), 이메일(140), IM(141), 브라우저(147), 및 텍스트 입력을 필요로 하는 임의의 다른 애플리케이션)에 텍스트를 입력하기 위한 소프트 키보드들을 제공한다.
GPS 모듈(135)은 디바이스의 위치를 결정하고, 이 정보를 다양한 애플리케이션들에서의 사용을 위해 (예컨대, 위치-기반 다이얼링에서 사용하기 위한 전화(138)에, 사진/비디오 메타데이터로서 카메라(143)에, 그리고 날씨 위젯들, 지역 옐로우 페이지 위젯들 및 지도/내비게이션 위젯들과 같은 위치-기반 서비스들을 제공하는 애플리케이션들에) 제공한다.
애플리케이션들(136)은, 선택적으로, 다음의 모듈들(또는 명령어들의 세트들), 또는 이들의 서브세트 또는 수퍼세트(superset)를 포함한다:
Figure 112015128175419-pct00001
연락처 모듈(137)(때때로 주소록 또는 연락처 목록이라고 지칭됨);
Figure 112015128175419-pct00002
전화 모듈(138);
Figure 112015128175419-pct00003
화상 회의 모듈(139);
Figure 112015128175419-pct00004
이메일 클라이언트 모듈(140);
Figure 112015128175419-pct00005
인스턴트 메시징(IM) 모듈(141);
Figure 112015128175419-pct00006
운동 지원 모듈(142);
Figure 112015128175419-pct00007
정지 및/또는 비디오 이미지들을 위한 카메라 모듈(143);
Figure 112015128175419-pct00008
이미지 관리 모듈(144);
Figure 112015128175419-pct00009
브라우저 모듈(147);
Figure 112015128175419-pct00010
캘린더 모듈(148);
Figure 112015128175419-pct00011
날씨 위젯(149-1), 주식 위젯(149-2), 계산기 위젯(149-3), 알람 시계 위젯(149-4), 사전 위젯(149-5), 및 사용자에 의해 획득되는 다른 위젯들뿐 아니라 사용자-생성 위젯들(149-6) 중 하나 이상을 선택적으로 포함하는 위젯 모듈들(149);
Figure 112015128175419-pct00012
휴대 정보 단말기 모듈(150);
Figure 112015128175419-pct00013
차량 통합 모듈(151);
Figure 112015128175419-pct00014
비디오 재생기 모듈 및 음악 재생기 모듈로 선택적으로 구성되는 비디오 및 음악 재생기 모듈(152);
Figure 112015128175419-pct00015
노트 모듈(153);
Figure 112015128175419-pct00016
지도 모듈(154); 및/또는
Figure 112015128175419-pct00017
온라인 비디오 모듈(155).
메모리(102)에 선택적으로 저장되는 다른 애플리케이션들(136)의 예들은 다른 워드 프로세싱 애플리케이션들, 다른 이미지 편집 애플리케이션들, 그리기 애플리케이션들, 프리젠테이션 애플리케이션들, JAVA-인에이블드 애플리케이션들, 암호화, 디지털 권한 관리, 음성 인식 및 음성 복제를 포함한다.
터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 연락처 모듈(137)은, 선택적으로, 주소록에 이름(들)을 추가하는 것; 주소록으로부터 이름(들)을 삭제하는 것; 전화번호(들), 이메일 주소(들), 물리적 주소(들) 또는 기타 정보를 이름과 연관시키는 것; 이미지를 이름과 연관시키는 것; 이름들을 분류 및 구분하는 것; 전화(138), 화상 회의(139), 이메일(140) 또는 IM(141)에 의한 통신을 개시하고/하거나 가능하게 하기 위해 전화번호들 또는 이메일 주소들을 제공하는 것 등을 포함하여 주소록 또는 연락처 목록(예컨대, 메모리(102) 또는 메모리(370) 내의 연락처 모듈(137)의 애플리케이션 내부 상태(192)에 저장됨)을 관리하는 데 사용된다.
RF 회로(108), 오디오 회로(110), 스피커(111), 마이크로폰(113), 터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 및 텍스트 입력 모듈(134)과 함께, 전화 모듈(138)은, 선택적으로, 전화번호에 대응하는 문자들의 시퀀스를 입력하고, 주소록(137) 내의 하나 이상의 전화번호에 액세스하고, 입력된 전화번호를 수정하고, 개별 전화번호를 다이얼링하고, 대화를 하고, 대화가 완료된 때 접속해제하거나 끊는 데 사용된다. 전술된 바와 같이, 무선 통신은 선택적으로 복수의 통신 표준들, 프로토콜들 및 기술들 중 임의의 것을 이용한다.
RF 회로(108), 오디오 회로(110), 스피커(111), 마이크로폰(113), 터치 스크린(112), 디스플레이 제어기(156), 광 센서(164), 광 센서 제어기(158), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), 연락처 목록(137) 및 전화 모듈(138)과 함께, 화상 회의 모듈(139)은 사용자 명령어들에 따라 사용자와 한 명 이상의 다른 참여자들 사이의 화상 회의를 개시, 시행 및 종료하도록 하는 실행 가능한 명령어들을 포함한다.
RF 회로(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 이메일 클라이언트 모듈(140)은 사용자 명령어들에 응답하여 이메일을 작성, 전송, 수신, 및 관리하도록 하는 실행 가능한 명령어들을 포함한다. 이미지 관리 모듈(144)과 함께, 이메일 클라이언트 모듈(140)은 카메라 모듈(143)로 촬영된 정지 또는 비디오 이미지들을 갖는 이메일을 작성 및 전송하는 것이 매우 용이하게 한다.
RF 회로(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 인스턴트 메시징 모듈(141)은, 인스턴트 메시지에 대응하는 문자들의 시퀀스를 입력하고, 이전에 입력된 문자들을 수정하고, (예를 들어, 전화 기반 인스턴트 메시지들을 위한 단문자 메시지 서비스(SMS) 또는 멀티미디어 메시지 서비스(Multimedia Message Service, MMS) 프로토콜을 이용하거나, 인터넷 기반 인스턴트 메시지들을 위한 XMPP, SIMPLE 또는 IMPS를 이용하여) 개별 인스턴트 메시지를 전송하고, 인스턴트 메시지들을 수신하고, 수신된 인스턴트 메시지들을 보도록 하는 실행 가능한 명령어들을 포함한다. 일부 실시예들에서, 송신되고/되거나 수신된 인스턴트 메시지들은 그래픽, 사진들, 오디오 파일들, 비디오 파일들, 및/또는 MMS 및/또는 강화된 메시징 서비스(Enhanced Messaging Service, EMS)에서 지원되는 바와 같은 다른 첨부물들을 선택적으로 포함한다. 본 명세서에서 사용되는 바와 같이, "인스턴트 메시징"은 전화 기반 메시지들(예컨대, SMS 또는 MMS를 이용하여 전송된 메시지들) 및 인터넷 기반 메시지들(예를 들면, XMPP, SIMPLE 또는 IMPS를 이용하여 전송된 메시지들) 양쪽 모두를 지칭한다.
RF 회로(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), GPS 모듈(135), 지도 모듈(154), 및 음악 재생기 모듈(146)과 함께, 운동 지원 모듈(142)은 (예컨대, 시간, 거리, 및/또는 열량 소비 목표와 함께) 운동들을 고안하고; 운동 센서들(스포츠 디바이스들)과 통신하고; 운동 센서 데이터를 수신하고; 운동을 모니터링하는 데 사용되는 센서들을 교정하고; 운동 동안 음악을 선택 및 재생하고; 운동 데이터를 디스플레이, 저장 및 송신하도록 하는 실행 가능한 명령어들을 포함한다.
터치 스크린(112), 디스플레이 제어기(156), 광 센서(들)(164), 광 센서 제어기(158), 접촉 모듈(130), 그래픽 모듈(132) 및 이미지 관리 모듈(144)과 함께, 카메라 모듈(143)은 정지 이미지들 또는 비디오(비디오 스트림을 포함함)를 캡처하고 이들을 메모리(102)에 저장하거나, 정지 이미지 또는 비디오의 특성을 수정하거나, 메모리(102)로부터 정지 이미지 또는 비디오를 삭제하도록 하는 실행 가능한 명령어들을 포함한다.
터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134) 및 카메라 모듈(143)과 함께, 이미지 관리 모듈(144)은 정지 및/또는 비디오 이미지들을 배열하거나, 수정(예컨대, 편집)하거나, 다르게 조작하고, 라벨링하고, 삭제하고, (예컨대, 디지털 슬라이드 쇼 또는 앨범에) 제시하고, 저장하도록 하는 실행 가능한 명령어들을 포함한다.
RF 회로(108), 터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 브라우저 모듈(147)은, 웹 페이지들 또는 그들의 일부분뿐만 아니라 웹 페이지들에 링크된 첨부물들 및 다른 파일들을 검색하고, 그에 링크하고, 수신하고, 디스플레이하는 것을 포함한, 사용자 명령어들에 따라 인터넷을 브라우징하도록 하는 실행 가능한 명령어들을 포함한다.
RF 회로(108), 터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), 이메일 클라이언트 모듈(140), 및 브라우저 모듈(147)과 함께, 캘린더 모듈(148)은 사용자 명령어들에 따라 캘린더들 및 캘린더들과 연관된 데이터(예컨대, 캘린더 엔트리들, 할 일 목록들 등)를 생성, 디스플레이, 수정, 및 저장하도록 하는 실행 가능한 명령어들을 포함한다.
RF 회로(108), 터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134) 및 브라우저 모듈(147)과 함께, 위젯 모듈들(149)은, 선택적으로 사용자에 의해 다운로드 및 사용되거나(예컨대, 날씨 위젯(149-1), 주식 위젯(149-2), 계산기 위젯(149-3), 알람 시계 위젯(149-4) 및 사전 위젯(149-5)) 또는 사용자에 의해 생성되는(예컨대, 사용자-생성 위젯(149-6)) 미니-애플리케이션들이다. 일부 실시예들에서, 위젯은 HTML(Hypertext Markup Language) 파일, CSS(Cascading Style Sheets) 파일 및 자바스크립트(JavaScript) 파일을 포함한다. 일부 실시예들에서, 위젯은 XML(Extensible Markup Language) 파일 및 자바스크립트 파일(예를 들어, 야후!(Yahoo!)(등록상표) 위젯들)을 포함한다.
RF 회로(108), 오디오 회로(110), 스피커(111), 마이크로폰(113), 터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 및 텍스트 입력 모듈(134)과 함께, 휴대 정보 단말기 모듈(150)은, 음성 커맨드들을 기록하고, 기록된 음성 커맨드들을 나타내는 정보를, 분석을 위해 도 5a의 서버(510)와 같은 서버로 전송하고, 서버로부터의 응답에 기초하여 음성 커맨드들에 응답한다.
차량 통합 모듈(151)은, 맵핑 애플리케이션 또는 음악 애플리케이션에 대해서와 같이, 차량 정보 디스플레이 시스템(예컨대, 도 5a의 외부 정보 프리젠테이션 시스템(540)의 디스플레이(546))의 개별 디스플레이 상에 사용자 인터페이스를 제공하는 차량(예컨대, 자동차, 트럭, 밴 등)에서의 차량 정보 디스플레이 시스템을 제어하는 하나 이상의 중재 프로세스들에 대한 실행 가능한 명령어들을 포함한다. 차량 통합 애플리케이션은 제3자 애플리케이션들로부터의 정보를, 차량 정보 디스플레이 시스템의 개별 디스플레이 상의 차량 통합 애플리케이션에 의한 디스플레이를 위한 콘텐츠로 변환한다.
터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 오디오 회로(110), 스피커(111), RF 회로(108) 및 브라우저 모듈(147)과 함께, 비디오 및 음악 재생기 모듈(152)은, 사용자가 MP3 또는 AAC 파일들과 같은 하나 이상의 파일 포맷들로 저장된 녹음된 음악 및 다른 사운드 파일들을 다운로드 및 재생할 수 있게 하는 실행 가능한 명령어들, 및 비디오들을 (예컨대, 터치 스크린(112) 상에서 또는 외부 포트(124)를 통해 외부의 접속된 디스플레이 상에서) 디스플레이하거나, 상영하거나, 또는 달리 재생하도록 하는 실행 가능한 명령어들을 포함한다. 일부 실시예들에서, 디바이스(100)는 선택적으로 아이팟(애플 인크.의 상표)와 같은 MP3 플레이어의 기능을 포함한다.
터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 노트 모듈(153)은 사용자 명령어들에 따라 메모들, 할 일 목록들 등을 생성 및 관리하도록 하는 실행 가능한 명령어들을 포함한다.
RF 회로(108), 터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), GPS 모듈(135), 및 브라우저 모듈(147)과 함께, 지도 모듈(154)은, 선택적으로, 사용자 명령어들에 따라 지도들 및 지도들과 연관된 데이터(예컨대, 운전 방향; 특정 위치에서의 또는 그 인근의 상점들 및 다른 관심 지점들에 관한 데이터; 및 다른 위치-기반 데이터)를 수신하고, 디스플레이하고, 수정하고, 저장하는 데 사용된다.
터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 오디오 회로(110), 스피커(111), RF 회로(108), 텍스트 입력 모듈(134), 이메일 클라이언트 모듈(140) 및 브라우저 모듈(147)과 함께, 온라인 비디오 모듈(155)은 사용자가 H.264와 같은 하나 이상의 파일 포맷의 온라인 비디오들을 액세스하고, 브라우징하고, (예컨대, 스트리밍 및/또는 다운로드에 의해) 수신하고, (예컨대, 터치 스크린 상에서 또는 외부 포트(124)를 통해 외부의 접속된 디스플레이 상에서) 재생하고, 특정한 온라인 비디오로의 링크와 함께 이메일을 전송하고, 달리 관리하게 하는 명령어들을 포함한다. 일부 실시예들에서, 특정한 온라인 비디오로의 링크를 전송하기 위해 이메일 클라이언트 모듈(140)보다는 인스턴트 메시징 모듈(141)이 사용된다.
앞서 확인된 모듈들 및 애플리케이션들 각각은 전술된 하나 이상의 기능들 및 본 출원에 기술되는 방법들(예컨대, 컴퓨터-구현 방법들 및 본 명세서에 기술되는 다른 정보 프로세싱 방법들)을 수행하기 위한 실행 가능한 명령어들의 세트에 대응한다. 이들 모듈(즉, 명령어들의 세트들)은 별개의 소프트웨어 프로그램들, 절차들 또는 모듈들로서 구현될 필요가 없으며, 따라서 이들 모듈의 다양한 서브세트들이 선택적으로 다양한 실시예들에서 조합되거나 달리 재배열된다. 일부 실시예들에서, 메모리(102)가 선택적으로, 앞서 확인된 모듈들 및 데이터 구조들의 서브세트를 저장한다. 또한, 메모리(102)는 선택적으로 전술되지 않은 추가의 모듈들 및 데이터 구조들을 저장한다.
일부 실시예들에서, 디바이스(100)는 디바이스 상의 미리 정의된 기능들의 세트의 동작이 터치 스크린 및/또는 터치패드를 통해 전용으로 수행되는 디바이스이다. 터치 스크린 및/또는 터치패드를 디바이스(100)의 동작을 위한 주 입력 제어 디바이스로서 사용함으로써, 디바이스(100) 상의 (푸시 버튼들, 다이얼들 등과 같은) 물리적 입력 제어 디바이스들의 수가 선택적으로 감소된다.
터치 스크린 및/또는 터치패드를 통해 전용으로 수행되는 미리 정의된 기능들의 세트는 선택적으로 사용자 인터페이스들 사이의 내비게이션을 포함한다. 일부 실시예들에서, 터치패드는 사용자에 의해 터치될 때, 디바이스(100)를 디바이스(100) 상에 디스플레이되는 임의의 사용자 인터페이스로부터 메인, 홈 또는 루트 메뉴로 내비게이션한다. 그러한 실시예들에서, 터치패드를 이용하여 "메뉴 버튼"이 구현된다. 일부 다른 실시예들에서, 메뉴 버튼은 터치패드 대신에 물리적 푸시 버튼 또는 다른 물리적 입력 제어 디바이스이다.
도 1b는 일부 실시예들에 따른, 이벤트 처리를 위한 예시적인 컴포넌트들을 도시하는 블록도이다. 일부 실시예들에서, 메모리(102, 도 1a) 또는 메모리(370, 도 3)는 (예컨대, 운영 체제(126)에서의) 이벤트 분류기(170) 및 개별 애플리케이션(136-1)(예컨대, 전술된 애플리케이션들(137-13, 155, 380 내지 390) 중 임의의 것)을 포함한다.
이벤트 분류기(170)는 이벤트 정보를 수신하고 그 이벤트 정보를 전달할 애플리케이션(136-1), 및 애플리케이션(136-1)의 애플리케이션 뷰(191)를 결정한다. 이벤트 분류기(170)는 이벤트 모니터(171) 및 이벤트 디스패처 모듈(event dispatcher module)(174)을 포함한다. 일부 실시예들에서, 애플리케이션(136-1)은 애플리케이션이 활성 상태이거나 실행 중일 때 터치 감응 디스플레이(112) 상에 디스플레이되는 현재 애플리케이션 뷰(들)를 나타내는 애플리케이션 내부 상태(192)를 포함한다. 일부 실시예들에서, 디바이스/글로벌 내부 상태(157)는 이벤트 분류기(170)에 의해 어느 애플리케이션(들)이 현재 활성 상태인지를 판정하는 데 이용되며, 애플리케이션 내부 상태(192)는 이벤트 분류기(170)에 의해 이벤트 정보를 전달할 애플리케이션 뷰들(191)을 결정하는 데 이용된다.
일부 실시예들에서, 애플리케이션 내부 상태(192)는 애플리케이션(136-1)이 실행을 재개할 때 이용될 재개 정보, 애플리케이션(136-1)에 의해 디스플레이되고 있거나 디스플레이될 준비가 된 정보를 나타내는 사용자 인터페이스 상태 정보, 사용자가 애플리케이션(136-1)의 이전 상태 또는 뷰로 되돌아가게 하기 위한 상태 큐, 및 사용자에 의해 취해진 이전 행동들의 재실행(redo)/실행취소(undo) 큐 중 하나 이상과 같은 추가의 정보를 포함한다.
이벤트 모니터(171)는 주변기기 인터페이스(118)로부터 이벤트 정보를 수신한다. 이벤트 정보는 서브-이벤트(예컨대, 멀티-터치 제스처의 일부로서 터치 감응 디스플레이(112) 상의 사용자 터치)에 대한 정보를 포함한다. 주변기기 인터페이스(118)는 I/O 서브시스템(106) 또는 센서, 예컨대 근접 센서(166), 가속도계(들)(168), 및/또는 (오디오 회로(110)를 통한) 마이크로폰(113)으로부터 수신하는 정보를 송신한다. 주변기기 인터페이스(118)가 I/O 서브시스템(106)으로부터 수신하는 정보는 터치 감응 디스플레이(112) 또는 터치 감응 표면으로부터의 정보를 포함한다.
일부 실시예들에서, 이벤트 모니터(171)는 주변기기 인터페이스(118)에 요청들을 미리 결정된 간격으로 전송한다. 이에 응답하여, 주변기기 인터페이스(118)는 이벤트 정보를 송신한다. 다른 실시예들에서, 주변기기 인터페이스(118)는 중요한 이벤트(예컨대, 미리 결정된 잡음 임계치 초과의 그리고/또는 미리 결정된 지속기간 초과 동안의 입력을 수신하는 것)가 있을 때에만 이벤트 정보를 송신한다.
일부 실시예들에서, 이벤트 분류기(170)는 또한 히트 뷰(hit view) 판정 모듈(172) 및/또는 활성 이벤트 인식기 결정 모듈(173)을 포함한다.
히트 뷰 판정 모듈(172)은 터치 감응 디스플레이(112)가 하나 초과의 뷰를 디스플레이할 때 하나 이상의 뷰 내에서 서브-이벤트가 발생한 곳을 결정하기 위한 소프트웨어 프로시저들을 제공한다. 뷰들은 사용자가 디스플레이 상에서 볼 수 있는 제어부들 및 다른 요소들로 구성된다.
애플리케이션과 연관된 사용자 인터페이스의 다른 양태는 본 명세서에서 때때로 애플리케이션 뷰들 또는 사용자 인터페이스 창(user interface window)들로 지칭되는 한 세트의 뷰들이며, 여기서 정보가 디스플레이되고 터치 기반 제스처가 발생한다. 터치가 검출되는 (개별 애플리케이션의) 애플리케이션 뷰들은 선택적으로 애플리케이션의 프로그램 또는 뷰 계층구조 내의 프로그램 레벨들에 대응한다. 예를 들면, 터치가 검출되는 최하위 레벨의 뷰는 선택적으로 히트 뷰라고 지칭되고, 적절한 입력들로서 인식되는 이벤트들의 세트는 선택적으로 터치 기반 제스처를 시작하는 초기 터치의 히트 뷰에 적어도 부분적으로 기초하여 결정된다.
히트 뷰 판정 모듈(172)은 터치 기반 제스처의 서브-이벤트들에 관련된 정보를 수신한다. 애플리케이션이 계층구조로 조직화된 다수의 뷰들을 갖는 경우, 히트 뷰 판정 모듈(172)은 히트 뷰를 서브-이벤트를 처리해야 하는 계층구조 내의 최하위 뷰로서 식별한다. 대부분의 상황들에서, 히트 뷰는 개시되는 서브-이벤트가 발생하는 최하위 레벨 뷰이다(즉, 이벤트 또는 잠재적 이벤트를 형성하는 서브-이벤트들의 시퀀스 내의 첫 번째 서브-이벤트임). 일단 히트 뷰가 히트 뷰 판정 모듈에 의해 식별되면, 히트 뷰는 전형적으로 그것이 히트 뷰로서 식별되게 한 것과 동일한 터치 또는 입력 소스에 관련된 모든 서브-이벤트들을 수신한다.
활성 이벤트 인식기 결정 모듈(173)은 뷰 계층구조 내에서 어느 뷰 또는 뷰들이 서브-이벤트들의 특정 시퀀스를 수신해야 하는지를 결정한다. 일부 실시예들에서, 활성 이벤트 인식기 결정 모듈(173)은 히트 뷰만이 서브-이벤트들의 특정 시퀀스를 수신해야 하는 것으로 결정한다. 다른 실시예들에서, 활성 이벤트 인식기 결정 모듈(173)은 서브-이벤트의 물리적 할당을 포함하는 모든 뷰들이 적극 참여 뷰(actively involved view)인 것으로 결정하고, 그에 따라 모든 적극 참여 뷰들이 서브-이벤트들의 특정 시퀀스를 수신해야 하는 것으로 결정한다. 다른 실시예들에서, 터치 서브-이벤트들이 전적으로 하나의 특정 뷰와 연관된 영역으로 한정되더라도, 계층구조 내의 상위 뷰들은 여전히 적극 참여 뷰들로서 유지될 것이다.
이벤트 디스패처 모듈(174)은 이벤트 정보를 이벤트 인식기(예컨대, 이벤트 인식기(180))에 송달한다. 활성 이벤트 인식기 결정 모듈(173)을 포함하는 실시예들에서, 이벤트 디스패처 모듈(174)은 이벤트 정보를 활성 이벤트 인식기 결정 모듈(173)에 의해 결정된 이벤트 인식기에 전달한다. 일부 실시예들에서, 이벤트 디스패처 모듈(174)은 이벤트 큐 내에 이벤트 정보를 저장하는데, 이벤트 정보는 개별 이벤트 수신기 모듈(182)에 의해 검색된다.
일부 실시예들에서, 운영 체제(126)는 이벤트 분류기(170)를 포함한다. 대안적으로, 애플리케이션(136-1)은 이벤트 분류기(170)를 포함한다. 또 다른 실시예들에서, 이벤트 분류기(170)는 독립형 모듈, 또는 접촉/모션 모듈(130)과 같이 메모리(102)에 저장되는 다른 모듈의 일부이다.
일부 실시예들에서, 애플리케이션(136-1)은 복수의 이벤트 핸들러(190) 및 하나 이상의 애플리케이션 뷰(191)를 포함하며, 이들의 각각은 애플리케이션의 사용자 인터페이스의 개별 뷰 내에서 발생하는 터치 이벤트들을 처리하기 위한 명령어들을 포함한다. 애플리케이션(136-1)의 각각의 애플리케이션 뷰(191)는 하나 이상의 이벤트 인식기(180)를 포함한다. 전형적으로, 개별 애플리케이션 뷰(191)는 복수의 이벤트 인식기들(180)을 포함한다. 다른 실시예들에서, 이벤트 인식기들(180) 중 하나 이상은 사용자 인터페이스 키트(도시되지 않음) 또는 애플리케이션(136-1)이 방법들 및 다른 속성들을 이어받게 되는 상위 레벨 객체와 같은 별개의 모듈의 일부이다. 일부 실시예들에서, 개별 이벤트 핸들러(190)는 데이터 업데이터(176), 객체 업데이터(177), GUI 업데이터(178), 및/또는 이벤트 분류기(170)로부터 수신된 이벤트 데이터(179) 중 하나 이상을 포함한다. 이벤트 핸들러(190)는 선택적으로 애플리케이션 내부 상태(192)를 업데이트하기 위해서 데이터 업데이터(176), 객체 업데이터(177) 또는 GUI 업데이터(178)를 활용하거나 호출한다. 대안적으로, 애플리케이션 뷰들(191) 중 하나 이상은 하나 이상의 개별 이벤트 핸들러들(190)을 포함한다. 또한, 일부 실시예들에서, 데이터 업데이터(176), 객체 업데이터(177), 및 GUI 업데이터(178) 중 하나 이상은 개별 애플리케이션 뷰(191)에 포함된다.
개별 이벤트 인식기(180)는 이벤트 분류기(170)로부터 이벤트 정보(예컨대, 이벤트 데이터(179))를 수신하고 이벤트 정보로부터 이벤트를 식별한다. 이벤트 인식기(180)는 이벤트 수신기(182) 및 이벤트 비교기(184)를 포함한다. 일부 실시예들에서, 이벤트 인식기(180)는 또한 적어도 메타데이터(183) 및 이벤트 전달 명령어들(188)(선택적으로 서브-이벤트 전달 명령어들을 포함함)의 서브세트를 포함한다.
이벤트 수신기(182)는 이벤트 분류기(170)로부터 이벤트 정보를 수신한다. 이벤트 정보는 서브-이벤트, 예를 들면 터치 또는 터치 이동에 대한 정보를 포함한다. 서브-이벤트에 따라, 이벤트 정보는 또한 서브-이벤트의 위치와 같은 추가의 정보를 포함한다. 서브-이벤트가 터치의 모션과 관련될 때, 이벤트 정보는 또한 선택적으로 서브-이벤트의 속력 및 방향을 포함한다. 일부 실시예들에서, 이벤트들은 하나의 배향으로부터 다른 배향으로(예컨대, 세로 배향으로부터 가로 배향으로, 또는 그 반대로)의 디바이스의 회전을 포함하며, 이벤트 정보는 디바이스의 현재 배향(디바이스 자세로도 지칭됨)에 관한 대응하는 정보를 포함한다.
이벤트 비교기(184)는 이벤트 정보를 미리 정의된 이벤트 또는 서브-이벤트 정의들과 비교하고, 그 비교에 기초하여 이벤트 또는 서브-이벤트를 결정하거나, 이벤트 또는 서브-이벤트의 상태를 판정 또는 업데이트한다. 일부 실시예들에서, 이벤트 비교기(184)는 이벤트 정의들(186)을 포함한다. 이벤트 정의들(186)은 이벤트들(예컨대, 서브-이벤트들의 미리 정의된 시퀀스들), 예를 들면 이벤트 1(187-1), 이벤트 2(187-2) 등의 정의들을 포함한다. 일부 실시예들에서, 이벤트(187) 내의 서브-이벤트들은, 예를 들어, 터치 시작, 터치 종료, 터치 이동, 터치 취소, 및 다중 터치를 포함한다. 일례에서, 이벤트 1(187-1)에 대한 정의는 디스플레이된 객체 상의 더블 탭(double tap)이다. 더블 탭은, 예를 들어, 미리 결정된 페이즈(phase) 동안의 디스플레이된 객체 상의 제1 터치(터치 시작), 미리 결정된 페이즈 동안의 제1 들어올림(터치 종료), 미리 결정된 페이즈 동안의 디스플레이된 객체 상의 제2 터치(터치 시작), 및 미리 결정된 페이즈 동안의 제2 들어올림(터치 종료)을 포함한다. 다른 예에서, 이벤트 2(187-2)에 대한 정의는 디스플레이된 객체 상의 드래깅(dragging)이다. 드래깅은, 예를 들면 미리 결정된 페이즈 동안의 디스플레이된 객체 상의 터치(또는 접촉), 터치 감응 디스플레이(112)를 가로지르는 터치의 이동, 및 터치의 들어올림(터치 종료)을 포함한다. 일부 실시예들에서, 이벤트는 또한 하나 이상의 연관된 이벤트 핸들러(190)에 대한 정보를 포함한다.
일부 실시예들에서, 이벤트 정의(187)는 개별 사용자 인터페이스 객체에 대한 이벤트의 정의를 포함한다. 일부 실시예들에서, 이벤트 비교기(184)는 어느 사용자 인터페이스 객체가 서브-이벤트와 연관되어 있는지 결정하도록 히트 테스트(hit test)를 수행한다. 예를 들면, 3개의 사용자 인터페이스 객체들이 터치 감응 디스플레이(112) 상에 디스플레이된 애플리케이션 뷰에서, 터치 감응 디스플레이(112) 상에서 터치가 검출되는 경우, 이벤트 비교기(184)는 3개의 사용자 인터페이스 객체들 중 어느 것이 터치(서브-이벤트)와 연관되는지를 결정하도록 히트 테스트를 수행한다. 각각의 디스플레이된 객체가 개별 이벤트 핸들러(190)와 연관되는 경우, 이벤트 비교기는 어느 이벤트 핸들러(190)가 활성화되어야 하는지를 결정하는 데 히트 테스트의 결과를 이용한다. 예를 들면, 이벤트 비교기(184)는 히트 테스트를 트리거하는 서브-이벤트 및 객체와 연관되는 이벤트 핸들러를 선택한다.
일부 실시예들에서, 개별 이벤트(187)에 대한 정의는 또한 서브-이벤트들의 시퀀스가 이벤트 인식기의 이벤트 유형에 대응하는지 대응하지 않는지 여부가 결정된 후까지 이벤트 정보의 전달을 지연하는 지연된 행동들을 포함한다.
개별 이벤트 인식기(180)가 일련의 서브-이벤트들이 이벤트 정의들(186) 내의 이벤트들 중 어떠한 것과도 일치하지 않는 것으로 판정하면, 개별 이벤트 인식기(180)는 이벤트 불가능, 이벤트 실패, 또는 이벤트 종료 상태에 진입하고, 그 후 개별 이벤트 인식기는 터치 기반 제스처의 후속하는 서브-이벤트들을 무시한다. 이러한 상황에서, 만일 있다면, 히트 뷰에 대해 활성 상태로 유지되는 다른 이벤트 인식기들이 진행 중인 터치 기반 제스처의 서브-이벤트들을 계속해서 추적 및 프로세싱한다.
일부 실시예들에서, 개별 이벤트 인식기(180)는 이벤트 전달 시스템이 어떻게 적극 참여 이벤트 인식기들에 대한 서브-이벤트 전달을 수행해야 하는지를 나타내는 구성 가능한 속성들, 플래그(flag)들, 및/또는 목록들을 갖는 메타데이터(183)를 포함한다. 일부 실시예들에서, 메타데이터(183)는 이벤트 인식기들이 어떻게 서로 상호작용하는지, 또는 상호작용할 수 있는지를 나타내는 구성 가능한 속성들, 플래그들, 및/또는 목록들을 포함한다. 일부 실시예들에서, 메타데이터(183)는, 서브-이벤트들이 뷰 또는 프로그램 계층구조에서의 변화하는 레벨들에 전달되는지 여부를 나타내는 구성 가능한 속성들, 플래그들, 및/또는 목록들을 포함한다.
일부 실시예들에서, 개별 이벤트 인식기(180)는 이벤트의 하나 이상의 특정 서브-이벤트가 인식될 때 이벤트와 연관된 이벤트 핸들러(190)를 활성화한다. 일부 실시예들에서, 개별 이벤트 인식기(180)는 이벤트와 연관된 이벤트 정보를 이벤트 핸들러(190)에 전달한다. 이벤트 핸들러(190)를 활성화하는 것은 개별 히트 뷰에 서브-이벤트들을 전송(및 지연 전송)하는 것과는 구별된다. 일부 실시예들에서, 이벤트 인식기(180)는 인식된 이벤트와 연관된 플래그를 보내고, 그 플래그와 연관된 이벤트 핸들러(190)는 그 플래그를 수신하고(catch) 미리 정의된 프로세스를 수행한다.
일부 실시예들에서, 이벤트 전달 명령어들(188)은 이벤트 핸들러를 활성화하지 않고 서브-이벤트에 대한 이벤트 정보를 전달하는 서브-이벤트 전달 명령어들을 포함한다. 대신에, 서브-이벤트 전달 명령어들은 일련의 서브-이벤트들과 연관된 이벤트 핸들러들에 또는 적극 참여 뷰들에 이벤트 정보를 전달한다. 일련의 서브-이벤트들 또는 적극 참여 뷰들과 연관된 이벤트 핸들러들은 이벤트 정보를 수신하고 미리 결정된 프로세스를 수행한다.
일부 실시예들에서, 데이터 업데이터(176)는 애플리케이션(136-1)에서 이용되는 데이터를 생성 및 업데이트한다. 예를 들어, 데이터 업데이터(176)는 연락처 모듈(137)에서 이용되는 전화번호를 업데이트하거나, 비디오 재생기 모듈(145)에서 이용되는 비디오 파일을 저장한다. 일부 실시예들에서, 객체 업데이터(177)는 애플리케이션(136-1)에서 이용되는 객체들을 생성 및 업데이트한다. 예를 들어, 객체 업데이터(176)는 새로운 사용자 인터페이스 객체를 생성하거나 사용자 인터페이스 객체의 위치를 업데이트한다. GUI 업데이터(178)는 GUI를 업데이트한다. 예를 들면, GUI 업데이터(178)는 디스플레이 정보를 준비하고 이것을 터치 감응 디스플레이 상에서의 디스플레이를 위한 그래픽 모듈(132)에 전송한다.
일부 실시예들에서, 이벤트 핸들러(들)(190)는 데이터 업데이터(176), 객체 업데이터(177), 및 GUI 업데이터(178)를 포함하거나 이들에 액세스한다. 일부 실시예들에서, 데이터 업데이터(176), 객체 업데이터(177), 및 GUI 업데이터(178)는 개별 애플리케이션(136-1) 또는 애플리케이션 뷰(191)의 단일 모듈 내에 포함된다. 다른 실시예들에서, 이들은 2개 이상의 소프트웨어 모듈에 포함된다.
터치 감응 디스플레이들 상의 사용자 터치들의 이벤트 처리에 관한 전술된 논의는 또한 입력 디바이스들을 이용하여 다기능 디바이스들(100)을 작동시키기 위한 다른 형태들의 사용자 입력들에도 적용되지만, 그 모두가 터치 스크린들 상에서 개시되는 것이 아니라는 것을 이해해야 한다. 예를 들면, 단일 또는 다수의 키보드 누르기 또는 유지와 선택적으로 조화된 마우스 이동 및 마우스 버튼 누르기; 터치패드 상의, 탭, 드래그, 스크롤 등과 같은 접촉 이동들; 펜 스타일러스 입력들; 디바이스의 이동; 구두 명령어들; 검출된 눈 이동들; 생체 측정 입력들; 및/또는 이들의 임의의 조합이 인식될 이벤트를 정의하는 서브-이벤트들에 대응하는 입력들로서 선택적으로 이용된다.
도 2는 일부 실시예들에 따른, 터치 스크린(112)을 갖는 휴대용 다기능 디바이스(100)를 예시한다. 터치 스크린은 선택적으로 사용자 인터페이스(UI)(200) 내에 하나 이상의 그래픽들을 디스플레이한다. 이러한 실시예에서뿐만 아니라 아래에 기술되는 다른 실시예들에서, 사용자는 예를 들면 하나 이상의 손가락(202)(도면에서 축척대로 도시되지는 않음) 또는 하나 이상의 스타일러스(203)(도면에서 축척대로 도시되지는 않음)를 이용하여 그래픽 상에 제스처를 행함으로써 그래픽들 중 하나 이상을 선택하는 것이 가능하게 된다. 일부 실시예들에서, 하나 이상의 그래픽들의 선택은 사용자가 하나 이상의 그래픽들과의 접촉을 중단할 때 발생한다. 일부 실시예들에서, 제스처는 선택적으로 디바이스(100)와 접촉한 손가락의 하나 이상의 탭, (좌에서 우로, 우에서 좌로, 위로 및/또는 아래로의) 하나 이상의 스와이프 및/또는 (우에서 좌로, 좌에서 우로, 위로 및/또는 아래로의) 롤링을 포함한다. 일부 구현예들 또는 상황들에서, 그래픽과의 의도하지 않은 접촉은 그래픽을 선택하지 않는다. 예를 들면, 선택에 대응하는 제스처가 탭인 경우에, 애플리케이션 아이콘 위를 지나가는 스와이프 제스처는 선택적으로, 대응하는 애플리케이션을 선택하지 않는다.
디바이스(100)는 또한 선택적으로 "홈" 또는 메뉴 버튼(204)과 같은 하나 이상의 물리적 버튼을 포함한다. 전술된 바와 같이, 메뉴 버튼(204)은 선택적으로, 디바이스(100) 상에서 선택적으로 실행되는 애플리케이션들의 세트 내의 임의의 애플리케이션(136)으로 내비게이션하는 데 사용된다. 대안적으로, 일부 실시예들에서, 메뉴 버튼은 터치 스크린(112) 상에 디스플레이된 GUI에서 소프트 키로서 구현된다.
일 실시예에서, 디바이스(100)는 터치 스크린(112), 메뉴 버튼(204), 디바이스의 전원을 켜고/끄며 디바이스를 잠그기 위한 푸시 버튼(206), 음량 조절 버튼(들)(208), 가입자 식별 모듈(SIM) 카드 슬롯(210), 헤드 셋 잭(212), 및 도킹/충전 외부 포트(124)를 포함한다. 푸시 버튼(206)은, 선택적으로, 버튼을 누르고 버튼을 미리 정의된 시간 간격 동안 누른 상태로 유지함으로써 디바이스에서 전원을 켜거나/끄고; 버튼을 누르고 미리 정의된 시간 간격이 경과하기 전에 버튼 누르기를 해제함으로써 디바이스를 잠그고; 그리고/또는 디바이스를 잠금해제하거나 잠금해제 프로세스를 개시하는 데 사용된다. 대안적인 실시예에서, 디바이스(100)는 또한 마이크로폰(113)을 통해 일부 기능들의 활성화 또는 비활성화를 위한 구두 입력을 수용한다. 디바이스(100)는 또한 선택적으로 터치 스크린(112) 상의 접촉들의 세기를 검출하기 위한 하나 이상의 접촉 세기 센서(165) 및/또는 디바이스(100)의 사용자를 위해 촉각적 출력들을 생성하기 위한 하나 이상의 촉각적 출력 생성기(167)를 포함한다.
도 3은 일부 실시예들에 따른 디스플레이 및 터치 감응 표면을 갖는 예시적인 다기능 디바이스의 블록도이다. 디바이스(300)가 휴대용일 필요는 없다. 일부 실시예들에서, 디바이스(300)는, 랩톱 컴퓨터, 데스크톱 컴퓨터, 태블릿 컴퓨터, 멀티미디어 재생기 디바이스, 내비게이션 디바이스, (어린이 학습 장난감과 같은) 교육용 디바이스, 게이밍 시스템, 또는 제어 디바이스(예컨대, 가정용 또는 산업용 제어기)이다. 디바이스(300)는 통상적으로 하나 이상의 프로세싱 유닛(CPU)(310)들, 하나 이상의 망 또는 다른 통신 인터페이스(360)들, 메모리(370), 및 이들 컴포넌트들을 상호 연결하기 위한 하나 이상의 통신 버스(320)들을 포함한다. 통신 버스들(320)은 선택적으로 시스템 컴포넌트들을 상호접속시키고 이들 사이의 통신을 제어하는 회로(때때로 칩셋이라고 지칭됨)를 포함한다. 디바이스(300)는, 전형적으로 터치 스크린 디스플레이(예컨대, 터치 스크린 디스플레이(112))인 디스플레이(340)를 포함하는 입력/출력(I/O) 인터페이스(330)를 포함한다. I/O 인터페이스(330)는 또한 선택적으로 키보드 및/또는 마우스(또는 기타의 포인팅 디바이스)(350) 및 터치패드(355), (예를 들면, 도 1a를 참조하여 전술된 촉각적 출력 생성기(들)(167)와 유사한) 디바이스(300) 상에 촉각적 출력들을 생성하기 위한 촉각적 출력 생성기(357), 센서들(359)(예를 들면, 도 1a를 참조하여 전술된 접촉 세기 센서(들)(165)와 유사한 광, 가속도, 근접, 터치 감응, 및/또는 접촉 세기 센서들)을 포함한다. 메모리(370)는 DRAM, SRAM, DDR RAM 또는 다른 랜덤 액세스 솔리드 스테이트 메모리 디바이스들과 같은 고속 랜덤 액세스 메모리를 포함하며; 선택적으로 하나 이상의 자기 디스크 저장 디바이스, 광 디스크 저장 디바이스, 플래시 메모리 디바이스, 또는 다른 비휘발성 솔리드 스테이트 저장 디바이스와 같은 비휘발성 메모리를 포함한다. 메모리(370)는 선택적으로 CPU(310)(들)로부터 원격으로 위치된 하나 이상의 저장 디바이스를 포함한다. 일부 실시예들에서, 메모리(370)는 휴대용 다기능 디바이스(100)(도 1a)의 메모리(102)에 저장된 프로그램들, 모듈들, 및 데이터 구조들과 유사한 프로그램들, 모듈들, 및 데이터 구조들 또는 이들의 서브세트를 저장한다. 또한, 메모리(370)는 선택적으로 휴대용 다기능 디바이스(100)의 메모리(102) 내에 존재하지 않는 추가의 프로그램들, 모듈들 및 데이터 구조들을 저장한다. 예를 들면, 디바이스(300)의 메모리(370)는 선택적으로 그리기 모듈(380), 프리젠테이션 모듈(382), 워드 프로세싱 모듈(384), 웹사이트 제작 모듈(386), 디스크 저작 모듈(388), 및/또는 스프레드시트 모듈(390)을 저장하는 반면, 휴대용 다기능 디바이스(100)(도 1a)의 메모리(102)는 이들 모듈을 선택적으로 저장하지 않는다.
도 3에서의 앞서 확인된 요소들 각각은, 선택적으로, 전술된 메모리 디바이스들 중 하나 이상에 저장된다. 앞서 확인된 모듈들 각각은 전술된 기능을 수행하기 위한 명령어들의 세트에 대응한다. 앞서 확인된 모듈들 또는 프로그램들(즉, 명령어들의 세트들)은 별개의 소프트웨어 프로그램들, 절차들 또는 모듈들로서 구현될 필요가 없으며, 따라서 다양한 실시예들에서 이들 모듈의 다양한 서브세트들이 선택적으로 조합되거나 그렇지 않으면 재배열된다. 일부 실시예들에서, 메모리(370)가 선택적으로, 앞서 확인된 모듈들 및 데이터 구조들의 서브세트를 저장한다. 또한, 메모리(370)는 선택적으로 전술되지 않은 추가의 모듈들 및 데이터 구조들을 저장한다.
이제 휴대용 다기능 디바이스(100) 상에서 선택적으로 구현되는 사용자 인터페이스들("UI")의 실시예들에 주목한다.
도 4a는 일부 실시예들에 따른, 휴대용 다기능 디바이스(100) 상의 애플리케이션들의 메뉴에 대한 예시적인 사용자 인터페이스를 예시한다. 유사한 사용자 인터페이스가 선택적으로 디바이스(300) 상에 구현된다. 일부 실시예들에서, 사용자 인터페이스(400)는 다음의 요소들, 또는 그 서브세트나 수퍼세트를 포함한다:
Figure 112015128175419-pct00018
셀룰러 및 Wi-Fi 신호들과 같은 무선 통신(들)을 위한 신호 강도 표시자(들)(402);
Figure 112015128175419-pct00019
시간(404);
Figure 112015128175419-pct00020
블루투스 표시자(405);
Figure 112015128175419-pct00021
배터리 상태 표시자(406);
Figure 112015128175419-pct00022
다음과 같은, 빈번하게 사용되는 애플리케이션들용 아이콘들을 갖는 트레이(408):
Figure 112015128175419-pct00023
부재 중 전화들 또는 음성메일 메시지들의 개수의 표시자(414)를 선택적으로 포함하는 "전화"라고 라벨링된 전화 모듈(138)용 아이콘(416);
Figure 112015128175419-pct00024
읽지 않은 이메일들의 개수의 표시자(410)를 선택적으로 포함하는 "메일"이라고 라벨링된 이메일 클라이언트 모듈(140)용 아이콘(418);
Figure 112015128175419-pct00025
"브라우저"라고 라벨링된 브라우저 모듈(147)용 아이콘(420); 및
Figure 112015128175419-pct00026
"아이팟"이라고 라벨링된 아이팟(애플 인크.의 상표) 모듈(152)로도 또한 지칭되는 비디오 및 음악 재생기 모듈(152)용 아이콘(422).
Figure 112015128175419-pct00027
다음과 같은, 다른 애플리케이션들용 아이콘들:
Figure 112015128175419-pct00028
"텍스트"라고 라벨링된 IM 모듈(141)용 아이콘(424);
Figure 112015128175419-pct00029
"캘린더"라고 라벨링된 캘린더 모듈(148)용 아이콘(426);
Figure 112015128175419-pct00030
"사진"이라고 라벨링된 이미지 관리 모듈(144)용 아이콘(428);
Figure 112015128175419-pct00031
"카메라"라고 라벨링된 카메라 모듈(143)용 아이콘(430);
Figure 112015128175419-pct00032
"온라인 비디오"라고 라벨링된 온라인 비디오 모듈(155)용 아이콘(432);
Figure 112015128175419-pct00033
"주식"이라고 라벨링된 주식 위젯(149-2)용 아이콘(434);
Figure 112015128175419-pct00034
"지도"라고 라벨링된 지도 모듈(154)용 아이콘(436);
Figure 112015128175419-pct00035
"날씨"라고 라벨링된 날씨 위젯(149-1)용 아이콘(438);
Figure 112015128175419-pct00036
"시계"라고 라벨링된 알람 시계 위젯(149-4)용 아이콘(440);
Figure 112015128175419-pct00037
"운동 지원"이라고 라벨링된 운동 지원 모듈(142)용 아이콘(442);
Figure 112015128175419-pct00038
"노트"라고 라벨링된 노트 모듈(153)용 아이콘(444); 및
Figure 112015128175419-pct00039
디바이스(100) 및 그의 다양한 애플리케이션들(136)에 대한 설정에의 액세스를 제공하는 설정 애플리케이션 또는 모듈용 아이콘(446).
도 4a에 도시된 아이콘 라벨들이 단지 예시적인 것임에 주의하여야 한다. 예를 들면, 비디오 및 음악 재생기 모듈(152)용 아이콘(422)은 "음악" 또는 "음악 재생기"라고 라벨링된다. 기타 라벨들이 선택적으로 다양한 애플리케이션 아이콘들에 대해 사용된다. 일부 실시예들에서, 개별 애플리케이션 아이콘에 대한 라벨은 개별 애플리케이션 아이콘에 대응하는 애플리케이션의 이름을 포함한다. 일부 실시예들에서, 특정 애플리케이션 아이콘에 대한 라벨은 특정 애플리케이션 아이콘에 대응하는 애플리케이션의 이름과 별개이다.
도 4b는 디스플레이(450)(예컨대, 터치 스크린 디스플레이(112))와 별개인 터치 감응 표면(451)(예컨대, 태블릿 또는 터치패드(355), 도 3)을 갖는 디바이스(예컨대, 디바이스(300), 도 3) 상의 예시적인 사용자 인터페이스를 도시한다. 디바이스(300)는 또한, 선택적으로, 터치 감응 표면(451) 상의 접촉들의 세기를 검출하기 위한 하나 이상의 접촉 세기 센서들(예컨대, 센서들(357) 중 하나 이상) 및/또는 디바이스(300)의 사용자에 대한 촉각적 출력들을 생성하기 위한 하나 이상의 촉각적 출력 생성기들(359)을 포함한다.
후속하는 일부 예들이 (터치 감응 표면과 디스플레이가 조합된) 터치 스크린 디스플레이(112) 상의 입력들을 참조하여 주어질 것이지만, 일부 실시예들에서, 디바이스는 도 4b에 도시된 바와 같이 디스플레이와 별개인 터치 감응 표면 상에서 입력들을 검출한다. 일부 실시예들에서, 터치 감응 표면(예컨대, 도 4b의 451)은 디스플레이(예컨대, 450) 상의 주축(예컨대, 도 4b의 453)에 대응하는 주축(예컨대, 도 4b의 452)을 갖는다. 이들 실시예들에 따르면, 디바이스는 디스플레이 상의 개별 위치들에 대응하는 위치들(예컨대, 도 4b에서, 460은 468에 대응하고, 462는 470에 대응함)에서 터치 감응 표면(451)과의 접촉들(예컨대, 도 4b의 460 및 462)을 검출한다. 이러한 방식으로, 터치 감응 표면(예컨대, 도 4b의 451) 상에서 디바이스에 의해 검출된 사용자 입력들(예컨대, 접촉들(460, 462) 및 그 이동들)은 터치 감응 표면이 디스플레이와 별개인 경우 디바이스에 의해 다기능 디바이스의 디스플레이(예컨대, 도 4b의 450) 상의 사용자 인터페이스를 조작하는 데 사용된다. 유사한 방법들이 선택적으로 본 명세서에 기술된 다른 사용자 인터페이스들에 사용된다는 것을 이해하여야 한다.
추가로, 하기의 예들이 손가락 입력들(예컨대, 손가락 접촉들, 손가락 탭 제스처들, 손가락 스와이프 제스처들)을 주로 참조하여 주어지는 반면, 일부 실시예들에서, 손가락 입력들 중 하나 이상은 다른 입력 디바이스로부터의 입력(예컨대, 마우스 기반 입력 또는 스타일러스 입력)으로 대체되는 것이 이해되어야 한다. 예를 들면, 스와이프 제스처가 선택적으로 (예를 들면, 접촉 대신의) 마우스 클릭 및 뒤이은 (예컨대, 접촉의 이동 대신의) 스와이프의 경로를 따른 커서의 이동으로 대체된다. 다른 예로서, (예를 들면, 접촉의 검출 및 뒤이은 접촉을 검출하는 것을 중단하는 것 대신) 커서가 탭 제스처의 위치 위에 위치되는 동안에 탭 제스처가 선택적으로 마우스 클릭으로 대체된다. 유사하게, 다수의 사용자 입력이 동시에 검출되는 경우, 다수의 컴퓨터 마우스가 선택적으로 동시에 사용되거나, 또는 마우스와 손가락 접촉들이 선택적으로 동시에 사용되는 것으로 이해하여야 한다.
본 명세서에 사용되는 바와 같이, 용어 "포커스 선택자(focus selector)"는 사용자가 상호작용하고 있는 사용자 인터페이스의 현재 부분을 나타내는 입력 요소를 지칭한다. 커서 또는 다른 위치 마커를 포함하는 일부 구현예들에서, 커서가 "포커스 선택자"로서 작용하여, 커서가 특정 사용자 인터페이스 요소(예를 들어, 버튼, 윈도, 슬라이더 또는 다른 사용자 인터페이스 요소) 위에 있는 동안 입력(예를 들어, 누름 입력)이 터치 감응 표면(예를 들어, 도 3의 터치 패드(355) 또는 도 4b의 터치 감응 표면(451)) 상에서 검출될 때, 특정 사용자 인터페이스 요소가 검출된 입력에 따라 조정되도록 한다. 터치 스크린 디스플레이 상의 사용자 인터페이스 요소들과의 직접적인 상호작용을 가능하게 하는 터치 스크린 디스플레이(예를 들어, 도 1a의 터치 감응 디스플레이 시스템(112) 또는 도 4a의 터치 스크린(112))를 포함하는 일부 구현예들에서, 터치 스크린 상에서 검출된 접촉이 "포커스 선택자"로서 작용하여, 입력(예를 들어, 접촉에 의한 누름 입력)이 특정 사용자 인터페이스 요소(예를 들어, 버튼, 윈도, 슬라이더 또는 다른 사용자 인터페이스 요소)의 위치에 있는 터치 스크린 디스플레이 상에서 검출될 때, 특정 사용자 인터페이스 요소가 검출된 입력에 따라 조정되도록 한다. 일부 구현예들에서, 포커스는 (예컨대, 탭 키(tab key) 또는 화살표 키들을 사용하여 포커스를 하나의 버튼으로부터 다른 버튼으로 이동시킴으로써) 터치 스크린 디스플레이 상에서의 커서의 대응하는 이동 또는 접촉의 이동이 없이 사용자 인터페이스의 하나의 영역으로부터 사용자 인터페이스의 다른 영역으로 이동되며; 이러한 구현예들에서, 사용자 인터페이스의 상이한 영역들 사이에서의 포커스의 이동에 따라 포커스 선택자가 이동된다. 포커스 선택자에 의해 취해지는 구체적인 형태와 무관하게, 포커스 선택자는 일반적으로 (예를 들어, 사용자가 상호작용하고자 하는 사용자 인터페이스의 요소를 디바이스에 나타냄으로써) 사용자 인터페이스와의 사용자의 의도된 상호작용을 통신하기 위해 사용자에 의해 제어되는 사용자 인터페이스 요소(또는 터치 스크린 디스플레이 상의 접촉)이다. 예를 들어, 터치 감응 표면(예를 들어, 터치패드 또는 터치 스크린) 상에서 누름 입력이 검출되는 동안 각각의 버튼 위의 포커스 선택자(예를 들어 커서, 접촉 또는 선택 박스)의 위치는 (디바이스의 디스플레이 상에 나타내어진 다른 사용자 인터페이스 요소들과 반대로) 사용자가 각각의 버튼을 활성화하고자 의도함을 나타낼 것이다.
도 5a는 일부 실시예들에 따른 운영 환경(500)의 블록도이다. 운영 환경(500)은 서버(510), 하나 이상의 통신 네트워크들(505), 휴대용 다기능 디바이스(100), 및 외부 정보 프리젠테이션 시스템(540)을 포함한다. 일부 실시예들에서, 외부 정보 프리젠테이션 시스템(540)은 차량에서 구현되는 엔터테인먼트 및/또는 내비게이션 시스템이다. 일부 실시예들에서, 외부 정보 프리젠테이션 시스템(540)은 하나 이상의 디스플레이들을 포함한다. 일부 실시예들에서, 차량이 운영 환경(500)에서의 디바이스(100)에 통신가능하게 연결된 복수의 외부 정보 프리젠테이션 시스템(540)을 포함하는데, 각각이 개별 디스플레이를 갖는다.
서버(510)는 전형적으로, 메모리(524)에 저장된 모듈들, 프로그램들 및/또는 명령어들을 실행하고 이에 따라 프로세싱 동작들을 수행하기 위한 하나 이상의 프로세싱 유닛들(CPU)(512), 하나 이상의 네트워크 또는 다른 통신 인터페이스들(520), 메모리(524), 및 이들 컴포넌트들을 상호접속시키기 위한 하나 이상의 통신 버스들(522)을 포함한다. 통신 버스들(522)은 선택적으로 시스템 컴포넌트들을 상호접속시키고 이들 사이의 통신을 제어하는 회로(때때로 칩셋이라고 지칭됨)를 포함한다. 메모리(524)는 고속 랜덤 액세스 메모리, 예를 들어 DRAM, SRAM, DDR RAM 또는 다른 랜덤 액세스 솔리드 스테이트 메모리 디바이스들을 포함하고; 비휘발성 메모리, 예를 들어 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드 스테이트 저장 디바이스들을 포함할 수도 있다. 메모리(524)는 선택적으로 CPU(512)(들)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(524), 또는 대안적으로 메모리(524) 내부의 비휘발성 메모리 디바이스(들)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 실시예들에서, 메모리(524), 또는 메모리(524)의 컴퓨터 판독가능 저장 매체는 하기 프로그램들, 모듈들 및 데이터 구조들, 또는 그들의 서브세트를 저장한다:
Figure 112015128175419-pct00040
다양한 기본 시스템 서비스들을 처리하기 위한 그리고 하드웨어 종속 작업들을 수행하기 위한 절차들을 포함하는 운영 체제(526); 및
Figure 112015128175419-pct00041
하나 이상의 통신 네트워크 인터페이스들(520) 및 하나 이상의 통신 네트워크들(505), 예를 들어, 인터넷, 다른 광역 통신망들, 근거리 통신망들, 대도시 통신망들 등을 통해 서버(510)를 다른 컴퓨팅 디바이스들에 (유선 또는 무선) 접속시키기 위해 사용되는 네트워크 통신 모듈(528).
휴대용 다기능 디바이스(100)(본 명세서에서 때때로 "디바이스(100)"라고도 칭해짐)는 전형적으로 도 1a와 도 1b 및/또는 도 3을 참조하여 기술되는 컴포넌트들을 포함한다.
외부 정보 프리젠테이션 시스템(540)(본 명세서에서 때때로 "시스템(540)"이라고도 칭해짐)은 전형적으로, 메모리(554)에 저장된 모듈들, 프로그램들 및/또는 명령어들을 실행하고 이에 따라 프로세싱 동작들을 수행하기 위한 하나 이상의 프로세싱 유닛들(CPU)(542), 하나 이상의 네트워크 또는 다른 통신 인터페이스들(550), 메모리(554), 및 이들 컴포넌트들을 상호접속시키기 위한 하나 이상의 통신 버스들(552)을 포함한다. 외부 정보 프리젠테이션 시스템(540)은, 선택적으로, 하나 이상의 디스플레이 디바이스들(546) 및 복수의 제어부들(548)(예컨대, 조그 다이얼들, 노브들, 버튼들, 스위치들, 터치 스크린 디스플레이와 같은 터치 감응 표면, 또는 다른 입력 소스들)을 포함하는 사용자 인터페이스(544)를 포함한다. 일부 실시예들에서, 하나 이상의 디스플레이들(546)은 주 디스플레이(546-1)(예컨대, 대시보드 또는 차량 내비게이션 디스플레이) 및 보조 디스플레이(546-2)(예컨대, 뒷좌석의 또는 엔터테인먼트 디스플레이)를 포함한다. 일부 실시예들에서, 하나 이상의 디스플레이들(546)의 개별 디스플레이는 사용자 터치 입력들을 수신(예컨대, 손가락 접촉들 및 손가락 접촉들의 검출과 이동에 대응하는 제스처들을 검출)할 수 있는 터치 스크린 디스플레이이다. 일부 실시예들에서, 하나 이상의 디스플레이들(546)의 개별 디스플레이는 복수의 제어부들(548)(예컨대, 조그 다이얼들, 노브들, 버튼들, 스위치들, 터치 스크린 디스플레이와 같은 터치 감응 표면, 또는 다른 입력 소스들) 중 하나 이상의 제어부들과 연관된다. 통신 버스들(552)은 선택적으로 시스템 컴포넌트들을 상호접속시키고 이들 사이의 통신을 제어하는 회로(때때로 칩셋이라고 지칭됨)를 포함한다. 메모리(554)는 고속 랜덤 액세스 메모리, 예를 들어 DRAM, SRAM, DDR RAM 또는 다른 랜덤 액세스 솔리드 스테이트 메모리 디바이스들을 포함하고; 선택적으로, 비휘발성 메모리, 예를 들어 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 솔리드 스테이트 저장 디바이스들을 포함한다. 메모리(554)는 선택적으로 CPU(542)(들)로부터 원격으로 위치된 하나 이상의 저장 디바이스들을 포함한다. 메모리(552), 또는 대안적으로 메모리(552) 내부의 비휘발성 메모리 디바이스(들)는 비일시적 컴퓨터 판독가능 저장 매체를 포함한다. 일부 실시예들에서, 메모리(552), 또는 메모리(552)의 컴퓨터 판독가능 저장 매체는 하기 프로그램들, 모듈들, 및 데이터 구조들, 또는 그들의 서브세트를 저장한다:
다양한 기본 시스템 서비스들을 처리하기 위한 그리고 하드웨어 종속 작업들을 수행하기 위한 절차들을 포함하는 운영 체제(556); 및
Figure 112015128175419-pct00043
하나 이상의 통신 네트워크 인터페이스들(550) 및 하나 이상의 통신 네트워크들(505), 예를 들어, 인터넷, 다른 광역 통신망들, 근거리 통신망들, 대도시 통신망들 등을 통해 서버(540)를 다른 컴퓨팅 디바이스들에 (유선 또는 무선) 접속시키기 위해 사용되는 네트워크 통신 모듈(558).
일부 실시예들에서, 디바이스(100)는 시스템(540)의 하나 이상의 디스플레이들(546)을 구동한다. 예를 들어, 디바이스(100)는 비디오 신호를 시스템(540)으로 전송하고, 시스템(540)의 CPU(542)는 비디오 신호를 하나 이상의 디스플레이들(546) 상에 렌더링한다.
일부 실시예들에서, 디바이스(100)는 비디오 신호를 하나 이상의 디스플레이들(546)로 직접 전송하고, CPU(542)는 비디오 신호를 렌더링하기 위해 사용되지 않는다(예컨대, 디바이스(100)는 디스플레이(546)를 보조 디스플레이로서 사용한다). 일부 실시예들에서, 디바이스(100)의 터치 스크린(112) 상에 디스플레이된 사용자 인터페이스가 시스템(540)의 하나 이상의 디스플레이들(546) 상에 디스플레이된 사용자 인터페이스와 동기화되고, 일부 다른 실시예들에서, 디바이스(100)의 터치 스크린(112) 상에 디스플레이된 사용자 인터페이스가 시스템(540)의 하나 이상의 디스플레이들(546) 상에 디스플레이된 사용자 인터페이스와 연속적으로 동기화되지 않으며, 때로는 (예컨대, 디바이스(100)의 사용자가 가능한 운전 목적지들에 관한 정보를 보고 있지만 아직 운전 목적지를 선택하지 않은 동안) 디바이스(100)의 터치 스크린(112)이 시스템(540)의 디스플레이(546) 상에 디스플레이된 것과 상이한 정보를 디스플레이한다(예컨대, 터치 스크린(112) 및 디스플레이(546)는 이들이 동기화되지 않은 경우에 간헐적 동기화 이벤트들 사이에서의 주기들로 간헐적으로 동기화된다).
일부 실시예들에서, 사용자 입력(예컨대, 하나 이상의 디스플레이들(546)의 개별 디스플레이와 연관된 사용자 터치 입력 또는 복수의 제어부들(548)의 개별 제어부와 연관된 사용자 입력)을 검출하는 것에 응답하여, 시스템(540)(또는 하나 이상의 디스플레이들(546)의 개별 디스플레이 또는 복수의 제어부들(548)의 개별 제어부)은 사용자 입력에 대응하는 입력 정보(예컨대, 사용자 입력을 기술하는 입력 설명 및 입력 소스에 대한 식별자)를 디바이스(100)로 전송한다. 이어서, 디바이스(100)는, 사용자 입력 시에 또는 그 이전에 하나 이상의 디스플레이들(546)의 개별 디스플레이 상에 디스플레이되는 사용자 인터페이스의 디스플레이 상태 및/또는 수신된 입력 정보에 따라서 디바이스(100)의 터치 스크린(112) 및/또는 하나 이상의 디스플레이들(546)의 개별 디스플레이 상에 디스플레이되는 사용자 인터페이스를 업데이트한다.
도 5b는 영향받는 디스플레이를 선택하고 업데이트 정보를 영향받는 디스플레이로 전송하는 프로세스를 예시하는 흐름도이다. 영향받는 디스플레이(예컨대, 주 디스플레이(546-1))는 사용자 인터페이스를 디스플레이한다(560). 시스템(540)의 제어부인 개별 입력 소스(예컨대, 도 6w 내지 도 6ff에 도시된 조그 다이얼(675))가 사용자 입력(예컨대, 조그 다이얼(675)의 회전)을 검출한다(561). 일부 실시예들에서, 개별 입력 소스는 제어부들(548) 중 하나이고, 사용자 입력은 제어부들(548) 중 하나와의 상호작용이다. 예를 들어, 제어부들(548)은 버튼들, 스위치들, 다이얼들, 노브들, 다른 기계적 어포던스(mechanical affordance)들, 터치 감응 표면들, 또는 다른 입력 소스들을 포함한다. 예를 들어, 사용자 입력은 노브 또는 다이얼의 회전, 어포던스 또는 노브의 누름(depression), 터치 감응 표면 또는 터치 스크린 상에서 검출되는 터치 입력, 또는 제어부들(548)과의 다른 사용자 상호작용이다.
사용자 입력을 검출하는 것에 응답하여, 개별 입력 소스는 입력 정보(예컨대, {소스 ID; 입력 설명})를 디바이스(100)로 전송한다(562). 일부 실시예들에서, 입력 정보는 사용자 입력을 기술하는 입력 설명 정보 및 입력 소스에 대한 고유한 식별자를 포함한다. 예를 들어, 입력 설명 정보는 조그 다이얼의 회전의 크기 및 방향, 터치 감응 표면 상에서 검출되는 접촉 위치들 및 이동 양들/방향들, 및/또는 터치 감응 표면 상에서 수행된 제스처의 유형을 기술하는 제스처 데이터와 같은 미가공(raw) 입력 데이터이다.
디바이스(100)는 개별 입력 소스로부터 입력 정보를 수신한다(564). 디바이스(100)는 적어도 부분적으로 입력 소스 맵핑(566)에 기초하여 입력 정보에 포함된 고유한 식별자(예컨대, 소스 ID)를 디스플레이 식별자 태그(예컨대, 디스플레이 ID)와 상관시킴으로써 영향받는 디스플레이를 선택한다. 일부 실시예들에서, 입력 소스 맵핑(566)은 디바이스(100)의 메모리에 저장된다. 예를 들어, 디바이스(100)는 조그 다이얼(675)이 제1 디스플레이(예컨대, 도 6w 내지 도 6cc의 디스플레이(546-1))와 연관될 때 입력 소스 맵핑(566)에 기초하여 조그 다이얼(675)의 회전을 제1 디스플레이와 연관시킨다. 대안적으로, 조그 다이얼(675)이 제2 디스플레이(예컨대, 도 6dd 내지 도 6ff의 디스플레이(546-2))와 연관될 때 디바이스(100)는 조그 다이얼(675)의 회전을 제2 디스플레이와 연관시킨다. 일부 실시예들에서, 다수의 입력 소스들이 동일한 디스플레이에 맵핑된다. 그러나, 일부 실시예들에서, 각각의 입력 소스가 단지 단일 디스플레이에 맵핑될 뿐이다. 일부 실시예들에서, 입력 소스 맵핑(566)은 입력 소스 맵핑 업데이트 이벤트들(예컨대, 제1 디스플레이와 연관된 차량이 후진하기(back up) 시작하고 제1 디스플레이를 제어하는 것, 또는 입력이 조그 다이얼을 제1 디스플레이 대신에 제2 디스플레이와 연관시키는 것)을 검출하는 것에 응답하여 그리고/또는 미리 결정된 스케줄에 따라서 디바이스(100)에 의해 업데이트된다.
영향받는 디스플레이를 선택한 후에, 디바이스(100)는, 사용자 인터페이스 상태 표(568)에 적어도 부분적으로 기초하여, 영향받는 디스플레이에 대한 (입력 소스 맵핑(566)에 기초하여 결정되는) 디스플레이 ID를 디스플레이 상태 정보(예컨대, 어떤 종류의 사용자 인터페이스가 디스플레이에 디스플레이되는지, 어떤 사용자 인터페이스 요소들이 디스플레이되는지, 그리고/또는 어느 제어부들이 음량 제어 또는 스크롤링과 같은 어느 기능들과 연관되는지)와 상관시킴으로써, 영향받는 디스플레이 상에 디스플레이되는 사용자 인터페이스의 개별 상태를 결정한다. 일부 실시예들에서, 사용자 인터페이스 상태 표(568)는 디바이스(100)의 메모리에 저장된다. 영향받는 디스플레이 상에 디스플레이되는 사용자 인터페이스의 개별 상태를 결정한 후에, 디바이스(100)는 영향받는 디스플레이 상에 디스플레이되는 사용자 인터페이스의 개별 상태 및 입력 설명 정보에 따라서 영향받는 디스플레이에 대한 업데이트된 사용자 인터페이스를 생성하고(570), 디바이스(100)는 업데이트된 사용자 인터페이스(또는 업데이트된 사용자 인터페이스를 생성하기 위한 정보)를 영향받는 디스플레이로 전송한다. 일부 실시예들에서, 디바이스(100)는 또한, (예컨대, 입력 소스로부터 수신되는 후속 입력 정보에 응답하여 사용하기 위해) 영향받는 디스플레이에 대응하는 디스플레이 ID와 연관된 상태 정보가 업데이트된 사용자 인터페이스를 반영하도록 사용자 인터페이스 상태 표(568)를 업데이트한다.
디바이스(100)로부터 업데이트된 사용자 인터페이스(예컨대, 업데이트 정보)를 수신하는 것에 응답하여, 영향받는 디스플레이는, (예컨대, 디바이스(100)에 의해 이전에 제공된 사용자 인터페이스의 이미지를 업데이트 정보에서의 디바이스(100)에 의해 제공되는 사용자 인터페이스의 업데이트된 이미지로 대체함으로써) 업데이트된 사용자 인터페이스를 디스플레이하도록 영향받는 디스플레이 상에 디스플레이되는 사용자 인터페이스를 업데이트한다(574).
사용자 인터페이스 및 연관된 프로세스
이제, 디바이스(300) 또는 휴대용 다기능 디바이스(100)와 같은, 디스플레이 및 터치 감응 표면을 갖는 전자 디바이스 상에 구현될 수 있는 사용자 인터페이스들("UI") 및 연관된 프로세스들의 실시예들에 주목한다.
도 6a 내지 도 6v는 일부 실시예들에 따른, 2개 이상의 디스플레이들을 동기화하기 위한 예시적인 사용자 인터페이스들을 도시한다. 이들 도면들에서의 사용자 인터페이스들은 도 7a 내지 도 7d 및 도 8a와 도 8b에서의 프로세스들을 포함한, 아래에 기술되는 프로세스들을 예시하는 데 사용된다.
도 6a는 휴대용 다기능 디바이스(100)(본 명세서에서 때때로 "디바이스(100)"라고도 칭해짐)의 터치 스크린(112) 상에 디스플레이된 사용자 인터페이스(602)를 도시한다. 사용자 인터페이스(602)는 복수의 사용자 인터페이스 객체들(예컨대, 애플리케이션 아이콘들(424, 426, 428, 430, 434, 436, 438, 446, 416, 418, 420, 422))을 포함한다. 도 6a는 또한 터치 스크린(112) 상의 지도 애플리케이션 아이콘(436) 위에서 사용자 터치 입력(606)을 검출하는 것을 도시한다.
도 6a는 추가로 외부 정보 프리젠테이션 시스템(540)(본 명세서에서 때때로 "시스템(540)"이라고도 칭해짐)의 디스플레이(546-1) 상에 디스플레이되는 사용자 인터페이스(604)를 도시한다. 일부 실시예들에서, 시스템(540)은 차량(예컨대, 차량의 대시보드 또는 조향 휠(steering wheel))에 포함된다. 일부 실시예들에서, 디스플레이(546-1)는 시스템(540)과 연관된 복수의 디스플레이들의 주 디스플레이이다. 일부 실시예들에서, 디스플레이(546-1)는 차량의 대시보드에서 구현되고 차량의 운전자 및/또는 승객에게 시각적으로 접근하기 쉽다. 일부 실시예들에서, 디스플레이(546-1)는 하나 이상의 사용자 터치 입력들을 검출하도록 구성된 터치 스크린 디스플레이이다. 도 6a는, 바깥 온도(예컨대, 82°), 차량의 운전자 구역에서의 온도(예컨대, 70°), 차량의 승객 구역에서의 온도(예컨대, 75°), 차량의 운전자 구역에서의 팬 세기(예컨대, 0 내지 10 스케일에서 2), 및 차량의 승객 구역에서의 팬 세기(예컨대, 0 내지 10 스케일에서 5)를 포함한, 사용자 인터페이스(604)에서의 복수의 실내 온도 조절기(climate control)들을 디스플레이하는 디스플레이(546-1)를 도시한다. 도 6a는 또한 차량의 개별 구역에서의 온도를 조정할 수 있도록 된 복수의 사용자 인터페이스 객체들(본 명세서에서 때때로 "어포던스들" 또는 "선택가능한 사용자 인터페이스 객체들"이라고 칭해짐)(예컨대, 어포던스들(603a, 603b, 603c, 603d)), 차량의 개별 구역에서의 팬 세기를 조정할 수 있도록 된 복수의 사용자 인터페이스 객체들(예컨대, 어포던스들(603e, 603f, 603g, 603h)), 및 그 외의 차량 실내 온도 조절기 설정치들을 조정할 수 있도록 된 복수의 사용자 인터페이스 객체들(예컨대, 공기 조화에 관련된 어포던스(605a), 앞유리(windshield) 서리 제거에 관련된 어포던스(605b), 뒷유리(rear window) 서리 제거에 관련된 어포던스(605c), 및 자동 실내 온도 조절기에 관련된 어포던스(605d))을 디스플레이하는 디스플레이(546-1)를 도시한다. 도 6a는 추가로 차량의 사운드 시스템의 음량을 제어하거나 또는 디스플레이(546-1) 상에 하나 이상의 사용자 인터페이스 객체들을 스크롤하도록 구성된 복수의 기계적 어포던스들(예컨대, 노브 또는 조그 다이얼(607c)) 및 차량의 라디오 튜너(예컨대, 어포던스들(607a, 607b, 607d, 607e))를 도시한다.
도 6b는 도 6a의 지도 애플리케이션 아이콘(436) 위에서 사용자 터치 입력(606)을 검출하는 것에 응답하여 터치 스크린(112)의 사용자 인터페이스(602)에서 지도 애플리케이션에서의 디바이스(100)의 현재 위치(608)를 디스플레이하는 터치 스크린(112)을 도시한다. 일부 실시예들에서, 개별 어포던스 위에서 사용자 터치 입력을 검출하는 것은 개별 어포던스 상의 탭 제스처를 검출하는 것에 대응하는데, 여기서 탭 제스처는 개별 어포던스에 대응하는 위치에서 접촉을 검출하는 것 및 미리 결정된 기간(예컨대, 0.05, 0.1, 0.2, 03, 0.4 또는 0.5초) 이내에 접촉의 들어올림(liftoff)을 검출하는 것을 포함한다. 일부 실시예들에서, 사용자 인터페이스(602)에 디스플레이되는 지도는 축척대로 되어 있지 않다. 도 6b는 또한 터치 스크린(112) 상의 검색 박스(609) 위에서 사용자 터치 입력(610)을 검출하는 것을 도시한다.
도 6b는 추가로 도 6a의 지도 애플리케이션 아이콘(436) 위에서 사용자 터치 입력(606)을 검출하는 것에 응답하여 사용자 인터페이스(604)에서 디스플레이되는 지도에서의 디바이스(100)의 현재 위치(608)를, 디스플레이(546-1) 상에 디스플레이하는 것을 도시한다. 일부 실시예들에서, 사용자 인터페이스(604)에 디스플레이되는 지도는 축척대로 되어 있지 않다. 사용자 인터페이스(604)에 또한 디스플레이되는 어포던스(612)는, 활성화될 때, 디바이스로 하여금 디지털 어시스턴트(예컨대, 미국 캘리포니아주 쿠퍼티노 소재의 애플 인크.로부터의 시리(Siri))를 호출하도록 한다. 도 6b는 또한 사용자 인터페이스(604)에 디스플레이되는 지도의 배향을 표시하는 나침반(611)을 도시한다(예컨대, 지도는 디스플레이(546-1)의 상단이 북쪽인 상태로 배향되어 있다). 일부 구현예들에서, 디스플레이(546-1)의 사용자 인터페이스(604)에 디스플레이되는 정보의 폰트 크기(font size)는 터치 스크린(112)의 사용자 인터페이스(602)에 디스플레이되는 정보의 폰트 크기보다 더 크다. 예를 들어, 시스템(540)이 차량 내에 위치되는 경우, 디스플레이(546-1) 상의 텍스트는, 차량의 운전자 및 승객(들)이 팔을 뻗으면 닿는 거리에 디스플레이(546-1)가 있는 상태에서 판독성을 더 크게 하기 위해 디바이스(100)의 터치 스크린(112) 상의 텍스트보다 더 크게 되도록 생성된다.
도 6c는 사용자 인터페이스(602)의 검색 박스(609)에 입력되는 사용자 검색 질의(예컨대, 드라이 클리닝)를 디스플레이하는 것을 도시한다. 일례로, 사용자는 디바이스(100)의 사용자 인터페이스(602)에서 가상 키보드를 이용하여 검색 질의를 수동으로 입력한다. 다른 예에서, 검색 질의는 디바이스(100)의 사용자로부터 수신된 음성 입력이다. 도 6c는 게다가 디스플레이(546-1) 상에 도 6b로부터의 사용자 인터페이스(604)의 디스플레이를 유지하는 것을 도시한다.
도 6d는 도 6c의 검색 질의의 입력에 응답하여 사용자 인터페이스(602)에서 디바이스(100)의 현재 위치(608) 근처의 핀들(614a, 614b)에 의해 나타낸 세탁소들과 연관된 사용자 인터페이스 객체들(예컨대, 핀들)을 디스플레이하는 것을 도시한다. 일부 실시예들에서, 사용자의 검색 질의와 일치하는 검색 결과(또는 시설)는 근접성, 시설의 신용등급(ratings), 리뷰들의 양, 사용자가 시설을 자주 찾은 횟수, 및/또는 다른 요인들에 기초하여 자동으로 선택된다(예컨대, ABC 세탁소). 도 6d에서, 핀(614a)에 의해 나타낸 자동으로 선택된 세탁소에 대응하는 정보 박스(613)가 또한 사용자 인터페이스(602)에 디스플레이된다. 정보 박스(613)는 드라이 클리닝 시설의 이름(예컨대, ABC 세탁소), 시설의 신용등급(예컨대, 별 5개 중 3개), 시설에 대한 사용자 리뷰들의 양(예컨대, 100개의 리뷰들), 및 시설에 대응하는 추가 정보를 디스플레이하도록 구성된 어포던스(613a)를 포함한다. 일부 실시예들에서, 정보 박스(613)는, 활성화될 때, 디바이스로 하여금 정보 박스(613) 내의 어딘가의 사용자 터치 입력에 응답하여 시설에 대응하는 추가 정보를 디스플레이하도록 한다. 일부 다른 실시예들에서, 정보 박스(613)는, 활성화될 때, 디바이스로 하여금 어포던스(613a) 위에서의 사용자 터치 입력에 응답하여 시설에 대응하는 추가 정보를 디스플레이하도록 한다. 도 6d는 또한 터치 스크린(112) 상의 어포던스(613a) 위에서 사용자 터치 입력(615)을 검출하는 것을 도시한다.
도 6d는 추가로 도 6c의 검색 질의의 입력에 응답하여 사용자 인터페이스(604)에서 디바이스(100)의 현재 위치(608)로부터 자동으로 선택된 검색 결과(예컨대, ABC 세탁소에 대응하는 핀(614a)에 의해 나타낸 세탁소)까지의 제안된 경로(616)를 디스플레이하는 것을 도시한다. 도 6d에서, 사용자 인터페이스(604)는 경로(616), 경로(616) 상에서 사용자의 제1 방향(또는 턴) 및 목적지의 이름(예컨대, ABC 세탁소)을 표시하는 턴바이턴(turn-by-turn) 길 안내 박스(617), 및 디바이스가 시각적 프롬프트 및/또는 음성 프롬프트(spoken prompt)를 사용하여 ABC 세탁소로의 턴바이턴 길 안내를 제공할 턴바이턴 길 안내 모드를 개시하도록 구성된 "길 안내 시작" 어포던스(618)를 포함한다. 도 6d는 또한 사용자 인터페이스(604)에 디스플레이되는 지도의 배향을 표시하는 나침반(611)을 도시한다(예컨대, 지도가 디스플레이(546-1)의 상단이 남쪽이 된 상태로 배향되므로, 차량이 턴바이턴 길 안내에서 운전하도록 지시되는 방향이 디스플레이(546-1)의 상단을 향해 배향되게 된다).
도 6e는 도 6d의 어포던스(613a) 위에서의 사용자 터치 입력(615)을 검출하는 것에 응답하여 사용자 인터페이스(602)에서 ABC 세탁소에 대응하는 추가 정보를 디스플레이하는 것을 도시한다. 도 6e에서, 사용자 인터페이스(602)는 ABC 세탁소의 영업시간, ABC 세탁소에 대한 홈페이지(또는 웹사이트), ABC 세탁소에 대한 전화번호, 및 ABC 세탁소에 대한 주소를 식별하는 정보를 포함한다. 도 6e에서, 사용자 인터페이스(602)는 또한 디바이스의 현재 위치로부터 ABC 세탁소까지의 길 안내를 디스플레이하도록 구성된 어포던스(619) 및 ABC 세탁소로부터 디바이스의 현재 위치까지의 길 안내를 디스플레이하도록 구성된 어포던스(620)를 포함한다. 도 6e는 또한 터치 스크린(112) 상의 어포던스(619) 위에서 사용자 터치 입력(621)을 검출하는 것을 도시한다. 도 6e는 게다가 디스플레이(546-1) 상에 도 6d로부터의 사용자 인터페이스(604)의 디스플레이를 유지하는 것을 도시한다.
도 6f는 도 6e의 터치 스크린(112) 상의 어포던스(619) 위에서 사용자 터치 입력(621)을 검출하는 것에 응답하여 경로에 대한 시작 지점 및 종료 지점을 입력하기 위한 인터페이스를 사용자 인터페이스(602)에 디스플레이하는 것을 도시한다. 도 6f에서, 사용자 인터페이스(602)는 박스(622a) 내의 경로의 시작 지점의 주소(예컨대, 디바이스(100)의 현재 위치) 및 박스(622b) 내의 경로의 종료 지점의 주소(예컨대, 캘리포니아주 샌프란시스코 40번가 1660, ABC 세탁소)를 포함한다. 도 6f에서, 박스(622a) 및/또는 박스(622b)는 사용자 인터페이스(602)에 디스플레이되는 가상 키보드(624)로 또는 대안적으로 음성 입력으로 편집될 수 있게 되어 있다. 어포던스(622c)는, 활성화될 때, 디바이스로 하여금 박스(622a)에 입력된 위치를 박스(622b) 내의 위치로 대체하도록 그리고 박스(622b)에 입력된 위치를 박스(622a) 내의 위치로 대체하도록 한다. 도 6f에서, 사용자 인터페이스(602)는 디바이스(100)의 현재 위치로부터 이전에 입력된 목적지들까지의 선택가능한 경로들(623)을 포함한다. 도 6f에서, 사용자 인터페이스(602)는 추가로 경로 계산을 위해 상이한 교통 수단들(modes of transportation)을 선택하도록 구성된 어포던스들(627a, 627b, 627c)을 포함한다. 예를 들어, 도 6f에서, 어포던스(627b) 주위에 강조된 프레임에 의해 도시된 바와 같이 "도보" 교통 수단이 현재 선택되어 있다. 도 6f는 또한 박스(622a) 내의 시작 지점으로부터 박스(622b) 내의 종료 지점까지의 하나 이상의 경로들을 계산하도록 구성된 "경로" 어포던스(626a) 및 박스들(622a, 622b)에 입력된 위치들을 지우거나 또는 도 6d에 디스플레이된 사용자 인터페이스(602)를 다시 디스플레이하도록 구성된 "취소" 어포던스(626b)를 디스플레이하는 것을 도시한다. 도 6f는 추가로 터치 스크린(112) 상의 "경로" 어포던스(626a) 위에서 사용자 터치 입력(628)을 검출하는 것을 도시한다. 도 6f는 게다가 디스플레이(546-1) 상에 도 6d로부터의 사용자 인터페이스(604)의 디스플레이를 유지하는 것을 도시한다.
도 6g는 도 6f의 터치 스크린(112) 상의 "경로" 어포던스(626a) 위에서 사용자 터치 입력(628)을 검출하는 것에 응답하여 사용자 인터페이스(602)에서 디바이스(100)의 현재 위치(608)로부터 핀(614a)에 의해 나타낸 세탁소까지의 2개의 제안된 경로들을 디스플레이하는 것을 도시한다. 도 6g에서, 다이얼로그 박스(629)는 2개의 제안된 경로들 중 현재 선택된 제1 경로가 디바이스(100)의 현재 위치(608)로부터 핀(614a)에 의해 나타낸 세탁소까지 사용자가 걸어가는 데 10분 및 0.2 마일이 걸릴 것임을 표시한다. 도 6g에서, 제1 경로(631a)는 사용자 인터페이스(602)에서 강조되어 있고, "경로 1" 어포던스(631b)는, 활성화될 때, 디바이스로 하여금 경로(631a)를 선택(및 강조)하도록 한다. 도 6g에서, 사용자 인터페이스(602)에 디스플레이되는 경로(631a)는 사용자 인터페이스(604)에 디스플레이되는 경로(616)와 동일하지만 상이한 배향으로 있다. 도 6g는 또한 사용자 인터페이스(602)에서의 경로(632a) 및 경로(632a)를 선택(및 강조)하도록 구성된 "경로 2" 어포던스(632b)를 디스플레이하는 것을 도시한다. 도 6g에서, "시작" 어포던스(630a)는, 활성화될 때, 디바이스로 하여금 현재 선택된(또는 강조된) 경로(예컨대, 경로(631a))로의 턴바이턴 길 안내를 시작하도록 하고, "지우기" 어포던스(630b)는, 활성화될 때, 디바이스로 하여금 디스플레이된 경로들(예컨대, 경로들(631a, 632a))을 사용자 인터페이스(602)로부터 지우고 사용자 인터페이스(602)에 검색 박스(609)를 디스플레이하도록 한다. 도 6g는 추가로 터치 스크린(112) 상의 "시작" 어포던스(630a) 위에서 사용자 터치 입력(633)을 검출하는 것을 도시한다. 도 6g는 게다가 디스플레이(546-1) 상에 도 6d로부터의 사용자 인터페이스(604)의 디스플레이를 유지하는 것을 도시한다. 일부 실시예들에서, 디바이스(100)가 디스플레이(546-1)에 접속되고 디스플레이(546-1)가 차량 디스플레이일 경우, 디바이스(100)는 터치 스크린(112) 상에 그리고 디스플레이(546-1) 상에 도보 길 안내보다는 운전 길 안내를 디스플레이한다.
도 6h는 도 6g의 "시작" 어포던스(630a) 위에서 사용자 터치 입력(633)을 검출하는 것에 응답하여 사용자 인터페이스(602)에서 경로(631a) 상에서의 사용자의 제1 방향(또는 턴) 및 목적지의 이름(예컨대, ABC 세탁소)을 표시하는 턴바이턴 길 안내 박스(634)를 디스플레이하는 것을 도시한다. 일부 실시예들에서, 턴바이턴 길 안내 박스(634)는 터치 스크린(112)의 전체를 점유한다. 도 6h는 또한 터치 스크린(112) 상의 사용자 터치 입력(635)을 검출하는 것을 도시한다.
도 6h는 추가로 디바이스(100)가 도 6g의 시작 어포던스(630a) 위에서 사용자 터치 입력(633)을 검출하는 것에 응답하여 사용자 인터페이스(604)에서 턴바이턴 길 안내 모드를 디스플레이하는 것을 도시한다. 도 6h에서, 턴바이턴 모드에 있는 동안, 디바이스(100)의 현재 위치가 사용자 인터페이스(604)에서의 마커(636)로서 디스플레이된다. 일부 실시예들에서, 도 6h에 디스플레이되는 턴바이턴 길 안내 모드는, 도 6d 내지 도 6g에 디스플레이되는 지도와 비교해서 사용자 인터페이스(604)에서 디스플레이되는 지도로 추가로 확대된다(zoomed into)(예컨대, 터치 스크린(112) 상에 디스플레이되는 지도는 디스플레이(546-1) 상에 디스플레이되는 지도보다 더 낮은 배율 레벨에 있다).
도 6i는 도 6h의 터치 스크린(112) 상의 사용자 터치 입력(635)을 검출하는 것에 응답하여 사용자 인터페이스(602)에서 다이얼로그 박스(637)를 디스플레이하는 것을 도시한다. 도 6i에서, 다이얼로그 박스(637)는 턴바이턴 길 안내를 일시 정지하도록 구성된 "일시 정지" 어포던스(638a), 및 지도 애플리케이션(436) 내에서 최신 검색 질의(예컨대, 디바이스(100)의 현재 위치 근처의 세탁소)로부터의 결과들을 디스플레이하도록 구성된 "뒤로(back)" 어포던스(638b)를 포함한다. 도 6i는 또한 "뒤로" 어포던스(638b) 위에서의 사용자 터치 입력(639)을 검출하는 것을 도시한다. 도 6i는 게다가 디스플레이(546-1) 상에 도 6h로부터의 사용자 인터페이스(604)의 디스플레이를 유지하는 것을 도시한다.
도 61은 도 61의 "뒤로" 어포던스(638b) 위에서의 사용자 터치 입력(639)(예컨대, 탭 입력)에 응답하여 사용자 인터페이스(602)에서 디바이스(100)의 현재 위치(608) 근처의 핀들(614a, 614b)에 의해 나타낸 세탁소들과 연관된 사용자 인터페이스 객체들(예컨대, 핀들)(예컨대, 도 6c로부터의 지도 애플리케이션(436)에서의 최신 검색 질의에 대응함)을 디스플레이하는 것을 도시한다. 도 61은 또한 터치 스크린(112) 상의 접촉들(640, 641)의 이동을 포함하는 핀치 제스처(pinch gesture)를 검출하는 것을 도시한다. 도 61은 게다가 디스플레이(546-1) 상에 도 6h로부터의 사용자 인터페이스(604)의 디스플레이를 유지하는 것을 도시한다.
도 6k는 도 61의 핀치 제스처를 검출하는 것에 응답하여 사용자 인터페이스(602)에서 디바이스(100)의 현재 위치(608) 근처의 핀들(614a, 614b, 614c, 614d)에 의해 나타낸 세탁소들과 연관된 사용자 인터페이스 객체들(예컨대, 핀들)을 디스플레이하는 것을 도시한다. 예를 들어, 도 6k에서, 지도는 핀치 제스처에 응답하여 축소되고(zoomed out)(예컨대, 더 낮은 배율 레벨로 디스플레이되고), 대면적의 지도가 사용자 인터페이스(602)에서 디스플레이된다. 도 6k는 또한 터치 스크린(112) 상에서 위치(642a)로부터 위치(642b)로 이동하는 사용자 터치 입력(642)에 의한 스와이프 제스처(본 명세서에서 때때로 "드래그 제스처(drag gesture)"라고도 지칭됨)를 검출하는 것을 도시한다. 도 6k는 추가로 디스플레이(546-1) 상에 도 6h로부터의 사용자 인터페이스(604)의 디스플레이를 유지하는 것을 도시한다(예컨대, 사용자 인터페이스(604)는 터치 스크린 디스플레이(112) 상의 핀치 제스처를 검출하는 것에 응답하여 축소되지 않는다).
도 6l은 도 6k의 스와이프 제스처를 검출하는 것에 응답하여 사용자 인터페이스(602)에서 디바이스(100)의 현재 위치(608) 근처의 핀들(614a, 614b, 614c, 614e, 614f)에 의해 나타낸 세탁소들과 연관된 사용자 인터페이스 객체들(예컨대, 핀들)을 디스플레이하는 것을 도시한다. 예를 들어, 지도는 도 6k의 스와이프 제스처에 응답하여 북동쪽 방향으로 변환된다. 도 6l은 또한 터치 스크린(112) 상의 핀들(614b)에 의해 나타낸 세탁소들과 연관된 사용자 인터페이스 객체(예컨대, 핀) 위에서 사용자 터치 입력(643)을 검출하는 것을 도시한다. 도 6l은 추가로 디스플레이(546-1) 상에 도 6h로부터의 사용자 인터페이스(604)의 디스플레이를 유지하는 것을 도시한다(예컨대, 사용자 인터페이스(604)는 터치 스크린 디스플레이(112) 상의 스와이프 제스처를 검출하는 것에 응답하여 스크롤되지 않는다).
도 6m은 도 6l의 핀들(614b)에 의해 나타낸 세탁소들과 연관된 사용자 인터페이스 객체(예컨대, 핀) 위에서 사용자 터치 입력(643)을 검출하는 것에 응답하여 사용자 인터페이스(602)에서 핀(614b)에 의해 나타낸 세탁소에 대응하는 정보 박스(644)를 디스플레이하는 것을 도시한다. 도 6m에서, 정보 박스(644)는 드라이 클리닝 시설의 이름(예컨대, 메리 앤(Mary Ann)의 세탁소), 시설의 신용등급(예컨대, 별 5개 중 5개), 시설에 대한 사용자 리뷰들의 양(예컨대, 927개의 리뷰들), 및 시설에 대응하는 추가 정보를 선택적으로 포함하는 어포던스(644a)를 포함한다. 도 6m은 또한 터치 스크린(112) 상의 어포던스(644a) 위에서 사용자 터치 입력(645)을 검출하는 것을 도시한다. 도 6m은 게다가 디스플레이(546-1) 상에 도 6h로부터의 사용자 인터페이스(604)의 디스플레이를 유지하는 것을 도시한다.
도 6n은 도 6m의 어포던스(644a) 위에서 사용자 터치 입력(645)을 검출하는 것에 응답하여 사용자 인터페이스(602)에서 메리 앤의 세탁소에 대응하는 추가 정보를 디스플레이하는 것을 도시한다. 도 6n에서, 사용자 인터페이스(602)는 메리 앤의 세탁소의 영업시간, 메리 앤의 세탁소에 대한 홈페이지(또는 웹사이트), 메리 앤의 세탁소에 대한 전화번호, 및 메리 앤의 세탁소에 대한 주소를 식별하는 정보를 포함한다. 도 6n에서, 사용자 인터페이스(602)는 또한 디바이스의 현재 위치로부터 메리 앤의 세탁소까지의 길 안내를 디스플레이하도록 구성된 어포던스(646) 및 메리 앤의 세탁소로부터 디바이스의 현재 위치까지의 길 안내를 디스플레이하도록 구성된 어포던스(647)를 포함한다. 도 6n은 또한 터치 스크린(112) 상의 어포던스(646) 위에서 사용자 터치 입력(648)을 검출하는 것을 도시한다. 도 6n은 게다가 디스플레이(546-1) 상에 도 6h로부터의 사용자 인터페이스(604)의 디스플레이를 유지하는 것을 도시한다.
도 6o는 도 6n의 터치 스크린(112) 상의 어포던스(646) 위에서 사용자 터치 입력(648)을 검출하는 것에 응답하여 경로에 대한 시작 지점 및 종료 지점을 입력하기 위한 인터페이스를 사용자 인터페이스(602)에 디스플레이하는 것을 도시한다. 도 6o에서, 사용자 인터페이스(602)는 박스(649a) 내의 경로의 시작 지점의 주소(예컨대, 디바이스(100)의 현재 위치) 및 박스(649b) 내의 경로의 종료 지점의 주소(예컨대, 캘리포니아주 샌프란시스코 유다 스트리트 1291, 메리 앤의 세탁소)를 포함한다. 도 6o에서, 박스(649a) 및/또는 박스(649b)는 사용자 인터페이스(602)에 디스플레이되는 가상 키보드(651)로 또는 대안적으로 음성 입력으로 편집될 수 있게 되어 있다. 어포던스(649c)는, 활성화될 때, 디바이스로 하여금 박스(649a)에 입력된 위치를 박스(649b) 내의 위치로 대체하도록 그리고 박스(649b)에 입력된 위치를 박스(649a) 내의 위치로 대체하도록 한다. 도 6o에서, 사용자 인터페이스(602)는 디바이스의 현재 위치로부터 이전에 입력된 목적지들까지의 선택가능한 경로들(650)을 포함한다. 도 6o에서, 사용자 인터페이스(602)는 추가로 경로 계산을 위해 상이한 교통 수단들을 선택하도록 구성된 어포던스들(653a, 653b, 653c)을 포함한다. 예를 들어, 도 6o에서, 어포던스(653b) 주위에 강조된 프레임에 의해 도시된 바와 같이 "도보" 교통 수단이 현재 선택되어 있다. 도 6o는 또한 박스(649a) 내의 시작 지점으로부터 박스(649b) 내의 종료 지점까지의 하나 이상의 경로들을 계산하도록 구성된 "경로" 어포던스(652a) 및 박스들(649a, 649b)에 입력된 위치들을 지우거나 또는 도 6m에 디스플레이된 사용자 인터페이스(602)를 다시 디스플레이하도록 구성된 "취소" 어포던스(652b)를 디스플레이하는 것을 도시한다. 도 6o는 추가로 터치 스크린(112) 상의 "경로" 어포던스(654)(예컨대, 가상 키보드(651)에 포함되는 어포던스) 위에서 사용자 터치 입력(655)을 검출하는 것을 도시한다. 일부 실시예들에서, "경로" 어포던스(654)는, 활성화될 때, 디바이스로 하여금 박스(649a) 내의 시작 지점으로부터 박스(649b) 내의 종료 지점까지의 하나 이상의 경로들을 계산하고 그리고/또는 디스플레이하도록 한다(예컨대, "경로" 어포던스(654)는 "경로" 어포던스(652a)와 유사하게 기능한다). 도 6o는 게다가 디스플레이(546-1) 상에 도 6h로부터의 사용자 인터페이스(604)의 디스플레이를 유지하는 것을 도시한다.
도 6p는 도 6o의 터치 스크린(112) 상의 "경로" 어포던스(654) 위에서 사용자 터치 입력(655)을 검출하는 것에 응답하여 사용자 인터페이스(602)에서 디바이스(100)의 현재 위치(608)로부터 핀(614b)에 의해 나타낸 세탁소까지의 2개의 제안된 경로들을 디스플레이하는 것을 도시한다. 도 6p에서, 사용자 인터페이스(602)는 2개의 제안된 경로들 중 자동으로 선택된 제1 경로가 디바이스(100)의 현재 위치(608)로부터 핀(614b)에 의해 나타낸 세탁소까지 사용자가 걸어가는 데 5분 및 0.4 마일이 걸릴 것임을 표시하는 다이얼로그 박스(656)를 포함한다. 도 6p에서, 제1 경로(658a)는 사용자 인터페이스(602)에서 강조되어 있고, "경로 1" 어포던스(658b)는, 활성화될 때, 디바이스로 하여금 경로(658b)를 선택(및 강조)하도록 한다. 도 6p에서, "시작" 어포던스(657a)는, 활성화될 때, 디바이스로 하여금 현재 선택된(또는 강조된) 경로(예컨대, 경로(658a))로의 턴바이턴 길 안내를 시작하도록 하고, "지우기" 어포던스(657b)는, 활성화될 때, 디바이스로 하여금 디스플레이된 경로들(예컨대, 경로들(658a, 659a))을 사용자 인터페이스(602)로부터 지우고 사용자 인터페이스(602)에 검색 박스(609)를 디스플레이하도록 한다. 도 6p는 또한 터치 스크린(112) 상의 "경로 2" 어포던스(659b) 위에서 사용자 터치 입력(660)을 검출하는 것을 도시한다. 도 6p는 게다가 디스플레이(546-1) 상에 도 6h로부터의 사용자 인터페이스(604)의 디스플레이를 유지하는 것을 도시한다.
도 6q는 도 6p의 "경로 2" 어포던스(659b) 위에서 터치 입력(660)을 검출하는 것에 응답하여 선택된(또는 강조된) 경로로서 경로(659a)(경로 2)를 디스플레이하는 것을 도시한다. 도 6q에서, 사용자 인터페이스(602)는, 2개의 제안된 경로들 중 제2 경로가 디바이스(100)의 현재 위치(608)로부터 핀(614b)에 의해 나타낸 세탁소까지 사용자가 걸어가는 데 6분 및 0.4 마일이 걸릴 것임을 표시하는 다이얼로그 박스(656)를 포함한다. 도 6q는 또한 터치 스크린(112) 상의 "시작" 어포던스(657a) 위에서 사용자 터치 입력(661)을 검출하는 것을 도시한다. 도 6q는 게다가 디스플레이(546-1) 상에 도 6h로부터의 사용자 인터페이스(604)의 디스플레이를 유지하는 것을 도시한다.
도 6r은 도 6q의 "시작" 어포던스(657a) 위에서 사용자 터치 입력(661)을 검출하는 것에 응답하여 사용자 인터페이스(602)에서 경로(659a) 상에서의 사용자의 제1 방향(또는 턴) 및 목적지의 이름(예컨대, 메리 앤의 세탁소)을 표시하는 턴바이턴 길 안내 박스(662)를 디스플레이하는 것을 도시한다. 일부 실시예들에서, 턴바이턴 길 안내 박스(662)는 터치 스크린(112)의 전체를 점유한다.
도 6r은 추가로 도 6q의 "시작" 어포던스(657a) 위에서 사용자 터치 입력(661)을 검출하는 것에 응답하여 사용자 인터페이스(604)에서 턴바이턴 길 안내 모드를 디스플레이하는 것을 도시한다(예컨대, 사용자 인터페이스(604)가 이전 입력들에 응답하여 사용자 인터페이스(602)와 사전에 동기화되지 않았더라도, 목적지 및 경로가 선택되고 턴바이턴 길 안내가 시작되는 경우, 디바이스는 사용자 인터페이스(602)와 사용자 인터페이스(604)를 동기화하여 사용자 인터페이스들 둘 모두가 동일한 경로를 사용하여 동일한 목적지로의 길 안내를 나타내도록 한다). 도 6r에서, 사용자 인터페이스(604)는 경로(659a), 경로(659a) 상의 사용자의 제1 방향(또는 턴) 및 목적지의 이름(예컨대, 메리 앤의 세탁소)을 표시하는 턴바이턴 길 안내 박스(663), 및 디바이스(100)의 현재 위치를 표시하는 마커(654)를 포함한다. 도 6r은 또한 사용자 인터페이스(604)에 디스플레이되는 지도의 배향을 표시하는 나침반(611)을 도시한다(예컨대, 지도는 디스플레이(546-1)의 상단이 동쪽인 상태로 배향되어 있다). 도 6r은 또한 디스플레이(546-1) 상의 사용자 터치 입력(665)을 검출하는 것을 도시한다.
도 6s는 도 6r의 디스플레이(546-1) 상의 사용자 터치 입력(665)을 검출하는 것에 응답하여 사용자 인터페이스(602)에서 다이얼로그 박스(637)를 디스플레이하는 것을 도시한다. 도 6s에서, 다이얼로그 박스(637)는 턴바이턴 길 안내를 일시 정지하도록 구성된 "일시 정지" 어포던스(638a), 및 지도 애플리케이션(436) 내에서 최신 검색 질의(예컨대, 디바이스(100)의 현재 위치 근처의 세탁소)로부터의 결과들을 디스플레이하도록 구성된 "뒤로" 어포던스(638b)를 포함한다.
도 6s는 게다가 도 6r의 디스플레이(546-1) 상의 사용자 터치 입력(665)을 검출하는 것에 응답하여 사용자 인터페이스(604)에서 어포던스(612)를 디스플레이하는 것을 도시한다. 어포던스(612)는, 활성화될 때, 디바이스로 하여금 디지털 어시스턴트(예컨대, 미국 캘리포니아주 쿠퍼티노 소재의 애플 인크.로부터의 시리)를 호출하도록 한다. 도 6s는 또한 디스플레이(546-1) 상의 어포던스(612) 위에서 사용자 터치 입력(666)을 검출하는 것을 도시한다. 어포던스(612) 위에서 사용자 터치 입력(666)을 검출하는 것에 응답하여, 디지털 어시스턴트가 호출되고, 디지털 어시스턴트는 가청적으로(audibly), "무엇을 도와드릴까요"라고 사용자 질문을 프롬프트한다. 프롬프트에 응답하여, 사용자는 가청적으로, 예를 들어, 디지털 어시스턴트에게, "근처에 있는 커피 하우스를 알려 주세요."라고 질문한다. 대안적으로, 일부 실시예들에서, 디지털 어시스턴트는 미리 결정된 가청 커맨드(예컨대, "안녕 시리")에 의해 호출된다.
도 6t는 터치 스크린(112) 상에 도 6s로부터의 사용자 인터페이스(602)의 디스플레이를 유지하는 것을 도시한다. 도 6t는 또한 사용자 인터페이스(604)에서 디지털 어시스턴트 다이얼로그 박스(667)를 디스플레이하는 것을 도시한다. 디지털 어시스턴트 다이얼로그 박스(667)는 디지털 어시스턴트가 사용자의 가청 요청(예컨대, "근처에 있는 커피 하우스를 알려 주세요.")에 응답하여 커피 하우스들을 검색하고 있음을 표시한다.
도 6u는 사용자의 가청 요청(예컨대, "근처에 있는 커피 하우스를 알려 주세요.")에 응답하여 사용자 인터페이스(602)에서 디바이스(100)의 현재 위치(608) 근처에 있는 커피 하우스(668a, 668b)와 연관된 사용자 인터페이스 객체들(예컨대, 핀들)을 디스플레이하는 것을 도시한다. 일부 실시예들에서, 가청 요청과 일치하는 검색 결과(또는 시설)는 근접성, 시설의 신용등급, 리뷰들의 양, 사용자가 시설을 자주 찾은 횟수, 및/또는 다른 요인들에 기초하여 자동으로 선택된다(예컨대, 자바 하우스). 도 6u에서, 자동으로 선택된 커피 하우스(668a)에 대응하는 정보 박스(669)가 또한 사용자 인터페이스(602)에 디스플레이된다. 정보 박스(669)는 커피 하우스의 이름(예컨대, 자바 하우스), 시설의 신용등급(예컨대, 별 5개 중 4개), 시설에 대한 사용자 리뷰들의 양(예컨대, 320개의 리뷰들), 및 시설에 대응하는 추가 정보를 디스플레이하도록 구성된 어포던스(669a)를 포함한다. 사용자 인터페이스(602)에서 추가 정보를 제공하는 것은, 디바이스(100)를 작동시키고 있는 차량의 승객이 차량의 운전자에게 추가 정보를 제공하고 그리고/또는 사용자 인터페이스(602)에서 제공되는 추가 정보에 기초하여 목적지를 선택할 수 있게 한다.
도 6u는 추가로 사용자의 가청 요청(예컨대, "근처에 있는 커피 하우스를 알려 주세요.")에 응답하여 사용자 인터페이스(604)에서 디바이스(100)의 현재 위치(608)로부터 커피 하우스(668a)(예컨대, 자바 하우스)까지의 제안된 경로(671)를 디스플레이하는 것을 도시한다. 일부 실시예들에서, 자동으로 선택된 검색 결과에 대한 경로가 사용자 인터페이스(604)에서 디스플레이된다. 도 6u에서, 사용자 인터페이스(604)는 경로(671), 경로(671) 상의 사용자의 제1 방향(또는 턴) 및 목적지의 이름(예컨대, 자바 하우스)을 표시하는 턴바이턴 길 안내 박스(670), 및 턴바이턴 모드를 개시하도록 구성된 "길 안내 시작" 어포던스(618)를 포함한다. 도 6u는 또한 사용자 인터페이스(604)에 디스플레이되는 지도의 배향을 표시하는 나침반(611)을 도시한다(예컨대, 지도는 디스플레이(546-1)의 상단이 북쪽인 상태로 배향되어 있다). 도 6u는 추가로 디스플레이(546-1) 상의 "길 안내 시작" 어포던스(618) 위에서 사용자 터치 입력(672)을 검출하는 것을 도시한다.
도 6v는 도 6u의 디스플레이(546-1) 상의 "길 안내 시작" 어포던스(662) 위에서 사용자 터치 입력(672)을 검출하는 것에 응답하여 사용자 인터페이스(602)에서 경로(671) 상에서의 사용자의 제1 방향(또는 턴) 및 목적지의 이름(예컨대, 자바 하우스)을 표시하는 턴바이턴 길 안내 박스(673)를 디스플레이하는 것을 도시한다. 일부 실시예들에서, 턴바이턴 길 안내 박스(673)는 터치 스크린(112)의 전체를 점유한다.
도 6v는 게다가 도 6u의 디스플레이(546-1) 상의 "길 안내 시작" 어포던스(662) 위에서 사용자 터치 입력(672)을 검출하는 것에 응답하여 사용자 인터페이스(604)에서 턴바이턴 길 안내 모드를 디스플레이하는 것을 도시한다. 도 6v에서, 턴바이턴 모드에 있는 동안, 디바이스(100)의 현재 위치가 사용자 인터페이스(604)에서의 마커(674)로서 디스플레이된다. 일부 실시예들에서, 도 6v에 디스플레이되는 턴바이턴 길 안내 모드는 도 6u에 디스플레이되는 지도와 비교해서 사용자 인터페이스(604)에 디스플레이되는 지도로 추가로 확대된다.
도 6w 내지 도 6ff는 일부 실시예들에 따른, 업데이트 정보를 영향받는 디스플레이로 전송하기 위한 예시적인 사용자 인터페이스들을 도시한다. 이 도면들에서의 사용자 인터페이스들은 도 9a 내지 도 9c에서의 프로세스들을 비롯한, 이하에 기술되는 프로세스들을 설명하는 데 사용된다.
도 6w는 일부 실시예들에 따른, 휴대용 다기능 디바이스(100)(본 명세서에서 때때로 "디바이스(100)"라고도 칭해짐)와 통신가능하게 연결된 외부 정보 프리젠테이션 시스템(540)(본 명세서에서 때때로 "시스템(540)"이라고도 칭해짐)에 포함된 2개의 디스플레이들을 도시한다. 일부 실시예들에서, 외부 정보 프리젠테이션 시스템(540)은 차량에서 구현되는 엔터테인먼트 및/또는 내비게이션 시스템이다. 일부 실시예들에서, 디스플레이(546-1)는 제1 외부 정보 프리젠테이션 시스템(540-1)과 연관되고, 디스플레이(546-2)는 제2 외부 정보 프리젠테이션 시스템(540-2)과 연관된다. 일부 실시예들에서, 디스플레이(546-1)는 주 디스플레이(예컨대, 대시보드 또는 차량 내비게이션 디스플레이)이고, 디스플레이(546-2)는 보조 디스플레이(예컨대, 뒷좌석의 또는 엔터테인먼트 디스플레이)이다. 일부 실시예들에서, 디스플레이(546-1) 및 디스플레이(546-2)는 디스플레이들 상에 터치 감응 표면을 갖는 터치 감응 디스플레이들이고 하나 이상의 터치 입력들을 수신하도록 구성된다. 도 6w는 또한 디스플레이(546-1) 및 디스플레이(546-2) 중 하나 또는 둘 모두를 제어하도록 구성된 시스템(540)과 연관된 조그 다이얼(675)(예컨대, 누를 수 있는 그리고/또는 회전가능한 기계적 노브 또는 다이얼)을 도시한다.
도 6w는 디스플레이(546-1)의 사용자 인터페이스(604)에서 지도/내비게이션 애플리케이션에서의 디바이스(100)의 현재 위치(608) 근처의 핀들(614a, 614b)에 의해 나타낸 세탁소들과 연관된 사용자 인터페이스 객체들(예컨대, 핀들)을 디스플레이하는 것을 도시한다. 예를 들어, 핀들은 검색 질의(예컨대, 도 6c의 디바이스(100)의 사용자 인터페이스(602)에서의 검색 박스(609)에 입력된 "드라이 클리닝")에 응답하여 사용자 인터페이스(604)에 디스플레이된다. 일부 실시예들에서, 사용자의 검색 질의와 일치하는 검색 결과(또는 시설)는 근접성, 시설의 신용등급, 리뷰들의 양, 사용자가 시설을 자주 찾은 횟수, 및 다른 요인들에 기초하여 자동으로 선택된다(예컨대, ABC 세탁소). 도 6w에서, 핀(614a)에 의해 나타낸 자동으로 선택된 세탁소에 대응하는 목적지 정보(678)가 또한 사용자 인터페이스(604)에 디스플레이된다. 목적지 정보(678)는 드라이 클리닝 시설의 이름(예컨대, ABC 세탁소), 시설의 신용등급(예컨대, 별 5개 중 3개), 시설에 대한 사용자 리뷰들의 양(예컨대, 100개의 리뷰들), 및 디바이스(100)의 현재 위치(608)로부터 시설까지의 마일 수(mileage)를 포함한다. 일부 실시예들에서, 세탁소(514a)에 대응하는 목적지 정보(678)와 연관된 다이얼로그 박스의 내부 어딘가의 터치 입력에 응답하여 현재 선택된 검색 결과(예컨대, 핀(614a)에 의해 나타낸 세탁소)까지의 턴바이턴 길 안내가 사용자 인터페이스(604)에 디스플레이된다. 일부 다른 실시예들에서, 조그 다이얼(675)의 누름에 응답하여 현재 선택된 검색 결과(예컨대, 핀(614a)에 의해 나타낸 세탁소)까지의 턴바이턴 길 안내가 사용자 인터페이스(604)에 디스플레이된다. 도 6w는 또한 사용자 인터페이스(604)에 디스플레이되는 지도의 배향을 표시하는 나침반(611)을 도시한다(예컨대, 지도는 디스플레이(546-1)의 상단이 북쪽인 상태로 배향되어 있다).
도 6w는 디스플레이(546-1) 상의 사용자 터치 입력들(679, 680)에 의한 핀치 제스처를 검출하는 것을 도시한다. 사용자 터치 입력들(679, 680)(또는 핀치 제스처)을 검출하는 것에 응답하여, 디스플레이(546-1)(또는 시스템(540))는 사용자 터치 입력들(679, 680)(또는 핀치 제스처)을 나타내는 입력 정보를 디바이스(100)로 전송한다. 입력 정보는 디스플레이(546-1)의 터치 감응 표면과 연관된 식별자(예컨대, 디스플레이(546-1)의 터치 감응 표면과 연관된 고유한 식별자) 및 사용자 터치 입력들(679, 680)(또는 핀치 제스처)을 기술하는 입력 설명 정보를 포함한다. 일부 실시예들에서, 입력 설명 정보는 사용자 터치 입력들(679, 680)의 위치, 사용자 터치 입력들(679, 680)의 이동의 크기, 사용자 터치 입력들(679, 680)이 검출된 시간의 길이, 사용자 터치 입력들(679, 680)의 표면적, 및/또는 사용자 터치 입력들(679, 680)을 기술하는 다른 정보와 같은 사용자 터치 입력들(679, 680)을 기술하는 미가공 데이터를 포함한다. 일부 다른 실시예들에서, 입력 설명 정보는 수행되는 제스처의 유형, 제스처의 위치, 제스처의 이동의 크기, 및/또는 제스처를 기술하는 다른 정보와 같은 핀치 제스처를 기술하는 데이터를 포함한다.
사용자 터치 입력들(679, 680)(또는 핀치 제스처)과 연관된 입력 정보를 수신하는 것에 응답하여, 디바이스(100)는, 입력 소스 대 디스플레이 맵핑에 기초하여 입력 정보에 포함된 식별자가 디스플레이(546-1)와 연관된다는 것(예컨대, 터치 이벤트(또는 제스처)를 디스플레이(546-1)의 터치 감응 표면과 연관시킴)을 결정한다. 도 6w에서 검출된 터치 이벤트가 디스플레이(546-1)(예컨대, 영향받는 디스플레이)와 연관된다는 것을 결정한 후에, 디바이스(100)는 또한 도 6w에 도시된 디스플레이(546-1)의 디스플레이 상태(예컨대, 사용자 인터페이스(604)가 검색 결과들 또는 목적지 선택 모드에 있음)를 결정한다. 일부 실시예들에서, 디바이스(100)는 입력 정보에 포함된 정보에 기초하여 디스플레이의 디스플레이 상태를 결정한다. 일부 다른 실시예들에서, 디바이스(100)는 이러한 정보에 대해 시스템(540)에 질의함으로써 디스플레이의 디스플레이 상태를 결정한다.
도 6w는 또한 디스플레이(546-2)의 사용자 인터페이스(676)에서 미디어 재생기 애플리케이션에서의 앨범에 대응하는 노래 목록(677)을 디스플레이하는 것을 도시한다.
도 6x는 디스플레이(546-1)의 사용자 인터페이스(604)에서 디바이스(100)의 현재 위치(608) 근처의 핀들(614a, 614b, 614c, 614d)에 의해 나타낸 세탁소들과 연관된 사용자 인터페이스 객체들(예컨대, 핀들)을 디스플레이하는 것을 도시한다. 예를 들어, 도 6x의 사용자 인터페이스(604)에 디스플레이된 지도는 도 6w의 사용자 인터페이스(604)에 디스플레이된 지도의 축소된 버전이다. 디스플레이(546-1)는, 도 6w의 사용자 인터페이스(604)의 디스플레이 상태(예컨대, 검색 결과들 또는 목적지 선택 모드) 및 도 6w의 디스플레이(546-1) 상에서 검출된 핀치 제스처에 대응하는 업데이트된 사용자 인터페이스를 포함하는 디바이스(100)로부터의 업데이트 정보를 수신하는 것에 응답하여 도 6x의 사용자 인터페이스(604)에서의 축소된 지도를 디스플레이한다.
도 6x는 또한 조그 다이얼(675)의 턴(681)(예컨대, 대략 90도 시계방향 턴)을 검출하는 것을 도시한다. 턴(681)을 검출하는 것에 응답하여, 조그 다이얼(675)(또는 시스템(540))은 턴(681)을 나타내는 입력 정보를 디바이스(100)로 전송한다. 입력 정보는 조그 다이얼(675)과 연관된 식별자(예컨대, 조그 다이얼(675)과 연관된 고유한 식별자) 및 턴(681)을 기술하는 입력 설명 정보를 포함한다. 예를 들어, 입력 설명 정보는 턴의 크기(90도) 및 방향(시계방향)과 같은 턴(681)을 기술하는 미가공 데이터를 포함한다. 턴(681)과 연관된 입력 정보를 수신하는 것에 응답하여, 디바이스(100)는, 입력 소스 대 디스플레이 맵핑에 기초하여 입력 정보에 포함된 식별자가 디스플레이(546-1)와 연관된다는 것(예컨대, 턴 이벤트를 디스플레이(546-1)에 현재 맵핑되는 조그 다이얼(675)과 연관시킴)을 결정한다. 도 6x에서 검출된 턴 이벤트가 디스플레이(546-1)와 연관된다는 것을 검출한 후에, 디바이스(100)는 또한 도 6x에 도시된 디스플레이(546-1)의 디스플레이 상태(예컨대, 사용자 인터페이스(604)가 검색 결과들 또는 목적지 선택 모드에 있음)를 결정한다. 도 6x는 게다가 디스플레이(546-2) 상의 도 6w로부터의 사용자 인터페이스(676)에서의 노래 목록(677)의 디스플레이를 유지하는 것을 도시한다(예컨대, 사용자 인터페이스(676)가 디스플레이되는 디스플레이와 조그 다이얼(675)이 연관되지 않을 때 사용자 인터페이스(676)는 조그 다이얼(675)의 회전에 응답하여 업데이트되지 않는다).
도 6y는 디스플레이(546-1)의 사용자 인터페이스(604)에서 핀(614d)에 의해 나타낸 선택된 세탁소에 대응하는 목적지 정보(682)를 디스플레이하는 것을 도시한다. 도 6y에서, 디스플레이(546-1)는, 도 6x의 사용자 인터페이스(604)의 디스플레이 상태(예컨대, 검색 결과들 또는 목적지 선택 모드) 및 도 6x의 조그 다이얼(675)에 의해 검출된 턴(681)에 대응하는 업데이트된 사용자 인터페이스를 포함하는 디바이스(100)로부터의 업데이트 정보를 수신하는 것에 응답하여 핀(614d)에 의해 나타낸 선택된 세탁소(예컨대, 수지의 세탁소)에 대응하는 목적지 정보(682)를 디스플레이한다. 일부 실시예들에서, 목적지 정보(및 그리하여 선택된 목적지)는 조그 다이얼(675)의 방향 및 턴의 크기에 따라 스크롤된다. 예를 들어, 검색 결과들 또는 목적지 선택 모드가 디스플레이되는 경우, 조그 다이얼(675)의 90도 턴은 다음 검색 결과를 선택하고, 시계방향 턴은 검색 결과들을 북에서 남으로 스크롤하고, 역시계방향 턴은 검색 결과들을 남에서 북으로 스크롤한다. 도 6y에서, 도 6x의 조그 다이얼(675)의 턴(681)(예컨대, 90도 시계방향 턴)을 검출하는 것에 응답하여, 핀(614d)에 의해 나타낸 세탁소가 선택되고(또는 스크롤되고), 핀(614d)에 의해 나타낸 세탁소(예컨대, 도 6x에 디스플레이된 핀(614a)에 의해 나타낸 세탁소의 남쪽에 있는 다음 세탁소)에 대응하는 목적지 정보(682)가 사용자 인터페이스(604)에 디스플레이된다.
도 6y는 또한 조그 다이얼(675)의 턴(683)(예컨대, 대략 180도 역시계방향 턴)을 검출하는 것을 도시한다. 일부 실시예들에서, 턴(683)을 검출하는 것에 응답하여, 조그 다이얼(675)(또는 시스템(540))은 턴(683)을 나타내는 입력 정보를 디바이스(100)로 전송한다. 입력 정보는 조그 다이얼(675)과 연관된 식별자(예컨대, 조그 다이얼(675)과 연관된 고유한 식별자) 및 턴(683)을 기술하는 입력 설명 정보를 포함한다. 예를 들어, 입력 설명 정보는 턴의 크기(180도) 및 방향(역시계방향)과 같은 턴(683)을 기술하는 미가공 데이터를 포함한다. 턴(683)과 연관된 입력 정보를 수신하는 것에 응답하여, 디바이스(100)는, 입력 소스 대 디스플레이 맵핑에 기초하여 입력 정보에 포함된 식별자가 디스플레이(546-1)와 연관된다는 것(예컨대, 턴 이벤트를 디스플레이(546-1)에 현재 맵핑되는 조그 다이얼(675)과 연관시킴)을 결정한다. 도 6y에서 검출된 턴 이벤트가 디스플레이(546-1)와 연관된다는 것을 검출한 후에, 디바이스(100)는 또한 도 6y에 도시된 디스플레이(546-1)의 디스플레이 상태(예컨대, 사용자 인터페이스(604)가 검색 결과들 또는 목적지 선택 모드에 있음)를 결정한다. 도 6y는 게다가 디스플레이(546-2) 상에 도 6w로부터의 사용자 인터페이스(676)에서의 노래 목록(677)의 디스플레이를 유지하는 것을 도시한다.
도 6z는 디스플레이(546-1)의 사용자 인터페이스(604)에서 핀(614b)에 의해 나타낸 선택된 세탁소(예컨대, 메리 앤의 세탁소)에 대응하는 목적지 정보(684)를 디스플레이하는 것을 도시한다. 도 6z에서, 디스플레이(546-1)는, 도 6y의 사용자 인터페이스(604)의 디스플레이 상태(예컨대, 검색 결과들 또는 목적지 선택 모드) 및 도 6y의 조그 다이얼(675)에 의해 검출된 턴(683)에 대응하는 업데이트된 사용자 인터페이스를 포함하는 디바이스(100)로부터의 업데이트 정보를 수신하는 것에 응답하여 핀(614b)에 의해 나타낸 선택된 세탁소에 대응하는 목적지 정보(684)를 디스플레이한다. 도 6z에서, 도 6y의 조그 다이얼(675)의 턴(683)(예컨대, 180도 역시계방향 턴)을 검출하는 것에 응답하여, 핀(614b)에 의해 나타낸 세탁소가 선택되고(또는 스크롤되고), 핀(614b)에 의해 나타낸 세탁소(예컨대, 도 6y에 디스플레이된 핀(614d)에 의해 나타낸 세탁소의 북쪽에 있는 2개의 세탁소)에 대응하는 목적지 정보(684)가 사용자 인터페이스(604)에 디스플레이된다.
도 6z는 또한 사용자 터치 입력(685)에 의해 조그 다이얼(675)을 누름 또는 그의 눌림을 검출하는 것을 도시한다. 일부 실시예들에서, 사용자 터치 입력(685)을 검출하는 것에 응답하여, 조그 다이얼(675)(또는 시스템(540))은 사용자 터치 입력(685)을 나타내는 입력 정보를 디바이스(100)로 전송한다. 입력 정보는 조그 다이얼(675)과 연관된 식별자(예컨대, 조그 다이얼(675)과 연관된 고유한 식별자) 및 사용자 터치 입력(685)을 기술하는 입력 설명 정보를 포함한다. 예를 들어, 입력 설명 정보는 조그 다이얼(675)의 누름의 양 및 입력의 힘과 같은 사용자 터치 입력(685)을 기술하는 미가공 데이터를 포함한다. 사용자 터치 입력(685)과 연관된 입력 정보를 수신하는 것에 응답하여, 디바이스(100)는, 입력 소스 대 디스플레이 맵핑에 기초하여 입력 정보에 포함된 식별자가 디스플레이(546-1)와 연관된다는 것(예컨대, 누름 또는 눌림 이벤트를 디스플레이(546-1)에 현재 맵핑되는 조그 다이얼(675)과 연관시킴)을 결정한다. 도 6z에서 검출된 누름 이벤트가 디스플레이(546-1)와 연관된다는 것을 검출한 후에, 디바이스(100)는 또한 도 6z에 도시된 디스플레이(546-1)의 디스플레이 상태(예컨대, 사용자 인터페이스(604)가 검색 결과들 또는 목적지 선택 모드에 있음)를 결정한다. 도 6z는 게다가 디스플레이(546-2) 상에 도 6w로부터의 사용자 인터페이스(676)에서의 노래 목록(677)의 디스플레이를 유지하는 것을 도시한다.
도 6aa는 디스플레이(546-1)의 사용자 인터페이스(604)에서 디바이스(100)의 현재 위치를 표시하는 마커(664)로부터 핀(614b)에 의해 나타낸 세탁소(예컨대, 메리 앤의 세탁소)까지의 턴바이턴 길 안내 모드를 디스플레이하는 것을 도시한다. 도 6aa에서, 디스플레이(546-1)는, 도 6z의 사용자 인터페이스(604)의 디스플레이 상태(예컨대, 검색 결과들 또는 목적지 선택 모드) 및 도 6z의 조그 다이얼(675)에 의해 검출된 사용자 터치 입력(685)에 대응하는 업데이트된 사용자 인터페이스를 포함하는 디바이스(100)로부터의 업데이트 정보를 수신하는 것에 응답하여 사용자 인터페이스(604)에서 턴바이턴 길 안내 모드를 디스플레이한다. 도 6aa에서, 도 6z에서 조그 다이얼(675)을 누르는 사용자 터치 입력(685)을 검출하는 것에 응답하여, 경로(659a) 상에서 디바이스(100)의 현재 위치를 표시하는 마커(664)로부터 핀(614b)에 의해 나타낸(예컨대, 도 6y의 조그 다이얼(675)의 턴(683)에 의해 선택된) 세탁소까지의 턴바이턴 길 안내가 사용자 인터페이스(604)에서의 턴바이턴 길 안내 박스(663)에 디스플레이된다. 도 6aa는 또한 사용자 인터페이스(604)에 디스플레이되는 지도의 배향을 표시하는 나침반(611)을 도시한다(예컨대, 지도는 디스플레이(546-1)의 상단이 동쪽인 상태로 배향되어 있다).
도 6aa는 또한 조그 다이얼(675)의 턴(686)(예컨대, 대략 90도 역시계방향 턴)을 검출하는 것을 도시한다. 턴(686)을 검출하는 것에 응답하여, 조그 다이얼(675)(또는 시스템(540))은 턴(686)을 나타내는 입력 정보를 디바이스(100)로 전송한다. 입력 정보는 조그 다이얼(675)과 연관된 식별자(예컨대, 조그 다이얼(675)과 연관된 고유한 식별자) 및 턴(686)을 기술하는 입력 설명 정보를 포함한다. 예를 들어, 입력 설명 정보는 턴의 크기(90도) 및 방향(역시계방향)과 같은 턴(686)을 기술하는 미가공 데이터를 포함한다. 턴(681)과 연관된 입력 정보를 수신하는 것에 응답하여, 디바이스(100)는, 입력 소스 대 디스플레이 맵핑에 기초하여 입력 정보에 포함된 식별자가 디스플레이(546-1)와 연관된다는 것(예컨대, 턴 이벤트를 디스플레이(546-1)에 현재 맵핑되는 조그 다이얼(675)과 연관시킴)을 결정한다. 도 6aa에서 검출된 턴 이벤트가 디스플레이(546-1)와 연관된다는 것을 결정한 후에, 디바이스(100)는 또한 도 6aa에 도시된 디스플레이(546-1)의 디스플레이 상태(예컨대, 사용자 인터페이스(604)가 턴바이턴 길 안내 모드에 있음)를 결정한다. 도 6aa는 게다가 디스플레이(546-2) 상에 도 6w로부터의 사용자 인터페이스(676)에서의 노래 목록(677)의 디스플레이를 유지하는 것을 도시한다.
도 6bb는 디스플레이(546-1)의 사용자 인터페이스(604)에서 턴바이턴 길 안내 모드를 디스플레이하는 것을 도시한다. 예를 들어, 도 6bb의 사용자 인터페이스(604)에 디스플레이된 턴바이턴 길 안내 모드는 도 6aa의 사용자 인터페이스(604)에 디스플레이된 턴바이턴 길 안내 모드의 축소된 버전이다. 도 6bb에서, 디스플레이(546-1)는, 도 6aa의 사용자 인터페이스(604)의 디스플레이 상태(예컨대, 턴바이턴 길 안내 모드) 및 도 6aa의 조그 다이얼(675)에 의해 검출된 턴(686)에 대응하는 업데이트된 사용자 인터페이스를 포함하는 디바이스(100)로부터의 업데이트 정보를 수신하는 것에 응답하여 도 6bb의 사용자 인터페이스(604)에서 축소된 턴바이턴 길 안내 모드를 디스플레이한다. 도 6bb는 게다가 디스플레이(546-2) 상에 도 6w로부터의 사용자 인터페이스(676)에서의 노래 목록(677)의 디스플레이를 유지하는 것을 도시한다.
도 6cc는 디스플레이(546-1)의 사용자 인터페이스(604)에서 차량 후진 모드(vehicle backup mode)를 디스플레이하는 것을 도시한다. 예를 들어, 사용자 인터페이스(604)에 디스플레이된 차량 후진 모드는 차량에서 구현되는 후방 카메라(backup camera)로부터 공급된 비디오를 포함한다. 일부 실시예들에서, 차량 후진 모드는 디스플레이(546-1)의 전체를 점유한다. 시스템(540)이 차량에서 구현되는 경우, 디스플레이(646-1)는 차량이 후진중인 동안 사용자 인터페이스(604)에서 차량 후진 모드를 디스플레이한다. 일부 실시예들에서, 차량 후진 모드는 디바이스(100)로부터 디스플레이들(546-1, 546-2)에 의해 수신된 모든 업데이트 정보를 대신한다(supersede). 일부 실시예들에서, 차량 후진 모드는 디스플레이들 중 하나(예컨대, 디스플레이(546-1)) 상에 디스플레이되고 다른 디스플레이(예컨대, 디스플레이(546-2)) 상에 디스플레이되지 않는다.
유사하게, 도 6cc는 또한 디스플레이(546-2)의 사용자 인터페이스(676)에서 차량 후진 모드를 디스플레이하는 것을 도시한다. 예를 들어, 사용자 인터페이스(676)에 디스플레이된 차량 후진 모드는 차량에서 구현되는 후방 카메라로부터 공급된 비디오를 포함한다. 일부 실시예들에서, 차량 후진 모드는 디스플레이(546-2)의 전체를 점유한다. 시스템(540)이 차량에서 구현되는 경우, 디스플레이(646-2)는 차량이 후진중인 동안 사용자 인터페이스(676)에서 차량 후진 모드를 디스플레이한다. 일부 다른 실시예들에서, 디스플레이(646-2)는 차량이 후진중인 동안 사용자 인터페이스(676)에서 차량 후진 모드를 디스플레이하지 않고 인터페이스(676)의 디스플레이를 유지한다.
도 6dd는 일단 차량이 더 이상 후진하지 않으면 디스플레이(546-1) 상에서 도 6bb로부터의 사용자 인터페이스(604)에서 턴바이턴 길 안내 모드를 디스플레이하는 것을 도시한다.
도 6dd는 또한 조그 다이얼(675)의 턴(688)(예컨대, 대략 90도 시계방향 턴)을 검출하는 것을 도시한다. 턴(688)을 검출하는 것에 응답하여, 조그 다이얼(675)(또는 시스템(540))은 턴(688)을 나타내는 입력 정보를 디바이스(100)로 전송한다. 입력 정보는 조그 다이얼(675)과 연관된 식별자(예컨대, 조그 다이얼(675)과 연관된 고유한 식별자) 및 턴(688)을 기술하는 입력 설명 정보를 포함한다. 예를 들어, 입력 설명 정보는 턴의 크기(90도) 및 방향(시계방향)과 같은 턴(688)을 기술하는 미가공 데이터를 포함한다.
디바이스(100)는 입력 소스의 변화를 검출하여, 조그 다이얼(675)을 디스플레이(546-1) 대신에 디스플레이(546-2)에 맵핑시키는 맵핑을 디스플레이한다. 예를 들어, 디바이스(100)는 입력 소스를 변화시켜, 외부 정보 프리젠테이션 시스템(540)으로부터의 통신들에 기초한 (예컨대, 후방 카메라의 출력을 나타내도록 디스플레이를 제어하는) 맵핑, 또는 개별 제어부가 제1 디스플레이에서의 사용자 인터페이스를 제어하는 제1 디스플레이 모드로부터 개별 제어부가 제2 디스플레이에서의 사용자 인터페이스를 제어하는 제2 디스플레이 모드로의 개별 제어의 사용자 전환과 같은 입력 소스 맵핑 업데이트 요청을 디스플레이한다. 턴(688)과 연관된 입력 정보를 수신하는 것에 응답하여, 디바이스(100)는, 변화된 입력 소스 대 디스플레이 맵핑에 기초하여 입력 정보에 포함된 식별자가 디스플레이(546-2)와 연관된다는 것(예컨대, 턴 이벤트를 디스플레이(546-2)에 현재 맵핑되는 조그 다이얼(675)과 연관시킴)을 결정한다. 도 6dd에서 검출된 턴 이벤트가 디스플레이(546-2)와 연관된다는 것을 결정한 후에, 디바이스(100)는 또한 도 6dd에 도시된 디스플레이(546-2)의 디스플레이 상태(예컨대, 사용자 인터페이스(676)가 앨범 노래 목록 모드에 있음)를 결정한다.
도 6dd는 게다가 일단 차량이 더 이상 후진하지 않으면 디스플레이(546-2) 상에 도 6w로부터의 사용자 인터페이스(676)에서의 노래 목록(677)을 디스플레이하는 것으로 복귀하는 것을 도시한다.
도 6ee는 디스플레이(546-1) 상에서 도 6bb로부터의 사용자 인터페이스(604)에서 턴바이턴 길 안내 모드를 디스플레이하는 것을 도시한다. 도 6ee는 또한 디스플레이(546-2)의 사용자 인터페이스(676)에서 하방 스크롤된 노래 목록(677)을 디스플레이하는 것을 도시한다. 도 6ee에서, 디스플레이(546-2)는, 도 6dd의 사용자 인터페이스(676)의 디스플레이 상태(예컨대, 앨범 노래 목록 모드) 및 도 6dd의 조그 다이얼(675)에 의해 검출된 턴(688)에 대응하는 업데이트된 사용자 인터페이스를 포함하는 디바이스(100)로부터의 업데이트 정보를 수신하는 것에 응답하여 사용자 인터페이스(676)에서 하방 스크롤된 노래 목록(677)을 디스플레이한다. 도 6ee에서, 도 6dd의 조그 다이얼(675)의 턴(688)(예컨대, 대략 90도 시계방향 턴)을 검출하는 것에 응답하여, 노래 목록(677)이 사용자 인터페이스(604)에서 하방 스크롤된다.
도 6ee는 게다가 디스플레이(546-2) 상에서 위치(689a)로부터 위치(689b)로 이동하는 사용자 터치 입력(689)에 의한 상방 스와이프 제스처(본 명세서에서 때때로 "드래그" 제스처라고도 지칭됨)를 검출하는 것을 도시한다. 사용자 터치 입력(689)(또는 스와이프 제스처)을 검출하는 것에 응답하여, 디스플레이(546-2)(또는 시스템(540))는 터치 입력(689)(또는 스와이프 제스처)을 나타내는 입력 정보를 디바이스(100)로 전송한다. 입력 정보는 디스플레이(546-2)의 터치 감응 표면과 연관된 식별자(예컨대, 디스플레이(546-2)의 터치 감응 표면과 연관된 고유한 식별자) 및 터치 입력(689)(또는 스와이프 제스처)을 기술하는 입력 설명 정보를 포함한다. 터치 입력(689)(또는 스와이프 제스처)과 연관된 입력 정보를 수신하는 것에 응답하여, 디바이스(100)는, 입력 소스 대 디스플레이 맵핑에 기초하여 입력 정보에 포함된 식별자가 디스플레이(546-2)와 연관된다는 것(예컨대, 터치 이벤트(또는 제스처)를 디스플레이(546-2)의 터치 감응 표면과 연관시킴)을 결정한다. 도 6ee에서 검출된 터치 이벤트가 디스플레이(546-2)와 연관된다는 것을 결정한 후에, 디바이스(100)는 또한 도 6ee에 도시된 디스플레이(546-2)의 디스플레이 상태(예컨대, 사용자 인터페이스(676)가 앨범 노래 목록 모드에 있음)를 결정한다.
도 6ff는 디스플레이(546-1) 상에서 도 6bb로부터의 사용자 인터페이스(604)에서 턴바이턴 길 안내 모드를 디스플레이하는 것을 도시한다. 도 6ff는 또한 디스플레이(546-2)의 사용자 인터페이스(676)에서 상방 스크롤된 노래 목록(677)을 디스플레이하는 것을 도시한다. 도 6ff에서, 디스플레이(546-2)는, 도 6ee의 사용자 인터페이스(676)의 디스플레이 상태(예컨대, 앨범 노래 목록 모드) 및 도 6ee의 디스플레이(546-2) 상에서 검출된 스와이프 제스처에 대응하는 업데이트된 사용자 인터페이스를 포함하는 디바이스(100)로부터의 업데이트 정보를 수신하는 것에 응답하여 사용자 인터페이스(604)에서 상방 스크롤된 노래 목록(677)을 디스플레이한다. 도 6ff에서, 도 6ee에서의 상방 스와이프 제스처를 검출하는 것에 응답하여, 노래 목록(677)이 사용자 인터페이스(604)에서 상방 스크롤된다.
도 7a 내지 도 7d는 일부 실시예들에 따른, 2개 이상의 디스플레이들을 동기화하는 방법(700)을 예시하는 흐름도들이다. 방법(700)은 제1 디스플레이 및 터치 감응 표면을 갖는 제1 전자 디바이스(예컨대, 도 3의 디바이스(300) 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 제1 디스플레이는 터치 스크린 디스플레이(예컨대, 터치 스크린(112))이고 터치 감응 표면이 제1 디스플레이 상에 있다. 일부 실시예들에서, 제1 디스플레이는 터치 감응 표면과는 별개이다. 방법(700)의 일부 동작들이 선택적으로 조합되고/되거나 일부 동작들의 순서가 선택적으로 변경된다.
아래에 기술되는 바와 같이, 방법(700)은 2개 이상의 디스플레이들을 동기화하는 직관적 방식을 제공한다. 이 방법은 2개 이상의 디스플레이들 상에 정보를 디스플레이할 때 사용자에 대한 인지적 부담을 감소시키며, 이에 의해 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스들에 대해, 사용자가 2개 이상의 디스플레이들 상에 디스플레이된 정보를 더 빠르고 더 효율적으로 이용할 수 있게 하는 것은 전력을 보존하고 배터리 충전들 사이의 시간을 증가시킨다.
제1 전자 디바이스는 제1 디스플레이 상에 제1 사용자 인터페이스를 디스플레이한다(702). 일부 실시예들에서, 제1 전자 디바이스는 스마트 폰 또는 태블릿 컴퓨터와 같은 휴대용 다기능 컴퓨팅 디바이스이다. 도 6a 내지 도 6v는, 예를 들어, 터치 스크린(112) 상에 사용자 인터페이스(602)(예컨대, 제1 사용자 인터페이스)를 디스플레이하는 휴대용 다기능 디바이스(100)(본 명세서에서 때때로 "디바이스(100)"라고 지칭됨)를 도시한다.
제1 사용자 인터페이스는 복수의 선택가능한 객체들(예컨대, 이전에 수행된 검색 동작에 대응하는 검색 결과들) 사이에서의 선택을 가능하게 한다(704). 도 6d는, 예를 들어, 디바이스(100)의 사용자 인터페이스(602)에 디스플레이된 핀들(614a, 614b)에 의해 나타낸 세탁소들에 대응하는 사용자 인터페이스 객체들(예컨대, 핀들)을 도시한다. 핀들(614a, 614b)에 의해 나타낸 세탁소들은 도 6c의 디바이스(100)의 현재 위치(608) 근처의 "드라이 클리닝"에 대한 검색 질의에 응답하여 도 6d의 사용자 인터페이스(602)에 디스플레이된다.
제1 사용자 인터페이스는 제1 디스플레이와는 상이한 제2 디스플레이 상에 디스플레이된 제2 사용자 인터페이스에 대응한다. 일부 실시예들에서, 제1 사용자 인터페이스 및 제2 사용자 인터페이스는 동일한 개별 애플리케이션(예컨대, 제1 전자 디바이스 상에서 실행하는 애플리케이션)에 대한 사용자 인터페이스이다. 디바이스(100)의 터치 스크린(112) 상에 디스플레이된 사용자 인터페이스(602)(예컨대, 제1 사용자 인터페이스)는 외부 정보 프리젠테이션 시스템(540)(본 명세서에서 때때로 "시스템(540)"이라고 지칭됨)의 디스플레이(546-1)(예컨대, 터치 스크린 디스플레이) 상에 디스플레이된 사용자 인터페이스(604)(예컨대, 제2 사용자 인터페이스)에 대응한다. 일부 실시예들에서, 디스플레이(546-1)는 시스템(540)과 연관된 복수의 디스플레이들의 주 디스플레이이다. 일부 실시예들에서, 디스플레이(546-1)는 차량의 대시보드에서 구현되고 차량의 운전자 및/또는 승객에게 시각적으로 접근하기 쉽다.
복수의 선택가능한 객체들로부터의 제1 객체가 제2 사용자 인터페이스에서 선택된 객체로서 디스플레이된다(예컨대, 제1 사용자 객체는 제2 사용자 인터페이스에서의 현재 선택된 객체이다). 도 6d는, 예를 들어, 사용자 인터페이스(602)에 디스플레이되는 핀(614a)에 의해 나타낸 세탁소에 대응하는 정보 박스(613)를 도시한다. 정보 박스(613)는 미리 결정된 기준에 기초하여 핀(614a)에 의해 나타낸 세탁소가 자동으로 선택된다는 사실로 인하여 사용자 인터페이스(602)에 디스플레이된다. 도 6d는, 예를 들어, 추가로 디바이스(100)의 현재 위치(608)로부터 디스플레이(546-1)의 사용자 인터페이스(604)에 디스플레이되는 핀(614a)에 의해 나타낸 자동으로 선택된 세탁소까지의 경로(616)를 도시한다.
일부 실시예들에서, 제1 객체는 미리 정의된 객체 선택 기준들에 기초하여 선택된 객체로서 자동으로 선택되었다(706)(예컨대, 검색을 개시하고 하나 이상의 검색 결과들의 세트를 수신한 후에, 가장 관련있는 검색 결과에 대응하는 제1 객체가, 사용자 개입 없이, 선택된 객체로서 자동으로 선택되었다). 도 6d에서, 예를 들어, 핀(614a)에 의해 나타낸 세탁소는 근접성, 시설의 신용등급, 리뷰들의 양, 사용자가 시설을 자주 찾은 횟수, 및/또는 다른 요인들에 기초하여 자동으로 선택된다.
일부 실시예들에서, 복수의 선택가능한 객체들은 검색 질의(예컨대, 타이핑된 검색 질의 또는 음성 검색 질의)에 응답하여 생성되는 복수의 검색 결과들에 대응하고, 선택된 객체는 현재 선택된 검색 결과에 대응한다(708). 도 6d에서, 예를 들어, 핀들(614a, 614b)에 의해 나타낸 세탁소들에 대응하는 사용자 인터페이스 객체들(예컨대, 핀들)은 도 6c의 검색 박스(609) 내에 입력된 검색 질의 "드라이 클리닝"에 응답하여 디바이스(100)의 사용자 인터페이스(602)에 디스플레이된다. 일부 실시예들에서, 검색 질의는 터치 스크린(112)의 사용자 인터페이스(602)에 디스플레이된 가상 키보드를 통해 검색 박스(609) 내로 수동으로 입력된다. 일부 다른 실시예들에서, 검색 질의는 디바이스(100)의 사용자로부터의 음성 입력을 통해 검색 질의 박스(609) 내로 가청적으로 입력된다. 도 6d에서, 예를 들어, 핀(614a)에 의해 나타낸 세탁소는 핀들(614a, 614b)에 의해 나타낸 세탁소들을 포함하는 복수의 검색 결과들로부터 자동으로 선택된다. 또한, 도 6d에서, 시스템(540)의 사용자 인터페이스(604)는 사용자 디바이스(100)의 현재 위치(608)로부터 핀(614a)에 의해 나타낸 선택된 세탁소까지의 경로(616)를 디스플레이한다.
일부 실시예들에서, 복수의 선택가능한 객체들은 복수의 지도 위치들에 대응하고, 선택된 객체는 현재 선택된 목적지에 대응한다(710). 도 6d에서, 예를 들어, 핀들(614a, 614b)에 의해 나타낸 세탁소들에 대응하는 사용자 인터페이스 객체들(예컨대, 핀들)은 디바이스(100)의 현재 위치(608)에 대해 상대적인 지도 위치들이다. 또한, 도 6d에서, 시스템(540)의 사용자 인터페이스(604)는 사용자 디바이스(100)의 현재 위치(608)로부터 핀(614a)에 의해 나타낸 선택된 세탁소에 대한 지도 위치까지의 경로(616)를 디스플레이한다.
일부 실시예들에서, 복수의 선택가능한 객체들은 복수의 내비게이션 경로들에 대응하고, 선택된 객체는 현재 선택된 내비게이션 경로에 대응한다(712). 도 6o는, 예를 들어, 사용자 디바이스(100)의 현재 위치(608)로부터 핀들(614a, 614b)에 의해 나타낸 세탁소들까지의 경로들(631a, 631b)에 각각 대응하는 "경로 1" 어포던스(631b) 및 "경로 2" 어포던스(632b)를 포함하는 복수의 선택가능한 사용자 인터페이스 객체들을 도시한다. 또한, 도 6d에서, 시스템(540)의 사용자 인터페이스(604)는 사용자 디바이스(100)의 현재 위치(608)로부터 핀(614a)에 의해 나타낸 선택된 세탁소까지의 사용자 인터페이스(602)에서의 강조된 경로(631a)에 대응하는 경로(616)를 디스플레이한다.
일부 실시예들에서, 복수의 선택가능한 객체들은 디바이스로 재생(또는 제시)될 수 있는 복수의 콘텐츠 아이템들(예컨대, 복수의 선택가능한 객체들은 노래들, 재생 목록, 오디오 북들, 라디오 방송국들 등임)에 대응하고, 선택된 객체는 현재 선택된 콘텐츠 아이템에 대응한다(714). 예를 들어, 노래 목록 내의 개별 노래는, 개별 노래의 재생량(amount of plays), 앨범 내의 개별 노래의 순위적 위치, 마지막 재생된 노래, 및 다른 인자들에 적어도 부분적으로 기초하여 디바이스(100)의 터치 스크린(112)의 사용자 인터페이스 상에서 자동 선택된 노래로서 디스플레이된다. 이 예에서, 개별 자동 선택된 노래는 디스플레이(546-1)의 사용자 인터페이스 상에 현재 재생되는 바와 같이 디스플레이된다.
일부 실시예들에서, 복수의 선택가능한 객체들은 복수의 애플리케이션들에 대응하고, 선택된 객체는 현재 선택된 애플리케이션에 대응한다(716).
일부 실시예들에서, 제2 디스플레이는 (예컨대, 제2 전자 디바이스의 고유 GUI 대신에) 제1 전자 디바이스와는 상이한 제2 전자 디바이스에 연결된 디스플레이이다(718). 도 6a 내지 도 6v는, 예를 들어, 디바이스(100)와는 상이한 (그리고 별개인) 시스템(540)(예컨대, 제2 전자 디바이스)에 연결된 디스플레이(546-1)(예컨대, 제2 디스플레이)를 도시한다.
일부 실시예들에서, 제2 전자 디바이스는 고유 그래픽 사용자 인터페이스를 갖는 차량내 엔터테인먼트 시스템을 제어하고, 제2 사용자 인터페이스는 제2 전자 디바이스의 고유 그래픽 사용자 인터페이스의 적어도 일부 대신에 제2 디스플레이 상에 디스플레이된다(720)(예컨대, 제2 사용자 인터페이스는 제1 전자 디바이스 상에서 실행하는 애플리케이션에 의해 생성되고 차량내 엔터테인먼트 시스템의 고유 그래픽 사용자 인터페이스의 일부 또는 전부 대신에 디스플레이된다). 도 6a 내지 도 6v에서, 예를 들어, 시스템(540)은 디스플레이(546-1)를 포함하는 차량내 엔터테인먼트 시스템을 제어한다. 예를 들어, 차량용 실내 온도 조절기들을 포함하는, 도 6a의 사용자 인터페이스(604)는 차량내 엔터테인먼트 시스템의 고유 그래픽 사용자 인터페이스이다. 도 6b 내지 도 6v는, 예를 들어, 도 6a에 도시된 바와 같은 고유 그래픽 사용자 인터페이스(예컨대, 실내 온도 조절기들) 대신에 디스플레이(546-1) 상에 디스플레이된 지도를 포함하는 사용자 인터페이스(604)를 도시한다.
일부 실시예들에서, 제1 전자 디바이스는 차량내 엔터테인먼트 시스템의 제어부로부터 개별 입력(예컨대, 제2 디스플레이와 연관된 터치 감응 표면 상의 탭 또는 스와이프 제스처, 제2 디스플레이와 연관된 버튼에 대한 버튼 누름 동작 및/또는 제2 디스플레이와 연관된 노브에 대한 노브 턴 동작)에 대응하는 정보를 수신한다(722). 도 6u는, 예를 들어, 디스플레이(546-1)의 사용자 인터페이스(604)에서 "길 안내 시작" 어포던스(672) 위에서 사용자 터치 입력(672)을 검출하는 시스템(540)을 도시한다. 이 예에서, 시스템(540)은 디스플레이(546-1)의 사용자 인터페이스(604)에서 사용자 터치 입력(672)이 "길 안내 시작" 어포던스(672) 위에서 검출된 것을 나타내는 정보를 디바이스(100)로 전송한다.
일부 실시예들에서, 개별 입력에 대응하는 정보를 수신하는 것에 응답하여, 제1 전자 디바이스는 제1 사용자 인터페이스 및 제2 사용자 인터페이스를 개별 입력에 따라서 업데이트한다(724). 도 6v는, 예를 들어, 터치 스크린(112) 상에 턴바이턴 길 안내 박스(673)를 디스플레이하도록 사용자 인터페이스(602)를 업데이트하고 디스플레이(546-1) 상에 턴바이턴 모드를 디스플레이하도록 사용자 인터페이스(604)를 업데이트하는 디바이스(100)를 도시한다. 일부 실시예들에서, 사용자 인터페이스(604)가 턴바이턴 모드에 있는 동안, 디스플레이(546-1) 상에 디스플레이된 지도는 사용자 인터페이스(604)가 턴바이턴 모드에 있지 않는 경우와 비교해서 더욱 확대되어 있다.
일부 실시예들에서, 제1 사용자 인터페이스 및 제2 사용자 인터페이스는 둘 모두 제1 전자 디바이스 상에서 실행하는 동일한 애플리케이션에 의해 생성된다(726)(예컨대, 스마트 폰 상에서 실행하는 애플리케이션은 차량의 차량내 엔터테인먼트 시스템의 디스플레이 상에서의 디스플레이를 위한 사용자 인터페이스 및 전화에 대한 사용자 인터페이스를 생성한다). 도 6a는, 예를 들어, 사용자 인터페이스(602)에서 지도 애플리케이션(436)을 선택하는 사용자 터치 입력(606)을 도시한다. 도 6b 내지 도 6v는, 예를 들어, 디바이스(100) 상에서 실행하고 그리고 터치 스크린(112) 상의 사용자 인터페이스(602)(예컨대, 제1 사용자 인터페이스) 및 디스플레이(546-1) 상의 사용자 인터페이스(604)(예컨대, 제2 사용자 인터페이스) 둘 모두를 생성하는 지도 애플리케이션(436)을 도시한다.
제1 객체가 제2 사용자 인터페이스에서 선택된 객체로서 디스플레이되는 동안, 제1 전자 디바이스는 (예컨대, 제2 객체를 선택된 객체로서 선택하지 않고서) 제1 사용자 인터페이스에서 복수의 선택가능한 객체들 중에서의 제2 객체에 관한 정보를 디스플레이하라는 요청에 대응하는 사용자로부터의 제1 입력(예컨대, 제1 전자 디바이스의 제1 터치 감응 표면 상의 탭 또는 스와이프 제스처)을 검출한다(730). 도 6l은, 예를 들어, 핀들(614a, 614b, 614c, 614e, 614f)에 의해 나타낸 세탁소들을 포함하는 사용자 인터페이스(602)에 디스플레이된 지도 상의 핀(614b)에 의해 나타낸 세탁소에 대응하는 사용자 인터페이스 객체(예컨대, 핀) 위에서 사용자 터치 입력(643)을 검출하는 디바이스(100)를 도시한다. 도 6l은, 예를 들어, 또한 디바이스(100)가 사용자 터치 입력(643)을 검출하는 동안 디스플레이(546-1)의 사용자 인터페이스(604)에서 마커(636)으로부터 핀(614a)에 의해 나타낸 세탁소까지의 경로(616)를 포함하는 턴바이턴 길 안내 모드를 디스플레이하는 사용자 시스템(540)을 도시한다.
제1 객체가 제2 사용자 인터페이스에서 선택된 객체로서 디스플레이되는 동안(728), 제1 입력을 검출하는 것에 응답하여, 제1 전자 디바이스는 제2 사용자 인터페이스에서 선택된 객체로서의 제1 객체의 디스플레이를 유지하면서 제2 객체에 관한 개별 정보를 디스플레이하도록 제1 입력에 따라서 제1 디스플레이 상의 제1 사용자 인터페이스를 업데이트한다(732). 도 6m은, 예를 들어, 도 6l의 핀(614b)에 의해 나타낸 세탁소에 대응하는 사용자 인터페이스 객체(예컨대, 핀) 위에서 사용자 터치 입력(643)을 검출하는 것에 응답하여 핀(614b)에 의해 나타낸 세탁소에 대응하는 정보 박스(644)를 디스플레이하도록 사용자 인터페이스(602)를 업데이트하는 디바이스(100)를 도시한다. 사용자 인터페이스(602)가 도 6m에서 업데이트되는 동안, 사용자 인터페이스(604)는 도 6l에서 사용자 터치 입력(643)을 검출하기 이전에 도시된 바와 같이 도 6m에서 디스플레이(546-1) 상에 유지된다.
일부 실시예들에서, 제1 사용자 인터페이스는, 제2 사용자 인터페이스에서 제2 객체에 관한 개별 정보를 디스플레이하도록 제2 디스플레이 상의 제2 사용자 인터페이스가 업데이트될 수 있게 하는 정보를 제2 디스플레이로 제공하지 않고서, 제1 입력을 검출하는 것에 응답하여 업데이트된다(734)(예컨대, 제1 전자 디바이스는 제1 입력에 응답하여 제2 전자 디바이스 또는 제2 디스플레이로 개별 정보를 전송하지는 않는다). 도 6m은, 예를 들어, 디스플레이(546-1) 상의 사용자 인터페이스(604)가 업데이트될 수 있게 하는 정보를 디스플레이(546-1)(또는 시스템(540))로 제공하지 않고서 도 6l에서 사용자 터치 입력(643)을 검출하는 것에 응답하여 터치 스크린(112) 상의 사용자 인터페이스(602)를 업데이트하는 디바이스(100)를 도시한다. 사용자 인터페이스(602)가 도 6m에서 업데이트되는 동안, 사용자 인터페이스(604)는 도 6l에서 사용자 터치 입력(643)을 검출하기 이전에 도시된 바와 같이 도 6m에서 디스플레이(546-1) 상에 유지된다.
일부 실시예들에서, 제2 사용자 인터페이스에서 선택된 객체로서의 제1 객체의 디스플레이를 유지하면서 제2 객체에 관한 개별 정보를 디스플레이하도록 제1 입력에 따라서 제1 디스플레이 상의 제1 사용자 인터페이스를 업데이트하는 것은, 제1 입력을 검출하기 직전에 그가 디스플레이됨에 따라 제2 디스플레이 상에 제2 사용자 인터페이스 전체를 유지하면서 제2 객체에 관한 개별 정보를 디스플레이하도록 제1 입력에 따라서 제1 디스플레이 상의 제1 사용자 인터페이스를 업데이트하는 것을 포함한다(736)(예컨대, 제2 사용자 인터페이스는 제1 업데이트에 응답하여 업데이트되지는 않는다). 도 6m은, 예를 들어, 도 6l에서 사용자 터치 입력(643)을 검출하는 것에 응답하여 핀(614b)에 의해 나타낸 세탁소에 대응하는 정보 박스(644)를 디스플레이하도록 터치 스크린(112) 상의 사용자 인터페이스(602)를 업데이트하는 디바이스(100)를 도시한다. 사용자 인터페이스(602)가 도 6m에서 업데이트되는 동안, 사용자 인터페이스(604)는 도 6l에서 사용자 터치 입력(643)을 검출하기 이전에 도시된 바와 같이 도 6m에서 디스플레이(546-1) 상에 유지된다.
제1 객체가 제2 사용자 인터페이스에서 선택된 객체로서 디스플레이되는 동안(728), 제1 입력에 따라서 제1 사용자 인터페이스를 업데이트한 후에, 제1 전자 디바이스는 선택된 객체로서 제2 객체를 선택하라는 요청에 대응하는 사용자로부터의 제2 입력을 검출한다(738). 도 6q는, 예를 들어, 디바이스(100)의 현재 위치(608)로부터 핀(614b)에 의해 나타낸 세탁소(예컨대, 메리 앤의 세탁소)까지의 경로(659a)에 대한 턴바이턴 길 안내를 디스플레이하라는 요청에 대응하는 사용자 터치 입력(661)을 검출하는 디바이스(100)를 도시한다.
제2 입력을 검출하는 것에 응답하여(740), 제1 전자 디바이스는 선택된 객체로서 제2 객체를 디스플레이하도록 제2 입력에 따라서 제1 디스플레이 상의 제1 사용자 인터페이스를 업데이트한다(742). 도 6r은, 예를 들어, 도 6q에서 사용자 터치 입력(661)을 검출하는 것에 응답하여 디바이스(100)의 현재 위치(608)로부터 핀(614b)에 의해 나타낸 세탁소(예컨대, 메리 앤의 세탁소)까지의 턴바이턴 길 안내 박스(662)를 디스플레이하도록 사용자 인터페이스(602)를 업데이트하는 디바이스(100)를 도시한다.
제2 입력을 검출하는 것에 응답하여(740), 제1 전자 디바이스는 선택된 객체로서 제1 객체 대신에 제2 객체를 디스플레이하도록 제2 디스플레이 상의 제2 사용자 인터페이스가 업데이트될 수 있게 하는 정보를 제2 디스플레이로 제공한다(744). 도 6q에서 사용자 터치 입력(661)을 검출하는 것에 응답하여, 디바이스(100)는 시스템(540)이 디스플레이(546-1) 상의 사용자 인터페이스(604)를 업데이트할 수 있게 하는 정보를 시스템(540)으로 전송한다. 도 6r은, 예를 들어, 업데이트된 사용자 인터페이스(604)를 도시하는데, 여기서 (예컨대, 디바이스(100)의 현재 위치(608)로부터 핀(614b)에 의해 나타낸 세탁소까지의) 턴바이턴 길 안내 모드가, 디바이스(100)의 현재 위치를 표시하는 마커(664), 핀(614b)에 의해 나타낸 세탁소(예컨대, 메리 앤의 세탁소)까지의 경로(659a), 및 경로(659a) 상의 사용자의 제1 방향(또는 턴)을 표시하는 턴바이턴 길 안내 박스(663)를 포함하여, 디스플레이(546-1)의 사용자 인터페이스(604)에 디스플레이된다.
일부 실시예들에서, 선택된 객체로서 제1 객체 대신에 제2 객체를 디스플레이하도록 제2 디스플레이 상의 제2 사용자 인터페이스가 업데이트될 수 있게 하는 정보를 제공한 후에(746), 제1 전자 디바이스는 디스플레이 동기화 모드에 진입한다(748)(예컨대, 재생목록 재생 모드 또는 운전 길 안내 모드에 진입함). 도 6r은, 예를 들어, 터치 스크린(112)의 사용자 인터페이스(602)에서 디바이스(100)의 현재 위치(608)로부터 핀(614b)에 의해 나타낸 세탁소까지의 턴바이턴 길 안내 박스(662)를 디스플레이하는 디바이스(100)를 도시한다(예컨대, 디스플레이 동기화 모드). 일부 실시예들에서, 디스플레이 동기화 모드에 있는 동안(750): 제1 전자 디바이스는 시간 경과에 따라 제1 사용자 인터페이스를 주기적으로 업데이트한다(예컨대, 제1 전자 디바이스가 재생목록 내의 노래들의 시퀀스에 걸쳐 재생함에 따라 디스플레이된 커버 아트(cover art)를 업데이트하거나 또는 내비게이션 경로를 따라 이동하는 차량의 진행을 표시하도록 디스플레이된 지도를 업데이트함)(752). 예를 들어, 도 6r에 도시된 바와 같이 디바이스(100)가 턴바이턴 길 안내 박스(662)를 디스플레이하는 동안, 디바이스(100)는, 디바이스(100)가 목적지(예컨대, 메리 앤의 세탁소에 대응하는 핀(614b)에 의해 나타낸 세탁소)에 접근함에 따라 턴바이턴 길 안내 박스(662)에서 경로(659a) 상의 업데이트된 다음 방향(또는 턴) 및 업데이트된 마일 수와 남은 시간을 나타내도록 사용자 인터페이스(602)를 주기적으로 업데이트한다. 일부 실시예들에서, 디스플레이 동기화 모드에 있는 동안(750): 제1 전자 디바이스는 제1 사용자 인터페이스가 시간 경과에 따라 업데이트됨에 따라 제2 디스플레이 상의 제2 사용자 인터페이스가 제1 사용자 인터페이스와 동기화될 수 있게 하는 정보를 제공한다(예컨대, 제1 전자 디바이스가 재생 목록에 걸쳐 재생하거나 또는 차량이 내비게이션 경로를 따라 이동함에 따라 업데이트된 커버 아트 또는 지도 이미지들을 디스플레이에 제공함)(754). 예를 들어, 도 6r에 도시된 바와 같이 디바이스(100)가 턴바이턴 길 안내 박스(662)를 디스플레이하는 동안, 디바이스(100)는, 디바이스(100)가 목적지(예컨대, 메리 앤의 세탁소에 대응하는 핀(614b)에 의해 나타낸 세탁소)에 접근함에 따라 턴바이턴 길 안내 박스(663)에서 경로(659a) 상의 업데이트된 다음 방향(또는 턴), 업데이트된 마일 수와 남은 시간, 및 마커(664)(예컨대, 디바이스(100)의 현재 위치)를 포함하는, 시스템(540)이 업데이트된 사용자 인터페이스(604)를 디스플레이할 수 있게 하는 정보를 시스템(540)에 제공한다.
일부 실시예들에서, 제1 입력을 검출하기 전에, 제1 사용자 인터페이스는 제2 사용자 인터페이스와 동기화되고(예컨대, 제1 객체는 제1 사용자 인터페이스 및 제2 사용자 인터페이스 둘 모두에서 선택된 객체로서 디스플레이됨); 제1 입력에 응답한 후에 그리고 제2 입력을 검출하기 전에, 제1 사용자 인터페이스는 제2 사용자 인터페이스와 동기화되지 않고(예컨대, 제2 객체가 제1 사용자 인터페이스에서 선택된 객체로서 디스플레이되는 한편 제2 객체는 제2 사용자 인터페이스에서 선택된 객체로서 디스플레이된 채로 남아 있음); 그리고 제2 입력에 응답한 후에, 제1 사용자 인터페이스는 제2 사용자 인터페이스와 동기화된다(예컨대, 제2 객체는 제1 사용자 인터페이스 및 제2 사용자 인터페이스 둘 모두에서 선택된 객체로서 디스플레이됨)(756).
도 6h에서, 제1 사용자 인터페이스(602)와 제2 사용자 인터페이스(604)가 동기화된다. 도 6h는, 예를 들어, 디바이스(100)의 현재 위치(608)로부터 핀(614a)(예컨대, 선택된 제1 객체)에 의해 나타낸 세탁소까지의 경로(631a) 상의 사용자의 제1 방향(또는 턴) 및 선택된 제1 객체 또는 목적지의 이름(예컨대, ABC 세탁소)을 표시하는 턴바이턴 길 안내 박스(634)를 디스플레이하는 터치 스크린(112) 상의 사용자 인터페이스(602)를 도시한다. 도 6h는, 예를 들어, 또한 디바이스(100)의 현재 위치(608)로부터 핀(614a)(예컨대, 제1 선택된 객체)에 의해 나타낸 세탁소까지의 경로(616)를 갖는 턴바이턴 길 안내 모드를 디스플레이하는 디스플레이(546-1) 상의 사용자 인터페이스(604)를 도시한다.
도 6m에서, 제1 사용자 인터페이스(602)와 제2 사용자 인터페이스(604)가 동기화되지 않는다. 도 6m은, 예를 들어, 핀(614b)(예컨대, 선택된 제2 객체)에 의해 나타낸 세탁소에 대응하는 정보 박스(644)를 디스플레이하는 터치 스크린(112) 상의 사용자 인터페이스(602)를 도시한다. 도 6m은, 예를 들어, 또한 디바이스(100)의 현재 위치(608)로부터 핀(614a)(예컨대, 선택된 제1 객체)에 의해 나타낸 세탁소까지의 경로(616)를 디스플레이하는 디스플레이(546-1) 상의 사용자 인터페이스(604)를 도시한다.
도 6r에서, 제1 사용자 인터페이스(602)와 제2 사용자 인터페이스(604)가 동기화된다. 도 6r은, 예를 들어, 디바이스(100)의 현재 위치(608)로부터 핀(614b)(예컨대, 선택된 제2 객체)에 의해 나타낸 세탁소까지의 경로(659a) 상의 사용자의 제1 방향(또는 턴) 및 선택된 제2 객체 또는 목적지의 이름(예컨대, 메리 앤의 세탁소)을 표시하는 턴바이턴 길 안내 박스(662)를 디스플레이하는 터치 스크린(112) 상의 사용자 인터페이스(602)를 도시한다. 도 6r은, 예를 들어, 또한 디바이스(100)의 현재 위치(608)로부터 핀(614b)(예컨대, 선택된 제2 객체)에 의해 나타낸 세탁소까지의 경로(659a)를 갖는 턴바이턴 길 안내 모드를 디스플레이하는 디스플레이(546-1) 상의 사용자 인터페이스(604)를 도시한다.
따라서, 전술된 바와 같이, 터치 스크린 디스플레이(112) 및 디스플레이(546-1) 상에 디스플레이된 사용자 인터페이스들은 간헐적으로 동기화된다. 터치 스크린 디스플레이(112) 및 디스플레이(546-1) 상에 디스플레이된 사용자 인터페이스들을 간헐적으로 동기화하는 것은, 운전자가 볼 수 있는 디스플레이(예컨대, 디스플레이(546-1)) 상에 디스플레이된 사용자 인터페이스가 승객의 움직임에 응답하여 끊임없이 업데이트하지 않고서, 차량 내의 승객이 터치 스크린 디스플레이(112) 상에 디스플레이된 정보를 둘러볼 수 있게 한다(예컨대, 연락처 정보, 리뷰들, 설명들 등을 포함하는 상이한 후보 목적지들을 조사함). 그러나, 일단 승객이 터치 스크린 디스플레이(112) 상에 디스플레이된 사용자 인터페이스에서의 동작에 전념했다면(예컨대, 목적지를 선택했다면), 디스플레이들 상의 사용자 인터페이스들은 동기화되므로, 운전자는 선택된 목적지로 운전할 수 있고 사용자는 선택된 목적지로 내비게이션하는 것을 도울 수 있다. 유사하게, 운전자가, 운전자가 볼 수 있는 디스플레이(예컨대, 디스플레이(546-1)) 상에 디스플레이된 사용자 인터페이스에서 목적지를 선택하는 경우, 터치 스크린 디스플레이(112) 상에 디스플레이된 사용자 인터페이스는 운전자의 선택을 반영하도록 업데이트되므로, 승객은 운전자가 선택된 목적지로 내비게이션하는 것을 도울 수 있다. 전술된 사용자 인터페이스들의 간헐적 동기화는 (예컨대, 승객이 운전자에게 디스플레이되는 정보를 반복적으로 변경하지 않고서 추가 정보를 볼 수 있기 때문에) 2개의 디스플레이들 상에 디스플레이된 사용자 인터페이스들이 연속적으로 동기화되는 상황에 비해 개선된 것이다. 추가적으로, 전술된 사용자 인터페이스들의 간헐적 동기화는 (예컨대, 승객이 디바이스(100) 상에서 주소를 찾아본 후에 자동차 내비게이션 시스템에서의 목적지 주소를 업데이트하는 추가적인 단계를 취할 필요가 없기 때문에) 2개의 디스플레이들 상에 디스플레이된 사용자 인터페이스들이 전혀 동기화되지 않은 상황에 비해 개선된 것이다.
도 7a 내지 도 7d에서의 동작들이 기술된 특정 순서는 단지 예시적인 것이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 당업자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방법들을 인식할 것이다. 추가적으로, 본 명세서에 기술된 다른 방법들(예를 들어, 방법들(800, 900))과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들이 도 7a 내지 도 7d와 관련하여 전술된 방법(700)에 유사한 방식으로 또한 적용가능함에 주의하여야 한다. 예를 들어, 방법(700)과 관련하여 전술된 접촉들, 제스처들, 사용자 인터페이스 객체들은 선택적으로 본 명세서에 기술된 다른 방법들(예를 들어, 방법들(800, 900))과 관련하여 본 명세서에 기술된 접촉들, 제스처들, 사용자 인터페이스 객체들의 특징들 중 하나 이상을 갖는다. 간결성을 위해, 이들 상세사항은 여기서 반복되지 않는다.
도 8a 및 도 8b는 일부 실시예들에 따른, 2개 이상의 디스플레이들을 동기화하는 방법(800)을 예시하는 흐름도들이다. 방법(800)은 차량의 차량 디스플레이와 통신 상태에 있는 휴대용 전자 디바이스(예컨대, 도 3의 디바이스(300) 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 휴대용 전자 디바이스는 휴대용 디바이스 디스플레이 및 터치 감응 표면을 포함한다. 일부 실시예들에서, 휴대용 디바이스 디스플레이는 터치 스크린 디스플레이이고, 터치 감응 표면은 휴대용 디바이스 상에 있다. 일부 실시예들에서, 휴대용 디바이스는 터치 감응 표면과는 별개이다. 방법(800)의 일부 동작들이 선택적으로 조합되고/되거나 일부 동작들의 순서가 선택적으로 변경된다.
아래에 기술되는 바와 같이, 방법(800)은 2개 이상의 디스플레이들을 동기화하는 직관적 방식을 제공한다. 이 방법은 2개 이상의 디스플레이들을 사용할 때 사용자에 대한 인지적 부담을 감소시키며, 이에 의해 보다 효율적인 인간-기계 인터페이스를 생성한다. 배터리-작동형 전자 디바이스들에 대해, 사용자가 2개 이상의 디스플레이들을 더 빠르고 더 효율적으로 동기화할 수 있게 하는 것은 전력을 보존하고 배터리 충전들 사이의 시간을 증가시킨다.
휴대용 전자 디바이스는 복수의 후보 목적지들을 포함하는 지도 검색 결과들의 세트를 획득한다(802). 도 6c는, 예를 들어, 터치 스크린(112)의 사용자 인터페이스(602)에서 검색 박스(609)에 디스플레이된 사용자 검색 질의(예컨대, 드라이 클리닝)를 도시한다. 검색 질의에 응답하여, 디바이스(100)는, 디바이스(100)에 국부적인 메모리, 디바이스(100) 외부의 메모리, 인터넷, 또는 이들의 조합을 검색함으로써, 복수의 후보 목적지들을 포함하는 지도 검색 결과들의 세트를 획득한다.
휴대용 전자 디바이스는 휴대용 디바이스 디스플레이 상에 휴대용 디바이스 내비게이션 인터페이스를 디스플레이하는데, 여기서 휴대용 디바이스 내비게이션 인터페이스는 복수의 후보 목적지들(예컨대, 이전에 수행된 검색 동작에 대응하는 검색 결과들)로부터의 목적지의 선택을 가능하게 한다(804). 도 6d는, 예를 들어, 터치 스크린(112) 상에 디스플레이된 도 6c에서의 검색 질의 박스(609) 내로 입력된 검색 질의 "드라이 클리닝"에 대응하는 휴대용 디바이스 내비게이션 인터페이스(예컨대, 사용자 인터페이스(602))를 도시한다. 도 6d에서, 사용자 인터페이스(602)는, 디바이스(100)의 현재 위치(608) 근처의 핀들(614a, 614b)에 의해 나타낸 세탁소들에 대응하는, 선택가능한 사용자 인터페이스 객체들(예컨대, 핀들), 또는 어포던스들을 포함한다.
휴대용 전자 디바이스는 차량 디스플레이가 차량 내비게이션 인터페이스를 디스플레이할 수 있게 하는 정보를 차량 디스플레이로 전송하는데, 여기서 복수의 후보 목적지들 중 제1 목적지가 차량 내비게이션 인터페이스에서의 선택된 목적지이다(806). 도 6d는, 예를 들어, 시스템(540)의 디스플레이(546-1) 상에 디스플레이된 차량 내비게이션 인터페이스(예컨대, 사용자 인터페이스(604))를 도시한다. 도 6d에서, 핀(614a)에 의해 나타낸 세탁소(예컨대, ABC 세탁소)는 디스플레이(546-1)의 사용자 인터페이스(604)에서 선택된 목적지로서 디스플레이되고, 디바이스(100)의 현재 위치(608)로부터 핀(614a)에 의해 나타낸 세탁소까지의 경로(616)가 또한 디스플레이(546-1)의 사용자 인터페이스(604)에서 디스플레이된다. 일부 실시예들에서, 디스플레이(546-1)는 터치 스크린 디스플레이이다. 일부 실시예들에서, 디스플레이(546-1)는 시스템(540)과 연관된 복수의 디스플레이들의 주 디스플레이이다. 일부 실시예들에서, 디스플레이(546-1)는 차량의 대시보드에서 구현되고 차량의 운전자 및/또는 승객에게 시각적으로 접근하기 쉽다.
제1 목적지가 차량 내비게이션 인터페이스에서 선택된 목적지인 동안(808), 휴대용 전자 디바이스는 (예컨대, 제2 객체를 선택된 객체로서 선택하지 않고서) 제1 목적지 외의 복수의 후보 목적지들 중에서의 하나 이상의 후보 목적지들에 관한 정보를 디스플레이하라는 요청에 대응하는 사용자로부터의 제1 입력(예컨대, 제1 전자 디바이스의 터치 감응 표면 상의 탭 또는 스와이프 제스처)을 검출한다(810). 도 6l은, 예를 들어, 사용자 인터페이스(602)에 디스플레이된 지도 상의 핀(614b)에 의해 나타낸 세탁소(예컨대, 메리 앤의 세탁소)에 대응하는 사용자 인터페이스 객체(예컨대, 핀) 위에서 사용자 터치 입력(643)을 검출하는 디바이스(100)를 도시한다. 도 6l에서, 사용자 인터페이스에 디스플레이된 지도는 핀들(614a, 614b, 614c, 614e, 614f)에 의해 나타낸 세탁소를 포함한다. 도 6l에서, 예를 들어, 핀(614a)에 의해 나타낸 세탁소(예컨대, ABC 세탁소)가 디스플레이(546-1)의 사용자 인터페이스(604)에서 선택된 목적지로서 디스플레이된다.
제1 목적지가 차량 내비게이션 인터페이스에서 선택된 목적지인 동안(808), 제1 입력을 검출하는 것에 응답하여, 휴대용 전자 디바이스는 차량 디스플레이 상의 차량 내비게이션 인터페이스를 업데이트하지 않고서 제1 입력에 따라서 휴대용 디바이스 디스플레이 상의 휴대용 디바이스 내비게이션 인터페이스를 업데이트한다(812). 도 6m은, 예를 들어, 도 6l의 핀(614b)에 의해 나타낸 세탁소에 대응하는 사용자 인터페이스 객체(예컨대, 핀) 위에서 사용자 터치 입력(643)을 검출하는 것에 응답하여 핀(614b)에 의해 나타낸 세탁소에 대응하는 정보 박스(644)를 디스플레이하도록 사용자 인터페이스(602)를 업데이트하는 디바이스(100)를 도시한다. 도 6m에서, 디스플레이(546-1) 상의 사용자 인터페이스(604)가 업데이트될 수 있게 하는 정보를 디스플레이(546-1)(또는 시스템(540))에 제공하지 않고서 사용자 인터페이스(602)가 업데이트된다. 도 6m에서, 예를 들어, 핀(614a)에 의해 나타낸 세탁소가 디스플레이(546-1)의 사용자 인터페이스(604)에서 선택된 목적지로서 디스플레이된다.
제1 목적지가 차량 내비게이션 인터페이스에서 선택된 목적지인 동안(808), 제1 입력에 따라서 휴대용 디바이스 내비게이션 인터페이스를 업데이트한 후에, 휴대용 전자 디바이스는 선택된 목적지로서 복수의 후보 목적지들 중에서의 제2 목적지를 선택하라는 요청에 대응하는 사용자로부터의 제2 입력을 검출한다(814). 도 6q는, 예를 들어, 디바이스(100)의 현재 위치(608)로부터 핀(614b)에 의해 나타낸 세탁소(예컨대, 메리 앤의 세탁소)까지의 경로(659a)에 대한 턴바이턴 길 안내를 디스플레이하라는 요청에 대응하는 사용자 터치 입력(661)을 검출하는 디바이스(100)를 도시한다.
제2 입력을 검출하는 것에 응답하여(816), 휴대용 전자 디바이스는 선택된 목적지로서 제2 목적지를 디스플레이하도록 제2 입력에 따라서 휴대용 디바이스 디스플레이 상의 휴대용 디바이스 내비게이션 인터페이스를 업데이트한다(818). 도 6r은, 예를 들어, 도 6q에서 사용자 터치 입력(661)을 검출하는 것에 응답하여 핀(614b)에 의해 나타낸 세탁소(예컨대, 메리 앤의 세탁소)까지의 길 안내를 갖는 턴바이턴 길 안내 박스(662)를 디스플레이하도록 사용자 인터페이스(602)를 업데이트하는 디바이스(100)를 도시한다.
제2 입력을 검출하는 것에 응답하여(816), 휴대용 전자 디바이스는 선택된 목적지로서 제2 목적지를 디스플레이하도록 제2 입력에 따라서 차량 디스플레이가 차량 내비게이션 인터페이스를 업데이트할 수 있게 하는 정보를 차량 디스플레이로 전송한다(820). 도 6q에서 사용자 터치 입력(661)을 검출하는 것에 응답하여, 디바이스(100)는 시스템(540)이 디스플레이(546-1) 상의 사용자 인터페이스(604)를 업데이트할 수 있게 하는 정보를 시스템(540)으로 전송한다. 도 6r은, 예를 들어, 업데이트된 사용자 인터페이스(604)를 도시하는데, 여기서 턴바이턴 길 안내 모드가, 디바이스(100)의 현재 위치를 표시하는 마커(664), 디바이스(100)의 현재 위치로부터 핀(614b)에 의해 나타낸 세탁소(예컨대, 메리 앤의 세탁소)까지의 경로(659a), 및 경로(659a) 상의 사용자의 제1 방향(또는 턴)을 표시하는 턴바이턴 길 안내 박스(663)를 포함하여, 디스플레이(546-1)의 사용자 인터페이스(604)에 디스플레이된다.
도 8a 및 도 8b에서의 동작들이 기술된 특정 순서는 단지 예시적인 것이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 당업자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방법들을 인식할 것이다. 추가적으로, 본 명세서에 기술된 다른 방법들(예를 들어, 방법들(700, 900))과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들이 도 8a 및 도 8b와 관련하여 전술된 방법(800)에 유사한 방식으로 또한 적용가능함에 주의하여야 한다. 예를 들어, 방법(800)과 관련하여 전술된 접촉들, 제스처들, 사용자 인터페이스 객체들은 선택적으로 본 명세서에 기술된 다른 방법들(예를 들어, 방법들(700, 900))과 관련하여 본 명세서에 기술된 접촉들, 제스처들, 사용자 인터페이스 객체들의 특징들 중 하나 이상을 갖는다. 간결성을 위해, 이들 상세사항들은 여기서 반복되지 않는다.
도 9a 내지 도 9c는 일부 실시예들에 따른, 업데이트 정보를 영향받는 디스플레이로 전송하는 방법(900)을 예시하는 흐름도들이다. 방법(900)은 제1 디스플레이 및 제2 디스플레이를 포함하는 복수의 디스플레이들과 통신 상태에 있는 전자 디바이스(예컨대, 도 3의 디바이스(300) 또는 도 1a의 휴대용 다기능 디바이스(100))에서 수행된다. 일부 실시예들에서, 전자 디바이스는 선택적으로 디스플레이 및 터치 감응 표면을 포함한다. 일부 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응 표면은 전자 디바이스 상에 있다. 일부 실시예들에서, 전자 디바이스는 터치 감응 표면과는 별개이다. 방법(900)의 일부 동작들이 선택적으로 조합되고/되거나 일부 동작들의 순서가 선택적으로 변경된다.
아래에 기술되는 바와 같이, 방법(900)은 업데이트 정보를 영향받는 디스플레이로 전송하는 효율적인 방식을 제공한다.
제1 디스플레이 및 제2 디스플레이를 포함하는 복수의 디스플레이들과 통신 상태에 있는 전자 디바이스가, 복수의 입력 소스들 중 제1 입력 소스에 의해 검출되는 제1 입력을 나타내는 제1 입력 정보를 수신하는데(902), 여기서 제1 입력 정보는 제1 입력 소스에 대한 제1 (고유한) 식별자; 및 제1 입력을 기술하는 제1 입력 설명을 포함한다. 예를 들어, 제1 입력 소스 설명은 터치 감응 표면 상에서 검출되는 접촉 위치들 및 이동 양들/방향들, 및/또는 터치 감응 표면 상에서 수행된 제스처의 유형을 기술하는 제스처 데이터와 같은 미가공 입력 데이터이다. 일부 실시예들에서, 디바이스는 복수의 상이한 입력 소스들(예컨대, 하나 이상의 버튼들, 노브들, 조그 다이얼들, 및/또는 터치 감응 표면들)과 통신 상태에 있는데, 여기서 개별 입력 소스가 특정한 디스플레이와 연동하여 작동하도록 맵핑된다. 일부 실시예들에서, 도 6dd 및 도 6ee를 참조하여 아래에 더욱 상세하게 기술되는 바와 같이, 맵핑은, 선택적으로, 개별 입력 소스의 맵핑이 제1 디스플레이에 맵핑되는 것으로부터 제2 디스플레이에 맵핑되는 것으로 변경되도록 업데이트된다.
도 6w 내지 도 6ff는, 예를 들어, 디스플레이(546-1, 546-2)와 통신 상태에 있는 디바이스(100)를 도시한다. 예를 들어, 디스플레이(546-1)(예컨대, 주 디스플레이) 및 디스플레이(546-2)(예컨대, 보조 디스플레이)는 차량에서 구현되는 시스템(540)과 연관된다. 예를 들어, 조그 다이얼(675)은 시스템(540)과 연관되고, 활성화될 때, 디바이스로 하여금 디스플레이(546-1) 및 디스플레이(546-2) 중 하나 또는 둘 모두를 제어하도록 한다. 도 6x는, 예를 들어, 턴(681)(예컨대, 대략 90도 시계방향 턴)을 검출하는 조그 다이얼(675)을 도시한다. 턴(681)을 검출하는 것에 응답하여, 조그 다이얼(675)(또는 시스템(540))은 턴(681)을 나타내는 입력 정보를 디바이스(100)로 전송한다. 입력 정보는 조그 다이얼(675)과 연관된 식별자(예컨대, 조그 다이얼(675)과 연관된 고유한 식별자) 및 턴(681)을 기술하는 입력 설명 정보를 포함한다. 예를 들어, 입력 설명 정보는 턴의 크기(90도) 및 방향(시계방향)과 같은 턴(681)을 기술하는 미가공 데이터를 포함한다.
디바이스는 제1 식별자 및 입력 소스들을 대응하는 디스플레이들에 맵핑시키는 입력 소스 맵핑에 기초하여 복수의 디스플레이들로부터 제1 영향받는 디스플레이를 선택한다(904). 예를 들어, 도 6x의 턴(681)에 대응하는 입력 정보를 조그 다이얼(675)로부터 수신하는 것에 응답하여, 디바이스(100)는, 입력 소스들을 디스플레이들에 맵핑시키는 입력 소스 맵핑에 기초하여, 입력 정보에 포함된 식별자(예컨대, 입력 소스를 조그 다이얼(675)로서 식별함)를 디스플레이(예컨대, 디스플레이(546-1))와 상관시킴으로써 영향받는 디스플레이를 선택(또는 결정)한다.
일부 실시예들에서, 제1 영향받는 디스플레이를 선택하는 것은, 입력 소스 맵핑에서 제1 입력 소스가 제1 디스플레이에 할당된다는 판정에 따라서, 제1 입력에 의해 영향을 받는 제1 영향받는 디스플레이로서 제1 디스플레이를 선택하는 것; 및 입력 소스 맵핑에서 제1 입력 소스가 제1 디스플레이와는 상이한 제2 디스플레이에 할당된다는 판정에 따라서, 제1 입력에 의해 영향을 받는 제1 영향받는 디스플레이로서 제2 디스플레이를 선택하는 것을 포함한다(906). 예를 들어, 도 6w의 핀치 제스처에 대응하는 입력 정보를 디스플레이(546-1)와 연관된 터치 감응 표면으로부터 수신하는 것에 응답하여, 디바이스(100)는, 입력 소스들을 디스플레이들에 맵핑시키는 입력 소스 맵핑에 기초하여, 입력 정보에 포함된 식별자(예컨대, 입력 소스를 디스플레이(546-1)와 연관된 터치 감응 표면으로서 식별함)를 디스플레이(예컨대, 디스플레이(546-1))와 상관시킴으로써 영향받는 디스플레이를 선택(또는 결정)한다. 다른 예에서, 도 6ee의 상방 스와이프 제스처에 대응하는 입력 정보를 디스플레이(546-2)와 연관된 터치 감응 표면으로부터 수신하는 것에 응답하여, 디바이스(100)는, 입력 소스들을 디스플레이들에 맵핑시키는 입력 소스 맵핑에 기초하여, 입력 정보에 포함된 식별자(예컨대, 입력 소스를 디스플레이(546-2)와 연관된 터치 감응 표면으로서 식별함)를 디스플레이(예컨대, 디스플레이(546-2))와 상관시킴으로써 영향받는 디스플레이를 선택(또는 결정)한다.
일부 실시예들에서, 제1 영향받는 디스플레이를 선택한 후에, 디바이스는, 제1 영향받는 디스플레이 상에 디스플레이된 사용자 인터페이스(예컨대, 제1 입력 정보가 수신되기 직전에 제1 영향받는 디스플레이 상에 디스플레이된 사용자 인터페이스)의 개별 상태를 판정하고; 제1 영향받는 디스플레이 상에 디스플레이된 사용자 인터페이스의 개별 상태 및 제1 입력 설명에 기초하여 업데이트 정보를 생성한다(908). 예를 들어, 도 6x의 턴(681)에 대응하는 입력 정보를 조그 다이얼(675)로부터 수신하는 것에 응답하여, 디바이스(100)는, 입력 소스들을 디스플레이들에 맵핑시키는 입력 소스 맵핑에 기초하여, 입력 정보에 포함된 식별자(예컨대, 입력 소스를 조그 다이얼(675)로서 식별함)를 디스플레이(예컨대, 디스플레이(546-1))와 상관시킴으로써 영향받는 디스플레이를 선택(또는 결정)한다. 이 예에서, 도 6x에서 검출된 턴 이벤트가 디스플레이(546-1)와 연관된다는 것을 판정한 후에, 디바이스(100)는 또한 도 6x에 도시된 디스플레이(546-1)의 디스플레이 상태(예컨대, 사용자 인터페이스(604)가 검색 결과들 또는 목적지 선택 모드에 있음)를 결정한다. 이 예에서, 디바이스(100)는 도 6x에 도시된 입력 설명 정보(예컨대, 대략 90도 시계방향 턴) 및 디스플레이(546-1)의 디스플레이 상태(예컨대, 사용자 인터페이스(604)가 검색 결과들 또는 목적지 선택 모드에 있음)에 기초하여 업데이트 정보(예컨대, 도 6y의 디스플레이(546-1) 상에 디스플레이되는 업데이트된 사용자 인터페이스)를 생성한다.
일부 실시예들에서, 제1 영향받는 디스플레이 상에 디스플레이되는 사용자 인터페이스의 개별 상태가 제1 상태라는 판정에 따라서, 업데이트 정보는 제1 영향받는 디스플레이 상에 디스플레이되는 사용자 인터페이스의 개별 상태에 대해 제1 동작을 수행하는 것에 대응하고(예컨대, 개별 상태는 오디오를 재생하기 위한 "지금 재생" 인터페이스를 디스플레이하고 있고, 개별 동작은 노브의 회전량에 따라서 제1 영향받는 디스플레이 상에 디스플레이되는 사용자 인터페이스와 연관된 오디오 재생의 음량 레벨을 조정하는 것을 포함함); 제1 영향받는 디스플레이 상에 디스플레이되는 사용자 인터페이스의 개별 상태가 제1 상태와는 상이한 제2 상태라는 판정에 따라서, 업데이트 정보는 제1 영향받는 디스플레이 상에 디스플레이되는 사용자 인터페이스의 개별 상태에 대해, 제1 동작과는 상이한 제2 동작을 수행하는 것에 대응한다(예컨대, 개별 상태는 오디오 콘텐츠 아이템들과 같은 선택가능한 아이템들의 목록을 디스플레이하고 있고, 개별 동작은 노브의 회전량에 따라서 제1 영향받는 디스플레이 상의 선택가능한 아이템들의 목록을 통해서 내비게이션하는 것을 포함함)(910). 도 6y 및 도 6z는, 예를 들어, 도 6y의 조그 다이얼(675)의 턴(683)(예컨대, 대략 180도 역시계방향 턴)을 검출하는 것에 응답하여 그리고 도 6y의 사용자 인터페이스(604)의 디스플레이 상태(예컨대, 검색 결과들 또는 목적지 선택 모드)에 따라서 사용자 인터페이스(604)에서 선택된 검색 결과들(예컨대, 세탁소)에 걸쳐 남에서 북으로 스크롤하는 디스플레이(546-1)를 도시한다. 도 6aa 및 도 6bb는, 예를 들어, 도 6aa의 조그 다이얼(675)의 턴(686)(예컨대, 대략 90도 역시계방향 턴)을 검출하는 것에 응답하여 그리고 도 6aa의 사용자 인터페이스(604)의 디스플레이 상태(예컨대, 턴바이턴 길 안내 모드)에 따라서 사용자 인터페이스(604)에서 턴바이턴 길 안내 모드를 축소시키는 디스플레이(546-1)를 도시한다.
일부 실시예들에서, 제1 입력 정보를 수신하기 전에, 개별 사용자 인터페이스는 이전 상태를 갖고; 디바이스는, 개별 사용자 인터페이스의 이전 상태 및 제1 입력에 기초하여 이전 상태와는 상이한 업데이트된 상태로 사용자 인터페이스를 업데이트한다(예컨대, 터치 감응 표면 상의 스와이프 제스처 또는 노브의 회전에 응답하여, 지도 사용자 인터페이스가 스와이프 제스처의 크기와 방향 또는 노브의 회전 크기에 따라서 스크롤됨)(912). 도 6ee 및 도 6ff는, 예를 들어, 도 6ee의 디스플레이(546-2) 상의 사용자 터치 입력(689)에 의한 상방 스와이프 제스처를 검출하는 것에 응답하여 그리고 도 6ee의 사용자 인터페이스(676)의 디스플레이 상태(예컨대, 앨범 노래 목록 모드)에 따라서 사용자 인터페이스(676)에서 노래 목록(677)을 스크롤 업하는 디스플레이(546-2)를 도시한다.
일부 실시예들에서, 업데이트 정보를 제1 영향받는 디스플레이로 전송하기 전에, 디바이스는 제1 입력 정보에 기초하여 업데이트 정보를 생성하는데, 여기서 제1 입력 설명이 제1 입력 속성들을 기술한다는 판정에 따라서, 디바이스는 제1 업데이트 정보를 생성하고; 제1 입력 설명이 제1 입력 속성들과는 상이한 제2 입력 속성들을 기술한다는 판정에 따라서, 디바이스는 제1 업데이트 정보와는 상이한 제2 업데이트 정보를 생성한다(914). 예를 들어, 제1 입력 정보가 제1 영향받는 디스플레이 상에 목록이 디스플레이되는 동안 노브의 회전에 대응할 때, 제1 입력 설명이, 제1 입력이 노브의 시계방향 회전을 포함한다고 나타내는 경우, 디바이스는 영향받는 디스플레이 상에서 목록을 하방으로 스크롤하고; 반면에, 제1 입력 설명이, 제1 입력이 노브의 역시계방향 회전을 포함한다고 나타내는 경우, 디바이스는 영향받는 디스플레이 상에서 목록을 상방으로 스크롤한다.
다른 예에서, 검색 결과들 또는 목적지 선택 모드가 디스플레이되는 경우, 조그 다이얼(675)의 90도 턴은 다음 검색 결과를 선택하고, 시계방향 턴은 검색 결과들을 북에서 남으로 스크롤하고, 역시계방향 턴은 검색 결과들을 남에서 북으로 스크롤한다. 도 6x 및 도 6y는, 예를 들어, 도 6x의 조그 다이얼(675)의 턴(681)(예컨대, 대략 90도 시계방향 턴)을 검출하는 것에 응답하여 사용자 인터페이스(604)에서 선택된 검색 결과들(예컨대, 세탁소)에 걸쳐 북에서 남으로 스크롤하는 디스플레이(546-1)를 도시한다. 반면에, 도 6y 및 도 6z는, 예를 들어, 도 6y의 조그 다이얼(675)의 턴(683)(예컨대, 대략 180도 역시계방향 턴)을 검출하는 것에 응답하여 사용자 인터페이스(604)에서 선택된 검색 결과들(예컨대, 세탁소)에 걸쳐 남에서 북으로 스크롤하는 디스플레이(546-1)를 도시한다.
디바이스는 제1 입력에 따라서 제1 영향받는 디스플레이가 업데이트될 수 있게 하는 업데이트 정보를 제1 영향받는 디스플레이로 전송한다(916). 예를 들어, 도 6x의 턴(681)에 대응하는 입력 정보를 조그 다이얼(675)로부터 수신하는 것에 응답하여, 디바이스(100)는, 입력 소스 맵핑에 기초하여 입력 정보에 포함된 식별자(예컨대, 입력 소스를 조그 다이얼(675)로서 식별함)를 디스플레이(546-1)와 상관시킴으로써 디스플레이(546-1)를 영향받는 디스플레이로서 선택한다. 영향받는 디스플레이로서의 디스플레이를 선택한 후에, 디바이스(100)는 영향받는 디스플레이(546-1)가 업데이트될 수 있게 하는 업데이트 정보를 영향받는 디스플레이(546-1)로 전송한다.
일부 실시예들에서, 업데이트 정보는 제1 입력에 대응하는 정보(예컨대, 터치 감응 표면 상에서 검출된 첩촉 위치들 및 이동 양들/방향들 및/또는 터치 감응 표면 상에서 수행된 제스처의 유형을 기술하는 제스처 데이터와 같은 미가공 입력 데이터)를 포함한다(918). 일부 실시예들에서, 업데이트 정보는 제1 입력 설명을 포함한다. 일부 실시예들에서, 업데이트 정보는 제1 입력 설명에 기초하여 생성된다(예컨대, 제1 입력 설명은 미가공 터치 입력 데이터이고 업데이트 정보는 미가공 터치 입력 데이터에 대응하는 제스처를 포함함).
일부 실시예들에서, 업데이트 정보는 제1 영향받는 디스플레이에서 디스플레이하기 위한 업데이트된 사용자 인터페이스(예컨대, 복수의 사용자 인터페이스 객체들을 포함하는 제1 디스플레이 상에 디스플레이를 위한 이미지)를 포함한다(920). 도 6x의 턴(681)에 대응하는 영향받는 디스플레이로서 디스플레이(546-1)를 선택한 후에, 디바이스(100)는, 도 6x의 조그 다이얼(675)의 턴(681)의 크기(90도) 및 방향(시계방향)에 따라서 영향받는 디스플레이(546-1)가 업데이트될 수 있게 하는 업데이트 정보를 영향받는 디스플레이(546-1)로 전송한다. 예를 들어, 업데이트 정보는, 핀(614a)에 의해 나타낸 세탁소에 대응하는 ABC 세탁소에서 남쪽에 있는 다음 세탁소(예컨대, 핀(614d)에 의해 나타낸 세탁소에 대응하는 수지의 세탁소)가 도 6y의 사용자 인터페이스(604)에서 선택된 검색 결과로서 디스플레이되도록 검색 결과들(예컨대, 세탁소)을 스크롤하는 업데이트된 사용자 인터페이스를 포함한다.
일부 실시예들에서, 디바이스는 복수의 디스플레이들 중 2개 이상의 디스플레이들에 대한 사용자 인터페이스들을 생성하고 개별 사용자 인터페이스들을 대응하는 디스플레이들로 제공한다(922). 예를 들어, 디바이스(100)는, 차량 엔터테인먼트 또는 내비게이션 시스템과 같은 차량 정보 디스플레이 시스템(예컨대, 시스템(540))의 제1 디스플레이(예컨대, 주 디스플레이(546-1) 또는 대시보드 내비게이션 디스플레이) 상에 디스플레이하기 위한 제1 지도/내비게이션 사용자 인터페이스를 나타내는 이미지들을 전송하고, 디바이스와 구조적으로 일체형인 제2의 상이한 디스플레이(예컨대, 디바이스(100) 또는 다른 휴대용 전자 디바이스의 터치 스크린(112))에 대해 제2의 상이한 지도/내비게이션 사용자 인터페이스를 생성한다. 일부 실시예들에서, 디바이스는, 차량 정보 디스플레이 시스템(예컨대, 시스템(540))의 차량에서의 제3 디스플레이(예컨대, 보조 디스플레이(546-2) 또는 뒷좌석의 엔터테인먼트 디스플레이) 상에 디스플레이하기 위한 상이한 사용자 인터페이스를 나타내는 이미지들을 전송한다.
일부 실시예들에서, 제1 입력에 따라서 제1 영향받는 디스플레이가 업데이트될 수 있게 하는 업데이트 정보를 전송한 후에(924), 디바이스는, 복수의 입력 소스들 중에서 제1 입력 소스와는 별개인 제2 입력 소스에 의해 검출되는 제2 입력을 나타내는 제2 입력 정보를 수신하는데, 여기서 제2 입력 정보는 제2 입력 소스에 대한 제2 (고유한) 식별자; 및 제2 입력을 기술하는 제2 입력 설명을 포함한다(926). 예를 들어, 제2 입력 설명은 터치 감응 표면 상에서 검출되는 접촉 위치들 및 이동 양들/방향들, 및/또는 터치 감응 표면 상에서 수행된 제스처의 유형을 기술하는 제스처 데이터와 같은 미가공 입력 데이터이다. 도 6x의 턴(681)에 대응하는 제1 영향받는 디스플레이로서 디스플레이(546-1)를 선택한 후에, 디바이스(100)는 도 6y에 도시된 바와 같이 제1 영향받는 디스플레이(546-1)가 업데이트될 수 있게 하는 업데이트 정보를 제1 영향받는 디스플레이(546-1)로 전송한다. 이어서, 도 6ee는, 예를 들어, 사용자 터치 입력(689)에 의한 상방 스와이프 제스처를 검출하는 디스플레이(546-2)와 연관된 터치 감응 표면을 도시한다. 상방 스와이프 제스처를 검출하는 것에 응답하여, 디스플레이(546-2)(또는 시스템(540))와 연관된 터치 감응 표면은 사용자 터치 입력(689)(또는 상방 스와이프 제스처)을 나타내는 입력 정보를 디바이스(100)로 전송한다. 입력 정보는 디스플레이(546-2)와 연관된 터치 감응 표면과 연관된 식별자(예컨대, 디스플레이(546-2)와 연관된 터치 감응 표면과 연관된 고유한 식별자) 및 사용자 터치 입력(689)(또는 상방 스와이프 제스처)을 기술하는 입력 설명 정보를 포함한다.
일부 실시예들에서, 제1 입력에 따라서 제1 영향받는 디스플레이가 업데이트될 수 있게 하는 업데이트 정보를 전송한 후에(924), 디바이스는, 제2 식별자 및 입력 소스 맵핑에 기초하여 복수의 디스플레이들로부터 제2 영향받는 디스플레이를 선택한다(928). 도 6ee의 상방 스와이프 제스처에 대응하는 입력 정보를 디스플레이(546-2)와 연관된 터치 감응 표면으로부터 수신하는 것에 응답하여, 디바이스(100)는, 입력 소스들을 디스플레이들에 맵핑시키는 입력 소스 맵핑에 기초하여, 입력 정보에 포함된 식별자(예컨대, 입력 소스를 디스플레이(546-2)와 연관된 터치 감응 표면으로서 식별함)를 디스플레이(예컨대, 디스플레이(546-2))와 상관시킴으로써 디스플레이(546-2)를 제2 영향받는 디스플레이로서 선택한다.
일부 실시예들에서, 제1 입력에 따라서 제1 영향받는 디스플레이가 업데이트될 수 있게 하는 업데이트 정보를 전송한 후에(924), 디바이스는, 제2 입력에 따라서 제2 영향받는 디스플레이가 업데이트될 수 있게 하는 업데이트 정보를 제2 영향받는 디스플레이로 전송한다(930). 일부 실시예들에서(예컨대, 제1 입력 소스 및 제2 입력 소스 둘 모두가 동일한 디스플레이에 맵핑되는 경우), 제1 영향받는 디스플레이는 제2 영향받는 디스플레이와 동일하다. 일부 실시예들에서(예컨대, 제1 입력 소스 및 제2 입력 소스가 상이한 디스플레이들에 맵핑되는 경우), 제1 영향받는 디스플레이는 제2 영향받는 디스플레이와는 상이하다. 디스플레이(546-2)를 제2 영향받는 디스플레이로서 선택한 후에, 디바이스(100)는 제2 영향받는 디스플레이(546-2)로, 영향받는 디스플레이(546-2)가 업데이트될 수 있게 하는 업데이트 정보를 전송한다. 예를 들어, 도 6ff에서, 업데이트 정보는 사용자 인터페이스(676)에서 상방으로 스크롤되는 목록(677)을 디스플레이(546-2)가 디스플레이할 수 있게 하는 업데이트된 사용자 인터페이스를 포함한다.
일부 실시예들에서, 디바이스는 복수의 디스플레이들의 개별 디스플레이의 가용성의 변화를 검출하고, 개별 디스플레이의 가용성의 변화를 검출하는 것에 응답하여, 디바이스는 개별 디스플레이의 가용성의 변화를 보여주도록 입력 소스 맵핑을 업데이트한다(932). 일부 실시예들에서, 개별 디스플레이의 가용성의 변화는 개별 디스플레이를 제어하는 전자 디바이스와는 상이한 컴퓨터 시스템(예컨대, 내비게이션 또는 엔터테인먼트 시스템과 같은 차량 정보 디스플레이 시스템)을 포함한다. 일부 실시예들에서, 개별 디스플레이의 가용성의 변화는 전자 디바이스에 (또는 전자 디바이스에 다시) 개별 디스플레이의 제어를 제공하는 전자 디바이스와는 상이한 컴퓨터 시스템을 포함한다(예컨대, 차량이 후진하고 있는 동안, 차량 정보 디스플레이 시스템은 차량 정보 디스플레이 시스템의 디스플레이 상에 후방 카메라로부터 공급된 비디오를 디스플레이하고, 차량이 후진을 중단한 후에, 차량 정보 디스플레이 시스템은 전자 디바이스가 차량 정보 디스플레이 시스템의 디스플레이 상에 전자 디바이스에 의해 제공된 사용자 인터페이스를 다시 디스플레이할 수 있게 함).
도 6w 내지 도 6ff는, 예를 들어, 차량에서 구현되는 시스템(540)과 연관된 디스플레이(546-1) 및 디스플레이(546-2)를 도시한다. 차량이 후진중인 동안, 도 6cc는, 예를 들어, 사용자 인터페이스(604)에 후방 카메라로부터 공급된 비디오를 포함하는 차량 후진 모드를 디스플레이하는 디스플레이(546-1) 및 사용자 인터페이스(676)에 후방 카메라로부터 공급된 비디오를 포함하는 차량 후진 모드를 디스플레이하는 디스플레이(546-2)를 도시한다. 차량이 후진중인 동안, 차량 후진 모드는 디바이스(100)로부터 디스플레이들(546-1, 546-2)에 의해 수신된 모든 업데이트 정보를 대신한다.
일부 실시예들에서, 개별 입력 소스가 제1 디스플레이에 할당되는 동안, 디바이스는 제1 디스플레이로부터 제2 디스플레이로 복수의 입력 소스들의 개별 입력 소스에 대한 디스플레이 할당의 변화를 검출하고, 개별 입력 소스에 대한 디스플레이 할당의 변화를 검출하는 것에 응답하여, 디바이스는 개별 입력 소스와 연관된 입력들을 나타내는 입력 정보가, 제1 디스플레이 상에 디스플레이되는 사용자 인터페이스를 업데이트하기 위해 사용되지 않고 제2 디스플레이 상에 디스플레이되는 사용자 인터페이스를 업데이트하기 위해 사용되게 되도록, 개별 입력 소스에 대한 디스플레이 할당의 변화를 보여주도록 입력 소스 맵핑을 업데이트한다(934). 예를 들어, 차량내의 승객이, 제1 노브를 사용하여 차량 정보 디스플레이 시스템의 주 디스플레이에서의 사용자 인터페이스를 제어하는 것으로부터 제1 노브를 사용하여 차량 정보 디스플레이 시스템의 보조 디스플레이(예컨대, 뒷좌석의 엔터테인먼트 디스플레이)에서의 사용자 인터페이스를 제어하는 것으로 전환하고, 제1 노브에 대한 식별자를 포함하는 입력 정보는, 주 디스플레이 상에 디스플레이되는 사용자 인터페이스를 업데이트하기 위해 사용되지 않고 보조 디스플레이 상에 디스플레이되는 사용자 인터페이스를 업데이트하기 위해 사용된다.
도 6w 내지 도 6cc에서, 조그 다이얼(675)은, 활성화될 때, 디바이스로 하여금 디스플레이(546-1)를 제어하도록 한다. 따라서, 도 6w 내지 도 6cc에서, 조그 다이얼(675)은 입력 소스 대 디스플레이 맵핑에서 디스플레이(546-1)와 연관된다. 예를 들어, 도 6aa 및 도 6bb는, 조그 다이얼(675)이 디스플레이(546-1)에 맵핑된다는 판정에 따라서 도 6aa의 조그 다이얼(675)의 턴(686)(예컨대, 대략 90도 역시계방향 턴)을 검출하는 것에 응답하여 사용자 인터페이스(604)에서 턴바이턴 길 안내 모드를 축소시키는 디스플레이(546-1)를 도시한다.
반면에, 도 6dd 및 도 6ee에서, 조그 다이얼(675)은, 활성화될 때, 디바이스로 하여금 디스플레이(546-2)를 제어하도록 한다. 따라서, 도 6dd 및 도 6ee에서, 조그 다이얼(675)은 변경된 입력 소스 대 디스플레이 맵핑에서 디스플레이(546-2)와 연관된다. 다른 예에서, 도 6dd 및 도 6ee는, 조그 다이얼(675)이 디스플레이(546-2)에 맵핑된다는 판정에 따라서 도 6dd의 조그 다이얼(675)의 턴(688)(예컨대, 대략 90도 시계방향 턴)을 검출하는 것에 응답하여 사용자 인터페이스(676)에서 목록(677)을 스크롤 다운하는 디스플레이(546-2)를 도시한다.
도 9a 내지 도 9c에서의 동작들이 기술된 특정 순서는 단지 예시적인 것이며 기술된 순서가 동작들이 수행될 수 있는 유일한 순서임을 나타내는 것으로 의도되지는 않는다는 것이 이해되어야 한다. 당업자는 본 명세서에 기술된 동작들을 재순서화하는 다양한 방법들을 인식할 것이다. 추가적으로, 본 명세서에 기술된 다른 방법들(예를 들어, 방법들(700, 800))과 관련하여 본 명세서에 기술된 다른 프로세스들의 상세사항들이 도 9a 내지 도 9c와 관련하여 전술된 방법(900)에 유사한 방식으로 또한 적용가능함에 주목하여야 한다. 예를 들어, 방법(900)과 관련하여 전술된 접촉들, 제스처들, 사용자 인터페이스 객체들은 선택적으로 본 명세서에 기술된 다른 방법들(예를 들어, 방법들(700, 800))과 관련하여 본 명세서에 기술된 접촉들, 제스처들, 사용자 인터페이스 객체들의 특징들 중 하나 이상을 갖는다. 간결성을 위해, 이들 상세사항은 여기서 반복되지 않는다.
일부 실시예들에 따르면, 도 10은 다양하게 기술된 실시예들의 원리들에 따라 구성된 제1 전자 디바이스(1000)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은, 선택적으로, 다양하게 기술된 실시예들의 원리들을 실행하기 위한 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현된다. 다양하게 기술된 실시예들의 원리들을 구현하기 위해 도 10에 기술된 기능 블록들이, 선택적으로, 조합되거나 하위 블록들로 분리된다는 것이 당업자에 의해 이해된다. 따라서, 본 명세서의 설명은 선택적으로 본 명세서에 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가적 한정을 지원한다.
도 10에 도시된 바와 같이, 제1 전자 디바이스(1000)는 제1 사용자 인터페이스를 디스플레이하도록 구성된 제1 디스플레이 유닛(1002)을 포함하고, 여기서 제1 사용자 인터페이스는 복수의 선택가능한 객체들 사이에서의 선택을 가능하게 하고; 제1 사용자 인터페이스는 제1 디스플레이 유닛과는 상이한 제2 디스플레이 유닛 상에 디스플레이된 제2 사용자 인터페이스에 대응하고; 복수의 선택가능한 객체들로부터의 제1 객체가 제2 사용자 인터페이스에서 선택된 객체로서 디스플레이된다. 선택적으로, 제1 전자 디바이스(1000)는 또한 제2 전자 디바이스와 통신하도록 구성된 통신 인터페이스 유닛(1004) 및 하나 이상의 터치 입력들을 수신하도록 구성된 제1 터치 감응 표면 유닛(1006)을 포함한다. 제1 전자 디바이스(1000)는, 제1 디스플레이 유닛(1002)에 연결되며 선택적으로 통신 인터페이스 유닛(1004) 및 제1 터치 감응 표면 유닛(1006)에 연결된 프로세싱 유닛(1008)을 추가로 포함한다. 일부 실시예들에서, 프로세싱 유닛(1008)은 검출 유닛(1010), 업데이팅 유닛(1012), 제공 유닛(1014), 동기화 유닛(1016), 및 수신 유닛(1018)을 포함한다.
제1 객체가 제2 사용자 인터페이스에서 선택된 객체로서 디스플레이되는 동안, 프로세싱 유닛(1008)은 제1 사용자 인터페이스에서 복수의 선택가능한 객체들 중에서의 제2 객체에 관한 정보의 디스플레이를 가능하게 하라는 요청에 대응하는 사용자로부터의 제1 입력을 (예컨대, 검출 유닛(1010)을 이용하여) 검출하도록; 제1 입력을 검출하는 것에 응답하여, 제2 사용자 인터페이스에서 선택된 객체로서의 제1 객체의 디스플레이를 유지하면서 제2 객체에 관한 개별 정보의 디스플레이를 가능하게 하도록 제1 입력에 따라서 제1 디스플레이 유닛(1002) 상의 제1 사용자 인터페이스를 (예컨대, 업데이팅 유닛(1012)을 이용하여) 업데이트하도록; 그리고 제1 입력에 따라서 제1 사용자 인터페이스를 업데이트한 후에, 선택된 객체로서 제2 객체를 선택하라는 요청에 대응하는 사용자로부터의 제2 입력을 (예컨대, 검출 유닛(1010)을 이용하여) 검출하도록 구성된다. 제2 입력을 검출하는 것에 응답하여, 프로세싱 유닛(1008)은 추가로, 선택된 객체로서 제2 객체의 디스플레이를 가능하게 하도록 제2 입력에 따라서 제1 디스플레이 유닛(1002) 상의 제1 사용자 인터페이스를 (예컨대, 업데이팅 유닛(1012)을 이용하여) 업데이트하도록; 그리고 선택된 객체로서 제1 객체 대신에 제2 객체의 디스플레이가 가능하도록 제2 디스플레이 유닛 상의 제2 사용자 인터페이스가 업데이트될 수 있게 하는 정보를 제2 디스플레이 유닛으로 (예컨대, 제공 유닛(1014)을 이용하여) 제공하도록 구성된다.
일부 실시예들에서, 제1 사용자 인터페이스는, 제2 사용자 인터페이스에서 제2 객체에 관한 개별 정보의 디스플레이가 가능하도록 제2 디스플레이 유닛 상의 제2 사용자 인터페이스가 업데이트될 수 있게 하는 정보를 제2 디스플레이 유닛으로 제공하지 않고서, 제1 입력을 검출하는 것에 응답하여 업데이트된다.
일부 실시예들에서, 제2 사용자 인터페이스에서 선택된 객체로서의 제1 객체의 디스플레이를 유지하면서 제2 객체에 관한 개별 정보의 디스플레이를 가능하게 하도록 제1 입력에 따라서 제1 디스플레이 유닛(1002) 상의 제1 사용자 인터페이스를 업데이트하는 것은, 제1 입력을 검출하기 직전에 그가 디스플레이된 바와 같이 제2 디스플레이 유닛 상에 제2 사용자 인터페이스 전체를 유지하면서 제2 객체에 관한 개별 정보의 디스플레이를 가능하게 하도록 제1 입력에 따라서 제1 디스플레이 유닛(1002) 상의 제1 사용자 인터페이스를 업데이트하는 것을 포함한다.
일부 실시예들에서, 복수의 선택가능한 객체들은 복수의 지도 위치들에 대응하고, 선택된 객체는 현재 선택된 목적지에 대응한다.
일부 실시예들에서, 복수의 선택가능한 객체들은 복수의 내비게이션 경로들에 대응하고, 선택된 객체는 현재 선택된 내비게이션 경로에 대응한다.
일부 실시예들에서, 복수의 선택가능한 객체들은 제1 전자 디바이스(1000)로 재생될 수 있는 복수의 콘텐츠 아이템들에 대응하고, 선택된 객체는 현재 선택된 콘텐츠 아이템에 대응한다.
일부 실시예들에서, 복수의 선택가능한 객체들은 복수의 애플리케이션들에 대응하고, 선택된 객체는 현재 선택된 애플리케이션에 대응한다.
일부 실시예들에서, 복수의 선택가능한 객체들은 검색 질의에 응답하여 생성되는 복수의 검색 결과들에 대응하고, 선택된 객체는 현재 선택된 검색 결과에 대응한다.
일부 실시예들에서, 제1 객체는 미리 정의된 객체 선택 기준들에 기초하여 선택된 객체로서 자동으로 선택되었다.
일부 실시예들에서, 제1 입력을 검출하기 전에, 제1 사용자 인터페이스는 제2 사용자 인터페이스와 동기화되고; 제1 입력에 응답한 후 그리고 제2 입력을 검출하기 전에, 제1 사용자 인터페이스는 제2 사용자 인터페이스와 동기화되지 않고; 제2 입력에 응답한 후에, 제1 사용자 인터페이스는 제2 사용자 인터페이스와 동기화된다.
일부 실시예들에서, 프로세싱 유닛(1008)은, 선택된 객체로서 제1 객체 대신에 제2 객체의 디스플레이를 가능하게 하도록 제2 디스플레이 유닛 상의 제2 사용자 인터페이스가 업데이트될 수 있게 하는 정보를 제공한 후에, (예컨대, 동기화 유닛(1016)을 이용하여) 디스플레이 동기화 모드에 진입하도록; 그리고 디스플레이 동기화 모드에 있는 동안: 시간 경과에 따라 (예컨대, 업데이팅 유닛(1012)을 이용하여) 제1 사용자 인터페이스를 주기적으로 업데이트하도록; 그리고 제1 사용자 인터페이스가 시간 경과에 따라 업데이트됨에 따라 제2 디스플레이 유닛 상의 제2 사용자 인터페이스가 제1 사용자 인터페이스와 동기화될 수 있게 하는 정보를 (예컨대, 제공 유닛(1014)을 이용하여) 제공하도록 구성된다.
일부 실시예들에서, 제2 전자 디바이스는 고유 그래픽 사용자 인터페이스를 갖는 차량내 엔터테인먼트 시스템을 제어하고, 제2 사용자 인터페이스는 제2 전자 디바이스의 고유 그래픽 사용자 인터페이스의 적어도 일부 대신에 제2 디스플레이 유닛 상에 디스플레이된다.
일부 실시예들에서, 프로세싱 유닛(1008)은 차량내 엔터테인먼트 시스템의 제어부로부터의 개별 입력에 대응하는 정보를 (예컨대, 수신 유닛(1018)을 이용하여) 수신하도록; 그리고 개별 입력에 대응하는 정보를 수신하는 것에 응답하여, 제1 사용자 인터페이스 및 제2 사용자 인터페이스를 개별 입력에 따라서 (예컨대, 업데이팅 유닛(1012)을 이용하여) 업데이트하도록 구성된다.
일부 실시예들에 따르면, 도 11은 다양하게 기술된 실시예들의 원리들에 따라 구성된 휴대용 전자 디바이스(1100)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은, 선택적으로, 다양하게 기술된 실시예들의 원리들을 실행하기 위한 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현된다. 다양하게 기술된 실시예들의 원리들을 구현하기 위해 도 11에 기술된 기능 블록들이, 선택적으로, 조합되거나 하위 블록들로 분리된다는 것이 당업자에 의해 이해된다. 따라서, 본 명세서의 설명은 선택적으로 본 명세서에 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가적 한정을 지원한다.
도 11에 도시된 바와 같이, 휴대용 전자 디바이스(1100)는 휴대용 디바이스 내비게이션 인터페이스를 디스플레이하도록 구성된 휴대용 디바이스 디스플레이 유닛(1102), 차량의 차량 디스플레이 유닛과 통신하도록 구성된 통신 인터페이스 유닛(1104), 및 선택적으로, 하나 이상의 터치 입력들을 수신하도록 구성된 터치 감응 표면 유닛(1106); 및 휴대용 디바이스 디스플레이 유닛(1102), 통신 인터페이스 유닛(1104), 및 선택적으로, 터치 감응 표면 유닛(1106)에 연결된 프로세싱 유닛(1108)을 포함한다. 일부 실시예들에서, 프로세싱 유닛(1108)은 획득 유닛(1110), 디스플레이 인에이블링 유닛(1112), 전송 유닛(1114), 검출 유닛(1116), 및 업데이팅 유닛(1118)을 포함한다.
프로세싱 유닛(1108)은, 복수의 후보 목적지들을 포함하는 지도 검색 결과들의 세트를 (예컨대, 획득 유닛(1110)을 이용하여) 획득하도록; 휴대용 디바이스 디스플레이 유닛(1102) 상에 휴대용 디바이스 내비게이션 인터페이스의 디스플레이를 (예컨대, 디스플레이 인에이블링 유닛(1112)을 이용하여) 가능하게 하도록 - 여기서 휴대용 디바이스 내비게이션 인터페이스는 복수의 후보 목적지들로부터의 목적지의 선택을 가능하게 함 -; 그리고 차량 디스플레이 유닛이 차량 내비게이션 인터페이스의 디스플레이를 가능하게 하는 정보를 차량 디스플레이 유닛으로 (예컨대, 전송 유닛(1114)을 이용하여) 전송하도록 구성되고, 여기서 복수의 후보 목적지들 중 제1 목적지가 차량 내비게이션 인터페이스에서 선택된 목적지이다. 제1 목적지가 차량 내비게이션 인터페이스에서 선택된 목적지인 동안, 프로세싱 유닛(1108)은 또한, 제1 목적지 외의 복수의 후보 목적지들 중에서의 하나 이상의 후보 목적지들에 관한 정보의 디스플레이를 가능하게 하라는 요청에 대응하는 사용자로부터의 제1 입력을 (예컨대, 검출 유닛(1116)을 이용하여) 검출하도록; 제1 입력을 검출하는 것에 응답하여, 차량 디스플레이 유닛 상의 차량 내비게이션 인터페이스를 업데이트하지 않고서 제1 입력에 따라서 휴대용 디바이스 디스플레이 유닛(1102) 상의 휴대용 디바이스 내비게이션 인터페이스를 (예컨대, 업데이팅 유닛(1118)을 이용하여) 업데이트하도록; 그리고 제1 입력에 따라서 휴대용 디바이스 내비게이션 인터페이스를 업데이트한 후에, 선택된 목적지로서 복수의 후보 목적지들 중에서의 제2 목적지를 선택하라는 요청에 대응하는 사용자로부터의 제2 입력을 (예컨대, 검출 유닛(1116)을 이용하여) 검출하도록 구성된다.
일부 실시예들에 따르면, 도 12는 다양하게 기술된 실시예들의 원리들에 따라 구성된 휴대용 전자 디바이스(1200)의 기능 블록도를 도시한다. 디바이스의 기능 블록들은, 선택적으로, 다양하게 기술된 실시예들의 원리들을 실행하기 위한 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현된다. 다양하게 기술된 실시예들의 원리들을 구현하기 위해 도 12에 기술된 기능 블록들이, 선택적으로, 조합되거나 하위 블록들로 분리된다는 것이 당업자에 의해 이해된다. 따라서, 본 명세서의 설명은 선택적으로 본 명세서에 기술된 기능 블록들의 임의의 가능한 조합 또는 분리 또는 추가적 한정을 지원한다.
도 12에 도시된 바와 같이, 전자 디바이스(1200)는 제1 디스플레이 및 제2 디스플레이를 포함하는 복수의 디스플레이들과 통신하도록 구성된 통신 인터페이스 유닛(1202)을 포함한다. 일부 실시예들에서, 전자 디바이스(1200)는 또한, 선택적으로, 사용자 인터페이스를 디스플레이하도록 구성된 디스플레이 유닛(1204) 및 하나 이상의 터치 입력들을 수신하도록 구성된 터치 감응 표면 유닛(1206)을 포함한다. 전자 디바이스(1200)는, 통신 인터페이스 유닛(1202)에 연결되며 선택적으로 디스플레이 유닛(1204) 및 터치 감응 표면 유닛(1206)에 연결된 프로세싱 유닛(1208)을 추가로 포함한다. 일부 실시예들에서, 프로세싱 유닛(1208)은 수신 유닛(1210), 선택 유닛(1212), 전송 유닛(1214), 생성 유닛(1216), 판정 유닛(1218), 업데이팅 유닛(1220), 검출 유닛(1222), 및 맵핑 업데이트 유닛(1224)을 포함한다.
프로세싱 유닛(1208)은, 복수의 입력 소스들 중 제1 입력 소스에 의해 검출되는 제1 입력을 나타내는 제1 입력 정보를 (예컨대, 수신 유닛(1210)을 이용하여) 수신하도록 구성되고, 여기서 제1 입력 정보는 제1 입력 소스에 대한 제1 식별자; 및 제1 입력을 기술하는 제1 입력 설명을 포함한다. 프로세싱 유닛(1208)은 또한, 제1 식별자 및 입력 소스들을 대응하는 디스플레이들에 맵핑시키는 입력 소스 맵핑에 기초하여 복수의 디스플레이들로부터 제1 영향받는 디스플레이를 (예컨대, 선택 유닛(1212)을 이용하여) 선택하도록 구성된다. 프로세싱 유닛(1208)은 추가로, 제1 입력에 따라서 제1 영향받는 디스플레이가 업데이트될 수 있게 하는 업데이트 정보를 제1 영향받는 디스플레이로 (예컨대, 전송 유닛(1214)을 이용하여) 전송하도록 구성된다.
일부 실시예들에서, 제1 영향받는 디스플레이를 선택하는 것은, 입력 소스 맵핑에서 제1 입력 소스가 제1 디스플레이에 할당된다는 판정에 따라서, 제1 입력에 의해 영향을 받는 제1 영향받는 디스플레이로서 제1 디스플레이를 (예컨대, 선택 유닛(1212)을 이용하여) 선택하는 것; 및 입력 소스 맵핑에서 제1 입력 소스가 제1 디스플레이와는 상이한 제2 디스플레이에 할당된다는 판정에 따라서, 제1 입력에 의해 영향을 받는 제1 영향받는 디스플레이로서 제2 디스플레이를 (예컨대, 선택 유닛(1212)을 이용하여) 선택하는 것을 포함한다.
일부 실시예들에서, 업데이트 정보는 제1 입력에 대응하는 정보를 포함한다.
일부 실시예들에서, 업데이트 정보는 제1 영향받는 디스플레이에서 디스플레이하기 위한 업데이트된 사용자 인터페이스를 포함한다.
일부 실시예들에서, 디바이스는 복수의 디스플레이들 중 2개 이상의 디스플레이들에 대한 사용자 인터페이스들을 생성하고 개별 사용자 인터페이스들을 대응하는 디스플레이들로 제공한다.
일부 실시예들에서, 업데이트 정보를 제1 영향받는 디스플레이로 전송하기 전에, 프로세싱 유닛(1208)은 제1 입력 정보에 기초하여 업데이트 정보를 (예컨대, 생성 유닛(1216)을 이용하여) 생성하도록 구성되는데, 여기서 제1 입력 설명이 제1 입력 속성들을 기술한다는 판정에 따라서, 프로세싱 유닛(1208)은 제1 업데이트 정보를 (예컨대, 생성 유닛(1216)을 이용하여) 생성하도록 구성되고; 제1 입력 설명이 제1 입력 속성들과는 상이한 제2 입력 속성들을 기술한다는 판정에 따라서, 프로세싱 유닛(1208)은 제1 업데이트 정보와는 상이한 제2 업데이트 정보를 (예컨대, 생성 유닛(1216)을 이용하여) 생성하도록 구성된다.
일부 실시예들에서, 제1 영향받는 디스플레이를 선택한 후에, 프로세싱 유닛(1208)은 제1 영향받는 디스플레이 상에 디스플레이되는 사용자 인터페이스의 개별 상태를 (예컨대, 판정 유닛(1218)을 이용하여) 판정하도록; 그리고 제1 영향받는 디스플레이 상에 디스플레이되는 사용자 인터페이스의 개별 상태 및 제1 입력 설명에 기초하여 업데이트 정보를 (예컨대, 생성 유닛(1216)을 이용하여) 생성하도록 구성된다.
일부 실시예들에서, 제1 영향받는 디스플레이 상에 디스플레이되는 사용자 인터페이스의 개별 상태가 제1 상태라는 판정에 따라서, 업데이트 정보는 제1 영향받는 디스플레이 상에 디스플레이되는 사용자 인터페이스의 개별 상태에 대해 제1 동작을 수행하는 것에 대응하고; 제1 영향받는 디스플레이 상에 디스플레이되는 사용자 인터페이스의 개별 상태가 제1 상태와는 상이한 제2 상태라는 판정에 따라서, 업데이트 정보는 제1 영향받는 디스플레이 상에 디스플레이되는 사용자 인터페이스의 개별 상태에 대해, 제1 동작과는 상이한 제2 동작을 수행하는 것에 대응한다.
일부 실시예들에서, 제1 입력 정보를 수신하기 전에, 개별 사용자 인터페이스는 이전 상태를 갖고; 프로세싱 유닛(1208)은 개별 사용자 인터페이스의 이전 상태 및 제1 입력에 기초하여 이전 상태와는 상이한 업데이트된 상태로 사용자 인터페이스를 (예컨대, 업데이팅 유닛(1220)을 이용하여) 업데이트하도록 구성된다.
일부 실시예들에서, 프로세싱 유닛(1208)은, 복수의 디스플레이들의 개별 디스플레이의 가용성의 변화를 (예컨대, 검출 유닛(1222)을 이용하여) 검출하도록; 그리고 개별 디스플레이의 가용성의 변화를 검출하는 것에 응답하여, 개별 디스플레이의 가용성의 변화를 보여주도록 입력 소스 맵핑을 (예컨대, 맵핑 업데이트 유닛(1224)을 이용하여) 업데이트하도록 구성된다.
일부 실시예들에서, 개별 입력 소스가 제1 디스플레이에 할당되는 동안, 프로세싱 유닛(1208)은 제1 디스플레이로부터 제2 디스플레이로 복수의 입력 소스들의 개별 입력 소스에 대한 디스플레이 할당의 변화를 (예컨대, 검출 유닛(1222)을 이용하여) 검출하도록 구성된다. 그리고, 개별 입력 소스에 대한 디스플레이 할당의 변화를 검출하는 것에 응답하여, 프로세싱 유닛(1208)은, 개별 입력 소스와 연관된 입력들을 나타내는 입력 정보가, 제1 디스플레이 상에 디스플레이되는 사용자 인터페이스를 업데이트하기 위해 사용되지 않고 제2 디스플레이 상에 디스플레이되는 사용자 인터페이스를 업데이트하기 위해 사용되게 되도록, 개별 입력 소스에 대한 디스플레이 할당의 변화를 보여주도록 입력 소스 맵핑을 (예컨대, 맵핑 업데이트 유닛(1224)을 이용하여) 업데이트하도록 구성된다.
일부 실시예들에서, 제1 입력에 따라서 제1 영향받는 디스플레이가 업데이트될 수 있게 하는 업데이트 정보를 전송한 후에, 프로세싱 유닛(1208)은, 복수의 입력 소스들 중에서 제1 입력 소스와는 별개인 제2 입력 소스에 의해 검출되는 제2 입력을 나타내는 제2 입력 정보를 (예컨대, 수신 유닛(1210)을 이용하여) 수신하도록 구성되는데, 여기서 제2 입력 정보는 제2 입력 소스에 대한 제2 식별자; 및 제2 입력을 기술하는 제2 입력 설명을 포함한다. 프로세싱 유닛(1208)은 또한, 제2 식별자 및 입력 소스 맵핑에 기초하여 복수의 디스플레이들로부터 제2 영향받는 디스플레이를 (예컨대, 선택 유닛(1212)을 이용하여) 선택하도록; 그리고 제2 입력에 따라서 제2 영향받는 디스플레이가 업데이트될 수 있게 하는 업데이트 정보를 제2 영향받는 디스플레이로 (예컨대, 전송 유닛(1214)을 이용하여) 전송하도록 구성된다.
전술된 정보 프로세싱 방법들에서의 동작들은, 선택적으로, (예컨대, 도 1a 및 도 3과 관련하여 전술된 바와 같은) 범용 프로세서들 또는 애플리케이션 특정 칩들과 같은 정보 프로세싱 장치 내의 하나 이상의 기능 모듈들을 작동시킴으로써 구현된다.
도 7a 내지 도 7d, 도 8a와 도 8b, 및 도 9a 내지 도 9c를 참조하여 전술된 동작들은, 선택적으로, 도 1a와 도 1b 또는 도 10 내지 도 12에 도시된 컴포넌트들에 의해 구현된다. 예를 들어, 디스플레이 동작(702), 수신 동작(722), 검출 동작들(730, 738), 업데이트 동작(742), 획득 동작(802), 전송 동작들(806, 820), 검출 동작들(810, 814), 업데이트 동작들(812, 818), 수신 동작들(902, 928), 식별 동작들(904, 930), 전송 동작들(918, 932), 및/또는 검출 동작들(934, 936)이 선택적으로 이벤트 분류기(170), 이벤트 인식기(180) 및 이벤트 핸들러(190)에 의해 구현된다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응 디스플레이(112) 상에서의 접촉을 검출하고 이벤트 디스패처 모듈(174)은 이벤트 정보를 애플리케이션(136-1)에 전달한다. 애플리케이션(136-1)의 개별 이벤트 인식기(180)는 이벤트 정보를 개별 이벤트 정의(186)와 비교하고, 터치 감응 표면 상의 제1 위치에서의 제1 접촉이(또는 디바이스의 회전이) 사용자 인터페이스 상의 객체의 선택과 같은 미리 정의된 이벤트 또는 서브-이벤트, 또는 하나의 배향에서 다른 배향으로의 디바이스의 회전에 대응하는지 여부를 결정한다. 개별 미리 정의된 이벤트 또는 서브-이벤트가 검출되는 경우, 이벤트 인식기(180)는 이벤트 또는 서브-이벤트의 검출과 연관된 이벤트 핸들러(190)를 활성화시킨다. 이벤트 핸들러(190)는 선택적으로 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출하여, 애플리케이션 내부 상태(192)를 업데이트한다. 일부 실시예들에서, 이벤트 핸들러(190)는 개별 GUI 업데이터(178)에 액세스하여, 애플리케이션에 의해 디스플레이되는 것을 업데이트한다. 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 컴포넌트들에 기초하여 어떻게 구현될 수 있는지는 당업자에게 자명할 것이다.
전술된 내용은 설명을 위해 특정 실시예들을 참조하여 설명되었다. 그러나, 상기의 예시적인 논의들은 본 발명을 개시된 정확한 형태들로 규명하거나 제한하려는 의도는 아니다. 많은 수정들 및 변형들이 상기 교시 내용들의 관점에서 가능하다. 본 발명의 원리 및 그의 실제적인 응용을 가장 잘 설명하기 위해 실시예들이 선택 및 설명되었으며, 그에 의해 다른 당업자들은 본 발명 및 다양한 기술된 실시예들을 고려되는 특정 용도에 적합한 바와 같은 다양한 수정들에 가장 잘 이용할 수 있다.

Claims (81)

  1. 방법으로서,
    휴대용 디바이스 디스플레이를 포함하고, 차량의 차량 디스플레이와 통신 상태에 있는 휴대용 전자 디바이스에서,
    복수의 후보 목적지들을 포함하는 지도 검색 결과들의 세트를 획득하는 단계;
    상기 휴대용 디바이스 디스플레이 상에 휴대용 디바이스 내비게이션 인터페이스를 디스플레이하는 단계 - 상기 휴대용 디바이스 내비게이션 인터페이스는 상기 지도 검색 결과들의 세트에 포함된 상기 복수의 후보 목적지들로부터의 목적지의 선택을 가능하게 함 -;
    상기 지도 검색 결과들의 세트에 포함된 상기 복수의 후보 목적지들 중 제1 목적지를 선택하는 단계;
    상기 차량 디스플레이가 차량 내비게이션 인터페이스를 디스플레이할 수 있게 하는 정보를 상기 차량 디스플레이로 전송하는 단계 - 상기 복수의 후보 목적지들 중 상기 제1 목적지가 상기 차량 내비게이션 인터페이스에서의 선택된 목적지임 -;
    상기 지도 검색 결과들의 세트에 포함된 상기 복수의 후보 목적지들 중 상기 제1 목적지가 상기 차량 내비게이션 인터페이스에서의 선택된 목적지인 동안,
    상기 제1 목적지 외의, 상기 복수의 후보 목적지들 중 하나 이상의 후보 목적지들에 관한 정보를 디스플레이하라는 요청에 대응하는 사용자로부터의 제1 입력을 검출하는 단계;
    상기 제1 입력을 검출하는 것에 응답하여, 상기 차량 디스플레이 상의 상기 차량 내비게이션 인터페이스를 업데이트하지 않고서 상기 제1 입력에 따라서 상기 휴대용 디바이스 디스플레이 상의 상기 휴대용 디바이스 내비게이션 인터페이스를 업데이트하는 단계; 및
    상기 제1 입력에 따라서 상기 휴대용 디바이스 내비게이션 인터페이스를 업데이트한 후, 상기 지도 검색 결과들의 세트에 포함된 상기 복수의 후보 목적지들 중 제2 목적지를 선택된 목적지로 선택하라는 요청에 대응하는 사용자로부터의 제2 입력을 검출하는 단계;
    상기 제2 입력을 검출하는 것에 응답하여,
    상기 제2 목적지를 선택된 목적지로서 디스플레이하도록, 상기 제2 입력에 따라서 상기 휴대용 디바이스 디스플레이 상의 상기 휴대용 디바이스 내비게이션 인터페이스를 업데이트하는 단계; 및
    상기 제2 목적지를 선택된 목적지로서 디스플레이하도록, 상기 제2 입력에 따라서 상기 차량 디스플레이가 상기 차량 내비게이션 인터페이스를 업데이트할 수 있게 하는 정보를 차량 디스플레이로 전송하는 단계; 및
    상기 제1 목적지 대신에 상기 제2 목적지를 선택된 목적지로 디스플레이하도록 상기 차량 디스플레이 상의 상기 차량 내비게이션 인터페이스가 업데이트될 수 있게 하는 정보를 전송한 후에:
    디스플레이 동기화 모드에 진입하는 단계; 및
    상기 디스플레이 동기화 모드에 있는 동안:
    시간 경과에 따라 상기 휴대용 디바이스 내비게이션 인터페이스를 주기적으로 업데이트하는 단계; 및
    상기 휴대용 디바이스 내비게이션 인터페이스가 시간 경과에 따라 업데이트됨에 따라 상기 차량 디스플레이 상의 상기 차량 내비게이션 인터페이스가 상기 휴대용 디바이스 내비게이션 인터페이스와 동기화될 수 있게 하는 정보를 제공하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 휴대용 디바이스 내비게이션 인터페이스는, 상기 차량 디스플레이 상의 상기 차량 내비게이션 인터페이스가 상기 제1 목적지 외의 상기 복수의 후보 목적지들 중 하나 이상의 후보 목적지들에 관한 정보를 디스플레이하도록 업데이트될 수 있게 하는 정보를 상기 차량 디스플레이에 제공하지 않고, 상기 제1 입력을 검출하는 것에 응답하여 업데이트되는, 방법.
  3. 제1항에 있어서,
    상기 차량 디스플레이 상의 상기 차량 내비게이션 인터페이스를 업데이트하지 않고서 상기 제1 입력에 따라서 상기 휴대용 디바이스 디스플레이 상의 상기 휴대용 디바이스 내비게이션 인터페이스를 업데이트하는 단계는, 상기 차량 디스플레이 상에 상기 차량 내비게이션 인터페이스 전체를 상기 제1 입력을 검출하기 직전에 디스플레이된 바와 같이 유지하면서 상기 제2 목적지에 관한 정보를 디스플레이하도록 상기 제1 입력에 따라서 상기 휴대용 디바이스 디스플레이 상의 상기 휴대용 디바이스 내비게이션 인터페이스를 업데이트하는 단계를 포함하는, 방법.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 제1항에 있어서, 상기 제1 목적지는 미리 정의된 목적지 선택 기준들에 기초하여 선택된 목적지로 자동으로 선택되는, 방법.
  10. 제1항에 있어서,
    상기 제1 입력을 검출하기 전에, 상기 휴대용 디바이스 내비게이션 인터페이스는 상기 차량 내비게이션 인터페이스와 동기화되고;
    상기 제1 입력에 응답한 후에 그리고 상기 제2 입력을 검출하기 전에, 상기 휴대용 디바이스 내비게이션 인터페이스는 상기 차량 내비게이션 인터페이스와 동기화되지 않고;
    상기 제2 입력에 응답한 후에, 상기 휴대용 디바이스 내비게이션 인터페이스는 상기 차량 내비게이션 인터페이스와 동기화되는, 방법.
  11. 삭제
  12. 제1항에 있어서, 상기 차량 디스플레이는 상기 휴대용 전자 디바이스와는 상이한 제2 전자 디바이스에 연결된 디스플레이인, 방법.
  13. 제12항에 있어서,
    상기 제2 전자 디바이스는 고유 그래픽 사용자 인터페이스를 갖는 차량내 엔터테인먼트 시스템(in-vehicle entertainment system)을 제어하고;
    상기 차량 내비게이션 인터페이스는 상기 제2 전자 디바이스의 상기 고유 그래픽 사용자 인터페이스의 적어도 일부 대신에 상기 차량 디스플레이 상에 디스플레이되는, 방법.
  14. 삭제
  15. 제12항에 있어서, 상기 휴대용 디바이스 내비게이션 인터페이스 및 상기 차량 내비게이션 인터페이스는 모두 상기 휴대용 전자 디바이스 상에서 실행하는 동일한 애플리케이션에 의해 생성되는, 방법.
  16. 휴대용 전자 디바이스로서,
    휴대용 디바이스 디스플레이;
    하나 이상의 프로세서들;
    메모리; 및
    상기 메모리에 저장되고 상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 포함하고, 상기 하나 이상의 프로그램들은,
    복수의 후보 목적지들을 포함하는 지도 검색 결과들의 세트를 획득하기 위한;
    상기 휴대용 디바이스 디스플레이 상에 휴대용 디바이스 내비게이션 인터페이스를 디스플레이하기 위한 - 상기 휴대용 디바이스 내비게이션 인터페이스는 상기 지도 검색 결과들의 세트에 포함된 상기 복수의 후보 목적지들로부터의 목적지의 선택을 가능하게 함 -;
    상기 지도 검색 결과들의 세트에 포함된 상기 복수의 후보 목적지들 중 제1 목적지를 선택하기 위한;
    상기 휴대용 전자 디바이스와 통신 상태에 있는 차량의 차량 디스플레이가 차량 내비게이션 인터페이스를 디스플레이할 수 있게 하는 정보를 상기 차량 디스플레이로 전송하기 위한 - 상기 복수의 후보 목적지들 중 상기 제1 목적지가 상기 차량 내비게이션 인터페이스에서의 선택된 목적지임 -;
    상기 지도 검색 결과들의 세트에 포함된 상기 복수의 후보 목적지들 중 상기 제1 목적지가 상기 차량 내비게이션 인터페이스에서의 선택된 목적지인 동안,
    상기 제1 목적지 외의, 상기 복수의 후보 목적지들 중 하나 이상의 후보 목적지들에 관한 정보를 디스플레이하라는 요청에 대응하는 사용자로부터의 제1 입력을 검출하기 위한;
    상기 제1 입력을 검출하는 것에 응답하여, 상기 차량 디스플레이 상의 상기 차량 내비게이션 인터페이스를 업데이트하지 않고서 상기 제1 입력에 따라서 상기 휴대용 디바이스 디스플레이 상의 상기 휴대용 디바이스 내비게이션 인터페이스를 업데이트하기 위한; 및
    상기 제1 입력에 따라서 상기 휴대용 디바이스 내비게이션 인터페이스를 업데이트한 후, 상기 지도 검색 결과들의 세트에 포함된 상기 복수의 후보 목적지들 중 제2 목적지를 선택된 목적지로 선택하라는 요청에 대응하는 사용자로부터의 제2 입력을 검출하기 위한;
    상기 제2 입력을 검출하는 것에 응답하여,
    상기 제2 목적지를 선택된 목적지로서 디스플레이하도록, 상기 제2 입력에 따라서 상기 휴대용 디바이스 디스플레이 상의 상기 휴대용 디바이스 내비게이션 인터페이스를 업데이트하기 위한; 및
    상기 제2 목적지를 선택된 목적지로서 디스플레이하도록, 상기 제2 입력에 따라서 상기 차량 디스플레이가 상기 차량 내비게이션 인터페이스를 업데이트할 수 있게 하는 정보를 차량 디스플레이로 전송하기 위한; 및
    상기 제1 목적지 대신 상기 제2 목적지를 선택된 목적지로서 디스플레이하도록 상기 차량 디스플레이 상의 상기 차량 내비게이션 인터페이스를 업데이트할 수 있게 하는 상기 정보를 전송한 후:
    디스플레이 동기화 모드에 진입하기 위한; 및
    상기 디스플레이 동기화 모드에 있는 동안:
    시간 경과에 따라 상기 휴대용 디바이스 내비게이션 인터페이스를 주기적으로 업데이트하기 위한; 및
    시간 경과에 따라 상기 휴대용 디바이스 내비게이션 인터페이스가 업데이트됨에 따라 상기 차량 디스플레이 상의 상기 차량 내비게이션 인터페이스가 상기 휴대용 디바이스 내비게이션 인터페이스와 동기화될 수 있게 하는 정보를 제공하기 위한 명령어들을 포함하는, 휴대용 전자 디바이스.
  17. 제16항에 있어서, 상기 하나 이상의 프로그램들은 제2항, 제3항, 제9항, 제10항, 제12항, 제13항 및 제15항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 휴대용 전자 디바이스.
  18. 명령어들을 포함하는 하나 이상의 프로그램들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 명령어들은, 휴대용 디바이스 디스플레이를 포함하고 차량의 차량 디스플레이와 통신 상태에 있는 휴대용 전자 디바이스에 의해 실행될 때, 상기 휴대용 전자 디바이스로 하여금,
    복수의 후보 목적지들을 포함하는 지도 검색 결과들의 세트를 획득하게 하고;
    상기 휴대용 디바이스 디스플레이 상에 휴대용 디바이스 내비게이션 인터페이스를 디스플레이하게 하고 - 상기 휴대용 디바이스 내비게이션 인터페이스는 상기 지도 검색 결과들의 세트에 포함된 상기 복수의 후보 목적지들로부터의 목적지의 선택을 가능하게 함 -;
    상기 지도 검색 결과들의 세트에 포함된 상기 복수의 후보 목적지들 중 제1 목적지를 선택하게 하고;
    상기 차량 디스플레이가 차량 내비게이션 인터페이스를 디스플레이할 수 있게 하는 정보를 상기 차량 디스플레이로 전송하게 하고 - 상기 복수의 후보 목적지들 중 상기 제1 목적지가 상기 차량 내비게이션 인터페이스에서의 선택된 목적지임 -;
    상기 지도 검색 결과들의 세트에 포함된 상기 복수의 후보 목적지들 중 상기 제1 목적지가 상기 차량 내비게이션 인터페이스에서의 선택된 목적지인 동안,
    상기 제1 목적지 외의, 상기 복수의 후보 목적지들 중 하나 이상의 후보 목적지들에 관한 정보를 디스플레이하라는 요청에 대응하는 사용자로부터의 제1 입력을 검출하게 하고;
    상기 제1 입력을 검출하는 것에 응답하여, 상기 차량 디스플레이 상의 상기 차량 내비게이션 인터페이스를 업데이트하지 않고서 상기 제1 입력에 따라서 상기 휴대용 디바이스 디스플레이 상의 상기 휴대용 디바이스 내비게이션 인터페이스를 업데이트하게 하고; 및
    상기 제1 입력에 따라서 상기 휴대용 디바이스 내비게이션 인터페이스를 업데이트한 후, 상기 지도 검색 결과들의 세트에 포함된 상기 복수의 후보 목적지들 중 제2 목적지를 선택된 목적지로 선택하라는 요청에 대응하는 사용자로부터의 제2 입력을 검출하게 하고;
    상기 제2 입력을 검출하는 것에 응답하여,
    상기 제2 목적지를 선택된 목적지로서 디스플레이하도록, 상기 제2 입력에 따라서 상기 휴대용 디바이스 디스플레이 상의 상기 휴대용 디바이스 내비게이션 인터페이스를 업데이트하게 하고; 및
    상기 제2 목적지를 선택된 목적지로서 디스플레이하도록, 상기 제2 입력에 따라서 상기 차량 디스플레이가 상기 차량 내비게이션 인터페이스를 업데이트할 수 있게 하는 정보를 차량 디스플레이로 전송하게 하고; 및
    상기 제1 목적지 대신 상기 제2 목적지를 선택된 목적지로서 디스플레이하도록 상기 차량 디스플레이 상의 상기 차량 내비게이션 인터페이스를 업데이트할 수 있게 하는 상기 정보를 전송한 후:
    디스플레이 동기화 모드에 진입하게 하고; 및
    상기 디스플레이 동기화 모드에 있는 동안:
    시간 경과에 따라 상기 휴대용 디바이스 내비게이션 인터페이스를 주기적으로 업데이트하게 하고; 및
    시간 경과에 따라 상기 휴대용 디바이스 내비게이션 인터페이스가 업데이트됨에 따라 상기 차량 디스플레이 상의 상기 차량 내비게이션 인터페이스가 상기 휴대용 디바이스 내비게이션 인터페이스와 동기화될 수 있게 하는 정보를 제공하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
  19. 제18항에 있어서, 상기 하나 이상의 프로그램들은 제2항, 제3항, 제9항, 제10항, 제12항, 제13항 및 제15항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
  50. 삭제
  51. 삭제
  52. 삭제
  53. 삭제
  54. 삭제
  55. 삭제
  56. 삭제
  57. 삭제
  58. 삭제
  59. 삭제
  60. 삭제
  61. 삭제
  62. 삭제
  63. 삭제
  64. 삭제
  65. 삭제
  66. 삭제
  67. 삭제
  68. 삭제
  69. 삭제
  70. 삭제
  71. 삭제
  72. 삭제
  73. 삭제
  74. 삭제
  75. 삭제
  76. 삭제
  77. 삭제
  78. 삭제
  79. 삭제
  80. 삭제
  81. 삭제
KR1020157036936A 2013-06-08 2014-05-30 2개 이상의 디스플레이들을 동기화하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스 KR101947229B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361832842P 2013-06-08 2013-06-08
US61/832,842 2013-06-08
PCT/US2014/040415 WO2014197339A1 (en) 2013-06-08 2014-05-30 Device, method, and graphical user interface for synchronizing two or more displays
US14/291,970 2014-05-30
US14/291,970 US9965035B2 (en) 2008-05-13 2014-05-30 Device, method, and graphical user interface for synchronizing two or more displays

Publications (2)

Publication Number Publication Date
KR20160014047A KR20160014047A (ko) 2016-02-05
KR101947229B1 true KR101947229B1 (ko) 2019-02-12

Family

ID=51228623

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157036936A KR101947229B1 (ko) 2013-06-08 2014-05-30 2개 이상의 디스플레이들을 동기화하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스

Country Status (9)

Country Link
US (3) US11002558B2 (ko)
EP (2) EP2992418B1 (ko)
JP (1) JP6545155B2 (ko)
KR (1) KR101947229B1 (ko)
CN (2) CN110413357B (ko)
AU (6) AU2014275224B2 (ko)
DE (1) DE202014004560U1 (ko)
HK (1) HK1219144A1 (ko)
WO (1) WO2014197339A1 (ko)

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10705701B2 (en) 2009-03-16 2020-07-07 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
US10649622B2 (en) 2012-05-09 2020-05-12 Apple Inc. Electronic message user interface
US10097496B2 (en) 2012-05-09 2018-10-09 Apple Inc. Electronic mail user interface
US10235014B2 (en) 2012-05-09 2019-03-19 Apple Inc. Music user interface
US10199051B2 (en) 2013-02-07 2019-02-05 Apple Inc. Voice trigger for a digital assistant
KR101947229B1 (ko) 2013-06-08 2019-02-12 애플 인크. 2개 이상의 디스플레이들을 동기화하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
JP2015007949A (ja) * 2013-06-26 2015-01-15 ソニー株式会社 表示装置、表示制御方法及びコンピュータプログラム
AU2014315234A1 (en) 2013-09-03 2016-04-21 Apple Inc. User interface for manipulating user interface objects with magnetic properties
US11068128B2 (en) 2013-09-03 2021-07-20 Apple Inc. User interface object manipulations in a user interface
US10545657B2 (en) 2013-09-03 2020-01-28 Apple Inc. User interface for manipulating user interface objects
US10924603B1 (en) * 2014-03-01 2021-02-16 sigmund lindsay clements Phone map used to find and operate multiuser devices
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
CN116243841A (zh) 2014-06-27 2023-06-09 苹果公司 尺寸减小的用户界面
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
WO2016036510A1 (en) * 2014-09-02 2016-03-10 Apple Inc. Music user interface
WO2016036509A1 (en) 2014-09-02 2016-03-10 Apple Inc. Electronic mail user interface
WO2016036416A1 (en) 2014-09-02 2016-03-10 Apple Inc. Button functionality
US10073590B2 (en) 2014-09-02 2018-09-11 Apple Inc. Reduced size user interface
US10365807B2 (en) 2015-03-02 2019-07-30 Apple Inc. Control of system zoom magnification using a rotatable input mechanism
US10200824B2 (en) * 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
KR102458444B1 (ko) * 2016-01-05 2022-10-25 삼성전자주식회사 전자 장치 및 그 동작 방법
EP3436925B1 (en) * 2016-03-30 2020-08-05 Google LLC Secondary computing device assistant
US10198072B2 (en) * 2016-06-08 2019-02-05 Immersion Corporation Haptic feedback for opportunistic displays
KR102304936B1 (ko) * 2016-06-12 2021-09-27 애플 인크. 제어가능한 외부 디바이스들을 관리하기 위한 사용자 인터페이스
CN110058757B (zh) * 2016-09-06 2022-08-12 苹果公司 用于对触摸输入进行处理和消除歧义的设备和方法
US10652337B2 (en) * 2016-09-07 2020-05-12 Thundar Power New Energy Vehicle Developmont Company Limited Passenger side display via a user portable device
US11237709B2 (en) 2016-10-25 2022-02-01 Apple Inc. Systems and methods for enabling low-vision users to interact with a touch-sensitive secondary display
DK179492B1 (en) 2016-10-25 2019-01-08 Apple Inc. SYSTEMS AND METHODS FOR ENABLING LOW-VISION USERS TO INTERACT WITH A TOUCH-SENSITIVE SECONDARY DISPLAY
AU2017101426B4 (en) * 2016-10-25 2018-03-15 Apple Inc. Systems and methods for enabling low-vision users to interact with a touch-sensitive secondary display
KR20180071049A (ko) * 2016-12-19 2018-06-27 삼성전자주식회사 전자 장치 및 그 이미지 동기화 방법
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
US10237209B2 (en) * 2017-05-08 2019-03-19 Google Llc Initializing a conversation with an automated agent via selectable graphical element
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US10928980B2 (en) 2017-05-12 2021-02-23 Apple Inc. User interfaces for playing and managing audio items
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
KR102395289B1 (ko) * 2017-05-24 2022-05-09 현대자동차주식회사 차량의 디스플레이 관리 장치
CN107415691B (zh) * 2017-07-28 2020-11-20 上海仪电汽车电子系统有限公司 集中式车载显示控制系统
US10834332B2 (en) * 2017-08-16 2020-11-10 Covidien Lp Synthesizing spatially-aware transitions between multiple camera viewpoints during minimally invasive surgery
EP4273696A3 (en) * 2017-10-03 2024-01-03 Google LLC Multiple digital assistant coordination in vehicular environments
JP6940365B2 (ja) * 2017-10-12 2021-09-29 日立Astemo株式会社 情報更新装置
CN108163216B (zh) * 2017-11-03 2022-06-28 中航通飞研究院有限公司 一种低成本航电系统
US10732916B2 (en) * 2017-11-28 2020-08-04 Ncr Corporation Multi-device display processing
KR20200103642A (ko) * 2018-01-04 2020-09-02 하만인터내셔날인더스트리스인코포레이티드 문맥 및 인식 버튼이 없는 화면 아티큘레이션
EP3783903A1 (en) * 2018-04-27 2021-02-24 Spotify AB Media playback actions based on knob rotation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
EP3607274B1 (en) * 2018-06-26 2021-10-06 Google LLC Interfacing between digital assistant applications and navigation applications
US11435830B2 (en) 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
US10712824B2 (en) 2018-09-11 2020-07-14 Apple Inc. Content-based tactile outputs
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
CN111107518A (zh) * 2018-10-25 2020-05-05 上海博泰悦臻电子设备制造有限公司 显示方法、车载终端、显示系统及计算机可读存储介质
US10878805B2 (en) * 2018-12-06 2020-12-29 Microsoft Technology Licensing, Llc Expediting interaction with a digital assistant by predicting user responses
CN111309414B (zh) * 2018-12-12 2023-07-18 荷兰移动驱动器公司 用户界面整合方法和车载装置
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
CN109976861B (zh) * 2019-03-28 2023-01-10 北京小米移动软件有限公司 交互界面显示方法、装置及存储介质
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
KR102436985B1 (ko) 2019-05-31 2022-08-29 애플 인크. 오디오 미디어 제어를 위한 사용자 인터페이스
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
CN114286975A (zh) * 2019-09-09 2022-04-05 苹果公司 调查研究用户界面
US11455180B2 (en) 2019-10-11 2022-09-27 Google Llc Extensible computing architecture for vehicles
US11899757B2 (en) * 2019-12-02 2024-02-13 Cox Automotive, Inc. Systems and methods for temporary digital content sharing
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
CN111857910A (zh) * 2020-06-28 2020-10-30 维沃移动通信有限公司 信息的显示方法、装置及电子设备
JP2022012403A (ja) * 2020-07-01 2022-01-17 キヤノン株式会社 プログラム、情報処理装置及び制御方法
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
CN117215697A (zh) * 2020-07-21 2023-12-12 联想(北京)有限公司 一种控制方法及装置
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
CN112181249A (zh) * 2020-09-25 2021-01-05 北京字节跳动网络技术有限公司 播放控制方法、装置、电子设备和存储介质
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
CN114764316A (zh) * 2020-12-31 2022-07-19 华为技术有限公司 焦点同步方法及电子设备
CN114816158A (zh) * 2021-01-11 2022-07-29 华为技术有限公司 界面的控制方法、装置、电子设备和可读存储介质
CN114765700B (zh) * 2021-01-13 2023-07-14 腾讯科技(深圳)有限公司 信息交互方法和装置、存储介质及电子设备
CN114793295B (zh) * 2021-01-25 2023-07-07 腾讯科技(深圳)有限公司 视频的处理方法、装置、电子设备及计算机可读存储介质
CN112612570B (zh) * 2021-03-08 2021-06-22 全时云商务服务股份有限公司 一种查看应用程序被遮挡区域的方法及系统
CN113094135B (zh) * 2021-04-06 2023-05-30 北京字跳网络技术有限公司 页面显示控制方法、装置、设备及存储介质
CN114302248B (zh) * 2021-04-30 2024-04-12 海信视像科技股份有限公司 一种显示设备及多窗口语音播报方法
CN116257196A (zh) * 2021-12-09 2023-06-13 华为技术有限公司 一种分享导航信息的方法、电子设备和系统
CN113997786B (zh) * 2021-12-30 2022-03-25 江苏赫奕科技有限公司 一种适用于车辆的仪表界面显示方法和装置
CN114379573A (zh) * 2022-01-10 2022-04-22 海信集团控股股份有限公司 车辆及其控制方法
WO2024010109A1 (ko) * 2022-07-06 2024-01-11 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어 방법
CN115334293B (zh) * 2022-07-11 2023-10-13 岚图汽车科技有限公司 显示系统及其投影控制方法、主副显示系统
US11960668B1 (en) * 2022-11-10 2024-04-16 Honeywell International Inc. Cursor management methods and systems for recovery from incomplete interactions
US11954325B1 (en) 2023-04-05 2024-04-09 Honeywell International Inc. Methods and systems for assigning text entry components to cursors
CN116424243B (zh) * 2023-04-12 2023-12-19 深圳市比纳瑞科技有限公司 一种智能车载多媒体系统控制方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004028909A (ja) * 2002-06-27 2004-01-29 Victor Co Of Japan Ltd 車内無線通信システム
JP2008170157A (ja) * 2007-01-05 2008-07-24 United Video Properties Inc 移動体ナビゲーション装置用電子番組表、目的地情報提供方法及び装置
JP2010514604A (ja) * 2006-12-20 2010-05-06 ジョンソン コントロールズ テクノロジー カンパニー リモートディスプレイ再現システム及び方法

Family Cites Families (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3687840B2 (ja) * 2000-06-29 2005-08-24 マツダ株式会社 車両用情報処理装置及び車両用情報通信方法
US8380630B2 (en) * 2000-07-06 2013-02-19 David Paul Felsher Information record infrastructure, system and method
JP3980844B2 (ja) * 2001-05-31 2007-09-26 富士通株式会社 案内情報リクエスト装置および案内情報提供装置
JP4860847B2 (ja) * 2001-09-03 2012-01-25 パイオニア株式会社 通信ナビゲーションシステム及び方法、並びにコンピュータプログラム
JP4737900B2 (ja) * 2001-09-28 2011-08-03 クラリオン株式会社 移動体接近警告システム及び方法、並びに移動体接近警告システムの利用側移動体端末
US20040021681A1 (en) * 2002-07-30 2004-02-05 Liao Chin-Hua Arthur Dual-touch-screen mobile computer
US20040260438A1 (en) * 2003-06-17 2004-12-23 Chernetsky Victor V. Synchronous voice user interface/graphical user interface
US7689394B2 (en) * 2003-08-26 2010-03-30 Siemens Industry, Inc. System and method for remotely analyzing machine performance
JP2005140521A (ja) * 2003-11-04 2005-06-02 Pioneer Electronic Corp 交通状況報知装置、そのシステム、その方法、そのプログラム、および、そのプログラムを記録した記録媒体
US7035734B2 (en) * 2003-12-10 2006-04-25 Cisco Technology, Inc. Method and system for communicating navigation information
EP1568970B1 (en) * 2004-02-26 2006-12-20 Alcatel Method for inputting destination data through a mobile terminal
US7440290B2 (en) * 2004-05-17 2008-10-21 Qualcomm Incorporated Control systems
US20050281414A1 (en) * 2004-06-18 2005-12-22 Simon Gregory R Method and apparatus for control of personal digital media devices using a vehicle audio system
US8407347B2 (en) * 2004-11-19 2013-03-26 Xiao Qian Zhang Method of operating multiple input and output devices through a single computer
US8606516B2 (en) 2004-11-30 2013-12-10 Dash Navigation, Inc. User interface system and method for a vehicle navigation device
US20060123359A1 (en) * 2004-12-03 2006-06-08 Schatzberger Richard J Portable electronic device having user interactive visual interface
CN101080693B (zh) * 2004-12-14 2010-07-28 宝马股份公司 用于在具有更新装置的汽车中使用至少一个移动终端设备的系统
JP2006246113A (ja) 2005-03-04 2006-09-14 Matsushita Electric Ind Co Ltd 操作システムおよび被操作端末
US7953513B2 (en) * 2005-03-15 2011-05-31 Siemens Industry, Inc. Systems, devices, and methods for automation control
US7552009B2 (en) 2005-07-14 2009-06-23 Honda Motor Co., Ltd. System and method for synchronizing data for use in a navigation system
CA2559684C (en) * 2005-09-16 2013-12-31 User-Centric Enterprises, Inc. User-centric event reporting
US8136138B2 (en) * 2005-12-15 2012-03-13 Visteon Global Technologies, Inc. Display replication and control of a portable device via a wireless interface in an automobile
EP2851369A3 (en) * 2006-02-28 2015-06-17 Phenomenome Discoveries Inc. Methods for the diagnosis of dementia and other neurological disorders
US7669142B2 (en) 2006-02-28 2010-02-23 Microsoft Corporation Viewable and actionable search results
JP4551961B2 (ja) 2006-03-31 2010-09-29 パイオニア株式会社 音声入力支援装置、その方法、そのプログラム、そのプログラムを記録した記録媒体、および、ナビゲーション装置
TW200808076A (en) * 2006-07-26 2008-02-01 Mitac Int Corp Method and portable electronic device for automatically switching loudspeaker output
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US7877204B2 (en) 2006-11-24 2011-01-25 Qualcomm Incorporated System and method for sending destination locations to navigation devices
US20100122177A1 (en) 2007-03-28 2010-05-13 Access Co., Ltd. Content reproduction system, content reproduction/control apparatus, and computer program
US8265617B2 (en) * 2007-04-10 2012-09-11 Research In Motion Limited Media transfer and control system
US7881744B2 (en) * 2007-04-10 2011-02-01 Research In Motion Limited Media transfer and control system
US8180379B2 (en) 2007-06-28 2012-05-15 Apple Inc. Synchronizing mobile and vehicle devices
US8024511B2 (en) * 2007-08-31 2011-09-20 Siemens Industry, Inc. Systems, devices, and/or methods to access synchronous RAM in an asynchronous manner
JP5421917B2 (ja) * 2007-09-14 2014-02-19 トムトム インターナショナル ベスローテン フエンノートシャップ 通信装置、通信システム及びユーザインタフェースを提供する方法
JP2009140488A (ja) 2007-11-14 2009-06-25 Fujitsu Ten Ltd 車載装置および表示制御システム
JP2009137392A (ja) * 2007-12-05 2009-06-25 Mitsubishi Electric Corp 表示制御装置
WO2009073806A2 (en) * 2007-12-05 2009-06-11 Johnson Controls Technology Company Vehicle user interface systems and methods
JP2009154647A (ja) * 2007-12-26 2009-07-16 Aisin Aw Co Ltd マルチ画面表示装置及びそのプログラム
US20090182562A1 (en) * 2008-01-14 2009-07-16 Garmin Ltd. Dynamic user interface for automated speech recognition
US8588814B2 (en) * 2008-02-05 2013-11-19 Madhavi Jayanthi Client in mobile device for sending and receiving navigational coordinates and notifications
JP4524763B2 (ja) 2008-03-25 2010-08-18 株式会社デンソー 自動車用情報提供システム
JP4390006B2 (ja) 2008-04-01 2009-12-24 トヨタ自動車株式会社 カーナビゲーション装置、携帯情報端末、及びカーナビゲーションシステム
US20100064053A1 (en) 2008-09-09 2010-03-11 Apple Inc. Radio with personal dj
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20130275899A1 (en) 2010-01-18 2013-10-17 Apple Inc. Application Gateway for Providing Different User Interfaces for Limited Distraction and Non-Limited Distraction Contexts
US8970647B2 (en) * 2008-05-13 2015-03-03 Apple Inc. Pushing a graphical user interface to a remote device with display rules provided by the remote device
US9965035B2 (en) 2008-05-13 2018-05-08 Apple Inc. Device, method, and graphical user interface for synchronizing two or more displays
US20100293462A1 (en) 2008-05-13 2010-11-18 Apple Inc. Pushing a user interface to a remote device
US9870130B2 (en) 2008-05-13 2018-01-16 Apple Inc. Pushing a user interface to a remote device
US20090284476A1 (en) 2008-05-13 2009-11-19 Apple Inc. Pushing a user interface to a remote device
US8707044B2 (en) * 2008-08-11 2014-04-22 Tti Inventions D Llc System and method for using networked mobile devices in vehicles
JP2010130369A (ja) * 2008-11-27 2010-06-10 Fujitsu Ten Ltd 車載装置および遠隔操作システム
US20100127996A1 (en) * 2008-11-27 2010-05-27 Fujitsu Ten Limited In-vehicle device, remote control system, and remote control method
JP2010130669A (ja) 2008-12-01 2010-06-10 Fujitsu Ten Ltd 車載装置および無線通信システム
JP2012513587A (ja) * 2008-12-22 2012-06-14 テレ アトラス ノース アメリカ インコーポレイテッド 低燃費経路指定のための方法、装置及び地図データベース
EP2370784B1 (en) * 2008-12-30 2013-06-05 TomTom North America Inc. A method and system for transmitting and/or receiving at least one location reference, enhanced by at least one focusing factor
JP5083416B2 (ja) 2009-02-10 2012-11-28 トヨタ自動車株式会社 車載情報処理装置及び方法
US8942922B2 (en) * 2009-03-30 2015-01-27 Denso International America, Inc. Navigation location mark by cell phone
US10241752B2 (en) * 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10540976B2 (en) 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US20120311585A1 (en) 2011-06-03 2012-12-06 Apple Inc. Organizing task items that represent tasks to perform
US9916625B2 (en) * 2012-02-02 2018-03-13 Progressive Casualty Insurance Company Mobile insurance platform system
US8928551B2 (en) 2009-07-07 2015-01-06 Village Green Technologies, LLC Multiple displays for a portable electronic device and a method of use
US20110034128A1 (en) * 2009-08-05 2011-02-10 Kirsch David M Mobile Communication Device Linked to In-Vehicle System
GB0915515D0 (en) 2009-09-04 2009-10-07 Ucl Business Plc Treatment of vasculoproliferative conditions
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
AU2012101471B4 (en) * 2010-01-18 2013-05-30 Apple Inc. Active input elicitation by intelligent automated assistant
US20110188197A1 (en) * 2010-02-03 2011-08-04 Craig Jackson Integrated audio and video port for portable electonic devices
US20110239142A1 (en) 2010-03-25 2011-09-29 Nokia Corporation Method and apparatus for providing content over multiple displays
US20110247013A1 (en) * 2010-04-01 2011-10-06 Gm Global Technology Operations, Inc. Method for Communicating Between Applications on an External Device and Vehicle Systems
FR2959327B1 (fr) * 2010-04-21 2013-03-08 Delphi Tech Inc Systeme d'enregistrement et de consultation de messages vocaux
US20120041633A1 (en) * 2010-08-16 2012-02-16 Ford Global Technologies, Llc Systems and methods for regulating control of a vehicle infotainment system
JP5859969B2 (ja) * 2010-09-17 2016-02-16 クラリオン株式会社 車載情報システム、車載装置、情報端末
US8565963B2 (en) * 2010-09-23 2013-10-22 Xerox Corporation Method and system for remotely tracking vehicle-centric data and user-centric data
JP5234160B2 (ja) 2011-03-23 2013-07-10 株式会社デンソー 車両用装置および情報表示システム
US8781730B2 (en) 2011-04-11 2014-07-15 Garmin Switzerland Gmbh Route selection employing metrics
WO2012141294A1 (ja) * 2011-04-15 2012-10-18 クラリオン株式会社 情報端末、車載情報システム、車載装置、情報端末用プログラム
US9285944B1 (en) 2011-04-22 2016-03-15 Angel A. Penilla Methods and systems for defining custom vehicle user interface configurations and cloud services for managing applications for the user interface and learned setting functions
US20120321112A1 (en) * 2011-06-16 2012-12-20 Apple Inc. Selecting a digital stream based on an audio sample
GB2492789B (en) 2011-07-12 2018-01-03 Denso Corp Displays
JP5857535B2 (ja) * 2011-08-29 2016-02-10 アイシン・エィ・ダブリュ株式会社 移動案内システム、移動案内装置、移動案内方法及びコンピュータプログラム
JP2013053942A (ja) * 2011-09-05 2013-03-21 Panasonic Corp ナビゲーション装置、および、それを用いて運転支援システム
WO2013048880A1 (en) 2011-09-30 2013-04-04 Apple Inc. Automatically adapting user interfaces for hands-free interaction
KR101302363B1 (ko) * 2011-10-05 2013-09-06 팅크웨어(주) 전자 기기 및 전자 기기의 제어 방법
US9203480B2 (en) 2011-10-06 2015-12-01 Massachusetts Institute Of Technology Coherent transmission from distributed wireless transmitters using legacy receivers
US8947202B2 (en) * 2011-10-20 2015-02-03 Apple Inc. Accessing a vehicle using portable devices
US9116563B2 (en) * 2011-10-28 2015-08-25 Honda Motor Co., Ltd. Connecting touch screen phones in a vehicle
JP5921162B2 (ja) * 2011-11-24 2016-05-24 富士通テン株式会社 車両用装置、目的地の設定方法、及びプログラム
US8847791B1 (en) * 2011-12-08 2014-09-30 Google Inc. Systems and methods for determining parking difficulty of segments of a geographic area
US8433463B1 (en) * 2012-02-09 2013-04-30 Nordic Capital Partners, LLC Vehicular dual mode master/slave interface
US9336827B2 (en) 2012-04-11 2016-05-10 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for browsing a mobile device with an in-vehicle user interface
US9431012B2 (en) * 2012-04-30 2016-08-30 2236008 Ontario Inc. Post processing of natural language automatic speech recognition
US20130297604A1 (en) * 2012-05-01 2013-11-07 Research In Motion Limited Electronic device and method for classification of communication data objects
US10296516B2 (en) 2012-05-21 2019-05-21 Here Global B.V. Method and apparatus for navigation using multiple synchronized mobile devices
KR101919788B1 (ko) 2012-05-31 2018-11-19 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN102810117B (zh) * 2012-06-29 2016-02-24 北京百度网讯科技有限公司 一种用于提供搜索结果的方法与设备
CN102724329A (zh) * 2012-07-05 2012-10-10 深圳市路畅科技股份有限公司 一种车载导航仪的控制方法
US20140026088A1 (en) 2012-07-17 2014-01-23 Sap Ag Data Interface Integrating Temporal and Geographic Information
CN102759359A (zh) * 2012-07-18 2012-10-31 深圳市凯立德科技股份有限公司 一种与移动终端交互的定位导航设备及其交互方法
JP5920474B2 (ja) * 2012-09-06 2016-05-18 トヨタ自動車株式会社 携帯端末装置、車載装置、及び車載システム
CN102930263A (zh) * 2012-09-27 2013-02-13 百度国际科技(深圳)有限公司 一种信息处理方法及装置
US8958981B2 (en) 2012-11-06 2015-02-17 Cheng-Yu Wang Near field communication mobile device and navigation device communication system
US9794134B2 (en) 2012-11-16 2017-10-17 Apple Inc. System and method for negotiating control of a shared audio or visual resource
EP2945090A4 (en) * 2013-01-10 2016-08-17 Nec Corp END DEVICE, RELEASE PROCEDURE AND PROGRAM
CN103118176A (zh) * 2013-01-16 2013-05-22 广东好帮手电子科技股份有限公司 一种通过车载主机实现手机语音控制功能的方法及系统
US9619131B2 (en) 2013-02-22 2017-04-11 Blackberry Limited Methods and devices for displaying content
US9857193B2 (en) 2013-06-08 2018-01-02 Apple Inc. Mapping application with turn-by-turn navigation mode for output to vehicle display
US9719797B2 (en) 2013-03-15 2017-08-01 Apple Inc. Voice and touch user interface
US10251034B2 (en) * 2013-03-15 2019-04-02 Blackberry Limited Propagation of application context between a mobile device and a vehicle information system
US9300779B2 (en) * 2013-03-15 2016-03-29 Blackberry Limited Stateful integration of a vehicle information system user interface with mobile device operations
US20140343753A1 (en) * 2013-05-15 2014-11-20 Honda Motor Co., Ltd. System and method for vehicle interface extension and control
KR101947229B1 (ko) 2013-06-08 2019-02-12 애플 인크. 2개 이상의 디스플레이들을 동기화하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004028909A (ja) * 2002-06-27 2004-01-29 Victor Co Of Japan Ltd 車内無線通信システム
JP2010514604A (ja) * 2006-12-20 2010-05-06 ジョンソン コントロールズ テクノロジー カンパニー リモートディスプレイ再現システム及び方法
JP2008170157A (ja) * 2007-01-05 2008-07-24 United Video Properties Inc 移動体ナビゲーション装置用電子番組表、目的地情報提供方法及び装置

Also Published As

Publication number Publication date
DE202014004560U1 (de) 2014-09-12
AU2019213441A1 (en) 2019-08-29
US11002558B2 (en) 2021-05-11
AU2014100584B4 (en) 2015-03-05
EP2992418B1 (en) 2022-02-16
AU2021201449B2 (en) 2022-06-23
US20180253148A1 (en) 2018-09-06
JP2016529580A (ja) 2016-09-23
US11692840B2 (en) 2023-07-04
CN110413357B (zh) 2022-09-06
CN105283840B (zh) 2019-07-05
US20230324196A1 (en) 2023-10-12
AU2017268569B2 (en) 2019-06-13
AU2017268569A1 (en) 2017-12-21
CN105283840A (zh) 2016-01-27
HK1219144A1 (zh) 2017-03-24
WO2014197339A1 (en) 2014-12-11
EP2992418A1 (en) 2016-03-09
AU2022224855A1 (en) 2022-09-29
AU2014275224B2 (en) 2017-08-31
US20210190525A1 (en) 2021-06-24
AU2019213441B9 (en) 2021-03-11
EP4009166A1 (en) 2022-06-08
JP6545155B2 (ja) 2019-07-17
AU2019213441B2 (en) 2021-01-28
AU2021201449A1 (en) 2021-03-25
KR20160014047A (ko) 2016-02-05
AU2019213441C1 (en) 2021-06-03
AU2014275224A1 (en) 2015-12-24
CN110413357A (zh) 2019-11-05
AU2014100584A4 (en) 2014-07-03

Similar Documents

Publication Publication Date Title
AU2021201449B2 (en) Device, method, and graphical user interface for synchronizing two or more displays
US9965035B2 (en) Device, method, and graphical user interface for synchronizing two or more displays
JP6705842B2 (ja) ナビゲーション及び検索機能を提供するためのデバイス、方法、及びグラフィカルユーザインタフェース
CN110083411B (zh) 用于从模板生成用户界面的设备和方法
CN112711375B (zh) 设备配置用户界面
CN109313528B (zh) 用于加速滚动的方法、电子设备和计算机可读存储介质
KR101929372B1 (ko) 하나의 디바이스의 사용으로부터 다른 디바이스의 사용으로의 전환
WO2017058293A1 (en) Intelligent device identification
CN112214147A (zh) 多个视图之间的移动
CN109416599B (zh) 用于处理触摸输入的设备和方法

Legal Events

Date Code Title Description
A201 Request for examination
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant