KR20090057304A - 터치 스크린 디스플레이와의 손가락 접촉으로부터 커서 위치를 결정하는 방법 - Google Patents

터치 스크린 디스플레이와의 손가락 접촉으로부터 커서 위치를 결정하는 방법 Download PDF

Info

Publication number
KR20090057304A
KR20090057304A KR1020097007039A KR20097007039A KR20090057304A KR 20090057304 A KR20090057304 A KR 20090057304A KR 1020097007039 A KR1020097007039 A KR 1020097007039A KR 20097007039 A KR20097007039 A KR 20097007039A KR 20090057304 A KR20090057304 A KR 20090057304A
Authority
KR
South Korea
Prior art keywords
user interface
location
touch screen
interface objects
contact area
Prior art date
Application number
KR1020097007039A
Other languages
English (en)
Other versions
KR101085732B1 (ko
Inventor
바스 오르딩
스콧 포스탈
그레그 크리스티
스티븐 오. 르메이
임란 차우드리
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20090057304A publication Critical patent/KR20090057304A/ko
Application granted granted Critical
Publication of KR101085732B1 publication Critical patent/KR101085732B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Abstract

터치 스크린 디스플레이를 구비한 휴대용 장치는 손가락과 터치 스크린 디스플레이의 접촉 영역을 감지한 후에 접촉 영역과 연관된 제1 위치를 결정한다. 제1 위치, 제1 위치와 하나 이상의 사용자 인터페이스 객체 사이의 하나 이상의 거리, 및 복수의 사용자 인터페이스 객체 내의 각각의 사용자 인터페이스 객체와 각각 연관된 하나 이상의 활성화 민감도 수치에 적어도 부분적으로 기초하여 손가락 접촉의 커서 위치가 결정된다. 커서 위치가 터치 스크린 디스플레이 상의 가상 푸시 버튼의 숨겨진 히트 영역 내에 있는 경우, 휴대용 장치는 가상 푸시 버튼과 연관된 동작들을 수행하도록 활성화된다.
휴대용 전자 장치, 터치 스크린 디스플레이, 전자 문서, 그래픽 사용자 인터페이스, 제스처

Description

터치 스크린 디스플레이와의 손가락 접촉으로부터 커서 위치를 결정하는 방법{METHODS FOR DETERMINING A CURSOR POSITION FROM A FINGER CONTACT WITH A TOUCH SCREEN DISPLAY}
개시되는 실시예들은 일반적으로 휴대용 전자 장치에 관한 것으로서, 구체적으로는 터치 스크린 디스플레이와의 손가락 접촉으로부터 커서 위치를 적응적으로 결정한 후에 커서 위치에 따라 동작을 수행하는 휴대용 장치에 관한 것이다.
휴대용 전자 장치가 보다 소형화되고, 주어진 장치에 의해 수행되는 기능의 수가 증가하면서, 사용자로 하여금 다기능 장치와 용이하게 상호 작용할 수 있게 하는 사용자 인터페이스를 제공하는 것이 해결해야 할 중요한 과제가 되었다. 이러한 문제는, 데스크톱 컴퓨터 또는 랩톱 컴퓨터에 비해 훨씬 작은 스크린을 가지는 핸드핼드 휴대용 장치(handheld portable device)의 경우에 특히 중요하다. 사용자 인터페이스는 사용자가 장치의 특징, 도구 및 기능에 대한 사용자의 액세스 시도를 포함하는 사용자 액션 또는 행동에 대한 응답뿐만 아니라 콘텐츠를 수용하는 관문이기 때문에 이러한 상황은 적절하지 못하다. (흔히 모바일 폰, 셀 폰, 셀룰러 전화 등으로 지칭되는 이동 전화 등과 같은) 일부 휴대용 통신 장치는, 사용자의 데이터에 대한 액세스, 저장 및 조작을 가능하게 하기 위해, 보다 많은 푸시 버튼(push button)을 추가하는 방식, 푸시 버튼의 밀도를 증가시키는 방식, 푸시 버튼의 기능을 오버로딩(overloading)하는 방식, 또는 복잡한 메뉴 시스템을 사용하는 방식에 의존해 왔다. 이러한 종래의 사용자 인터페이스는 사용자가 암기해야만 하는 복잡한 키 순서 및 메뉴 체계로 대부분 이어진다.
또한, 물리적 푸시 버튼을 포함하는 사용자 인터페이스와 같은 다수의 종래의 사용자 인터페이스에는 유연성이 없다. 이는 사용자 또는 휴대용 장치 상에서 실행되는 애플리케이션에 의해 사용자 인터페이스가 구성 및/또는 적응되는 것을 방해할 수 있다. 이러한 비유연성은, 다중 키 순서 및 메뉴 체계를 암기한다는 시간이 걸리는 요구조건, 그리고 원하는 푸시 버튼을 활성화시키는 어려움과 결합되는 경우, 대부분의 사용자를 실망하게 만든다.
유용성을 개선하기 위해, 일부 휴대용 장치들은 터치 스크린을 사용하여 소프트 키보드 및 다이얼 패드 등의 가상 푸시 버튼들을 렌더링한다. 사용자의 가상 푸시 버튼들과의 손가락 접촉으로부터, 휴대용 장치는 사용자에 의해 요청된 서비스(들)를 결정하고, 그에 따라 액션들을 취한다. 그러나, 상이한 사용자들은 종종 상이한 형태의 지문들을 가지므로, 이러한 휴대용 장치들에게는 상이한 형태의 지문들 및 휴대용 장치에 의해 지원되는 상이한 서비스들과 연관된 상이한 컨텍스트들에 기초하여 사용자가 원하는 가상 푸시 버튼을 정확하게 그리고 적응적으로 식별하는 것이 하나의 과제였다.
따라서, 터치 스크린 디스플레이와의 손가락 접촉으로부터 커서 위치를 적응적으로 결정한 후에 커서 위치에 따라 동작을 수행하도록 구성되는 휴대용 다기능 장치가 요구된다. 그러한 구성은 휴대용 전자 장치의 유효성, 능률 및 사용자 만족을 향상시킨다.
<발명의 요약>
휴대용 장치들의 사용자 인터페이스들과 연관된 위의 결함들 및 기타 문제들은 개시되는 휴대용 다기능 장치에 의해 감소되거나 제거될 수 있다. 일부 실시예들에서, 본 장치는 그래픽 사용자 인터페이스(GUI)를 갖는 터치 감지 디스플레이("터치 스크린"으로도 공지됨), 하나 이상의 프로세서, 메모리, 및 다수의 기능을 수행하기 위해 메모리에 저장된 하나 이상의 모듈, 프로그램 또는 명령어들의 세트를 구비한다. 일부 실시예에서, 사용자는 주로 터치 감지 디스플레이 상에서의 손가락 접촉들 및 제스처들을 통해 GUI와 상호작용한다. 일부 실시예에서, 기능들은 전화, 비디오 회의(video conferencing), 이메일, 인스턴스 메시징(instant messaging), 블로깅(blogging), 디지털 사진 촬영, 디지털 비디오 촬영, 웹 브라우징, 디지털 음악 재생, 및/또는 디지털 비디오 재생을 포함할 수 있다. 이러한 기능들을 수행하기 위한 명령어들은 하나 이상의 프로세서에 의해 실행되도록 구성된 컴퓨터 판독가능 저장 매체(computer readable storage medium) 또는 기타 컴퓨터 프로그램 제품에 포함될 수 있다.
본 발명의 일 양태는 터치 스크린 디스플레이를 구비한 휴대용 다기능 장치에 의해 수행되는 컴퓨터 구현 방법을 포함한다. 휴대용 장치는 손가락과 터치 스크린 디스플레이의 접촉 영역을 감지한 후에 접촉 영역과 연관된 제1 위치를 결정한다. 제1 위치, 제1 위치와 하나 이상의 사용자 인터페이스 객체 사이의 하나 이 상의 거리, 및 복수의 사용자 인터페이스 객체 내의 각각의 사용자 인터페이스 객체와 각각 연관된 하나 이상의 활성화 민감도 수치(activation susceptibility number)에 적어도 부분적으로 기초하여 손가락 접촉의 커서 위치가 결정된다.
본 발명의 다른 양태는 터치 스크린 디스플레이를 구비한 휴대용 다기능 장치 상의 그래픽 사용자 인터페이스를 포함한다. 그래픽 사용자 인터페이스는 커서 및 복수의 사용자 인터페이스 객체를 포함한다. 커서의 위치는 손가락과 터치 스크린 디스플레이의 접촉 영역과 연관된 제1 위치, 제1 위치와 하나 이상의 사용자 인터페이스 객체 사이의 하나 이상의 거리, 및 복수의 사용자 인터페이스 객체 내의 각각의 사용자 인터페이스 객체와 각각 연관된 하나 이상의 활성화 민감도 수치에 적어도 부분적으로 기초하여 결정된다.
본 발명의 또 다른 양태는 복수의 사용자 인터페이스 객체를 갖는 터치 스크린 디스플레이를 구비한 휴대용 전자 장치를 포함한다. 장치는 하나 이상의 프로세서, 메모리, 및 메모리에 저장되고 하나 이상의 프로세서에 의해 실행되도록 구성되는 프로그램을 포함한다. 프로그램은 손가락과 터치 스크린 디스플레이의 접촉 영역을 감지하는 명령어, 접촉 영역과 연관된 제1 위치를 결정하는 명령어, 및 제1 위치, 제1 위치와 하나 이상의 사용자 인터페이스 객체 사이의 하나 이상의 거리, 및 복수의 사용자 인터페이스 객체 내의 각각의 사용자 인터페이스 객체와 각각 연관된 하나 이상의 활성화 민감도 수치에 적어도 부분적으로 기초하여 커서 위치를 결정하는 명령어를 포함한다.
본 발명의 또 다른 양태는 컴퓨터 판독 가능 저장 매체 및 그 안에 내장된 컴퓨터 프로그램 메커니즘(예를 들어, 하나 이상의 컴퓨터 프로그램)을 포함하는 컴퓨터 프로그램 제품을 포함한다. 컴퓨터 프로그램 메커니즘은, 휴대용 전자 장치에 의해 실행될 때, 장치가 손가락과 터치 스크린 디스플레이의 접촉 영역을 감지하고, 접촉 영역과 연관된 제1 위치를 결정하고, 제1 위치, 제1 위치와 하나 이상의 사용자 인터페이스 객체 사이의 하나 이상의 거리, 및 복수의 사용자 인터페이스 객체 내의 각각의 사용자 인터페이스 객체와 각각 연관된 하나 이상의 활성화 민감도 수치에 적어도 부분적으로 기초하여 커서 위치를 결정하게 하는 명령어들을 포함한다.
본 발명의 또 다른 양태는 터치 스크린 디스플레이를 구비한 휴대용 전자 장치를 포함한다. 장치는 손가락과 터치 스크린 디스플레이의 접촉 영역을 감지하는 수단, 접촉 영역과 연관된 제1 위치를 결정하는 수단, 및 제1 위치, 제1 위치와 하나 이상의 사용자 인터페이스 객체 사이의 하나 이상의 거리, 및 복수의 사용자 인터페이스 객체 내의 각각의 사용자 인터페이스 객체와 각각 연관된 하나 이상의 활성화 민감도 수치에 적어도 부분적으로 기초하여 커서 위치를 결정하는 수단을 포함한다.
본 발명의 상기 실시예 및 추가적인 실시예에 대한 좀 더 양호한 이해를 위하여, 첨부된 도면과 함께 이하의 실시예 항목이 참조되어야 하며, 유사한 참조 번호는 도면 전체에 걸쳐 해당 부분을 지칭한다.
도 1A 및 1B는 일부 실시예에 따른 터치-감지 디스플레이를 구비한 휴대용 다기능 장치를 도시하는 블록도.
도 2는 일부 실시예에 따른 터치 스크린을 가진 휴대용 다기능 장치를 도시하는 도면.
도 3은 일부 실시예에 따른 휴대용 전자 장치를 잠금해제(unlock)하기 위한 예시적인 사용자 인터페이스를 도시하는 도면.
도 4A 및 4B는 일부 실시예에 따른 휴대용 다기능 장치상의 애플리케이션 메뉴를 위한 예시적인 사용자 인터페이스를 도시하는 도면.
도 5는 일부 실시예에 따른 터치 스크린과의 손가락 접촉으로부터 커서 위치를 결정하는 프로세스를 나타내는 흐름도.
도 6A 내지 6L은 일부 실시예에 따른 터치 스크린 디스플레이 상의 커서 위치를 결정하는 예시적인 방법들을 나타내는 도면.
도 6M 내지 6O는 일부 실시예에 따라 소프트 키보드 키를 이용해 단어가 타이핑되는 경우 소프트 키보드 키와 연관된 민감도 수치를 동적으로 조정하는 예시적인 방법을 도시하는 도면.
이하, 첨부된 도면에 그 예가 도시된 실시예들에 대해 상세하게 언급할 것이다. 이하의 상세한 설명에서, 본 발명의 철저한 이해를 제공하기 위하여 다수의 특정 세부사항이 상술된다. 그러나, 이러한 특정 세부사항 없이도 본 발명이 실시될 수 있음은 당업자에게 자명할 것이다. 한편, 실시예의 양태를 불필요하게 모호하게 하지 않도록, 주지의 방법, 프로시저, 컴포넌트, 회로 및 네트워크에 대해서 는 상세하게 설명하지 않았다.
또한, 본 명세서에 제1, 제2 등의 용어가 다양한 구성요소를 설명하기 위해 사용될 수 있지만, 이들 구성요소는 이러한 용어에 의해 한정되지 않아야 한다. 이러한 용어는 구성요소 간의 구별을 위해서 사용될 뿐이다. 예컨대, 본 발명의 기술적 사상으로부터 벗어나지 않고, 제1 제스처는 제2 제스처라고 지칭될 수 있고, 유사하게, 제2 제스처는 제1 제스처라고 지칭될 수 있다.
본 발명의 명세서에 사용된 용어는 특정 실시예를 설명하기 위한 것일 뿐이며 본 발명을 제한하는 것으로 의도된 것이 아니다. 본 발명의 명세서 및 첨부된 특허청구범위에 사용된, "일", "하나의" 및 "상기"라는 단수형은 문맥상 명확하게 달리 지적하지 않은 이상 복수형도 포함하는 것으로 의도된 것이다. 또한, 본 명세서에 사용된 "및/또는"이라는 용어는 열거된 관련 아이템들 중 하나 이상의 아이템의 가능한 모든 조합을 지칭하고 포함하는 것임을 이해할 것이다. 나아가, "포함한다" 및/또는 "포함하는"이라는 용어는, 본 명세서에서 사용되는 경우, 언급된 특징, 정수, 단계, 동작, 구성요소 및/또는 컴포넌트의 존재를 나타내지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 구성요소, 컴포넌트 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않음을 이해할 것이다.
휴대용 다기능 장치, 그 장치를 위한 사용자 인터페이스, 그리고 그 장치를 사용하기 위한 관련 프로세스의 실시예가 기술된다. 일부 실시예에서, 이러한 장치는 PDA 기능 및/또는 음악 재생 기능 등의 다른 기능을 더 포함하는 이동 전화와 같은 휴대용 통신 장치이다.
사용자 인터페이스는 터치 스크린 외에 물리적 클릭 휠(physical click wheel)을 포함하거나 터치 스크린 상에 디스플레이된 가상 클릭 휠(virtual click wheel)을 포함할 수 있다. 클릭 휠은 장치의 사용자에 의한 휠과의 접촉점 또는 휠의 각 변위(angular displacement)에 기초하여 네비게이션 명령(navigation command)을 제공할 수 있는 사용자 인터페이스 장치이다. 클릭 휠은 또한, 예컨대 장치의 사용자가 휠의 적어도 일부분 또는 휠의 중심을 누르는 경우, 하나 이상의 아이템의 선택에 대응하는 사용자 명령을 제공하는데 사용될 수 있다. 또는, 터치 스크린 표면 상의 클릭 휠 이미지와 접촉을 해제하는 것이 선택에 대응하는 사용자 명령을 나타낼 수 있다. 단순화를 위해, 이하의 논의에서는, 터치 스크린을 포함하는 휴대용 다기능 장치가 예시적인 실시예로서 이용된다. 그러나, 물리적 클릭 휠, 물리적 키보드, 마우스 및/또는 조이스틱 등의 하나 이상의 다른 물리적 사용자 인터페이스 장치를 포함할 수 있는 퍼스널 컴퓨터 및 랩톱 컴퓨터 등의 다른 장치에 사용자 인터페이스 및 관련 프로세스의 일부가 적용될 수 있음을 이해하여야 한다.
장치는, 전화 애플리케이션, 비디오 회의 애플리케이션, 이메일 애플리케이션, 인스턴트 메시징 애플리케이션, 블로깅 애플리케이션, 사진 관리 애플리케이션, 디지털 카메라 애플리케이션, 디지털 비디오 카메라 애플리케이션, 웹 브라우징 애플리케이션, 디지털 음악 재생 애플리케이션 및/또는 디지털 비디오 재생 애플리케이션 중 하나 이상의 애플리케이션과 같은 다양한 애플리케이션을 지원한다.
장치 상에서 실행될 수 있는 다양한 애플리케이션은 터치 스크린 등의 적어 도 하나의 공통의 물리적 사용자 인터페이스를 사용할 수 있다. 터치 스크린의 하나 이상의 기능뿐만 아니라 장치 상에 디스플레이되는 해당 정보가 애플리케이션별로 및/또는 각 애플리케이션 내에서 조정 및/또는 변경될 수 있다. 이러한 방식으로, 장치의 (터치 스크린 등의) 공통의 물리적 아키텍처는 직관적이고 명료한 사용자 인터페이스로 다양한 애플리케이션을 지원할 수 있다.
사용자 인터페이스는 하나 이상의 소프트 키보드 실시예를 포함할 수 있다. 소프트 키보드 실시예는, 그 내용이 본 명세서에 참조문헌으로서 포함되는 2006년 7월 24일 출원된 미국 특허출원 제11/459,606호, "Keyboards For Portable Electronic Devices" 및 2006년 7월 24일 출원된 미국 특허출원 제11/459,615호, "Touch Screen Keyboards For Portable Electronic Devices"에 기술된 것과 같은, 키보드의 디스플레이된 아이콘 상에 표준 구성(QWERTY) 및/또는 비표준 구성의 심볼을 포함할 수 있다. 키보드 실시예는 타자기를 위한 것과 같은 기존 물리적 키보드의 키 개수보다 적은 수의 아이콘(또는 소프트 키)을 포함할 수 있다. 이를 통해 사용자가 키보드의 하나 이상의 아이콘을 선택하고 그에 따라 하나 이상의 해당 심볼을 선택하는 것이 용이해질 수 있다. 키보드 실시예는 적응적일 수 있다. 예컨대, 디스플레이된 아이콘은 하나 이상의 아이콘의 선택 및/또는 하나 이상의 해당 심볼의 선택과 같은 사용자 액션에 따라 수정될 수 있다. 휴대용 장치 상의 하나 이상의 애플리케이션은 공통의 키보드 실시예 및/또는 상이한 키보드 실시예를 이용할 수 있다. 따라서, 사용되는 키보드 실시예는 애플리케이션 중 적어도 일부에 대해 맞춤화될(tailored) 수 있다. 일부 실시예에서, 하나 이상의 키보드 실시예는 각 사용자에 대해 맞춤화될 수 있다. 예컨대, 하나 이상의 키보드 실시예는 각 사용자의 단어 사용 기록(사전 편찬법, 속어, 개별 사용량)에 기초하여 각 사용자에 대해 맞춤화될 수 있다. 키보드 실시예 중 일부는 소프트 키보드 실시예를 사용하는 경우 하나 이상의 아이콘을 선택하고 그에 따라 하나 이상의 심볼을 선택할 때 사용자가 실수할 확률을 줄이도록 조정될 수 있다.
이하, 장치의 실시예에 대하여 논한다. 도 1A 및 1B는 일부 실시예에 따른 터치-감지 디스플레이(112)를 구비한 휴대용 다기능 장치(100)를 도시하는 블록도이다. 터치-감지 디스플레이(112)는 흔히 "터치 스크린"이라 지칭되고, 터치-감지 디스플레이 시스템으로도 알려지거나 지칭될 수 있다. 장치(100)는 (하나 이상의 컴퓨터 판독가능 저장 매체를 포함할 수 있는) 메모리(102), 메모리 컨트롤러(122), 하나 이상의 처리 장치(CPU)(120), 주변장치 인터페이스(118), RF 회로(108), 오디오 회로(110), 스피커(111), 마이크로폰(113), 입출력(I/O) 서브시스템(106), 기타 입력 또는 출력 장치(116) 및 외부 포트(124)를 포함할 수 있다. 장치(100)는 하나 이상의 광센서(164)를 포함할 수 있다. 이러한 컴포넌트들은 하나 이상의 통신 버스 또는 신호선(103)을 통해 통신할 수 있다.
장치(100)가 휴대용 다기능 장치(100)의 일례일 뿐이고 장치(100)가 도시된 것보다 많거나 적은 컴포넌트를 구비하거나, 2개 이상의 컴포넌트를 결합시키거나, 상이한 컴포넌트 구성 또는 배치를 가질 수 있음이 인정되어야 한다. 도 1A 및 1B에 도시된 다양한 컴포넌트는, 하나 이상의 신호 처리 및/또는 애플리케이션 특화된 집적 회로를 포함하는, 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양 자의 조합으로 구현될 수 있다.
메모리(102)는 고속 랜덤 액세스 메모리(high-speed random access memory)를 포함할 수 있고, 또한 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치 또는 기타 비휘발성 고체 상태 메모리 장치(non-volatile solid-state memory device) 등의 비휘발성 메모리를 포함할 수 있다. CPU(120) 및 주변장치 인터페이스(118)와 같은 장치(100)의 다른 컴포넌트에 의한 메모리(102)에 대한 액세스는 메모리 컨트롤러(122)에 의해 제어될 수 있다.
주변장치 인터페이스(118)는 장치의 입력 및 출력 주변장치를 CPU(120) 및 메모리(102)에 결합시킨다. 하나 이상의 프로세서(120)는 메모리(102)에 저장된 다양한 소프트웨어 프로그램 및/또는 명령어 집합을 실행하여 장치(100)를 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.
일부 실시예에서, 주변장치 인터페이스(118), CPU(120) 및 메모리 컨트롤러(122)는 칩(104)과 같은 단일 칩 상에 구현될 수 있다. 일부 다른 실시예에서, 이들은 개별 칩 상에 구현될 수 있다.
RF(라디오 주파수) 회로(108)는 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신한다. RF 회로(108)는 전기 신호를 전자기 신호로 변환하거나 전자기 신호로부터 전기 신호를 변환하고, 전자기 신호를 통해 통신 네트워크 및 다른 통신 장치와 통신한다. RF 회로(108)는 이러한 기능을 수행하기 위한 주지의 회로를 포함할 수 있는데, 이러한 회로는 안테나 시스템, RF 송수신기, 하나 이상의 증폭기, 튜너, 하나 이상의 발진기(oscillator), 디지털 신호 처리기, CODEC 칩셋, 가입자 식별 모듈(SIM) 카드, 메모리 등을 포함하지만 이들로 한정되지 않는다. RF 회로(108)는, 셀룰러 전화 네트워크, 무선 LAN(local area network) 및/또는 MAN(metropolitan area network) 등의 무선 네트워크, 인트라넷, 및/또는 월드 와이드 웹(WWW)이라고도 불리는 인터넷과 같은 네트워크 및 기타 장치와 무선 통신에 의해 통신할 수 있다. 이러한 무선 통신에는, GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), HSDPA(high-speed downlink packet access), W-CDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스(Bluetooth), (IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n 등의) Wi-Fi(Wireless Fidelity), VoIP(voice over Internet Protocol), Wi-MAX, (IMAP(Internet message access protocol) 및/또는 POP(post office protocol) 등의) 이메일용 프로토콜, (XMPP(extensible messaging and presence protocol), SIMPLE(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extentions 및/또는 IMPS(Instant Messaging and Presence Service), 및/또는 SMS(Short Message Service) 등의) 인스턴트 메시징, 또는 본원의 제출일 당시에 개발되지 않은 통신 프로토콜을 포함하는 임의의 다른 적합한 통신 프로토콜을 포함하지만 이들로 한정되지 않는 복수의 통신 표준, 프로토콜 및 기술 중 임의의 것이 사용될 수 있다.
오디오 회로(110), 스피커(111) 및 마이크로폰(113)은 사용자와 장치(100) 사이의 오디오 인터페이스를 제공한다. 오디오 회로(110)는 주변장치 인터페이 스(118)로부터 오디오 데이터를 수신하고, 오디오 데이터를 전기 신호로 변환하며, 전기 신호를 스피커(111)로 송신한다. 스피커(111)는 전기 신호를 가청 음파(human-audible sound wave)로 변환한다. 오디오 회로(110)는 또한 마이크로폰(113)에 의해 음파로부터 변환된 전기 신호를 수신한다. 오디오 회로(110)는 전기 신호를 오디오 데이터로 변환하고, 처리를 위해 오디오 데이터를 주변장치 인터페이스(118)에 송신한다. 오디오 데이터는 주변장치 인터페이스(118)에 의해 메모리(102) 및/또는 RF 회로(108)로부터 검색되거나 그들로 송신될 수 있다. 일부 실시예에서, 오디오 회로(110)는 (도 2의 212와 같은) 헤드셋 잭(headset jack)을 더 포함한다. 헤드셋 잭은 (한쪽귀용 또는 양쪽귀용 헤드폰 등의) 출력과 (마이크로폰 등의) 입력을 모두 구비한 헤드셋 또는 출력-전용 헤드폰과 같은 이동식 오디오 입/출력 주변장치와 오디오 회로(110) 사이의 인터페이스를 제공한다.
I/O 서브시스템(106)은 터치 스크린(112) 및 기타 입력/제어 장치(116)와 같은 장치(100) 상의 입/출력 주변장치를 주변장치 인터페이스(118)에 결합시킨다. I/O 서브시스템(106)은 디스플레이 컨트롤러(156) 및 기타 입력 또는 제어 장치를 위한 하나 이상의 입력 컨트롤러(160)를 포함할 수 있다. 하나 이상의 입력 컨트롤러(160)는 기타 입력 또는 제어 장치(116)로부터 전기 신호를 수신하거나 그것으로 송신할 수 있다. 기타 입력/제어 장치(116)는 (푸시 버튼, 락커 버튼 등의) 물리적 버튼, 다이얼, 슬라이더 스위치, 조이스틱, 클릭 휠 등을 포함할 수 있다. 일부 다른 실시예에서, 입력 컨트롤러(160)는 키보드, 적외선 포트, USB 포트 및 마우스 등 포인터 장치 중 임의의 것과 결합될 수 있다(또는 이들 중 아무것과도 결합되지 않을 수 있다). (도 2의 208과 같은) 하나 이상의 버튼은 스피커(111) 및/또는 마이크로폰(113)의 볼륨 제어를 위한 업/다운 버튼을 포함할 수 있다. 하나 이상의 버튼은 (도 2의 206과 같은) 푸시 버튼을 포함할 수 있다. 본 명세서에 참조문헌으로서 포함되는 2005년 12월 23일 출원된 미국 특허출원 제11/322,549호, "Unlocking a Device by Performing Gestures on an Unlock Image"에 기술된 바와 같이, 푸시 버튼을 짧게 누르면, 터치 스크린(112)이 잠금해제되거나, 터치 스크린 상의 제스처를 사용하여 장치를 잠금해제하는 프로세스가 개시될 수 있다. (206 등의) 푸시 버튼을 길게 누르면, 장치(100)에 대한 전원을 턴온 또는 턴오프할 수 있다. 사용자는 버튼들 중 하나 이상의 버튼의 기능성을 맞춤화하는 것이 가능할 수 있다. 터치 스크린(112)은 가상 버튼이나 소프트 버튼 및 하나 이상의 소프트 키보드를 구현하는데 사용된다.
터치-감지 터치 스크린(112)은 장치와 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 제공한다. 디스플레이 컨트롤러(156)는 터치 스크린(112)으로부터 전기 신호를 수신하거나, 터치 스크린(112)으로 전기 신호를 송신하거나, 송수신을 모두 행할 수 있다. 터치 스크린(112)은 사용자에 대한 시각적 출력을 디스플레이한다. 시각적 출력은 그래픽, 텍스트, 아이콘, 비디오 및 이들의 임의의 조합(총괄하여 "그래픽"이라고 지칭됨)을 포함할 수 있다. 일부 실시예에서, 시각적 출력의 일부 또는 전부는 이하에서 보다 상세하게 설명되는 사용자-인터페이스 객체(user-interface object)에 대응할 수 있다.
터치 스크린(112)은 햅틱 접촉(haptic contact) 및/또는 택틸(tactile) 접촉 에 기초하여 사용자로부터의 입력을 받아들이는 터치-감지 표면, 센서 또는 센서 집합을 구비한다. 터치 스크린(112) 및 디스플레이 컨트롤러(156)는 (메모리(102)의 임의의 관련 모듈 및/또는 명령어 집합과 함께) 터치 스크린(112) 상의 접촉(및 접촉의 임의의 움직임(movement)이나 해제)을 감지하고 감지된 접촉을 터치 스크린 상에 디스플레이된 (하나 이상의 소프트 키, 아이콘, 웹 페이지 또는 이미지 등의) 사용자-인터페이스 객체와의 상호 작용으로 변환한다. 예시적인 실시예에서, 터치 스크린(112)과 사용자 사이의 접촉점은 사용자의 손가락에 대응한다.
터치 스크린(112)에는 LCD(액정 디스플레이) 기술 또는 LPD(발광 중합체 디스플레이) 기술이 사용될 수 있지만, 기타 디스플레이 기술이 다른 실시예에서 사용될 수 있다. 터치 스크린(112) 및 디스플레이 컨트롤러(156)는, 정전용량식 기술(capacitive technology), 저항식 기술(resistative), 적외선 기술(infrared technology) 및 표면 음파 기술(surface acoustic wave technology)을 포함하지만 이들로 한정되지 않는, 이미 공지되었거나 추후 개발될 복수의 터치 감지 기술 중 임의의 것을 이용하는 동시에, 근접 센서 배열(proximity sensor array) 또는 터치 스크린(112)과의 하나 이상의 접촉점을 판단하기 위한 기타 구성요소를 이용하여 접촉 및 그것의 임의의 움직임이나 해제를 감지할 수 있다.
터치 스크린(112)의 일부 실시예에서의 터치-감지 디스플레이는, 본 명세서에 각각 참조문헌으로 포함되는 미국 특허 제6,323,846호(Westerman 외), 제6,570,577호(Westerman 외) 및/또는 제6,677,932호(Westerman), 및/또는 미국 특허공개공보 제2002/0015024호에 설명된 멀티-터치 감지 태블릿과 유사할 수 있다. 그러나, 터치 스크린(112)은 휴대용 장치(100)로부터의 시각적 출력을 디스플레이하는 반면, 터치 감지 태블릿은 시각적 출력을 제공하지 않는다.
터치 스크린(112)의 일부 실시예에서의 터치-감지 디스플레이는 ⑴ 2006년 5월 2일 출원된 미국 특허출원 제11/381,313호, "Multipoint Touch Surface Controller", ⑵ 2004년 5월 6일 출원된 미국 특허출원 제10/840,862호, "Multipoint Touchscreen", ⑶ 2004년 7월 30일 출원된 미국 특허출원 10/903,964호, "Gestures For Touch Sensitive Input Devices", ⑷ 2005년 1월 31일 출원된 미국 특허출원 제11/048,264호, "Gestures For Touch Sensitive Input Devices", ⑸ 2005년 1월 18일 출원된 미국 특허출원 제11/038,590호, "Mode-Based Graphical User Interfaces For Touch Sensitive Input Devices", ⑹ 2005년 9월 16일 출원된 미국 특허출원 제11/228,758호, "Virtual Input Device Placement On A Touch Screen User Interface", ⑺ 2005년 9월 16일 출원된 미국 특허출원 제11/228,700호, "Operation Of A Computer With A Touch Screen Interface", ⑻ 2005년 9월 16일 출원된 미국 특허출원 제11/228,737호, "Activating Virtual Keys Of A Touch-Screen Virtual Keyboard", ⑼ 2006년 3월 3일 출원된 미국 특허출원 제11/367,749호, "Multi-Functional Hand-Held Device"에 설명된 것과 같을 수 있다. 위 출원 모두는 본 명세서에 참조문헌으로 포함된다.
터치 스크린(112)은 100dpi를 넘는 해상도를 가질 수 있다. 예시적인 실시예에서, 터치 스크린은 대략 160dpi의 해상도를 가질 수 있다. 사용자는 스타일러스, 손가락 등과 같은 임의의 적합한 물체 또는 부속물(appendage)을 사용하여 터 치 스크린(112)과 접촉할 수 있다. 일부 실시예에서, 사용자 인터페이스는 주로 손가락-기반 접촉 및 제스처를 이용하여 동작하도록 설계되는데, 이러한 손가락-기반 접촉 및 제스처는 스타일러스-기반의 입력에 비해 터치 스크린 상에서의 손가락의 접촉 면적이 보다 넓기 때문에 훨씬 덜 정확하다. 일부 실시예에서, 장치는 개략적인(rough) 손가락-기반 입력을 사용자가 원하는 액션을 수행하기 위한 정확한 포인터/커서 위치 또는 명령으로 번역한다.
일부 실시예에서, 장치는 터치 스크린 외에도 특정 기능을 활성화하거나 비활성화하기 위한 터치패드(도시 생략)를 포함할 수 있다. 일부 실시예에서, 터치패드는 터치 스크린과 달리 시각적 출력을 디스플레이하지 않는, 장치의 터치-감지 영역이다. 터치패드는 터치 스크린(112)으로부터 분리된 터치-감지 표면이거나, 터치 스크린에 의해 형성된 터치-감지 표면의 연장일 수 있다.
일부 실시예에서, 장치(100)는 입력 제어 장치(116)로서 물리적 클릭 휠 또는 가상 클릭 휠을 포함할 수 있다. 사용자는 클릭 휠을 돌리거나 (예컨대, 접촉점의 움직임 량이 클릭 휠의 중심점에 대한 접촉점의 각 변위에 의해 측정되는 경우에는) 클릭 휠과의 접촉점을 움직임으로써, 터치 스크린(112)에 디스플레이된 하나 이상의 그래픽 객체(이하 아이콘이라 함)를 네비게이션하고 그것들과 상호 작용할 수 있다. 클릭 휠은 또한 디스플레이된 아이콘들 중 하나 이상의 아이콘을 선택하는데 사용될 수 있다. 예컨대, 사용자는 관련 버튼 또는 클릭 휠의 적어도 일부분을 누를 수 있다. 클릭 휠을 통해 사용자에 의해 제공되는 사용자 명령 및 네비게이션 명령은 입력 컨트롤러(160)뿐만 아니라 메모리(102)의 명령어 집합 및/또 는 모듈들 중 하나 이상에 의해 처리될 수 있다. 가상 클릭 휠의 경우, 클릭 휠 및 클릭 휠 컨트롤러는 각각 터치 스크린(112) 및 디스플레이 컨트롤러(156)의 일부일 수 있다. 가상 클릭 휠의 경우, 클릭 휠은 장치와의 사용자의 상호 작용에 응답하여 터치 스크린 디스플레이상에 나타나고 사라지는 불투명하거나 반투명한 객체일 수 있다. 일부 실시예에서, 가상 클릭 휠은 휴대용 다기능 장치의 터치 스크린 상에 디스플레이되고 터치 스크린과의 사용자 접촉에 의해 동작된다.
장치(100)는 또한 다양한 컴포넌트에 전력을 공급하는 전력 시스템(162)을 포함한다. 전력 시스템(162)은 전력 관리 시스템, (배터리, 교류(AC) 등의) 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detecton circuit), 전력 변환기 또는 인버터, (발광 다이오드(LED) 등의) 전력 상태 표시자 및 휴대용 장치의 전력 생성, 관리 및 분배와 연관된 임의의 다른 컴포넌트를 포함할 수 있다.
장치(100)는 또한 하나 이상의 광센서(164)를 포함할 수 있다. 도 1A 및 1B는 I/O 서브시스템(106)의 광센서 컨트롤러(158)에 결합된 광센서를 도시한다. 광센서(164)는 전하 결합 소자(CCD) 또는 상보형 금속 산화막 반도체(CMOS) 포토트랜지스터를 포함할 수 있다. 광센서(164)는 하나 이상의 렌즈를 통해 투사되는, 환경으로부터의 광을 수신하고 그 광을 이미지를 나타내는 데이터로 변환한다. (카메라 모듈이라고도 지칭되는) 이미지 모듈(143)과 함께, 광센서(164)는 스틸 이미지 또는 비디오를 캡처할 수 있다. 일부 실시예에서, 터치 스크린 디스플레이가 스틸(still) 및/또는 비디오 이미지 획득 중 어느 하나를 위한 뷰파인더로서 사용 될 수 있도록, 장치의 전면 상의 터치 스크린 디스플레이에 대향하여, 광센서가 장치의 후면에 배치된다. 일부 실시예에서, 사용자가 터치 스크린 디스플레이 상에서 다른 비디오 회의 참가자를 보는 동안 사용자의 이미지가 비디오 회의를 위해 획득될 수 있도록, 광센서가 장치의 전면에 배치된다. 일부 실시예에서, 하나의 광센서(164)가 비디오 회의 및 스틸 및/또는 비디오 이미지 획득 양자 모두에 대해 터치 스크린 디스플레이와 함께 사용될 수 있도록, 사용자가 (예컨대, 장치 하우징의 렌즈 및 센서를 회전시킴으로써) 광센서(164)의 위치를 변경할 수 있다.
장치(100)는 또한 하나 이상의 근접 센서(proximity sensor; 166)를 포함할 수 있다. 도 1A 및 1B는 주변장치 인터페이스(118)에 결합된 근접 센서(166)를 도시한다. 또는, 근접 센서(166)는 I/O 서브시스템(106)의 입력 컨트롤러(160)에 결합될 수 있다. 근접 센서(166)는, 본 명세서에 참조문헌으로 포함되는, 2005년 9월 30일자로 출원된 미국 특허출원 제11/241,839호, "Proximity Detector In Handheld Device"; 200년 9월 30일자로 출원된 제11/240,788호, "Proximity Detector In Handheld Device"; 2007년 1월 7일자로 출원되어 양도된 제_호, "Using Ambient Light Sensor To Augment Proximity Sensor Output", 대리인 정리 번호 04860.P4851US; 2006년 10월 24일자로 출원되어 양도된 제_호, "Automated Response To And Sensing Of User Activity In Portable Devices", 대리인 정리 번호 04860.P4293; 및 2006년 12월 12일자로 출원되어 양도된 제_호, "Methods And Systems For Automatic Configuration Of Peripherals", 대리인 정리 번호 04860.P4634에 설명된 바와 같이 동작할 수 있다. 일부 실시예에서, (예컨대, 사 용자가 전화 통화 중인 경우와 같이) 다기능 장치가 사용자의 귀에 인접하여 놓이는 경우, 근접 센서는 터치 스크린(112)을 턴오프하고 디스에이블링한다. 일부 실시예에서, 근접 센서는 장치가 사용자의 주머니, 지갑 또는 다른 어두운 영역에 있는 경우 스크린을 오프 상태로 유지하여 장치가 잠금 상태일 때의 불필요한 배터리 소모를 방지한다.
장치(100)는 또한 하나 이상의 가속도계(accelerometers; 168)를 포함할 수 있다. 도 1A 및 1B는 주변장치 인터페이스(118)에 결합된 가속도계(168)를 도시한다. 또는, 가속도계(168)는 I/O 서브시스템(106)의 입력 컨트롤러(160)에 결합될 수 있다. 가속도계(168)는, 각각이 모두 본 명세서에 참조문헌으로 포함되는 미국 특허공개공보 제20050190059호, "Acceleration-based Theft Detection System for Portable Electronic Devices" 및 미국 특허공개공보 제20060017692호, "Methods and Apparatuses For Operating A Portable Device Based On An Accelerometer"에 설명된 바와 같이 동작할 수 있다. 일부 실시예에서, 정보가 하나 이상의 가속도계로부터 수신된 데이터에 대한 분석에 기초하여 세로보기 또는 가로보기로 터치 스크린 디스플레이 상에 디스플레이된다.
일부 실시예에서, 메모리(102)에 저장된 소프트웨어 컴포넌트에는, 운영 체제(126), 통신 모듈(또는 명령어 집합)(128), 접촉/운동 모듈(또는 명령어 집합)(130), 그래픽 모듈(또는 명령어 집합)(132), 텍스트 입력 모듈(또는 명령어 집합)(134), GPS 모듈(또는 명령어 집합)(135) 및 애플리케이션(또는 명령어 집합)(136)이 포함될 수 있다.
(다윈, RTXC, 리눅스, 유닉스, OS X, 윈도우즈, 또는 VxWorks 등의 임베디드 운영 체제와 같은) 운영 체제(126)는 (메모리 관리, 저장 장치 제어, 전력 관리 등의) 일반적인 시스템 태스크를 제어하고 관리하기 위한 다양한 소프트웨어 컴포넌트 및/또는 드라이버를 포함하고 다양한 하드웨어 및 소프트웨어 컴포넌트 사이의 통신을 가능하게 한다.
통신 모듈(128)은 하나 이상의 외부 포트(124)를 통한 다른 장치와의 통신을 가능하게 하며, RF 회로(108) 및/또는 외부 포트(124)에 의해 수신된 데이터를 처리하기 위한 다양한 소프트웨어 컴포넌트를 또한 포함한다. (USB, 파이어와이어 등의) 외부 포트(124)는 다른 장치에 직접 결합하거나 (인터넷, 무선 LAN 등의) 네트워크를 통해 간접적으로 결합하도록 적응된다. 일부 실시예에서, 외부 포트는 (애플 컴퓨터사의 상표인) iPod 상에서 사용되는 30핀 커넥터와 동일, 유사 및/또는 호환가능한 (예컨대 30핀의) 다중 핀 커넥터이다.
접촉/운동 모듈(130)은 (디스플레이 컨트롤러(156)와 함께) 터치 스크린(112) 및 (터치패드 또는 물리적 클릭 휠 등의) 기타 터치 감지 장치와의 접촉을 감지할 수 있다. 접촉/운동 모듈(130)은, 접촉 발생 여부를 판단하는 동작, 접촉의 움직임이 있는지 여부를 판단하고 그 움직임을 터치 스크린(112)을 따라 추적하는 동작, 그리고 접촉 해제 여부(즉, 접촉 중단 여부)를 판단하는 동작과 같은, 접촉 감지와 관련된 다양한 동작을 수행하기 위한 다양한 소프트웨어 컴포넌트를 포함한다. 접촉점의 움직임을 판단하는 동작은 접촉점의 속력(크기), 속도(크기 및 방향) 및/또는 가속도(크기 및/또는 방향의 변화)를 판단하는 동작을 포함할 수 있 다. 이러한 동작은 (하나의 손가락 접촉 등의) 단일 접촉에 적용되거나 ("멀티터치"/다수의 손가락 접촉 등의) 다중 동시 접촉에 적용될 수 있다. 일부 실시예에서, 접촉/운동 모듈(130) 및 디스플레이 컨트롤러(156)는 또한 터치패드 상의 접촉을 감지한다. 일부 실시예에서, 접촉/운동 모듈(130) 및 컨트롤러(160)는 클릭 휠 상의 접촉을 감지한다.
그래픽 모듈(132)은 디스플레이된 그래픽의 밝기를 변경하기 위한 컴포넌트를 포함하는, 터치 스크린(112) 상의 그래픽을 렌더링하고 디스플레이하기 위한 다양한 알려진 소프트웨어 컴포넌트를 포함한다. 본 명세서에 사용되는 "그래픽"이라는 용어는, 텍스트, 웹 페이지, (소프트 키를 포함하는 사용자-인터페이스 객체 등의) 아이콘, 디지털 이미지, 비디오 및 애니메이션 등을 포함하지만 이들로 한정되지 않는, 사용자에게 디스플레이될 수 있는 임의의 객체를 포함한다.
그래픽 모듈(132)의 컴포넌트일 수 있는 텍스트 입력 모듈(134)은 (연락처(137), 이메일(140), IM(141), 블로깅(142), 브라우저(147) 및 텍스트 입력을 필요로 하는 임의의 다른 애플리케이션 등의) 다양한 애플리케이션에 텍스트를 입력하기 위한 소프트 키보드를 제공한다.
GPS 모듈(135)은 장치의 위치를 판단하고 이 정보를 다양한 애플리케이션에서 사용할 수 있도록 제공한다(예컨대, 위치-기반 다이얼링에 사용하도록 전화(138)에 제공하고, 픽처/비디오 메타데이터로서 카메라(143) 및/또는 블로거(142)에 제공하며, 날씨 위젯, 지역 전화번호부 위젯 및 지도/네비게이션 위젯 등의 위치-기반 서비스를 제공하는 애플리케이션 등에 제공한다).
애플리케이션(136)은 이하의 모듈(또는 명령어 집합), 또는 이들의 서브셋(subset)이나 수퍼셋(superset)을 포함할 수 있다.
● 연락처 모듈(137) (주로 주소록 또는 연락처 목록이라고 지칭됨);
● 전화 모듈(138);
● 비디오 회의 모듈(139);
● 이메일 클라이언트 모듈(140);
● 인스턴트 메시징(IM) 모듈(141);
● 블로깅 모듈(142);
● 스틸 및/또는 비디오 이미지를 위한 카메라 모듈(143);
● 이미지 관리 모듈(144);
● 비디오 플레이어 모듈(145);
● 음악 플레이어 모듈(146);
● 브라우저 모듈(147);
● 달력 모듈(148);
● 날씨 위젯(149-1), 주식 위젯(149-2), 계산기 위젯(149-3), 알람 시계 위젯(149-4), 사전 위젯(149-5) 및 사용자가 획득한 기타 위젯, 그리고 사용자-생성 위젯(149-6)을 포함할 수 있는 위젯 모듈(149);
● 사용자-생성 위젯(149-6)을 작성하기 위한 위젯 생성기 모듈(150);
● 검색 모듈(151);
● 비디오 플레이어 모듈(145) 및 음악 플레이어 모듈(146)을 통합한 비디오 및 음악 플레이어 모듈(152);
● 노트 모듈(153); 및/또는
● 지도 모듈(154).
메모리(120)에 저장될 수 있는 다른 애플리케이션(136)의 예로서, 기타 워드 프로세싱 애플리케이션, JAVA-작동식 애플리케이션, 암호화, 디지털 권한 관리, 음성 인식(voice recognition) 및 음성 복제(voice replication)가 포함된다.
연락처 모듈(137)은 터치 스크린(112), 디스플레이 컨트롤러(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께 주소록 또는 연락처 목록의 관리에 사용될 수 있는데, 이러한 관리에는 주소록에 이름을 추가하고, 주소록으로부터 이름을 삭제하며, 전화번호, 이메일 주소, 물리 주소 또는 기타 정보를 이름과 연관시키고, 이름과 이미지를 연관시키며, 이름을 분류하거나 정렬하고, 전화(138), 비디오 회의(139), 이메일(140) 또는 IM(141)에 의한 통신을 개시 및/또는 가능하게 하기 위한 전화번호 또는 이메일주소를 제공하는 것 등이 포함된다.
전화 모듈(138)은 RF 회로(108), 오디오 회로(110), 스피커(111), 마이크로폰(113), 터치 스크린(112), 디스플레이 컨트롤러(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 전화번호에 대응하는 문자열을 입력하고, 주소록(137)의 하나 이상의 전화번호를 액세스하며, 입력된 전화번호를 수정하고, 각각의 전화번호를 다이얼링하며, 대화를 수행하고, 대화 완료시 접속해제하거나 전화를 끊는데 사용될 수 있다. 이미 언급된 바와 같이, 무선 통신에는 복수의 통신 표준, 프로토콜 및 기술 중 임의의 것이 사용될 수 있다.
비디오 회의 모듈(139)은 RF 회로(108), 오디오 회로(110), 스피커(111), 마이크로폰(113), 터치 스크린(112), 디스플레이 컨트롤러(156), 광센서(164), 광센서 컨트롤러(158), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), 연락처 목록(137) 및 전화 모듈(138)과 함께 사용자와 한 명 이상의 다른 참여자 사이의 비디오 회의를 개시하고 수행하며 종료하는데 사용될 수 있다.
이메일 클라이언트 모듈(140)은 RF 회로(108), 터치 스크린(112), 디스플레이 컨트롤러(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께 이메일을 생성하고 송수신하며 관리하는데 사용될 수 있다. 이메일 모듈(140)은 이미지 관리 모듈(144)과 함께 카메라 모듈(143)로 획득한 스틸 또는 비디오 이미지를 포함하는 이메일을 생성하고 송신하는 것을 매우 용이하게 한다.
인스턴트 메시징 모듈(141)은 RF 회로(108), 터치 스크린(112), 디스플레이 컨트롤러(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 인스턴트 메시지에 대응하는 문자열을 입력하고, 이미 입력된 문자를 수정하며, (예컨대, 전화-기반 인스턴트 메시지를 위한 SMS 또는 MMS(Multimedia Message Service) 프로토콜을 이용하거나, 인터넷-기반 인스턴트 메시지를 위한 XMPP, SIMPLE 또는 IMPS를 이용하여) 각각의 인스턴트 메시지를 송신하고, 인스턴트 메시지를 수신하며, 수신된 인스턴트 메시지를 보는데 사용될 수 있다. 일부 실시예에서, 송신 및/또는 수신된 인스턴트 메시지는 그래픽, 사진, 오디오 파일, 비디오 파일, 및/또는 MMS 및/또는 EMS(Enhanced Messaging Service)에서 지원되는 기타 첨부물을 포함할 수 있다. 본 명세서에 사용되는 "인스턴트 메시징(instant messaging)"은 (SMS 또는MMS를 사용해 송신된 메시지와 같은) 전화-기반 메시지 및 (XMPP, SIMPLE 또는 IMPS를 사용해 송신된 메시지와 같은) 인터넷-기반 메시지 양자 모두를 지칭한다.
블로깅 모듈(142)은 RF 회로(108), 터치 스크린(112), 디스플레이 컨트롤러(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), 이미지 관리 모듈(144) 및 브라우징 모듈(147)과 함께, 텍스트, 스틸 이미지, 비디오, 및/또는 기타 그래픽을 블로그(예컨대, 사용자의 블로그)에 송신하는데 사용된다.
카메라 모듈(143)은 터치 스크린(112), 디스플레이 컨트롤러(156), 광센서(164), 광센서 컨트롤러(158), 접촉 모듈(130), 그래픽 모듈(132) 및 이미지 관리 모듈(144)과 함께, 스틸 이미지 또는 (비디오 스트림을 포함하는) 비디오를 캡처하고 이들을 메모리(102)에 저장하거나, 스틸 이미지 또는 비디오의 특성을 수정하거나, 스틸 이미지 또는 비디오를 메모리(102)로부터 삭제하는데 사용된다.
이미지 관리 모듈(144)은 터치 스크린(112), 디스플레이 컨트롤러(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134) 및 카메라 모듈(143)과 함께, 스틸 및/또는 비디오 이미지를 배열하고 수정 또는 조작하며 레이블링하고 삭제하며 (디지털 슬라이드 쇼 또는 앨범 형태 등으로) 디스플레이하고 저장하는데 사용된다.
비디오 플레이어 모듈(145)은 터치 스크린(112), 디스플레이 컨트롤러(156), 접촉 모듈(130), 그래픽 모듈(132), 오디오 회로(110) 및 스피커(111)와 함께, (예컨대, 터치 스크린, 또는 외부 포트(124)를 통해 접속된 외부 디스플레이 상에) 비 디오를 디스플레이하고 표시 또는 재생하는데 사용된다.
음악 플레이어 모듈(146)은 터치 스크린(112), 디스플레이 시스템 컨트롤러(156), 접촉 모듈(130), 그래픽 모듈(132), 오디오 회로(110), 스피커(111), RF 회로(108) 및 브라우저 모듈(147)과 함께, 사용자가 MP3 또는 AAC 파일 등의 하나 이상의 파일 포맷으로 저장된 녹음된 음악 및 기타 사운드 파일을 다운로드하고 재생할 수 있도록 한다. 일부 실시예에서, 장치(100)는 (애플 컴퓨터사의 상표인) iPod과 같은 MP3 플레이어의 기능성을 포함할 수 있다.
브라우저 모듈(147)은 RF 회로(108), 터치 스크린(112), 디스플레이 시스템 컨트롤러(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 웹 페이지나 그 일부 및 웹 페이지에 링크된 첨부물 및 기타 파일에 대한 검색, 링크, 수신 및 디스플레이를 포함하는 인터넷 브라우징에 사용될 수 있다.
달력 모듈(148)은 RF 회로(108), 터치 스크린(112), 디스플레이 시스템 컨트롤러(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께, 달력 및 달력과 연관된 데이터(달력 엔트리, 할일 목록 등)를 생성하고 디스플레이하며 저장하는데 사용될 수 있다.
위젯 모듈(149)은 RF 회로(108), 터치 스크린(112), 디스플레이 시스템 컨트롤러(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134) 및 브라우저 모듈(147)과 함께, (날씨 위젯(149-1), 주식 위젯(149-2), 계산기 위젯(149-3), 알람 시계 위젯(149-4) 및 사전 위젯(149-5)과 같이) 사용자에 의해 다운로드되고 사용될 수 있거나, (사용자-생성 위젯(149-6)과 같이) 사용자에 의해 생성될 수 있 는 미니 애플리케이션이다. 일부 실시예에서, 위젯은 HTML 파일, CSS 파일 및 자바 스크립트 파일을 포함한다. 일부 실시예에서, 위젯(예컨대, 야후! 위젯)은 XML 파일 및 자바 스크립트 파일을 포함한다.
위젯 생성기 모듈(150)은 RF 회로(108), 터치 스크린(112), 디스플레이 시스템 컨트롤러(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134) 및 브라우저 모듈(147)과 함께 (예컨대, 웹 페이지의 사용자-지정 부분을 위젯으로 바꾸는 등으로) 위젯을 생성하는데 사용자에 의해 이용될 수 있다.
검색 모듈(151)은 터치 스크린(112), 디스플레이 시스템 컨트롤러(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께 (하나 이상의 사용자-지정 검색 용어 등의) 하나 이상의 검색 조건과 매칭되는 메모리(102)의 텍스트, 음악, 사운드, 이미지, 비디오 및/또는 기타 파일을 검색하는데 사용될 수 있다.
노트 모듈(153)은 터치 스크린(112), 디스플레이 컨트롤러(156), 접촉 모듈(130), 그래픽 모듈(132) 및 텍스트 입력 모듈(134)과 함께 노트, 할일 목록 등을 생성하고 관리하는데 사용될 수 있다.
지도 모듈(154)은 RF 회로(108), 터치 스크린(112), 디스플레이 시스템 컨트롤러(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), GPS 모듈(135) 및 브라우저 모듈(147)과 함께 (예컨대, 운전 방향, 특정 위치의 또는 인접한 가게 및 기타 관련 지점에 대한 데이터, 및 기타 위치-기반 데이터 등의) 지도 관련 데이터 및 지도를 수신하고 디스플레이하며 수정하고 저장하는데 사용될 수 있다.
이상 언급된 모듈 및 애플리케이션 각각은 지금까지 설명된 하나 이상의 기능을 수행하기 위한 명령어 집합에 대응한다. 이러한 모듈(즉, 명령어 집합)은 개별 소프트웨어 프로그램, 프로시저 또는 모듈로서 구현될 필요는 없으며, 다양한 실시예에서 이러한 모듈들의 다양한 서브셋이 통합되거나 재배치될 수 있다. 예컨대, 비디오 플레이어 모듈(145)은 음악 플레이어 모듈(146)과 (예컨대, 도 1B의 비디오 및 음악 플레이어 모듈(152)와 같은) 단일 모듈로 결합될 수 있다. 일부 실시예에서, 메모리(102)는 이상 언급된 모듈 및 데이터 구조의 서브셋을 저장할 수 있다. 나아가, 메모리(102)는 지금까지 언급되지 않은 추가적인 모듈 및 데이터 구조를 저장할 수 있다.
일부 실시예에서, 장치(100)는 터치 스크린(112) 및/또는 터치패드를 통해서만 장치 상에서의 소정의 기능 집합의 동작이 수행되는 장치이다. 장치(100)의 동작을 위한 기본적인 입력/제어 장치로서 터치 스크린 및/또는 터치패드를 사용함으로써, 장치(100) 상의 (푸시 버튼, 다이얼 등의) 물리적 입력/제어 장치의 개수가 감소될 수 있다.
터치 스크린 및/또는 터치패드를 통해서만 수행될 수 있는 소정의 기능 집합에는 사용자 인터페이스 간의 네비게이션이 포함된다. 일부 실시예에서, 터치패드는, 사용자가 터치하면, 장치(100) 상에 디스플레이될 수 있는 임의의 사용자 인터페이스로부터 메인 메뉴, 홈 메뉴 또는 루트 메뉴로 장치를 네비게이션한다. 이러한 실시예에서, 터치패드는 "메뉴 버튼"이라고 지칭될 수 있다. 일부 다른 실시예 에서, 메뉴 버튼은 터치패드 대신에 물리적 푸시 버튼 또는 기타 물리적 입력/제어 장치일 수 있다.
도 2는 일부 실시예에 따른 터치 스크린(112)을 구비한 휴대용 다기능 장치(100)를 도시한다. 터치 스크린은 사용자 인터페이스(UI)(200) 내에 하나 이상의 그래픽을 디스플레이할 수 있다. 본 실시예 및 이하 기술되는 다른 실시예에서, 사용자는 예컨대 하나 이상의 손가락(202)(도면에는 축척에 맞게 도시되지 않음)을 이용해 그래픽을 터치하거나 접촉함으로써 그래픽들 중 하나 이상을 선택할 수 있다. 일부 실시예에서, 사용자가 하나 이상의 그래픽과의 접촉을 해제하면 그 하나 이상의 그래픽에 대한 선택이 이루어진다. 일부 실시예에서, 접촉은 장치(100)와 접촉된 손가락의 (좌에서 우로, 우에서 좌로, 위로 및/또는 아래로의) 롤링(rolling), (좌에서 우로, 우에서 좌로, 위로 및/또는 아래로의) 하나 이상의 스와이프(swipe) 및/또는 하나 이상의 탭(tap)과 같은 제스처를 포함할 수 있다. 일부 실시예에서, 그래픽과의 우연한 접촉에 의해서는 그 그래픽이 선택되지 않을 수 있다. 예컨대, 선택에 대응하는 제스처가 탭일 경우 애플리케이션 아이콘 상을 지나가는 스와이프 제스처에 의해서는 해당 애플리케이션이 선택되지 않을 수 있다.
장치(100)는 또한 "홈" 또는 메뉴 버튼(204) 등의 하나 이상의 물리적 버튼을 포함할 수 있다. 이미 설명된 바와 같이, 메뉴 버튼(204)은 장치(100) 상에서 실행될 수 있는 애플리케이션 집합 중 임의의 애플리케이션(136)으로 네비게이션하는데 사용될 수 있다. 또는, 일부 실시예에서, 메뉴 버튼은 터치 스크린(112)의 GUI의 소프트 키로서 구현된다.
일 실시예에서, 장치(100)는 터치 스크린(112), 메뉴 버튼(204), 장치의 전원을 온/오프하고 장치를 잠그기 위한 푸시 버튼(206), 볼륨 조정 버튼(208), 가입자 식별 모듈(SIM) 카드 슬롯(210), 헤드셋 잭(212) 및 도킹/충전용 외부 포트(124)를 포함한다. 푸시 버튼(206)은, 버튼을 눌러 소정의 시간 동안 버튼을 눌러진 상태로 유지시키는 것을 통한 장치 상의 전원의 턴온/턴오프; 버튼을 눌러 소정의 시간이 경과하기 전에 버튼을 릴리즈하는 것을 통한 장치 잠금; 및/또는 잠금해제 프로세스의 개시나 장치 잠금해제에 사용될 수 있다. 다른 실시예에서, 장치(100)는 또한 마이크로폰(113)을 통하여 일부 기능의 활성화 또는 비활성화를 위한 구두 입력(verbal input)을 받아들일 수 있다.
이하, 휴대용 다기능 장치(100) 상에 구현될 수 있는 사용자 인터페이스(UI) 및 관련 프로세스의 실시예에 대하여 논한다.
도 3은 일부 실시예에 따른 휴대용 전자 장치를 잠금 해제하기 위한 예시적인 사용자 인터페이스를 도시한다. 일부 실시예에서, 사용자 인터페이스(300A)는 이하의 구성요소, 또는 이들의 서브셋이나 수퍼셋을 포함할 수 있다.
● 장치를 잠금해제하는 손가락 제스처에 의해 움직여지는 잠금해제 이미지(302);
● 잠금해제 제스처에 대한 시각적 단서(visual cue)를 제공하는 화살표(304);
● 잠금해제 제스처에 대한 추가적인 시각적 단서를 제공하는 채널(306);
● 시간(308)
● 요일(310)
● 날짜(312); 및
● 월페이퍼 이미지(314).
일부 실시예에서, 장치가 사용자-인터페이스 잠금 상태에 있는 동안 장치는 (예컨대, 잠금해제 이미지(302) 상에서 또는 인접하여 접촉하는 사용자의 손가락과 같은) 터치-감지 디스플레이와의 접촉을 감지한다. 장치는 접촉에 따라 잠금해제 이미지(302)를 이동시킨다. 감지된 접촉이 채널(306)을 따라 잠금해제 이미지를 이동시키는 제스처와 같은 소정의 제스처인 경우, 장치는 사용자-인터페이스 잠금해제 상태로 변환된다. 반면, 감지된 접촉이 소정의 제스처에 대응하지 않는 경우, 장치는 사용자-인터페이스 잠금 상태를 유지한다. 이미 언급된 바와 같이, 터치 스크린 상의 제스처를 사용하여 장치를 잠금해제하는 프로세스는 본 명세서에 참조문헌으로서 포함되는 2005년 12월 23일 출원된 미국 특허출원 제11/322,549호, "Unlocking A Device By Performing Gestures On An Unlock Image" 및 2005년 12월 23일 출원된 제11/322,550호, "Indication Of Progress Towards Satisfaction Of A User Input Condition"에 설명되어 있다.
도 4A 및 4B는 일부 실시예에 따른 휴대용 다기능 장치 상의 애플리케이션 메뉴를 위한 예시적인 사용자 인터페이스를 도시한다. 일부 실시예에서, 사용자 인터페이스(400A)는 이하의 구성요소, 또는 이들의 서브셋이나 수퍼셋을 포함할 수 있다.
● 셀룰러 신호 및 Wi-Fi 신호 등의 무선 통신을 위한 신호 강도 표시자(402);
● 시간(404);
● 배터리 상태 표시자(406);
● 다음 중 하나 이상과 같은 자주 사용되는 애플리케이션을 위한 아이콘을 포함한 트레이(408); 및
○ 부재중 전화 또는 음성메일 메시지 개수에 대한 표시자(414)를 포함할 수 있는 전화(138),
○ 읽지 않은 이메일 개수에 대한 표시자(410)를 포함할 수 있는 이메일 클라이언트(140),
○ 브라우저(147), 및
○ 음악 플레이어(146)
● 다음 중 하나 이상과 같은 다른 애플리케이션을 위한 아이콘
○ IM(141),
○ 이미지 관리(144),
○ 카메라(143),
○ 비디오 플레이어(145),
○ 날씨(149-1),
○ 주식(149-2),
○ 블로그(142),
○ 달력(148),
○ 계산기(149-3),
○ 알람 시계(149-4),
○ 사전(149-5), 및
○ 사용자-생성 위젯(149-6).
일부 실시예에서, 사용자 인터페이스(400B)는 이하의 구성요소, 또는 이들의 서브셋이나 수퍼셋을 포함할 수 있다.
● 상기 언급된 것과 같은 구성요소들(402, 404, 406, 141, 148, 144, 143, 149-3, 149-2, 149-1, 149-4, 410, 414, 138, 140 및 147);
● 지도(154);
● 노트(153);
● 추후 상세히 설명되는 바와 같이, 장치(100) 및 그것의 다양한 애플리케이션(136)을 위한 설정에 대한 액세스를 제공하는 설정(412); 및
● (애플 컴퓨터사의 상표인) iPod 모듈(152)라고도 지칭되는 비디오 및 음악 플레이어 모듈(152).
일부 실시예에서, UI(400A 또는 400B)는 일 스크린 상에 이용가능한 모든 애플리케이션(136)을 디스플레이하여, 애플리케이션 목록을 (예컨대, 스크롤 바를 이용해) 스크롤할 필요가 없도록 한다. 일부 실시예에서, 애플리케이션의 개수가 증가할수록, 모든 애플리케이션이 스크롤 없이 단일 스크린 상에 디스플레이될 수 있도록 애플리케이션에 대응하는 아이콘의 크기를 감소시킬 수 있다. 일부 실시예에 서, 메뉴 버튼 및 하나의 스크린 상에 모든 애플리케이션을 통해, 사용자는 메뉴 버튼(204)을 활성화시킨 후 (예컨대, 애플리케이션에 대응하는 아이콘 상의 탭 또는 기타 손가락 제스처에 의해) 원하는 애플리케이션을 활성화시키는 등의 최대 2번의 입력으로 임의의 원하는 애플리케이션을 액세스할 수 있게 된다.
일부 실시예에서, UI(400A 또는 400B)는 위젯-기반 애플리케이션 및 비-위젯-기반 애플리케이션 양자에 대한 통합 액세스를 제공한다. 일부 실시예에서, 사용자에 의해 생성된 것인지 여부에 관계없이, 모든 위젯이 UI(400A 또는 400B)에 디스플레이된다. 다른 실시예에서, 사용자-생성 위젯(149-6)을 위한 아이콘을 활성화시키면, 사용자-생성 위젯들 또는 사용자-생성 위젯들에 대응하는 아이콘들을 포함하는 다른 UI로 이어질 수 있다.
일부 실시예에서, 사용자는, 예컨대 본 명세서에 참조문헌으로 포함되는 2006년 7월 24일 출원된 미국 특허출원 제11/459,602호, "Portable Electronic Device With Interface Reconfiguration Mode"에 설명된 프로세스를 이용하여, UI(400A 또는 400B)의 아이콘을 재배치할 수 있다. 예컨대, 사용자는 손가락 제스처를 이용하여 애플리케이션 아이콘을 트레이(408)의 안팎으로 움직일 수 있다.
일부 실시예에서, UI(400A 또는 400B)는, 본 명세서에 참조문헌으로 포함되는 2005년 12월 23일 출원된 미국 특허출원 제11/322,552호, "Account Information Display For Portable Communication Device"에 설명된 것과 같은, (예컨대, 셀룰러 폰 계정 등의) 장치의 사용량과 연관된 계정에 대한 갱신된 계정 사용량 척도(account usage metric)를 디스플레이하는 게이지(도시 생략)를 포함한다.
배경 섹션에서 전술한 바와 같이, 터치 스크린을 구비한 휴대용 장치의 하나의 과제는 터치 스크린 디스플레이 상의 이차원 손가락 접촉 영역 정보를 어떻게 고유 일차원 커서 위치로 정확히 변환하는가이다.
터치 스크린 디스플레이와의 손가락 접촉(예를 들어, 손가락 탭)은 손가락이 디스플레이에 접근하는 것, 손가락이 디스플레이와 접촉하고 있는 것 및 손가락이 디스플레이를 벗어나는 것을 포함하는 다수의 액션을 포함하는 프로세스이다. 이러한 프로세스 동안, 손가락의 접촉 영역은 0에서부터 최대 접촉 영역까지 증가한 후, 0으로 감소한다. 일부 실시예에서, 디스플레이와의 정지 손가락 접촉에 있어서, 손가락 접촉 영역은 정지 접촉에 해당하는 시간 길이 동안의 손가락과 디스플레이와의 접촉에 있어서 최대 접촉 영역으로서 정의된다.
도 5 및 6A 내지 6L은 일부 실시예에 따라 터치 스크린과의 손가락 접촉으로부터 커서 위치를 결정하기 위한 예시적인 방법들을 나타낸다.
도 6A에 도시된 바와 같이, 터치 스크린 디스플레이는 다수의 사용자 인터페이스 객체(5602-5608)를 디스플레이한다. 예시적인 사용자 인터페이스 객체는 열기 아이콘, 닫기 아이콘, 삭제 아이콘, 끝내기 아이콘 또는 소프트 키 아이콘을 포함한다. 이들 아이콘 중 일부는 한 아이콘이 다른 아이콘에 인접하도록 터치 스크린 디스플레이 상의 작은 영역 내에 배치될 수 있다.
터치 스크린 디스플레이와의 손가락 접촉이 있을 경우, 전통적인 마우스 클릭과 달리, 손가락은 터치 스크린 디스플레이상에 일정한 접촉 영역(예: 도 6A의 5610)을 갖는다. 일부 실시예에서는, 임의의 사용자 인터페이스 객체가 활성화되 어 사전 정의된 동작을 수행할 수 있기 전에, 터치 스크린 디스플레이와의 손가락 접촉 영역(5610)에 해당하는 커서 위치가 결정될 필요가 있다.
손가락 접촉 영역을 결정한 후에(501), 휴대용 장치는 접촉 영역(5610)과 연관된 제1 위치를 결정한다(503). 후술하는 바와 같이, 제1 위치는 손가락 접촉에 상응하는 커서 위치일 수도 있고 아닐 수도 있다. 그러나, 제1 위치는 커서 위치를 결정하는 데 사용될 것이다. 일부 실시예에서, 도 6B에 도시된 바와 같이, 제1 위치 P1는 접촉 영역(5610)의 중심이다.
일부 다른 실시예에서(도 6H), 손가락이 터치 스크린 디스플레이와 물리적 접촉할 때, 손가락은 접촉 영역 내의 위치마다 다른 압력으로 디스플레이를 가압해야 한다. 때때로, 사용자가 최대 압력을 가하는 위치 P2는 접촉 영역의 중심 P1이 아닐 수도 있지만, 최대 압력 위치 P2는 사용자가 선택하기를 원하는 객체에 더 가까울 수 있다.
도 6H에 도시된 바와 같이, 접촉 영역(5610)은 타원형인 것으로 간주되며, 장축, 장축에 직각인 단축을 갖는다. 접촉 영역(5610)의 중심 P1과 최대 압력 위치 P2 사이에 일정한 거리 Δd'가 존재하는 것으로 가정된다. 이 경우, 제1 위치 또는 최대 압력 위치 P2는 P1 및 Δd'로부터 결정될 수 있다.
손가락 접촉과 연관된 커서 위치 P는, 제1 위치의 위치, 즉, 도 6B의 P1 또는 도 6H의 P2, 제1 위치와 제1 위치 근처의 하나 이상의 사용자 인터페이스 객체 간의 하나 이상의 거리, 및 일부 실시예에서, 사용자 인터페이스 객체와 연관된 하나 이상의 활성화 민감도 수치(activation susceptibility number)(예: 도 6C 또는 도 6I의 W1 내지 W4)를 포함하는 하나 이상의 파라미터에 기초하여 결정된다(505).
일부 실시예에서, 도 6C 내지 6I에 도시되어 있듯이, 제1 위치(도 6C의 P1 또는 도 6I의 P2)와 각각의 사용자 인터페이스 객체(5602, 5604, 5606 또는 5608) 간의 거리는 제1 위치와 제1 위치에 가장 가까운 사용자 인터페이스 객체 상의 지점 간의 거리이다.
일부 다른 실시예에서, 도 6D 및 6J에 도시되어 있듯이, 제1 위치(도 6D의 P1 또는 도 6J의 P2)와 사용자 인터페이스 객체(5602, 5604, 5606 또는 5608) 간의 거리는 제1 위치와 사용자 인터페이스 객체의 중심 간의 거리이다.
일부 실시예에서, 커서 위치와 제1 위치 간의 오프셋(예: 도 6E 및 6F의 Δd)은 다음의 식에 의해 구해진다.
Figure 112009020596690-PCT00001
여기서,
Figure 112009020596690-PCT00002
는 커서 위치 P 및 제1 위치 P1 간의 오프셋이고,
Figure 112009020596690-PCT00003
는 사용자 인터페이스 객체 i와 연관된, 제1 위치와 사용자 인터페이스 객체 i 사이의 방향에 대한 오프셋 성분이며,
Wi는 사용자 인터페이스 객체 i와 연관된 활성화 민감도 수치이고,
di는 제1 위치와 사용자 인터페이스 객체 i 간의 거리이며,
n은 실수(예: 1)이고,
Figure 112009020596690-PCT00004
는
Figure 112009020596690-PCT00005
방향에 대한 단위 벡터이다.
결정된 커서 위치 P가 특정 사용자 인터페이스 객체 상에 있으면(예: 도 6E의 5602), 사용자 인터페이스 객체는 활성화되어 노래 재생, 이메일 메시지 삭제, 또는 입력 필드에 문자 입력과 같은 사전 정의된 동작을 수행한다.
일부 실시예에서, 서로 다른 사용자 인터페이스 객체에 할당된 활성화 민감도 수치는 각각의 객체에 연관된 동작에 따라 서로 다른 값 및 부호를 갖는다.
예를 들어, 도 6E에 도시된 바와 같이, 사용자 인터페이스 객체(5602)와 연관된 동작이 가역적(reversible)이거나 그렇지 않으면 비파괴적(non-destructive)인 경우, (예컨대, 사용자 인터페이스 객체(5602)가 음악 및 비디오 플레이어 모듈의 재생 아이콘인 경우,) 결정된 커서 위치 P가 제1 위치 P1 보다 객체(5602)에 더 가깝게 도시되어, 객체(5602)를 보다 활성화되기 쉽게 렌더링하도록, 제1 부호(예: "+")를 갖는 활성화 민감도 수치 W1'가 객체(5602)에 할당된다. 이와 관련해서, "비파괴적"은 정보의 영구적 손실을 일으키지 않는 행위를 의미하도록 정의된다.
반대로, 도 6F에 도시된 바와 같이, 사용자 인터페이스 객체와 연관된 동작(5602)이 사용자 정보에 대하여 파괴적이거나 비가역적인 경우 (예컨대, 사용자 인터페이스 객체(5602)가 메일 모듈(140)의 삭제 아이콘인 경우), 결정된 커서 위치 P가 제1 위치 P1 보다 객체(5602)로부터 더 멀리 떨어지게 되어, 객체(5602)를 보다 활성화하기 어렵게 렌더링하도록, 제1 부호에 반대되는 제2 부호(예: "-")를 갖는 활성화 민감도 수치 W1"가 객체(5602)에 할당된다. 따라서, 객체의 연관된 활성화 민감도 수치가 제2 부호를 가질 때, 보다 높은 정확도에 해당하는 보다 큰 값의 활성화 민감도 수치를 갖는 객체를 활성화시키기 위해서는 접촉이 객체 상에 상대적으로 정확하게 위치되어야 한다.
일부 실시예에서, 커서 위치 P는 제1 위치, 제1 위치에 가장 가까운 사용자 인터페이스 객체에 연관된 활성화 민감도 수치, 및 제1 위치와 제1 위치에 가장 가까운 사용자 인터페이스 객체 간의 거리에 기초하여 결정된다. 이들 실시예에서, 커서 위치 P는 다른 이웃 사용자 인터페이스 객체와 연관된 파라미터에 의해 영향 받지 않는다. 예를 들어, 도 6K에 도시된 바와 같이, 제1 위치 P1는 연관된 활성화 민감도 수치 W1를 갖는 사용자 인터페이스 객체(5602)에 가장 가깝다. 제1 위치 P1와 객체(5602) 간의 거리는 d1이다. 결정될 커서 위치 P는 오직 이들 파라미터에 의해서만 영향을 받을 뿐, 다른 이웃 사용자 인터페이스 객체(5604, 5606 또는 5608)에 의해 영향을 받지 않는다.
일부 실시예에서, 하나 이상의 사용자 인터페이스 객체가 제1 위치의 소정 거리 내에 있을 때, 커서 위치 P는 제1 위치, 소정의 거리 내에 있는 각각의 사용 자 인터페이스 객체와 연관된 활성화 민감도 수치, 및 제1 위치와 각각의 그러한 사용자 인터페이스 객체 사이의 거리에 기초하여 결정된다. 대안으로, 일부 실시예에서는, 하나 이상의 사용자 인터페이스 객체가 터치 스크린 디스플레이와의 사용자의 손가락 접촉의 접촉 영역 내에(또는 접촉 영역의 소정 거리 내에) 있을 때, 커서 위치 P는 제1 위치, 접촉 영역 내에(또는 접촉 영역의 소정 거리에) 있는 각각의 사용자 인터페이스 객체와 연관된 활성화 민감도 수치, 및 제1 위치와 각각의 그러한 사용자 인터페이스 객체 사이의 거리에 기초하여 결정된다.
일부 실시예에서, 도 6L에 도시된 바와 같이, 제1 위치가 디스플레이상의 특정 사용자 인터페이스 객체(예: 5604) 내에 있으면, 커서 위치는 제1 위치와 동일한데, 여기서 제1 위치는 도 6B의 P1 또는 도 6H의 P2일 수 있다. 이 경우, 커서 위치를 제1 위치로부터 더 오프셋할 필요가 없다.
일부 실시예에서, 도 6E에 도시된 바와 같이, 객체를 활성화시키기 위해서 손가락 접촉이 정확히 객체에서 일어날 필요는 없다. 대신에, 결정된 커서 위치가 사용자 인터페이스 객체 내에 속하기만 하면 사용자 인터페이스 객체가 활성화된다. 일부 실시예에서, 결정된 커서 위치가 사용자 인터페이스 객체의 "히트 영역" 내에 속하면 사용자 인터페이스 객체가 활성화된다. 사용자 인터페이스 객체의 히트 영역은 사용자 인터페이스 객체 자체와 동일하거나, 더 크거나, 더 작을 수 있다. 데이터에 대한 비가역적 또는 파괴적 변경을 유발하는 사용자 인터페이스 객체들은 통상적으로 사용자 인터페이스 객체 자체와 동일하거나, 더 크거나, 더 작 은 히트 영역을 가질 것이다. 일부 실시예에서, 데이터에 대해 비가역적 또는 파괴적 변경을 유발하지 않는 적어도 일부 사용자 인터페이스 객체는 그러한 사용자 인터페이스 객체보다 큰 히트 영역을 갖는다. 그러한 객체들에 대해, 대응하는 사용자 인터페이스 객체보다 큰 히트 영역의 부분은 숨겨진 히트 영역이라 할 수 있다.
일부 실시예에서, 이상의 수학식에서 커서 위치를 결정하는데 관련되는 사용자 인터페이스 객체의 적어도 일부를 터치 스크린 디스플레이 상에서 볼 수 있다.
일부 실시예에서, 사용자 인터페이스 객체와 연관된 활성화 민감도 수치(예: W1 내지 W4)는 특정 애플리케이션 모듈 내에서, 그리고 특정 애플리케이션 모듈 내에서의 한 컨텍스트(context)로부터 다른 컨텍스트로의 변경에 있어서 컨텍스트-의존적(context-dependent)이다. 예를 들어, 객체는 (특정 애플리케이션 모듈의 제1 컨텍스트에 있는) 제1 순간에는 커서 위치에 대하여 매력적인 제1 활성화 민감도 수치를 가질 수 있지만, (특정 애플리케이션 모듈의 제2 컨텍스트에 있는) 제2 순간에는 커서 위치에 대하여 덜 매력적이거나 심지어 반발적인(repulsive) 제2 활성화 민감도 수치(예컨대, 제2 활성화 민감도 수치가 반대 부호를 가지는 경우)를 가질 수 있다.
도 6M 내지 6O는 소정의 실시예에 따른, 소프트 키보드 키로 단어가 타이핑됨에 따라 소프트 키보드 키와 연관된 활성화 민감도 수치를 동적으로 조정하는 예시적인 방법을 도시한다. 사용자 인터페이스는 입력 필드(5620) 및 소프트 키보 드(5640)를 포함한다. 소프트 키보드(5640)의 임의의 키 아이콘에 대한 사용자 선택은 해당 사용자 선택 문자를 입력 필드(5620)에 입력한다. 예시적인 목적으로서, 도 6M에 도시된 바와 같이, 모든 키 아이콘은 처음에 동일한 활성화 민감도 수치 5를 갖는다.
도 6N은 두 개의 문자 "Go"가 입력 필드(5620)에 입력된 후의 서로 다른 키 아이콘에 연관된 활성화 민감도 수치를 도시한다. 키 아이콘에 연관된 활성화 민감도 수치는 이전에 입력된 문자에 따라 조정된다. 예를 들어, 키 아이콘 "D"의 활성화 민감도 수치는 5에서 10으로 변경되는데, 이는 "God"가 보편적인 영어 단어이기 때문이다. 따라서, 다음 손가락 접촉이 키 아이콘 "D" 자체 보다 키 아이콘 "F"에 더 가까운 경우에도 키 아이콘 "D"가 활성화될 수 있다. 유사하게, 키 아이콘 "A" 및 "O"에 연관된 활성화 민감도 수치 또한 증가될 수 있는데, 이는 문자열 "Goa" 및 "Goo" 각각이 "Goal", "Good", 또는 "Goad"와 같은 하나 이상의 정규 영어 단어로 이어지기 때문이다. 반대로, 키 아이콘 "K"의 활성화 민감도 수치는 3으로 떨어지는데, 이는 문자열 "Gok"는 어떠한 보편적인 영어 단어의 시작부도 아니기 때문이다.
도 6O는 또 다른 문자 "a"가 입력 필드(5620)에 입력된 후에 서로 다른 키 아이콘에 연관된 업데이트된 활성화 민감도 수치를 도시한다. 입력된 문자열 "Goa"에 대하여, 사용자는 단어 "Goal"을 타이핑하고 있는 것일 수 있다. 따라서, 키 아이콘 "L"과 연관된 활성화 민감도 수치는 9로 증가하는 반면에 키 아이콘 "O"와 연관된 활성화 민감도 수치는 2로 떨어질 수 있는데, 이는 문자열 "Goao"는 어 떠한 보편적인 영어 단어의 시작부도 아니기 때문이다.
요컨대, 터치 스크린 디스플레이와의 손가락 접촉에 대한 커서 위치는 사용자 인터페이스 객체들에 할당되는 활성화 민감도 수치들(또는 가중치들)에 적어도 부분적으로 기초하여 조정된다. 이러한 커서 위치 조정은 사용자 인터페이스 객체를 잘못 선택할 가능성을 줄이는 데 도움이 된다.
전술한 상기 내용은, 설명을 위하여 구체적인 실시예를 참조하여 설명되었다. 하지만, 전술한 예시적인 설명은 포괄적인 것이 아니며, 개시된 특정 형태로 본 발명을 한정하고자 하는 것이 아니다. 본 명세서에 교시된 내용에 따라 다양한 수정 및 변경이 가능하다. 본 명세서의 실시예들은, 본 발명의 원리와 실제의 응용을 가장 잘 설명하기 위하여 선택되고 설명되었으며, 이는 본 발명 및 고려된 특정한 사용에 적합한 여러 가지 수정 사항을 가지는 다양한 실시예들을 당업자가 가장 잘 활용할 수 있도록 한다.

Claims (23)

  1. 컴퓨터로 구현되는 방법으로서,
    복수의 사용자 인터페이스 객체를 갖는 터치 스크린 디스플레이를 구비한 휴대용 전자 장치에서,
    손가락과 상기 터치 스크린 디스플레이의 접촉 영역을 감지하는 단계;
    상기 접촉 영역의 중심에 대응하는 제1 위치를 결정하는 단계;
    상기 접촉 영역의 형상에 기초하여 상기 제1 위치로부터 오프셋된 제2 위치를 결정하는 단계; 및
    상기 제2 위치, 상기 제2 위치와 상기 사용자 인터페이스 객체들 중 하나 이상의 사용자 인터페이스 객체 사이의 하나 이상의 거리, 및 상기 복수의 사용자 인터페이스 객체 내의 각각의 사용자 인터페이스 객체와 각각 연관된 하나 이상의 활성화 민감도 수치(activation susceptibility number)에 적어도 부분적으로 기초하여 커서 위치를 결정하는 단계
    를 포함하는, 컴퓨터로 구현되는 방법.
  2. 컴퓨터로 구현되는 방법으로서,
    복수의 사용자 인터페이스 객체를 갖는 터치 스크린 디스플레이를 구비한 휴대용 전자 장치에서,
    손가락과 상기 터치 스크린 디스플레이의 접촉 영역을 감지하는 단계;
    상기 접촉 영역과 연관된 제1 위치를 결정하는 단계; 및
    상기 제1 위치, 상기 제1 위치와 상기 사용자 인터페이스 객체들 중 하나 이상의 사용자 인터페이스 객체 사이의 하나 이상의 거리, 및 상기 복수의 사용자 인터페이스 객체 내의 각각의 사용자 인터페이스 객체와 각각 연관된 하나 이상의 활성화 민감도 수치에 적어도 부분적으로 기초하여 커서 위치를 결정하는 단계
    를 포함하는, 컴퓨터로 구현되는 방법.
  3. 제2항에 있어서,
    상기 복수의 사용자 인터페이스 객체는 하나 이상의 열기 아이콘, 하나 이상의 닫기 아이콘, 하나 이상의 삭제 아이콘, 하나 이상의 끝내기 아이콘, 또는 소프트 키보드 키 아이콘들을 포함하는, 컴퓨터로 구현되는 방법.
  4. 제2항에 있어서,
    손가락과 상기 디스플레이의 정지 접촉(stationary contanct)에 대해, 상기 감지된 접촉 영역은 상기 정지 접촉에 대응하는 기간 동안의 상기 손가락과 상기 디스플레이의 최대 접촉 영역에 대응하는, 컴퓨터로 구현되는 방법.
  5. 제2항에 있어서,
    상기 제1 위치는 상기 접촉 영역의 중심인, 컴퓨터로 구현되는 방법.
  6. 제2항에 있어서,
    상기 접촉 영역은 장축을 갖는 타원형이고, 상기 제1 위치는 상기 장축을 따라 상기 접촉 영역의 중심으로부터 오프셋되는, 컴퓨터로 구현되는 방법.
  7. 제2항에 있어서,
    활성화 민감도 수치와 연관된 사용자 인터페이스 객체는, 상기 활성화 민감도 수치가 제1 부호(sign)를 갖는 경우에는 활성화되기 더 쉽고, 상기 활성화 민감도 수치가 상기 제1 부호와 반대인 제2 부호를 갖는 경우에는 활성화되기 더 어려운, 컴퓨터로 구현되는 방법.
  8. 제2항에 있어서,
    상기 제1 위치와 한 사용자 인터페이스 객체 간의 거리는 상기 제1 위치와 상기 제1 위치에 가장 가까운 상기 사용자 인터페이스 객체 상의 한 지점 간의 거리인, 컴퓨터로 구현되는 방법.
  9. 제2항에 있어서,
    상기 제1 위치와 한 사용자 인터페이스 객체 간의 거리는 상기 제1 위치와 상기 사용자 인터페이스 객체의 중심 간의 거리인, 컴퓨터로 구현되는 방법.
  10. 제2항에 있어서,
    상기 커서 위치를 결정하는 단계는
    상기 제1 위치,
    상기 제1 위치에 가장 가까운 사용자 인터페이스 객체와 연관된 활성화 민감도 수치, 및
    상기 제1 위치와 상기 제1 위치에 가장 가까운 사용자 인터페이스 객체 간의 거리
    에 기초하는, 컴퓨터로 구현되는 방법.
  11. 제2항에 있어서,
    상기 커서 위치는 식
    Figure 112009020596690-PCT00006
    에 의해 주어지는 양만큼 상기 제1 위치로부터 오프셋되고,
    여기서,
    Figure 112009020596690-PCT00007
    는 상기 오프셋이고,
    Figure 112009020596690-PCT00008
    는 사용자 인터페이스 객체 i와 연관된 오프셋 성분으로서, 상기 제1 위치와 상기 사용자 인터페이스 객체 i 사이의 방향을 따르며,
    Wi는 상기 사용자 인터페이스 객체 i와 연관된 활성화 민감도 수치이고,
    di는 상기 제1 위치와 상기 사용자 인터페이스 객체 i 간의 거리이며,
    n은 실수이고,
    Figure 112009020596690-PCT00009
    는
    Figure 112009020596690-PCT00010
    방향을 따르는 단위 벡터인, 컴퓨터로 구현되는 방법.
  12. 제11항에 있어서,
    상기 실수는 1인, 컴퓨터로 구현되는 방법.
  13. 제2항에 있어서,
    상기 제1 위치가 상기 디스플레이 상의 복수의 사용자 인터페이스 객체 중 하나 내에 있는 경우에 상기 커서 위치는 상기 제1 위치인, 컴퓨터로 구현되는 방법.
  14. 제2항에 있어서,
    상기 커서 위치에 있는 사용자 인터페이스 객체를 활성화하는 단계를 더 포함하는, 컴퓨터로 구현되는 방법.
  15. 제2항에 있어서,
    상기 복수의 사용자 인터페이스 객체는 상기 디스플레이 상에서 보여지는, 컴퓨터로 구현되는 방법.
  16. 제2항에 있어서,
    상기 활성화 민감도 수치는 애플리케이션에서 컨텍스트 의존적(context dependent)인, 컴퓨터로 구현되는 방법.
  17. 제2항에 있어서,
    소프트 키보드 키들과 연관된 활성화 민감도 수치들은 단어가 상기 소프트 키보드 키들로 타이핑됨에 따라 변경되는, 컴퓨터로 구현되는 방법.
  18. 터치 스크린 디스플레이를 구비한 휴대용 전자 상의 그래픽 사용자 인터페이스로서,
    커서; 및
    복수의 사용자 인터페이스 객체
    를 포함하고,
    상기 터치 스크린 디스플레이 상의 상기 커서의 위치는
    손가락과 상기 터치 스크린 디스플레이의 접촉 영역과 연관된 제1 위치;
    상기 제1 위치와 상기 사용자 인터페이스 객체들 중 하나 이상의 사용자 인터페이스 객체 사이의 하나 이상의 거리; 및
    상기 복수의 사용자 인터페이스 객체 내의 각각의 사용자 인터페이스 객체와 각각 연관된 하나 이상의 활성화 민감도 수치
    에 적어도 부분적으로 기초하는, 그래픽 사용자 인터페이스.
  19. 제18항에 있어서,
    상기 제1 위치는 상기 접촉 영역의 중심에 대응하는, 그래픽 사용자 인터페이스.
  20. 제18항에 있어서,
    상기 제1 위치는 상기 접촉 영역의 형상에 기초하여 상기 접촉 영역의 중심으로부터 오프셋되는 위치에 대응하는, 그래픽 사용자 인터페이스.
  21. 휴대용 전자 장치로서,
    복수의 사용자 인터페이스 객체를 구비한 터치 스크린 디스플레이;
    하나 이상의 프로세서;
    메모리; 및
    상기 메모리에 저장되고 상기 하나 이상의 프로세서에 의해 실행되도록 구성되는 프로그램
    을 포함하고,
    상기 프로그램은
    손가락과 상기 터치 스크린 디스플레이의 접촉 영역을 감지하기 위한 명령어;
    상기 접촉 영역과 연관된 제1 위치를 결정하기 위한 명령어; 및
    상기 제1 위치, 상기 제1 위치와 상기 사용자 인터페이스 객체들 중 하나 이상의 사용자 인터페이스 객체 사이의 하나 이상의 거리, 및 상기 복수의 사용자 인터페이스 객체 내의 각각의 사용자 인터페이스 객체와 각각 연관된 하나 이상의 활성화 민감도 수치에 적어도 부분적으로 기초하여 커서 위치를 결정하기 위한 명령어
    를 포함하는, 휴대용 전자 장치.
  22. 컴퓨터 프로그램 제품으로서,
    컴퓨터 판독 가능 저장 매체 및 그 안에 내장된 컴퓨터 프로그램 메커니즘
    을 포함하고,
    상기 컴퓨터 프로그램 메커니즘은
    복수의 사용자 인터페이스 객체를 갖는 터치 스크린 디스플레이를 구비한 휴대용 전자 장치에 의해 실행될 때, 상기 장치로 하여금
    손가락과 상기 터치 스크린 디스플레이의 접촉 영역을 감지하고;
    상기 접촉 영역과 연관된 제1 위치를 결정하며;
    상기 제1 위치, 상기 제1 위치와 상기 사용자 인터페이스 객체들 중 하나 이상의 사용자 인터페이스 개체 사이의 하나 이상의 거리, 및 상기 복수의 사용자 인터페이스 객체 내의 각각의 사용자 인터페이스 객체와 각각 연관된 하나 이상의 활성화 민감도 수치에 적어도 부분적으로 기초하여 커서 위치를 결정하게 하는
    명령어들을 포함하는, 컴퓨터 프로그램 제품.
  23. 복수의 사용자 인터페이스 객체를 갖는 터치 스크린 디스플레이를 구비한 휴대용 전자 장치로서,
    손가락과 상기 터치 스크린 디스플레이의 접촉 영역을 감지하기 위한 수단;
    상기 접촉 영역과 연관된 제1 위치를 결정하기 위한 수단; 및
    상기 제1 위치, 상기 제1 위치와 상기 사용자 인터페이스 객체들 중 하나 이상의 사용자 인터페이스 객체 사이의 하나 이상의 거리, 및 상기 복수의 사용자 인터페이스 객체 내의 각각의 사용자 인터페이스 객체와 각각 연관된 하나 이상의 활성화 민감도 수치에 적어도 부분적으로 기초하여 커서 위치를 결정하기 위한 수단
    을 포함하는, 휴대용 전자 장치.
KR1020097007039A 2006-09-06 2007-09-05 터치 스크린 디스플레이와의 손가락 접촉으로부터 커서 위치를 결정하는 방법 KR101085732B1 (ko)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US82476906P 2006-09-06 2006-09-06
US60/824,769 2006-09-06
US87925307P 2007-01-07 2007-01-07
US60/879,253 2007-01-07
US87946907P 2007-01-08 2007-01-08
US60/879,469 2007-01-08
US94671607P 2007-06-27 2007-06-27
US60/946,716 2007-06-27
US93799307P 2007-06-29 2007-06-29
US60/937,993 2007-06-29
US11/850,015 US7843427B2 (en) 2006-09-06 2007-09-04 Methods for determining a cursor position from a finger contact with a touch screen display
US11/850,015 2007-09-04
PCT/US2007/077645 WO2008030880A1 (en) 2006-09-06 2007-09-05 Methods for determining a cursor position from a finger contact with a touch screen display

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020097009492A Division KR20090066316A (ko) 2006-09-06 2007-09-05 터치 스크린 디스플레이와의 손가락 접촉으로부터 커서 위치를 결정하는 방법

Publications (2)

Publication Number Publication Date
KR20090057304A true KR20090057304A (ko) 2009-06-04
KR101085732B1 KR101085732B1 (ko) 2011-11-21

Family

ID=38823525

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020097009492A KR20090066316A (ko) 2006-09-06 2007-09-05 터치 스크린 디스플레이와의 손가락 접촉으로부터 커서 위치를 결정하는 방법
KR1020097007039A KR101085732B1 (ko) 2006-09-06 2007-09-05 터치 스크린 디스플레이와의 손가락 접촉으로부터 커서 위치를 결정하는 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020097009492A KR20090066316A (ko) 2006-09-06 2007-09-05 터치 스크린 디스플레이와의 손가락 접촉으로부터 커서 위치를 결정하는 방법

Country Status (11)

Country Link
US (2) US7843427B2 (ko)
EP (2) EP2336869B1 (ko)
JP (2) JP4934725B2 (ko)
KR (2) KR20090066316A (ko)
AT (1) ATE506648T1 (ko)
AU (1) AU2007292384B2 (ko)
CA (1) CA2662137C (ko)
DE (2) DE112007002088T5 (ko)
HK (1) HK1131671A1 (ko)
IL (1) IL197385A (ko)
WO (1) WO2008030880A1 (ko)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011016664A2 (ko) * 2009-08-04 2011-02-10 Lee Sung Ho 터치입력 인식방법 및 장치
KR101364881B1 (ko) * 2009-06-16 2014-02-19 인텔 코오퍼레이션 핸드헬드 디바이스를 위한 적응형 버츄얼 키보드
KR101453641B1 (ko) * 2010-06-14 2014-10-22 애플 인크. 컨트롤 선택 근사화
US9037995B2 (en) 2007-01-07 2015-05-19 Apple Inc. Application programming interfaces for scrolling operations
US9171141B2 (en) 2009-06-16 2015-10-27 Intel Corporation Adaptive virtual keyboard for handheld device
US9285908B2 (en) 2009-03-16 2016-03-15 Apple Inc. Event recognition
US9298363B2 (en) 2011-04-11 2016-03-29 Apple Inc. Region activation for touch sensitive surface
US9311112B2 (en) 2009-03-16 2016-04-12 Apple Inc. Event recognition
US9323335B2 (en) 2008-03-04 2016-04-26 Apple Inc. Touch event model programming interface
US9389712B2 (en) 2008-03-04 2016-07-12 Apple Inc. Touch event model
US9483121B2 (en) 2009-03-16 2016-11-01 Apple Inc. Event recognition
US9529519B2 (en) 2007-01-07 2016-12-27 Apple Inc. Application programming interfaces for gesture operations
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer
US9798459B2 (en) 2008-03-04 2017-10-24 Apple Inc. Touch event model for web pages
US10963142B2 (en) 2007-01-07 2021-03-30 Apple Inc. Application programming interfaces for scrolling

Families Citing this family (135)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7834855B2 (en) 2004-08-25 2010-11-16 Apple Inc. Wide touchpad on a portable computer
US9766738B1 (en) 2006-08-23 2017-09-19 Cypress Semiconductor Corporation Position and usage based prioritization for capacitance sense interface
US8519963B2 (en) * 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface for interpreting a finger gesture on a touch screen display
US20080196945A1 (en) * 2007-02-21 2008-08-21 Jason Konstas Preventing unintentional activation of a sensor element of a sensing device
US20080238886A1 (en) * 2007-03-29 2008-10-02 Sony Ericsson Mobile Communications Ab Method for providing tactile feedback for touch-based input device
US8400409B1 (en) * 2007-07-10 2013-03-19 Cypress Semiconductor Corporation User interface devices, methods, and computer readable media for sensing movement of an actuator across a surface of a window
CN101743529B (zh) * 2007-07-11 2012-06-13 株式会社爱可信 便携式信息终端及其控制方法
KR20090024541A (ko) * 2007-09-04 2009-03-09 삼성전자주식회사 하이퍼링크 선택 방법 및 이를 이용하는 이동통신 단말기
US20090058823A1 (en) * 2007-09-04 2009-03-05 Apple Inc. Virtual Keyboards in Multi-Language Environment
US8661340B2 (en) * 2007-09-13 2014-02-25 Apple Inc. Input methods for device having multi-language environment
US8130206B2 (en) * 2007-10-09 2012-03-06 Nokia Corporation Apparatus, method, computer program and user interface for enabling a touch sensitive display
KR20090038540A (ko) * 2007-10-16 2009-04-21 주식회사 현대오토넷 화면 상의 영상위치 변경 장치 및 방법, 그리고 그를이용한 네비게이션 시스템
US8136402B2 (en) * 2007-11-28 2012-03-20 International Business Machines Corporation Accelerometer module for use with a touch sensitive device
WO2009080653A1 (en) * 2007-12-20 2009-07-02 Purple Labs Method and system for moving a cursor and selecting objects on a touchscreen using a finger pointer
US20090174679A1 (en) 2008-01-04 2009-07-09 Wayne Carl Westerman Selective Rejection of Touch Contacts in an Edge Region of a Touch Surface
US8031176B1 (en) 2008-01-22 2011-10-04 Cypress Semiconductor Corporation Optical navigation system using a single-package motion sensor
US8174502B2 (en) 2008-03-04 2012-05-08 Apple Inc. Touch event processing for web pages
US8289283B2 (en) 2008-03-04 2012-10-16 Apple Inc. Language input interface on a device
US8908973B2 (en) * 2008-03-04 2014-12-09 Apple Inc. Handwritten character recognition interface
US20090235281A1 (en) * 2008-03-12 2009-09-17 Inventec Corporation Handheld electronic device, input device and method thereof, and display device and method thereof
EP2101250B1 (en) * 2008-03-14 2014-06-11 BlackBerry Limited Character selection on a device using offset contact-zone
TW200941307A (en) * 2008-03-24 2009-10-01 Acer Inc Extended cursor generating method and device
US8949743B2 (en) 2008-04-22 2015-02-03 Apple Inc. Language input interface on a device
US8174503B2 (en) * 2008-05-17 2012-05-08 David H. Cain Touch-based authentication of a mobile device through user generated pattern creation
US9355090B2 (en) 2008-05-30 2016-05-31 Apple Inc. Identification of candidate characters for text input
KR100950797B1 (ko) 2008-05-30 2010-04-02 포항공과대학교 산학협력단 가상 키보드가 적용된 기기의 문자 입력 방법
AR071981A1 (es) * 2008-06-02 2010-07-28 Spx Corp Ventana de multiples pantallas de presentacion con entrada para desplazamiento circular
FR2933211B1 (fr) * 2008-06-26 2010-11-26 Airbus France Dispositif d'interaction avec un systeme d'affichage, notamment pour un systeme d'affichage avionique
US20100039214A1 (en) * 2008-08-15 2010-02-18 At&T Intellectual Property I, L.P. Cellphone display time-out based on skin contact
US8913991B2 (en) * 2008-08-15 2014-12-16 At&T Intellectual Property I, L.P. User identification in cell phones based on skin contact
US8284170B2 (en) * 2008-09-30 2012-10-09 Apple Inc. Touch screen device, method, and graphical user interface for moving on-screen objects without using a cursor
US20100134418A1 (en) * 2008-12-02 2010-06-03 Microsoft Corporation Opposite facing device keypad
US20100146437A1 (en) * 2008-12-04 2010-06-10 Microsoft Corporation Glanceable animated notifications on a locked device
US9197738B2 (en) * 2008-12-04 2015-11-24 Microsoft Technology Licensing, Llc Providing selected data through a locked display
US8294047B2 (en) 2008-12-08 2012-10-23 Apple Inc. Selective input signal rejection and modification
US8583421B2 (en) * 2009-03-06 2013-11-12 Motorola Mobility Llc Method and apparatus for psychomotor and psycholinguistic prediction on touch based device
US8566044B2 (en) 2009-03-16 2013-10-22 Apple Inc. Event recognition
US8564541B2 (en) * 2009-03-16 2013-10-22 Apple Inc. Zhuyin input interface on a device
US20100251161A1 (en) * 2009-03-24 2010-09-30 Microsoft Corporation Virtual keyboard with staggered keys
US10191654B2 (en) 2009-03-30 2019-01-29 Touchtype Limited System and method for inputting text into electronic devices
US9424246B2 (en) 2009-03-30 2016-08-23 Touchtype Ltd. System and method for inputting text into electronic devices
GB0917753D0 (en) 2009-10-09 2009-11-25 Touchtype Ltd System and method for inputting text into electronic devices
GB0905457D0 (en) 2009-03-30 2009-05-13 Touchtype Ltd System and method for inputting text into electronic devices
US9189472B2 (en) * 2009-03-30 2015-11-17 Touchtype Limited System and method for inputting text into small screen devices
US20100251105A1 (en) * 2009-03-31 2010-09-30 Lenovo (Singapore) Pte, Ltd. Method, apparatus, and system for modifying substitution costs
US9024886B2 (en) * 2009-04-14 2015-05-05 Japan Display Inc. Touch-panel device
TWI407339B (zh) * 2009-08-06 2013-09-01 Htc Corp 追蹤觸控面板上碰觸輸入之移動軌跡的方法與電腦程式產品及其相關電子裝置
US8434153B2 (en) 2009-08-24 2013-04-30 Microsoft Corporation Application display on a locked device
US8799775B2 (en) * 2009-09-25 2014-08-05 Apple Inc. Device, method, and graphical user interface for displaying emphasis animations for an electronic document in a presentation mode
US20110084922A1 (en) * 2009-10-14 2011-04-14 Research In Motion Limited Electronic device including touch-sensitive display and method of controlling same
US20120188164A1 (en) * 2009-10-16 2012-07-26 Prasenjit Dey Gesture processing
KR101630754B1 (ko) * 2009-10-16 2016-06-24 삼성전자주식회사 디스플레이 장치 및 인터페이스 방법
CN102081487B (zh) * 2009-11-28 2013-04-10 比亚迪股份有限公司 一种电阻式触摸屏的检测方法及装置
US20110138284A1 (en) * 2009-12-03 2011-06-09 Microsoft Corporation Three-state touch input system
EP2341419A1 (en) * 2009-12-31 2011-07-06 Sony Computer Entertainment Europe Limited Device and method of control
CN102117143B (zh) * 2009-12-31 2015-05-13 深圳迈瑞生物医疗电子股份有限公司 一种触摸屏响应方法及装置
US20110231796A1 (en) * 2010-02-16 2011-09-22 Jose Manuel Vigil Methods for navigating a touch screen device in conjunction with gestures
US8884871B2 (en) * 2010-02-26 2014-11-11 Thl Holding Company, Llc Adjunct device for use with a handheld wireless communication device as a screen pointer
US8588806B2 (en) 2010-02-26 2013-11-19 Thl Holding Company, Llc Wireless device and methods for use in a paging network
US9262041B2 (en) * 2010-03-16 2016-02-16 Nokia Technologies Oy Methods and apparatus for determining a selection region
KR20110110940A (ko) * 2010-04-02 2011-10-10 삼성전자주식회사 휴대용 단말기의 터치 입력 장치 및 방법
DE202010007315U1 (de) 2010-05-27 2010-10-07 Omikron Data Quality Gmbh Bedienvorrichtung für eine Nutzerschnittstelle
US9542091B2 (en) 2010-06-04 2017-01-10 Apple Inc. Device, method, and graphical user interface for navigating through a user interface using a dynamic object selection indicator
JP4865063B2 (ja) 2010-06-30 2012-02-01 株式会社東芝 情報処理装置、情報処理方法およびプログラム
KR101701932B1 (ko) * 2010-07-22 2017-02-13 삼성전자 주식회사 입력 디바이스와 이의 제어 방법
EP2599009A4 (en) * 2010-07-29 2017-10-11 QUALCOMM Incorporated Device and method of controlling a computer using centroids
US10963136B2 (en) * 2010-08-16 2021-03-30 Koninklijke Philips N.V. Highlighting of objects on a display
JP5510185B2 (ja) * 2010-08-20 2014-06-04 ソニー株式会社 情報処理装置、プログラム及び表示制御方法
CN102402369B (zh) * 2010-09-13 2017-11-24 联想(北京)有限公司 电子设备及其操作提示标识移动方法
DE102010046893A1 (de) 2010-09-29 2012-03-29 E:Cue Control Gmbh Bedienvorrichtung zur Ansteuerung einer mehrfarbigen Lichtquelle und Beleuchtungsvorrichtung
CN101984392B (zh) * 2010-11-05 2012-02-29 华为终端有限公司 一种模拟硬按键的操作方法及触摸屏终端
KR101522345B1 (ko) 2010-11-12 2015-05-21 주식회사 케이티 이동 통신 단말에서의 배경화면 표시 방법 및 그 장치
US9870093B2 (en) 2010-11-23 2018-01-16 Ge Aviation Systems Llc System and method for improving touch screen display use under vibration and turbulence
US9268479B2 (en) 2011-01-21 2016-02-23 Dell Products, Lp Motion sensor-enhanced touch screen
JP5651494B2 (ja) 2011-02-09 2015-01-14 日立マクセル株式会社 情報処理装置
FR2971864B1 (fr) * 2011-02-22 2015-06-26 Peugeot Citroen Automobiles Sa Equipement de realite virtuelle equipe d'un dispositif de contact et utilisation d'un tel dispositif dans un equipement de realite virtuelle
JP5095021B2 (ja) 2011-04-04 2012-12-12 シャープ株式会社 表示装置、情報処理システム、プログラム及びテレビジョン受信機
US9727124B2 (en) 2011-04-19 2017-08-08 Apple Inc. Power saving application update in a portable electronic device
KR101199618B1 (ko) 2011-05-11 2012-11-08 주식회사 케이티테크 화면 분할 표시 장치 및 방법
WO2012162826A1 (en) * 2011-05-30 2012-12-06 Ni Li Graphic object selection by way of directional swipe gestures
CN102959494B (zh) 2011-06-16 2017-05-17 赛普拉斯半导体公司 具有电容式传感器的光学导航模块
US20120324391A1 (en) * 2011-06-16 2012-12-20 Microsoft Corporation Predictive word completion
GB2492789B (en) * 2011-07-12 2018-01-03 Denso Corp Displays
US10140011B2 (en) * 2011-08-12 2018-11-27 Microsoft Technology Licensing, Llc Touch intelligent targeting
US8971572B1 (en) 2011-08-12 2015-03-03 The Research Foundation For The State University Of New York Hand pointing estimation for human computer interaction
TWI474252B (zh) * 2011-10-06 2015-02-21 Intelligent GUI touch method and system
TW201316240A (zh) * 2011-10-06 2013-04-16 Rich Ip Technology Inc 利用圖形用戶介面影像之觸碰處理方法及系統
US20130125066A1 (en) * 2011-11-14 2013-05-16 Microsoft Corporation Adaptive Area Cursor
US8896553B1 (en) 2011-11-30 2014-11-25 Cypress Semiconductor Corporation Hybrid sensor module
CH705918A2 (de) * 2011-12-19 2013-06-28 Ralf Trachte Feld-Analysen für flexible Computer-Eingabe.
TWI493438B (zh) * 2012-01-09 2015-07-21 Amtran Technology Co Ltd 觸控方法
JP2013161208A (ja) * 2012-02-03 2013-08-19 Sony Corp 情報処理装置、情報処理方法およびプログラム
US9001058B2 (en) 2012-03-05 2015-04-07 International Business Machines Corporation Computer action detection
JP5962085B2 (ja) 2012-03-15 2016-08-03 ソニー株式会社 表示制御装置、その制御方法およびプログラム
US9235324B2 (en) 2012-05-04 2016-01-12 Google Inc. Touch interpretation for displayed elements
US9001059B2 (en) * 2012-06-08 2015-04-07 Adobe Systems Incorporated Method and apparatus for choosing an intended target element from an imprecise touch on a touch screen display
US9348501B2 (en) 2012-06-14 2016-05-24 Microsoft Technology Licensing, Llc Touch modes
US20130342468A1 (en) * 2012-06-20 2013-12-26 Chimei Innolux Corporation Method for determining touch location on a touch panel and touch panel module
JP2014044605A (ja) * 2012-08-28 2014-03-13 Fujifilm Corp タッチ検知ディスプレイにおける入力制御装置および方法並びにプログラム
US9323452B2 (en) 2012-09-24 2016-04-26 Google Inc. System and method for processing touch input
JP6153710B2 (ja) 2012-09-28 2017-06-28 株式会社Pfu 帳票入出力装置、帳票入出力方法、および、プログラム
US9285880B2 (en) * 2012-12-26 2016-03-15 Panasonic Intellectual Property Management Co., Ltd. Touch panel device and method of controlling a touch panel device
US9652589B2 (en) * 2012-12-27 2017-05-16 General Electric Company Systems and methods for using a touch-sensitive display unit to analyze a medical image
KR101713784B1 (ko) * 2013-01-07 2017-03-08 삼성전자주식회사 전자 장치 및 그 제어 방법
CN104133618B (zh) * 2013-05-02 2018-02-02 腾讯科技（深圳）有限公司 进行终端设备推荐页面展示的方法及系统
US20140375576A1 (en) * 2013-06-24 2014-12-25 Oracle International Corporation Facilitating touch screen users to select elements in a densely populated display
JP6028861B2 (ja) * 2013-06-28 2016-11-24 富士通株式会社 情報処理装置、入力制御プログラム、および入力制御方法
JP2015041845A (ja) * 2013-08-21 2015-03-02 カシオ計算機株式会社 文字入力装置及びプログラム
US11068128B2 (en) 2013-09-03 2021-07-20 Apple Inc. User interface object manipulations in a user interface
US9652148B2 (en) * 2014-01-06 2017-05-16 Sap Se Soft keyboard with keypress markers
JP2015141140A (ja) * 2014-01-29 2015-08-03 株式会社ミツトヨ 遠隔操作可能な測定機及び測定システム
US9983731B2 (en) * 2014-02-21 2018-05-29 Qualcomm Incorporated System and method for reducing shadow effects in touch systems
JP6608579B2 (ja) 2014-04-03 2019-11-20 株式会社ミツトヨ 測定器
WO2015167511A2 (en) * 2014-04-30 2015-11-05 Empire Technology Development Llc Adjusting tap position on touch screen
US9898162B2 (en) 2014-05-30 2018-02-20 Apple Inc. Swiping functions for messaging applications
US9971500B2 (en) 2014-06-01 2018-05-15 Apple Inc. Displaying options, assigning notification, ignoring messages, and simultaneous user interface displays in a messaging application
US10025427B2 (en) * 2014-06-27 2018-07-17 Microsoft Technology Licensing, Llc Probabilistic touch sensing
CN106462340B (zh) 2014-06-27 2019-09-13 苹果公司 尺寸减小的用户界面
US9628966B2 (en) * 2014-08-19 2017-04-18 Xiaomi Inc. Method and device for sending message
WO2016036509A1 (en) 2014-09-02 2016-03-10 Apple Inc. Electronic mail user interface
WO2016036416A1 (en) 2014-09-02 2016-03-10 Apple Inc. Button functionality
US10671275B2 (en) 2014-09-04 2020-06-02 Apple Inc. User interfaces for improving single-handed operation of devices
KR101542862B1 (ko) 2014-09-16 2015-08-07 국방과학연구소 인체공학적 터치스크린 키 인식방법
KR101599891B1 (ko) * 2014-09-19 2016-03-04 삼성전자주식회사 초음파 진단장치, 방법 및 컴퓨터 판독 가능한 저장매체
EP3234926B1 (en) * 2014-12-18 2020-11-04 Koninklijke Philips N.V. Medical image editing
US20160364137A1 (en) * 2014-12-22 2016-12-15 Intel Corporation Multi-touch virtual mouse
JP6324923B2 (ja) * 2015-04-24 2018-05-16 株式会社ニフコ 車両用収納装置
GB2538733A (en) * 2015-05-26 2016-11-30 Forbidden Tech Plc Control system for media manipulation
JP5906345B1 (ja) * 2015-08-05 2016-04-20 株式会社Ｃｙｇａｍｅｓ 操作履歴に基づいてタッチ対象を予測するプログラム、電子装置、システム及び制御方法
US10739972B2 (en) 2016-06-10 2020-08-11 Apple Inc. Device, method, and graphical user interface for managing electronic communications
GB201610984D0 (en) 2016-06-23 2016-08-10 Microsoft Technology Licensing Llc Suppression of input images
CN106354358A (zh) * 2016-08-20 2017-01-25 汪念鸿 一种光标位置的确定方法及移动终端
US10068551B1 (en) 2017-05-01 2018-09-04 Microsoft Technology Licensing, Llc Localized high brightness mode
US11435830B2 (en) 2018-09-11 2022-09-06 Apple Inc. Content-based tactile outputs
CN109739399B (zh) * 2018-11-23 2021-08-20 努比亚技术有限公司 一种图标选择控制方法、终端及计算机可读存储介质

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3859005A (en) 1973-08-13 1975-01-07 Albert L Huebner Erosion reduction in wet turbines
US4826405A (en) 1985-10-15 1989-05-02 Aeroquip Corporation Fan blade fabrication system
JPH04160474A (ja) * 1990-10-23 1992-06-03 Fujitsu Ltd キーワード入力方式
US5963671A (en) * 1991-11-27 1999-10-05 International Business Machines Corporation Enhancement of soft keyboard operations using trigram prediction
US5757358A (en) 1992-03-31 1998-05-26 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for enhancing computer-user selection of computer-displayed objects through dynamic selection area and constant visual feedback
US6938220B1 (en) * 1992-10-21 2005-08-30 Sharp Kabushiki Kaisha Information processing apparatus
DE4406668C2 (de) * 1993-04-27 1996-09-12 Hewlett Packard Co Verfahren und Vorrichtung zum Betreiben eines berührungsempfindlichen Anzeigegeräts
US5564004A (en) * 1994-04-13 1996-10-08 International Business Machines Corporation Method and system for facilitating the selection of icons
DE69524340T2 (de) * 1994-09-22 2002-08-14 Aisin Aw Co Berührungsanzeige für ein Informationseingabesystem
US5748512A (en) * 1995-02-28 1998-05-05 Microsoft Corporation Adjusting keyboard
US5805165A (en) 1995-08-31 1998-09-08 Microsoft Corporation Method of selecting a displayed control item
US5825352A (en) * 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
JP3784031B2 (ja) * 1996-03-18 2006-06-07 富士通株式会社 表示画面上での選択操作に反応する領域を拡大する反応領域拡大装置および方法
JPH10275046A (ja) * 1997-03-31 1998-10-13 Toshiba Corp 単語入力装置及び方法
JP3744116B2 (ja) * 1997-04-08 2006-02-08 松下電器産業株式会社 表示入力装置
JPH10307673A (ja) 1997-05-09 1998-11-17 Canon Inc 座標入力装置及びその制御方法
US6049326A (en) * 1997-05-12 2000-04-11 Siemens Information And Communication Networks, Inc. System and method for dual browser modes
US6104384A (en) * 1997-09-12 2000-08-15 Ericsson, Inc. Image based keyboard for a small computing device
US7844914B2 (en) 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
KR100595912B1 (ko) 1998-01-26 2006-07-07 웨인 웨스터만 수동 입력 통합 방법 및 장치
US6104317A (en) * 1998-02-27 2000-08-15 Motorola, Inc. Data entry device and method
JPH11312053A (ja) * 1998-04-30 1999-11-09 Toyota Motor Corp 画面タッチ式入力装置
US6278443B1 (en) * 1998-04-30 2001-08-21 International Business Machines Corporation Touch screen with random finger placement and rolling on screen to control the movement of information on-screen
JP2000115829A (ja) * 1998-10-09 2000-04-21 Nec Corp 移動体通信システムにおける基地局の順次接続通信方式
US6259436B1 (en) * 1998-12-22 2001-07-10 Ericsson Inc. Apparatus and method for determining selection of touchable items on a computer touchscreen by an imprecise touch
US6643824B1 (en) * 1999-01-15 2003-11-04 International Business Machines Corporation Touch screen region assist for hypertext links
JP2000322169A (ja) * 1999-04-30 2000-11-24 Internatl Business Mach Corp <Ibm> グラフィカル・ユーザ・インターフェイスにおけるホットスポット選択方法
US6411283B1 (en) * 1999-05-20 2002-06-25 Micron Technology, Inc. Computer touch screen adapted to facilitate selection of features at edge of screen
US7030863B2 (en) 2000-05-26 2006-04-18 America Online, Incorporated Virtual keyboard system with automatic correction
AU5299700A (en) * 1999-05-27 2000-12-18 America Online, Inc. Keyboard system with automatic correction
GB2352154B (en) * 1999-07-16 2003-08-27 Ibm Automatic target enlargement for simplified selection
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US7218226B2 (en) 2004-03-01 2007-05-15 Apple Inc. Acceleration-based theft detection system for portable electronic devices
TW486657B (en) * 2000-10-26 2002-05-11 Animeta Systems Inc Browser interface operation device and its browsing method
JP2002132447A (ja) * 2000-10-27 2002-05-10 Alpine Electronics Inc タッチパネル入力装置
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
JP2003005913A (ja) * 2001-06-18 2003-01-10 Tokai Rika Co Ltd タッチ操作位置検出装置
FI116591B (fi) 2001-06-29 2005-12-30 Nokia Corp Menetelmä ja laite toiminnon toteuttamiseksi
US7254775B2 (en) * 2001-10-03 2007-08-07 3M Innovative Properties Company Touch panel system and method for distinguishing multiple touch inputs
CN100350363C (zh) * 2001-12-21 2007-11-21 拉尔夫·特拉赫特 灵活的计算机输入系统
DE10201195B4 (de) * 2002-01-14 2006-10-12 Völckers, Oliver Verfahren zur Texteingabe durch Auswahl von Buchstaben mittels eines Cursors und Einrichtung zur Durchführung des Verfahrens
JP2003271294A (ja) * 2002-03-15 2003-09-26 Canon Inc データ入力装置、データ入力方法、及びプログラム
US7151530B2 (en) * 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
CN101673181A (zh) 2002-11-29 2010-03-17 皇家飞利浦电子股份有限公司 具有触摸区域的移动表示的用户界面
US7176905B2 (en) * 2003-02-19 2007-02-13 Agilent Technologies, Inc. Electronic device having an image-based data input system
JP4526235B2 (ja) 2003-03-17 2010-08-18 シャープ株式会社 タッチパネル入力装置及びタッチパネル入力制御方法
US20040183833A1 (en) * 2003-03-19 2004-09-23 Chua Yong Tong Keyboard error reduction method and apparatus
JP2004341813A (ja) 2003-05-15 2004-12-02 Casio Comput Co Ltd 入力装置表示制御方法及び入力装置
EP2254028B1 (en) 2004-02-27 2017-09-27 BlackBerry Limited Text input system for a mobile electronic device and methods thereof
US20050190970A1 (en) * 2004-02-27 2005-09-01 Research In Motion Limited Text input system for a mobile electronic device and methods thereof
US20060007174A1 (en) * 2004-07-06 2006-01-12 Chung-Yi Shen Touch control method for a drag gesture and control module thereof
US7653883B2 (en) * 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US20070260987A1 (en) * 2004-08-23 2007-11-08 Mohoney James S Selective Displaying of Item Information in Videos
US7489306B2 (en) * 2004-12-22 2009-02-10 Microsoft Corporation Touch screen accuracy
US7605804B2 (en) * 2005-04-29 2009-10-20 Microsoft Corporation System and method for fine cursor positioning using a low resolution imaging touch screen
JP4446310B2 (ja) * 2005-11-09 2010-04-07 シャープ株式会社 タッチ入力装置および表示装置
US20070247446A1 (en) 2006-04-25 2007-10-25 Timothy James Orsley Linear positioning input device
JP2007299198A (ja) * 2006-04-28 2007-11-15 Toyota Motor Corp 入力装置、入力制御方法及び入力制御プログラム。
MX2019013299A (es) 2017-05-10 2020-02-05 Ntt Docomo Inc Terminal de usuario y metodo de radiocomunicacion.
CN110956911B (zh) 2018-09-27 2021-10-01 合肥鑫晟光电科技有限公司 阵列基板及其检测方法、显示面板

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9448712B2 (en) 2007-01-07 2016-09-20 Apple Inc. Application programming interfaces for scrolling operations
US11954322B2 (en) 2007-01-07 2024-04-09 Apple Inc. Application programming interface for gesture operations
US11449217B2 (en) 2007-01-07 2022-09-20 Apple Inc. Application programming interfaces for gesture operations
US10963142B2 (en) 2007-01-07 2021-03-30 Apple Inc. Application programming interfaces for scrolling
US10817162B2 (en) 2007-01-07 2020-10-27 Apple Inc. Application programming interfaces for scrolling operations
US9037995B2 (en) 2007-01-07 2015-05-19 Apple Inc. Application programming interfaces for scrolling operations
US10613741B2 (en) 2007-01-07 2020-04-07 Apple Inc. Application programming interface for gesture operations
US10481785B2 (en) 2007-01-07 2019-11-19 Apple Inc. Application programming interfaces for scrolling operations
US10175876B2 (en) 2007-01-07 2019-01-08 Apple Inc. Application programming interfaces for gesture operations
US9760272B2 (en) 2007-01-07 2017-09-12 Apple Inc. Application programming interfaces for scrolling operations
US9665265B2 (en) 2007-01-07 2017-05-30 Apple Inc. Application programming interfaces for gesture operations
US9575648B2 (en) 2007-01-07 2017-02-21 Apple Inc. Application programming interfaces for gesture operations
US9529519B2 (en) 2007-01-07 2016-12-27 Apple Inc. Application programming interfaces for gesture operations
US9323335B2 (en) 2008-03-04 2016-04-26 Apple Inc. Touch event model programming interface
US9971502B2 (en) 2008-03-04 2018-05-15 Apple Inc. Touch event model
US9389712B2 (en) 2008-03-04 2016-07-12 Apple Inc. Touch event model
US10936190B2 (en) 2008-03-04 2021-03-02 Apple Inc. Devices, methods, and user interfaces for processing touch events
US10521109B2 (en) 2008-03-04 2019-12-31 Apple Inc. Touch event model
US11740725B2 (en) 2008-03-04 2023-08-29 Apple Inc. Devices, methods, and user interfaces for processing touch events
US9690481B2 (en) 2008-03-04 2017-06-27 Apple Inc. Touch event model
US9720594B2 (en) 2008-03-04 2017-08-01 Apple Inc. Touch event model
US9798459B2 (en) 2008-03-04 2017-10-24 Apple Inc. Touch event model for web pages
US11755196B2 (en) 2009-03-16 2023-09-12 Apple Inc. Event recognition
US11163440B2 (en) 2009-03-16 2021-11-02 Apple Inc. Event recognition
US9483121B2 (en) 2009-03-16 2016-11-01 Apple Inc. Event recognition
US9965177B2 (en) 2009-03-16 2018-05-08 Apple Inc. Event recognition
US10719225B2 (en) 2009-03-16 2020-07-21 Apple Inc. Event recognition
US9311112B2 (en) 2009-03-16 2016-04-12 Apple Inc. Event recognition
US9285908B2 (en) 2009-03-16 2016-03-15 Apple Inc. Event recognition
US9195818B2 (en) 2009-06-16 2015-11-24 Intel Corporation Adaptive virtual keyboard for handheld device
US10133482B2 (en) 2009-06-16 2018-11-20 Intel Corporation Adaptive virtual keyboard for handheld device
US9171141B2 (en) 2009-06-16 2015-10-27 Intel Corporation Adaptive virtual keyboard for handheld device
KR101364881B1 (ko) * 2009-06-16 2014-02-19 인텔 코오퍼레이션 핸드헬드 디바이스를 위한 적응형 버츄얼 키보드
US9851897B2 (en) 2009-06-16 2017-12-26 Intel Corporation Adaptive virtual keyboard for handheld device
KR101364837B1 (ko) * 2009-06-16 2014-02-19 인텔 코오퍼레이션 핸드헬드 디바이스를 위한 적응형 버츄얼 키보드
WO2011016664A2 (ko) * 2009-08-04 2011-02-10 Lee Sung Ho 터치입력 인식방법 및 장치
WO2011016664A3 (ko) * 2009-08-04 2011-04-28 Lee Sung Ho 터치입력 인식방법 및 장치
US9684521B2 (en) 2010-01-26 2017-06-20 Apple Inc. Systems having discrete and continuous gesture recognizers
US10732997B2 (en) 2010-01-26 2020-08-04 Apple Inc. Gesture recognizers with delegates for controlling and modifying gesture recognition
KR101453641B1 (ko) * 2010-06-14 2014-10-22 애플 인크. 컨트롤 선택 근사화
US10216408B2 (en) 2010-06-14 2019-02-26 Apple Inc. Devices and methods for identifying user interface objects based on view hierarchy
US9298363B2 (en) 2011-04-11 2016-03-29 Apple Inc. Region activation for touch sensitive surface
US11429190B2 (en) 2013-06-09 2022-08-30 Apple Inc. Proxy gesture recognizer
US9733716B2 (en) 2013-06-09 2017-08-15 Apple Inc. Proxy gesture recognizer

Also Published As

Publication number Publication date
US8013839B2 (en) 2011-09-06
US20110074677A1 (en) 2011-03-31
JP2012113735A (ja) 2012-06-14
WO2008030880A1 (en) 2008-03-13
DE112007002088T5 (de) 2009-07-02
AU2007292384A1 (en) 2008-03-13
AU2007292384B2 (en) 2011-12-01
EP2067094B1 (en) 2011-04-20
ATE506648T1 (de) 2011-05-15
HK1131671A1 (en) 2010-01-29
US7843427B2 (en) 2010-11-30
IL197385A (en) 2016-12-29
EP2067094A1 (en) 2009-06-10
US20080094356A1 (en) 2008-04-24
KR101085732B1 (ko) 2011-11-21
JP4934725B2 (ja) 2012-05-16
JP2010503125A (ja) 2010-01-28
CA2662137C (en) 2015-11-24
KR20090066316A (ko) 2009-06-23
CA2662137A1 (en) 2008-03-13
IL197385A0 (en) 2009-12-24
JP5277328B2 (ja) 2013-08-28
EP2336869B1 (en) 2014-02-12
DE602007014071D1 (de) 2011-06-01
EP2336869A1 (en) 2011-06-22

Similar Documents

Publication Publication Date Title
KR101085732B1 (ko) 터치 스크린 디스플레이와의 손가락 접촉으로부터 커서 위치를 결정하는 방법
US10409461B2 (en) Portable multifunction device, method, and graphical user interface for interacting with user input elements in displayed content
US9575646B2 (en) Modal change based on orientation of a portable multifunction device
KR101085712B1 (ko) 터치 스크린 디스플레이 상에서의 손가락 제스처를 해석하는 휴대용 다기능 장치, 방법, 및 그래픽 사용자 인터페이스
US9229634B2 (en) Portable multifunction device, method, and graphical user interface for interpreting a finger gesture
KR102077383B1 (ko) 구조화된 전자 문서들을 디스플레이하기 위한 휴대용 전자 장치, 방법 및 그래픽 사용자 인터페이스
AU2008100010A4 (en) Portable multifunction device, method, and graphical user interface for translating displayed content
WO2008085742A2 (en) Portable multifunction device, method and graphical user interface for interacting with user input elements in displayed content
AU2012201240B2 (en) Methods for determining a cursor position from a finger contact with a touch screen display

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141023

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151016

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161019

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171018

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20181018

Year of fee payment: 8