KR20160120351A - 물리적 터치 기능이 없는 경우 터치-기반 사용자 인터페이스의 제어를 제공하는 장치, 방법 및 그래픽 사용자 인터페이스 - Google Patents
물리적 터치 기능이 없는 경우 터치-기반 사용자 인터페이스의 제어를 제공하는 장치, 방법 및 그래픽 사용자 인터페이스 Download PDFInfo
- Publication number
- KR20160120351A KR20160120351A KR1020167027346A KR20167027346A KR20160120351A KR 20160120351 A KR20160120351 A KR 20160120351A KR 1020167027346 A KR1020167027346 A KR 1020167027346A KR 20167027346 A KR20167027346 A KR 20167027346A KR 20160120351 A KR20160120351 A KR 20160120351A
- Authority
- KR
- South Korea
- Prior art keywords
- virtual
- menu
- icon
- touch
- display
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
디스플레이 및 터치 감응 표면을 갖는 전자 장치는 가상 터치에 대응하는 제1 시각 표시자를, 디스플레이 상에, 디스플레이한다. 이 장치는 적응적 입력 장치로부터 제1 입력을 수신한다. 적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여, 이 장치는 디스플레이 상에 제1 메뉴를 디스플레이한다. 제1 메뉴는 가상 터치 선택 아이콘을 포함한다. 가상 터치 선택 아이콘의 선택을 검출한 것에 응답하여, 가상 멀티터치 접촉(virtual multitouch contact)의 메뉴가 디스플레이된다.
Description
본 발명은 일반적으로 터치-기반 사용자 인터페이스를 가지는 터치 감응 표면을 갖는 전자 장치(이들로 제한되지 않음)를 비롯한, 터치 감응 표면을 갖는 전자 장치에 관한 것이다.
터치-기반 사용자 인터페이스를 갖는 전자 장치(예컨대, 미국 캘리포니아주 쿠퍼티노 소재의 Apple Inc.로부터의 아이폰®, 아이팟 터치® 및 아이패드® 장치와 같은 장치)의 사용이 최근에 상당히 증가하였다. 이들 장치는 터치 스크린 디스플레이 또는 터치 패드 등의 터치 감응 표면을, 디스플레이 상의 사용자 인터페이스 객체를 조작하고 및/또는 장치를 제어하는 주 입력(main input)으로서 사용한다.
그렇지만, 사지 마비 환자 및 심각한 뇌성 마비를 갖는 사람들과 같은 그의 손으로 소근육 운동(fine motor skill)을 할 수 없는 사람들은 터치-기반 사용자 인터페이스를 갖는 장치를 사용하는 것이 불가능하지는 않더라도 어렵다는 것을 알고 있다.
그에 따라, 그의 손으로 소근육 운동을 할 수 없는 사용자들에 터치-기반 사용자 인터페이스를 갖는 장치에 대한 접근성을 제공할 필요가 있다. 환언하면, 터치 감응 표면을 효과적으로 조작할 수 없는 사용자들이 그럼에도 불구하고 터치-기반 사용자 인터페이스를 갖는 전자 장치를 조작할 수 있게 해줄 필요가 있다.
터치 감응 표면을 갖는 전자 장치에 대한 사용자 인터페이스와 연관되어 있는 상기 결점들 및 기타 문제점들이 개시된 장치에 의해 감소되거나 제거된다. 어떤 실시예들에서, 이 장치는 데스크톱 컴퓨터이다. 어떤 실시예들에서, 이 장치는 휴대용(예컨대, 노트북 컴퓨터, 태블릿 컴퓨터, 또는 핸드헬드 장치)이다. 어떤 실시예들에서, 이 장치는 터치 패드를 가진다. 어떤 실시예들에서, 이 장치는 터치 감응 디스플레이("터치 스크린" 또는 "터치 스크린 디스플레이"라고도 함)를 가진다. 어떤 실시예들에서, 이 장치는 그래픽 사용자 인터페이스(GUI), 하나 이상의 프로세서, 메모리, 및 메모리에 저장되어 있는, 다수의 기능을 수행하는 하나 이상의 모듈, 프로그램, 또는 명령어 집합을 가진다. 어떤 실시예들에서, 사용자는 주로 터치 감응 표면 상에서의 손가락 접촉 및 제스처를 통해 GUI와 상호작용한다. 어떤 실시예들에서, 이들 기능은 이미지 편집, 그리기, 프레젠테이션, 워드 프로세싱, 웹 사이트 제작, 디스크 저작, 스프레드시트 작성, 게임 플레이, 전화 통화, 화상 회의, 이메일 보내기, 인스턴트 메시징, 운동 보조, 디지털 사진 촬영, 디지털 비디오 녹화, 웹 브라우징, 디지털 음악 재생, 및/또는 디지털 비디오 재생을 포함할 수 있다. 이들 기능을 수행하는 실행가능 명령어들은 하나 이상의 프로세서에 의해 실행되도록 구성된 비일시적 컴퓨터 판독가능 저장 매체 또는 기타 컴퓨터 프로그램 제품에 포함될 수 있다.
어떤 실시예들에 따르면, 디스플레이 및 터치 감응 표면을 갖는 전자 장치에서 방법이 수행된다. 이 방법은 가상 터치(virtual touch)에 대응하는 제1 시각 표시자(visual indicator)를, 디스플레이 상에, 디스플레이하는 단계; 적응적 입력 장치(adaptive input device)로부터 제1 입력을 수신하는 단계; 및 적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여, 디스플레이 상에 제1 메뉴를 디스플레이하는 단계를 포함한다. 제1 메뉴는 가상 터치 선택 아이콘을 포함한다. 가상 터치 선택 아이콘의 선택을 검출한 것에 응답하여, 가상 멀티터치 접촉(virtual multitouch contact)의 메뉴가 디스플레이된다.
어떤 실시예들에 따르면, 전자 장치는 디스플레이, 터치 감응 표면, 하나 이상의 프로세서, 메모리, 및 하나 이상의 프로그램을 포함한다. 하나 이상의 프로그램은 메모리에 저장되어 있고 하나 이상의 프로세서에 의해 실행되도록 구성되어 있다. 하나 이상의 프로그램은 가상 터치에 대응하는 제1 시각 표시자를, 디스플레이 상에, 디스플레이하는 명령어들; 적응적 입력 장치로부터 제1 입력을 수신하는 명령어들; 및 적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여, 디스플레이 상에 제1 메뉴를 디스플레이하는 명령어들을 포함한다. 제1 메뉴는 가상 터치 선택 아이콘을 포함한다. 하나 이상의 프로그램은 가상 터치 선택 아이콘의 선택을 검출한 것에 응답하여, 가상 멀티터치 접촉의 메뉴를 디스플레이하는 명령어들을 포함한다.
어떤 실시예들에 따르면, 컴퓨터 판독가능 저장 매체는, 디스플레이 및 터치 감응 표면을 갖는 전자 장치에 의해 실행될 때, 전자 장치로 하여금 가상 터치에 대응하는 제1 시각 표시자를, 디스플레이 상에, 디스플레이하고; 적응적 입력 장치로부터 제1 입력을 수신하며; 적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여, 디스플레이 상에 제1 메뉴를 디스플레이하게 하는 명령어들을 저장하고 있다. 제1 메뉴는 가상 터치 선택 아이콘을 포함한다. 이 명령어들은 또한 전자 장치로 하여금 가상 터치 선택 아이콘의 선택을 검출한 것에 응답하여, 가상 멀티터치 접촉의 메뉴를 디스플레이하게 한다.
어떤 실시예들에 따르면, 디스플레이, 터치 감응 표면, 메모리, 및 메모리에 저장되어 있는 하나 이상의 프로그램을 실행하는 하나 이상의 프로세서를 갖는 전자 장치 상의 그래픽 사용자 인터페이스는 가상 터치에 대응하는 제1 시각 표시자를 포함하고 있다. 적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여, 디스플레이 상에 제1 메뉴가 디스플레이된다. 제1 메뉴는 가상 터치 선택 아이콘을 포함한다. 가상 터치 선택 아이콘의 선택을 검출한 것에 응답하여, 가상 멀티터치 접촉의 메뉴가 디스플레이된다.
어떤 실시예들에 따르면, 전자 장치는 디스플레이; 터치 감응 표면; 가상 터치에 대응하는 제1 시각 표시자를, 디스플레이 상에, 디스플레이하는 수단; 적응적 입력 장치로부터 제1 입력을 수신하는 수단; 및 적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여 인에이블되는, 디스플레이 상에 제1 메뉴를 디스플레이하는 수단을 포함한다. 제1 메뉴는 가상 터치 선택 아이콘을 포함한다. 전자 장치는 또한 가상 터치 선택 아이콘의 선택을 검출한 것에 응답하여 인에이블되는, 가상 멀티터치 접촉의 메뉴를 디스플레이하는 수단을 포함한다.
어떤 실시예들에 따르면, 디스플레이 및 터치 감응 표면을 갖는 전자 장치에서 사용하기 위한 정보 처리 장치는 가상 터치에 대응하는 제1 시각 표시자를, 디스플레이 상에, 디스플레이하는 수단; 적응적 입력 장치로부터 제1 입력을 수신하는 수단; 및 적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여 인에이블되는, 디스플레이 상에 제1 메뉴를 디스플레이하는 수단을 포함한다. 제1 메뉴는 가상 터치 선택 아이콘을 포함한다. 정보 처리 장치는 가상 터치 선택 아이콘의 선택을 검출한 것에 응답하여 인에이블되는, 가상 멀티터치 접촉의 메뉴를 디스플레이하는 수단을 포함한다.
어떤 실시예들에 따르면, 디스플레이 및 터치 감응 표면을 갖는 전자 장치에서 방법이 수행된다. 이 방법은 가상 터치에 대응하는 제1 시각 표시자를, 디스플레이 상에, 디스플레이하는 단계; 적응적 입력 장치로부터 제1 입력을 수신하는 단계; 및 적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여, 가상 멀티터치 접촉의 메뉴를 디스플레이하는 단계를 포함한다. 가상 멀티터치 접촉의 메뉴는 가상 멀티터치 접촉의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 이 방법은 또한 가상 멀티터치 접촉의 메뉴 내의 각자의 가상 멀티터치 접촉 아이콘의 선택을 검출하는 단계; 및 가상 멀티터치 접촉의 메뉴 내의 각자의 가상 멀티터치 접촉 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 멀티터치 접촉 아이콘에 대응하는 하나 이상의 제2 시각 표시자를 디스플레이하는 단계를 포함한다.
어떤 실시예들에 따르면, 전자 장치는 디스플레이, 터치 감응 표면, 하나 이상의 프로세서, 메모리, 및 하나 이상의 프로그램을 포함한다. 하나 이상의 프로그램은 메모리에 저장되어 있고 하나 이상의 프로세서에 의해 실행되도록 구성되어 있다. 하나 이상의 프로그램은 가상 터치에 대응하는 제1 시각 표시자를, 디스플레이 상에, 디스플레이하는 명령어들; 적응적 입력 장치로부터 제1 입력을 수신하는 명령어들; 및 적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여, 가상 멀티터치 접촉의 메뉴를 디스플레이하는 명령어들을 포함한다. 가상 멀티터치 접촉의 메뉴는 가상 멀티터치 접촉의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 하나 이상의 프로그램은 또한 가상 멀티터치 접촉의 메뉴 내의 각자의 가상 멀티터치 접촉 아이콘의 선택을 검출하는 명령어들; 및 가상 멀티터치 접촉의 메뉴 내의 각자의 가상 멀티터치 접촉 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 멀티터치 접촉 아이콘에 대응하는 하나 이상의 제2 시각 표시자를 디스플레이하는 명령어들을 포함한다.
어떤 실시예들에 따르면, 컴퓨터 판독가능 저장 매체는, 디스플레이 및 터치 감응 표면을 갖는 전자 장치에 의해 실행될 때, 전자 장치로 하여금 가상 터치에 대응하는 제1 시각 표시자를, 디스플레이 상에, 디스플레이하고; 적응적 입력 장치로부터 제1 입력을 수신하며; 적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여, 가상 멀티터치 접촉의 메뉴를 디스플레이하게 하는 명령어들을 저장하고 있다. 가상 멀티터치 접촉의 메뉴는 가상 멀티터치 접촉의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 이 명령어들은 또한 전자 장치로 하여금 가상 멀티터치 접촉의 메뉴 내의 각자의 가상 멀티터치 접촉 아이콘의 선택을 검출하고; 가상 멀티터치 접촉의 메뉴 내의 각자의 가상 멀티터치 접촉 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 멀티터치 접촉 아이콘에 대응하는 하나 이상의 제2 시각 표시자를 디스플레이하게 한다.
어떤 실시예들에 따르면, 디스플레이, 터치 감응 표면, 메모리, 및 메모리에 저장되어 있는 하나 이상의 프로그램을 실행하는 하나 이상의 프로세서를 갖는 전자 장치 상의 그래픽 사용자 인터페이스는 가상 터치에 대응하는 제1 시각 표시자를 포함하고 있다. 적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여, 가상 멀티터치 접촉의 메뉴가 디스플레이된다. 가상 멀티터치 접촉의 메뉴는 가상 멀티터치 접촉의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 가상 멀티터치 접촉의 메뉴 내의 각자의 가상 멀티터치 접촉 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 멀티터치 접촉 아이콘에 대응하는 하나 이상의 제2 시각 표시자가 디스플레이된다.
어떤 실시예들에 따르면, 전자 장치는 디스플레이; 터치 감응 표면; 가상 터치에 대응하는 제1 시각 표시자를, 디스플레이 상에, 디스플레이하는 수단; 적응적 입력 장치로부터 제1 입력을 수신하는 수단; 및 적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여 인에이블되는, 가상 멀티터치 접촉의 메뉴를 디스플레이하는 수단을 포함한다. 가상 멀티터치 접촉의 메뉴는 가상 멀티터치 접촉의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 전자 장치는 또한 가상 멀티터치 접촉의 메뉴 내의 각자의 가상 멀티터치 접촉 아이콘의 선택을 검출하는 수단; 및 가상 멀티터치 접촉의 메뉴 내의 각자의 가상 멀티터치 접촉 아이콘의 선택을 검출한 것에 응답하여 인에이블되는, 각자의 가상 멀티터치 접촉 아이콘에 대응하는 하나 이상의 제2 시각 표시자를 디스플레이하는 수단을 포함한다.
어떤 실시예들에 따르면, 디스플레이 및 터치 감응 표면을 갖는 전자 장치에서 사용하기 위한 정보 처리 장치는 가상 터치에 대응하는 제1 시각 표시자를, 디스플레이 상에, 디스플레이하는 수단; 적응적 입력 장치로부터 제1 입력을 수신하는 수단; 및 적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여 인에이블되는, 가상 멀티터치 접촉의 메뉴를 디스플레이하는 수단을 포함한다. 가상 멀티터치 접촉의 메뉴는 가상 멀티터치 접촉의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 정보 처리 장치는 또한 가상 멀티터치 접촉의 메뉴 내의 각자의 가상 멀티터치 접촉 아이콘의 선택을 검출하는 수단; 및 가상 멀티터치 접촉의 메뉴 내의 각자의 가상 멀티터치 접촉 아이콘의 선택을 검출한 것에 응답하여 인에이블되는, 각자의 가상 멀티터치 접촉 아이콘에 대응하는 하나 이상의 제2 시각 표시자를 디스플레이하는 수단을 포함한다.
어떤 실시예들에 따르면, 디스플레이 및 터치 감응 표면을 갖는 전자 장치에서 방법이 수행된다. 이 방법은 가상 터치에 대응하는 제1 시각 표시자를, 디스플레이 상에, 디스플레이하는 단계; 적응적 입력 장치로부터 제1 입력을 수신하는 단계; 및 적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여, 가상 제스처의 메뉴를 디스플레이하는 단계를 포함한다. 가상 제스처의 메뉴는 가상 제스처의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 이 방법은 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출하는 단계; 및 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 제스처 아이콘에 대응하는 다수의 시각 표시자를 디스플레이하는 단계를 포함한다. 이 방법은 적응적 입력 장치로부터 제2 입력을 수신하는 단계; 및 적응적 입력 장치로부터 제2 입력을 수신한 것에 응답하여, 각자의 가상 제스처에 따라 동작을 수행하는 단계를 포함한다.
어떤 실시예들에 따르면, 전자 장치는 디스플레이, 터치 감응 표면, 하나 이상의 프로세서, 메모리, 및 하나 이상의 프로그램을 포함한다. 하나 이상의 프로그램은 메모리에 저장되어 있고 하나 이상의 프로세서에 의해 실행되도록 구성되어 있다. 하나 이상의 프로그램은 가상 터치에 대응하는 제1 시각 표시자를, 디스플레이 상에, 디스플레이하는 명령어들; 적응적 입력 장치로부터 제1 입력을 수신하는 명령어들; 및 적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여, 가상 제스처의 메뉴를 디스플레이하는 명령어들을 포함한다. 가상 제스처의 메뉴는 가상 제스처의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 하나 이상의 프로그램은 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출하는 명령어들; 및 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 제스처 아이콘에 대응하는 다수의 시각 표시자를 디스플레이하는 명령어들을 포함한다. 하나 이상의 프로그램은 적응적 입력 장치로부터 제2 입력을 수신하는 명령어들; 및 적응적 입력 장치로부터 제2 입력을 수신한 것에 응답하여, 각자의 가상 제스처에 따라 동작을 수행하는 명령어들을 포함한다.
어떤 실시예들에 따르면, 컴퓨터 판독가능 저장 매체는, 디스플레이 및 터치 감응 표면을 갖는 전자 장치에 의해 실행될 때, 전자 장치로 하여금 가상 터치에 대응하는 제1 시각 표시자를, 디스플레이 상에, 디스플레이하고; 적응적 입력 장치로부터 제1 입력을 수신하며; 적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여, 가상 제스처의 메뉴를 디스플레이하게 하는 명령어들을 저장하고 있다. 가상 제스처의 메뉴는 가상 제스처의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 이 명령어들은 전자 장치로 하여금 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출하고; 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 제스처 아이콘에 대응하는 다수의 시각 표시자를 디스플레이하게 한다. 이 명령어들은 전자 장치로 하여금 적응적 입력 장치로부터 제2 입력을 수신하고; 적응적 입력 장치로부터 제2 입력을 수신한 것에 응답하여, 각자의 가상 제스처에 따라 동작을 수행하게 한다.
어떤 실시예들에 따르면, 디스플레이, 터치 감응 표면, 메모리, 및 메모리에 저장되어 있는 하나 이상의 프로그램을 실행하는 하나 이상의 프로세서를 갖는 전자 장치 상의 그래픽 사용자 인터페이스는 가상 터치에 대응하는 제1 시각 표시자를 포함하고 있다. 적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여, 가상 제스처의 메뉴가 디스플레이된다. 가상 제스처의 메뉴는 가상 제스처의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 제스처 아이콘에 대응하는 다수의 시각 표시자가 디스플레이된다. 적응적 입력 장치로부터 제2 입력을 수신한 것에 응답하여, 각자의 가상 제스처에 따라 동작이 수행된다.
어떤 실시예들에 따르면, 전자 장치는 디스플레이; 터치 감응 표면; 가상 터치에 대응하는 제1 시각 표시자를, 디스플레이 상에, 디스플레이하는 수단; 적응적 입력 장치로부터 제1 입력을 수신하는 수단; 및 적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여 인에이블되는, 가상 제스처의 메뉴를 디스플레이하는 수단을 포함한다. 가상 제스처의 메뉴는 가상 제스처의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 전자 장치는 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출하는 수단; 및 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출한 것에 응답하여 인에이블되는, 각자의 가상 제스처 아이콘에 대응하는 다수의 시각 표시자를 디스플레이하는 수단을 포함한다. 전자 장치는 적응적 입력 장치로부터 제2 입력을 수신하는 수단; 및 적응적 입력 장치로부터 제2 입력을 수신한 것에 응답하여 인에이블되는, 각자의 가상 제스처에 따라 동작을 수행하는 수단을 포함한다.
어떤 실시예들에 따르면, 디스플레이 및 터치 감응 표면을 갖는 전자 장치에서 사용하기 위한 정보 처리 장치는 가상 터치에 대응하는 제1 시각 표시자를, 디스플레이 상에, 디스플레이하는 수단; 적응적 입력 장치로부터 제1 입력을 수신하는 수단; 및 적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여 인에이블되는, 가상 제스처의 메뉴를 디스플레이하는 수단 - 가상 제스처의 메뉴는 가상 제스처의 유형을 나타내는 복수의 아이콘을 포함함 - 을 포함한다. 정보 처리 장치는 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출하는 수단; 및 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출한 것에 응답하여 인에이블되는, 각자의 가상 제스처 아이콘에 대응하는 다수의 시각 표시자를 디스플레이하는 수단을 포함한다. 정보 처리 장치는 적응적 입력 장치로부터 제2 입력을 수신하는 수단; 및 적응적 입력 장치로부터 제2 입력을 수신한 것에 응답하여 인에이블되는, 각자의 가상 제스처에 따라 동작을 수행하는 수단을 포함한다.
어떤 실시예들에 따르면, 디스플레이 및 터치 감응 표면을 갖는 전자 장치에서 방법이 수행된다. 이 방법은 핀치/디핀치 제스처 아이콘(pinch/depinch gesture icon)을 디스플레이하는 단계; 가상 핀치/디핀치 제스처 아이콘의 선택을 검출하는 단계; 및 가상 핀치/디핀치 제스처 아이콘의 선택을 검출한 것에 응답하여, 가상 핀치/디핀치 제스처에서의 접촉들에 대응하는 2개의 시각 표시자를 디스플레이하는 단계를 포함한다. 이 방법은 또한 적응적 입력 장치로부터 입력을 수신하는 단계; 및 적응적 입력 장치로부터 입력을 수신한 것에 응답하여, 각자의 가상 핀치/디핀치 제스처에 따라 줌 동작을 수행하는 단계를 포함한다.
어떤 실시예들에 따르면, 전자 장치는 디스플레이, 터치 감응 표면, 하나 이상의 프로세서, 메모리, 및 하나 이상의 프로그램을 포함한다. 하나 이상의 프로그램은 메모리에 저장되어 있고 하나 이상의 프로세서에 의해 실행되도록 구성되어 있다. 하나 이상의 프로그램은 핀치/디핀치 제스처 아이콘을 디스플레이하는 명령어들; 가상 핀치/디핀치 제스처 아이콘의 선택을 검출하는 명령어들; 및 가상 핀치/디핀치 제스처 아이콘의 선택을 검출한 것에 응답하여, 가상 핀치/디핀치 제스처에서의 접촉들에 대응하는 2개의 시각 표시자를 디스플레이하는 명령어들을 포함한다. 하나 이상의 프로그램은 적응적 입력 장치로부터 입력을 수신하는 명령어들; 및 적응적 입력 장치로부터 입력을 수신한 것에 응답하여, 각자의 가상 핀치/디핀치 제스처에 따라 줌 동작을 수행하는 명령어들을 포함한다.
어떤 실시예들에 따르면, 컴퓨터 판독가능 저장 매체는, 디스플레이 및 터치 감응 표면을 갖는 전자 장치에 의해 실행될 때, 전자 장치로 하여금 핀치/디핀치 제스처 아이콘을 디스플레이하고; 가상 핀치/디핀치 제스처 아이콘의 선택을 검출하며; 가상 핀치/디핀치 제스처 아이콘의 선택을 검출한 것에 응답하여, 가상 핀치/디핀치 제스처에서의 접촉들에 대응하는 2개의 시각 표시자를 디스플레이하게 하는 명령어들을 저장하고 있다. 이 명령어들은 또한 전자 장치로 하여금 적응적 입력 장치로부터 입력을 수신하고; 적응적 입력 장치로부터 입력을 수신한 것에 응답하여, 각자의 가상 핀치/디핀치 제스처에 따라 줌 동작을 수행하게 한다.
어떤 실시예들에 따르면, 디스플레이, 터치 감응 표면, 메모리, 및 메모리에 저장되어 있는 하나 이상의 프로그램을 실행하는 하나 이상의 프로세서를 갖는 전자 장치 상의 그래픽 사용자 인터페이스는 핀치/디핀치 제스처 아이콘을 포함하고 있다. 가상 핀치/디핀치 제스처 아이콘의 선택을 검출한 것에 응답하여, 가상 핀치/디핀치 제스처에서의 접촉들에 대응하는 2개의 시각 표시자가 디스플레이된다. 적응적 입력 장치로부터 입력을 수신한 것에 응답하여, 각자의 가상 핀치/디핀치 제스처에 따라 줌 동작이 수행된다.
어떤 실시예들에 따르면, 전자 장치는 디스플레이; 터치 감응 표면; 핀치/디핀치 제스처 아이콘을 디스플레이하는 수단; 가상 핀치/디핀치 제스처 아이콘의 선택을 검출하는 수단; 및 가상 핀치/디핀치 제스처 아이콘의 선택을 검출한 것에 응답하여 인에이블되는, 가상 핀치/디핀치 제스처에서의 접촉들에 대응하는 2개의 시각 표시자를 디스플레이하는 수단을 포함한다. 전자 장치는 적응적 입력 장치로부터 입력을 수신하는 수단; 및 적응적 입력 장치로부터 입력을 수신한 것에 응답하여 인에이블되는, 각자의 가상 핀치/디핀치 제스처에 따라 줌 동작을 수행하는 수단을 포함한다.
어떤 실시예들에 따르면, 디스플레이 및 터치 감응 표면을 갖는 전자 장치에서 사용하기 위한 정보 처리 장치는 핀치/디핀치 제스처 아이콘을 디스플레이하는 수단; 가상 핀치/디핀치 제스처 아이콘의 선택을 검출하는 수단; 및 가상 핀치/디핀치 제스처 아이콘의 선택을 검출한 것에 응답하여 인에이블되는, 가상 핀치/디핀치 제스처에서의 접촉들에 대응하는 2개의 시각 표시자를 디스플레이하는 수단을 포함한다. 정보 처리 장치는 또한 적응적 입력 장치로부터 입력을 수신하는 수단; 및 적응적 입력 장치로부터 입력을 수신한 것에 응답하여 인에이블되는, 각자의 가상 핀치/디핀치 제스처에 따라 줌 동작을 수행하는 수단을 포함한다.
어떤 실시예들에 따르면, 디스플레이 및 터치 감응 표면을 갖는 전자 장치에서 방법이 수행된다. 이 방법은 가상 제스처 아이콘을 디스플레이하는 단계; 가상 제스처 아이콘의 선택을 검출하는 단계; 및 가상 제스처 아이콘의 선택을 검출한 것에 응답하여, 가상 제스처의 메뉴를 디스플레이하는 단계를 포함한다. 가상 제스처의 메뉴는 가상 제스처의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 이 방법은 또한 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출하는 단계; 및 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 제스처에 대응하는 동작을 수행하는 단계를 포함한다.
어떤 실시예들에 따르면, 전자 장치는 디스플레이, 터치 감응 표면, 하나 이상의 프로세서, 메모리, 및 하나 이상의 프로그램을 포함한다. 하나 이상의 프로그램은 메모리에 저장되어 있고 하나 이상의 프로세서에 의해 실행되도록 구성되어 있다. 하나 이상의 프로그램은 가상 제스처 아이콘을 디스플레이하는 명령어들; 가상 제스처 아이콘의 선택을 검출하는 명령어들; 및 가상 제스처 아이콘의 선택을 검출한 것에 응답하여, 가상 제스처의 메뉴를 디스플레이하는 명령어들을 포함한다. 가상 제스처의 메뉴는 가상 제스처의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 하나 이상의 프로그램은 또한 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출하는 명령어들; 및 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 제스처에 대응하는 동작을 수행하는 명령어들을 포함한다.
어떤 실시예들에 따르면, 컴퓨터 판독가능 저장 매체는, 디스플레이 및 터치 감응 표면을 갖는 전자 장치에 의해 실행될 때, 전자 장치로 하여금 가상 제스처 아이콘을 디스플레이하고; 가상 제스처 아이콘의 선택을 검출하며; 가상 제스처 아이콘의 선택을 검출한 것에 응답하여, 가상 제스처의 메뉴를 디스플레이하게 하는 명령어들을 저장하고 있다. 가상 제스처의 메뉴는 가상 제스처의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 이 명령어들은 또한 전자 장치로 하여금 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출하고; 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 제스처에 대응하는 동작을 수행하게 한다.
어떤 실시예들에 따르면, 디스플레이, 터치 감응 표면, 메모리, 및 메모리에 저장되어 있는 하나 이상의 프로그램을 실행하는 하나 이상의 프로세서를 갖는 전자 장치 상의 그래픽 사용자 인터페이스는 가상 제스처 아이콘을 포함하고 있다. 가상 제스처 아이콘의 선택을 검출한 것에 응답하여, 가상 제스처의 메뉴가 디스플레이된다. 가상 제스처의 메뉴는 가상 제스처의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 제스처에 대응하는 동작이 수행된다.
어떤 실시예들에 따르면, 전자 장치는 디스플레이; 터치 감응 표면; 가상 제스처 아이콘을 디스플레이하는 수단; 가상 제스처 아이콘의 선택을 검출하는 수단; 및 가상 제스처 아이콘의 선택을 검출한 것에 응답하여 인에이블되는, 가상 제스처의 메뉴를 디스플레이하는 수단을 포함한다. 가상 제스처의 메뉴는 가상 제스처의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 전자 장치는 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출하는 수단; 및 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출한 것에 응답하여 인에이블되는, 각자의 가상 제스처에 대응하는 동작을 수행하는 수단을 포함한다.
어떤 실시예들에 따르면, 디스플레이 및 터치 감응 표면을 갖는 전자 장치에서 사용하기 위한 정보 처리 장치는 가상 제스처 아이콘을 디스플레이하는 수단; 가상 제스처 아이콘의 선택을 검출하는 수단; 및 가상 제스처 아이콘의 선택을 검출한 것에 응답하여 인에이블되는, 가상 제스처의 메뉴를 디스플레이하는 수단을 포함한다. 가상 제스처의 메뉴는 가상 제스처의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 정보 처리 장치는 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출하는 수단; 및 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출한 것에 응답하여 인에이블되는, 각자의 가상 제스처에 대응하는 동작을 수행하는 수단을 포함한다.
어떤 실시예들에 따르면, 디스플레이 및 터치 감응 표면을 갖는 전자 장치에서 방법이 수행된다. 이 방법은 가상 장치 아이콘을 디스플레이하는 단계; 가상 장치 아이콘의 선택을 검출하는 단계; 및 가상 장치 아이콘의 선택을 검출한 것에 응답하여, 가상 장치 동작의 메뉴를 디스플레이하는 단계를 포함한다. 가상 장치 동작의 메뉴는 가상 장치 동작의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 이 방법은 또한 가상 장치 동작의 메뉴 내의 각자의 가상 장치 동작 아이콘의 선택을 검출하는 단계; 및 가상 장치 동작의 메뉴 내의 각자의 가상 장치 동작 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 장치 동작에 대응하는 동작을 수행하는 단계를 포함한다.
어떤 실시예들에 따르면, 전자 장치는 디스플레이, 터치 감응 표면, 하나 이상의 프로세서, 메모리, 및 하나 이상의 프로그램을 포함한다. 하나 이상의 프로그램은 메모리에 저장되어 있고 하나 이상의 프로세서에 의해 실행되도록 구성되어 있다. 하나 이상의 프로그램은 가상 장치 아이콘을 디스플레이하는 명령어들; 가상 장치 아이콘의 선택을 검출하는 명령어들; 및 가상 장치 아이콘의 선택을 검출한 것에 응답하여, 가상 장치 동작의 메뉴를 디스플레이하는 명령어들을 포함한다. 가상 장치 동작의 메뉴는 가상 장치 동작의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 하나 이상의 프로그램은 또한 가상 장치 동작의 메뉴 내의 각자의 가상 장치 동작 아이콘의 선택을 검출하는 명령어들; 및 가상 장치 동작의 메뉴 내의 각자의 가상 장치 동작 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 장치 동작에 대응하는 동작을 수행하는 명령어들을 포함한다.
어떤 실시예들에 따르면, 컴퓨터 판독가능 저장 매체는, 디스플레이 및 터치 감응 표면을 갖는 전자 장치에 의해 실행될 때, 전자 장치로 하여금 가상 장치 아이콘을 디스플레이하고; 가상 장치 아이콘의 선택을 검출하며; 가상 장치 아이콘의 선택을 검출한 것에 응답하여, 가상 장치 동작의 메뉴를 디스플레이하게 하는 명령어들을 저장하고 있다. 가상 장치 동작의 메뉴는 가상 장치 동작의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 이 명령어들은 또한 전자 장치로 하여금 가상 장치 동작의 메뉴 내의 각자의 가상 장치 동작 아이콘의 선택을 검출하고; 가상 장치 동작의 메뉴 내의 각자의 가상 장치 동작 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 장치 동작에 대응하는 동작을 수행하게 한다.
어떤 실시예들에 따르면, 디스플레이, 터치 감응 표면, 메모리, 및 메모리에 저장되어 있는 하나 이상의 프로그램을 실행하는 하나 이상의 프로세서를 갖는 전자 장치 상의 그래픽 사용자 인터페이스는 가상 장치 아이콘을 포함하고 있다. 가상 장치 아이콘의 선택을 검출한 것에 응답하여, 가상 장치 동작의 메뉴가 디스플레이된다. 가상 장치 동작의 메뉴는 가상 장치 동작의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 가상 장치 동작의 메뉴 내의 각자의 가상 장치 동작 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 장치 동작에 대응하는 동작이 수행된다.
어떤 실시예들에 따르면, 전자 장치는 디스플레이; 터치 감응 표면; 가상 장치 아이콘을 디스플레이하는 수단; 가상 장치 아이콘의 선택을 검출하는 수단; 및 가상 장치 아이콘의 선택을 검출한 것에 응답하여 인에이블되는, 가상 장치 동작의 메뉴를 디스플레이하는 수단을 포함한다. 가상 장치 동작의 메뉴는 가상 장치 동작의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 전자 장치는 또한 가상 장치 동작의 메뉴 내의 각자의 가상 장치 동작 아이콘의 선택을 검출하는 수단; 및 가상 장치 동작의 메뉴 내의 각자의 가상 장치 동작 아이콘의 선택을 검출한 것에 응답하여 인에이블되는, 각자의 가상 장치 동작에 대응하는 동작을 수행하는 수단을 포함한다.
어떤 실시예들에 따르면, 디스플레이 및 터치 감응 표면을 갖는 전자 장치에서 사용하기 위한 정보 처리 장치는 가상 장치 아이콘을 디스플레이하는 수단; 가상 장치 아이콘의 선택을 검출하는 수단; 및 가상 장치 아이콘의 선택을 검출한 것에 응답하여 인에이블되는, 가상 장치 동작의 메뉴를 디스플레이하는 수단을 포함한다. 가상 장치 동작의 메뉴는 가상 장치 동작의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 정보 처리 장치는 또한 가상 장치 동작의 메뉴 내의 각자의 가상 장치 동작 아이콘의 선택을 검출하는 수단; 및 가상 장치 동작의 메뉴 내의 각자의 가상 장치 동작 아이콘의 선택을 검출한 것에 응답하여 인에이블되는, 각자의 가상 장치 동작에 대응하는 동작을 수행하는 수단을 포함한다.
어떤 실시예들에 따르면, 디스플레이 및 터치 감응 표면을 갖는 전자 장치에서 방법이 수행된다. 이 방법은 가상 장치 회전 아이콘을 디스플레이하는 단계; 가상 장치 회전 아이콘의 선택을 검출하는 단계; 및 가상 장치 회전 아이콘의 선택을 검출한 것에 응답하여, 가상 장치 배향의 메뉴를 디스플레이하는 단계를 포함한다. 가상 장치 배향의 메뉴는 가상 장치 배향의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 이 방법은 또한 가상 장치 배향의 메뉴 내의 각자의 가상 장치 배향 아이콘의 선택을 검출하는 단계; 및 가상 장치 배향의 메뉴 내의 각자의 가상 장치 배향 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 장치 배향에 따라 디스플레이를 배향시키는 단계를 포함한다.
어떤 실시예들에 따르면, 전자 장치는 디스플레이, 터치 감응 표면, 하나 이상의 프로세서, 메모리, 및 하나 이상의 프로그램을 포함한다. 하나 이상의 프로그램은 메모리에 저장되어 있고 하나 이상의 프로세서에 의해 실행되도록 구성되어 있다. 하나 이상의 프로그램은 가상 장치 회전 아이콘을 디스플레이하는 명령어들; 가상 장치 회전 아이콘의 선택을 검출하는 명령어들; 및 가상 장치 회전 아이콘의 선택을 검출한 것에 응답하여, 가상 장치 배향의 메뉴를 디스플레이하는 명령어들을 포함한다. 가상 장치 배향의 메뉴는 가상 장치 배향의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 하나 이상의 프로그램은 가상 장치 배향의 메뉴 내의 각자의 가상 장치 배향 아이콘의 선택을 검출하는 명령어들; 및 가상 장치 배향의 메뉴 내의 각자의 가상 장치 배향 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 장치 배향에 따라 디스플레이를 배향시키는 명령어들을 포함한다.
어떤 실시예들에 따르면, 컴퓨터 판독가능 저장 매체는, 디스플레이 및 터치 감응 표면을 갖는 전자 장치에 의해 실행될 때, 전자 장치로 하여금 가상 장치 회전 아이콘을 디스플레이하고; 가상 장치 회전 아이콘의 선택을 검출하며; 가상 장치 회전 아이콘의 선택을 검출한 것에 응답하여, 가상 장치 배향의 메뉴를 디스플레이하게 하는 명령어들을 저장하고 있다. 가상 장치 배향의 메뉴는 가상 장치 배향의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 이 명령어들은 또한 전자 장치로 하여금 가상 장치 배향의 메뉴 내의 각자의 가상 장치 배향 아이콘의 선택을 검출하고; 가상 장치 배향의 메뉴 내의 각자의 가상 장치 배향 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 장치 배향에 따라 디스플레이를 배향시키게 한다.
어떤 실시예들에 따르면, 디스플레이, 터치 감응 표면, 메모리, 및 메모리에 저장되어 있는 하나 이상의 프로그램을 실행하는 하나 이상의 프로세서를 갖는 전자 장치 상의 그래픽 사용자 인터페이스는 가상 장치 회전 아이콘을 포함하고 있다. 가상 장치 회전 아이콘의 선택을 검출한 것에 응답하여, 가상 장치 배향의 메뉴가 디스플레이된다. 가상 장치 배향의 메뉴는 가상 장치 배향의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 가상 장치 배향의 메뉴 내의 각자의 가상 장치 배향 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 장치 배향에 따라 디스플레이가 배향된다.
어떤 실시예들에 따르면, 전자 장치는 디스플레이; 터치 감응 표면; 가상 장치 회전 아이콘을 디스플레이하는 수단; 가상 장치 회전 아이콘의 선택을 검출하는 수단; 및 가상 장치 회전 아이콘의 선택을 검출한 것에 응답하여 인에이블되는, 가상 장치 배향의 메뉴를 디스플레이하는 수단을 포함한다. 가상 장치 배향의 메뉴는 가상 장치 배향의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 전자 장치는 또한 가상 장치 배향의 메뉴 내의 각자의 가상 장치 배향 아이콘의 선택을 검출하는 수단; 및 가상 장치 배향의 메뉴 내의 각자의 가상 장치 배향 아이콘의 선택을 검출한 것에 응답하여 인에이블되는, 각자의 가상 장치 배향에 따라 디스플레이를 배향시키는 수단을 포함한다.
어떤 실시예들에 따르면, 디스플레이 및 터치 감응 표면을 갖는 전자 장치에서 사용하기 위한 정보 처리 장치는 가상 장치 회전 아이콘을 디스플레이하는 수단; 가상 장치 회전 아이콘의 선택을 검출하는 수단; 및 가상 장치 회전 아이콘의 선택을 검출한 것에 응답하여 인에이블되는, 가상 장치 배향의 메뉴를 디스플레이하는 수단을 포함한다. 가상 장치 배향의 메뉴는 가상 장치 배향의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 정보 처리 장치는 또한 가상 장치 배향의 메뉴 내의 각자의 가상 장치 배향 아이콘의 선택을 검출하는 수단; 및 가상 장치 배향의 메뉴 내의 각자의 가상 장치 배향 아이콘의 선택을 검출한 것에 응답하여 인에이블되는, 각자의 가상 장치 배향에 따라 디스플레이를 배향시키는 수단을 포함한다.
어떤 실시예들에 따르면, 디스플레이 및 터치 감응 표면을 갖는 전자 장치에서 방법이 수행된다. 이 방법은, 가상 제스처 기록 모드에 있는 동안, 복수의 시각 표시자를 디스플레이 상에 디스플레이하는 단계를 포함한다. 이 방법은 복수의 시각 표시자들 내의 각각의 시각 표시자에 대해, 각자의 시각 표시자에 대한 각자의 사용자 입력을 적응적 입력 장치로부터 수신하는 단계; 각자의 사용자 입력에 따라 각자의 시각 표시자를 이동시키는 단계; 및 각자의 시각 표시자의 움직임에 대응하는 각자의 자취를 각자의 시각 표시자와 함께 동시에 디스플레이하는 단계를 포함한다. 이 방법은 또한 복수의 시각 표시자 및 복수의 시각 표시자의 움직임에 대응하는 사용자-정의 가상 제스처(user-defined virtual gesture)를 생성하는 단계; 사용자-정의 가상 제스처를 전자 장치의 사전 정의된 동작과 연관시키는 단계; 및 사용자-정의 가상 제스처를 저장하는 단계를 포함한다.
어떤 실시예들에 따르면, 전자 장치는 디스플레이, 터치 감응 표면, 하나 이상의 프로세서, 메모리, 및 하나 이상의 프로그램을 포함한다. 하나 이상의 프로그램은 메모리에 저장되어 있고 하나 이상의 프로세서에 의해 실행되도록 구성되어 있다. 하나 이상의 프로그램은 가상 제스처 기록 모드에 있는 동안, 복수의 시각 표시자를 디스플레이 상에 디스플레이하는 명령어들을 포함한다. 하나 이상의 프로그램은 복수의 시각 표시자들 내의 각각의 시각 표시자에 대해: 각자의 시각 표시자에 대한 각자의 사용자 입력을 적응적 입력 장치로부터 수신하는 명령어들; 각자의 사용자 입력에 따라 각자의 시각 표시자를 이동시키는 명령어들; 및 각자의 시각 표시자의 움직임에 대응하는 각자의 자취를 각자의 시각 표시자와 함께 동시에 디스플레이하는 명령어들을 포함한다. 하나 이상의 프로그램은 또한 복수의 시각 표시자 및 복수의 시각 표시자의 움직임에 대응하는 사용자-정의 가상 제스처를 생성하는 명령어들; 사용자-정의 가상 제스처를 전자 장치의 사전 정의된 동작과 연관시키는 명령어들; 및 사용자-정의 가상 제스처를 저장하는 명령어들을 포함한다.
어떤 실시예들에 따르면, 컴퓨터 판독가능 저장 매체는, 디스플레이 및 터치 감응 표면을 갖는 전자 장치에 의해 실행될 때, 전자 장치로 하여금 가상 제스처 기록 모드에 있는 동안, 복수의 시각 표시자를 디스플레이 상에 디스플레이하게 하는 명령어들을 저장하고 있다. 이 명령어들은 전자 장치로 하여금 복수의 시각 표시자들 내의 각각의 시각 표시자에 대해: 각자의 시각 표시자에 대한 각자의 사용자 입력을 적응적 입력 장치로부터 수신하고; 각자의 사용자 입력에 따라 각자의 시각 표시자를 이동시키며; 각자의 시각 표시자의 움직임에 대응하는 각자의 자취를 각자의 시각 표시자와 함께 동시에 디스플레이하게 한다. 이 명령어들은 또한 전자 장치로 하여금 복수의 시각 표시자 및 복수의 시각 표시자의 움직임에 대응하는 사용자-정의 가상 제스처를 생성하고; 사용자-정의 가상 제스처를 전자 장치의 사전 정의된 동작과 연관시키며; 사용자-정의 가상 제스처를 저장하게 한다.
어떤 실시예들에 따르면, 디스플레이, 터치 감응 표면, 메모리, 및 메모리에 저장되어 있는 하나 이상의 프로그램을 실행하는 하나 이상의 프로세서를 갖는 전자 장치 상의 그래픽 사용자 인터페이스는 가상 제스처 기록 모드에 있는 동안 디스플레이 상에 복수의 시각 표시자를 포함하고 있다. 복수의 시각 표시자들 내의 각각의 시각 표시자에 대해: 각자의 시각 표시자에 대한 각자의 사용자 입력이 적응적 입력 장치로부터 수신되며; 각자의 사용자 입력에 따라 각자의 시각 표시자가 이동되고; 각자의 시각 표시자의 움직임에 대응하는 각자의 자취가 각자의 시각 표시자와 함께 동시에 디스플레이된다. 복수의 시각 표시자 및 복수의 시각 표시자의 움직임에 대응하는 사용자-정의 가상 제스처가 생성된다. 사용자-정의 가상 제스처가 전자 장치의 사전 정의된 동작과 연관된다. 사용자-정의 가상 제스처가 저장된다.
어떤 실시예들에 따르면, 전자 장치는 디스플레이; 터치 감응 표면; 및 가상 제스처 기록 모드에 있는 동안 인에이블되는, 복수의 시각 표시자를 디스플레이 상에 디스플레이하는 수단을 포함한다. 전자 장치는 복수의 시각 표시자들 내의 각각의 시각 표시자에 대해: 각자의 시각 표시자에 대한 각자의 사용자 입력을 적응적 입력 장치로부터 수신하는 수단; 각자의 사용자 입력에 따라 각자의 시각 표시자를 이동시키는 수단; 및 각자의 시각 표시자의 움직임에 대응하는 각자의 자취를 각자의 시각 표시자와 함께 동시에 디스플레이하는 수단을 포함한다. 전자 장치는 또한 복수의 시각 표시자 및 복수의 시각 표시자의 움직임에 대응하는 사용자-정의 가상 제스처를 생성하는 수단; 사용자-정의 가상 제스처를 전자 장치의 사전 정의된 동작과 연관시키는 수단; 및 사용자-정의 가상 제스처를 저장하는 수단을 포함한다.
어떤 실시예들에 따르면, 디스플레이 및 터치 감응 표면을 갖는 전자 장치에서 사용하기 위한 정보 처리 장치는 가상 제스처 기록 모드에 있는 동안 인에이블되는, 복수의 시각 표시자를 디스플레이 상에 디스플레이하는 수단을 포함한다. 정보 처리 장치는 복수의 시각 표시자들 내의 각각의 시각 표시자에 대해: 각자의 시각 표시자에 대한 각자의 사용자 입력을 적응적 입력 장치로부터 수신하는 수단; 각자의 사용자 입력에 따라 각자의 시각 표시자를 이동시키는 수단; 및 각자의 시각 표시자의 움직임에 대응하는 각자의 자취를 각자의 시각 표시자와 함께 동시에 디스플레이하는 수단을 포함한다. 정보 처리 장치는 또한 복수의 시각 표시자 및 복수의 시각 표시자의 움직임에 대응하는 사용자-정의 가상 제스처를 생성하는 수단; 사용자-정의 가상 제스처를 전자 장치의 사전 정의된 동작과 연관시키는 수단; 및 사용자-정의 가상 제스처를 저장하는 수단을 포함한다.
어떤 실시예들에 따르면, 전자 장치는 가상 터치에 대응하는 제1 시각 표시자를 디스플레이하도록 구성되어 있는 디스플레이 유닛; 손가락 접촉을 수신하도록 구성되어 있는 터치 감응 표면 유닛; 및 디스플레이 유닛 및 터치 감응 표면 유닛에 결합되어 있는 처리 유닛을 포함한다. 처리 유닛은 적응적 입력 장치로부터 제1 입력을 수신하고; 적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여, 디스플레이 유닛 상에 제1 메뉴를 디스플레이하는 것을 인에이블시키도록 구성되어 있다. 제1 메뉴는 가상 터치 선택 아이콘을 포함한다. 가상 터치 선택 아이콘의 선택을 검출한 것에 응답하여, 가상 멀티터치 접촉의 메뉴가 디스플레이된다.
어떤 실시예들에 따르면, 전자 장치는 가상 터치에 대응하는 제1 시각 표시자를 디스플레이하도록 구성되어 있는 디스플레이 유닛; 손가락 접촉을 수신하도록 구성되어 있는 터치 감응 표면 유닛; 및 디스플레이 유닛 및 터치 감응 표면 유닛에 결합되어 있는 처리 유닛을 포함한다. 처리 유닛은 적응적 입력 장치로부터 제1 입력을 수신하고; 적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여, 가상 멀티터치 접촉의 메뉴를 디스플레이하는 것을 인에이블시키도록 구성되어 있다. 가상 멀티터치 접촉의 메뉴는 가상 멀티터치 접촉의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 처리 유닛은 가상 멀티터치 접촉의 메뉴 내의 각자의 가상 멀티터치 접촉 아이콘의 선택을 검출하고; 가상 멀티터치 접촉의 메뉴 내의 각자의 가상 멀티터치 접촉 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 멀티터치 접촉 아이콘에 대응하는 하나 이상의 제2 시각 표시자를 디스플레이하는 것을 인에이블시키도록 구성되어 있다.
어떤 실시예들에 따르면, 전자 장치는 가상 터치에 대응하는 제1 시각 표시자를 디스플레이하도록 구성되어 있는 디스플레이 유닛; 손가락 접촉을 수신하도록 구성되어 있는 터치 감응 표면 유닛; 및 디스플레이 유닛 및 터치 감응 표면 유닛에 결합되어 있는 처리 유닛을 포함한다. 처리 유닛은 적응적 입력 장치로부터 제1 입력을 수신하고; 적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여, 가상 제스처의 메뉴를 디스플레이하는 것을 인에이블시키도록 구성되어 있다. 가상 제스처의 메뉴는 가상 제스처의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 처리 유닛은 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출하고; 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 제스처 아이콘에 대응하는 다수의 시각 표시자를 디스플레이하는 것을 인에이블시키도록 구성되어 있다. 처리 유닛은 적응적 입력 장치로부터 제2 입력을 수신하고; 적응적 입력 장치로부터 제2 입력을 수신한 것에 응답하여, 각자의 가상 제스처에 따라 동작을 수행하도록 구성되어 있다.
어떤 실시예들에 따르면, 전자 장치는 핀치/디핀치 제스처 아이콘을 디스플레이하도록 구성되어 있는 디스플레이 유닛; 손가락 접촉을 수신하도록 구성되어 있는 터치 감응 표면 유닛; 및 디스플레이 유닛 및 터치 감응 표면 유닛에 결합되어 있는 처리 유닛을 포함한다. 처리 유닛은 가상 핀치/디핀치 제스처 아이콘의 선택을 검출하고; 가상 핀치/디핀치 제스처 아이콘의 선택을 검출한 것에 응답하여, 가상 핀치/디핀치 제스처에서의 접촉들에 대응하는 2개의 시각 표시자를 디스플레이하는 것을 인에이블시키도록 구성되어 있다. 처리 유닛은 적응적 입력 장치로부터 입력을 수신하고; 적응적 입력 장치로부터 입력을 수신한 것에 응답하여, 각자의 가상 핀치/디핀치 제스처에 따라 줌 동작을 수행하도록 구성되어 있다.
어떤 실시예들에 따르면, 전자 장치는 가상 제스처 아이콘을 디스플레이하도록 구성되어 있는 디스플레이 유닛; 손가락 접촉을 수신하도록 구성되어 있는 터치 감응 표면 유닛; 및 디스플레이 유닛 및 터치 감응 표면 유닛에 결합되어 있는 처리 유닛을 포함한다. 처리 유닛은 가상 제스처 아이콘의 선택을 검출하고; 가상 제스처 아이콘의 선택을 검출한 것에 응답하여, 가상 제스처의 메뉴를 디스플레이하는 것을 인에이블시키도록 구성되어 있다. 가상 제스처의 메뉴는 가상 제스처의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 처리 유닛은 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출하고; 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 제스처에 대응하는 동작을 수행하도록 구성되어 있다.
어떤 실시예들에 따르면, 전자 장치는 가상 장치 아이콘을 디스플레이하도록 구성되어 있는 디스플레이 유닛; 손가락 접촉을 수신하도록 구성되어 있는 터치 감응 표면 유닛; 및 디스플레이 유닛 및 터치 감응 표면 유닛에 결합되어 있는 처리 유닛을 포함한다. 처리 유닛은 가상 장치 아이콘의 선택을 검출하고; 가상 장치 아이콘의 선택을 검출한 것에 응답하여, 가상 장치 동작의 메뉴를 디스플레이하는 것을 인에이블시키도록 구성되어 있다. 가상 장치 동작의 메뉴는 가상 장치 동작의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 처리 유닛은 가상 장치 동작의 메뉴 내의 각자의 가상 장치 동작 아이콘의 선택을 검출하고; 가상 장치 동작의 메뉴 내의 각자의 가상 장치 동작 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 장치 동작에 대응하는 동작을 수행하도록 구성되어 있다.
어떤 실시예들에 따르면, 전자 장치는 가상 장치 회전 아이콘을 디스플레이하도록 구성되어 있는 디스플레이 유닛; 손가락 접촉을 수신하도록 구성되어 있는 터치 감응 표면 유닛; 및 디스플레이 유닛 및 터치 감응 표면 유닛에 결합되어 있는 처리 유닛을 포함한다. 처리 유닛은 가상 장치 회전 아이콘의 선택을 검출하고; 가상 장치 회전 아이콘의 선택을 검출한 것에 응답하여, 가상 장치 배향의 메뉴를 디스플레이하는 것을 인에이블시키도록 구성되어 있다. 가상 장치 배향의 메뉴는 가상 장치 배향의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 처리 유닛은 가상 장치 배향의 메뉴 내의 각자의 가상 장치 배향 아이콘의 선택을 검출하고; 가상 장치 배향의 메뉴 내의 각자의 가상 장치 배향 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 장치 배향에 따라 디스플레이를 배향시키도록 구성되어 있다.
어떤 실시예들에 따르면, 전자 장치는 시각 표시자를 디스플레이하도록 구성되어 있는 디스플레이 유닛; 손가락 접촉을 수신하도록 구성되어 있는 터치 감응 표면 유닛; 및 디스플레이 유닛 및 터치 감응 표면 유닛에 결합되어 있는 처리 유닛을 포함한다. 처리 유닛은 가상 제스처 기록 모드에 있는 동안, 복수의 시각 표시자를 디스플레이 유닛 상에 디스플레이하는 것을 인에이블시키도록 구성되어 있다. 처리 유닛은 복수의 시각 표시자들 내의 각각의 시각 표시자에 대해: 각자의 시각 표시자에 대한 각자의 사용자 입력을 적응적 입력 장치로부터 수신하고; 각자의 사용자 입력에 따라 각자의 시각 표시자를 이동시키며; 각자의 시각 표시자 및 각자의 시각 표시자의 움직임에 대응하는 각자의 자취를 동시에 디스플레이하는 것을 인에이블시키도록 구성되어 있다. 처리 유닛은 복수의 시각 표시자 및 복수의 시각 표시자의 움직임에 대응하는 사용자-정의 가상 제스처를 생성하고; 사용자-정의 가상 제스처를 전자 장치의 사전 정의된 동작과 연관시키며; 사용자-정의 가상 제스처를 저장하도록 구성되어 있다.
따라서, 터치-기반 사용자 인터페이스를 갖는 전자 장치가 이들 장치를 사용자가 그의 손으로 소근육 운동을 하는 일 없이 액세스할 수 있게 해주는 방법 및 인터페이스와 함께 제공된다.
본 발명의 상기한 실시예는 물론 본 발명의 부가적인 실시예의 보다 나은 이해를 위해, 유사한 참조 번호가 도면 전체에 걸쳐 대응하는 부분을 가리키고 있는 첨부 도면과 관련하여 실시예에 대한 설명이 이하에 기술될 것이다.
도 1a는 어떤 실시예들에 따른 터치 감응 디스플레이를 갖는 휴대용 다기능 장치를 나타낸 블록도.
도 1b는 어떤 실시예들에 따른 예시적인 이벤트 처리 구성요소를 나타낸 블록도.
도 2는 어떤 실시예들에 따른, 터치 스크린을 가지는 휴대용 다기능 장치를 나타낸 도면.
도 3은 어떤 실시예들에 따른 디스플레이 및 터치 감응 표면을 갖는 예시적인 다기능 장치의 블록도.
도 4a는 어떤 실시예들에 따른, 휴대용 다기능 장치 상의 응용 프로그램의 메뉴에 대한 예시적인 사용자 인터페이스를 나타낸 도면.
도 4b는 어떤 실시예들에 따른, 디스플레이와 분리되어 있는 터치 감응 표면을 갖는 다기능 장치의 예시적인 사용자 인터페이스를 나타낸 도면.
도 4c는 어떤 실시예들에 따른, 다기능 장치에 대한 예시적인 적응적 입력 장치를 나타낸 도면.
도 5a 내지 도 5ac는 어떤 실시예들에 따른, 터치-기반 사용자 인터페이스에 대한 접근성을 제공하는 예시적인 사용자 인터페이스를 나타낸 도면.
도 6a 내지 도 6e는 어떤 실시예들에 따른, 터치-기반 사용자 인터페이스에 대한 접근성을 제공하는 방법을 나타낸 흐름도.
도 7은 어떤 실시예들에 따른, 가상 멀티터치 접촉 아이콘의 메뉴를 사용하는 방법을 나타낸 흐름도.
도 8은 어떤 실시예들에 따른, 가상 제스처의 메뉴를 사용하는 방법을 나타낸 흐름도.
도 9는 어떤 실시예들에 따른, 가상 핀치 제스처를 수행하는 방법을 나타낸 흐름도.
도 10은 어떤 실시예들에 따른, 가상 제스처의 메뉴를 사용하는 방법을 나타낸 흐름도.
도 11은 어떤 실시예들에 따른, 가상 장치 동작의 메뉴를 사용하는 방법을 나타낸 흐름도.
도 12는 어떤 실시예들에 따른, 가상 장치 배향의 메뉴를 사용하는 방법을 나타낸 흐름도.
도 13은 어떤 실시예들에 따른, 사용자-정의 가상 제스처를 생성하는 방법을 나타낸 흐름도.
도 14는 어떤 실시예들에 따른 전자 장치의 기능 블록도.
도 15는 어떤 실시예들에 따른 전자 장치의 기능 블록도.
도 16은 어떤 실시예들에 따른 전자 장치의 기능 블록도.
도 17은 어떤 실시예들에 따른 전자 장치의 기능 블록도.
도 18은 어떤 실시예들에 따른 전자 장치의 기능 블록도.
도 19는 어떤 실시예들에 따른 전자 장치의 기능 블록도.
도 1a는 어떤 실시예들에 따른 터치 감응 디스플레이를 갖는 휴대용 다기능 장치를 나타낸 블록도.
도 1b는 어떤 실시예들에 따른 예시적인 이벤트 처리 구성요소를 나타낸 블록도.
도 2는 어떤 실시예들에 따른, 터치 스크린을 가지는 휴대용 다기능 장치를 나타낸 도면.
도 3은 어떤 실시예들에 따른 디스플레이 및 터치 감응 표면을 갖는 예시적인 다기능 장치의 블록도.
도 4a는 어떤 실시예들에 따른, 휴대용 다기능 장치 상의 응용 프로그램의 메뉴에 대한 예시적인 사용자 인터페이스를 나타낸 도면.
도 4b는 어떤 실시예들에 따른, 디스플레이와 분리되어 있는 터치 감응 표면을 갖는 다기능 장치의 예시적인 사용자 인터페이스를 나타낸 도면.
도 4c는 어떤 실시예들에 따른, 다기능 장치에 대한 예시적인 적응적 입력 장치를 나타낸 도면.
도 5a 내지 도 5ac는 어떤 실시예들에 따른, 터치-기반 사용자 인터페이스에 대한 접근성을 제공하는 예시적인 사용자 인터페이스를 나타낸 도면.
도 6a 내지 도 6e는 어떤 실시예들에 따른, 터치-기반 사용자 인터페이스에 대한 접근성을 제공하는 방법을 나타낸 흐름도.
도 7은 어떤 실시예들에 따른, 가상 멀티터치 접촉 아이콘의 메뉴를 사용하는 방법을 나타낸 흐름도.
도 8은 어떤 실시예들에 따른, 가상 제스처의 메뉴를 사용하는 방법을 나타낸 흐름도.
도 9는 어떤 실시예들에 따른, 가상 핀치 제스처를 수행하는 방법을 나타낸 흐름도.
도 10은 어떤 실시예들에 따른, 가상 제스처의 메뉴를 사용하는 방법을 나타낸 흐름도.
도 11은 어떤 실시예들에 따른, 가상 장치 동작의 메뉴를 사용하는 방법을 나타낸 흐름도.
도 12는 어떤 실시예들에 따른, 가상 장치 배향의 메뉴를 사용하는 방법을 나타낸 흐름도.
도 13은 어떤 실시예들에 따른, 사용자-정의 가상 제스처를 생성하는 방법을 나타낸 흐름도.
도 14는 어떤 실시예들에 따른 전자 장치의 기능 블록도.
도 15는 어떤 실시예들에 따른 전자 장치의 기능 블록도.
도 16은 어떤 실시예들에 따른 전자 장치의 기능 블록도.
도 17은 어떤 실시예들에 따른 전자 장치의 기능 블록도.
도 18은 어떤 실시예들에 따른 전자 장치의 기능 블록도.
도 19는 어떤 실시예들에 따른 전자 장치의 기능 블록도.
터치 감응 표면을 효과적으로 조작할 수 없는 사용자들이 그럼에도 불구하고 터치-기반 사용자 인터페이스를 갖는 전자 장치를 조작할 수 있게 해주는 장치 및 방법이 이하에 기술되어 있다. 본 명세서에 기술되어 있는 방법은
- 실제의 터치를 에뮬레이트하기 위해 가상 터치에 대응하는 시각 표시자를 사용하는 것;
- 에뮬레이트되고 있는 멀티터치 접촉의 유형을 선택하기 위해 적응적 입력 장치(예컨대, 조이스틱)로부터의 입력과 함께 가상 멀티터치 접촉의 메뉴를 사용하는 것;
- 터치 감응 표면 상에서의 실제의 제스처를 선택하고 에뮬레이트하기 위해 적응적 입력 장치로부터의 입력과 함께 가상 제스처의 메뉴를 사용하는 것;
- 터치 감응 표면 상에서의 핀치/디핀치 제스처를 에뮬레이트하기 위해 적응적 입력 장치로부터의 입력과 함께 (2개의 가상 터치에 대응하는) 2개의 시각 표시자를 사용하는 것;
- 전자 장치 상의 물리 컨트롤(예컨대, 음소거 스위치, 잠금 스위치, 볼륨 버튼)의 활성화를 통해 또는 가속도계에 의해 검출된 활동(예컨대, 장치 흔들기 또는 장치 회전)에 응답하여 보통 수행되는 동작을 선택하고 에뮬레이트하기 위해 적응적 입력 장치로부터의 입력과 함께 가상 장치 동작의 메뉴를 사용하는 것;
- 디스플레이 배향을 제어하기 위해 적응적 입력 장치로부터의 입력과 함께 가상 장치 배향의 메뉴를 사용하는 것; 및
- 사용자-정의 커스텀 가상 제스처(user-defined, custom virtual gesture)를 생성하기 위해 적응적 입력 장치로부터의 입력을 사용하는 것을 포함한다.
이들 방법은 사용자가 터치 감응 표면과 상호작용하도록 설계되어 있는 동작(예컨대, 한번 터치 및 멀티터치 제스처)을 터치 감응 표면을 사용하지 않는 사용자들에 의해 액세스될 수 있게 만들어준다.
이하에서, 도 1a, 도 1b, 도 2 및 도 3은 예시적인 장치들에 대한 설명을 제공한다. 도 4c는 적응적 입력 장치와 결합되어 있는 예시적인 장치에 대한 설명을 제공한다. 도 4a, 도 4b, 도 5a 내지 도 5ac는 터치-기반 사용자 인터페이스에 대한 접근성을 제공하는 예시적인 사용자 인터페이스를 나타낸 것이다. 도 6a 내지 도 6e 및 도 7 내지 도 13은 터치-기반 사용자 인터페이스에 대한 접근성을 제공하는 방법을 나타낸 흐름도이다. 도 5a 내지 도 5ac의 사용자 인터페이스는 도 6a 내지 도 6e 및 도 7 내지 도 13의 프로세스를 설명하는 데 사용된다.
예시적인 장치
이제부터, 실시예에 대해 상세히 언급할 것이며, 이들 실시예의 일례가 첨부 도면에 예시되어 있다. 이하의 상세한 설명에서, 본 발명의 완전한 이해를 제공하기 위해 다수의 구체적인 상세가 기술되어 있다. 그렇지만, 본 발명이 이들 구체적인 상세 없이도 실시될 수 있다는 것이 당업자에게는 명백할 것이다. 다른 경우들에, 이 실시예의 측면을 불필요하게 모호하게 하지 않기 위해 공지의 방법, 절차, 구성요소, 회로 및 네트워크에 대해서는 상세히 설명하지 않고 있다.
또한, 제1, 제2, 기타와 같은 용어가 본 명세서에서 다양한 요소를 기술하는 데 사용될 수 있지만, 이들 용어에 의해 이들 요소가 제한되어서는 안된다는 것을 잘 알 것이다. 이들 용어는 단지 한 요소를 다른 요소와 구분하는 데만 사용된다. 예를 들어, 본 발명의 범위를 벗어나지 않고, 제1 접촉은 제2 접촉이라고 할 수 있고, 이와 유사하게 제2 접촉은 제1 접촉이라고 할 수 있다. 제1 접촉 및 제2 접촉 둘다는 접촉이지만, 이들이 동일한 접촉은 아니다.
본 명세서에서 발명을 설명하는 데 사용된 용어들은 단지 특정의 실시예들을 설명하기 위한 것이며 본 발명을 제한하기 위한 것이 아니다. 본 발명의 설명 및 첨부된 특허청구범위에서 사용되는 바와 같이, 단수 형태 "어떤", "한" 및 "그"는, 문맥이 명확하게 다른 것을 말하지 않는 한, 복수 형태를 포함하는 것으로 보아야 한다. 또한, 용어 "및/또는"은, 본 명세서에서 사용되는 바와 같이, 열거된 관련 항목들 중 하나 이상의 항목의 모든 가능한 조합을 말하고 또한 포괄한다는 것을 잘 알 것이다. 또한, 용어 "포함한다", "포함하는", "구비한다" 및/또는 "구비하는"이 본 명세서에서 사용될 때 언급한 특징, 정수, 단계, 동작, 요소, 및/또는 구성요소가 존재함을 명시하는 것이고 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는다는 것을 잘 알 것이다.
본 명세서에서 사용되는 바와 같이, "~인 경우"라는 용어는, 문맥에 따라, "~일 때" 또는 "~ 시에" 또는 "~라고 판정한 것에 응답하여" 또는 '~을 검출한 것에 응답하여'를 의미하는 것으로 해석될 수 있다. 이와 유사하게, "~라고 판정되는 경우" 또는 "[언급된 조건 또는 이벤트가] 검출되는 경우"는, 문맥에 따라, "~라고 판정할 시에" 또는 "~라고 판정하는 것에 응답하여" 또는 "(언급된 조건 또는 이벤트를) 검출할 시에" 또는 "(언급된 조건 또는 이벤트를) 검출한 것에 응답하여"를 의미하는 것으로 해석될 수 있다.
전자 장치, 이러한 장치에 대한 사용자 인터페이스, 및 이러한 장치를 사용하는 관련 프로세스가 기술되어 있다. 어떤 실시예들에서, 장치는 PDA 및/또는 음악 플레이어 기능과 같은 다른 기능도 포함하는 휴대폰과 같은 휴대용 통신 장치이다. 휴대용 다기능 장치의 예시적인 실시예는 미국 캘리포니아주 쿠퍼티노 소재의 Apple Inc.로부터의 아이폰®, 아이팟 터치®, 및 아이패드®를 포함하지만, 이들로 제한되지 않는다. 터치 감응 표면(예컨대, 터치 스크린 디스플레이 및/또는 터치 패드)을 갖는 랩톱 또는 태블릿 컴퓨터 등의 다른 휴대용 전자 장치도 역시 사용될 수 있다. 또한, 어떤 실시예들에서, 이 장치가 휴대용 통신 장치가 아니라, 터치 감응 표면을 갖는 데스크톱 컴퓨터(예컨대, 터치 스크린 디스플레이 및/또는 터치 패드)라는 것을 잘 알 것이다.
이하의 논의에서, 디스플레이 및 터치 감응 표면을 포함하는 전자 장치가 기술되어 있다. 그렇지만, 전자 장치가 물리적 키보드, 마우스 및/또는 조이스틱과 같은 하나 이상의 다른 물리적 사용자 인터페이스 장치를 포함하거나 [예컨대, 유선 또는 무선 통신 채널(484, 도 4c)에 의해] 그에 연결될 수 있다는 것을 잘 알 것이다.
이 장치는 통상적으로 그리기 응용 프로그램, 프레젠테이션 응용 프로그램, 워드 프로세싱 응용 프로그램, 웹 사이트 제작 응용 프로그램, 디스크 저작 응용 프로그램, 스프레드시트 응용 프로그램, 게임 응용 프로그램, 전화 응용 프로그램, 화상 회의 응용 프로그램, 이메일 응용 프로그램, 인스턴트 메시징 응용 프로그램, 운동 보조 응용 프로그램, 사진 관리 응용 프로그램, 디지털 카메라 응용 프로그램, 디지털 비디오 카메라 응용 프로그램, 웹 브라우징 응용 프로그램, 디지털 음악 플레이어 응용 프로그램, 및/또는 디지털 비디오 플레이어 응용 프로그램 중 하나 이상과 같은 각종의 응용 프로그램을 지원한다.
장치 상에서 실행될 수 있는 다양한 응용 프로그램은 터치 감응 표면과 같은 적어도 하나의 공통의 물리적 사용자 인터페이스 장치를 사용할 수 있다. 터치 감응 표면의 하나 이상의 기능은 물론 장치 상에 디스플레이되는 대응하는 정보가 응용 프로그램마다 및/또는 각자의 응용 프로그램 내에서 조절되고 및/또는 변화될 수 있다. 이러한 방식으로, 장치의 공통의 물리적 아키텍처(터치 감응 표면 등)가 직관적이고 사용자에게 투명한 사용자 인터페이스를 갖는 각종의 응용 프로그램을 지원할 수 있다.
이제부터, 터치 감응 디스플레이를 갖는 휴대용 장치의 실시예들에 대해 중점적으로 기술한다. 도 1a는 어떤 실시예들에 따른 터치 감응 디스플레이(112)를 갖는 휴대용 다기능 장치(100)를 나타낸 블록도이다. 터치 감응 디스플레이(112)는 때때로 편의상 "터치 스크린"이라고 하고, 또한 터치 감응 디스플레이 시스템이라고 알려져 있거나 그것으로 불리울 수 있다. 장치(100)는 메모리(102)(하나 이상의 비일시적 컴퓨터 판독가능 저장 매체를 포함할 수 있음), 메모리 제어기(122), 하나 이상의 처리 장치(CPU)(120), 주변 장치 인터페이스(118), RF 회로(108), 오디오 회로(110), 스피커(111), 마이크(113), 입/출력(I/O) 서브시스템(106), 기타 입력 또는 제어 장치(116), 및 외부 포트(124)를 포함할 수 있다. 장치(100)는 하나 이상의 광 센서(164)를 포함할 수 있다. 이들 구성요소는 하나 이상의 통신 버스 또는 신호선(103)을 통해 통신할 수 있다.
장치(100)가 휴대용 다기능 장치의 한 예에 불과하다는 것과 장치(100)가 도시된 것보다 더 많거나 더 적은 구성요소를 가질 수 있거나, 2개 이상의 구성요소를 겸비할 수 있거나, 구성요소들의 상이한 구성 또는 배열을 가질 수 있다는 것을 잘 알 것이다. 하나 이상의 신호 처리 및/또는 ASIC(application specific integrated circuit)을 비롯한 도 1a에 도시된 다양한 구성요소들이 하드웨어로, 소프트웨어로, 또는 하드웨어와 소프트웨어 둘 다의 조합으로 구현될 수 있다.
메모리(102)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고상 메모리 장치와 같은 비휘발성 메모리를 포함할 수 있다. CPU(120) 및 주변 장치 인터페이스(118)와 같은 장치(100)의 다른 구성요소가 메모리(102)에 액세스하는 것이 메모리 제어기(122)에 의해 제어될 수 있다.
주변 장치 인터페이스(118)는 장치의 입력 및 출력 주변 장치를 CPU(120) 및 메모리(102)에 결합시키는 데 사용될 수 있다. 하나 이상의 프로세서(120)는, 장치(100)의 다양한 기능을 수행하고 데이터를 처리하기 위해, 메모리(102)에 저장되어 있는 다양한 소프트웨어 프로그램 및/또는 명령어 집합을 실행한다.
어떤 실시예들에서, 주변장치 인터페이스(118), CPU(120) 및 메모리 제어기(122)는 칩(104)과 같은 단일 칩 상에 구현될 수 있다. 어떤 다른 실시예에서, 이들은 개별 칩 상에 구현될 수 있다.
RF(radio frequency) 회로(108)는 RF 신호(전자기 신호라고도 함)를 수신하고 송신한다. RF 회로(108)는 전기 신호를 전자기 신호로/전자기 신호를 전기 신호로 변환하고 전자기 신호를 통해 통신 네트워크 및 기타 통신 장치와 통신한다. RF 회로(108)는 안테나 시스템, RF 송수신기, 하나 이상의 증폭기, 튜너, 하나 이상의 발진기, 디지털 신호 처리기, 코덱 칩셋, SIM(subscriber identity module) 카드, 메모리(이들로 제한되지 않음) 등을 비롯한, 이들 기능을 수행하는 공지의 회로를 포함할 수 있다. RF 회로(108)는 무선 통신에 의해 인터넷[월드 와이드 웹(WWW)이라고도 함], 인트라넷 및/또는 무선 네트워크[휴대 전화 네트워크, 무선 LAN(local area network) 및/또는 MAN(metropolitan area network) 등]와 같은 네트워크 및 기타 장치와 통신할 수 있다. 무선 통신은 GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), HSDPA(high-speed downlink packet access), HSUPA(high-speed uplink packet access), W-CDMA(wideband code division multiple access), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스, Wi-Fi(Wireless Fidelity)(예컨대, IEEE 802.11a, IEEE 802.11b, IEEE 802.11g 및/또는 IEEE 802.11n), VoIP(voice over Internet Protocol), Wi-MAX, 이메일을 위한 프로토콜[예컨대, IMAP(Internet message access protocol) 및/또는 POP(post office protocol)], 인스턴트 메시징[예컨대, XMPP(extensible messaging and presence protocol), SIMPLE(Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions), IMPS(Instant Messaging and Presence Service)], 및/또는 SMS(Short Message Service), 또는 임의의 다른 적당한 통신 프로토콜(본 문서의 출원일 무렵에 아직 개발되지 않은 통신 프로토콜을 포함함)(이들로 제한되지 않음)을 비롯한 복수의 통신 표준, 프로토콜 및 기술 중 임의의 것을 사용할 수 있다.
오디오 회로(110), 스피커(111), 및 마이크(113)는 사용자와 장치(100) 사이의 오디오 인터페이스를 제공한다. 오디오 회로(110)는 주변 장치 인터페이스(118)로부터 오디오 데이터를 수신하고, 오디오 데이터를 전기 신호로 변환하며, 전기 신호를 스피커(111)로 전송한다. 스피커(111)는 전기 신호를 사람이 들을 수 있는 음파로 변환한다. 오디오 회로(110)는 또한 마이크(113)에 의해 음파로부터 변환된 전기 신호를 수신한다. 오디오 회로(110)는 전기 신호를 오디오 데이터로 변환하고, 처리를 위해 오디오 데이터를 주변 장치 인터페이스(118)로 전송한다. 오디오 데이터는 메모리(102)로부터 검색되고 및/또는 주변 장치 인터페이스(118)에 의해 RF 회로(108)로 전송될 수 있다. 어떤 실시예들에서, 오디오 회로(110)는 또한 헤드셋 잭(예를 들어, 도 2의 212)을 포함하고 있다. 헤드셋 잭은 오디오 회로(110)와 이동식 오디오 입/출력 주변 장치[출력 전용 헤드폰 또는 출력(예컨대, 한쪽 귀 또는 양쪽 귀를 위한 헤드폰) 및 입력(예컨대, 마이크) 둘 다를 갖는 헤드셋 등] 사이의 인터페이스를 제공한다.
I/O 서브시스템(106)은 장치(100) 상의 입/출력 주변 장치[터치 스크린(112) 및 기타 입력/제어 장치(116) 등]를 주변 장치 인터페이스(118)에 결합시킨다. I/O 서브시스템(106)은 디스플레이 제어기(156) 및 다른 입력 또는 제어 장치에 대한 하나 이상의 입력 제어기(160)를 포함할 수 있다. 하나 이상의 입력 제어기(160)는 기타 입력 또는 제어 장치(116)로부터/로 전기 신호를 수신/송신한다. 기타 입력/제어 장치(116)는 물리적 버튼[예컨대, 푸시 버튼, 로커 버튼(rocker button) 등], 다이얼, 슬라이더 스위치, 조이스틱, 클릭 휘일 등을 포함하고 있을 수 있다. 어떤 대안의 실시예들에서, 입력 제어기(들)(160)는 키보드, 적외선 포트, USB 포트, 및 마우스와 같은 포인터 장치 중 임의의 것에 결합될 수 있다(또는 그 중 아무 것에도 결합되지 않을 수 있다). 하나 이상의 버튼(예컨대, 도 2의 208)은 스피커(111) 및/또는 마이크(113)의 볼륨 제어를 위한 업/다운 버튼을 포함할 수 있다. 하나 이상의 버튼은 푸시 버튼(예컨대, 도 2의 206)을 포함할 수 있다.
터치 감응 디스플레이(112)는 장치와 사용자 사이의 입력 인터페이스 및 출력 인터페이스를 제공한다. 디스플레이 제어기(156)는 전기 신호를 터치 스크린(112)으로부터/으로 수신 및/또는 송신한다. 터치 스크린(112)은 사용자에게 시각적 출력을 디스플레이한다. 시각적 출력은 그래픽, 텍스트, 아이콘, 비디오, 및 이들의 임의의 조합(모두 합하여 "그래픽"이라고 함)을 포함할 수 있다. 어떤 실시예들에서, 시각적 출력의 일부 또는 전부는 사용자 인터페이스 객체에 대응할 수 있다.
터치 스크린(112)은 햅틱 및/또는 촉각 접촉에 기초한 사용자로부터의 입력을 받는 터치 감응 표면, 센서 또는 한 세트의 센서를 가진다. 터치 스크린(112) 및 디스플레이 제어기(156)는 [메모리(102) 내의 임의의 연관된 모듈 및/또는 명령어 집합과 함께] 터치 스크린(112) 상의 접촉(및 접촉의 임의의 움직임 또는 단절)을 검출하고, 검출된 접촉을 터치 스크린(112) 상에 디스플레이되는 사용자 인터페이스 객체(예컨대, 하나 이상의 소프트 키, 아이콘, 웹 페이지 또는 영상 등)과의 상호작용으로 변환한다. 예시적인 실시예에서, 터치 스크린(112)과 사용자 사이의 접촉 지점은 사용자의 손가락에 대응한다.
터치 스크린(112)은 LCD(liquid crystal display) 기술, LPD(light emitting polymer display) 기술, 또는 LED(light emitting diode) 기술을 사용할 수 있지만, 다른 실시예들에서 기타 디스플레이 기술들이 사용될 수 있다. 터치 스크린(112) 및 디스플레이 제어기(156)는 용량성, 저항성, 적외선 및 표면 음파(surface acoustic wave) 기술은 물론, 터치 스크린(112)과의 하나 이상의 접촉 지점을 결정하는 기타 근접 센서 어레이 또는 기타 요소(이들로 제한되지 않음)를 비롯한 현재 알려져 있거나 나중에 개발되는 복수의 터치 감지 기술들 중 임의의 기술을 사용하여 접촉 및 접촉의 임의의 움직임 또는 단절을 검출할 수 있다. 예시적인 실시예에서, 미국 캘리포니아주 쿠퍼티노 소재의 Apple Inc.로부터의 아이폰®, 아이팟 터치®, 및 아이패드®에서 발견되는 것과 같은 제안된 상호 커패시턴스 감지 기술이 사용된다.
터치 스크린(112)은 100 dpi를 초과하는 비디오 해상도를 가질 수 있다. 어떤 실시예들에서, 터치 스크린은 대략 160 dpi의 비디오 해상도를 가진다. 사용자는 스타일러스, 손가락 등과 같은 임의의 적당한 물체 또는 부속 기관을 사용하여 터치 스크린(112)과 접촉할 수 있다. 어떤 실시예들에서, 사용자 인터페이스는 주로 손가락-기반 접촉 및 제스처(터치 스크린 상에서의 손가락의 접촉 면적이 더 크기 때문에 스타일러스-기반 입력보다 덜 정확할 수 있음)를 사용하여 동작하도록 설계되어 있다. 어떤 실시예들에서, 이 장치는 대략적인 손가락-기반 입력을 사용자가 원하는 동작을 수행하는 정확한 포인터/커서 위치 또는 명령으로 변환한다.
어떤 실시예들에서, 터치 스크린에 부가하여, 장치(100)는 특정의 기능들을 활성화 또는 비활성화시키는 터치패드(도시 생략)를 포함할 수 있다. 어떤 실시예들에서, 터치패드는, 터치 스크린과는 달리, 시각적 출력을 디스플레이하지 않는 장치의 터치 감응 영역이다. 터치패드는 터치 스크린(112)과 별개인 터치 감응 표면이거나 터치 스크린에 의해 형성되는 터치 감응 표면의 연장부일 수 있다.
장치(100)는 또한 다양한 구성요소에 전원을 제공하는 전원 시스템(162)도 포함하고 있다. 전원 시스템(162)은 전력 관리 시스템, 하나 이상의 전원[예컨대, 배터리, 교류(AC), 충전 시스템, 전원 고장 검출 회로, 전력 컨버터 또는 인버터, 전원 상태 표시기[예컨대, LED(light emitting diode)] 및 휴대용 장치에서의 전력의 발생, 관리 및 분배와 연관되어 있는 임의의 다른 구성요소를 포함할 수 있다.
장치(100)는 또한 하나 이상의 광 센서(164)도 포함할 수 있다. 도 1a는 I/O 서브시스템(106) 내의 광 센서 제어기(158)에 결합된 광 센서를 나타내고 있다. 광 센서(164)는 CCD(charge-coupled device) 또는 CMOS(complementary metal-oxide semiconductor) 광 트랜지스터(phototransistor)를 포함할 수 있다. 광 센서(164)는 하나 이상의 렌즈를 통해 투사되는, 환경으로부터의 광을 수광하고, 이 광을 영상을 표현하는 데이터로 변환한다. 이미징 모듈(143)(카메라 모듈이라고도 함)과 관련하여, 광 센서(164)는 정지 영상 또는 비디오를 캡처할 수 있다. 어떤 실시예들에서, 광 센서는 장치의 전면에 있는 터치 스크린 디스플레이(112)의 반대쪽인, 장치(100)의 배면에 위치하며, 따라서 터치 스크린 디스플레이가 정지 및/또는 비디오 영상 획득을 위한 뷰 파인더(viewfinder)로서 사용될 수 있다. 어떤 실시예들에서, 사용자가 터치 스크린 디스플레이 상에서 다른 화상 회의 참가자를 보면서 화상 회의를 위해 사용자의 영상이 획득될 수 있도록 다른 광 센서가 장치의 전면에 위치해 있다.
장치(100)는 또한 하나 이상의 근접 센서(166)도 포함할 수 있다. 도 1a는 주변 장치 인터페이스(118)에 결합되어 있는 근접 센서(166)를 나타내고 있다. 다른 대안으로서, 근접 센서(166)는 I/O 서브시스템(106) 내의 입력 제어기(160)에 결합될 수 있다. 어떤 실시예들에서, 다기능 장치가 사용자의 귀 근방에 위치될 때(예컨대, 사용자가 전화 통화를 하고 있을 때), 근접 센서는 터치 스크린(112)을 끄고 비활성화시킨다.
장치(100)는 또한 하나 이상의 가속도계(168)도 포함할 수 있다. 도 1a는 주변 장치 인터페이스(118)에 결합되어 있는 가속도계(168)를 나타내고 있다. 다른 대안으로서, 가속도계(168)는 I/O 서브시스템(106) 내의 입력 제어기(160)에 결합될 수 있다. 어떤 실시예들에서, 하나 이상의 가속도계로부터 수신된 데이터의 분석에 기초하여, 정보가 터치 스크린 디스플레이 상에 세로 보기 또는 가로 보기로 디스플레이된다. 장치(100)는 선택적으로, 가속도계(168)에 부가하여, 자력계(도시 생략), 및 장치(100)의 위치 및 배향(예컨대, 세로 또는 가로)에 관한 정보를 획득하는 GPS(또는 GLONASS 또는 다른 전세계 내비게이션 시스템) 수신기(도시 생략)를 포함하고 있다.
어떤 실시예들에서, 메모리(102)에 저장된 소프트웨어 구성요소는 운영 체제(126), 통신 모듈(또는 명령어 집합)(128), 접촉/움직임 모듈(또는 명령어 집합)(130), 그래픽 모듈(또는 명령어 집합)(132), 텍스트 입력 모듈(또는 명령어 집합)(134), GPS(Global Positioning System) 모듈(또는 명령어 집합)(135), 및 응용 프로그램(또는 명령어 집합)(136)을 포함하고 있다. 게다가, 어떤 실시예들에서, 도 1a 및 도 3에 도시된 바와 같이, 메모리(102)는 장치/전역 내부 상태(157)를 저장한다. 장치/전역 내부 상태(157)는 어느 응용 프로그램(있는 경우)이 현재 활성인지를 나타내는 활성 응용 프로그램 상태; 어떤 응용 프로그램, 뷰 또는 기타 정보가 터치 감응 디스플레이(112)의 다양한 영역을 차지하고 있는지를 나타내는 디스플레이 상태; 장치의 다양한 센서 및 입력 장치 제어기(116)로부터 획득된 정보를 포함하는 센서 상태; 및 장치의 위치 및/또는 자세에 관한 위치 정보 중 하나 이상을 포함한다.
운영 체제(126)(예컨대, Darwin, RTXC, LINUX, UNIX, OS X, WINDOWS, 또는 VxWorks와 같은 임베디드 운영 체제)는 일반 시스템 작업(예컨대, 메모리 관리, 저장 장치 제어, 전력 관리 등)을 제어 및 관리하는 다양한 소프트웨어 구성요소 및/또는 드라이버를 포함하고 있으며, 다양한 하드웨어 구성요소와 소프트웨어 구성요소 사이의 통신을 용이하게 해준다.
통신 모듈(128)은 하나 이상의 외부 포트(124)를 통한 다른 장치들[예컨대, 도 4c의 적응적 입력 장치(482)]과의 통신을 용이하게 해주고, 또한 RF 회로(108) 및/또는 외부 포트(124)에 의해 수신되는 데이터를 처리하는 다양한 소프트웨어 구성요소를 포함한다. 외부 포트(124)[예컨대, USB(Universal Serial Bus), FIREWIRE 등]는 다른 장치들[예컨대, 도 4c의 적응적 입력 장치(482)]에 직접 결합하거나 네트워크(예컨대, 인터넷, 무선 LAN 등)를 통해 간접적으로 결합하도록 구성되어 있다. 어떤 실시예들에서, 외부 포트는 아이팟(Apple Inc.의 상표) 장치에서 사용되는 30-핀 커넥터와 동일하거나 유사하고 및/또는 호환되는 멀티-핀(예컨대, 30-핀) 커넥터이다.
접촉/움직임 모듈(130)은 [디스플레이 제어기(156)와 관련된] 터치 스크린(112) 및 다른 터치 감응 장치(예컨대, 터치패드 또는 물리적 클릭 휘일)와의 접촉을 검출할 수 있다. 접촉/움직임 모듈(130)은 접촉이 일어났는지를 판정하는 것(예를 들어, 손가락-내림 이벤트를 검출하는 것), 접촉의 움직임이 있는지를 판정하고 터치 감응 표면을 가로지르는 움직임을 추적하는 것(예를 들어, 하나 이상의 손가락 끌기 이벤트를 검출하는 것), 및 접촉이 중단되었는지를 판정하는 것(예를 들어, 손가락 올림 이벤트 또는 접촉의 단절을 검출하는 것)과 같은, 접촉의 검출과 관련된 다양한 동작을 수행하는 다양한 소프트웨어 구성요소를 포함한다. 접촉/움직임 모듈(130)은 터치 감응 표면으로부터 접촉 데이터를 수신한다. 일련의 접촉 데이터로 표현되는 접촉 지점의 움직임을 판정하는 것은 접촉 지점의 속력(크기), 속도(크기 및 방향), 및/또는 가속도(크기 및/또는 방향의 변화)를 결정하는 것을 포함할 수 있다. 이들 동작은 단일 접촉(예컨대, 한 손가락 접촉)에 또는 다중 동시 접촉(예컨, "멀티터치"/다중 손가락 접촉)에 적용될 수 있다. 어떤 실시예들에서, 접촉/움직임 모듈(130) 및 디스플레이 제어기(156)는 터치패드 상의 접촉을 검출한다.
접촉/움직임 모듈(130)은 사용자에 의해 입력된 제스처를 검출할 수 있다. 터치 감응 표면 상의 상이한 제스처는 상이한 접촉 패턴을 가진다. 따라서, 특정의 접촉 패턴을 검출함으로써 제스처가 검출될 수 있다. 예를 들어, 손가락 탭핑 제스처를 검출하는 것은 손가락-내림 이벤트를 검출하고 이어서 손가락-내림 이벤트와 동일한 위치(또는 실질적으로 동일한 위치)에서(예컨대, 아이콘의 위치에서) 손가락-올림[들어올리기(lift off)] 이벤트를 검출하는 것을 포함한다. 다른 예로서, 터치 감응 표면 상에서 손가락 스와이프 제스처(finger swipe gesture)를 검출하는 것은 손가락-내림 이벤트를 검출하고 이어서 하나 이상의 손가락 끌기 이벤트를 검출하며 그 후에 손가락-올림(들어올리기) 이벤트를 검출하는 것을 포함한다.
그래픽 모듈(132)은 디스플레이되는 그래픽의 휘도를 변경하는 구성요소를 비롯한, 터치 스크린(112) 또는 기타 디스플레이 상에 그래픽을 렌더링하고 디스플레이하는 다양한 공지된 소프트웨어 구성요소를 포함한다. 본 명세서에서 사용되는 바와 같이, "그래픽"이라는 용어는 텍스트, 웹 페이지, 아이콘(소프트 키를 비롯한 사용자 인터페이스 객체 등), 디지털 영상, 비디오, 애니메이션 등(이들로 제한되지 않음)을 비롯한 사용자에게 디스플레이될 수 있는 임의의 객체를 포함한다.
어떤 실시예들에서, 그래픽 모듈(132)은 사용될 그래픽을 표현하는 데이터를 저장한다. 각각의 그래픽은 대응하는 코드를 할당받을 수 있다. 그래픽 모듈(132)은, 필요한 경우, 좌표 데이터 및 기타 그래픽 속성 데이터와 함께 디스플레이될 그래픽을 지정하는 하나 이상의 코드를 응용 프로그램 등으로부터 수신하고, 이어서 디스플레이 제어기(156)에 출력할 스크린 영상 데이터를 발생한다.
그래픽 모듈(132)의 구성요소일 수 있는 텍스트 입력 모듈(134)은 다양한 응용 프로그램[예컨대, 연락처(137), 이메일(140), IM(141), 브라우저(147), 및 텍스트 입력을 필요로 하는 임의의 다른 응용 프로그램]에서 텍스트를 입력하기 위한 소프트 키보드를 제공한다.
GPS 모듈(135)은 장치의 위치를 결정하고, 이 정보를 다양한 응용 프로그램에서 사용하도록[예컨대, 위치-기반 다이얼링에서 사용하도록 전화(138)에, 사진/비디오 메타데이터로서 카메라(143)에, 및 날씨 위젯, 지역 옐로우 페이지 위젯, 및 지도/내비게이션 위젯과 같은 위치-기반 서비스를 제공하는 응용 프로그램에] 제공한다.
응용 프로그램(136)은 다음과 같은 모듈(또는 명령어 집합) 또는 그의 부분 집합 또는 상위 집합(superset)을 포함할 수 있다:
- 연락처 모듈(137)(때때로 주소록 또는 연락처 목록이라고 함);
- 전화 모듈(138);
- 화상 회의 모듈(139); - 이메일 클라이언트 모듈(140);
- 인스턴트 메시징(IM) 모듈(141);
- 운동 보조 모듈(142);
- 정지 및/또는 비디오 영상에 대한 카메라 모듈(143);
- 영상 관리 모듈(144);
- 브라우저 모듈(147);
- 달력 모듈(148);
- 날씨 위젯(149-1), 주식 위젯(149-2), 계산기 위젯(149-3), 알람 시계 위젯(149-4), 사전 위젯(149-5), 및 사용자에 의해 획득되는 기타 위젯은 물론, 사용자-생성 위젯(149-6) 중 하나 이상의을 포함할 수 있는 위젯 모듈(149);
- 사용자-생성 위젯(149-6)을 만드는 위젯 생성기 모듈(150);
- 검색 모듈(151);
- 비디오 플레이어 모듈 및 음악 플레이어 모듈로 이루어져 있을 수 있는 비디오 및 음악 플레이어 모듈(152);
- 메모 모듈(153),
- 지도 모듈(154), 및/또는
- 온라인 비디오 모듈(155).
메모리(102)에 저장될 수 있는 다른 응용 프로그램(136)의 예는 다른 워드 프로세싱 응용 프로그램, 다른 영상 편집 응용 프로그램, 그리기 응용 프로그램, 프레젠테이션 응용 프로그램, JAVA-지원 응용 프로그램, 암호화, 디지털 저작권 관리(digital rights management), 음성 인식, 및 음성 복제를 포함한다.
터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 및 텍스트 입력 모듈(134)과 관련하여, 연락처 모듈(137)은 주소록에 이름(들)을 추가하는 것; 주소록으로부터 이름(들)을 삭제하는 것; 전화 번호(들), 이메일 주소(들), 실제 주소(들) 또는 기타 정보를 이름과 연관시키는 것; 영상을 이름과 연관시키는 것; 이름을 분류하고 정렬하는 것; 전화(138), 화상 회의(139), 이메일(140), 또는 IM(141)에 의한 통신을 시작하고 및/또는 용이하게 해주기 위해 전화 번호 또는 이메일 주소를 제공하는 것 등을 비롯하여 [예컨대, 메모리(102) 또는 메모리(370) 내의 연락처 모듈(137)의 응용 프로그램 내부 상태(192)에 저장되는] 주소록 또는 연락처 목록을 관리하는 데 사용된다.
RF 회로(108), 오디오 회로(110), 스피커(111), 마이크(113), 터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 및 텍스트 입력 모듈(134)과 관련하여, 전화 모듈(138)은 전화 번호에 대응하는 문자 시퀀스를 입력하고, 주소록(137) 내의 하나 이상의 전화 번호에 액세스하며, 입력된 전화 번호를 수정하고, 각자의 전화 번호를 다이얼하며, 대화를 수행하고, 대화가 완료될 때 연결 해제하거나 수화기를 놓는 데 사용될 수 있다. 앞서 살펴본 바와 같이, 무선 통신은 복수의 통신 표준, 프로토콜 및 기술 중 임의의 것을 사용할 수 있다.
RF 회로(108), 오디오 회로(110), 스피커(111), 마이크(113), 터치 스크린(112), 디스플레이 제어기(156), 광 센서(164), 광 센서 제어기(158), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), 연락처 목록(137) 및 전화 모듈(138)과 관련하여, 화상 회의 모듈(139)은 사용자 지시에 따라 사용자와 하나 이상의 다른 참가자 사이에서 화상 회의를 시작, 수행 및 종료하는 실행가능 명령어를 포함하고 있다.
RF 회로(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 및 텍스트 입력 모듈(134)과 관련하여, 이메일 클라이언트 모듈(140)은 사용자 지시에 응답하여 이메일을 생성, 송신, 수신 및 관리하는 실행가능 명령어를 포함하고 있다. 이미지 관리 모듈(144)과 관련하여, 이메일 클라이언트 모듈(140)은 카메라 모듈(143)로 찍은 정지 또는 비디오 영상을 갖는 이메일을 생성하고 송신하는 것을 아주 쉽게 만들어준다.
RF 회로(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 및 텍스트 입력 모듈(134)과 관련하여, 인스턴트 메시징 모듈(141)은 인스턴트 메시지에 대응하는 문자 시퀀스를 입력하고, 이전에 입력된 문자를 수정하며, [예를 들어, 전화-기반 인스턴트 메시지에 대해 SMS(Short Message Service) 또는 MMS(Multimedia Message Service) 프로토콜을 사용하여 또는 인터넷-기반 인스턴스 메시지에 대해 XMPP, SIMPLE, 또는 IMPS를 사용하여] 각각의 인스턴트 메시지를 전송하고, 인스턴트 메시지를 수신하며, 수신된 인스턴트 메시지를 보는 실행가능 명령어를 포함하고 있다. 어떤 실시예들에서, 전송된 및/또는 수신된 인스턴트 메시지는 그래픽, 사진, 오디오 파일, 비디오 파일, 및/또는 MMS 및/또는 EMS(Enhanced Messaging Service)에서 지원되는 다른 첨부물을 포함할 수 있다. 본 명세서에서 사용되는 바와 같이, "인스턴트 메시징"은 전화-기반 메시지(예컨대, SMS 또는 MMS를 사용하여 송신되는 메시지) 및 인터넷-기반 메시지(예컨대, XMPP, SIMPLE, 또는 IMPS를 사용하여 송신되는 메시지) 둘 다를 말한다.
RF 회로(108), 터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), GPS 모듈(135), 지도 모듈(154), 및 음악 플레이어 모듈(146)과 관련하여, 운동 보조 모듈(142)은 (예를 들어, 시간, 거리 및/또는 칼로리 소모 목표를 갖는) 운동을 생성하고, 운동 센서(스포츠 장치)와 통신하며, 운동 센서 데이터를 수신하고, 운동을 모니터링하는 데 사용되는 센서를 보정하며, 운동에 대한 음악을 선택하여 재생하고, 운동 데이터를 디스플레이, 저장 및 전송하는 실행가능 명령어를 포함하고 있다.
터치 스크린(112), 디스플레이 제어기(156), 광 센서(들)(164), 광 센서 제어기(158), 접촉 모듈(130), 그래픽 모듈(132), 및 이미지 관리 모듈(144)과 관련하여, 카메라 모듈(143)은 정지 영상 또는 비디오(비디오 스트림을 포함함)를 캡처하고 이를 메모리(102)에 저장하거나, 정지 영상 또는 비디오의 특성을 수정하거나, 정지 영상 또는 비디오를 메모리(102)로부터 삭제하는 실행가능 명령어를 포함하고 있다.
터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), 및 카메라 모듈(143)과 관련하여, 영상 관리 모듈(144)은 정지 및/또는 비디오 영상을 배열, 수정(예컨대, 편집), 또는 다른 방식으로 조작, 라벨링, 삭제, (예컨대, 디지털 슬라이드 쇼 또는 앨범으로) 제시, 및 저장하는 실행가능 명령어를 포함하고 있다.
RF 회로(108), 터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 및 텍스트 입력 모듈(134)과 관련하여, 브라우저 모듈(147)은, 웹 페이지 또는 그의 일부분은 물론 웹 페이지에 링크되어 있는 첨부물 및 기타 파일을 검색하는 것, 그에 링크하는 것, 그를 수신하는 것, 및 그를 디스플레이하는 것을 비롯하여, 사용자 지시에 따라 인터넷을 브라우징하는 실행가능 명령어를 포함하고 있다.
RF 회로(108), 터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), 이메일 클라이언트 모듈(140), 및 브라우저 모듈(147)과 관련하여, 달력 모듈(148)은 사용자 지시에 따라 달력 및 달력과 연관된 데이터(예컨대, 달력 항목, 할 일 목록 등)를 생성, 디스플레이, 수정, 및 저장하는 실행가능 명령어를 포함하고 있다.
RF 회로(108), 터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), 및 브라우저 모듈(147)과 관련하여, 위젯 모듈(149)은 사용자에 의해 다운로드되어 사용될 수 있는 미니-응용 프로그램이거나[예를 들어, 날씨 위젯(149-1), 주식 위젯(149-2), 계산기 위젯(149-3), 알람 시계 위젯(149-4), 및 사전 위젯(149-5)], 사용자에 의해 생성될 수 있는 미니-응용 프로그램[예를 들어, 사용자-생성 위젯(149-6)]이다. 어떤 실시예들에서, 위젯은 HTML(Hypertext Markup Language) 파일, CSS(Cascading Style Sheets) 파일, 및 JavaScript 파일을 포함한다. 어떤 실시예들에서, 위젯은 XML(Extensible Markup Language) 파일 및 JavaScript 파일(예를 들어, Yahoo! 위젯)을 포함한다.
RF 회로(108), 터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), 및 브라우저 모듈(147)과 관련하여, 위젯 생성기 모듈(150)은 위젯을 생성하기 위해(예컨대, 웹 페이지의 사용자-지정 부분을 위젯으로 변환함) 사용자에 의해 사용될 수 있다.
터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 및 텍스트 입력 모듈(134)과 관련하여, 검색 모듈(151)은 사용자 지시에 따라 하나 이상의 검색 조건(예컨대, 하나 이상의 사용자-지정 검색어)과 일치하는 메모리(102) 내의 텍스트, 음악, 사운드, 영상, 비디오, 및/또는 기타 파일을 검색하는 실행가능 명령어를 포함하고 있다.
터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 오디오 회로(110), 스피커(111), RF 회로(108) 및 브라우저 모듈(147)과 관련하여, 비디오 및 음악 플레이어 모듈(152)은 사용자가 하나 이상의 파일 형식(MP3 또는 AAC 파일 등)으로 저장되어 있는 녹음된 음악 및 기타 사운드 파일을 다운로드하여 재생할 수 있게 해주는 실행가능 명령어, 및 [예컨대, 터치 스크린(112) 상에서 또는 외부 포트(124)를 통해 외부의 연결된 디스플레이 상에서] 비디오를 디스플레이, 제시 또는 다른 방식으로 재생하는 실행가능 명령어를 포함하고 있다. 어떤 실시예들에서, 장치(100)는 아이팟(Apple Inc.의 상표)과 같은 MP3 플레이어의 기능을 포함할 수 있다.
터치 스크린(112), 디스플레이 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 및 텍스트 입력 모듈(134)과 관련하여, 메모 모듈(153)은 사용자 지시에 따라 메모, 할 일 목록 등을 생성 및 관리하는 실행가능 명령어를 포함하고 있다.
RF 회로(108), 터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 텍스트 입력 모듈(134), GPS 모듈(135), 및 브라우저 모듈(147)과 관련하여, 지도 모듈(154)은 사용자 지시에 따라 지도 및 지도와 연관된 데이터(예컨대, 운전 방향; 특정 장소에 또는 그 근방에 있는 상점 및 기타 관심 지점에 관한 데이터; 및 기타 위치-기반 데이터)를 수신, 디스플레이, 수정 및 저장하는 데 사용될 수 있다.
터치 스크린(112), 디스플레이 시스템 제어기(156), 접촉 모듈(130), 그래픽 모듈(132), 오디오 회로(110), 스피커(111), RF 회로(108), 텍스트 입력 모듈(134), 이메일 클라이언트 모듈(140), 및 브라우저 모듈(147)과 관련하여, 온라인 비디오 모듈(155)은 사용자가 특정의 온라인 비디오에 대한 링크를 갖는 이메일에 액세스하고, 브라우징하며, (예컨대, 스트리밍 및/또는 다운로드에 의해) 수신하고, [예컨대, 터치 스크린 상에서 또는 외부 포트(124)를 통해 외부의 연결된 디스플레이 상에서] 재생하며, 송신하고, 하나 이상의 파일 형식(H.264 등)으로 된 온라인 비디오를 다른 방식으로 관리할 수 있게 해주는 명령어를 포함하고 있다. 어떤 실시예들에서, 이메일 클라이언트 모듈(140)보다는 인스턴트 메시징 모듈(141)이 특정의 온라인 비디오에 대한 링크를 송신하는 데 사용된다.
상기 언급한 모듈 및 응용 프로그램 각각은 상기한 하나 이상의 기능을 수행하는 실행가능 명령어 집합 및 이 응용 프로그램에 기술된 방법(예컨대, 본 명세서에 기술된 컴퓨터 구현 방법 및 기타 정보 처리 방법)에 대응한다. 이들 모듈(즉, 명령어 집합)은 별도의 소프트웨어 프로그램, 프로시저 또는 모듈로서 구현될 필요가 없고, 따라서 다양한 실시예에서 이들 모듈의 다양한 부분들이 결합되거나 다른 방식으로 재배열될 수 있다. 어떤 실시예들에서, 메모리(102)는 앞서 언급한 모듈들 및 데이터 구조들의 일부를 저장할 수 있다. 게다가, 메모리(102)는 앞서 기술하지 않은 부가의 모듈 및 데이터 구조를 저장할 수 있다.
어떤 실시예들에서, 장치(100)는 장치 상에서의 소정의 일련의 기능의 동작이 터치 스크린 및/또는 터치패드를 통해 배타적으로 수행되는 장치이다. 장치(100)의 동작을 위한 주 입력 제어 장치로서 터치 스크린 및/또는 터치패드를 사용함으로써, 장치(100) 상의 물리적 입력 제어 장치(푸시 버튼, 다이얼, 기타 등등)의 수가 감소될 수 있다.
터치 스크린 및/또는 터치패드를 통해 배타적으로 수행될 수 있는 소정의 일련의 기능은 사용자 인터페이스 간의 이동을 포함한다. 어떤 실시예들에서, 터치패드는, 사용자에 의해 터치될 때, 장치(100)를 장치(100) 상에 디스플레이될 수 있는 임의의 다른 사용자 인터페이스로부터 주 메뉴, 홈 메뉴 또는 루트 메뉴로 이동시킨다. 이러한 실시예에서, 터치패드는 "메뉴 버튼"이라고 할 수 있다. 어떤 다른 실시예에서, 메뉴 버튼은 터치패드 대신에 물리적 푸시 버튼이거나 다른 물리적 입력 제어 장치일 수 있다.
도 1b는 어떤 실시예들에 따른 예시적인 이벤트 처리 구성요소를 나타낸 블록도이다. 어떤 실시예들에서, 메모리[102(도 1a) 또는 370(도 3)]는 이벤트 분류기(170)[예컨대, 운영 체제(126) 내에 있음] 및 각자의 응용 프로그램(136-1)[예컨대, 상기한 응용 프로그램들(137 내지 151, 155, 380 내지 390) 중 임의의 것]을 포함하고 있다.
이벤트 분류기(170)는 이벤트 정보를 수신하고, 이벤트 정보를 전달할 응용 프로그램(136-1) 및 응용 프로그램(136-1)의 응용 프로그램 뷰(191)를 결정한다. 이벤트 분류기(170)는 이벤트 모니터(171) 및 이벤트 디스패처 모듈(event dispatcher module)(174)을 포함하고 있다. 어떤 실시예들에서, 응용 프로그램(136-1)은, 응용 프로그램이 활성화되거나 실행 중일 때, 터치 감응 디스플레이(112) 상에 표시된 현재의 응용 프로그램 뷰(들)를 나타내는 응용 프로그램 내부 상태(192)를 포함하고 있다. 어떤 실시예들에서, 장치/전역 내부 상태(157)는 어느 응용 프로그램(들)이 현재 활성인지를 판정하기 위해 이벤트 분류기(170)에 의해 사용되고, 응용 프로그램 내부 상태(192)는 이벤트 정보를 전달할 응용 프로그램 뷰(191)를 결정하기 위해 이벤트 분류기(170)에 의해 사용된다.
어떤 실시예들에서, 응용 프로그램 내부 상태(192)는 응용 프로그램(136-1)이 실행을 재개할 때 사용될 재개 정보(resume information), 응용 프로그램(136-1)에 의해 표시 중이거나 표시할 준비를 하고 있는 정보를 나타내는 사용자 인터페이스 상태 정보, 사용자가 응용 프로그램(136-1)의 이전 상태 또는 뷰로 돌아갈 수 있게 해주는 상태 큐, 및 사용자가 취한 이전의 동작의 재실행/실행취소 큐 중 하나 이상 등의 부가의 정보를 포함한다.
이벤트 모니터(171)는 주변 장치 인터페이스(118)로부터 이벤트 정보를 수신한다. 이벤트 정보는 서브이벤트[예컨대, 멀티-터치 제스처의 일부로서의 터치 감응 디스플레이(112) 상에서의 사용자 터치]에 관한 정보를 포함한다. 주변 장치 인터페이스(118)는 근접 센서(166), 가속도계(들)(168), 및/또는 마이크(113)[오디오 회로(110)를 통함] 등의 I/O 서브시스템(106) 또는 센서로부터 수신하는 정보를 전송한다. 주변 장치 인터페이스(118)가 I/O 서브시스템(106)으로부터 수신하는 정보는 터치 감응 디스플레이(112) 또는 터치 감응 표면으로부터의 정보를 포함한다.
어떤 실시예들에서, 이벤트 모니터(171)는 소정의 간격으로 주변 장치 인터페이스(118)로 요청을 송신한다. 그에 응답하여, 주변 장치 인터페이스(118)는 이벤트 정보를 전송한다. 다른 실시예들에서, 주변 장치 인터페이스(118)는 중요한 이벤트(예컨대, 소정의 지속기간 초과 동안 및/또는 소정의 잡음 임계값을 초과하는 입력을 수신하는 것)가 있을 때에만 이벤트 정보를 전송한다.
어떤 실시예들에서, 이벤트 분류기(170)는 또한 히트 뷰 판정 모듈(172) 및/또는 활성 이벤트 인식기 판정 모듈(173)을 포함하고 있다.
히트 뷰 판정 모듈(172)은, 터치 감응 디스플레이(112)가 2개 이상의 뷰를 표시할 때, 서브이벤트가 하나 이상의 뷰 내의 어디에서 발생했는지를 판정하는 소프트웨어 프로시저를 제공한다. 뷰는 사용자가 디스플레이 상에서 볼 수 있는 컨트롤 및 기타 요소로 이루어져 있다.
응용 프로그램과 연관되어 있는 사용자 인터페이스의 다른 측면은 정보가 표시되고 터치 기반 제스처가 일어나는 일련의 뷰(때때로 본 명세서에서 응용 프로그램 뷰 또는 사용자 인터페이스 창이라고 함)이다. 터치가 검출되는 (각자의 응용 프로그램의) 응용 프로그램 뷰는 응용 프로그램의 프로그램 또는 뷰 계층구조 내에서의 프로그램 레벨에 대응할 수 있다. 예를 들어, 터치가 검출되는 최하위 레벨 뷰는 히트 뷰라고 칭할 수 있으며, 적절한 입력으로서 인식되는 이벤트의 집합은 터치 기반 제스처를 시작하는 초기 터치의 히트 뷰에 적어도 부분적으로 기초하여 결정될 수 있다.
히트 뷰 판정 모듈(172)은 터치 기반 제스처의 서브이벤트에 관한 정보를 수신한다. 응용 프로그램이 계층구조로 구성된 다수의 뷰를 가질 때, 히트 뷰 판정 모듈(172)은 히트 뷰를 서브이벤트를 처리해야만 하는 계층구조 내의 최하위 뷰로서 식별한다. 대부분의 상황에서, 히트 뷰는 초기 서브이벤트(즉, 이벤트 또는 잠재적인 이벤트를 형성하는 서브이벤트의 시퀀스에서의 첫번째 서브이벤트)가 일어나는 최하위 레벨 뷰이다. 히트 뷰가 히트 뷰 판정 모듈에 의해 일단 식별되면, 히트 뷰는 통상적으로 히트 뷰로서 식별된 동일한 터치 또는 입력 소스에 관한 모든 서브이벤트를 수신한다.
활성 이벤트 인식기 판정 모듈(173)은 뷰 계층구조 내의 어느 뷰 또는 뷰들이 특정의 서브이벤트 시퀀스를 수신해야 하는지를 결정한다. 어떤 실시예들에서, 활성 이벤트 인식기 판정 모듈(173)은 히트 뷰만이 특정의 서브이벤트 시퀀스를 수신해야 하는 것으로 판정한다. 다른 실시예들에서, 활성 이벤트 인식기 판정 모듈(173)은 서브이벤트의 물리적 위치를 포함하는 모든 뷰가 능동적으로 관여된 뷰(actively involved view)인 것으로 판정하고, 따라서, 모든 능동적으로 관여된 뷰가 특정의 서브이벤트 시퀀스를 수신해야 하는 것으로 판정한다. 다른 실시예들에서, 터치 서브이벤트가 하나의 특정의 뷰와 연관되어 있는 영역으로 완전히 한정되어 있더라도, 계층구조에서 보다 상위에 있는 뷰들은 여전히 능동적으로 관여된 뷰로서 있게 될 것이다.
이벤트 디스패처 모듈(174)은 이벤트 정보를 이벤트 인식기[예컨대, 이벤트 인식기(180)]로 디스패치한다. 활성 이벤트 인식기 판정 모듈(173)을 포함하는 실시예에서, 이벤트 디스패처 모듈(174)은 이벤트 정보를 활성 이벤트 인식기 판정 모듈(173)에 의해 판정되는 이벤트 인식기에 전달한다. 어떤 실시예들에서, 이벤트 디스패처 모듈(174)은 각자의 이벤트 수신기 모듈(182)에 의해 검색되는 이벤트 정보를 이벤트 큐에 저장한다.
어떤 실시예들에서, 운영 체제(126)가 이벤트 분류기(170)를 포함하고 있다. 다른 대안으로서, 응용 프로그램(136-1)이 이벤트 분류기(170)를 포함하고 있다. 또 다른 실시예들에서, 이벤트 분류기(170)는 독립형 모듈이거나, 접촉/움직임 모듈(130) 등의 메모리(102)에 저장된 다른 모듈의 일부이다.
어떤 실시예들에서, 응용 프로그램(136-1)은 복수의 이벤트 핸들러(190) 및 하나 이상의 응용 프로그램 뷰(191) - 그 각각은 응용 프로그램의 사용자 인터페이스의 각자의 뷰 내에서 일어나는 터치 이벤트를 처리하는 명령어를 포함하고 있음 - 를 포함하고 있다. 응용 프로그램(136-1)의 각각의 응용 프로그램 뷰(191)는 하나 이상의 이벤트 인식기(180)를 포함하고 있다. 통상적으로, 각자의 응용 프로그램 뷰(191)는 복수의 이벤트 인식기(180)를 포함하고 있다. 다른 실시예들에서, 이벤트 인식기들(180) 중 하나 이상은 사용자 인터페이스 키트(도시 생략) 또는 응용 프로그램(136-1)이 메소드 및 기타 속성을 상속받는 상위 레벨 객체 등의 별도의 모듈의 일부이다. 어떤 실시예들에서, 각자의 이벤트 핸들러(190)는 데이터 업데이터(data updater)(176), 객체 업데이터(177), GUI 업데이터(178) 및/또는 이벤트 분류기(170)로부터 수신되는 이벤트 데이터(179) 중 하나 이상을 포함하고 있다. 이벤트 핸들러(190)는 응용 프로그램 내부 상태(192)를 업데이트하기 위해 데이터 업데이터(176), 객체 업데이터(177) 또는 GUI 업데이터(178)를 이용하거나 호출할 수 있다. 다른 대안으로서, 응용 프로그램 뷰들(191) 중 하나 이상은 하나 이상의 이벤트 핸들러(190)를 포함하고 있다. 또한, 일부 실시예에서, 데이터 업데이터(176), 객체 업데이터(177), 및 GUI 업데이터(178) 중 하나 이상이 각자의 응용 프로그램 뷰(191)에 포함되어 있다.
각자의 이벤트 인식기(180)는 이벤트 분류기(170)로부터 이벤트 정보[예컨대, 이벤트 데이터(179)]를 수신하고, 이벤트 정보로부터 이벤트를 식별한다. 이벤트 인식기(180)는 이벤트 수신기(182) 및 이벤트 비교기(184)를 포함하고 있다. 어떤 실시예들에서, 이벤트 인식기(180)는 또한 메타데이터(183) 및 이벤트 전달 명령어(188)(서브이벤트 전달 명령어를 포함할 수 있음) 중 적어도 일부분을 포함하고 있다.
이벤트 수신기(182)는 이벤트 분류기(170)로부터 이벤트 정보를 수신한다. 이벤트 정보는 서브이벤트(예를 들어, 터치 또는 터치 이동)에 관한 정보를 포함하고 있다. 서브이벤트에 따라, 이벤트 정보는 또한 부가 정보(서브이벤트의 위치 등)를 포함하고 있다. 서브이벤트가 터치의 움직임에 관한 것일 때, 이벤트 정보는 또한 서브이벤트의 속도 및 방향도 포함할 수 있다. 어떤 실시예들에서, 이벤트는 한 배향으로부터 다른 배향으로의(예컨대, 세로 배향으로부터 가로 배향으로 또는 그 반대로) 장치의 회전을 포함하고 있고, 이벤트 정보는 장치의 현재 배향(장치 자세라고도 함)에 관한 대응하는 정보를 포함하고 있다.
이벤트 비교기(184)는 이벤트 정보를 소정의 이벤트 또는 서브이벤트 정의와 비교하고, 비교에 기초하여, 이벤트 또는 서브이벤트를 결정하거나, 이벤트 또는 서브이벤트의 상태를 결정하거나 업데이트한다. 어떤 실시예들에서, 이벤트 비교기(184)가 이벤트 정의(186)를 포함하고 있다. 이벤트 정의(186)는 이벤트(예컨대, 소정의 서브이벤트 시퀀스)[예를 들어, 이벤트 1(187-1), 이벤트 2(1872) 및 기타]의 정의를 포함하고 있다. 어떤 실시예들에서, 이벤트(187)에서의 서브이벤트는, 예를 들어, 터치 시작, 터치 종료, 터치 이동, 터치 취소, 및 다중 터치를 포함하고 있다. 한 예에서, 이벤트 1(187-1)에 대한 정의는 표시된 객체 상에서의 두번 탭핑이다. 두번 탭핑은, 예를 들어, 소정의 단계에 대한 표시된 객체 상에서의 첫번째 터치(터치 시작), 소정의 단계에 대한 첫번째 들어올리기(터치 종료), 소정의 단계에 대한 표시된 객체 상에서의 두번째 터치(터치 시작), 및 소정의 단계에 대한 두번째 들어올리기(터치 종료)를 포함하고 있다. 다른 예에서, 이벤트 2(187-2)에 대한 정의는 표시된 객체 상에서의 끌기(dragging)이다. 끌기는, 예를 들어, 소정의 단계에 대한 표시된 객체 상에서의 터치(또는 접촉), 터치 감응 디스플레이(112)에 걸친 터치의 이동, 및 터치의 들어올리기(터치 종료)를 포함한다. 어떤 실시예들에서, 이벤트는 또한 하나 이상의 연관된 이벤트 핸들러(190)에 대한 정보를 포함하고 있다.
어떤 실시예들에서, 이벤트 정의(187)는 각자의 사용자 인터페이스 객체에 대한 이벤트의 정의를 포함하고 있다. 어떤 실시예들에서, 이벤트 비교기(184)는 어느 사용자 인터페이스 객체가 서브이벤트와 연관되어 있는지를 판정하기 위해 히트 테스트를 수행한다. 예를 들어, 3개의 사용자 인터페이스 객체가 터치 감응 디스플레이(112) 상에 표시되는 응용 프로그램 뷰에서, 터치 감응 디스플레이(112) 상에서 터치가 검출될 때, 이벤트 비교기(184)는 3개의 사용자 인터페이스 객체 중 어느 것이 터치(서브이벤트)와 연관되어 있는지를 판정하기 위해 히트 테스트를 수행한다. 각각의 표시된 객체가 각자의 이벤트 핸들러(190)와 연관되어 있는 경우, 이벤트 비교기는 어느 이벤트 핸들러(190)가 활성화되어야 하는지를 결정하기 위해 히트 테스트의 결과를 사용한다. 예를 들어, 이벤트 비교기(184)는 히트 테스트를 트리거하는 이벤트 및 서브이벤트와 연관되어 있는 이벤트 핸들러를 선택한다.
어떤 실시예들에서, 각자의 이벤트(187)에 대한 정의는 또한 서브이벤트의 시퀀스가 이벤트 인식기의 이벤트 유형에 대응하는지 대응하지 않는지가 판정될 때까지 이벤트 정보의 전달을 지연시키는 지연된 동작을 포함하고 있다.
일련의 서브이벤트가 이벤트 정의(186) 내의 이벤트들 중 어느 것과도 일치하지 않는 것으로 각자의 이벤트 인식기(180)가 판정할 때, 각자의 이벤트 인식기(180)는 이벤트 불가능(event impossible), 이벤트 실패함(event failed), 또는 이벤트 종료됨(event ended) 상태를 입력하고, 그 후에 터치 기반 제스처의 후속 서브이벤트를 무시한다. 이 상황에서, 히트 뷰에 대해 활성인 채로 있는 다른 이벤트 인식기(있는 경우)는 진행 중인 터치 기반 제스처의 서브이벤트를 계속 추적하고 처리한다.
어떤 실시예들에서, 각자의 이벤트 인식기(180)는 이벤트 전달 시스템이 능동적으로 관여된 이벤트 인식기로의 서브이벤트 전달을 어떻게 수행해야 하는지를 나타내는 구성가능한 속성, 플래그, 및 목록을 갖는 메타데이터(183)를 포함하고 있다. 어떤 실시예들에서, 메타데이터(183)는 이벤트 인식기가 서로 어떻게 상호작용할 수 있는지를 나타내는 구성가능한 속성, 플래그, 및 목록을 포함하고 있다. 어떤 실시예들에서, 메타데이터(183)는 서브이벤트가 뷰 또는 프로그램 계층구조에서의 다양한 레벨로 전달되는지를 나타내는 구성가능한 속성, 플래그, 및 목록을 포함하고 있다.
어떤 실시예들에서, 이벤트의 하나 이상의 특정의 서브이벤트가 인식될 때, 각자의 이벤트 인식기(180)는 이벤트와 연관된 이벤트 핸들러(190)를 활성화시킨다. 어떤 실시예들에서, 각자의 이벤트 인식기(180)는 이벤트와 연관되어 있는 이벤트 정보를 이벤트 핸들러(190)에 전달한다. 이벤트 핸들러(190)를 활성화시키는 것은 서브이벤트를 각자의 히트 뷰로 송신하는 것(지연하여 송신하는 것)과 다르다. 어떤 실시예들에서, 이벤트 인식기(180)는 인식된 이벤트와 연관되어 있는 플래그를 던지고(throw), 플래그와 연관되어 있는 이벤트 핸들러(190)는 플래그를 받아서(catch) 소정의 프로세스를 수행한다.
어떤 실시예들에서, 이벤트 전달 명령어(188)는, 이벤트 핸들러를 활성화시키지 않고, 서브이벤트에 관한 이벤트 정보를 전달하는 서브이벤트 전달 명령어를 포함하고 있다. 그 대신에, 서브이벤트 전달 명령어는 일련의 서브이벤트와 연관된 이벤트 핸들러에 또는 능동적으로 관여된 뷰에 이벤트 정보를 전달한다. 일련의 서브이벤트와 연관되거나 능동적으로 관여된 뷰와 연관된 이벤트 핸들러는 이벤트 정보를 수신하고 소정의 프로세스를 수행한다.
어떤 실시예들에서, 데이터 업데이터(176)는 응용 프로그램(136-1)에서 사용되는 데이터를 생성하고 업데이트한다. 예를 들어, 데이터 업데이터(176)는 연락처 모듈(137)에서 사용되는 전화 번호를 업데이트하거나, 비디오 플레이어 모듈(145)에서 사용되는 비디오 파일을 저장한다. 어떤 실시예들에서, 객체 업데이터(177)는 응용 프로그램(136-1)에서 사용되는 객체를 생성하고 업데이트한다. 예를 들어, 객체 업데이터(176)는 새로운 사용자 인터페이스 객체를 생성하거나 사용자 인터페이스 객체의 위치를 업데이트한다. GUI 업데이터(178)는 GUI를 업데이트한다. 예를 들어, GUI 업데이터(178)는 디스플레이 정보를 준비하고 터치 감응 디스플레이 상에 디스플레이하기 위해 이를 그래픽 모듈(132)로 송신한다.
어떤 실시예들에서, 이벤트 핸들러(들)(190)는 데이터 업데이터(176), 객체 업데이터(177) 및 GUI 업데이터(178)를 포함하거나 그에 액세스할 수 있다. 어떤 실시예들에서, 데이터 업데이터(176), 객체 업데이터(177), 및 GUI 업데이터(178)가 각자의 응용 프로그램(136-1) 또는 응용 프로그램 뷰(191)의 단일 모듈에 포함되어 있다. 다른 실시예들에서, 이들이 2개 이상의 소프트웨어 모듈에 포함되어 있다.
터치 감응 디스플레이 상에서의 사용자 터치의 이벤트 처리에 관한 이상의 설명이 또한, 인식될 이벤트를 정의하는 서브이벤트에 대응하는 입력으로서 이용될 수 있는, 입력 장치를 갖는 다기능 장치(100)를 조작하는 다른 형태의 사용자 입력(이들 모두가 터치 스크린 상에서 개시되는 것은 아님)[예컨대, 협조하는 조이스틱 또는 마우스 움직임 및 버튼 누름, 한번 또는 여러번 키보드 누름 또는 유지, 터치 패드 상에서의 사용자 움직임(탭핑, 끌기, 스크롤 등), 펜 스타일러스 입력, 장치의 움직임, 구두 지시, 검출된 눈동자 움직임, 생체 인식 입력, 및/또는 이들의 임의의 조합]에도 적용된다는 것을 잘 알 것이다.
도 2는 어떤 실시예들에 따른, 터치 스크린(112)을 갖는 휴대용 다기능 장치(100)를 나타낸 것이다. 터치 스크린은 사용자 인터페이스(UI)(200) 내에 하나 이상의 그래픽을 디스플레이할 수 있다. 이 실시예에서는 물론 이하에 기술되는 다른 실시예들에서, 사용자는, 예를 들어, 하나 이상의 손가락(202)(도면에 축척대로 그려져 있지 않음) 또는 하나 이상의 스타일러스(203)(도면에 축척대로 그려져 있지 않음)로 그래픽 상에서 제스처를 함으로써 그래픽들 중 하나 이상의 그래픽을 선택할 수 있다. 어떤 실시예들에서, 사용자가 하나 이상의 그래픽과의 접촉을 단절할 때 하나 이상의 그래픽의 선택이 일어난다. 어떤 실시예들에서, 제스처는 하나 이상의 탭핑, 하나 이상의 스와이프(좌측에서 우측으로, 우측에서 좌측으로, 위로 및/또는 아래로), 및/또는 장치(100)와 접촉한 손가락의 롤링(우측에서 좌측으로, 좌측에서 우측으로, 위로 및/또는 아래로)을 포함할 수 있다. 어떤 실시예들에서, 그래픽과의 부적절한 접촉은 그래픽을 선택하지 않을 수 있다. 예를 들어, 선택에 대응하는 제스처가 탭핑일 때, 응용 프로그램 아이콘 위를 지나가는 스와이프 제스처는 대응하는 응용 프로그램을 선택하지 않을 수 있다.
장치(100)는 또한 "홈" 또는 메뉴 버튼(204)과 같은 하나 이상의 물리적 버튼을 포함할 수 있다. 앞서 기술한 바와 같이, 메뉴 버튼(204)은 장치(100) 상에서 실행될 수 있는 일련의 응용 프로그램 중 임의의 응용 프로그램(136)으로 이동하는 데 사용될 수 있다. 다른 대안으로서, 어떤 실시예들에서, 메뉴 버튼은 터치 스크린(112) 내의 GUI에서 소프트 키로서 구현되어 있다.
일 실시예에서, 장치(100)는 터치 스크린(112), 메뉴 버튼(204), 장치를 켜고/끄며 장치를 잠금하는 푸시 버튼(206), 볼륨 조절 버튼(들)(208), SIM(Subscriber Identity Module) 카드 슬롯(210), 헤드셋 잭(212), 및 도킹/충전 외부 포트(124)를 포함한다. 푸시 버튼(206)은 버튼을 누르고 소정의 시간 구간 동안 버튼을 눌러진 상태로 유지함으로써 장치를 켜고/끄는 데; 버튼을 누르고 소정의 시간 구간이 만료되기 전에 버튼을 놓음으로써 장치를 잠금하는 데; 및/또는 장치를 잠금 해제하거나 잠금 해제 프로세스를 시작하는 데 사용될 수 있다. 대안의 실시예에서, 장치(100)는 또한 마이크(113)를 통해 어떤 기능의 활성화 또는 비활성화를 위한 구두 입력을 받을 수 있다.
도 3은 어떤 실시예들에 따른 디스플레이 및 터치 감응 표면을 갖는 예시적인 다기능 장치의 블록도이다. 장치(300)는 휴대용일 필요가 없다. 어떤 실시예들에서, 장치(300)는 랩톱 컴퓨터, 데스크톱 컴퓨터, 테블릿 컴퓨터, 멀티미디어 플레이어 장치, 내비게이션 장치, 교육 장치(아동의 학습 완구 등), 게임 시스템, 또는 제어 장치(예를 들어, 가정용 또는 산업용 제어기)이다. 장치(300)는 통상적으로 하나 이상의 처리 장치(CPU)(310), 하나 이상의 네트워크 또는 기타 통신 인터페이스(360), 메모리(370), 및 이들 구성요소를 상호연결시키는 하나 이상의 통신 버스(320)를 포함한다. 통신 버스(320)는 시스템 구성요소들 간의 통신을 상호연결시키고 제어하는 회로(때때로 칩셋이라고 함)를 포함할 수 있다. 장치(300)는 통상적으로 터치 스크린 디스플레이인 디스플레이(340)를 포함하는 입/출력(I/O) 인터페이스(330)를 포함한다. I/O 인터페이스(330)는 또한 키보드 및/또는 마우스(또는 다른 포인팅 장치)(350) 그리고 터치패드(355)를 포함할 수 있다. 메모리(370)는 DRAM, SRAM, DDR RAM과 같은 고속 랜덤 액세스 메모리 또는 다른 랜덤 액세스 고상 메모리 장치를 포함하고, 하나 이상의 자기 디스크 저장 장치, 광 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고상 저장 장치와 같은 비휘발성 메모리를 포함할 수 있다. 메모리(370)는 선택적으로 CPU(들)(310)로부터 원격지에 위치한 하나 이상의 저장 장치를 포함할 수 있다. 어떤 실시예들에서, 메모리(370)는 휴대용 다기능 장치(100)(도 1)의 메모리(102)에 저장된 프로그램, 모듈, 및 데이터 구조와 유사한 프로그램, 모듈, 및 데이터 구조, 또는 그의 일부를 저장한다. 게다가, 메모리(370)는 휴대용 다기능 장치(100)의 메모리(102)에 존재하지 않는 부가의 프로그램, 모듈, 및 데이터 구조를 저장할 수 있다. 예를 들어, 장치(300)의 메모리(370)는 그리기 모듈(380), 프레젠테이션 모듈(382), 워드 프로세싱 모듈(384), 웹 사이트 제작 모듈(386), 디스크 저작 모듈(388), 및/또는 스프레드시트 모듈(390)을 저장할 수 있는 반면, 휴대용 다기능 장치(100)(도 1)의 메모리(102)는 이들 모듈을 저장하고 있지 않을 수 있다.
도 3에서 상기 언급한 요소들 각각은 이전에 언급한 메모리 장치들 중 하나 이상의 메모리 장치에 저장될 수 있다. 이상에 언급한 모듈들 각각은 이상에서 기술한 기능을 수행하는 명령어 집합에 대응한다. 상기 언급한 모듈 또는 프로그램(즉, 명령어 집합)은 별도의 소프트웨어 프로그램, 프로시저 또는 모듈로서 구현될 필요가 없고, 따라서 다양한 실시예에서 이들 모듈의 다양한 부분들이 결합되거나 다른 방식으로 재배열될 수 있다. 어떤 실시예들에서, 메모리(370)는 앞서 언급한 모듈 및 데이터 구조의 일부를 저장할 수 있다. 게다가, 메모리(370)는 앞서 기술하지 않은 부가의 모듈 및 데이터 구조를 저장할 수 있다.
이제부터 휴대용 다기능 장치(100) 상에서 구현될 수 있는 사용자 인터페이스("UI")의 실시예에 대해 중점적으로 기술한다.
도 4a는 어떤 실시예들에 따른, 휴대용 다기능 장치(100) 상의 응용 프로그램의 메뉴에 대한 예시적인 사용자 인터페이스를 나타낸 것이다. 유사한 사용자 인터페이스가 장치(300) 상에 구현될 수 있다. 어떤 실시예들에서, 사용자 인터페이스(400)는 다음과 같은 요소들, 또는 이들의 부분 집합 또는 상위 집합을 포함한다:
- 셀룰러 및 Wi-Fi 신호와 같은, 무선 통신(들)에 대한 신호 세기 표시기(들)(402);
- 시간(404);
- 블루투스 표시기(405);
- 배터리 상태 표시기(406);
- 다음과 같은 종종 사용되는 응용 프로그램에 대한 아이콘을 갖는 트레이(408):
o 부재중 전화 또는 음성 메일 메시지의 수의 표시기(414)를 포함할 수 있는 전화(138);
o 읽지 않은 이메일의 수의 표시기(410)를 포함할 수 있는 이메일 클라이언트(140);
o 브라우저(147); 및
- 아이팟(Apple Inc.의 상표) 모듈(152)이라고도 하는 비디오 및 음악 플레이어(152); 및
- 다음과 같은 다른 응용 프로그램에 대한 아이콘:
o IM(141);
o 영상 관리(144);
o 카메라(143);
o 날씨(149-1);
o 주식(149-2);
o 운동 보조(142);
o 달력(148);
o 알람 시계(149-4);
o 지도(154);
o 메모(153);
- 장치(100) 및 그의 다양한 응용 프로그램(136)의 설정에 대한 액세스를 제공하는 설정(412); 및
- YouTube(Google, Inc.의 상표) 모듈(155)이라고도 하는 온라인 비디오 모듈(155).
도 4b는 디스플레이(450)[예컨대, 터치 스크린 디스플레이(112)]와 분리되어 있는 터치 감응 표면(451)[예컨대, 도 3의 태블릿 또는 터치 패드(355)]을 갖는 장치[예컨대, 도 3의 장치(300)] 상의 예시적인 사용자 인터페이스를 나타낸 것이다. 이하의 예들 중 다수가 터치 스크린 디스플레이(112)(터치 감응 표면 및 디스플레이를 겸비하고 있음) 상에서의 입력을 참조하여 주어질 것이지만, 어떤 실시예들에서, 장치는, 도 4b에 도시된 바와 같이, 디스플레이와 분리되어 있는 터치 감응 표면 상에서의 입력을 검출한다. 어떤 실시예들에서, 터치 감응 표면(예컨대, 도 4b의 451)은 디스플레이(예컨대, 450)의 주축(예컨대, 도 4b의 453)에 대응하는 주축(예컨대, 도 4b의 452)을 가진다. 이들 실시예에 따르면, 장치는 터치 감응 표면(451)으로 디스플레이 상의 각자의 위치에 대응하는 대응하는 위치에서 접촉(예컨대, 도 4b의 460 및 462)을 검출한다(예컨대, 도 4b에서, 460은 468에 대응하고, 462는 470에 대응함). 이러한 방식으로, 터치 감응 표면이 디스플레이와 분리되어 있을 때, 장치에 의해 터치 감응 표면(예컨대, 도 4b의 451) 상에서 검출되는 사용자 입력[예컨대, 접촉(460 및 462) 및 그의 움직임]이 다기능 장치의 디스플레이(예컨대, 도 4b의 450) 상의 사용자 인터페이스를 조작하기 위해 장치에 의해 사용된다. 본 명세서에 기술되어 있는 다른 사용자 인터페이스들에 대해 유사한 방법들이 사용될 수 있다는 것을 잘 알 것이다.
도 4c는 어떤 실시예들에 따른, 다기능 장치에 대한 예시적인 적응적 입력 장치를 나타낸 것이다. 도 4c에서, 적응적 입력 장치(482)는 조이스틱(486) 및 2개의 버튼(488-1 및 488-2)을 포함하고 있다. 적응적 입력 장치482)는 유선 또는 무선 통신 채널(484)에 의해 터치 감응 표면(451)을 갖는 다기능 장치[예컨대, 도 1a의 장치(100)]와 연결되어 있다. 예를 들어, 적응적 입력 장치(482)는 다기능 장치(100)의 외부 포트(124)에 끼워질 수 있다. 다른 대안으로서, 적응적 입력 장치(482)는 블루투스 또는 Wi-Fi 등의 하나 이상의 무선 통신 프로토콜을 사용하여 다기능 장치와 연결될 수 있다.
도 4c는 어떤 실시예들에 따른, 터치 감응 표면(451)을 갖는 다기능 장치[예컨대, 도 1a의 장치(100)]의 디스플레이 상에 디스플레이되는 예시적인 시각 표시자(490)를 나타내고 있다. 어떤 실시예들에서, 터치 감응 표면(451)은 적응적 입력 장치(482)의 주축(예컨대, 도 4c의 454)에 대응하는 주축(예컨대, 도 4c의 452)을 가진다. 이러한 방식으로, 적응적 입력 장치(482)에 의해 수신되는 사용자 입력[예컨대, 조이스틱(486)을 주축(452)을 따라 미는 것]은 시각 표시자(490)를 [예컨대, 주축(452)을 따라] 이동시키는 데 사용될 수 있다. 적응적 입력 장치(482) 상의 버튼을 활성화시키는 것[예컨대, 버튼(488-1 또는 488-2)을 탭핑하는 것]은 시각 표시자(490)에 위치해 있는 사용자 인터페이스 객체를 선택하거나 활성화시키는 것(이는 터치 감응 표면 상에서의 탭핑 제스처와 같은 버튼 활성화를 행함)을 위해 사용될 수 있다. 어떤 실시예들에서, 버튼들(예컨대, 488-1 또는 488-2) 중 하나를 누르고 있으면서 사용자가 조이스틱(486)을 밀 때, 다기능 장치(100)는 이러한 사용자 입력을 손가락 접촉이 시각 표시자(490)의 위치에서 터치 감응 표면(451)을 가로질러 이동하는 것과 동등한 것으로 취급한다. 어떤 실시예들에서, 버튼을 활성화시키는 것은 메뉴를 연다. 본 명세서에 기술되어 있는 다른 사용자 인터페이스들에 대해 유사한 방법들이 사용될 수 있다는 것을 잘 알 것이다.
도 4c에 예시되어 있는 적응적 입력 장치(482)가 조이스틱(486) 및 버튼(488-1 및 488-2)을 포함하고 있지만, 주목할 점은, 본 명세서에 기술되어 있는 방법들에서 다른 적응적 입력 장치(예컨대, 트랙볼, 핸드 스틱, 마우스 스틱, 헤드 스틱 및 물리적 키보드)가 사용될 수 있다는 것이다. 본 명세서에서 사용되는 바와 같이, 적응적 입력 장치는 터치 감응 표면을 사용함이 없이 사용자 입력을 수신하도록 구성되어 있는 입력 장치를 말한다. 적응적 입력 장치는 통상적으로 손 움직임, 눈 움직임, 발 움직임, 머리 움직임, 및/또는 입/혀 움직임 등의 사용자의 움직임에 기초하여 위, 아래, 좌측 및 우측 이동, 활성화 이벤트, 및 선택 이벤트(예컨대, 버튼의 활성화 또는 터치 감응 표면 상에서의 탭핑과 동등함)를 나타내는 사용자 입력을 수신한다.
사용자 인터페이스 및 관련 프로세스
이제부터 디스플레이 및 터치 감응 표면을 갖는 전자 장치[장치(300) 또는 휴대용 다기능 장치(100) 등] 상에서 구현될 수 있는 사용자 인터페이스("UI") 및 관련 프로세스의 실시예들에 대해 중점적으로 기술한다.
도 5a 내지 도 5ac는 어떤 실시예들에 따른, 터치-기반 사용자 인터페이스에 대한 접근성을 제공하는 예시적인 사용자 인터페이스를 나타낸 것이다. 이들 도면에서의 사용자 인터페이스는 도 6a 내지 도 6e 및 도 7 내지 도 13에서의 프로세스를 비롯한, 이하에 기술되는 프로세스를 설명하는 데 사용된다.
도 5a는 다기능 전자 장치(100)의 터치 스크린(112) 상에 디스플레이되는 이메일 응용 프로그램의 예시적인 사용자 인터페이스(502-A)를 나타낸 것이다. 사용자 인터페이스(502-A)는 이메일 메시지를 디스플레이하는 것을 포함하고 있다. 또한, 가상 터치[예컨대, 가상 한 손가락 접촉 등의 터치 스크린(112) 상에서의 가상 터치]에 대응하는 시각 표시자(504-1)가 도 5a에 도시되어 있다. 때때로, 가상 터치는 시뮬레이트된 터치라고도 한다[예컨대, 장치는 손가락 터치가 시각 표시자(504-1)의 위치에서 검출된 것처럼 동작한다]. 도 5a에서의 시각 표시자(504-1)는 링을 포함하는 것으로 나타내어져 있다. 다른 대안으로서, 시각 표시자(504-1)는 도넛, 원, 계란 모양, 타원, 화살표, 십자형, I-빔, 별표 또는 가상 손가락(예컨대, 손가락 또는 손 모양의 아이콘) 중 하나를 포함할 수 있다.
시각 표시자(504-1)는 적응적 입력 장치(예컨대, 도 4c의 482)로부터의 입력에 따라 움직이도록 구성되어 있다. 예를 들어, 시각 표시자(504-1)는, 적응적 입력 장치로부터의 입력에 따라, 디스플레이의 사전 정의된 코너 등의 터치 스크린(112)의 사전 정의된 영역으로 이동할 수 있다[예컨대, 시각 표시자(504-1)의 움직임(506-1)]. 다른 대안으로서, 시각 표시자(504-1)는 적응적 입력 장치 상의 컨트롤[예컨대, 조이스틱(486)]이 좌우로 이동함에 따라 좌우로 이동할 수 있다[예컨대, 시각 표시자(504-1)의 움직임(506-2)]. 환언하면, 시각 표시자(504-1)는 적응적 입력 장치로부터의 입력에 따라 위로, 아래로, 좌측으로, 우측으로 및/또는 대각선으로 이동할 수 있다.
도 5b는 메뉴(508)가 이메일 응용 프로그램의 사용자 인터페이스(502-A) 상에 디스플레이되어 있는 것을 나타내고 있다. 메뉴(508)는 통상적으로 적응적 입력 장치로부터의 사전 정의된 입력에 응답하여 디스플레이된다. 예를 들어, 메뉴(508)는 시각 표시자(504-1)가 터치 스크린(112)의 사전 정의된 영역으로 이동한 것[예컨대, 도 5a에서 디스플레이의 코너로의 움직임(506-1)]에 응답하여 디스플레이될 수 있다. 다른 예로서, 시각 표시자(504-1)를 디스플레이의 코너로 이동시키고 이어서 적응적 입력 장치 상의 버튼(예컨대, 도 4c의 488-1)을 활성화시키는 것에 의해 메뉴(508)가 디스플레이된다. 다른 대안으로서, 시각 표시자(504-1)를 좌우로 이동시키는 것[예컨대, 도 5a의 움직임(506-2)]에 의해 메뉴(508)가 디스플레이될 수 있다. 예를 들어, 시각 표시자(504-1)를 적어도 사전 정의된 횟수만큼(예컨대, 2, 3 또는 4회) 적어도 사전 정의된 거리(예컨대, 0.02, 0.03, 또는 0.04 인치)만큼 수평으로 전후로 이동시키는 것은, 버튼을 활성화시킬 필요 없이, 메뉴를 열 것이다. 또 다른 예로서, 적응적 입력 장치 상의 사전 정의된 버튼(예컨대, 도 4c의 488-2)을 활성화시키는 것에 의해 메뉴(508)가 디스플레이될 수 있다. 어떤 실시예들에서, 메뉴(508)가 처음으로 디스플레이될 때, 시각 표시자(504-1)는, 도 5b에 도시된 바와 같이, 메뉴(508)의 중앙 영역에 배치된다. 다른 실시예들에서, 메뉴(508)가 처음으로 디스플레이될 때, 시각 표시자(504-1)는 메뉴(508)를 디스플레이하기 이전의 그의 위치를 유지하고 있다.
어떤 실시예들에서, 메뉴(508)는 가상 터치 선택 아이콘(510-1), 가상 제스처 아이콘(510-2), 가상 장치 아이콘(510-3), 및 홈 버튼(510-4) 중 하나 이상을 비롯한, 복수의 아이콘(510)을 포함하고 있다. 어떤 실시예들에서, 아이콘들(510)은 메뉴(508)의 중앙 주위에 방사상으로 디스플레이된다[예컨대, 아이콘들이 메뉴(508)의 중앙으로부터 실질적으로 같은 거리에 디스플레이된다].
도 5c에서, 시각 표시자(504-1)는 가상 터치 선택 아이콘(510-1) 상으로 이동된다. 어떤 실시예들에서, 시각 표시자(504-1)를 가상 터치 선택 아이콘(510-1) 상으로 이동시키는 것에 의해 가상 터치 선택 아이콘(510-1)이 선택된다. 어떤 실시예들에서, 시각 표시자(504-1)를 가상 터치 선택 아이콘(510-1) 상으로 이동시키고 이어서 적응적 입력 장치 상의 버튼(예컨대, 도 4c의 488-1)을 활성화시키는 것에 의해 가상 터치 선택 아이콘(510-1)이 선택된다.
도 5d는 가상 터치 선택 아이콘(510-1)(도 5c)의 선택에 응답하여 가상 멀티터치 접촉의 메뉴(512)가 디스플레이되는 것을 나타낸 것이다. 가상 멀티터치 접촉의 메뉴(512)는 가상 멀티터치 접촉의 유형[예컨대, 두 손가락 접촉 아이콘(514-1), 세 손가락 접촉 아이콘(514-2), 네 손가락 접촉 아이콘(514-3), 및 다섯 손가락 접촉 아이콘(514-4)]을 나타내는 복수의 아이콘(514)을 포함하고 있다. 어떤 실시예들에서, 가상 멀티터치 접촉의 메뉴(512)는 또한 한 손가락 접촉 아이콘(도시 생략)을 포함하고 있다. 아이콘들(514)은 본 명세서에서 가상 멀티터치 접촉 아이콘이라고도 불리운다. 도 5d는 또한 세 손가락 접촉 아이콘(514-3)이 시각 표시자(504-1)를 사용하여 선택되는 것을 나타내고 있다.
도 5e는 도 5d에서의 세 손가락 접촉 아이콘(514-3)의 선택에 응답하여 3개의 시각 표시자(504-2, 504-3, 및 504-4)가 디스플레이되는 것을 나타내고 있다. 도 5e는 또한 3개의 시각 표시자(504-2 내지 504-4)가 (예컨대, 적응적 입력 장치로부터의 입력에 따라) 좌측으로 이동하는 것을 나타내고 있다. 주목할 점은, 어떤 실시예들에서, 터치 스크린(112) 상에서의 세 손가락 좌측 스와이프 제스처가 현재 디스플레이된 응용 프로그램(예컨대, 이메일 응용 프로그램)과 상이한, 다기능 장치(100) 상에서 실행 중인 열린 응용 프로그램의 사용자 인터페이스[예컨대, 웹 브라우저 응용 프로그램의 사용자 인터페이스(502-B)]를 디스플레이한다는 것이다. 환언하면, 세 손가락 좌측 스와이프 제스처는, 어떤 실시예들에서, 그 다음의 열린 응용 프로그램으로의 탐색을 개시한다.
어떤 실시예들에서, 다기능 장치(100)는, 3개의 시각 표시자(504-2 내지 504-4)의 좌측으로의 움직임에 응답하여, 그 다음의 열린 응용 프로그램의 사용자 인터페이스[예컨대, 사용자 인터페이스(502-B)]를 디스플레이하도록 구성되어 있다. 도 5f에서, 3개의 시각 표시자(504-2 내지 504-4)의 좌측으로의 움직임에 응답하여 웹 브라우저 응용 프로그램의 사용자 인터페이스(502-B)가 보여진다. 3개의 시각 표시자(504-2 내지 504-4)는 또한 도 5f에도 도시되어 있다.
도 5g는, 사전 정의된 기간(예컨대, 5초, 10초, 15초, 또는 임의의 적정 기간) 동안 적응적 입력 장치로부터 어떤 입력도 수신되지 않는 경우, 3개의 시각 표시자(504-2 내지 504-4)를 디스플레이하는 것이 단일의 시각 표시자(504-1)를 디스플레이하는 것으로 대체되는 것을 나타내고 있다. 어떤 실시예들에서, 사전 정의된 기간은 (예컨대, 도시되어 있지 않은 설정 메뉴를 통해) 사용자에 의해 설정된다.
도 5h에서, 도 5b와 같이, 사용자 인터페이스는 가상 터치 선택 아이콘(510-1), 가상 제스처 아이콘(510-2), 가상 장치 아이콘(510-3), 및 홈 버튼(510-4)을 갖는 메뉴(508)를 포함하고 있다. 도 5h에서, 가상 제스처 아이콘(510-2)이 시각 표시자(504-1)에 의해 선택된다.
도 5i는 가상 제스처 아이콘(510-2)(도 5h)의 선택에 응답하여 가상 제스처의 메뉴(516)가 디스플레이되는 것을 나타낸 것이다. 가상 제스처의 메뉴(516)는 가상 제스처의 유형을 나타내는 복수의 아이콘(518)[예컨대, 가상 두 손가락 핀치/디핀치 제스처 아이콘(518-1), 가상 세 손가락 상향 스와이프 제스처 아이콘(518-2), 가상 세 손가락 하향 스와이프 제스처 아이콘(518-3), 가상 사용자-구성 제스처 아이콘(518-4), 가상 세 손가락 좌측 스와이프 제스처 아이콘(도시 생략), 가상 세 손가락 우측 스와이프 제스처 아이콘(도시 생략), 가상 네 손가락 좌측 스와이프 제스처 아이콘(도시 생략), 가상 네 손가락 우측 스와이프 제스처 아이콘(도시 생략), 가상 네 손가락 상향 스와이프 제스처 아이콘(도시 생략), 가상 네 손가락 하향 스와이프 제스처 아이콘(도시 생략), 가상 두 손가락 좌측 스와이프 제스처 아이콘(도시 생략), 가상 두 손가락 우측 스와이프 제스처 아이콘(도시 생략), 가상 두 손가락 상향 스와이프 제스처 아이콘(도시 생략), 가상 두 손가락 하향 스와이프 제스처 아이콘(도시 생략) 등]을 포함하고 있다. 본 명세서에서 사용되는 바와 같이, 아이콘들(518)은 가상 제스처 아이콘이라고도 불리운다. 주목할 점은, 가상 제스처 아이콘(510-2) 및 각각의 가상 제스처 아이콘(518)이 상이한 기능을 가진다는 것이다. 예를 들어, 가상 제스처 아이콘(510-2)의 선택은 가상 제스처의 메뉴(516)를 디스플레이하는 것을 개시하고, 각자의 가상 제스처 아이콘의 선택은 각자의 가상 제스처 아이콘과 연관되어 있는 동작을 수행하는 것을 개시한다. 도 5i는 세 손가락 상향 스와이프 제스처 아이콘(518-2)이 선택되는 것을 나타내고 있다.
도 5j에서, 세 손가락 상향 스와이프 제스처 아이콘(518-2)의 선택에 응답하여, 사용자 인터페이스(502-A)의 일부분 및 응용 프로그램 아이콘 영역(520)이 동시에 디스플레이된다. 응용 프로그램 아이콘 영역(520)은 복수의 열린 응용 프로그램 아이콘들(5004)을 포함하고 있고, 이들 각각은, [예컨대, 도 5j의 시각 표시자(504-1)를 통해] 활성화될 때, 대응하는 응용 프로그램의 사용자 인터페이스를 디스플레이하는 것을 개시한다. 다른 대안으로서, 터치 스크린(112) 상에서의 세 손가락 상향 스와이프 제스처에 응답하여 사용자 인터페이스(502-A)의 일부분 및 응용 프로그램 아이콘 영역(520)이 디스플레이될 수 있다.
도 5k에서, 복수의 아이콘들(518)[예컨대, 가상 두 손가락 핀치/디핀치 제스처 아이콘(518-1), 가상 세 손가락 상향 스와이프 제스처 아이콘(518-2), 가상 세 손가락 하향 스와이프 제스처 아이콘(518-3), 가상 사용자-구성 제스처 아이콘(518-4) 등]을 포함하는 가상 제스처의 메뉴(516)가 디스플레이된다. 도 5k는 또한 가상 두 손가락 핀치/디핀치 제스처 아이콘(518-1)이 시각 표시자(504-1)를 사용하여 선택되는 것을 나타내고 있다.
도 5l에서, 가상 두 손가락 핀치/디핀치 제스처 아이콘(518-1)(도 5k)의 선택에 응답하여 2개의 시각 표시자(504-5 및 504-6)가 디스플레이된다. 어떤 실시예들에서, 2개의 시각 표시자(504-5 및 504-6)가 [예컨대, 커넥터(522)에 의해] 시각적으로 링크되어 있다. 어떤 실시예들에서, 2개의 시각 표시자(504-5 및 504-6)의 각각의 시각 표시자는 링 모양의 디스플레이 객체를 포함하고 있다. 링 모양의 시각 표시자는 때때로 (도 5n을 참조하여 이하에서 기술되는 제2 모드 시각 표시자와 비교하여) 제1 모드 시각 표시자라고 불리운다.
도 5m은, 제1 모드에서, 2개의 시각 표시자(504-5 및 504-6)가 적응적 입력 장치로부터의 입력에 따라 함께 이동되는 것을 나타내고 있다. 그에 부가하여, 2개의 시각 표시자(504-5 및 504-6)의 동시적인 움직임에 따라 사용자 인터페이스(502-A)가 스크롤된다.
도 5n에서, 2개의 제1 모드 시각 표시자(504-5 및 504-6)는 2개의 제2 모드 시각 표시자(504-7 및 504-8)로 대체된다. 각각의 제2 모드 시각 표시자는 링 모양의 디스플레이 객체 및 동심 디스크 모양의 디스플레이 객체를 포함하고 있다. 어떤 경우에, 적응적 입력 장치 상의 버튼(예컨대, 도 4c의 488-2)의 활성화에 응답하여 2개의 제2 모드 시각 표시자가 디스플레이된다.
도 5o는, 적응적 입력 장치로부터의 입력에 응답하여, 2개의 제2 모드 시각 표시자(504-7 및 504-8)가 제2 모드에서 서로에 대해 이동되고[예컨대, 2개의 제2 모드 시각 표시자(504-7 및 504-8) 사이의 거리가 증가함] 사용자 인터페이스가 그에 따라 확대(예컨대, 줌인)되는 것을 나타내고 있다.
도 5p에서, 가상 터치 선택 아이콘(510-1), 가상 제스처 아이콘(510-2), 가상 장치 아이콘(510-3), 및 홈 버튼(510-4)을 포함하는 메뉴(508)가 디스플레이된다. 도 5p는 또한 가상 장치 아이콘(510-3)이 시각 표시자(504-1)를 사용하여 선택되는 것을 나타내고 있다.
도 5q에서, 가상 장치 아이콘(510-3)(도 5p)의 활성화에 응답하여 가상 장치 동작의 메뉴(524)가 디스플레이된다. 가상 장치 동작의 메뉴(524)는 가상 장치 동작의 유형을 나타내는 복수의 아이콘(526)[예컨대, 가상 장치 음소거/음소거 해제 아이콘(526-1), 가상 장치 회전 아이콘(526-2), 가상 장치 흔들기 아이콘(526-3), 가상 장치 잠금 화면 아이콘(526-4), 가상 장치 볼륨 높이기 아이콘(526-5), 가상 장치 볼륨 낮추기 아이콘(526-6), 가상 회전 잠금 아이콘(도시 생략), 가상 노크-노크 아이콘(도시 생략) 등]을 포함하고 있다. 예시적인 가상 장치 동작은 음소거 스위치를 통해 보통 수행되는, 장치 상의 링어(ringer) 및 사운드 효과를 음소거 및 음소거 해제시키는 것; 잠금/잠금 해제 스위치를 통해 보통 개시되는, 장치를 잠금하는 것; 볼륨 높이기 버튼을 통해 보통 수행되는, 볼륨을 증가시키는 것; 볼륨 낮추기 버튼을 통해 보통 수행되는, 볼륨을 감소시키는 것 등의 전자 장치 상의 물리 컨트롤을 통해 보통 수행되는 동작을 포함할 수 있다. 예시적인 가상 장치 동작은 또한 사전 정의된 동작(예컨대, 실행취소 동작)을 수행하기 위해 전자 장치를 흔드는 것 및 디스플레이 배향을 회전시키기 위해 전자 장치를 회전시키는 것을 포함할 수 있다. 흔들기 및 회전과 같은 동작은 통상적으로 전자 장치 내의 가속도계를 통해 검출된다. 본 명세서에서 사용되는 바와 같이, 아이콘들(526)은 가상 장치 동작 아이콘이라고도 불리운다. 도 5q는 또한 가상 장치 회전 아이콘(526-2)이 시각 표시자(504-1)를 사용하여 선택되는 것을 나타내고 있다.
도 5r은 가상 장치 회전 아이콘(526-2)(도 5q)의 선택에 응답하여 가상 장치 배향의 메뉴(528)가 디스플레이되는 것을 나타낸 것이다. 가상 장치 배향의 메뉴(528)는 가상 장치 배향(또는 장치 배향의 회전)의 유형을 나타내는 복수의 아이콘(530)을 포함하고 있다. 예를 들어, 가상 장치 동작의 메뉴(528)는 세로 배향 아이콘(530-1), 좌측 회전 배향 아이콘(530-2), 우측 회전 배향 아이콘(530-3), 및 뒤집기 회전 배향 아이콘(530-4)을 포함할 수 있다. 주목할 점은, 어떤 실시예들에서, 장치를 반시계 방향으로 약 90도 회전시키는 것이 사용자 인터페이스를 시계 방향으로 90도 회전시킨다는 것이다. 도 5r은 또한 좌측 회전 배향 아이콘(530-2)이 시각 표시자(504-1)를 사용하여 선택되는 것을 나타내고 있다.
도 5s에서, 장치의 실제의 물리적 회전 없이, 좌측 회전 배향 아이콘(530-2)의 선택에 응답하여, 사용자 인터페이스가 시계 방향으로 90도 회전된다. 도 5s는 또한 회전된 사용자 인터페이스(502-C)가 터치 스크린(112) 상에 디스플레이되는 것을 나타낸 것이다.
도 5t에서, 가상 터치 선택 아이콘(510-1), 가상 제스처 아이콘(510-2), 가상 장치 아이콘(510-3), 및 홈 버튼(510-4)을 포함하는 메뉴(508)가 디스플레이된다. 도 5t는 또한 홈 버튼 아이콘(510-4)이 시각 표시자(504-1)를 사용하여 선택되는 것을 나타내고 있다.
도 5u는 홈 버튼 아이콘(510-4)의 선택에 응답하여 홈 화면(502-D)이 디스플레이되는 것을 나타낸 것이다. 어떤 실시예들에서, 홈 화면(502-D)은 복수의 응용 프로그램 아이콘(5002)을 포함하고 있다.
도 5v는, 어떤 실시예들에서, 시각 표시자(504-1)가 메뉴(508)를 벗어나 디스플레이되는 것을 나타낸 것이다. 어떤 실시예들에서, 시각 표시자(504-1)가 메뉴(508)를 벗어나 디스플레이되어 있는 동안 적응적 입력 장치로부터 입력을 수신한 것[예컨대, 도 4c의 적응적 입력 장치(482) 상의 버튼(488-1)의 활성화]에 응답하여, 메뉴(508)가 디스플레이되지 않는다. 어떤 실시예들에서, 메뉴(508)가 디스플레이되는 동안, 사전 정의된 기간 동안 적응적 입력 장치로부터 어떤 입력도 수신되지 않는 경우, 메뉴(508)가 디스플레이되지 않는다.
도 5w 내지 도 5ac는 어떤 실시예들에 따른, 사용자-정의 제스처(사용자-구성 제스처 또는 커스텀 제스처라고도 함)를 생성하는 예시적인 사용자 인터페이스를 나타낸 것이다. 도 5w에서, 사용자-정의 제스처를 생성하는 사용자 인터페이스가 디스플레이된다. 사용자 인터페이스는 손가락 추가 버튼(532), 손가락 제거 버튼(534), 저장 버튼(536), 소거 버튼(538), 및 완료 버튼(544) 등의 복수의 사용자 인터페이스 객체를 포함하고 있다. 도 5w는 또한 손가락 추가 버튼(532)이 시각 표시자(504-1)를 사용하여 선택되는 것을 나타내고 있다.
도 5x는, 손가락 추가 버튼(532)의 선택에 응답하여, 커스텀 제스처를 생성하는 제1 시각 표시자(540-1)가 디스플레이되는 것을 나타내고 있다.
도 5y에서, 적응적 입력 장치로부터의 하나 이상의 입력에 따라 제1 시각 표시자(540-1)가 이동된다. 또한 제1 시각 표시자(540-1)의 자취(542-1)가 도 5y에 도시되어 있다.
도 5z는, 손가락 추가 버튼(532)의 제2 선택에 응답하여, 제2 시각 표시자(540-2)가 디스플레이되는 것을 나타내고 있다.
도 5aa에서, 적응적 입력 장치로부터의 하나 이상의 입력에 따라 제2 시각 표시자(540-2)가 이동된다. 또한 제2 시각 표시자(540-2)의 자취(542-2)가 도 5aa에 도시되어 있다. 시각 표시자(540-1 및 540-2)의 움직임을 포함하는 사용자-정의 제스처를 저장하기 위해 저장 버튼(536)이 선택될 수 있다.
도 5ab에서, 복수의 아이콘들(518)[예컨대, 가상 두 손가락 핀치/디핀치 제스처 아이콘(518-1), 가상 세 손가락 상향 스와이프 제스처 아이콘(518-2), 가상 세 손가락 하향 스와이프 제스처 아이콘(518-3), 가상 사용자-정의 제스처 아이콘(518-4) 등]을 포함하는 가상 제스처의 메뉴(516)가 디스플레이된다. 도 5ab는 또한 사용자-정의 제스처 아이콘(518-4)이 시각 표시자(504-1)를 사용하여 선택되는 것을 나타내고 있다.
어떤 실시예들에서, 사용자가 2개 이상의 사용자-정의 가상 제스처를 저장한 경우, 커스텀 제스처 아이콘(518-4)(도시 생략)의 선택에 응답하여 이들 사용자-정의 가상 제스처 중 적어도 일부의 메뉴가 디스플레이될 것이다. [예컨대, 시각 표시자(504-1)(도시 생략)를 사용하여] 사용자-정의 가상 제스처의 메뉴 내의 특정의 사용자-정의 가상 제스처의 활성화는 대응하는 동작을 구현할 것이다. 한편, 커스텀 제스처 아이콘(518-4)이 단일의 사용자-정의 가상 제스처에 대응하는 경우, 커스텀 제스처 아이콘(518-4)의 선택에 응답하여 단일의 사용자-정의 가상 제스처에 대응하는 동작이 구현될 것이다. 예를 들어, 도 5ac는 사용자-정의 가상 제스처와 연관되어 있는 사전 정의된 동작이 수행되는 것을 나타내고 있다(즉, 도 5w 내지 도 5aa에서 두 손가락 가상 제스처가 생성되고 저장됨). 어떤 실시예들에서, 사용자-정의 가상 제스처와 연관되어 있는 사전 정의된 동작이 수행되기 직전, 수행되기 직후 또는 수행되는 동안에, 시각 표시자(540-1 및 540-2)의 애니메이션화된 움직임이 그 각자의 자취(542-1 및 542-2)와 함께 디스플레이된다.
도 6a 내지 도 6e는 어떤 실시예들에 따른, 터치-기반 사용자 인터페이스에 대한 접근성을 제공하는 방법(600)을 나타낸 흐름도이다. 디바이스 및 터치 감응 표면을 갖는 전자 장치[예컨대, 도 3의 장치(300) 또는 도 1의 휴대용 다기능 장치(100)]에서 방법(600)이 수행된다. 어떤 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응 표면은 디스플레이 상에 있다. 어떤 실시예들에서, 디스플레이는 터치 감응 표면과 분리되어 있다. 방법(600)에서의 일부 동작이 결합될 수 있고 및/또는 일부 동작의 순서가 변경될 수 있다.
이하에서 기술되는 바와 같이, 방법(600)은 사용자가 그의 손으로 소근육 운동을 함이 없이 터치-기반 사용자 인터페이스를 갖는 장치에 액세스할 수 있게 해준다. 이 방법은 이러한 사용자가 그렇지 않았으면 장치의 터치 감응 표면과의 상호작용을 필요로 할 동작을 수행하는 것을 가능하게 해준다.
장치는 (602에서) 가상 터치(예컨대, 가상 한 손가락 접촉 등의 터치 감응 표면 상에서의 가상 터치)에 대응하는 제1 시각 표시자(예컨대, 도 5a의 504-1)를, 디스플레이 상에, 디스플레이한다.
어떤 실시예들에서, 제1 시각 표시자는 링(예컨대, 도 5a의 504-1), 도넛, 원, 달걀 모양, 타원, 화살표, 십자형, I-빔, 별표, 또는 가상 손가락 중 하나를 포함한다(604).
장치는 (606에서) 적응적 입력 장치[예컨대, 도 4c에서의 조이스틱(486), 버튼(488-1 또는 488-2), 또는 임의의 다른 적응적 입력 장치]로부터 제1 입력을 수신한다.
어떤 실시예들에서, 제1 입력은 제1 시각 표시자를 디스플레이의 사전 정의된 영역으로 이동시킨다(608). 예를 들어, 시각 표시자를 디스플레이의 코너(예컨대, 사전 정의된 활성 화면 코너)로 이동시키는 것에 의해 제1 메뉴가 디스플레이된다[예컨대, 도 5a의 움직임(506-1)]. 다른 예로서, 시각 표시자를 디스플레이의 코너로 이동시키고 이어서 적응적 입력 장치 상의 버튼을 활성화시키는 것에 의해 제1 메뉴가 디스플레이된다.
어떤 실시예들에서, 제1 입력은 적응적 입력 장치 상의 컨트롤의 활성화[예컨대, 적응적 입력 장치 상의 물리적 버튼[도 4c의 메뉴 버튼(488-2) 등]을 활성화시키는 것]에 대응한다(610).
어떤 실시예들에서, 제1 입력은 적응적 입력 장치 상의 컨트롤을 좌우로 이동시키는 것[예컨대, 도 4c의 조이스틱(486)을 좌우로 이동시키는 것 또는 신체 일부(손, 눈, 머리 또는 입 등)를 사용하여 적응적 입력 장치 상의 컨트롤을 좌우로 이동시키는 것]에 대응한다(612).
어떤 실시예들에서, 적응적 입력 장치는 조이스틱(예컨대, 도 4c의 486)을 포함하고, 제1 입력은 조이스틱을 좌우로 이동시키는 것에 대응한다(614).
적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여, 장치는 (616에서) 디스플레이 상에 제1 메뉴[예컨대, 도 5b의 메뉴(508)]를 디스플레이한다. 제1 메뉴는 가상 터치 선택 아이콘[예컨대, 도 5b의 아이콘(510-1)]을 포함하고 있다. 가상 터치 선택 아이콘의 선택을 검출한 것에 응답하여, 가상 멀티터치 접촉의 메뉴[예컨대, 도 5d의 메뉴(512)]가 디스플레이된다.
어떤 실시예들에서, 제1 메뉴는 제1 메뉴의 중앙 주위에 방사상으로(예컨대, 중앙 주위에 동심원 배열로) 디스플레이되는 아이콘들을 포함하고 있다(618). 예를 들어, 도 5b에서의 메뉴(508)는 메뉴(508)의 중앙 주위에 방사상으로 디스플레이되는 아이콘들(510)을 포함하고 있다. 부가적인 예로서, 본 명세서에 기술되어 있는 어떤 다른 메뉴들[예컨대, 도 5d에서의 메뉴(512), 도 5i에서의 메뉴(516), 및 도 5r에서의 메뉴(528)]에서의 아이콘들은 대응하는 메뉴의 중앙 주위에 방사상으로 디스플레이된다. 그에 부가하여, 도 5q에서의 메뉴(524) 내의 아이콘들은 메뉴(524)의 중앙 주위에 방사상으로 디스플레이될 수 있다. 메뉴 내의 아이콘들의 이러한 배열은 각각의 아이콘에 쉽게 액세스할 수 있게 해준다.
어떤 실시예들에서, 제1 사용자 인터페이스[예컨대, 도 5a의 사용자 인터페이스(502-A)]가 (620에서), 적응적 입력 장치로부터 제1 입력을 수신하기 직전에, 디스플레이 상에 디스플레이되고, 제1 메뉴[예컨대, 도 5b의 메뉴(508)]가 제1 사용자 인터페이스 상에 (예컨대, 약간 투명한(semitransparent), 반투명 또는 불투명 오버레이로서) 디스플레이된다. 이와 유사하게, 본 명세서에 기술되어 있는 다른 메뉴들[예컨대, 도 5d에서의 메뉴(512), 도 5i에서의 메뉴(516), 도 5q에서의 메뉴(524) 및 도 5r에서의 메뉴(528)]은 그 아래에 있는 표준의 사용자 인터페이스 상에 약간 투명한, 반투명 또는 불투명 오버레이로서 디스플레이될 수 있다. 이들 오버레이 메뉴는 표준의 사용자 인터페이스를 사용하여 장치를 제어하는 것과 아주 유사하게 적응적 입력 장치를 통해 전자 장치를 제어하는 데 도움을 준다.
어떤 실시예들에서, 적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여, 장치는 (622에서) 제1 메뉴의 중앙 영역에 제1 시각 표시자를 디스플레이한다. 예를 들어, 도 5b에서, 메뉴(508)가 처음으로 디스플레이될 때 메뉴(508)의 중앙에 시각 표시자(504-1)가 디스플레이된다. 제1 메뉴의 중앙에 시각 표시자를 디스플레이하는 것은 제1 메뉴에 있는 각각의 옵션에 쉽게 액세스할 수 있게 해준다. 이와 유사하게, 적응적 입력 장치로부터 수신된 입력에 응답하여 본 명세서에 기술되어 있는 다른 메뉴들[예컨대, 도 5d에서의 메뉴(512), 도 5i에서의 메뉴(516), 도 5q에서의 메뉴(524) 및 도 5r에서의 메뉴(528)]이 디스플레이될 때 시각 표시자가 처음에 그 메뉴들의 중앙에 디스플레이될 수 있다.
어떤 실시예들에서, 디스플레이 상에 메뉴를 디스플레이하는 동안[예컨대, 도 5b에서의 메뉴(508), 도 5d에서의 가상 멀티터치 접촉의 메뉴(512), 도 5i에서의 가상 제스처의 메뉴(516), 도 5q에서의 가상 장치 동작의 메뉴(524), 도 5r에서의 가상 장치 회전의 메뉴(528), 또는 임의의 액세스가능한 메뉴], 장치는 (도 6b의 624에서), [예컨대, 시각 표시자(504-1)의 벗어남(overshoot)을 방지하기 위해] 제1 시각 표시자가 메뉴 상에 머물러 있도록, 제1 시각 표시자의 움직임을 제약한다.
어떤 실시예들에서, 디스플레이 상에 제1 메뉴를 디스플레이하는 동안, 장치는 (626에서) 제1 시각 표시자가 제1 메뉴를 벗어나 디스플레이될 때 적응적 입력 장치로부터 제2 입력을 수신하고[예컨대, 시각 표시자(도 5v의 504-1)가 디스플레이 구역 상에서 제1 메뉴를 벗어나 위치될 때 적응적 입력 장치 상의 버튼(도 4c의 488-1)의 활성화를 검출함]; 제2 입력에 응답하여, 제1 메뉴를 디스플레이하는 것을 중단한다[예컨대, 사용자 인터페이스(도 5a의 502-A)를 디스플레이함]. 이와 유사하게, 시각 표시자가 메뉴 상에 없는 상태에서 적응적 입력 장치로부터 입력이 수신될 때 본 명세서에 기술되어 있는 다른 메뉴들[예컨대, 도 5b에서의 메뉴(508), 도 5d에서의 가상 멀티터치 접촉의 메뉴(512), 도 5i에서의 가상 제스처의 메뉴(516), 도 5q에서의 가상 장치 동작의 메뉴(524), 도 5r에서의 가상 장치 회전의 메뉴(528), 또는 임의의 액세스가능한 메뉴]이 사라질 수 있다.
어떤 실시예들에서, 디스플레이 상에 제1 메뉴를 디스플레이하는 동안, 장치는 (628에서) 사전 정의된 기간(예컨대, 5초, 10초, 15초, 또는 임의의 적정 기간) 초과 동안 적응적 입력 장치로부터 입력을 수신하기 위해 기다린다. 어떤 실시예들에서, 사전 정의된 기간은 (예컨대, 설정 메뉴를 통해) 사용자에 의해 설정된다. 사전 정의된 기간 초과 동안 적응적 입력 장치로부터 입력을 수신하기 위해 기다린 것에 응답하여(예컨대, 적응적 입력 장치로부터 입력을 수신하지 않은 경우), 장치는 제1 메뉴를 디스플레이하는 것을 중단한다[예컨대, 사용자 인터페이스(도 5a의 502-A)를 디스플레이함]. 이와 유사하게, 사전 정의된 기간 내에 적응적 입력 장치로부터 입력이 수신되지 않을 때 본 명세서에 기술되어 있는 다른 메뉴들[예컨대, 도 5b에서의 메뉴(508), 도 5d에서의 가상 멀티터치 접촉의 메뉴(512), 도 5i에서의 가상 제스처의 메뉴(516), 도 5q에서의 가상 장치 동작의 메뉴(524), 도 5r에서의 가상 장치 회전의 메뉴(528), 또는 임의의 액세스가능한 메뉴]이 사라질 수 있다.
어떤 실시예들에서, 장치는 (도 6c의 630에서) 가상 터치 선택 아이콘[예컨대, 도 5c의 가상 터치 선택 아이콘(510-1)]의 선택을 검출한다. 예를 들어, 장치는 시각 표시자가 가상 터치 선택 아이콘 상에 위치해 있을 때[예컨대, 도 5c의 시각 표시자(504-1)] 적응적 입력 장치 상의 버튼(예컨대, 도 4c의 488-1)의 활성화를 검출하거나, 시각 표시자가 가상 터치 선택 아이콘을 가로질러 이동하는 것을 검출한다. 가상 터치 선택 아이콘의 선택을 검출한 것에 응답하여, 장치는 가상 멀티터치 접촉의 메뉴[예컨대, 도 5d의 메뉴(512)]를 디스플레이한다. 가상 멀티터치 접촉의 메뉴는 가상 멀티터치 접촉의 유형[예컨대, 도 5d의 메뉴(512) 내의 두 손가락 접촉 아이콘(514-1), 세 손가락 접촉 아이콘(514-2), 네 손가락 접촉 아이콘(514-3), 및 다섯 손가락 접촉 아이콘(514-4)]을 나타내는 복수의 아이콘을 포함하고 있다. 어떤 실시예들에서, 가상 멀티터치 접촉의 메뉴는 또한 한 손가락 접촉 아이콘(도시 생략)을 포함하고 있다. 장치는 가상 멀티터치 접촉의 메뉴 내의 각자의 가상 멀티터치 접촉 아이콘의 선택을 검출한다[예컨대, 시각 표시자가 가상 세 손가락 접촉 아이콘(514-2) 상에 위치해 있을 때 적응적 입력 장치 상의 버튼의 활성화를 검출하는 것 또는 시각 표시자가 가상 세 손가락 접촉 아이콘을 가로질러 이동하는 것을 검출하는 것 등에 의해, 가상 세 손가락 접촉 아이콘(도 5d의 514-2)의 선택을 검출함]. 가상 멀티터치 접촉의 메뉴 내의 각자의 가상 멀티터치 접촉 아이콘의 선택을 검출한 것에 응답하여, 장치는 각자의 가상 멀티터치 접촉 아이콘에 대응하는 하나 이상의 제2 시각 표시자[예컨대, 도 5e에서의 시각 표시자(504-2 내지 504-4)]를 디스플레이한다. 어떤 실시예들에서, 가상 멀티터치 접촉의 메뉴 내의 각자의 가상 멀티터치 접촉 아이콘의 선택을 검출한 것에 응답하여, 장치는 또한 가상 멀티터치 접촉의 메뉴를 디스플레이하는 것을 중단한다[예컨대, 도 5e에서 메뉴(512)가 디스플레이되지 않음]. 어떤 실시예들에서, 제2 시각 표시자는 각자의 가상 멀티터치 접촉 아이콘에 대응하는 다수의 접촉을 나타내는 단일 아이콘의 일부이다. 따라서, 하나 이상의 제2 시각 표시자가 통상적으로 일제히 이동한다(예컨대, 동일한 속도로 동일한 방향으로 동일한 거리를 이동함). 어떤 실시예들에서, 제2 시각 표시자는 각자의 가상 멀티터치 접촉 아이콘에 대응하는 다수의 접촉을 나타내는 다수의 아이콘이다.
어떤 실시예들에서, 제2 시각 표시자를 디스플레이하는 것은 각자의 가상 멀티터치 접촉 아이콘에 대응하는 다수의 시각 표시자를 디스플레이하는 것을 포함한다(632). 예를 들어, 도 5d에서의 가상 세 손가락 접촉 아이콘(514-2)의 선택에 응답하여, 도 5e에서 3개의 가상 터치에 대응하는 3개의 시각 표시자가 디스플레이된다. 이와 유사하게, 도 5d에서의 가상 두 손가락 접촉 아이콘(514-1)의 선택에 응답하여, 장치는 2개의 가상 터치에 대응하는 2개의 시각 표시자를 디스플레이한다(도시 생략). 도 5d에서의 가상 네 손가락 접촉 아이콘(514-3)의 선택에 응답하여, 장치는 4개의 가상 터치에 대응하는 4개의 시각 표시자를 디스플레이하고(도시 생략); 도 5d에서의 가상 다섯 손가락 접촉 아이콘(514-4)의 선택에 응답하여, 장치는 5개의 가상 터치에 대응하는 5개의 시각 표시자를 디스플레이한다(도시 생략).
어떤 실시예들에서, 장치는 (634에서) 적응적 입력 장치로부터 제2 입력을 수신하고; 적응적 입력 장치로부터 제2 입력을 수신한 것에 응답하여: 하나 이상의 제2 시각 표시자를 이동시키고, 하나 이상의 제2 시각 표시자의 움직임에 따라 동작을 수행한다. 예를 들어, 도 5e에서, 조이스틱을 좌측으로 미는 것에 의해 수신되는 입력은, 3개의 활성 손가락 접촉이 터치 감응 표면 상에서 좌측으로 이동하는 것처럼, 3개의 시각 표시자를 좌측으로 이동시키고 그 다음의 열린 응용 프로그램으로 탐색하는 데 사용된다.
어떤 실시예들에서, 하나 이상의 제2 시각 표시자를 디스플레이하는 동안, 장치는 사전 정의된 기간(예컨대, 5초, 10초, 15초, 또는 임의의 적정 기간) 초과 동안 적응적 입력 장치로부터 입력을 수신하기 위해 기다리고; 사전 정의된 기간 초과 동안 적응적 입력 장치로부터 입력을 수신하기 위해 기다린 것에 응답하여, 하나 이상의 제2 시각 표시자를 디스플레이하는 것을 제1 시각 표시자를 디스플레이하는 것으로 대체한다(636). 예를 들어, 사전 정의된 기간 초과 동안 적응적 입력 장치로부터 입력을 수신하기 위해 기다린 것에 응답하여(적응적 입력 장치로부터 입력을 수신하지 않음), 장치는 3개의 시각 표시자[504-2 내지 504-4(도 5f)]를 디스플레이하는 것을 단일의 시각 표시자(504-1)(도 5g)를 디스플레이하는 것으로 대체한다. 어떤 실시예들에서, 사전 정의된 기간은 (예컨대, 도시되어 있지 않은 설정 메뉴를 통해) 사용자에 의해 설정된다.
어떤 실시예들에서, 하나 이상의 제2 시각 표시자를 디스플레이하는 동안, 장치는 제1 사전 정의된 시간 구간 동안 사용자 입력을 기다린다. 제1 사전 정의된 시간 구간 동안 사용자 입력이 수신되지 않았다는 판정에 따라, 장치는 제2 시각 표시자를 디스플레이하는 것을 제2 시각 표시자와 상이한(예컨대, 상이한 밝기, 상이한 색상, 상이한 라인 패턴, 상이한 투명도 등의) 제3 시각 표시자를 디스플레이하는 것으로 대체한다.
어떤 실시예들에서, 제2 시각 표시자 및 제3 시각 표시자는 동일한 수의 터치를 나타낸다.
어떤 실시예들에서, 제3 시각 표시자를 디스플레이하는 동안, 장치는 제2 사전 정의된 시간 구간 동안 사용자 입력을 기다린다. 어떤 실시예들에서, 제2 사전 정의된 시간 구간은 제1 사전 정의된 시간 구간과 동일하다. 다른 실시예들에서, 제2 사전 정의된 시간 구간은 제1 사전 정의된 시간 구간과 상이하다. 제2 사전 정의된 시간 구간 동안 사용자 입력이 수신되지 않았다는 판정에 따라, 장치는 제3 시각 표시자를 디스플레이하는 것을 제1 표시자를 디스플레이하는 것으로 대체한다.
어떤 실시예들에서, 장치는 (도 6d의 638에서) 가상 제스처 아이콘[예컨대, 도 5h의 메뉴(508) 내의 510-2]을 디스플레이하고; 가상 제스처 아이콘의 선택을 검출하며; 가상 제스처 아이콘의 선택을 검출한 것에 응답하여, 가상 제스처의 메뉴(예컨대, 도 5i의 516)를 디스플레이한다. 가상 제스처의 메뉴는 가상 제스처의 유형을 나타내는 복수의 아이콘[예컨대, 도 5i의 아이콘들(518)]을 포함하고 있다. 장치는 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출하고[예컨대, 적응적 입력 장치 상의 버튼의 활성화에 의해 가상 세 손가락 상향 스와이프 제스처 아이콘(도 5i의 518-2)의 선택을 검출함]; 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 제스처에 대응하는 동작을 수행한다. 예를 들어, 가상 세 손가락 상향 스와이프 제스처 아이콘(도 5i에서의 518-2)의 선택에 응답하여, 장치는 도 5j에 도시된 복수의 열린 응용 프로그램 아이콘을 포함하는 응용 프로그램 아이콘 구역(520)을 디스플레이한다. 어떤 실시예들에서, 장치는 제스처에 대응하는 시각 표시자를 디스플레이함이 없이 특정의 제스처에 대응하는 동작을 수행할 수 있다[예컨대, 도 5j에서, 세 손가락 상향 스와이프 제스처에 대응하는 시각 표시자를 디스플레이함이 없이 열린 응용 프로그램 아이콘 구역(520)이 디스플레이됨].
어떤 실시예들에서, 장치는 (640에서) 가상 제스처 아이콘[예컨대, 도 5h의 메뉴(508) 내의 510-2]을 디스플레이하고; 가상 제스처 아이콘의 선택을 검출하며(예컨대, 시각 표시자가 가상 제스처 아이콘 상에 위치해 있을 때 적응적 입력 장치 상의 버튼의 활성화를 검출하거나, 시각 표시자가 가상 제스처 아이콘을 가로질러 이동하는 것을 검출함); 가상 제스처 아이콘의 선택을 검출한 것에 응답하여, 가상 제스처의 메뉴(예컨대, 도 5i의 516)를 디스플레이한다. 가상 제스처의 메뉴는 가상 제스처의 유형을 나타내는 복수의 아이콘들[예컨대, 도 5i의 가상 두 손가락 핀치/디핀치 제스처 아이콘(518-1), 가상 세 손가락 상향 스와이프 제스처 아이콘(518-2), 가상 세 손가락 하향 스와이프 제스처 아이콘(518-3), 가상 사용자-구성 제스처 아이콘(518-4) 등]을 포함한다. 장치는 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출하고[예컨대, 시각 표시자가 가상 두 손가락 핀치/디핀치 아이콘(518-1) 상에 위치해 있을 때 적응적 입력 장치 상의 버튼의 활성화를 검출하는 것 또는 시각 표시자가 가상 두 손가락 핀치/디핀치 제스처 아이콘을 가로질러 이동하는 것을 검출하는 것 등에 의해 가상 두 손가락 핀치/디핀치 제스처 아이콘(도 5i의 518-1)의 선택을 검출함]; 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 제스처 아이콘에 대응하는 다수의 시각 표시자를 디스플레이한다. 예를 들어, 도 5k에서의 가상 두 손가락 핀치/디핀치 제스처 아이콘(518-1)의 선택에 응답하여, 도 5l에서 2개의 가상 터치에 대응하는 2개의 시각 표시자가 디스플레이된다. 장치는 적응적 입력 장치로부터 제2 입력을 수신하고; 적응적 입력 장치로부터 제2 입력을 수신한 것에 응답하여, 각자의 가상 제스처에 따라 동작을 수행한다. 예를 들어, 도 5m에서, 적응적 입력 장치에 의해 수신된 입력은 2개의 시각 표시자(504-5 및 504-6)를 이동시키고 사용자 인터페이스(502-A)를 스크롤한다. 다른 예에서, 도 5o에서, 적응적 입력 장치에 의해 수신된 입력은 사용자 인터페이스를 상이한 배율로 디스플레이한다(예컨대, 줌 동작).
어떤 실시예들에서, 적응적 입력 장치로부터 제2 입력을 수신한 것에 응답하여, 장치는 (642에서) 터치 감응 표면 상에서의 실제의 접촉의 움직임을 시뮬레이트하기 위해 각자의 가상 제스처에 대응하는 디스플레이된 시각 표시자를 이동시킨다[예컨대, 도 5m에서, 적응적 입력 장치에 의해 수신된 입력은 2개의 시각 표시자(504-5 및 504-6)를 이동시킴].
어떤 실시예들에서, 장치는 (644에서) (예컨대, 제1 메뉴에 또는 가상 제스처 메뉴에) 핀치/디핀치 제스처 아이콘을 디스플레이하고; 가상 핀치/디핀치 제스처 아이콘의 선택을 검출하며(예컨대, 시각 표시자가 가상 핀치/디핀치 제스처 아이콘 상에 위치해 있을 때 적응적 입력 장치 상의 버튼의 활성화를 검출하거나, 시각 표시자가 가상 핀치/디핀치 제스처 아이콘을 가로질러 이동하는 것을 검출함); 가상 핀치/디핀치 제스처 아이콘의 선택을 검출한 것에 응답하여, 가상 핀치/디핀치 제스처에서의 접촉들에 대응하는 2개의 시각 표시자를 디스플레이한다. 장치는 적응적 입력 장치로부터 제2 입력을 수신하고; 적응적 입력 장치로부터 제2 입력을 수신한 것에 응답하여, 가상 핀치/디핀치 제스처에 따라 동작을 수행한다. 어떤 실시예들에서, 가상 핀치/디핀치 제스처에서의 접촉에 대응하는 2개의 시각 표시자가 디스플레이되는 동안, 적응적 입력 장치로부터 수신된 입력은 터치 감응 표면 상에서의 실제의 핀치/디핀치 제스처에 대응하는 동작을 수행하는 데 사용된다. 예를 들어, 조이스틱을 우측으로 미는 것에 의해 수신되는 입력은 2개의 시각 표시자를 떨어지게 이동시키고(디핀치) 디스플레이를 줌인하는 데 사용된다. 이와 달리, 조이스틱을 좌측으로 미는 것에 의해 수신되는 입력은 2개의 시각 표시자를 합쳐지게 이동시키고(핀치) 디스플레이를 줌아웃하는 데 사용된다. 이와 같이, 사용자는 터치-기반 사용자 인터페이스로 전자 장치를 조작하기 위해(예컨대, 디스플레이 상에서 가상 제스처를 수행하는 등을 위해) 적응적 입력 장치를 사용할 수 있지만, 사용자가 장치 상의 터치 감응 표면을 실제로 터치하지는 않는다.
어떤 실시예들에서, 가상 핀치/디핀치 제스처 아이콘(예컨대, 도 5k의 518-1)의 선택을 검출한 것에 응답하여, 장치는 제1 동작 모드에서 사용자 인터페이스를 디스플레이한다. 제1 동작 모드는 2개의 제1 모드 가상 터치 지점 및 2개의 제1 모드 가상 터치 지점을 링크시키는 하나의 커넥터를 포함하는 제1 시각 표시자를 디스플레이하는 것을 포함한다. 제1 동작 모드에 있는 동안, 장치는 적응적 입력 장치로부터의 제1 사전 정의된 사용자 입력[예컨대, 잠금 버튼(도 4c의 488-1)의 선택]을 검출한다. 제1 동작 모드에 있는 동안 제1 사전 정의된 사용자 입력을 검출한 것에 응답하여, 장치는 제2 동작 모드에 들어간다(예컨대, 제1 동작 모드를 종료함). 제2 동작 모드는 제1 시각 표시자를 2개의 제2 모드 가상 터치 지점(예컨대, 도 5n의 504-7 및 504-8) 및 2개의 제2 모드 가상 터치 지점을 링크시키는 제2 커넥터를 포함하는 제2 시각 표시자로 대체하는 것을 포함한다. 제2 동작 모드에 있는 동안, 장치는 적응적 입력 장치로부터의 각자의 사용자 입력을 검출한다. 제2 동작 모드에 있는 동안 각자의 사용자 입력을 검출한 것에 응답하여, 장치는 각자의 사용자 입력에 따라 핀치 또는 디핀치 제스처에 대응하는 사전 정의된 동작(예컨대, 줌인 또는 줌아웃 동작)을 수행한다. 줌 동작은 가상 핀치/디핀치 제스처에 응답하여 수행될 수 있는 사전 정의된 동작의 한 예에 불과하다. 다른 예로서, 사진 응용 프로그램에서, 한 세트의 앨범들 내의 한 앨범 상에서의 가상 디핀치 제스처에 의해, 한 세트의 앨범들을 디스플레이하는 것이 선택된 앨범 내의 디지털 사진들을 디스플레이하는 것으로 대체될 수 있다(도시 생략). 차례로, 선택된 앨범 내의 사진 상에서의 가상 디핀치 제스처에 의해, 선택된 앨범을 디스플레이하는 것이 선택된 사진을 디스플레이하는 것으로 대체될 수 있다. 이와 달리, 선택된 사진 상에서의 가상 핀치 제스처에 의해, 선택된 사진을 디스플레이하는 것이 선택된 앨범을 디스플레이하는 것으로 대체될 수 있다. 차례로, 선택된 앨범 내의 디지털 사진 상에서의 가상 핀치 제스처에 의해, 선택된 앨범 내의 디지털 사진을 디스플레이하는 것이 한 세트의 앨범들을 디스플레이하는 것으로 대체될 수 있다. 보다 일반적으로, 터치 감응 표면 상에서의 실제의 핀치 또는 디핀치 제스처에 의해 터치-기반 사용자 인터페이스에서 수행되는 임의의 동작이 또한 적응적 입력 장치로부터의 입력에 의해 행해지는 가상 핀치/디핀치 제스처에 의해서도 수행될 수 있다.
어떤 실시예들에서, 제2 동작 모드에 있는 동안 각자의 사용자 입력을 검출한 것에 응답하여, 장치는 2개의 제2 모드 가상 터치 지점의 각자의 위치를 이동시키고 2개의 제2 모드 가상 터치 지점을 링크시키는 제2 커넥터의 길이를 조절함으로써[예컨대, 도 5o에서 제2 모드 시각 표시자(504-7 및 504-8) 및 커넥터(522)를 이동시킴] 제2 시각 표시자를 디스플레이하는 것을 업데이트한다.
어떤 실시예들에서, 제2 동작 모드에 있는 동안, 장치는 적응적 입력 장치로부터의 제2 사전 정의된 사용자 입력을 검출하고; 제2 동작 모드에 있는 동안 제2 사전 정의된 사용자 입력을 검출한 것에 응답하여, 제1 동작 모드에 들어간다(예컨대, 제2 동작 모드를 종료함). 예를 들어, 도 5o에서의 제2 모드 시각 표시자를 디스플레이하는 것이 제1 모드 시각 표시자를 디스플레이하는 것으로 대체될 수 있다. 어떤 실시예들에서, 제2 동작 모드로부터 제1 동작 모드로의 변경은 디스플레이된 사용자 인터페이스의 배율을 변경하지 않는다.
어떤 실시예들에서, 제1 동작 모드에 있는 동안, 장치는 적응적 입력 장치로부터의 제2 각자의 사용자 입력을 검출하고; 제1 동작 모드에 있는 동안 제2 사전 정의된 사용자 입력을 검출한 것에 응답하여, 장치는 제2 각자의 사용자 입력에 따라 사용자 인터페이스를 스크롤한다(예컨대, 도 5n에서의 스크롤된 사용자 인터페이스).
어떤 실시예들에서, 각각의 제1 모드 가상 터치 지점은 링 모양의 디스플레이 객체(예컨대, 도 5m에서의 504-5 및 504-6)를 포함하고; 각각의 제2 모드 가상 터치 지점은 링 모양의 디스플레이 객체 및 링 모양의 디스플레이 객체 내의 동심원(도 5n에서의 504-7 및 504-8)을 포함하고 있다.
어떤 실시예들에서, 각각의 커넥터는 체인 모양의 디스플레이 객체(예컨대, 도 5m의 522)를 포함하고 있다.
어떤 실시예들에서, 가상 핀치/디핀치 제스처에 따라 줌 동작(예컨대, 디스플레이를 줌인하는 것 또는 디스플레이를 줌아웃하는 것)이 수행된다(646)[예컨대, 도 5o에서의 줌인된 사용자 인터페이스(502-A)를 참조].
어떤 실시예들에서, 장치는 (도 6e의 648에서) 가상 장치 아이콘(예컨대, 도 5p의 510-3)을 디스플레이하고; 가상 장치 아이콘의 선택을 검출하며; 가상 장치 아이콘의 선택을 검출한 것에 응답하여, 가상 장치 동작의 메뉴[예컨대, 도 5q에서의 메뉴(524)]를 디스플레이한다. 가상 장치 동작의 메뉴는 가상 장치 동작의 유형을 나타내는 복수의 아이콘[예컨대, 도 5q에서의 아이콘들(526)]을 포함하고 있다. 예시적인 가상 장치 동작은 음소거 스위치를 통해 보통 수행되는, 장치 상의 링어 및 사운드 효과를 음소거 및 음소거 해제시키는 것; 잠금/잠금 해제 스위치를 통해 보통 개시되는, 장치를 잠금하는 것; 볼륨 높이기 버튼을 통해 보통 수행되는, 볼륨을 증가시키는 것; 볼륨 낮추기 버튼을 통해 보통 수행되는, 볼륨을 감소시키는 것 등의 전자 장치 상의 물리 컨트롤을 통해 보통 수행되는 동작을 포함할 수 있다. 예시적인 가상 장치 동작은 또한 사전 정의된 동작(예컨대, 실행취소 동작)을 수행하기 위해 전자 장치를 흔드는 것 및 디스플레이 배향을 회전시키기 위해 전자 장치를 회전시키는 것을 포함할 수 있다. 흔들기 및 회전과 같은 동작은 통상적으로 전자 장치 내의 가속도계를 통해 검출된다. 장치는 가상 장치 동작의 메뉴 내의 각자의 가상 장치 동작 아이콘의 선택을 검출하고[예컨대, 시각 표시자가 가상 장치 회전 아이콘(526-2) 상에 위치해 있을 때 적응적 입력 장치 상의 버튼의 활성화를 검출하는 것 또는 시각 표시자가 가상 장치 회전 아이콘(526-2)을 가로질러 이동하는 것을 검출하는 것 등에 의해, 가상 장치 회전 아이콘(도 5q의 526-2)의 선택을 검출함]; 가상 장치 동작의 메뉴 내의 각자의 가상 장치 동작 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 장치 동작에 대응하는 동작을 수행한다. 예를 들어, 가상 장치 잠금 화면 아이콘(도 5q에서의 526-4)의 선택에 응답하여, 장치는 장치의 화면을 잠금하거나 화면 보호기 응용 프로그램을 기동시킨다(도시 생략). 이와 같이, 사용자는 또한 전자 장치 상의 물리 컨트롤을 조작하기 위해 적응적 입력 장치를 사용할 수 있지만, 사용자가 장치 상의 물리 컨트롤을 실제로 터치하지는 않는다.
어떤 실시예들에서, 장치는 (650에서) 가상 장치 회전 아이콘[예컨대, 도 5q의 메뉴(524) 내의 526-2]을 디스플레이하고; 가상 장치 회전 아이콘의 선택을 검출하며; 가상 장치 회전 아이콘의 선택을 검출한 것에 응답하여, 가상 장치 배향의 메뉴[예컨대, 도 5r에서의 메뉴(528)]를 디스플레이한다. 가상 장치 배향의 메뉴는 가상 장치 배향의 유형을 나타내는 복수의 아이콘[예컨대, 도 5r에서의 가상 세로 배향 아이콘(530-1), 가상 가로 배향 좌측 아이콘(530-2), 가상 가로 배향 우측 아이콘(530-3), 및 가상 뒤집기 세로 배향 아이콘(530-4)]을 포함하고 있다. 장치는 가상 장치 배향의 메뉴 내의 각자의 가상 장치 배향 아이콘의 선택을 검출하고[예컨대, 시각 표시자가 가상 가로 배향 좌측 아이콘(530-2) 상에 위치해 있을 때 적응적 입력 장치 상의 버튼의 활성화를 검출하는 것 또는 시각 표시자가 가상 가로 배향 좌측 아이콘(530-2)을 가로질러 이동하는 것을 검출하는 것 등에 의해, 가상 가로 배향 좌측 아이콘(도 5r의 530-2)의 선택을 검출함]; 가상 장치 배향의 메뉴 내의 각자의 가상 장치 배향 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 장치 배향에 따라 디스플레이를 배향시킨다. 예를 들어, 가상 가로 배향 좌측 아이콘(도 5r에서의 530-2)의 선택에 응답하여, 장치는 사용자 인터페이스의 배향을 도 5s에 도시된 배향으로 변경한다.
어떤 실시예들에서, 장치는 홈 버튼[예컨대, 디스플레이 상에 디스플레이되는 가상 홈 버튼 또는 디스플레이와 분리되어 있는 물리 홈 버튼(204)(도 2)]을 포함하고 있다(652). 장치는 홈 버튼 아이콘[예컨대, 메뉴(도 5t의 508) 내의 510-4, 또는 가상 장치 동작의 메뉴 내에 있음]을 디스플레이하고; 홈 버튼 아이콘의 선택을 검출하며(예컨대, 시각 표시자가 홈 버튼 아이콘 상에 위치해 있을 때 적응적 입력 장치 상의 버튼의 활성화를 검출하거나, 시각 표시자가 홈 버튼 아이콘을 가로질러 이동하는 것을 검출함); 홈 버튼 아이콘의 선택을 검출한 것에 응답하여, 홈 버튼의 활성화에 대응하는 동작을 수행한다. 예를 들어, 홈 버튼 아이콘(도 5t에서의 510-4)의 선택에 응답하여, 홈 버튼(204)(도 2)이 눌러진 것처럼 도 5u에서 홈 화면(502-D)이 디스플레이된다.
주목할 점은, 방법(600)과 관련하여 앞서 기술한 프로세스들의 상세가 또한 이하에 기술되는 방법들(700, 800, 900, 1000, 1100, 1200, 및 1300)을 비롯한 본 명세서에 기술되어 있는 다른 방법들에 유사한 방식으로 적용가능하다는 것이다. 간략함을 위해, 이들 상세가 이하에서 반복되지 않는다.
도 7은 어떤 실시예들에 따른, 가상 멀티터치 접촉 아이콘의 메뉴를 사용하는 방법(700)을 나타낸 흐름도이다. 디바이스 및 터치 감응 표면을 갖는 전자 장치[예컨대, 도 3의 장치(300) 또는 도 1의 휴대용 다기능 장치(100)]에서 방법(700)이 수행된다. 어떤 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응 표면은 디스플레이 상에 있다. 어떤 실시예들에서, 디스플레이는 터치 감응 표면과 분리되어 있다. 방법(700)에서의 일부 동작이 결합될 수 있고 및/또는 일부 동작의 순서가 변경될 수 있다.
이하에서 기술되는 바와 같이, 방법(700)은 에뮬레이트되고 있는 멀티터치 접촉의 유형을 선택하기 위해 적응적 입력 장치(예컨대, 조이스틱)로부터의 입력과 함께 가상 멀티터치 접촉의 메뉴를 사용한다. 이것은 사용자가, 전자 장치의 터치 감응 표면을 사용함이 없이, 그렇지 않았으면 다수의 손가락을 사용한 전자 장치의 터치 감응 표면과의 상호작용을 필요로 하게 될 멀티터치 동작을 수행할 수 있게 해준다.
장치는 가상 터치(예컨대, 가상 한 손가락 접촉 등의 터치 감응 표면 상에서의 가상 터치)에 대응하는 제1 시각 표시자를, 디스플레이 상에, 디스플레이하고(702); 적응적 입력 장치로부터 제1 입력을 수신하며(704)(예컨대, 시각 표시자가 가상 터치 선택 아이콘 상에 위치해 있을 때 적응적 입력 장치 상의 버튼의 활성화를 검출하거나, 시각 표시자가 가상 터치 선택 아이콘을 가로질러 이동하는 것을 검출함); 적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여, 가상 멀티터치 접촉의 메뉴[예컨대, 도 5d의 메뉴(512)]를 디스플레이한다(706). 가상 멀티터치 접촉의 메뉴는 가상 멀티터치 접촉의 유형[예컨대, 도 5d의 메뉴(512) 내의 두 손가락 접촉 아이콘(514-1), 세 손가락 접촉 아이콘(514-2), 네 손가락 접촉 아이콘(514-3), 및 다섯 손가락 접촉 아이콘(514-4)]을 나타내는 복수의 아이콘을 포함하고 있다. 어떤 실시예들에서, 가상 멀티터치 접촉의 메뉴는 또한 한 손가락 접촉 아이콘(도시 생략)을 포함하고 있다.
장치는 가상 멀티터치 접촉의 메뉴 내의 각자의 가상 멀티터치 접촉 아이콘의 선택을 검출하고(708)[예컨대, 시각 표시자가 가상 세 손가락 접촉 아이콘(514-2) 상에 위치해 있을 때 적응적 입력 장치 상의 버튼의 활성화를 검출하는 것 또는 시각 표시자가 가상 세 손가락 접촉 아이콘을 가로질러 이동하는 것을 검출하는 것 등에 의해, 가상 세 손가락 접촉 아이콘(도 5d의 514-2)의 선택을 검출함]; 가상 멀티터치 접촉의 메뉴 내의 각자의 가상 멀티터치 접촉 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 멀티터치 접촉 아이콘에 대응하는 하나 이상의 제2 시각 표시자[예컨대, 도 5e의 시각 표시자(504-2 내지 504-4)]를 디스플레이한다(710). 어떤 실시예들에서, 가상 멀티터치 접촉의 메뉴 내의 각자의 가상 멀티터치 접촉 아이콘의 선택을 검출한 것에 응답하여, 장치는 또한 가상 멀티터치 접촉의 메뉴를 디스플레이하는 것을 중단한다. 어떤 실시예들에서, 제2 시각 표시자는 각자의 가상 멀티터치 접촉 아이콘에 대응하는 다수의 접촉을 나타내는 단일 아이콘의 일부이다. 어떤 실시예들에서, 제2 시각 표시자는 각자의 가상 멀티터치 접촉 아이콘에 대응하는 다수의 접촉을 나타내는 다수의 아이콘이다.
도 8은 어떤 실시예들에 따른, 가상 제스처의 메뉴를 사용하는 방법(800)을 나타낸 흐름도이다. 디바이스 및 터치 감응 표면을 갖는 전자 장치[예컨대, 도 3의 장치(300) 또는 도 1의 휴대용 다기능 장치(100)]에서 방법(800)이 수행된다. 어떤 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응 표면은 디스플레이 상에 있다. 어떤 실시예들에서, 디스플레이는 터치 감응 표면과 분리되어 있다. 방법(800)에서의 일부 동작이 결합될 수 있고 및/또는 일부 동작의 순서가 변경될 수 있다.
이하에서 기술되는 바와 같이, 방법(800)은 터치 감응 표면 상에서의 실제의 제스처를 선택하고 에뮬레이트하기 위해 적응적 입력 장치로부터의 입력과 함께 가상 제스처의 메뉴를 사용한다. 이것은 사용자가, 전자 장치의 터치 감응 표면을 사용함이 없이, 다수의 손가락을 사용한 전자 장치의 터치 감응 표면과의 상호작용에 의해 획득된 것과 동일한 결과를 생성하는 가상 멀티터치 제스처를 행할 수 있게 해준다.
장치는 가상 터치(예컨대, 가상 한 손가락 접촉 등의 터치 감응 표면 상에서의 가상 터치)에 대응하는 제1 시각 표시자를, 디스플레이 상에, 디스플레이하고(802); 적응적 입력 장치로부터 제1 입력을 수신하며(804)(예컨대, 시각 표시자가 가상 제스처 아이콘 상에 위치해 있을 때 적응적 입력 장치 상의 버튼의 활성화를 검출하거나, 시각 표시자가 가상 제스처 아이콘을 가로질러 이동하는 것을 검출함); 적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여, 가상 제스처의 메뉴[예컨대, 도 5k의 메뉴(516)]를 디스플레이한다(806). 가상 제스처의 메뉴는 가상 제스처의 유형을 나타내는 복수의 아이콘들[예컨대, 도 5k의 가상 두 손가락 핀치/디핀치 제스처 아이콘(518-1), 가상 세 손가락 상향 스와이프 제스처 아이콘(518-2), 가상 세 손가락 하향 스와이프 제스처 아이콘(518-3), 가상 사용자-구성 제스처 아이콘(518-4) 등]을 포함한다.
장치는 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출하고(808)[예컨대, 시각 표시자가 가상 두 손가락 핀치/디핀치 아이콘(518-1) 상에 위치해 있을 때 적응적 입력 장치 상의 버튼의 활성화를 검출하는 것 또는 시각 표시자가 가상 두 손가락 핀치/디핀치 제스처 아이콘을 가로질러 이동하는 것을 검출하는 것 등에 의해 가상 두 손가락 핀치/디핀치 제스처 아이콘(도 5k의 518-1)의 선택을 검출함]; 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 제스처 아이콘에 대응하는 다수의 시각 표시자를 디스플레이한다(810). 예를 들어, 도 5k에서의 가상 두 손가락 핀치/디핀치 제스처 아이콘(518-1)의 선택에 응답하여, 도 5l에서 2개의 가상 터치에 대응하는 2개의 시각 표시자가 디스플레이된다.
장치는 적응적 입력 장치로부터 제2 입력을 수신하고(812); 적응적 입력 장치로부터 제2 입력을 수신한 것에 응답하여, 각자의 가상 제스처에 따라 동작을 수행한다(814). 예를 들어, 도 5m에서, 적응적 입력 장치에 의해 수신된 입력은 2개의 시각 표시자(504-5 및 504-6)를 이동시키고 사용자 인터페이스(502-A)를 스크롤한다. 다른 예에서, 도 5o에서, 적응적 입력 장치에 의해 수신된 입력은 사용자 인터페이스를 상이한 배율로 디스플레이한다(예컨대, 줌 동작).
도 9는 어떤 실시예들에 따른, 가상 핀치 제스처를 수행하는 방법(900)을 나타낸 흐름도이다. 디바이스 및 터치 감응 표면을 갖는 전자 장치[예컨대, 도 3의 장치(300) 또는 도 1의 휴대용 다기능 장치(100)]에서 방법(900)이 수행된다. 어떤 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응 표면은 디스플레이 상에 있다. 어떤 실시예들에서, 디스플레이는 터치 감응 표면과 분리되어 있다. 방법(900)에서의 일부 동작이 결합될 수 있고 및/또는 일부 동작의 순서가 변경될 수 있다.
이하에서 기술되는 바와 같이, 방법(900)은 터치 감응 표면 상에서의 핀치/디핀치 제스처를 에뮬레이트하기 위해 적응적 입력 장치로부터의 입력과 함께 (2개의 가상 터치에 대응하는) 2개의 시각 표시자를 사용한다. 이것은 사용자가, 전자 장치의 터치 감응 표면을 사용함이 없이, 그렇지 않았으면 두 손가락을 사용한 전자 장치의 터치 감응 표면과의 상호작용을 필요로 하게 될 동작(예컨대, 줌)을 수행할 수 있게 해준다.
장치는 (예컨대, 제1 메뉴에 또는 가상 제스처 메뉴에) 핀치/디핀치 제스처 아이콘을 디스플레이하고(902); 가상 핀치/디핀치 제스처 아이콘의 선택을 검출하며(904)(예컨대, 시각 표시자가 가상 핀치/디핀치 제스처 아이콘 상에 위치해 있을 때 적응적 입력 장치 상의 버튼의 활성화를 검출하거나, 시각 표시자가 가상 핀치/디핀치 제스처 아이콘을 가로질러 이동하는 것을 검출함); 가상 핀치/디핀치 제스처 아이콘의 선택을 검출한 것에 응답하여, (예컨대, 도 5k 및 5l에 도시된 바와 같이) 가상 핀치/디핀치 제스처에서의 접촉들에 대응하는 2개의 시각 표시자를 디스플레이한다(906).
장치는 적응적 입력 장치로부터 입력을 수신하고(908); 적응적 입력 장치로부터 입력을 수신한 것에 응답하여, (예컨대, 도 5n 및 도 5o에 도시된 바와 같이) 각자의 가상 핀치/디핀치 제스처에 따라 줌 동작을 수행한다(910). 어떤 실시예들에서, 가상 핀치/디핀치 제스처에서의 접촉에 대응하는 2개의 시각 표시자가 디스플레이되는 동안, 적응적 입력 장치로부터 수신된 입력은 터치 감응 표면 상에서의 실제의 핀치/디핀치 제스처에 대응하는 동작을 수행하는 데 사용된다. 예를 들어, 조이스틱을 우측으로 미는 것에 의해 수신되는 입력은 2개의 시각 표시자를 떨어지게 이동시키고(디핀치) 디스플레이를 줌인하는 데 사용된다. 이와 달리, 조이스틱을 좌측으로 미는 것에 의해 수신되는 입력은 2개의 시각 표시자를 합쳐지게 이동시키고(핀치) 디스플레이를 줌아웃하는 데 사용된다. 이와 같이, 사용자는 터치-기반 사용자 인터페이스로 전자 장치를 조작하기 위해(예컨대, 디스플레이 상에서 가상 제스처를 수행하는 등을 위해) 적응적 입력 장치를 사용할 수 있지만, 사용자가 장치 상의 터치 감응 표면을 실제로 터치하지는 않는다.
도 10은 어떤 실시예들에 따른, 가상 제스처의 메뉴를 사용하는 방법(1000)을 나타낸 흐름도이다. 디바이스 및 터치 감응 표면을 갖는 전자 장치[예컨대, 도 3의 장치(300) 또는 도 1의 휴대용 다기능 장치(100)]에서 방법(1000)이 수행된다. 어떤 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응 표면은 디스플레이 상에 있다. 어떤 실시예들에서, 디스플레이는 터치 감응 표면과 분리되어 있다. 방법(1000)에서의 일부 동작이 결합될 수 있고 및/또는 일부 동작의 순서가 변경될 수 있다.
이하에서 기술되는 바와 같이, 방법(1000)은 터치 감응 표면 상에서의 실제의 제스처를 선택하고 에뮬레이트하기 위해 적응적 입력 장치로부터의 입력과 함께 가상 제스처의 메뉴를 사용한다. 이것은 사용자가, 전자 장치의 터치 감응 표면을 사용함이 없이, 다수의 손가락을 사용한 전자 장치의 터치 감응 표면과의 상호작용에 의해 획득된 것과 동일한 결과를 생성하는 가상 멀티터치 제스처를 행할 수 있게 해준다.
장치는 가상 제스처 아이콘을 (예컨대, 제1 메뉴에) 디스플레이하고(1002); 가상 제스처 아이콘의 선택을 검출하며(1004); 가상 제스처 아이콘의 선택을 검출한 것에 응답하여, (예컨대, 도 5h 및 도 5i에 도시된 바와 같이) 가상 제스처의 메뉴를 디스플레이한다(1006). 가상 제스처의 메뉴는 가상 제스처의 유형을 나타내는 복수의 아이콘을 포함하고 있다.
장치는 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출하고(1008)[예컨대, 적응적 입력 장치 상의 버튼의 활성화에 의해 가상 세 손가락 상향 스와이프 제스처 아이콘(도 5i의 518-2)의 선택을 검출함]; 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 제스처에 대응하는 동작을 수행한다(1010). 예를 들어, 가상 세 손가락 상향 스와이프 제스처 아이콘(도 5i에서의 518-2)의 선택에 응답하여, 장치는 도 5j에 도시된 복수의 열린 응용 프로그램 아이콘을 포함하는 응용 프로그램 아이콘 구역(520)을 디스플레이한다. 어떤 실시예들에서, 장치는 제스처에 대응하는 시각 표시자를 디스플레이함이 없이 특정의 제스처에 대응하는 동작을 수행할 수 있다.
도 11은 어떤 실시예들에 따른, 가상 장치 동작의 메뉴를 사용하는 방법(1100)을 나타낸 흐름도이다. 디바이스 및 터치 감응 표면을 갖는 전자 장치[예컨대, 도 3의 장치(300) 또는 도 1의 휴대용 다기능 장치(100)]에서 방법(1100)이 수행된다. 어떤 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응 표면은 디스플레이 상에 있다. 어떤 실시예들에서, 디스플레이는 터치 감응 표면과 분리되어 있다. 방법(1100)에서의 일부 동작이 결합될 수 있고 및/또는 일부 동작의 순서가 변경될 수 있다.
이하에서 기술되는 바와 같이, 방법(1100)은 전자 장치 상의 물리 컨트롤(예컨대, 음소거 스위치, 잠금 스위치, 볼륨 버튼)의 활성화를 통해 또는 가속도계에 의해 검출된 활동(예컨대, 장치 흔들기 또는 장치 회전)에 응답하여 보통 수행되는 동작을 선택하고 에뮬레이트하기 위해 적응적 입력 장치로부터의 입력과 함께 가상 장치 동작의 메뉴를 사용한다. 이것은 사용자가 그렇지 않았으면 전자 장치의 물리 컨트롤 또는 전자 장치 전체와의 상호작용을 필요로 하게 될 동작을 수행할 수 있게 해준다.
장치는 가상 장치 아이콘을 (예컨대, 제1 메뉴에) 디스플레이하고(1102); 가상 장치 아이콘의 선택을 검출하며(1104); 가상 장치 아이콘의 선택을 검출한 것에 응답하여, (예컨대, 도 5p 및 도 5q에 도시된 바와 같이) 가상 장치 동작의 메뉴를 디스플레이한다(1106). 가상 장치 동작의 메뉴는 가상 장치 동작의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 예시적인 가상 장치 동작은 음소거 스위치를 통해 보통 수행되는, 장치 상의 링어 및 사운드 효과를 음소거 및 음소거 해제시키는 것; 잠금/잠금 해제 스위치를 통해 보통 개시되는, 장치를 잠금하는 것; 볼륨 높이기 버튼을 통해 보통 수행되는, 볼륨을 증가시키는 것; 볼륨 낮추기 버튼을 통해 보통 수행되는, 볼륨을 감소시키는 것 등의 전자 장치 상의 물리 컨트롤을 통해 보통 수행되는 동작을 포함할 수 있다. 예시적인 가상 장치 동작은 또한 사전 정의된 동작(예컨대, 실행취소 동작)을 수행하기 위해 전자 장치를 흔드는 것 및 디스플레이 배향을 회전시키기 위해 전자 장치를 회전시키는 것을 포함할 수 있다. 흔들기 및 회전과 같은 동작은 통상적으로 전자 장치 내의 가속도계를 통해 검출된다.
장치는 가상 장치 동작의 메뉴 내의 각자의 가상 장치 동작 아이콘의 선택을 검출하고(1108)[예컨대, 시각 표시자가 가상 음소거/음소거 해제 아이콘(526-1) 상에 위치해 있을 때 적응적 입력 장치 상의 버튼의 활성화를 검출하는 것 또는 시각 표시자가 가상 음소거/음소거 해제 아이콘을 가로질러 이동하는 것을 검출하는 것 등에 의해, 가상 음소거/음소거 해제 아이콘(526-1)의 선택을 검출함]; 가상 장치 동작의 메뉴 내의 각자의 가상 장치 동작 아이콘의 선택을 검출한 것에 응답하여, 각자의 가상 장치 동작에 대응하는 동작을 수행한다(1110). 예를 들어, 가상 음소거/음소거 해제 아이콘(도 5q에서의 526-1)의 선택에 응답하여, 장치는 장치 상에서의 링어 및 사운드 효과를 음소거 또는 음소거 해제시킨다. 이와 같이, 사용자는 또한 전자 장치 상의 물리 컨트롤을 조작하기 위해 적응적 입력 장치를 사용할 수 있지만, 사용자가 장치 상의 물리 컨트롤을 실제로 터치하지는 않는다.
도 12는 어떤 실시예들에 따른, 가상 장치 배향의 메뉴를 사용하는 방법(1200)을 나타낸 흐름도이다. 디바이스 및 터치 감응 표면을 갖는 전자 장치[예컨대, 도 3의 장치(300) 또는 도 1의 휴대용 다기능 장치(100)]에서 방법(1200)이 수행된다. 어떤 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응 표면은 디스플레이 상에 있다. 어떤 실시예들에서, 디스플레이는 터치 감응 표면과 분리되어 있다. 방법(1200)에서의 일부 동작이 결합될 수 있고 및/또는 일부 동작의 순서가 변경될 수 있다.
이하에서 기술되는 바와 같이, 방법(1200)은 디스플레이 배향을 제어하기 위해 적응적 입력 장치로부터의 입력과 함께 가상 장치 배향의 메뉴를 사용한다. 이것은 사용자가, 전자 장치를 물리적으로 회전시키는 일 없이, 전자 장치의 디스플레이를 배향시킬 수 있게 해준다.
장치는 가상 장치 회전 아이콘을 (예컨대, 가상 장치 메뉴에) 디스플레이하고(1202); 가상 장치 회전 아이콘의 선택을 검출하며(1204); 가상 장치 회전 아이콘의 선택을 검출한 것에 응답하여, (예컨대, 도 5q 및 도 5r에 도시된 바와 같이) 가상 장치 배향의 메뉴를 디스플레이한다(1206). 가상 장치 배향의 메뉴는 가상 장치 배향의 유형을 나타내는 복수의 아이콘[예컨대, 도 5r에서의 가상 세로 배향 아이콘(530-1), 가상 가로 배향 좌측 아이콘(530-2), 가상 가로 배향 우측 아이콘(530-3), 및 가상 뒤집기 세로 배향 아이콘(530-4)]을 포함하고 있다.
장치는 가상 장치 배향의 메뉴 내의 각자의 가상 장치 배향 아이콘의 선택을 검출한다(1208)[예컨대, 시각 표시자가 가상 가로 배향 좌측 아이콘(530-2) 상에 위치해 있을 때 적응적 입력 장치 상의 버튼의 활성화를 검출하는 것 또는 시각 표시자가 가상 가로 배향 좌측 아이콘(530-2)을 가로질러 이동하는 것을 검출하는 것 등에 의해, 가상 가로 배향 좌측 아이콘(도 5r의 530-2)의 선택을 검출함]. 가상 장치 배향의 메뉴 내의 각자의 가상 장치 배향 아이콘의 선택을 검출한 것에 응답하여, 장치는 각자의 가상 장치 배향에 따라 디스플레이를 배향시킨다(1210). 예를 들어, 가상 가로 배향 좌측 아이콘(도 5r에서의 530-2)의 선택에 응답하여, 장치는 사용자 인터페이스를 도 5s에 도시된 배향으로 디스플레이 상에 배향시킨다.
도 13은 어떤 실시예들에 따른, 사용자-정의 가상 제스처를 생성하는 방법(1300)을 나타낸 흐름도이다. 디바이스 및 터치 감응 표면을 갖는 전자 장치[예컨대, 도 3의 장치(300) 또는 도 1의 휴대용 다기능 장치(100)]에서 방법(1300)이 수행된다. 어떤 실시예들에서, 디스플레이는 터치 스크린 디스플레이이고, 터치 감응 표면은 디스플레이 상에 있다. 어떤 실시예들에서, 디스플레이는 터치 감응 표면과 분리되어 있다. 방법(1300)에서의 일부 동작이 결합될 수 있고 및/또는 일부 동작의 순서가 변경될 수 있다.
이하에서 기술되는 바와 같이, 방법(1300)은 사용자-정의 커스텀 가상 제스처를 생성하기 위해 적응적 입력 장치로부터의 입력을 사용한다. 이것은 사용자가 그렇지 않았으면 다수의 손가락을 사용한 터치 감응 표면과의 상호작용을 필요로 하게 될 가상 멀티터치 제스처를 기록 및 검색할 수 있게 해준다.
장치는, 가상 제스처 기록 모드에 있는 동안(1302), 복수의 시각 표시자(각자의 가상 한 손가락 접촉에 대응하는 아이콘들)를 디스플레이 상에 디스플레이한다(1304). 예를 들어, 도 5aa에서, 시각 표시자(540-1 및 540-2)가 디스플레이된다.
복수의 시각 표시자들 내의 각각의 시각 표시자에 대해(1306), 장치는 각자의 시각 표시자에 대한 각자의 사용자 입력을 적응적 입력 장치로부터 수신하고(1308); 각자의 사용자 입력에 따라 각자의 시각 표시자를 이동시키며(1310); 각자의 시각 표시자와 함께, 각자의 시각 표시자의 움직임에 대응하는 각자의 자취를 동시에 디스플레이한다(1312)[예컨대, 도 5y의 시각 표시자(540-1) 및 자취(542-1)].
어떤 실시예들에서, 가상 제스처 기록 모드에 있는 동안, 장치는 복수의 각자의 시각 표시자 및 대응하는 복수의 각자의 자취를 동시에 디스플레이한다(1314). 예를 들어, 도 5aa에서 시각 표시자(540-1 및 540-2)가 자취(542-1 및 542-2)와 동시에 디스플레이된다.
장치는 복수의 시각 표시자 및 복수의 시각 표시자의 움직임에 대응하는 사용자-정의 가상 제스처를 생성한다(1316). 사용자-정의 제스처는 복수의 시각 표시자의 절대 또는 상대 위치, 및 복수의 시각 표시자의 상대 또는 절대 움직임을 포함할 수 있다.
장치는 사용자-정의 가상 제스처를 전자 장치의 사전 정의된 동작과 연관시키고(1318); 사용자-정의 가상 제스처를 저장한다(1320). 이와 같이, 사용자는 터치-기반 사용자 인터페이스로 전자 장치에 대한 커스텀 가상 제스처를 생성하기 위해 적응적 입력 장치를 사용할 수 있지만, 사용자가 장치 상의 터치 감응 표면을 실제로 터치하지는 않는다.
어떤 실시예들에서, 사용자-정의 가상 제스처를 생성하고 사용자-정의 가상 제스처를 전자 장치의 사전 정의된 동작과 연관시킨 후에, 장치는 적응적 입력 장치로부터 입력을 수신하고(1322)[예컨대, 시각 표시자가 사용자-정의 가상 제스처에 대응하는 아이콘[도 5ab에서의 아이콘(518-4) 등] 상에 위치해 있을 때 적응적 입력 장치 상의 버튼의 활성화를 검출하거나, 시각 표시자가 사용자-정의 가상 제스처에 대응하는 아이콘을 가로질러 이동하는 것을 검출함]; 적응적 입력 장치로부터 입력을 수신한 것에 응답하여, 사용자-정의 가상 제스처와 연관되어 있는 사전 정의된 동작을 수행한다.
어떤 실시예들에서, 적응적 입력 장치로부터 입력을 수신한 것에 응답하여, 장치는 사용자-정의 가상 제스처에서의 복수의 각자의 시각 표시자의 애니메이션화된 움직임을 그 각자의 자취와 함께 디스플레이한다(1324). 예를 들어, 도 5ac에서, 시각 표시자(540-1 및 540-2)의 애니메이션화된 움직임이 그 각자의 자취(542-1 및 542-2)와 함께 디스플레이된다. 어떤 실시예들에서, 저장된 사용자-정의 가상 제스처는 사용자-정의 가상 제스처에서의 각각의 시각 표시자의 위치 및 시각을 포함하고, 따라서 고속 및 저속 사용자-정의 가상 제스처 둘 다가 재생성될 수 있으며, 그에 의해 가상 제스처 기록 모드에서 생성된 정확한 사용자-정의 가상 제스처를 모방한다. 어떤 실시예들에서, 사용자-정의 가상 제스처가, 가상 제스처 기록 모드에서 생성된 속도보다는, 일정한 속도로 보여질 수 있다("재생됨"). 사용자가 이벤트를 "자연스런 속도로" 발생하는 것이 어려운 경우에 일정한 속도가 유용하다. 일정 속도의 가상 제스처의 경우, 장치가 이벤트를 처리할 수 있는 것보다 더 빨리 이벤트를 발생하는 것을 피하기 위해, 실제의 손가락이 터치 감응 표면을 가로질러 이동할 때, 제스처에서의 이벤트들은 이벤트가 수신되는 평균 속도로 발생될 수 있다.
어떤 실시예들에 따르면, 도 14는 앞서 기술한 바와 같이 본 발명의 원리들에 따라 구성된 전자 장치(1400)의 기능 블록도를 나타낸 것이다. 장치의 기능 블록은 본 발명의 원리들을 수행하기 위해 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 기술 분야의 당업자라면, 전술한 본 발명의 원리를 구현하기 위해, 도 1400에 기술된 기능 블록이 결합되거나 서브블록으로 분리될 수 있다는 것을 잘 알 것이다. 따라서, 본 명세서에서의 설명이 본 명세서에 기술된 기능 블록의 임의의 가능한 결합 또는 분리 또는 추가적인 정의를 지원할 수 있다.
도 14에 도시된 바와 같이, 전자 장치(1400)는 가상 터치에 대응하는 제1 시각 표시자를 디스플레이하도록 구성되어 있는 디스플레이 유닛(1402); 손가락 접촉을 수신하도록 구성되어 있는 터치 감응 표면 유닛(1404); 및 디스플레이 유닛(1402) 및 터치 감응 표면 유닛(1404)에 결합되어 있는 처리 유닛(1406)을 포함한다. 어떤 실시예들에서, 처리 유닛(1406)은 수신 유닛(1408), 디스플레이 인에이블 유닛(1410), 검출 유닛(1412), 이동 유닛(1414), 수행 유닛(1416), 대기 유닛(1418), 배향 유닛(1420), 및 제약 유닛(1422)을 포함하고 있다.
처리 유닛(1406)은 [예컨대, 수신 유닛(1408)에 의해] 적응적 입력 장치로부터 제1 입력을 수신하고; 적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여, [예컨대, 디스플레이 인에이블 유닛(1410)에 의해] 디스플레이 유닛 상에 제1 메뉴를 디스플레이하는 것을 인에이블시키도록 구성되어 있다. 제1 메뉴는 가상 터치 선택 아이콘을 포함한다. 가상 터치 선택 아이콘의 선택을 검출한 것에 응답하여, 가상 멀티터치 접촉의 메뉴가 [예컨대, 디스플레이 인에이블 유닛(1410)에 의해 디스플레이 유닛(1402) 상에] 디스플레이된다.
어떤 실시예들에서, 제1 시각 표시자는 링, 도넛, 원, 달걀 모양, 타원, 화살표, 십자형, I-빔, 별표, 또는 가상 손가락 중 하나를 포함한다.
어떤 실시예들에서, 제1 입력은 제1 시각 표시자를 디스플레이 유닛의 사전 정의된 영역으로 이동시킨다.
어떤 실시예들에서, 제1 입력은 적응적 입력 장치 상의 컨트롤의 활성화에 대응한다.
어떤 실시예들에서, 제1 입력은 적응적 입력 장치 상의 컨트롤을 좌우로 이동시키는 것에 대응한다.
어떤 실시예들에서, 적응적 입력 장치는 조이스틱을 포함하고, 제1 입력은 조이스틱을 좌우로 이동시키는 것에 대응한다.
어떤 실시예들에서, 제1 메뉴는 제1 메뉴의 중앙 주위에 방사상으로 디스플레이된 아이콘들을 포함한다.
어떤 실시예들에서, 제1 사용자 인터페이스가 적응적 입력 장치로부터 제1 입력을 수신하기 직전에, 디스플레이 유닛(1402) 상에 디스플레이되고, 제1 메뉴는 [예컨대, 디스플레이 유닛(1402) 상에서] 제1 사용자 인터페이스 상에 디스플레이된다.
어떤 실시예들에서, 처리 유닛(1406)은 적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여, [예컨대, 디스플레이 인에이블 유닛(1410)에 의해 디스플레이 유닛(1402) 상에서] 제1 메뉴의 중앙 영역에 제1 시각 표시자를 디스플레이하는 것을 인에이블시키도록 구성되어 있다.
어떤 실시예들에서, 처리 유닛(1406)은 [예컨대, 검출 유닛(1412)에 의해] 가상 터치 선택 아이콘의 선택을 검출하고; 가상 터치 선택 아이콘의 선택을 검출한 것에 응답하여, [예컨대, 디스플레이 인에이블 유닛(1410)에 의해 디스플레이 유닛(1402) 상에] 가상 멀티터치 접촉의 메뉴를 디스플레이하는 것을 인에이블시키도록 구성되어 있다. 가상 멀티터치 접촉의 메뉴는 가상 멀티터치 접촉의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 처리 유닛(1406)은 [예컨대, 검출 유닛(1412)에 의해] 가상 멀티터치 접촉의 메뉴 내의 각자의 가상 멀티터치 접촉 아이콘의 선택을 검출하고; 가상 멀티터치 접촉의 메뉴 내의 각자의 가상 멀티터치 접촉 아이콘의 선택을 검출한 것에 응답하여, [예컨대, 디스플레이 인에이블 유닛(1410)에 의해 디스플레이 유닛(1402) 상에] 각자의 가상 멀티터치 접촉 아이콘에 대응하는 하나 이상의 제2 시각 표시자를 디스플레이하는 것을 인에이블 시키도록 구성되어 있다.
어떤 실시예들에서, 제2 시각 표시자를 디스플레이하는 것을 인에이블시키는 것은 [예컨대, 디스플레이 인에이블 유닛(1410)에 의해 디스플레이 유닛(1402) 상에] 각자의 가상 멀티터치 접촉 아이콘에 대응하는 다수의 시각 표시자를 디스플레이하는 것을 인에이블시키는 것을 포함한다.
어떤 실시예들에서, 처리 유닛(1406)은 [예컨대, 수신 유닛(1408)에 의해] 적응적 입력 장치로부터 제2 입력을 수신하고; 적응적 입력 장치로부터 제2 입력을 수신한 것에 응답하여: [예컨대, 이동 유닛(1414)에 의해] 하나 이상의 제2 시각 표시자를 이동시키며, [예컨대, 수행 유닛(1416)에 의해] 하나 이상의 제2 시각 표시자의 움직임에 따라 동작을 수행하도록 구성되어 있다.
어떤 실시예들에서, 처리 유닛(1406)은, 하나 이상의 제2 시각 표시자를 디스플레이하는 것을 인에이블시키는 동안, [예컨대, 대기 유닛(1418)에 의해] 사전 정의된 기간 초과 동안 적응적 입력 장치로부터 입력을 수신하기 위해 기다리고; 사전 정의된 기간 초과 동안 적응적 입력 장치로부터 입력을 수신하기 위해 기다린 것에 응답하여, [예컨대, 디스플레이 인에이블 유닛(1410)에 의해] 하나 이상의 제2 시각 표시자를 디스플레이하는 것을 제1 시각 표시자를 디스플레이하는 것으로 대체하도록 구성되어 있다.
어떤 실시예들에서, 처리 유닛(1406)은 [예컨대, 디스플레이 인에이블 유닛(1410)에 의해 디스플레이 유닛(1402) 상에] 가상 제스처 아이콘을 디스플레이하는 것을 인에이블시키고; [예컨대, 검출 유닛(1412)에 의해] 가상 제스처 아이콘의 선택을 검출하며; 가상 제스처 아이콘의 선택을 검출한 것에 응답하여, [예컨대, 디스플레이 인에이블 유닛(1410)에 의해 디스플레이 유닛(1402) 상에] 가상 제스처의 메뉴를 디스플레이하는 것을 인에이블시키도록 구성되어 있다. 가상 제스처의 메뉴는 가상 제스처의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 처리 유닛(1406)은 [예컨대, 검출 유닛(1412)에 의해] 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출하고; 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출한 것에 응답하여, [예컨대, 수행 유닛(1416)에 의해] 각자의 가상 제스처에 대응하는 동작을 수행하도록 구성되어 있다.
어떤 실시예들에서, 처리 유닛(1406)은 [예컨대, 디스플레이 인에이블 유닛(1410)에 의해 디스플레이 유닛(1402) 상에] 가상 제스처 아이콘을 디스플레이하는 것을 인에이블시키고; [예컨대, 검출 유닛(1412)에 의해] 가상 제스처 아이콘의 선택을 검출하며; 가상 제스처 아이콘의 선택을 검출한 것에 응답하여, [예컨대, 디스플레이 인에이블 유닛(1410)에 의해 디스플레이 유닛(1402) 상에] 가상 제스처의 메뉴를 디스플레이하는 것을 인에이블시키도록 구성되어 있다. 가상 제스처의 메뉴는 가상 제스처의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 처리 유닛(1406)은 [예컨대, 검출 유닛(1412)에 의해] 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출하고; 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출한 것에 응답하여, [예컨대, 디스플레이 인에이블 유닛(1410)에 의해] 각자의 가상 제스처 아이콘에 대응하는 다수의 시각 표시자를 디스플레이하는 것을 인에이블시키도록 구성되어 있다. [예컨대, 수신 유닛(1408)에 의해] 적응적 입력 장치로부터 제2 입력을 수신하고; 적응적 입력 장치로부터 제2 입력을 수신한 것에 응답하여, [예컨대, 수행 유닛(1416)에 의해] 각자의 가상 제스처에 따라 동작을 수행하도록 구성되어 있다.
어떤 실시예들에서, 처리 유닛(1406)은 적응적 입력 장치로부터 제2 입력을 수신한 것에 응답하여, [예컨대, 이동 유닛(1414)에 의해] 터치 감응 표면 유닛 상에서의 실제의 접촉의 움직임을 시뮬레이트하기 위해 각자의 가상 제스처에 대응하는 디스플레이된 시각 표시자를 이동시키도록 구성되어 있다.
어떤 실시예들에서, 처리 유닛(1406)은 [예컨대, 디스플레이 인에이블 유닛(1410)에 의해 디스플레이 유닛(1402) 상에] 핀치/디핀치 제스처 아이콘을 디스플레이하는 것을 인에이블시키고; [예컨대, 검출 유닛(1412)에 의해] 가상 핀치/디핀치 제스처 아이콘의 선택을 검출하며; 가상 핀치/디핀치 제스처 아이콘의 선택을 검출한 것에 응답하여, [예컨대, 디스플레이 인에이블 유닛(1410)에 의해 디스플레이 유닛(1402) 상에] 가상 핀치/디핀치 제스처에서의 접촉들에 대응하는 2개의 시각 표시자를 디스플레이하는 것을 인에이블시키며; [예컨대, 수신 유닛(1408)에 의해] 적응적 입력 장치로부터 제2 입력을 수신하고; 적응적 입력 장치로부터 제2 입력을 수신한 것에 응답하여, [예컨대, 수행 유닛(1416)에 의해] 가상 핀치/디핀치 제스처에 따라 동작을 수행하도록 구성되어 있다.
어떤 실시예들에서, 가상 핀치/디핀치 제스처에 따라 줌 동작이 수행된다.
어떤 실시예들에서, 처리 유닛(1406)은 [예컨대, 디스플레이 인에이블 유닛(1410)에 의해 디스플레이 유닛(1402) 상에] 가상 장치 아이콘을 디스플레이하는 것을 인에이블시키고; [예컨대, 검출 유닛(1412)에 의해] 가상 장치 아이콘의 선택을 검출하며; 가상 장치 아이콘의 선택을 검출한 것에 응답하여, [예컨대, 디스플레이 인에이블 유닛(1410)에 의해 디스플레이 유닛(1402) 상에] 가상 장치 동작의 메뉴를 디스플레이하는 것을 인에이블시키고 - 가상 장치 동작의 메뉴는 가상 장치 동작의 유형을 나타내는 복수의 아이콘을 포함함 -; [예컨대, 검출 유닛(1412)에 의해] 가상 장치 동작의 메뉴 내의 각자의 가상 장치 동작 아이콘의 선택을 검출하며; 가상 장치 동작의 메뉴 내의 각자의 가상 장치 동작 아이콘의 선택을 검출한 것에 응답하여, [예컨대, 수행 유닛(1416)에 의해] 각자의 가상 장치 동작에 대응하는 동작을 수행하도록 구성되어 있다.
어떤 실시예들에서, 처리 유닛(1406)은 [예컨대, 디스플레이 인에이블 유닛(1410)에 의해 디스플레이 유닛(1402) 상에] 가상 장치 회전 아이콘을 디스플레이하는 것을 인에이블시키고; [예컨대, 검출 유닛(1412)에 의해] 가상 장치 회전 아이콘의 선택을 검출하며; 가상 장치 회전 아이콘의 선택을 검출한 것에 응답하여, [예컨대, 디스플레이 인에이블 유닛(1410)에 의해 디스플레이 유닛(1402) 상에] 가상 장치 배향의 메뉴를 디스플레이하는 것을 인에이블시키도록 구성되어 있다. 가상 장치 배향의 메뉴는 가상 장치 배향의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 처리 유닛(1406)은 [예컨대, 검출 유닛(1412)에 의해] 가상 장치 배향의 메뉴 내의 각자의 가상 장치 배향 아이콘의 선택을 검출하고; 가상 장치 배향의 메뉴 내의 각자의 가상 장치 배향 아이콘의 선택을 검출한 것에 응답하여, [예컨대, 배향 유닛(1420)에 의해] 각자의 가상 장치 배향에 따라 디스플레이를 배향시키도록 구성되어 있다.
어떤 실시예들에서, 전자 장치(1400)는 홈 버튼을 포함하고 있다. 처리 유닛(1406)은 [예컨대, 디스플레이 인에이블 유닛(1410)에 의해 디스플레이 유닛(1402) 상에] 홈 버튼 아이콘을 디스플레이하는 것을 인에이블시키고; [예컨대, 검출 유닛(1412)에 의해] 홈 버튼 아이콘의 선택을 검출하며; 홈 버튼 아이콘의 선택을 검출한 것에 응답하여, [예컨대, 수행 유닛(1416)에 의해] 홈 버튼의 활성화에 대응하는 동작을 수행하도록 구성되어 있다.
어떤 실시예들에서, 처리 유닛(1406)은 디스플레이 유닛 상에 메뉴를 디스플레이하는 것을 인에이블시키는 동안, [예컨대, 제약 유닛(1422)에 의해] 제1 시각 표시자가 메뉴 상에 유지되도록 제1 시각 표시자의 움직임을 제약하도록 구성되어 있다.
어떤 실시예들에서, 처리 유닛(1406)은, 디스플레이 유닛 상에 제1 메뉴를 디스플레이하는 것을 인에이블시키는 동안, [예컨대, 수신 유닛(1408)에 의해] 제1 시각 표시자가 제1 메뉴를 벗어나 디스플레이될 때 적응적 입력 장치로부터 제2 입력을 수신하고; 제2 입력에 응답하여, [예컨대, 디스플레이 인에이블 유닛(1410)에 의해] 제1 메뉴를 디스플레이하는 것을 중단하도록 구성되어 있다.
어떤 실시예들에서, 처리 유닛(1406)은 디스플레이 유닛 상에 제1 메뉴를 디스플레이하는 것을 인에이블시키는 동안, [예컨대, 대기 유닛(1418)에 의해] 사전 정의된 기간 초과 동안 적응적 입력 장치로부터 입력을 수신하기 위해 기다리고; 사전 정의된 기간 초과 동안 적응적 입력 장치로부터 입력을 수신하기 위해 기다린 것에 응답하여, [예컨대, 디스플레이 인에이블 유닛(1410)에 의해] 제1 메뉴를 디스플레이하는 것을 중단하도록 구성되어 있다.
어떤 실시예들에 따르면, 도 15는 앞서 기술한 바와 같이 본 발명의 원리들에 따라 구성된 전자 장치(1500)의 기능 블록도를 나타낸 것이다. 장치의 기능 블록은 본 발명의 원리들을 수행하기 위해 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 기술 분야의 당업자라면, 전술한 본 발명의 원리를 구현하기 위해, 도 1500에 기술된 기능 블록이 결합되거나 서브블록으로 분리될 수 있다는 것을 잘 알 것이다. 따라서, 본 명세서에서의 설명이 본 명세서에 기술된 기능 블록의 임의의 가능한 결합 또는 분리 또는 추가적인 정의를 지원할 수 있다.
도 15에 도시된 바와 같이, 전자 장치(1500)는 가상 터치에 대응하는 제1 시각 표시자를 디스플레이하도록 구성되어 있는 디스플레이 유닛(1502); 손가락 접촉을 수신하도록 구성되어 있는 터치 감응 표면 유닛(1504); 및 디스플레이 유닛(1502) 및 터치 감응 표면 유닛(1504)에 결합되어 있는 처리 유닛(1506)을 포함한다. 어떤 실시예들에서, 처리 유닛(1506)은 수신 유닛(1508), 디스플레이 인에이블 유닛(1510), 및 검출 유닛(1512)을 포함하고 있다.
처리 유닛(1506)은 [예컨대, 수신 유닛(1508)에 의해] 적응적 입력 장치로부터 제1 입력을 수신하고; 적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여, [예컨대, 디스플레이 인에이블 유닛(1510)에 의해 디스플레이 유닛(1502) 상에] 가상 멀티터치 접촉의 메뉴를 디스플레이하는 것을 인에이블시키도록 구성되어 있다. 가상 멀티터치 접촉의 메뉴는 가상 멀티터치 접촉의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 처리 유닛(1506)은 [예컨대, 검출 유닛(1512)에 의해] 가상 멀티터치 접촉의 메뉴 내의 각자의 가상 멀티터치 접촉 아이콘의 선택을 검출하고; 가상 멀티터치 접촉의 메뉴 내의 각자의 가상 멀티터치 접촉 아이콘의 선택을 검출한 것에 응답하여, [예컨대, 디스플레이 인에이블 유닛(1510)에 의해 디스플레이 유닛(1502) 상에] 각자의 가상 멀티터치 접촉 아이콘에 대응하는 하나 이상의 제2 시각 표시자를 디스플레이하는 것을 인에이블 시키도록 구성되어 있다.
어떤 실시예들에 따르면, 도 16은 앞서 기술한 바와 같이 본 발명의 원리들에 따라 구성된 전자 장치(1600)의 기능 블록도를 나타낸 것이다. 장치의 기능 블록은 본 발명의 원리들을 수행하기 위해 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 기술 분야의 당업자라면, 전술한 본 발명의 원리를 구현하기 위해, 도 1600에 기술된 기능 블록이 결합되거나 서브블록으로 분리될 수 있다는 것을 잘 알 것이다. 따라서, 본 명세서에서의 설명이 본 명세서에 기술된 기능 블록의 임의의 가능한 결합 또는 분리 또는 추가적인 정의를 지원할 수 있다.
도 16에 도시된 바와 같이, 전자 장치(1600)는 사용자 인터페이스 객체(예컨대, 하나 이상의 아이콘 및/또는 표시자)를 디스플레이하도록 구성되어 있는 디스플레이 유닛(1602); 손가락 접촉을 수신하도록 구성되어 있는 터치 감응 표면 유닛(1604); 및 디스플레이 유닛(1602) 및 터치 감응 표면 유닛(1604)에 결합되어 있는 처리 유닛(1606)을 포함한다. 어떤 실시예들에서, 처리 유닛(1606)은 수신 유닛(1608), 디스플레이 인에이블 유닛(1610), 검출 유닛(1612), 및 수행 유닛(1614)을 포함하고 있다.
어떤 실시예들에서, 처리 유닛(1606)은 [예컨대, 디스플레이 인에이블 유닛(1610)에 의해 디스플레이 유닛(1602) 상에] 가상 터치에 대응하는 제1 시각 표시자를 디스플레이하는 것을 인에이블시키고; [예컨대, 수신 유닛(1608)에 의해] 적응적 입력 장치로부터 제1 입력을 수신하며; 적응적 입력 장치로부터 제1 입력을 수신한 것에 응답하여, [예컨대, 디스플레이 인에이블 유닛(1610)에 의해 디스플레이 유닛(1602) 상에] 가상 제스처의 메뉴를 디스플레이하는 것을 인에이블시키도록 구성되어 있다. 가상 제스처의 메뉴는 가상 제스처의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 처리 유닛(1606)은 [예컨대, 검출 유닛(1612)에 의해] 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출하고; 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출한 것에 응답하여, [예컨대, 디스플레이 인에이블 유닛(1612)에 의해 디스플레이 유닛(1602) 상에] 각자의 가상 제스처 아이콘에 대응하는 다수의 시각 표시자를 디스플레이하는 것을 인에이블시키며; [예컨대, 수신 유닛(1608)에 의해] 적응적 입력 장치로부터 제2 입력을 수신하고; 적응적 입력 장치로부터 제2 입력을 수신한 것에 응답하여, [예컨대, 수행 유닛(1614)에 의해] 각자의 가상 제스처에 따라 동작을 수행하도록 구성되어 있다.
어떤 실시예들에서, 처리 유닛(1606)은 [예컨대, 디스플레이 인에이블 유닛(1610)에 의해 디스플레이 유닛(1602) 상에] 핀치/디핀치 제스처 아이콘을 디스플레이하는 것을 인에이블시키고; [예컨대, 검출 유닛(1612)에 의해] 가상 핀치/디핀치 제스처 아이콘의 선택을 검출하며; 가상 핀치/디핀치 제스처 아이콘의 선택을 검출한 것에 응답하여, [예컨대, 디스플레이 인에이블 유닛(1612)에 의해 디스플레이 유닛(1602) 상에] 가상 핀치/디핀치 제스처에서의 접촉들에 대응하는 2개의 시각 표시자를 디스플레이하는 것을 인에이블시키며; [예컨대, 수신 유닛(1608)에 의해] 적응적 입력 장치로부터 입력을 수신하고; 적응적 입력 장치로부터 입력을 수신한 것에 응답하여, [예컨대, 수행 유닛(1614)에 의해] 각자의 가상 핀치/디핀치 제스처에 따라 줌 동작을 수행하도록 구성되어 있다.
어떤 실시예들에서, 처리 유닛(1606)은 [예컨대, 디스플레이 인에이블 유닛(1610)에 의해 디스플레이 유닛(1602) 상에] 가상 제스처 아이콘을 디스플레이하는 것을 인에이블시키고; [예컨대, 검출 유닛(1612)에 의해] 가상 제스처 아이콘의 선택을 검출하며; 가상 제스처 아이콘의 선택을 검출한 것에 응답하여, [예컨대, 디스플레이 인에이블 유닛(1610)에 의해 디스플레이 유닛(1602) 상에] 가상 제스처의 메뉴를 디스플레이하는 것을 인에이블시키도록 구성되어 있다. 가상 제스처의 메뉴는 가상 제스처의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 처리 유닛(1606)은 [예컨대, 검출 유닛(1612)에 의해] 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출하고; 가상 제스처의 메뉴 내의 각자의 가상 제스처 아이콘의 선택을 검출한 것에 응답하여, [예컨대, 수행 유닛(1614)에 의해] 각자의 가상 제스처에 대응하는 동작을 수행하도록 구성되어 있다.
어떤 실시예들에 따르면, 도 17은 앞서 기술한 바와 같이 본 발명의 원리들에 따라 구성된 전자 장치(1700)의 기능 블록도를 나타낸 것이다. 장치의 기능 블록은 본 발명의 원리들을 수행하기 위해 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 기술 분야의 당업자라면, 전술한 본 발명의 원리를 구현하기 위해, 도 1700에 기술된 기능 블록이 결합되거나 서브블록으로 분리될 수 있다는 것을 잘 알 것이다. 따라서, 본 명세서에서의 설명이 본 명세서에 기술된 기능 블록의 임의의 가능한 결합 또는 분리 또는 추가적인 정의를 지원할 수 있다.
도 17에 도시된 바와 같이, 전자 장치(1700)는 가상 장치 아이콘을 디스플레이하도록 구성되어 있는 디스플레이 유닛(1702); 손가락 접촉을 수신하도록 구성되어 있는 터치 감응 표면 유닛(1704); 및 디스플레이 유닛(1702) 및 터치 감응 표면 유닛(1704)에 결합되어 있는 처리 유닛(1706)을 포함한다. 어떤 실시예들에서, 처리 유닛(1706)은 검출 유닛(1708), 디스플레이 인에이블 유닛(1710), 및 수행 유닛(1712)을 포함하고 있다.
처리 유닛(1706)은 [예컨대, 검출 유닛(1708)에 의해] 가상 장치 아이콘의 선택을 검출하고; 가상 장치 아이콘의 선택을 검출한 것에 응답하여, [예컨대, 디스플레이 인에이블 유닛(1710)에 의해 디스플레이 유닛(1702) 상에] 가상 장치 동작의 메뉴를 디스플레이하는 것을 인에이블시키도록 구성되어 있다. 가상 장치 동작의 메뉴는 가상 장치 동작의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 처리 유닛(1706)은 [예컨대, 검출 유닛(1710)에 의해] 가상 장치 동작의 메뉴 내의 각자의 가상 장치 동작 아이콘의 선택을 검출하고; 가상 장치 동작의 메뉴 내의 각자의 가상 장치 동작 아이콘의 선택을 검출한 것에 응답하여, [예컨대, 수행 유닛(1712)에 의해] 각자의 가상 장치 동작에 대응하는 동작을 수행하도록 구성되어 있다.
어떤 실시예들에 따르면, 도 18은 앞서 기술한 바와 같이 본 발명의 원리들에 따라 구성된 전자 장치(1800)의 기능 블록도를 나타낸 것이다. 장치의 기능 블록은 본 발명의 원리들을 수행하기 위해 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 기술 분야의 당업자라면, 전술한 본 발명의 원리를 구현하기 위해, 도 1800에 기술된 기능 블록이 결합되거나 서브블록으로 분리될 수 있다는 것을 잘 알 것이다. 따라서, 본 명세서에서의 설명이 본 명세서에 기술된 기능 블록의 임의의 가능한 결합 또는 분리 또는 추가적인 정의를 지원할 수 있다.
도 18에 도시된 바와 같이, 전자 장치(1800)는 가상 장치 회전 아이콘을 디스플레이하도록 구성되어 있는 디스플레이 유닛(1802); 손가락 접촉을 수신하도록 구성되어 있는 터치 감응 표면 유닛(1804); 및 디스플레이 유닛(1802) 및 터치 감응 표면 유닛(1804)에 결합되어 있는 처리 유닛(1806)을 포함한다. 어떤 실시예들에서, 처리 유닛(1806)은 검출 유닛(1808), 디스플레이 인에이블 유닛(1810), 및 배향 유닛(1812)을 포함하고 있다.
처리 유닛(1806)은 [예컨대, 검출 유닛(1808)에 의해] 가상 장치 회전 아이콘의 선택을 검출하고; 가상 장치 회전 아이콘의 선택을 검출한 것에 응답하여, [예컨대, 디스플레이 인에이블 유닛(1810)에 의해 디스플레이 유닛(1802) 상에] 가상 장치 배향의 메뉴를 디스플레이하는 것을 인에이블시키도록 구성되어 있다. 가상 장치 배향의 메뉴는 가상 장치 배향의 유형을 나타내는 복수의 아이콘을 포함하고 있다. 처리 유닛(1806)은 [예컨대, 검출 유닛(1808)에 의해] 가상 장치 배향의 메뉴 내의 각자의 가상 장치 배향 아이콘의 선택을 검출하고; 가상 장치 배향의 메뉴 내의 각자의 가상 장치 배향 아이콘의 선택을 검출한 것에 응답하여, [예컨대, 배향 유닛(1812)에 의해] 각자의 가상 장치 배향에 따라 디스플레이를 배향시키도록 구성되어 있다.
어떤 실시예들에 따르면, 도 19는 앞서 기술한 바와 같이 본 발명의 원리들에 따라 구성된 전자 장치(1900)의 기능 블록도를 나타낸 것이다. 장치의 기능 블록은 본 발명의 원리들을 수행하기 위해 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 기술 분야의 당업자라면, 전술한 본 발명의 원리를 구현하기 위해, 도 1900에 기술된 기능 블록이 결합되거나 서브블록으로 분리될 수 있다는 것을 잘 알 것이다. 따라서, 본 명세서에서의 설명이 본 명세서에 기술된 기능 블록의 임의의 가능한 결합 또는 분리 또는 추가적인 정의를 지원할 수 있다.
도 19에 도시된 바와 같이, 전자 장치(1900)는 시각 표시자를 디스플레이하도록 구성되어 있는 디스플레이 유닛(1902); 손가락 접촉을 수신하도록 구성되어 있는 터치 감응 표면 유닛(1904); 및 디스플레이 유닛(1902) 및 터치 감응 표면 유닛(1904)에 결합되어 있는 처리 유닛(1906)을 포함한다. 어떤 실시예들에서, 처리 유닛(1906)은 디스플레이 인에이블 유닛(1908), 수신 유닛(1910), 이동 유닛(1912), 생성 유닛(1914), 연관 유닛(1916), 저장 유닛(1918), 및 수행 유닛(1920)을 포함하고 있다.
처리 유닛(1906)은 가상 제스처 기록 모드에 있는 동안: 디스플레이 유닛 상에 [예컨대, 디스플레이 인에이블 유닛(1908)에 의해 디스플레이 유닛(1902) 상에] 복수의 시각 표시자를 디스플레이하는 것을 인에이블시키고; 복수의 시각 표시자들 내의 각각의 시각 표시자에 대해: [예컨대, 수신 유닛(1910)에 의해] 각자의 시각 표시자에 대한 각자의 사용자 입력을 적응적 입력 장치로부터 수신하며; [예컨대, 이동 유닛(1912) 및/또는 디스플레이 인에이블 유닛(1910)에 의해] 각자의 사용자 입력에 따라 각자의 시각 표시자를 이동시키고; [예컨대, 디스플레이 인에이블 유닛(1908)에 의해 디스플레이 유닛(1902) 상에] 각자의 시각 표시자 및 각자의 시각 표시자의 움직임에 대응하는 각자의 자취를 동시에 디스플레이하는 것을 인에이블시키도록 구성되어 있다. 처리 유닛(1906)은 [예컨대, 생성 유닛(1914)에 의해] 복수의 시각 표시자 및 복수의 시각 표시자의 움직임에 대응하는 사용자-정의 가상 제스처를 생성하고; [예컨대, 연관 유닛(1916)에 의해] 사용자-정의 가상 제스처를 전자 장치의 사전 정의된 동작과 연관시키며; [예컨대, 저장 유닛(1918)에 의해] 사용자-정의 가상 제스처를 저장하도록 구성되어 있다.
어떤 실시예들에서, 처리 유닛(1906)은, 가상 제스처 기록 모드에 있는 동안, [예컨대, 디스플레이 인에이블 유닛(1908)에 의해 디스플레이 유닛(1902) 상에] 복수의 각자의 시각 표시자 및 대응하는 복수의 각자의 자취를 동시에 디스플레이하는 것을 인에이블시키도록 구성되어 있다.
어떤 실시예들에서, 처리 유닛(1906)은 사용자-정의 가상 제스처를 생성하고 사용자-정의 가상 제스처를 전자 장치의 사전 정의된 동작과 연관시킨 후에, [예컨대, 수신 유닛(1910)에 의해] 적응적 입력 장치로부터 입력을 수신하고; 적응적 입력 장치로부터 입력을 수신한 것에 응답하여, [예컨대, 수행 유닛(1920)에 의해] 사용자-정의 가상 제스처와 연관되어 있는 사전 정의된 동작을 수행하도록 구성되어 있다.
어떤 실시예들에서, 처리 유닛(1906)은, 적응적 입력 장치로부터 입력을 수신한 것에 응답하여, [예컨대, 디스플레이 인에이블 유닛(1908)에 의해 디스플레이 유닛(1902) 상에] 사용자-정의 가상 제스처에서의 복수의 각자의 시각 표시자의 애니메이션화된 움직임을 그 각자의 자취와 함께 디스플레이하도록 구성되어 있다.
전술한 정보 처리 방법에서의 동작들이 범용 프로세서 또는 ASIC(application specific chip)과 같은 정보 처리 장치에서 하나 이상의 기능 모듈을 실행함으로써 구현될 수 있다. 이들 모듈, 이들 모듈의 조합, 및/또는 이들과 일반 하드웨어와의 조합(예를 들어, 도 1a 및 도 3과 관련하여 전술함) 모두가 본 발명의 보호 범위 내에 포함된다.
도 6a 내지 도 6c, 도 7, 도 8, 도 9, 도 10, 도 11, 도 12, 및 도 13을 참조하여 앞서 기술한 동작들은 도 1a 및 도 1b에 도시된 구성요소들에 의해 구현될 수 있다. 예를 들어, 수신 동작(606), 디스플레이 동작(616), 및 제약 동작(624)은 이벤트 분류기(170), 이벤트 인식기(180), 및 이벤트 핸들러(190)에 의해 구현될 수 있다. 이벤트 분류기(170) 내의 이벤트 모니터(171)는 터치 감응 디스플레이(112) 상에서의 접촉을 검출하고, 이벤트 디스패처 모듈(174)은 이벤트 정보를 응용 프로그램(136-1)에 전달한다. 응용 프로그램(136-1)의 각자의 이벤트 인식기(180)는 이벤트 정보를 각자의 이벤트 정의(186)와 비교하고, 적응적 입력 장치로부터 수신된 입력이 사용자 인터페이스 상에서의 객체의 선택, 또는 한 배향으로부터 다른 배향으로의 장치의 회전 등의 사전 정의된 이벤트 또는 서브이벤트에 대응하는지를 판정한다. 각자의 사전 정의된 이벤트 또는 서브이벤트가 검출될 때, 이벤트 인식기(180)는 이벤트 또는 서브이벤트의 검출과 연관되어 있는 이벤트 핸들러(190)를 활성화시킨다. 이벤트 핸들러(190)는 응용 프로그램 내부 상태(192)를 업데이트하기 위해 데이터 업데이터(176) 또는 객체 업데이터(177)를 이용하거나 호출할 수 있다. 어떤 실시예들에서, 이벤트 핸들러(190)는 응용 프로그램에 의해 디스플레이되는 것을 업데이트하기 위해 각자의 GUI 업데이터(178)에 액세스한다. 이와 유사하게, 다른 프로세스들이 도 1a 및 도 1b에 도시된 구성요소들에 기초하여 어떻게 구현될 수 있는지가 기술 분야의 당업자에게는 명백할 것이다.
이상의 기재 내용은, 설명을 위해, 특정의 실시예를 참조하여 기술되어 있다. 그렇지만, 상기 예시적인 설명은 총망라한 것이 아니며 또한 본 발명을 개시된 정확한 형태로 제한하기 위한 것도 아니다. 이상의 개시 내용을 고려하여 많은 수정 및 변형이 가능하다. 본 발명의 원리 및 그의 실제 응용을 가장 잘 설명함으로써 당업자가 본 발명 및 생각되는 특정의 용도에 적합한 다양한 수정을 갖는 다양한 실시예를 가장 잘 이용할 수 있게 해주기 위해 이들 실시예가 선택되어 기술되었다.
Claims (1)
- 제1항에 기재된 장치.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201161493495P | 2011-06-05 | 2011-06-05 | |
| US61/493,495 | 2011-06-05 | ||
| US13/217,654 | 2011-08-25 | ||
| US13/217,654 US9513799B2 (en) | 2011-06-05 | 2011-08-25 | Devices, methods, and graphical user interfaces for providing control of a touch-based user interface absent physical touch capabilities |
| PCT/US2012/040920 WO2012170426A2 (en) | 2011-06-05 | 2012-06-05 | Devices, methods, and graphical user interfaces for providing control of a touch-based user interface absent physical touch capabilities |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020157016587A Division KR101886486B1 (ko) | 2011-06-05 | 2012-06-05 | 물리적 터치 기능이 없는 경우 터치-기반 사용자 인터페이스의 제어를 제공하는 장치, 방법 및 그래픽 사용자 인터페이스 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160120351A true KR20160120351A (ko) | 2016-10-17 |
| KR101843903B1 KR101843903B1 (ko) | 2018-04-02 |
Family
ID=47261268
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020137034793A KR101600161B1 (ko) | 2011-06-05 | 2012-06-05 | 물리적 터치 기능이 없는 경우 터치-기반 사용자 인터페이스의 제어를 제공하는 장치, 방법 및 그래픽 사용자 인터페이스 |
| KR1020157016587A KR101886486B1 (ko) | 2011-06-05 | 2012-06-05 | 물리적 터치 기능이 없는 경우 터치-기반 사용자 인터페이스의 제어를 제공하는 장치, 방법 및 그래픽 사용자 인터페이스 |
| KR1020167027346A KR101843903B1 (ko) | 2011-06-05 | 2012-06-05 | 물리적 터치 기능이 없는 경우 터치-기반 사용자 인터페이스의 제어를 제공하는 장치, 방법 및 그래픽 사용자 인터페이스 |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020137034793A KR101600161B1 (ko) | 2011-06-05 | 2012-06-05 | 물리적 터치 기능이 없는 경우 터치-기반 사용자 인터페이스의 제어를 제공하는 장치, 방법 및 그래픽 사용자 인터페이스 |
| KR1020157016587A KR101886486B1 (ko) | 2011-06-05 | 2012-06-05 | 물리적 터치 기능이 없는 경우 터치-기반 사용자 인터페이스의 제어를 제공하는 장치, 방법 및 그래픽 사용자 인터페이스 |
Country Status (7)
| Country | Link |
|---|---|
| US (6) | US9513799B2 (ko) |
| EP (1) | EP2718794B1 (ko) |
| JP (4) | JP5883128B2 (ko) |
| KR (3) | KR101600161B1 (ko) |
| CN (3) | CN107256128B (ko) |
| AU (4) | AU2012268384B2 (ko) |
| WO (1) | WO2012170426A2 (ko) |
Families Citing this family (95)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9513799B2 (en) | 2011-06-05 | 2016-12-06 | Apple Inc. | Devices, methods, and graphical user interfaces for providing control of a touch-based user interface absent physical touch capabilities |
| US9202297B1 (en) * | 2011-07-12 | 2015-12-01 | Domo, Inc. | Dynamic expansion of data visualizations |
| US10001898B1 (en) | 2011-07-12 | 2018-06-19 | Domo, Inc. | Automated provisioning of relational information for a summary data visualization |
| US9792017B1 (en) | 2011-07-12 | 2017-10-17 | Domo, Inc. | Automatic creation of drill paths |
| US9086794B2 (en) * | 2011-07-14 | 2015-07-21 | Microsoft Technology Licensing, Llc | Determining gestures on context based menus |
| US9417754B2 (en) | 2011-08-05 | 2016-08-16 | P4tents1, LLC | User interface system, method, and computer program product |
| US9116611B2 (en) | 2011-12-29 | 2015-08-25 | Apple Inc. | Devices, methods, and graphical user interfaces for providing multitouch inputs and hardware-based features using a single touch input |
| FR2986715B1 (fr) * | 2012-02-15 | 2014-10-17 | Archos | Procede et dispositif de controle d'au moins un appareil par au moins un autre appareil, appareil et systeme mettant en œuvre un tel dispositif |
| CN102707882A (zh) * | 2012-04-27 | 2012-10-03 | 深圳瑞高信息技术有限公司 | 虚拟图标触摸屏应用程序的操控转换方法及触摸屏终端 |
| WO2013169843A1 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for manipulating framed graphical objects |
| WO2013169882A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for moving and dropping a user interface object |
| WO2013169845A1 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for scrolling nested regions |
| DE112013002387T5 (de) | 2012-05-09 | 2015-02-12 | Apple Inc. | Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Bereitstellung taktiler Rückkopplung für Operationen in einer Benutzerschnittstelle |
| WO2013169842A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for selecting object within a group of objects |
| WO2013169865A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input |
| KR101956082B1 (ko) | 2012-05-09 | 2019-03-11 | 애플 인크. | 사용자 인터페이스 객체를 선택하는 디바이스, 방법, 및 그래픽 사용자 인터페이스 |
| KR101823288B1 (ko) | 2012-05-09 | 2018-01-29 | 애플 인크. | 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스 |
| DE202013012233U1 (de) | 2012-05-09 | 2016-01-18 | Apple Inc. | Vorrichtung und grafische Benutzerschnittstelle zum Anzeigen zusätzlicher Informationen in Antwort auf einen Benutzerkontakt |
| CN104471521B (zh) | 2012-05-09 | 2018-10-23 | 苹果公司 | 用于针对改变用户界面对象的激活状态来提供反馈的设备、方法和图形用户界面 |
| WO2013169851A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for facilitating user interaction with controls in a user interface |
| WO2013169849A2 (en) | 2012-05-09 | 2013-11-14 | Industries Llc Yknots | Device, method, and graphical user interface for displaying user interface objects corresponding to an application |
| WO2013169875A2 (en) | 2012-05-09 | 2013-11-14 | Yknots Industries Llc | Device, method, and graphical user interface for displaying content associated with a corresponding affordance |
| US9128562B2 (en) * | 2012-05-25 | 2015-09-08 | Sony Corporation | Terminal apparatus, display system, display method, and recording medium for switching between pointer mode and touch-panel mode based on handheld activation |
| US9235342B2 (en) | 2012-11-28 | 2016-01-12 | International Business Machines Corporation | Selective sharing of displayed content in a view presented on a touchscreen of a processing system |
| JP2014109881A (ja) * | 2012-11-30 | 2014-06-12 | Toshiba Corp | 情報処理装置、情報処理方法及びプログラム |
| KR102301592B1 (ko) * | 2012-12-29 | 2021-09-10 | 애플 인크. | 사용자 인터페이스 계층을 내비게이션하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스 |
| WO2014105279A1 (en) | 2012-12-29 | 2014-07-03 | Yknots Industries Llc | Device, method, and graphical user interface for switching between user interfaces |
| CN107832003B (zh) | 2012-12-29 | 2021-01-22 | 苹果公司 | 用于放大内容的方法和设备、电子设备和介质 |
| AU2013368441B2 (en) | 2012-12-29 | 2016-04-14 | Apple Inc. | Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture |
| WO2014105277A2 (en) | 2012-12-29 | 2014-07-03 | Yknots Industries Llc | Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics |
| JP6158947B2 (ja) | 2012-12-29 | 2017-07-05 | アップル インコーポレイテッド | タッチ入力からディスプレイ出力への関係間を遷移するためのデバイス、方法及びグラフィカルユーザインタフェース |
| US9792013B2 (en) * | 2013-01-25 | 2017-10-17 | Apple Inc. | Interface scanning for disabled users |
| USD737326S1 (en) * | 2013-02-23 | 2015-08-25 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with icon |
| USD748148S1 (en) * | 2013-02-23 | 2016-01-26 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with icon |
| USD747743S1 (en) * | 2013-02-23 | 2016-01-19 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with icon |
| CN103106006B (zh) * | 2013-03-01 | 2016-08-24 | 广东欧珀移动通信有限公司 | 一种快速整理桌面图标的方法及装置 |
| JP2015007949A (ja) * | 2013-06-26 | 2015-01-15 | ソニー株式会社 | 表示装置、表示制御方法及びコンピュータプログラム |
| WO2015005059A1 (ja) * | 2013-07-09 | 2015-01-15 | ソニー株式会社 | 情報処理装置、情報処理方法及びコンピュータプログラム |
| US20150127505A1 (en) * | 2013-10-11 | 2015-05-07 | Capital One Financial Corporation | System and method for generating and transforming data presentation |
| CN103793143A (zh) * | 2014-02-13 | 2014-05-14 | 宇龙计算机通信科技(深圳)有限公司 | 一种用户界面按键显示方法及装置 |
| KR102158696B1 (ko) * | 2014-05-09 | 2020-09-22 | 엘지전자 주식회사 | 디스플레이 장치 및 제어 방법 |
| US10664090B2 (en) | 2014-07-31 | 2020-05-26 | Hewlett-Packard Development Company, L.P. | Touch region projection onto touch-sensitive surface |
| US9747739B2 (en) * | 2014-08-18 | 2017-08-29 | Noke, Inc. | Wireless locking device |
| EP3201722A4 (en) | 2014-09-30 | 2018-05-16 | Hewlett-Packard Development Company, L.P. | Displaying an object indicator |
| USD810125S1 (en) * | 2014-12-22 | 2018-02-13 | Adtile Technologies Inc. | Display screen with motion-activated graphical user interface |
| US9728022B2 (en) | 2015-01-28 | 2017-08-08 | Noke, Inc. | Electronic padlocks and related methods |
| US9632664B2 (en) | 2015-03-08 | 2017-04-25 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US9645732B2 (en) | 2015-03-08 | 2017-05-09 | Apple Inc. | Devices, methods, and graphical user interfaces for displaying and using menus |
| US9990107B2 (en) | 2015-03-08 | 2018-06-05 | Apple Inc. | Devices, methods, and graphical user interfaces for displaying and using menus |
| US10048757B2 (en) | 2015-03-08 | 2018-08-14 | Apple Inc. | Devices and methods for controlling media presentation |
| US10095396B2 (en) | 2015-03-08 | 2018-10-09 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object |
| US9639184B2 (en) | 2015-03-19 | 2017-05-02 | Apple Inc. | Touch input cursor manipulation |
| US9785305B2 (en) | 2015-03-19 | 2017-10-10 | Apple Inc. | Touch input cursor manipulation |
| US10152208B2 (en) | 2015-04-01 | 2018-12-11 | Apple Inc. | Devices and methods for processing touch inputs based on their intensities |
| US20170045981A1 (en) | 2015-08-10 | 2017-02-16 | Apple Inc. | Devices and Methods for Processing Touch Inputs Based on Their Intensities |
| US9830048B2 (en) | 2015-06-07 | 2017-11-28 | Apple Inc. | Devices and methods for processing touch inputs with instructions in a web page |
| US9860451B2 (en) | 2015-06-07 | 2018-01-02 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
| US10346030B2 (en) | 2015-06-07 | 2019-07-09 | Apple Inc. | Devices and methods for navigating between user interfaces |
| US9891811B2 (en) | 2015-06-07 | 2018-02-13 | Apple Inc. | Devices and methods for navigating between user interfaces |
| US10200598B2 (en) | 2015-06-07 | 2019-02-05 | Apple Inc. | Devices and methods for capturing and interacting with enhanced digital images |
| US10795558B2 (en) * | 2015-06-07 | 2020-10-06 | Apple Inc. | Device, method, and graphical user interface for providing and interacting with a virtual drawing aid |
| US9961239B2 (en) | 2015-06-07 | 2018-05-01 | Apple Inc. | Touch accommodation options |
| US9965445B2 (en) * | 2015-08-06 | 2018-05-08 | FiftyThree, Inc. | Systems and methods for gesture-based formatting |
| US9880735B2 (en) | 2015-08-10 | 2018-01-30 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback |
| US10416800B2 (en) | 2015-08-10 | 2019-09-17 | Apple Inc. | Devices, methods, and graphical user interfaces for adjusting user interface objects |
| US10248308B2 (en) | 2015-08-10 | 2019-04-02 | Apple Inc. | Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures |
| US10235035B2 (en) | 2015-08-10 | 2019-03-19 | Apple Inc. | Devices, methods, and graphical user interfaces for content navigation and manipulation |
| CN105049813A (zh) * | 2015-08-11 | 2015-11-11 | 小米科技有限责任公司 | 控制视频画面的方法、装置及终端 |
| USD780222S1 (en) * | 2015-11-09 | 2017-02-28 | Naver Corporation | Display panel with icon |
| US10489007B2 (en) * | 2015-12-28 | 2019-11-26 | Cerner Innovation, Inc. | Contextualized application evaluation |
| USD778941S1 (en) * | 2016-01-08 | 2017-02-14 | Apple Inc. | Display screen or portion thereof with graphical user interface |
| CN105843520A (zh) * | 2016-03-25 | 2016-08-10 | 上海逗屋网络科技有限公司 | 用于在多点触摸终端上调整被操控工具的方法及设备 |
| AU2017241594B2 (en) * | 2016-03-28 | 2019-02-14 | Apple Inc. | Multifunction device control of another electronic device |
| US11150798B2 (en) | 2016-03-28 | 2021-10-19 | Apple Inc. | Multifunction device control of another electronic device |
| USD826260S1 (en) * | 2016-07-28 | 2018-08-21 | Banco Bradesco S/A | Display panel with a computer icon |
| USD826264S1 (en) * | 2016-07-28 | 2018-08-21 | Banco Bradesco S/A | Display panel with a computer icon |
| USD826258S1 (en) * | 2016-07-29 | 2018-08-21 | Banco Bradesco S/A | Display panel with a computer icon |
| US10871896B2 (en) * | 2016-12-07 | 2020-12-22 | Bby Solutions, Inc. | Touchscreen with three-handed gestures system and method |
| US10114525B2 (en) * | 2016-12-28 | 2018-10-30 | Byung Jin Kim | Device and method for organizing and displaying instant messages in various structured fashions |
| JP2018124721A (ja) * | 2017-01-31 | 2018-08-09 | セイコーエプソン株式会社 | 頭部装着型表示装置、及び頭部装着型表示装置の制御方法 |
| KR101861098B1 (ko) * | 2017-02-21 | 2018-05-29 | 한국과학기술연구원 | 탈착가능한 물리적 컨트롤 인터페이스를 가지는 원통형 디스플레이 장치, 그 제어 방법 및 그 방법을 수행하기 위한 기록 매체 |
| US20190012045A1 (en) * | 2017-07-05 | 2019-01-10 | Motorola Solutions, Inc. | Seamless workflow between mobile applications on portable device |
| US10776763B2 (en) | 2017-09-12 | 2020-09-15 | Paypal, Inc. | System and method for performing gesture-based unified multi-marketplace transactions |
| USD959486S1 (en) * | 2018-04-10 | 2022-08-02 | Google Llc | Display screen with icon |
| US10942633B2 (en) * | 2018-12-20 | 2021-03-09 | Microsoft Technology Licensing, Llc | Interactive viewing and editing system |
| US11352817B2 (en) | 2019-01-25 | 2022-06-07 | Noke, Inc. | Electronic lock and interchangeable shackles |
| USD956772S1 (en) * | 2019-02-18 | 2022-07-05 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with transitional graphical user interface |
| USD910068S1 (en) * | 2019-05-28 | 2021-02-09 | Apple Inc. | Display screen or portion thereof with graphical user interface |
| USD938973S1 (en) * | 2019-08-23 | 2021-12-21 | Beijing Xiaomi Mobile Software Co., Ltd. | Telephone display screen or portion thereof with animated graphical user interface |
| USD959489S1 (en) * | 2020-08-13 | 2022-08-02 | Pnc Financial Services Group, Inc. | Display screen portion with icon |
| USD975109S1 (en) * | 2020-12-14 | 2023-01-10 | Tiya Pte. Ltd. | Portable electronic device with animated graphical user interface |
| US20220374085A1 (en) * | 2021-05-19 | 2022-11-24 | Apple Inc. | Navigating user interfaces using hand gestures |
| JP1719678S (ja) * | 2021-08-26 | 2022-07-13 | 情報表示機能付き電子計算機 | |
| CN114942701B (zh) * | 2022-07-25 | 2023-01-31 | 联宝(合肥)电子科技有限公司 | 一种控制鼠标的摇杆及其控制方法 |
| US11662832B1 (en) * | 2022-08-25 | 2023-05-30 | Google Llc | System and method for enhancing functionality of electronic devices |
Family Cites Families (166)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4763356A (en) | 1986-12-11 | 1988-08-09 | AT&T Information Systems, Inc. American Telephone and Telegraph Company | Touch screen form entry system |
| US5543588A (en) | 1992-06-08 | 1996-08-06 | Synaptics, Incorporated | Touch pad driven handheld computing device |
| JPH0683524A (ja) * | 1992-09-04 | 1994-03-25 | Fujitsu Ltd | ペン入力方式 |
| JP3958355B2 (ja) * | 1992-12-09 | 2007-08-15 | セドナ・パテント・サービシズ・エルエルシー | ケーブルテレビ配送システムのためのネットワーク・コントローラ |
| US5412189A (en) | 1992-12-21 | 1995-05-02 | International Business Machines Corporation | Touch screen apparatus with tactile information |
| US6496182B1 (en) | 1995-06-07 | 2002-12-17 | Microsoft Corporation | Method and system for providing touch-sensitive screens for the visually impaired |
| US5666499A (en) | 1995-08-04 | 1997-09-09 | Silicon Graphics, Inc. | Clickaround tool-based graphical interface with two cursors |
| US5831664A (en) | 1995-12-15 | 1998-11-03 | Mediaone Group, Inc. | Method and system for synchronizing data between at least one mobile interface device and an interactive terminal |
| US5825352A (en) | 1996-01-04 | 1998-10-20 | Logitech, Inc. | Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad |
| US5933134A (en) | 1996-06-25 | 1999-08-03 | International Business Machines Corporation | Touch screen virtual pointing device which goes into a translucent hibernation state when not in use |
| US5729219A (en) | 1996-08-02 | 1998-03-17 | Motorola, Inc. | Selective call radio with contraposed touchpad |
| US5805157A (en) | 1996-08-12 | 1998-09-08 | International Business Machines Corporation | Mobile client computer with hexagonal keyboard |
| US5805159A (en) | 1996-08-22 | 1998-09-08 | International Business Machines Corporation | Mobile client computer interdependent display data fields |
| US5870083A (en) | 1996-10-04 | 1999-02-09 | International Business Machines Corporation | Breakaway touchscreen pointing device |
| US6002395A (en) | 1996-10-31 | 1999-12-14 | Ncr Corporation | System and method for building, testing and integrating a graphical touch user interface |
| US5812131A (en) | 1997-03-07 | 1998-09-22 | International Business Machines Corp. | Mobile client computer programmed to process table displays |
| US5956025A (en) | 1997-06-09 | 1999-09-21 | Philips Electronics North America Corporation | Remote with 3D organized GUI for a home entertainment system |
| JP4026907B2 (ja) | 1997-12-26 | 2007-12-26 | 株式会社リコー | 画像形成装置の操作表示方法並びに操作表示装置 |
| US6104334A (en) | 1997-12-31 | 2000-08-15 | Eremote, Inc. | Portable internet-enabled controller and information browser for consumer devices |
| US6757001B2 (en) | 1999-03-30 | 2004-06-29 | Research Investment Network, Inc. | Method of using physical buttons in association with a display to access and execute functions available through associated hardware and software |
| US20070177804A1 (en) | 2006-01-30 | 2007-08-02 | Apple Computer, Inc. | Multi-touch gesture dictionary |
| US9292111B2 (en) | 1998-01-26 | 2016-03-22 | Apple Inc. | Gesturing with a multipoint sensing device |
| US7844914B2 (en) | 2004-07-30 | 2010-11-30 | Apple Inc. | Activating virtual keys of a touch-screen virtual keyboard |
| US6160553A (en) | 1998-09-14 | 2000-12-12 | Microsoft Corporation | Methods, apparatus and data structures for providing a user interface, which exploits spatial memory in three-dimensions, to objects and in which object occlusion is avoided |
| US6560612B1 (en) | 1998-12-16 | 2003-05-06 | Sony Corporation | Information processing apparatus, controlling method and program medium |
| US6259436B1 (en) | 1998-12-22 | 2001-07-10 | Ericsson Inc. | Apparatus and method for determining selection of touchable items on a computer touchscreen by an imprecise touch |
| US6335725B1 (en) | 1999-07-14 | 2002-01-01 | Hewlett-Packard Company | Method of partitioning a touch screen for data input |
| US7673241B2 (en) | 2002-06-26 | 2010-03-02 | Siebel Systems, Inc. | User interface for multi-media communication for the visually disabled |
| AU2002226886A1 (en) * | 2000-11-09 | 2002-05-21 | Change Tools, Inc. | A user definable interface system, method and computer program product |
| US6791536B2 (en) * | 2000-11-10 | 2004-09-14 | Microsoft Corporation | Simulating gestures of a pointing device using a stylus and providing feedback thereto |
| JP3621650B2 (ja) * | 2001-02-26 | 2005-02-16 | 日本電信電話株式会社 | ３次元共有仮想空間通信サービスにおける動的セル管理方法，仮想空間集中制御装置およびマスタサーバ |
| US7730401B2 (en) | 2001-05-16 | 2010-06-01 | Synaptics Incorporated | Touch screen with user interface enhancement |
| US20050134578A1 (en) | 2001-07-13 | 2005-06-23 | Universal Electronics Inc. | System and methods for interacting with a control environment |
| US7383515B2 (en) | 2002-07-25 | 2008-06-03 | International Business Machines Corporation | Previewing next state based on potential action in current state |
| US7187394B2 (en) | 2002-10-04 | 2007-03-06 | International Business Machines Corporation | User friendly selection apparatus based on touch screens for visually impaired people |
| US7296241B2 (en) | 2002-10-18 | 2007-11-13 | Microsoft Corporation | System and method for managing a message view |
| US7453442B1 (en) | 2002-12-03 | 2008-11-18 | Ncr Corporation | Reconfigurable user interface systems |
| US7158123B2 (en) | 2003-01-31 | 2007-01-02 | Xerox Corporation | Secondary touch contextual sub-menu navigation for touch screen interface |
| JP4193629B2 (ja) | 2003-07-25 | 2008-12-10 | ソニー株式会社 | 画面表示装置，プログラム，および画面表示方法 |
| US7164410B2 (en) | 2003-07-28 | 2007-01-16 | Sig G. Kupka | Manipulating an on-screen object using zones surrounding the object |
| US7178109B2 (en) | 2003-08-12 | 2007-02-13 | Chordiant Software, Inc. | Process/viewer interface |
| US20050219210A1 (en) * | 2004-03-31 | 2005-10-06 | The Neil Squire Society | Pointer interface for handheld devices |
| US20050235208A1 (en) | 2004-04-15 | 2005-10-20 | Udo Arend | User interface for a guided activity window |
| US20050235206A1 (en) | 2004-04-15 | 2005-10-20 | Udo Arend | User interface for a quick activity window |
| US20050235223A1 (en) | 2004-04-15 | 2005-10-20 | Udo Arend | User interface adaptable by an end user |
| US20050246665A1 (en) | 2004-05-03 | 2005-11-03 | Microsoft Corporation | Systems and methods for an improved user interface shell for small computer devices |
| JP4210936B2 (ja) | 2004-07-08 | 2009-01-21 | ソニー株式会社 | 情報処理装置及びこれに用いるプログラム |
| US8127229B2 (en) | 2004-08-31 | 2012-02-28 | Access Co., Ltd. | Controlling focus, and movement of the focus, between focus items in a multi-frame document |
| US7483880B2 (en) | 2004-09-30 | 2009-01-27 | Microsoft Corporation | User interface for database display |
| WO2006050176A2 (en) | 2004-11-02 | 2006-05-11 | Custom Lab Software Systems, Inc. | Assistive communication device |
| JP2006155205A (ja) | 2004-11-29 | 2006-06-15 | Fujitsu Ltd | 電子装置、入力制御装置、および入力制御プログラム |
| JP4695384B2 (ja) * | 2004-11-30 | 2011-06-08 | 株式会社日立製作所 | カーソルの機能切り換え方法及びこれを使用する情報処理装置 |
| US20060123359A1 (en) | 2004-12-03 | 2006-06-08 | Schatzberger Richard J | Portable electronic device having user interactive visual interface |
| US20050216826A1 (en) | 2005-05-09 | 2005-09-29 | Matrikon Inc. | Method of providing a concurrent overview and detailed display of industrial production facilities |
| US20060271870A1 (en) | 2005-05-31 | 2006-11-30 | Picsel Research Limited | Systems and methods for navigating displayed content |
| CN1873602A (zh) | 2005-05-31 | 2006-12-06 | 皮克塞(研究)有限公司 | 用于导航所显示内容的系统和方法 |
| JP2006350838A (ja) | 2005-06-17 | 2006-12-28 | Fujitsu Ltd | 情報処理装置およびプログラム |
| TW200701050A (en) | 2005-06-27 | 2007-01-01 | Compal Electronics Inc | A user interface with figures mapping to the keys, for allowing the user to select and control a portable electronic device |
| EP1908051A4 (en) | 2005-07-22 | 2012-01-25 | Matthew G Pallakoff | SYSTEM AND METHOD FOR A THUMB-OPTIMIZED USER INTERFACE OF A TOUCH SCREEN |
| WO2007050569A2 (en) | 2005-10-25 | 2007-05-03 | Donald Templeton Haynie | Polypeptide multilayer films and methods |
| TW200723049A (en) | 2005-12-07 | 2007-06-16 | Era Digital Media Co | Single page website organization method |
| US7786975B2 (en) | 2005-12-23 | 2010-08-31 | Apple Inc. | Continuous scrolling list with acceleration |
| US7596761B2 (en) | 2006-01-05 | 2009-09-29 | Apple Inc. | Application user interface with navigation bar showing current and prior application contexts |
| GB0605587D0 (en) | 2006-03-20 | 2006-04-26 | British Broadcasting Corp | Graphical user interface methods and systems |
| JP5129478B2 (ja) * | 2006-03-24 | 2013-01-30 | 株式会社デンソーアイティーラボラトリ | 画面表示装置 |
| US20070236474A1 (en) | 2006-04-10 | 2007-10-11 | Immersion Corporation | Touch Panel with a Haptically Generated Reference Key |
| US7880728B2 (en) | 2006-06-29 | 2011-02-01 | Microsoft Corporation | Application switching via a touch screen interface |
| US8736557B2 (en) | 2006-09-11 | 2014-05-27 | Apple Inc. | Electronic device with image based browsers |
| US8584038B2 (en) | 2006-12-18 | 2013-11-12 | Microsoft Corporation | Techniques for use with a calendar and messaging component |
| US20080163053A1 (en) | 2006-12-28 | 2008-07-03 | Samsung Electronics Co., Ltd. | Method to provide menu, using menu set and multimedia device using the same |
| US9311528B2 (en) * | 2007-01-03 | 2016-04-12 | Apple Inc. | Gesture learning |
| US7889184B2 (en) | 2007-01-05 | 2011-02-15 | Apple Inc. | Method, system and graphical user interface for displaying hyperlink information |
| US20080165151A1 (en) | 2007-01-07 | 2008-07-10 | Lemay Stephen O | System and Method for Viewing and Managing Calendar Entries |
| KR100896711B1 (ko) | 2007-02-08 | 2009-05-11 | 삼성전자주식회사 | 터치 스크린을 갖는 휴대 단말기의 탭을 통한 기능 실행방법 |
| US8079039B2 (en) | 2007-03-09 | 2011-12-13 | Microsoft Corporation | Isolating, managing and communicating with user interface elements |
| US7895533B2 (en) | 2007-03-13 | 2011-02-22 | Apple Inc. | Interactive image thumbnails |
| US20080229248A1 (en) | 2007-03-13 | 2008-09-18 | Apple Inc. | Associating geographic location information to digital objects for editing |
| US9083815B2 (en) | 2007-05-03 | 2015-07-14 | T-Mobile Usa, Inc. | System and method for account setup for mobile devices, such as an e-mail account setup |
| US8108793B2 (en) | 2007-05-21 | 2012-01-31 | Amazon Technologies, Inc, | Zone-associated objects |
| US20090027334A1 (en) | 2007-06-01 | 2009-01-29 | Cybernet Systems Corporation | Method for controlling a graphical user interface for touchscreen-enabled computer systems |
| US20090005032A1 (en) | 2007-06-28 | 2009-01-01 | Apple Inc. | Viewing Digital Content on a Mobile Device |
| US9619143B2 (en) | 2008-01-06 | 2017-04-11 | Apple Inc. | Device, method, and graphical user interface for viewing application launch icons |
| US11126321B2 (en) | 2007-09-04 | 2021-09-21 | Apple Inc. | Application menu user interface |
| JP5203655B2 (ja) * | 2007-09-07 | 2013-06-05 | キヤノン株式会社 | コンテンツ表示装置及びその表示方法 |
| US20090100383A1 (en) * | 2007-10-16 | 2009-04-16 | Microsoft Corporation | Predictive gesturing in graphical user interface |
| US8610671B2 (en) | 2007-12-27 | 2013-12-17 | Apple Inc. | Insertion marker placement on touch sensitive display |
| US8413075B2 (en) * | 2008-01-04 | 2013-04-02 | Apple Inc. | Gesture movies |
| US20090213083A1 (en) | 2008-02-26 | 2009-08-27 | Apple Inc. | Simulation of multi-point gestures with a single pointing device |
| US8201109B2 (en) | 2008-03-04 | 2012-06-12 | Apple Inc. | Methods and graphical user interfaces for editing on a portable multifunction device |
| US9483755B2 (en) | 2008-03-04 | 2016-11-01 | Apple Inc. | Portable multifunction device, method, and graphical user interface for an email client |
| US20090225042A1 (en) | 2008-03-05 | 2009-09-10 | Wake3, Llc | Systems and methods for enhancement of mobile devices |
| US9274681B2 (en) | 2008-03-26 | 2016-03-01 | Lg Electronics Inc. | Terminal and method of controlling the same |
| WO2009126165A1 (en) | 2008-04-11 | 2009-10-15 | T-Mobile Usa, Inc. | Digital picture frame having communication capabilities |
| US8159469B2 (en) | 2008-05-06 | 2012-04-17 | Hewlett-Packard Development Company, L.P. | User interface for initiating activities in an electronic device |
| KR101019039B1 (ko) | 2008-05-22 | 2011-03-04 | 삼성전자주식회사 | 터치 스크린을 구비한 단말기 및 데이터 검색 방법. |
| US8504001B2 (en) | 2008-08-12 | 2013-08-06 | Apple Inc. | Unified settings for multiple account types |
| US8341557B2 (en) | 2008-09-05 | 2012-12-25 | Apple Inc. | Portable touch screen device, method, and graphical user interface for providing workout support |
| US20100095234A1 (en) | 2008-10-07 | 2010-04-15 | Research In Motion Limited | Multi-touch motion simulation using a non-touch screen computer input device |
| KR20100039024A (ko) | 2008-10-07 | 2010-04-15 | 엘지전자 주식회사 | 이동 단말기 및 이것의 디스플레이 제어 방법 |
| US8089017B2 (en) | 2008-10-07 | 2012-01-03 | Research In Motion Limited | Sealed dome switch for mobile electronic device |
| CA2680666A1 (en) | 2008-10-08 | 2010-04-08 | Research In Motion Limited | An electronic device having a state aware touchscreen |
| JP2010097353A (ja) | 2008-10-15 | 2010-04-30 | Access Co Ltd | 情報端末 |
| CN102197358A (zh) | 2008-10-28 | 2011-09-21 | 夏普株式会社 | 具有2个显示装置的电子设备、其控制方法以及记录介质 |
| KR20100048090A (ko) * | 2008-10-30 | 2010-05-11 | 삼성전자주식회사 | 터치와 모션을 통해 제어 명령을 생성하는 인터페이스 장치, 인터페이스 시스템 및 이를 이용한 인터페이스 방법 |
| US8584031B2 (en) | 2008-11-19 | 2013-11-12 | Apple Inc. | Portable touch screen device, method, and graphical user interface for using emoji characters |
| US9134798B2 (en) * | 2008-12-15 | 2015-09-15 | Microsoft Technology Licensing, Llc | Gestures, interactions, and common ground in a surface computing environment |
| US20100149114A1 (en) | 2008-12-16 | 2010-06-17 | Motorola, Inc. | Simulating a multi-touch screen on a single-touch screen |
| US20100159898A1 (en) | 2008-12-19 | 2010-06-24 | Openpeak, Inc. | Services platform for networked devices that provide telephony and digital media services |
| US20100192102A1 (en) * | 2009-01-29 | 2010-07-29 | International Business Machines Corporation | Displaying radial menus near edges of a display area |
| US20100214218A1 (en) | 2009-02-20 | 2010-08-26 | Nokia Corporation | Virtual mouse |
| DE102009001074A1 (de) | 2009-02-23 | 2010-08-26 | Robert Bosch Gmbh | Verfahren zur selbsttätigen Radpositionserkennung in einem Fahrzeug |
| US20110304584A1 (en) | 2009-02-23 | 2011-12-15 | Sung Jae Hwang | Touch screen control method and touch screen device using the same |
| US8589374B2 (en) * | 2009-03-16 | 2013-11-19 | Apple Inc. | Multifunction device with integrated search and application selection |
| US8175653B2 (en) * | 2009-03-30 | 2012-05-08 | Microsoft Corporation | Chromeless user interface |
| US9258402B2 (en) * | 2009-04-14 | 2016-02-09 | Qualcomm Incorporated | System and method for controlling mobile devices |
| US8321810B2 (en) * | 2009-04-30 | 2012-11-27 | Microsoft Corporation | Configuring an adaptive input device with selected graphical images |
| KR101576292B1 (ko) * | 2009-05-21 | 2015-12-09 | 엘지전자 주식회사 | 이동 통신 단말기에서의 메뉴 실행 방법 및 이를 적용한 이동 통신 단말기 |
| US8681106B2 (en) | 2009-06-07 | 2014-03-25 | Apple Inc. | Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface |
| TWI442271B (zh) | 2009-07-03 | 2014-06-21 | Wistron Corp | 多模式觸控之方法、使用多重單點觸控指令之方法及具有觸控裝置之電子裝置 |
| US8638315B2 (en) * | 2009-07-13 | 2014-01-28 | Cherif Atia Algreatly | Virtual touch screen system |
| US8171036B2 (en) | 2009-07-21 | 2012-05-01 | Research In Motiion Limited | Method and apparatus for processing data records in a given order upon receiving input data from a touchscreen |
| JP2011028524A (ja) | 2009-07-24 | 2011-02-10 | Toshiba Corp | 情報処理装置、プログラムおよびポインティング方法 |
| JP5280965B2 (ja) | 2009-08-04 | 2013-09-04 | 富士通コンポーネント株式会社 | タッチパネル装置及び方法並びにプログラム及び記録媒体 |
| US9563350B2 (en) * | 2009-08-11 | 2017-02-07 | Lg Electronics Inc. | Mobile terminal and method for controlling the same |
| KR101667575B1 (ko) | 2009-08-11 | 2016-10-19 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
| KR101608774B1 (ko) | 2009-08-11 | 2016-04-04 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
| US8375329B2 (en) | 2009-09-01 | 2013-02-12 | Maxon Computer Gmbh | Method of providing a graphical user interface using a concentric menu |
| CN102023795B (zh) | 2009-09-10 | 2014-03-26 | 深圳富泰宏精密工业有限公司 | 电子装置及其功能快捷操作方法 |
| US8799826B2 (en) | 2009-09-25 | 2014-08-05 | Apple Inc. | Device, method, and graphical user interface for moving a calendar entry in a calendar application |
| KR101640464B1 (ko) | 2009-10-26 | 2016-07-18 | 삼성전자 주식회사 | 터치스크린 기반의 ｕｉ 제공방법 및 이를 이용한 휴대 단말기 |
| KR101427114B1 (ko) * | 2009-10-30 | 2014-08-07 | 삼성전자 주식회사 | 화상형성장치 및 화상형성장치의 타겟영역 확대 표시방법 |
| US8957918B2 (en) | 2009-11-03 | 2015-02-17 | Qualcomm Incorporated | Methods for implementing multi-touch gestures on a single-touch touch surface |
| US8843849B2 (en) | 2009-11-09 | 2014-09-23 | Blackberry Limited | Directional navigation of page content |
| US20110117526A1 (en) * | 2009-11-16 | 2011-05-19 | Microsoft Corporation | Teaching gesture initiation with registration posture guides |
| US8806381B2 (en) | 2009-11-18 | 2014-08-12 | International Business Machines Corporation | Method and system to improve GUI use efficiency |
| US9621706B2 (en) * | 2009-11-18 | 2017-04-11 | Qualcomm Incorporated | System and method of haptic communication at a portable computing device |
| JP2011111061A (ja) * | 2009-11-27 | 2011-06-09 | Fujitsu Ten Ltd | 車載表示システム |
| US8386965B2 (en) | 2010-01-15 | 2013-02-26 | Apple Inc. | Techniques and systems for enhancing touch screen device accessibility through virtual containers and virtually enlarged boundaries |
| US8769398B2 (en) * | 2010-02-02 | 2014-07-01 | Apple Inc. | Animation control methods and systems |
| US20110248928A1 (en) | 2010-04-08 | 2011-10-13 | Motorola, Inc. | Device and method for gestural operation of context menus on a touch-sensitive display |
| US20130204406A1 (en) * | 2010-04-12 | 2013-08-08 | Electrolux Home Products Corporation N.V. | Control interface for household appliances |
| US20110273380A1 (en) * | 2010-05-07 | 2011-11-10 | Research In Motion Limited | Portable electronic device and method of controlling same |
| KR20110126346A (ko) * | 2010-05-17 | 2011-11-23 | 엘지전자 주식회사 | 해상도 선택 메뉴 제공 방법 및 방송 수신 장치 |
| EP2393000B1 (en) | 2010-06-04 | 2019-08-07 | Lg Electronics Inc. | Mobile terminal capable of providing multiplayer game and method of controlling operation of the mobile terminal |
| JP5513266B2 (ja) | 2010-06-09 | 2014-06-04 | 富士通コンポーネント株式会社 | 変換装置及びプログラム |
| TWI441072B (zh) * | 2010-09-21 | 2014-06-11 | Altek Corp | 觸控螢幕解鎖方法及其具有攝像功能之電子裝置 |
| US20120173976A1 (en) | 2011-01-05 | 2012-07-05 | William Herz | Control panel and ring interface with a settings journal for computing systems |
| US9430128B2 (en) | 2011-01-06 | 2016-08-30 | Tivo, Inc. | Method and apparatus for controls based on concurrent gestures |
| US10338672B2 (en) * | 2011-02-18 | 2019-07-02 | Business Objects Software Ltd. | System and method for manipulating objects in a graphical user interface |
| US20120262489A1 (en) * | 2011-04-12 | 2012-10-18 | Caliendo Jr Neal Robert | Relative and Absolute Screen Rotation Draft Agent |
| KR101788006B1 (ko) * | 2011-07-18 | 2017-10-19 | 엘지전자 주식회사 | 원격제어장치 및 원격제어장치로 제어 가능한 영상표시장치 |
| US9513799B2 (en) | 2011-06-05 | 2016-12-06 | Apple Inc. | Devices, methods, and graphical user interfaces for providing control of a touch-based user interface absent physical touch capabilities |
| US9746995B2 (en) | 2011-07-14 | 2017-08-29 | Microsoft Technology Licensing, Llc | Launcher for context based menus |
| US9582187B2 (en) | 2011-07-14 | 2017-02-28 | Microsoft Technology Licensing, Llc | Dynamic context based menus |
| JP5173001B2 (ja) | 2011-08-11 | 2013-03-27 | シャープ株式会社 | 情報処理装置、画面表示方法、制御プログラムおよび記録媒体 |
| JP2013129352A (ja) * | 2011-12-22 | 2013-07-04 | Panasonic Corp | 車載用表示システム |
| US9116611B2 (en) | 2011-12-29 | 2015-08-25 | Apple Inc. | Devices, methods, and graphical user interfaces for providing multitouch inputs and hardware-based features using a single touch input |
| BR112014029990A2 (pt) | 2012-06-03 | 2017-06-27 | Maquet Critical Care Ab | sistema com aparelho respiratório e tela sensível ao toque |
| US20140325407A1 (en) | 2013-04-25 | 2014-10-30 | Microsoft Corporation | Collection, tracking and presentation of reading content |
| JP6136627B2 (ja) * | 2013-06-24 | 2017-05-31 | マツダ株式会社 | 車両用情報表示装置 |
| KR102138505B1 (ko) * | 2013-07-10 | 2020-07-28 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
| US20150022482A1 (en) | 2013-07-19 | 2015-01-22 | International Business Machines Corporation | Multi-touch management for touch screen displays |
| KR20150017098A (ko) | 2013-08-06 | 2015-02-16 | 삼성전자주식회사 | 터치스크린을 구비한 전자장치 및 그 운영 방법 |
| ES2820653T3 (es) * | 2013-08-20 | 2021-04-21 | Volkswagen Ag | Método de mando para un dispositivo de mando y visualización en un vehículo y dispositivo de mando y visualización en un vehículo |
| CN105335116B (zh) | 2014-07-30 | 2018-11-09 | 联想(北京)有限公司 | 一种显示控制方法及电子设备 |
| US9961239B2 (en) | 2015-06-07 | 2018-05-01 | Apple Inc. | Touch accommodation options |
-
2011
- 2011-08-25 US US13/217,654 patent/US9513799B2/en active Active
-
2012
- 2012-06-05 EP EP12727533.7A patent/EP2718794B1/en active Active
- 2012-06-05 AU AU2012268384A patent/AU2012268384B2/en active Active
- 2012-06-05 KR KR1020137034793A patent/KR101600161B1/ko active IP Right Grant
- 2012-06-05 WO PCT/US2012/040920 patent/WO2012170426A2/en unknown
- 2012-06-05 CN CN201710576007.1A patent/CN107256128B/zh active Active
- 2012-06-05 CN CN201280027757.9A patent/CN103608754B/zh active Active
- 2012-06-05 KR KR1020157016587A patent/KR101886486B1/ko active IP Right Grant
- 2012-06-05 CN CN201810008374.6A patent/CN108052276A/zh active Pending
- 2012-06-05 KR KR1020167027346A patent/KR101843903B1/ko active IP Right Grant
- 2012-06-05 JP JP2014513803A patent/JP5883128B2/ja active Active
-
2016
- 2016-02-04 JP JP2016020183A patent/JP6190902B2/ja active Active
- 2016-03-04 US US15/061,651 patent/US10120566B2/en active Active
- 2016-05-18 AU AU2016203253A patent/AU2016203253B2/en active Active
-
2017
- 2017-08-07 JP JP2017152690A patent/JP6794323B2/ja active Active
-
2018
- 2018-08-17 AU AU2018217331A patent/AU2018217331B2/en active Active
- 2018-11-02 US US16/179,545 patent/US10732829B2/en active Active
-
2020
- 2020-07-27 US US16/939,922 patent/US11354032B2/en active Active
- 2020-08-03 JP JP2020131850A patent/JP6857769B2/ja active Active
- 2020-09-10 AU AU2020230308A patent/AU2020230308B2/en active Active
-
2022
- 2022-05-12 US US17/743,124 patent/US11775169B2/en active Active
-
2023
- 2023-10-02 US US18/375,915 patent/US20240103714A1/en active Pending
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2020230308B2 (en) | Devices, methods, and graphical user interfaces for providing control of a touch-based user interface absent physical touch capabilities | |
| US11947792B2 (en) | Devices, methods, and graphical user interfaces for providing multitouch inputs and hardware-based features using a single touch input | |
| KR101624791B1 (ko) | 사용자 인터페이스와의 제한된 상호작용을 구성하기 위한 장치, 방법 및 그래픽 사용자 인터페이스 | |
| KR101548434B1 (ko) | 사용자 인터페이스 스크린 네비게이션을 위한 장치, 방법, 및 그래픽 사용자 인터페이스 | |
| KR20140026218A (ko) | 콘텐츠 관찰 및 텍스트 엔트리 인터페이스들의 크기를 조절하기 위한 장치, 방법 및 그래픽 사용자 인터페이스 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |