KR20120116916A - 터치 스크린과의 사용자 상호작용을 입력 커맨드로 번역 - Google Patents

터치 스크린과의 사용자 상호작용을 입력 커맨드로 번역 Download PDF

Info

Publication number
KR20120116916A
KR20120116916A KR1020127013089A KR20127013089A KR20120116916A KR 20120116916 A KR20120116916 A KR 20120116916A KR 1020127013089 A KR1020127013089 A KR 1020127013089A KR 20127013089 A KR20127013089 A KR 20127013089A KR 20120116916 A KR20120116916 A KR 20120116916A
Authority
KR
South Korea
Prior art keywords
touch screen
screen system
graphical display
command
user interaction
Prior art date
Application number
KR1020127013089A
Other languages
English (en)
Other versions
KR101668398B1 (ko
Inventor
양 리
마이클 에이. 클레론
다이앤 케이. 핵본
Original Assignee
구글 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 인코포레이티드 filed Critical 구글 인코포레이티드
Publication of KR20120116916A publication Critical patent/KR20120116916A/ko
Application granted granted Critical
Publication of KR101668398B1 publication Critical patent/KR101668398B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

일 양태에서, 터치 스크린 시스템은 터치 스크린 그래픽 디스플레이; 상기 그래픽 디스플레이와의 변경자 상호작용을 식별하고, 상기 변경자 상호작용의 식별에 응답하여, 상기 그래픽 디스플레이와의 다른 상호작용의 해석을 변경하도록 구성되는 커맨드 해석기; 하나 이상의 영구 데이터 저장 디바이스를 포함한다. 상기 하나 이상의 영구 데이터 저장 디바이스는 상기 그래픽 디스플레이와의 사용자 상호작용을 해석하는 제1 세트의 규칙 및 상기 그래픽 디스플레이와의 사용자 상호작용을 해석하는 제2 세트의 규칙을 저장한다. 상기 제1 세트의 규칙은 맵 또는 정보 컬렉션의 적절한 부분집합에 걸친 움직임을 스크롤 또는 패닝 커맨드로 해석한다. 상기 제2 세트의 규칙은 상기 움직임을 글리프로 해석한다. 상기 커맨드 해석기는 상기 제1 세트의 규칙 하의 해석과 상기 제2 세트의 규칙 하의 해석 사이를 전환함으로써, 다른 상호작용의 해석을 변경하도록 구성된다.

Description

터치 스크린과의 사용자 상호작용을 입력 커맨드로 번역{TRANSLATING USER INTERACTION WITH A TOUCH SCREEN INTO INPUT COMMANDS}
본 명세서는 터치 스크린과의 사용자 상호작용을 입력 커맨드로 번역하는 것에 관련된다.
사람들은 많은 시간을 예컨대, 컴퓨터, 전화기, 음악 재생기, PDA 등과 같은 전자 디바이스에 사용한다. 사람들은 사용이 직관적이며 그 상호작용이 그 기계가 어떻게 동작할 것이라는 사용자의 기대를 가장 잘 충족하는 디바이스를 가장 좋아한다. 사용자는 전자 디바이스의 입출력을 통하여 그 디바이스와 상호작용하며, 여기서, 출력은 통상 청각적으로 및/또는 그래픽 디스플레이 스크린 상에서 제공되며, 입력은 터치 스크린, 조이스틱, 마우스, 4-방향 키패드, 및 그 밖의 입력 메커니즘을 통해서 이루어진다.
터치 스크린은 입력과 출력 모두로서 기능하는 그래픽 디스플레이 디바이스이다. 특히, 터치 스크린은 그래픽 디스플레이를 구비하고, 그래픽 디스플레이와의 수동 상호작용의 존재와 위치를 검출한다. 따라서 사람이 그래픽 디스플레이와 전자 디바이스의 외부 세계와 상호작용하는 방식과 유사한 방식으로, 사용자는 그래픽 디스플레이에 나타난 요소들(elements)과 직관적으로 상호작용할 수 있다.
터치 스크린 기술이 극적으로 발전해왔지만, 터치 스크린에 입력될 가능성이 있는 다양한 커맨드는 터치 스크린이 현재의 기술을 이용하여 구별할 수 있는 커맨드보다 매우 많다. 예를 들어, 전자 디바이스는 디스플레이된 요소의 일부를 스크롤(scroll)시키거나 패닝(pan)시키도록 명령하는 입력을 수신할 수 있다. 스크롤은 디스플레이 스크린에 표시한 요소를 통상 수평 또는 수직 방향으로 이동시키는 것이다. 예를 들어, 연락처의 리스트가 휴대 전화의 디스플레이 스크린 상에서 상단으로터 하단으로 스크롤되어서, 일부 연락처는 디스플레이 스크린의 하부로부터 이동하여 사라지고 반면 다른 연락처는 디스플레이 스크린의 상부로 이동하여 나타날 수 있다. 패닝은 디스플레이 스크린에 도시한 맵(또는 지도) 중 일부의 이동이다. 패닝은 맵에 나타난 형상의 배치(arrangement of features)를 변화시키지 않지만, 그 맵의 보다 확대된 이미지에 나타나는 것에 걸쳐 사용자의 시야를 이동시킨다.
많은 터치 스크린에 있어서, 사용자는 상기 디스플레이에 걸쳐 손가락을 끌어서 그래픽 디스플레이에게 스크롤 또는 패닝할 것을 명령할 수 있다. 이에 응답하여, 그래픽 디스플레이는 동일한 방향으로 스크롤 또는 패닝한다. 사용자가 이러한 상호작용을 직관적으로 이해하기 용이하더라도, 모든 손가락 끌기를 스크롤 또는 패닝 커맨드로 해석하는 터치 스크린은 스크롤 또는 패닝 커맨드와 유사할 수 있는 다른 커맨드를 정확히 해석할 수 없다.
따라서 터치 스크린 시스템이 사용자 상호작용을 입력 커맨드의 상대적으로 큰 배열로 번역하도록 하는 시스템 및 기법이 설명된다. 일 양태로서, 방법은 터치 스크린 시스템이 터치 스크린 그래픽 디스플레이와의 정적인 접촉을 식별하는 단계; 상기 터치 스크린 시스템이 상기 정적인 접촉의 식별에 응답하여 타이머를 시작시키는 단계; 상기 터치 스크린 시스템이 상기 터치 스크린 그래픽 디스플레이와의 제2 사용자 상호작용이 적시인지를 상기 타이머를 사용하여 결정하는 단계; 및 적시인 상기 제2 사용자 상호작용에 응답하여, 상기 터치 스크린 시스템이 상기 제2 사용자 상호작용을 글리프로 해석하는 단계를 포함한다.
본 양태 및 다른 양태는 후술하는 특징 중 하나 이상을 포함할 수 있다. 상기 터치 스크린 시스템이 비적시인 상기 제2 사용자 상호작용에 응답하여, 상기 정적인 접촉을 줌인 커맨드로 해석할 수 있다. 이 방법은 비적시인 상기 제2 사용자 상호작용에 응답하여, 상기 터치 스크린 시스템이 상기 정적인 접촉을, 상기 정적인 접촉에 의해 접촉된 엔트리에 관한 추가적인 상세사항(details)을 가리키는 커맨드로 해석하는 단계를 또한 포함할 수 있다. 상기 제2 사용자 상호작용을 글리프로 해석하는 단계는 영수문자의 식별에 맞춰진 규칙의 집합 하에서 상기 제2 사용자 상호작용을 해석하는 단계를 포함할 수 있다.
상기 정적인 접촉을 식별하는 단계는 상기 정적인 접촉이 상기 터치 스크린 그래픽 디스플레이의 에지와 접촉하고 있는지를 결정하는 단계를 포함할 수 있다. 상기 제2 사용자 상호작용을 글리프로 해석하는 단계는, 스크롤 또는 패닝 커맨드로서의 손가락 끌기 상호작용을 디스에이블하는 단계를 포함할 수 있다. 본 방법은 상기 터치 스크린 시스템이, 상기 정적인 접촉의 식별에 응답하여, 상기 터치 스크린 그래픽 디스플레이를 피닝(pinning)하는 단계를 또한 포함할 수 있다. 본 방법은 상기 터치 스크린 시스템이 적시인 상기 제2 사용자 상호작용에 응답하여, 새로운 번역 모드로 변경하는 단계를 또한 포함할 수 있다. 상기 새로운 번역 모드는, 상기 터치 스크린 그래픽 디스플레이에 걸친 다수의 손가락 끌기를 포함하는 사용자 상호작용을 글리프로 해석하도록 맞추어진 글리프 번역 모드를 포함할 수 있다.
다른 양태에 있어서, 터치 스크린 시스템은 터치 스크린 그래픽 디스플레이; 상기 그래픽 디스플레이와의 변경자 상호작용을 식별하고, 상기 변경자 상호작용의 식별에 응답하여, 상기 그래픽 디스플레이와의 다른 상호작용의 해석을 변경하도록 구성되는 커맨드 해석기; 및 하나 이상의 영구 데이터 저장 디바이스를 포함한다. 상기 하나 이상의 영구 데이터 저장 디바이스는 상기 그래픽 디스플레이와의 사용자 상호작용을 해석하는 제1 세트의 규칙 및 상기 그래픽 디스플레이와의 사용자 상호작용을 해석하는 제2 세트의 규칙을 저장한다. 상기 제1 세트의 규칙은 맵 또는 정보 컬렉션의 적절한 부분집합에 걸친 움직임을 스크롤 또는 패닝 커맨드로 해석한다. 상기 제2 세트의 규칙은 상기 움직임을 글리프로 해석한다. 상기 커맨드 해석기는 상기 제1 세트의 규칙 하의 해석과 상기 제2 세트의 규칙 하의 해석 사이를 전환함으로써, 다른 상호작용의 해석을 변경하도록 구성된다.
본 양태 및 다른 양태는 후술하는 특징 중 하나 이상을 포함할 수 있다. 터치 스크린 시스템은 상기 하나 이상의 영구 데이터 저장 디바이스에 저장된 맵 정보의 컬렉션을 또한 포함할 수 있다. 터치 스크린 시스템은 상기 터치 스크린 그래픽 디스플레이를 탑재한 휴대용 하우징을 또한 포함할 수 있다. 상기 커맨드 해석기는 상기 터치 스크린 그래픽 디스플레이의 측면에 대한 접촉을 변경자 상호작용으로 식별하도록 구성될 수 있다. 상기 커맨드 해석기는 적시의 제2 접촉이 뒤따르는 정적인 접촉을 변경자 상호작용으로 식별하도록 구성될 수 있다. 상기 제2 세트의 규칙은 상기 움직임을 커스텀 글리프로 해석하는 규칙을 포함할 수 있다. 상기 커맨드 해석기는 피닝 커맨드를 식별하도록 구성될 수 있고, 상기 피닝 커맨드는 터치 스크린 시스템이 손가락 끌기를 스크롤 커맨드 또는 패닝 커맨드로 해석하는 것을 금지한다. 상기 터치 스크린 시스템은 클록을 더 포함할 수 있다. 상기 커맨드 해석기는 상기 클록에 의존하는 타이머를, 상기 그래픽 디스플레이와의 정적인 접촉의 식별에 응답하여 시작시키도록 구성될 수 있다.
상기 커맨드 해석기는 상기 타이머가 임계 기간에 도달하기 전에 수신되는 제2 사용자 상호작용에 응답하여 변경자 상호작용을 식별하도록 구성될 수 있다. 상기 임계 기간은 1초의 15% 이내일 수 있다. 상기 커맨드 해석기는 상기 타이머가 임계 기간에 도달하기 전에 제2 사용자 상호작용의 수신을 실패하는 것에 응답하여, 상기 정적인 접촉을 줌인 커맨드로 해석하도록 구성될 수 있다. 상기 커맨드 해석기는 상기 타이머가 임계 기간에 도달하기 전에 제2 사용자 상호작용의 수신을 실패하는 것에 응답하여, 상기 정적인 접촉을, 그 정적인 접촉에 의해 접촉된 엔트리에 관한 추가적인 상세사항을 가리키는 커맨드로서 해석하도록 구성될 수 있다.
다른 양태에서, 터치 스크린 시스템은 터치 스크린 그래픽 디스플레이; 상기 터치 스크린 그래픽 디스플레이와의 동일한 사용자 상호작용을 2개의 다른 입력 커맨드로 번역하는 수단; 및 상기 번역 수단이 액세스할 수 있는 규칙을 저장하는 하나 이상의 영구 데이터 저장 디바이스를 포함한다.
본 양태 및 다른 양태는 후술하는 특징 중 하나 이상을 포함할 수 있다. 상기 번역 수단은 클록; 및 상기 클록에 의존하고, 상기 터치 스크린 그래픽 디스플레이와의 정적인 접촉의 식별에 응답하여 시작하도록 구성된 타이머를 포함할 수 있다.
하나 이상의 실시예에 대한 상세 내용은 첨부 도면 및 아래의 상세한 설명에 개시된다. 다른 특징 및 장점은 상세한 설명, 도면 및 청구항으로부터 명백해진다.
본 발명은 손가락 끌기를 스크롤 또는 패닝 커맨드 뿐만 아니라, 소정의 규칙에 따라서 다른 커맨드로도 정확히 해석할 수 있는 터치 스크린 시스템을 제공한다.
도 1은 터치 스크린 시스템의 개략도이다.
도2 내지 도 9는 터치 스크린 시스템과의 사용자 상호작용을 개략적으로 나타내는 도면이다.
도 10 내지 도 12는 사용자 상호작용을 입력 커맨드로 번역하기 위하여 터치 스크린 시스템이 수행할 수 있는 프로세스의 흐름도이다.
도 13은 설명된 기술과 함께 사용될 수 있는 일반적인 디바이스를 예시한다.
여러 도면에 걸쳐 유사한 참조 번호나 기호는 유사한 요소를 가리킨다.
도 1은 터치 스크린 시스템(100)의 구성도이다. 터치 스크린 시스템(100)은 터치 스크린 그래픽 디스플레이(110)가 이동가능하도록 탑재된 하우징(105)을 포함한다. 터치 스크린 그래픽 디스플레이(110)는 입력 키들(110)의 컬렉션을 노출하기 위해 이동가능하다. 하우징(105)은 터치 스크린 그래픽 디스플레이(110) 상에 다른 커맨드 입력을 구별하는 기능을 포함한, 터치 스크린 시스템(100)을 동작하는데 필요한 기능을 제공하도록 협동한다. 터치 스크린 시스템(100)은 예컨대, 컴퓨터, 전화기, 음악 플레이어, PDA 등일 수 있다. 일부 구현에 있어서, 터치 스크린 시스템(100)은 도시된 것처럼 모바일, 휴대형 디바이스일 수 있다.
전자적 구성요소 컬렉션(120)은 디스플레이 관리자(125), 그려진 사용자 입력 제어기(130), 입력 관리자(135), 및 클록(155)을 포함한다. 디스플레이 관리자(125), 그려진 사용자 입력 제어기(130), 및 입력 관리자(135)는 디지털 전자 회로를 이용하거나, 컴퓨터 소프트웨어, 펌웨어 또는 하드웨어 내에서 구현될 수 있다. 클록(155)은 디지털 관리자(125), 그려진 사용자 입력 제어기(130), 및 입력 관리자(135) 중 하나 이상의 일체된 부분이거나, 클록(155)은 도시된 것처럼 분리된 구성요소일 수 있다.
디스플레이 관리자(125)는 터치 스크린 그래픽 디스플레이(110)상에 표시하기 위한 컨텐츠를 만들도록 구성되는 디바이스이다. 디스플레이 관리자(125)는 다수의 소스들로부터 그래픽-관련 컨텐츠를 수신할 수 있고, 어떻게 컨텐츠가 사용자에게 제공될지를 결정할 수 있다. 예를 들어, 다양한 애플리케이션들(140)을 위해 다른 창들이 디스플레이될 필요가 있고, 디스플레이 관리자(125)는 디스플레이할 것, 숨길 것, 및 다양한 그래픽 객체들 사이에서 오버랩될 때 디스플레이 또는 숨길 것을 결정할 수 있다. 디스플레이 관리자(125)는 다수의 애플리케이션들에 걸쳐 공유되고, 예컨대 운영 시스템에 의해 공급될 수 있는, 디스플레이된 구성요소들과 상호작용하기 위한 특정 기능을 제공하기 위해 다양한 구성요소들을 포함할 수 있다.
그려진 사용자 입력 제어기(130)는 터치 스크린 그래픽 디스플레이(110)와의 사용자 상호작용을 커맨드들로 전환하기 위해 구성되는 디바이스이다. 그러므로 그려진 사용자 입력 제어기(130)는 터치 스크린 그래픽 디스플레이(110) 상의 다른 커맨드 입력 사이에서 구별할 수 있다. 다른 커맨드들 사이에서 구별하는 데 있어서, 그려짐 사용자 입력 제어기(130)는 커맨드 해석기(145)를 참조할 수 있다. 커맨드 해석기(145)는 커맨드들로서 터치 스크린 그래픽 디스플레이(110)와의 사용자 상호작용을 해석하기 위한 규칙들(150)의 세트들을 구현한다. 일부 구현에 있어서, 규칙 세트들(150)은 사용자 상호작용을 커맨드들로 전환하기 위해 디폴트(default) 및 사용자-특정 규칙들 둘 다 포함할 수 있고, 데이터 저장 디바이스 내에 저장될 수 있다.
입력 관리자(135)는 컬렉션(120)에서 다른 구성요소들에 의해 해석될 수 있는 제어 신호들을 이용하여, 터치 스크린 시스템(100)?그래픽 디스플레이(110)를 포함하는?의 다양한 입력 요소들과의 사용자 상호작용에 의해 탑재된 커맨드들을 구현하도록 구성되는 디바이스이다. 예를 들어, 그러한 커맨드들은 전용 버튼들 또는 소프트 버튼들(예컨대, 기능이 시간에 따라 변할 수 있고, 기능들이 특정 버튼들에 인접한 그래픽 디스플레이(110)의 영역 상에 디스플레이될 수 있는 버튼들)을 포함한, 입력 키들(115), 터치 스크린 그래픽 디스플레이(110), 트랙볼(trackball) 또는 다른 그러한 소스들로부터 올 수 있다. 입력 관리자(135)는 예를 들어 디스플레이 커맨드들의 어떤 영역에 수신되는지, 및 따라서 디스플레이 상에 도시된 어떤 애플리케이션에 커맨드들이 의도되었는지를 결정할 수 있다.
일부 구현에 있어서, 입력 관리자(135)는 그래픽 디스플레이(110) 상의 입력 동작들을 일반 포맷으로 번역할 수 있고, 그러한 해석된 동작들(예컨대, 짧게 누르기, 길게 누르기, 가볍게 치기(flicks) 및 직선 드래그)을 적절한 애플리케이션에 전달할 수 있다. 또한 입력 관리자(135)는 그러한 입력들을 이벤트 관리자(도시되지 않음)에 보고하고, 이벤트 관리자는 그것들을 적절한 모듈들 또는 애플리케이션들에 보고할 수 있다.
일부 구현에 있어서, 입력 관리자(135)는 컬렉션(120)에 있는 다른 구성요소들에 의해 해석될 수 있는 제어 신호들을 이용하여 터치 스크린 그래픽 디스플레이(110)와의 사용자 상호작용의 해석들을 구현하기 위한 하나 이상의 맵을 포함할 수 있다. 일부 구현에 있어서, 다른 맵들은 다른 애플리케이션들(140)에 특정된다. 이러한 방식으로, 제어기(417)는 입력 요소들과 애플리케이션들(140) 사이에서 중개자로서 기능할 수 있다.
다양한 애플리케이션들(140)은 일반적으로 터치 스크린 시스템(100) 상에서 일반적인 마이크로프로세서에서 동작할 수 있다. 애플리케이션(140)은 매핑 애플리케이션들, 이메일 및 다른 메시징 애플리케이션들, 웹 브라우저 애플리케이션들, 음악 및 비디오 플레이어, 및 웹 브라우저 내에서 구동하거나 웹 브라우저의 연장선상에서 구동하는 다양한 애플리케이션들과 같은 다양한 형태들을 취할 수 있다. 애플리케이션들(140)은 문자 숫자 명칭을 가진 기록들 또는 다른 구성요소들에 저장된 애플리케이션들을 포함할 수 있다.
일부 구현에 있어서, 전자적 구성요소 컬렉션(120)은 무선 인터페이스도 포함한다. 무선 인터페이스는 음성 통신도 운반하는 데이터 네트워크일 수 있는 무선 네트워크와의 통신을 관리하도록 구성된 디바이스이다. 무선 인터페이스는 텍스트 메시징, 이메일 및 전화 음성 메일 메시징과 같은 메시징 서비스들을, 터치 스크린 시스템(100)에 의한 통신을 위해 제공할 수 있다. 게다가 무선 인터페이스는 무선 네트워크를 통해 컨텐츠 및 컴퓨터 코드의 다운로드 및 업로드를 지원할 수 있다.
다양한 형태의 영속적인 데이터 저장소는 예컨대, 고정 디스크 드라이브 및/또는 고체 상태 메모리 디바이스들을 이용하는 터치 스크린 시스템(100)에 제공될 수 있다. 예를 들어, 목록들, 맵들 등. 저장소(160)는 터치 스크린 시스템(100)에 저장되고, 터치 스크린 시스템(100)에 의해 표시될 수 있는 개체들에 대한 다양한 정의들을 저장할 수 있다. 그러한 객체들은 노래, 텔레비전 쇼, 뉴스, 영화 또는 디바이스상의 다른 미디어들의 목록들과 같이, 다른 객체들의 목록들을 포함한다. 또한 그 목록들은, 터치 스크린 시스템(100)이 수 많은 파일들을 저장하는 파일 명칭들의 목록들을 포함할 수 있다. 또한, 맵과 같은 다른 객체들이 저장될 수 있고(예컨대, 원격 서버로부터 프리-펫치(pre-fetched)될 수 있는 그래픽 맵 타일들로서), 맵들에 있는 관심 및 비지니스 포인트의 명칭들과 함께 맵에 있는 동네들 및 거리들의 명칭과 같이, 맵들에 관한 메타 데이터가 저장될 수 있다.
일부 구현들에 있어서, 또한 저장소(160)는 사용자를 위한 프로필 정보를 저장할 수 있다. 프로필 정보는 터치 스크린 시스템(100)의 사용자에 관한 다양한 파라미터(parameter)들을 포함한다. 예를 들어, 프로필 정보는 그 커맨드들의 입력과 연관될 수 있는 객체들 또는 동작들과 함께, 사용자가 입력한 다양한 맞춤 커맨드들을 정의하는 데이터를 포함할 수 있다. 프로필 정보는 하나 이상의 XML 파일들 또는 Sqlite 파일들과 같은 다양한 형태로 저장될 수 있다.
그려진 구성요소들 및 명료화를 위해 여기서 생략된 다른 구성요소들을 이용하여, 터치 스크린 시스템(100)은 그래픽 디스플레이(110)와 다른 커맨드 입력을 구별할 수 있다.
도 2-4는 터치 스크린 시스템(100; 도 1)과 같은 터치 스크린 시스템과의 사용자 상호작용의 개략적 표시이다. 도 2에서, 터치 스크린 시스템은 볼 사용자를 위한 정보 집합의 적절한 하위 집합(210)을 디스플레이하는 터치 스크린 그래픽 디스플레이(200)를 포함한다. 특히, 엔트리(entry)들의 집합(215, 220, 225, 230, 235, 240, 256)은 그래픽 디스플레이(200)에 있는 창을 스팬(span)하는 정렬된 수직 목록으로 디스플레이된다. 각각의 엔트리(215, 220, 225, 230, 235, 240, 245)는 분리된 실체(entity)를 식별한다. 식별된 엔티티들은 예컨대, 전자 주소의 연락처 또는 전화번호부, 전자 미디어 컬렉션의 노래 또는 영화, 메일 박스의 이메일 등일 수 있다.
터치 스크린 시스템은 규칙 세트에 따라 그래픽 디스플레이(200)와의 사용자 상호작용을 해석할 것이다. 일반적으로, 이러한 규칙들은 사용자가 정보의 집합을 통해 탐색할 수 있도록 만들어진다. 도 3을 참조하면, 터치 스크린 시스템은 그래픽 디스플레이(200)상에서 일반적으로 아래쪽 방향의 손가락(305) 드래깅(즉, 끌기)을 스크롤 다운 커맨드로 번역한다. 손가락(305)의 이러한 움직임은 일반적으로 그래픽 디스플레이(200)상에 실제로 디스플레이되지 않는 화살표(310)로 나타내어진다. 스크롤 다운 커맨드에 대한 응답으로, 엔트리들(235, 240, 245)그래픽 디스플레이(200)에서 창의 바닥으로 이동하고, 새로운 엔트리들(315, 320, 325)이 그래픽 디스플레이(200)에서 창의 최상위에 입력되도록 나타난다. 따라서, 식별 정보의 집합 중 다른 적절한 하위 집합(330)이 사용자가 볼 수 있도록 디스플레이된다.
손가락(305) 드래깅에 대한 이러한 응답은 정보의 컬렉션을 통한 스크롤링에 효율적이고, 사용자가 직관적으로 이해하기 쉽다. 그러나 이러한 방식으로 손가락(305)의 드래깅을 번역하는 것은, 잠재적으로 그래픽 디스플레이(200)를 통한 입력이 될 수 있는 다양한 커낸드들을 제한한다. 도 4는 이러한 방식으로 손가락(305)의 드래깅을 번역하는 것이 입력가능한 커맨드들의 다양성을 제한하는 예시적인 경우를 도시한다. 특히, 사용자는 일반적으로 L-형 패턴으로 그래픽 디스플레이(200)에서 손가락(305)을 드래깅하고 있다. 손가라(305)의 이러한 움직임은 일반적으로 그래픽 디스플레이(200)에서 실제도 디스플레이되지 않는 L-형 화살표(405)로 표시된다.
터치 스크린 시스템은 스크롤 다운 커맨드를 포함하는 이러한 L-형 패턴을 해석할 수 있다. 특히, L-형 패턴의 첫번째 부분에서 손가락의 아래쪽 스트로크(stroke)는 아래쪽 스크롤 커맨드로 잘못 생각될 수 있다. L-형 패턴의 두번째 부분에서 손가락의 측면 스트로크는 무시되거나, 아래쪽 스크롤 커맨드의 독립한 커맨드로서 생각될 수 있다. 그러므로, 터치 스크린 시스템은 아래쪽 스크롤 커맨드 및 L-형 패턴에 의해 구현된 두번째 커맨드 사이에서 구별이 불가능할 수 있다. 이는 그래픽 디스플레이(200)상에서 입력이 될 수 있는 커맨드들의 수를 제한한다.
또한 그러한 어려움들은 맵들을 디스플레이하는 터치 스크린 그래픽 디스플레이들과의 사용자 상호작용 동안 나타난다. 도 5-7은 터치 스크린 시스템(100; 도 1)과 같은 터치 스크린 시스템과의 사용자 상호작용의 개략적인 표시들이다. 도 5에서, 터치 스크린 시스템은, 맵의 섹션(505)을 디스플레이하는 터치 스크린 그래픽 디스플레이(500)를 포함한다. 섹션(505)에서, 화살표 표시는 그래픽 디스플레이(500)의 상측 왼쪽 모서리에 있는 미니에폴리스 도시(city Minneapolis)를 나타낸다. 터치 스크린 시스템은 그래픽 디스플레이(200)의 사용자 상호작용을 규칙 세트에 따라 입력 커맨드들로 번역할 것이다. 통상적으로, 이러한 규칙들은 사용자가 맵 디스플레이를 변경할 수 있도록 만들어진다. 도 6을 참조하면, 터치 스크린 시스템은 그래픽 디스플레이(500)에서 일반적으로 아래쪽 방향으로 손가락(305)를 드래깅하는 것을 팬 다운(pan down) 커맨드로서 해석한다. 손가락(305)의 이러한 움직임은 일반적으로 그래픽 디스플레이(500)상에 실제로 디스플레이 되지 않는 화살표(605)로 표시된다. 팬 다운 커맨드에 대한 응답으로, 맵의 바닥 부분이 그래픽 디스플레이(500)에서 창의 바닥으로 이동하고, 반면에 맵의 새로운 부분이 그래픽 디스플레이(500)에서 창의 상단에 입력되도록 나타난다. 미니에폴리스 도시를 가리키는 화살표 표시는 사용자가 볼 수 있도록 디스플레이되는 맵의 아래쪽 다른 섹션(610)으로 이동한다.
도 7에 참조하는 바와 같이, 터치 스크린 시스템은 또한 팬 측방향(pan sideways) 커맨드로서 그래픽 디스플레이(500)를 측방향으로 가로지르는 손가락(305)의 드래깅을 해석한다. 이러한 손가락(305)의 움직임은 화살표(605)의 아래로, 측방향으로 향하는 부분에 의해 표시된다. 상기 팬 옆방향 커맨드에 응답하여, 맵의 가장 오른쪽 부분이 그래픽 디스플레이(500)에서 윈도우의 오른쪽으로 움직이도록 나타나고, 맵의 새로운 부분이 그래픽 디스플레이(500)에서 윈도우의 왼쪽에 입력하도록 나타난다. 도시 미니애폴리스(Minneapolis)를 식별하는 화살표 표시(indicium)는 그래픽 디스플레이(500)에서 오른쪽으로 이동하고, 맵의 다른 섹션(section, 705)이 사용자가 볼 수 있도록 표시된다.
한 쌍의 패닝(panning) 커맨드로서 이러한 L형 패턴을 해석하는 것이 종종 적절할 수 있음에도 불구하고, 상기와 같은 해석은 그래픽 디스플레이(500)를 통해 입력될 수 있는 커맨드의 개수를 제한한다.
도 8은 그래픽 디스플레이를 통해 추가적인 개수의 커맨드가 입력될 수 있는 터치 스크린 시스템(100)(도 1)과 같은 터치 스크린 시스템과 사용자 상호작용을 도식적으로 나타낸다. 특히, 사용자가 그래픽 디스플레이(200)를 가로지르는 일반적인 아래(downward) 방향으로 손가락(305)을 드래깅하는 동안, 사용자는 그래픽 디스플레이(200)의 측면에 엄지 손가락(805)를 배치한다. 터치 스크린 시스템은 손가락(305)의 이러한 드래깅을 스크롤 다운 커맨드로서 해석하지 않는다. 대신, 터치 스크린 시스템은 엄지손가락(805)의 배치 및 손가락(305)의 드래깅의 조합을 새로운 커맨드 전체(altogether)로, 예를 들어, 상형문자(glyph) 커맨드의 입력으로서, 번역한다.
도 9는 그래픽 디스플레이를 통해 추가적인 개수의 커맨드가 입력될 수 있는 터치 스크린 시스템(100)(도 1)과 같은 터치 스크린 시스템과 사용자 상호작용을 도식적으로 나타낸다. 특히, 사용자가 그래픽 디스플레이(500)를 가로지르는 일반적인 L자 패턴으로 손가락(305)을 드래깅하는 동안, 사용자는 그래픽 디스플레이(500)의 측면에 엄지 손가락(805)를 배치한다. 이러한 조합에서, 터치 스크린 시스템은 손가락(305)의 이러한 움직임을 한 쌍의 패닝 커맨드로서 해석하지 않는다. 대신, 터치 스크린 시스템은 엄지손가락(805)의 배치 및 손가락(305)의 드래깅의 조합을 새로운 커맨드 전체로, 예를 들어, 상형문자 커맨드의 입력으로서, 번역한다.
그래픽 디스플레이(200, 500)의 측면에서 엄지 손가락(805)의 배치는 그래픽 디스플레이(200, 500)를 피닝(pin)하는 "피닝(pinning)" 입력이고, 터치 스크린 시스템이 또 다른 사용자 상호작용을 스크롤링(scrolling) 또는 피닝 커맨드로서 해석하는 것을 방지한다. 따라서, 엄지 손가락(805)에 의한 피닝 입력은 손가락(305)의 움직임의 번역을 변경한다. 예를 들어, 그래픽 디스플레이(200, 500)에서 엄지 손가락(805)의 부재(absence)에서, 이러한 터치 스크린 시스템은 제1 규칙(150) 세트(도 1)에 따라 손가락(305)의 움직임을 해석할 수 있다. 그래픽 디스플레이(200, 500)에서 엄지 손가락(805)이 배치된 경우, 이러한 터치 스크린 시스템은 제2 규칙(150) 세트(도 1)에 따라 손가락(305)의 움직임을 해석할 수 있다. 복수의 구현예에서, 피닝되는(pinned) 동안 그래픽 디스플레이(500)의 표시는 완전히 고정될 수 있다.
복수의 구현예에서, 엄지 손가락(805)에 의해 "상형문자"로서 피닝되는 동안, 터치 스크린 시스템은 손가락(305)의 움직임을 해석하도록 구현된다. 상형문자는 사용자가 터치 스크린에 손가락을 드래깅하는 것과 같이, 그들의 손가락을 들어올리지 않고 하나로 그려진 모션(motion)에서 일반적으로 입력할 수 있는 시각적 쓰기 요소이다. 상형문자는 알파벳 문자 및 또 다른 심볼(symbols)을 포함할 수 있다.
상형문자는 수많은 다른 방법으로 터치 스크린 시스템에 의해 해석될 수 있다. 예를 들어, 상형문자는 상형문자를 시작하거나, 아니면 상형문자와 연관되는 정보의 콜렉션(collection)의 적절한 서브세트(subset)를 표시하기 위한 커맨드로 해석될 수 있다. 일실시예로서, 재생목록에서 음악의 목록과 같은 아이템의 긴 목록을 찾고 있는 사용자는 디스플레이에서 알파벳 철자를 드로잉(draw)할 수 있다. 이에 응답하여, 터치 스크린 시스템은 상기 철자로 시작하는 엔트리(entries)들을 표시할 수 있다.
또 다른 실시예에서, 상형문자는 맵의 어떤 부분을 표시하기 위한 커맨드로 해석될 수 있다. 일실시예로서, 맵의 부분을 보고 있는 사용자는 그들의 디바이스의 스크린에 철자를 그릴 수 있다. 이에 응답하여, 터치 스크린 시스템은 상기 철자로 시작하는 가장 가까운 도시를 포함하는 맵의 섹션을 표시할 수 있다.
사용자는 또한 컴퓨터 시스템에서 하나 이상의 상형문자를 특정 커맨드 또는 오브젝트(object)로 할당하도록 허가될 수 있다. 예를 들어, 사용자는 친구에 대한 연락 엔트리를 열 수 있고, 상형문자를 입력하기 위한 제어를 선택할 수 있다. 다음, 사용자는 친구의 연락 기록으로 할당된 상형문자를 갖기 위해 그 또는 그녀가 선호하는 소정의 상형문자(예를 들어, 친구의 별명의 첫 철자 또는 간단한 형상)를 그릴 수 있다. 만약 사용자가 터치 스크린 시스템을 이용하는 동안 차후에 동일한 상형문자를 입력하는 경우, 터치 스크린 시스템은 상기 상형문자를 상기 연락 엔트리를 표시하기 위한 커맨드로서 해석할 수 있다. 또한 복수의 상형문자가 동일한 오브젝트에 할당될 수 있으므로, 사용자는 오브젝트와 같은 것을 얻는 복수의 방법을 갖는다.
단일 상형문자는 복수의 오브젝트에 할당될 수도 있다. 이러한 경우, 사용자로부터 상형문자의 입력(receipt)에 따라, 터치 스크린 시스템은 상형문자를, 복수의 오브젝트를 나열하는 팝업(pop up) 제어를 표시하기 위한 커맨드로서 해석할 수 있다. 대안적으로, 상형문자가 입력된 컨텍스트(context)에 기초하여 시스템에 의해 적절한 오브젝트가 자동적으로 선택될 수 있다. 예를 들어, 주소록 어플리케이션이 실행된 경우 상형문자가 입력된다면, 터치 스크린 시스템은 상기 상형문자를 상형문자에 따른 음악 재생목록보다는 상형문자에 따른 연락 엔트리로 점프(jump)하기 위한 커맨드로서 해석할 수 있다. 컨텍스트가 복수의 오브젝트를 참조할 수 있는 경우(예를 들어, 상형문자가 데스크탑(desktop)에서 입력되는 경우), 오브젝트는 선택될 가능성이 높은 오브젝트(예를 들어, 디바이스의 사용자에 의해 자주 접근되었기 때문에 또는 오브젝트의 또 다른 유형보다 일반적으로 더 많이 접근된 오브젝트의 유형이기 때문에)에 따라 우선순위가 정해질 수 있다.
도 10은 사용자 상호작용을 입력 커맨드로 번역하는 터치 스크린 시스템에 의해 수행될 수 있는 프로세스(1000)를 나타내는 흐름도이다. 프로세스(1000)는 기기-판독가능한 인스트럭션(instructions)의 하나 이상의 세트를 실행하는 것에 의해 오퍼레이션(operations)을 수행하는 하나 이상의 디지털 데이터 프로세싱 디바이스에 의해 수행될 수 있다. 예를 들어, 프로세스(1000)는 터치 스크린 시스템(100)에서 커맨드 해석기(145)에 의해 수행될 수 있다(도 1). 프로세스(1000)는 별개로, 또는 또 다른 디지털 데이터 프로세싱 오퍼레이션들과 함께 수행될 수 있다.
시스템 수행 프로세스(1000)는 상자(1005)에서 터치 스크린 시스템의 그래픽 디스플레이와의 제1 사용자 상호작용을 수신할 수 있다. 다음 시스템은 결정(1010)에서 제1 사용자 상호작용이 변경자 상호작용인지를 결정한다. 변경자 상호작용은 그래픽 디스플레이와의 또 다른 상호작용의 해석을 변경하는, 예를 들어 제1 및 제2 상호작용이 동시에 일어날 때, 터치 스크린 그래픽 디스플레이와의 사용자 상호작용이다. 도 2 내지 8의 컨텍스트에서, 그래픽 디스플레이(200, 500)의 측면에서 엄지 손가락(805)의 위치는, 이것이 그래픽 디스플레이(200, 500)를 가로지르는 손가락(305) 드래깅의 해석을 변경한다는 점에서, 변경자 상호작용이다.
변경자 상호작용은 그래픽 디스플레이와의 사용자 상호작용의 특징에 기초하여 식별될 수 있다. 예를 들어, 도 2 내지 8의 컨텍스트에서, 그래픽 디스플레이(200, 500)의 측면에서 엄지 손가락(805)의 위치는, 그래픽 디스플레이(200, 500)의 측면과 관련 있는, 또는 심지어 접촉하는 엄지 손가락(805)의 위치에 따라 식별될 수 있다. 엄지 손가락(805) 움직임의 부족(lack)은 변경자 상호작용을 식별하기 위해 이용될 수도 있다. 추가적으로, 하기에서 설명하는 바와 같이, 엄지 손가락(805)의 위치 및 손가락(305)의 드래깅 사이의 시간 지연의 크기는 변경자 상호작용을 식별하기 위해 이용될 수 있다.
제1 사용자 상호작용이 변경자 상호작용이 아니라는 결정에 대응하여, 박스 (1015)에서 시스템 수행 프로세스(1000)는 제1 해석 규칙 세트 하에서 제1 사용자 상호작용을 해석한다. 키보드에서 철자가 해석되고, 초기값으로, 쉬프트(shift) 키가 입력되지 않는 경우 소문자인 것과 매우 동일한 방법으로, 제1 해석 규칙 세트는 초기 규칙 세트일 수 있다.
제1 사용자 상호작용이 진정 변경자 상호작용이라는 결정에 대응하여, 박스 (1020)에서 시스템 수행 프로세스(1000)는 제2 사용자 상호작용을 수신하고, 박스 (1025)에서 제2 해석 규칙 세트 하에서 상기 제2 사용자 상호작용을 해석한다. 복수의 구현예에서, 제2 해석 규칙 세트는 스크롤링 또는 패닝 커맨드를 불활성화할 수 있다. 예를 들어, 도 2 내지 8의 컨텍스트에서, 제2 사용자 상호작용이 발생하는 시점에서 맵 또는 정보의 컬렉션의 서브세트의 표시에도 불구하고 상형문자로서 해석되도록, 제2 해석 규칙 세트는 그래픽 디스플레이(200, 500)와의 제2 사용자 상호작용을 허용할 수 있다. 복수의 구현예에서, 제2 해석 규칙 세트는 하기에서 설명되는 바와 같이, 상형문자 규칙 세트일 수 있다.
도 11은 사용자 상호작용을 입력 커맨드로 번역하는 터치 스크린 시스템에 의해 수행될 수 있는 프로세스(1100)의 흐름도이다. 프로세스(1100)는 기기-판독가능한 인스트럭션의 하나 이상의 세트를 실행하는 것에 의해 오퍼레이션을 수행하는 하나 이상의 디지털 데이터 프로세싱 디바이스에 의해 수행될 수 있다. 예를 들어, 프로세스(1100)는 터치 스크린 시스템(100)에서 커맨드 해석기(145)에 의해 수행될 수 있다(도 1). 프로세스(1100)는 별개로, 또는 또 다른 디지털 데이터 프로세싱 오퍼레이션들과 함께 수행될 수 있다.
시스템 수행 프로세스(1100)는 상자(1105)에서 터치 스크린 시스템의 그래픽 디스플레이와의 제1 사용자 상호작용을 수신할 수 있다. 다음, 시스템은 박스(1110)에서 제1 사용자 상호작용을 피닝 커맨드로서 식별한다. 맵 또는 정보의 컬렉션의 서브세트가 표시되는 경우에도 불구하고, 피닝 커맨드는 터치 스크린이 손가락 드래깅을 스크롤 또는 팬 커맨드로서 해석할 수 없도록 하는 커맨드이다. 예를 들어, 도 2 내지 8의 컨텍스트에서, 그래픽 디스플레이(200, 500)의 측면에서 엄지 손가락(805)의 위치는, 터치 스크린 시스템이 손가락(305)의 드래깅을 스크롤링 또는 패닝 커맨드로서 해석하지 않는다는 점에서, 피닝 커맨드이다. 복수의 구현예에서, 하기에서 설명되는 바와 같이, 한 쌍의 상호작용 사이에 시간 지연의 크기는 피닝 커맨드를 식별하는데 이용될 수 있다.
시스템 수행 프로세스(1100)은 박스(1115)에서 피닝 커맨드에 응답하여 새로운 번역 모드(mode)로 변경할 수 있다. 번역 모드는 그래픽 디스플레이와의 사용자 상호작용의 해석을 구체화하는 터치 스크린 시스템의 상태이다. 예를 들어, 터치 스크린 시스템은 제1 모드에서 사용자 상호작용을 제1 커맨드로서 해석하지만, 제2 모드에서는 동일한 사용자 상호작용을 제2 커맨드로서 해석한다. 또 다른 표현으로, 사용자 상호작용의 번역은 터치 스크린의 모드에 의존한다. 복수의 구현예에서, 서로 다른 모드는 사용자 상호작용 번역을 위한 서로 다른 규칙 세트와 연관될 수 있다.
복수의 구현예에서, 새로운 번역 모드는 사용자 상호작용을 상형문자로서 해석하도록 맞추어진 모드이다. 예를 들어, 새로운 번역 모드는 그래픽 디스플레이를 가로지르는 서로 다른 방향으로의 복수의 손가락 드래그를 포함하는 사용자 상호작용을 해석할 수 있다. 새로운 번역 모드는 또한 상형문자를 완성하기 위해 그래픽 디스플레이로부터 사용자가 손가락을 일시적으로 제거하는 경우에도, 사용자 상호작용을 해석할 수 있다. 예를 들어, 새로운 번역 모드는 T형 상형문자가 입력되는 동안 사용자가 손가락을 제거하도록 허용할 수 있다.
복수의 구현예에서, 모드 변경은 심지어 연속된 사용자 상호작용의 부재(absence)에서도 지속된다. 예를 들어, 도 2 내지 8의 컨텍스트에서, 터치 스크린 시스템이 그래픽 디스플레이(200, 500)의 측면에서 엄지 손가락(805)의 위치에 응답하는 모드를 변경하는 경우, 사용자는 그래픽 디스플레이(200, 500)로부터 엄지 손가락(805)을 제거할 수 있으나, 그래픽 디스플레이(200, 500)는 피닝된(pinned) 상태를 유지할 것이다. 또 다른 구현예에서, 사용자 상호작용이 모드 변경을 위해 계속되어야 한다는 점에서, 터치 스크린 시스템은 쿼시모드(quasimode)이다. 예를 들어, 도 2 내지 8의 컨텍스트에서, 엄지 손가락(805)은 그래픽 디스플레이(200, 500)를 피닝된 상태로 유지하기 위해 그래픽 디스플레이(200, 500)의 측면에 위치된 상태를 유지하여야 한다.
시스템 수행 프로세스(1100)는 박스(1120)에서 터치 스크린 시스템의 그래픽 디스플레이와의 제2 사용자 상호작용을 수신할 수 있고, 1125에서 새로운 모드에서 제2 사용자 상호작용을 해석할 수 있다. 새로운 모드에서 제2 사용자 상호작용의 해석은 이전 모드에서 제2 사용자 상호작용의 해석과 일반적으로 다를 것이다. 예를 들어, 도 2 내지 8의 컨텍스트에서, 상형문자로서 손가락(305) 드래깅의 해석(즉, 새로운 모드에서)은 스크롤링 또는 패닝 커맨드로서 손가락(305) 드래깅의 해석과는 다르다. 복수의 구현예에서, 새로운 모드에서 제2 사용자 상호작용의 해석은 제2 규칙 세트에 따라 수행될 수 있다.
도 12는 터치 스크린 시스템에 의해 수행될 수 있는, 사용자 상호작용을 입력 커맨드로 번역하는 프로세스(1200)의 순서도이다. 프로세스(1200)는 하나 이상의 기계-판독가능 세트를 실행함으로써 동작들을 수행하는 하나 이상의 디지털 데이터 프로세싱 디바이스에 의해 수행될 수 있다. 예를 들어, 프로세스(1200)는 터치 스크린 시스템(100: 도 1)에 있는 커맨드 해석기(145)에 의해 수행될 수 있다. 프로세스(1200)는 다른 디지털 데이터 프로세싱 동작과 함께 또는 독립적으로 수행될 수 있다. 예를 들어, 프로세스(1200)는 프로세스(1000: 도 10)에 있는 판단 박스(1010)에서 또는 프로세스(1100: 도 11)에 있는 박스(1110)에서 수행될 수 있다.
프로세스(1200)를 수행하는 시스템은 사용자의 신체 일부(appendage)와 터치 스크린 시스템의 그래픽 디스플레이 간의 정적인 접촉을 식별한다(박스 1205). 예를 들어, 시스템은 사용자의 엄지 손가락이 정적으로 그래픽 디스플레이의 한 면상에 있는지를 검출할 수 있다. 일반적으로, 시스템은 완전하게 움직임이 없는 접촉을 요구하지 않을 것이다. 오히려, 시스템은 통상적으로 제안된 범위의 모션이 일어나는 것을 허용할 것이지만, 그럼에도 정적인 접촉으로 고려한다.
정적인 접촉의 식별에 응답하여, 프로세스(1200)를 수행하는 시스템은 타이머를 시작할 수 있다(박스 1210). 따라서 이 타이머는 정적인 접촉이 얼마나 오랬동안 발생하였는지를 측정할 수 있다. 이 타이머는 터치 스크린 시스템(100: 도 1)의 클록(155)과 같은 내부 또는 외부 클록에 의해 제공되는 클록 신호를 사용하여 구현될 수 있다.
또한 프로세스(1200)를 수행하는 시스템은 터치 스크린 시스템의 그래픽 디스플레이와의 제2 사용자 상호작용이 적시에 수신되는지를 판단한다(판단 박스 1215). 제2 상호작용의 적시 수신은 타이머에 의해 측정된 기간이 경과되기 전에 제2 상호작용이 수신되기를 요구한다. 예를 들어, 일부 구현예들에서, 제2 상호작용은 적시라고 고려될 수 있도록 하기 위해서는, 1초 또는 600ms 내에 수신되어야만 한다. 일부 구현예들에서, 기간의 구간은 고정된다. 다른 구현예들에서는, 기간의 구간이 예를 들어, 정적인 접촉에서의 모션량(amount of motion)에 따라 달라진다. 예를 들어, 정적인 접촉이 대량의 모션에 비해 상대적으로 불안정하다면, 기간의 구간이 증가될 수 있다. 반면, 정적인 접촉이 적은 모션량에 비해 상대적으로 안정적이라면, 기간의 구간은 감소될 수 있다.
제2 상호작용이 정확히 적시에 수신되었다는 판단에 응답하여, 프로세스(1200)를 수행하는 시스템은 글리프 규칙 세트에 따라서 제2 사용자 상호작용을 해석한다(박스 1220). 글리프 규칙 세트는 글리프 커맨드로서 터치 스크린 시스템의 그래픽 디스플레이와의 사용자 상호작용을 번역하는 규칙들의 세트이다. 이 규칙들은 상대적으로 복잡한 영숫자 문자의 식별에 맞춰, 그리고 경우에 따라 커스텀 글리프(custom glyphs)에 맞춰 맞춤화될 수 있다.
제2 상호작용이 적시에 수신되지 않았다는 판단에 응답해서는, 프로세스(1200)를 수행하는 시스템은 제1 규칙 세트를 사용하여 정적인 접촉과 임의의 제2 사용자 상호작용을 해석한다(박스 1225). 제1 규칙 세트는 예를 들어, 그래픽 디스플레이가 맵상에 접속된 영역으로 줌인되도록 지시하는 커맨드 또는 접촉된 엔트리가 제공되는 것에 관한 추가적인 상세사항을 가리키는 커맨드로 그 정적인 접촉을 번역할 수 있다. 만일 적시는 아니지만, 제2 사용자 상호작용이 수신된다면, 제2 사용자 상호작용도 제1 규칙 세트를 사용하여 해석될 수 있다.
도 13은 본 명세서에서 설명된 기술들에 사용될 수 있는 일반적인 컴퓨터 디바이스(700)와 일반적인 모바일 컴퓨터 디바이스(750)의 블록도이다. 특히, 일반적인 컴퓨터 디바이스(700)와 일반적인 모바일 컴퓨터 디바이스(750) 중 하나 또는 모두는 터치 스크린 시스템일 수 있고, 터치 스크린 그래픽 디스플레이를 포함할 수 있다. 컴퓨팅 디바이스(700)은 랩탑, 데스크탑, 워크스테이션, PDA(Personal Digital Assistant), 서버, 블레이드(blade) 서버, 메인프레임, 및 그 밖의 적절한 컴퓨터들과 같은 다양한 형태의 디지털 컴퓨터를 나타내기 위해 사용된다. 컴퓨팅 디바이스(750)는 PDA, 셀룰라 전화, 스마트폰, 및 그 밖의 유사한 컴퓨팅 디바이스와 같은 다양한 형태의 모바일 디바이스를 나타내기 위해 사용된다. 본 명세서에서 나타낸 구성요소, 그들의 접속 및 관계, 및 그들의 기능들은 단지 예시적인 것을 의미하고, 본 명세서에서 설명하거나 또는 청구된 발명의 구현예를 제한하는 것을 의미하지 않는다.
컴퓨팅 디바이스(700)는 프로세서(702), 메모리(704), 저장 디바이스(706), 메모리(704)와 고속 확장 포트(710)에 접속하는 고속 인터페이스(708), 및 저속 버스(714)와 저장 디바이스(706)에 접속하는 저속 인터페이스(712)를 포함한다. 각 구성요소(702, 704, 706, 708, 710, 및 712)는 다양한 버스들을 사용하여 서로 접속되고, 공통 마더보드에 탑재되거나 또는 적절한 경우 다른 방식으로 탑재될 수 있다. 프로세서(702)는 컴퓨팅 디바이스(700) 내에서 실행하기 위한 인스트럭션어를 처리할 수 있으며, 이러한 인스트럭션에는, 고속 인터페이스(708)에 연결된 디스플레이(716)와 같은 외장 입/출력 디바이스상에서 GUI용 그래픽 정보를 디스플레이하기 위해, 메모리(704) 또는 저장 디바이스(706)에 저장되는 인스트럭션이 포함된다. 다른 구현예에서, 다중 프로세서 및/또는 다중 버스는 적절한 경우, 다중 메모리 및 메모리 타입과 함께 사용될 수 있다. 또한, 다중 컴퓨팅 디바이스(700)는 각 디바이스가 필요 동작의 부분을 제공하는 형태(예를 들어, 서버 뱅크, 블레이드 서버의 그룹, 또는 다중 프로세서 시스템)로 접속될 수 있다.
메모리(704)는 컴퓨팅 디바이스(700) 내에 정보를 저장한다. 일 구현예에서, 메모리(704)는 휘발성 메모리 유닛 또는 유닛들이다. 또 다른 구현예서, 메모리(704)는 비휘발성 메모리 유닛 또는 유닛들이다. 또한, 메모리(704)는 마그네틱 또는 광 디스크와 같은 다른 형태의 컴퓨터 판독가능 매체일 수 있다.
저장 디바이스(706)는 컴퓨팅 디바이스(700)를 위한 대용량 저장소(mass storage)를 제공할 수 있다. 일 구현예에서, 저장 디바이스(706)는 플로피 디스크 디바이스, 하드 디스크 디바이스, 광 디스크 디바이스, 또는 테입 디바이스, 플래쉬 메모리 또는 다른 유사한 고체 상태 메모리 디바이스, 또는 저장 영역 네트워크 또는 다른 구성에 존재하는 디바이스를 포함하는 디바이스 어레이일 수 있다. 컴퓨터 프로그램 제품은 정보 캐리어(information carrier) 내에 유형적으로 구체화될 수 있다. 또한, 컴퓨터 프로그램 제품은 실행될 때, 상술한 것과 같은 하나 이상의 방법을 수행하는 인스트럭션을 포함할 수 있다. 정보 캐리어는 메모리(704), 저장 디바이스(706), 또는 프로세서(702) 상의 메모리와 같은 컴퓨터 또는 기계 판독가능 매체이다.
저속 제어부(712)가 저대역-집약적 동작(lower bandwidth-intensive operations)을 관리하는 반면, 고속 제어부(708)는 컴퓨팅 디바이스(900)에 대한 대역-집약적 동작을 관리한다. 이러한 기능들의 배치는 단지 예시적인 것이다. 일 구현예에서, 고속 제어부(708)는 메모리(704), 디스플레이(716)(예를 들어, 그래픽 프로세서 또는 가속기를 통함)에 연결되고, 다양한 확장 카드(도시되지 않음)을 수용할 수 있는 고속 확장 포트(710)에 연결된다. 일부 구현예에서는, 저속 제어부(712)는 저장 디바이스(706) 및 저속 확장 포트(714)에 연결된다. 다양한 통신 포트(예를 들어, USB, 블루투스, 이더넷, 무선 이더넷)를 포함할 수 있는 저속 확장 포트는 키보드, 포인팅 디바이스, 스캐너와 같은 하나 이상의 입/출력 디바이스들에 연결되거나, 또는 예컨대 네트워크 어댑터를 통하여, 스위치나 라우터와 같은 네트워킹 디바이스에 연결될 수 있다.
컴퓨팅 디바이스(700)는 도면에 도시된 바와 같이, 복수의 다른 형태로 구현될 수 있다. 예를 들어, 컴퓨팅 디바이스(700)는 표준 서버(720)로 구현되거나 이러한 서버들의 그룹에서 여러 번(multiple time) 구현될 수 있다. 또한, 컴퓨팅 디바이스(700)는 랙 서버 시스템(724)의 부분으로서 구현될 수 있다. 이에 더하여, 컴퓨팅 디바이스(700)는 랩탑 컴퓨터(722)와 같은 개인용 컴퓨터내에 구현될 수 있다. 선택적으로, 컴퓨팅 디바이스(700)로부터의 구성요소는 디바이스(750)와 같은 모바일 디바이스(도시되지 않음) 내 다른 구성요소와 조합될 수 있다. 이러한 디바이스 각각은 하나 이상의 컴퓨팅 디바이스(700, 750)를 포함하고, 전체 시스템은 서로 통신하는 다중 컴퓨팅 디바이스(700, 750)로 구성될 수 있다.
컴퓨팅 디바이스(750)는 여러 구성요소 중에서 프로세서(752), 메모리(764), 디스플레이(754)와 같은 입/출력 디바이스, 통신 인터페이스(766), 및 트랜스시버(768) 등을 포함한다. 또한, 디바이스(750)에는 추가적인 저장소를 제공하기 위하여, 마이크로 드라이브 또는 다른 디바이스와 같은 저장 디바이스가 제공될 수 있다. 구성요소(750, 752, 764, 754, 766, 및 768) 각각은 다양한 버스를 이용하여 서로 접속되고, 구성요소의 몇몇은 공통의 마더보스에 탑재되거나 적절한 다른 방법으로 탑재될 수 있다.
프로세서(752)는 컴퓨팅 디바이스(750) 내에서 인스트럭션을 실행하며, 이 인스트럭션에는 메모리(764)에 저장된 인스트럭션이 포함된다. 프로세서는 개별적이고 다중의 아날로그 및 디지털 프로세서를 포함하는 칩들의 칩 세트로서 구현될 수 있다. 프로세서는, 예를 들어, 사용자 인터페이스의 컨트롤, 디바이스(750)에 의해 실행되는 애플리케이션, 및 컴퓨팅 디바이스(750)에 의한 무선 통신과 같은 디바이스(750)의 다른 구성요소들 사이에 조정을 제공할 수 있다.
프로세서(752)는 제어 인터페이스(758) 및 디스플레이(754)에 연결된 디스플레이 인터페이스(756)를 통해 사용자와 통신할 수 있다. 디스플레이(754)는, 예를 들어, TFT LCD(Thin-Film-Tansistor Liquid Crystal Display) 또는 OLED(Organic Light Emitting Diode) 디스플레이, 또는 다른 적절한 디스플레이 기술일 수 있다. 디스플레이 인터페이스(756)는 그래픽 및 다른 정보를 사용자에게 나타내기 위해 디스플레이(754)를 구동하는 적절한 회로를 포함할 수 있다. 제어 인터페이스(758)는 사용자로부터 명령들을 수신하고, 프로세서(752)에 제출하기 위해 그 명령들을 변환한다. 더욱이, 확장 인터페이스(762)는 디바이스(750)와 다른 디바이스들 간에 근거리 통신이 가능하도록 하기 위해, 프로세서(752)와의 통신에 제공될 수 있다. 확장 인터페이스(762)는, 예를 들어, 일부 구현예에서는 유선 통신을 제공하고 다른 구현예에서 무선 통신을 제공하며, 또한 다중 인터페이스가 사용될 수 있다.
메모리(764)는 컴퓨팅 디바이스(750) 내에 정보를 저장한다. 메모리(764)는 컴퓨터 판독가능 매체 또는 미디어, 휘발성 메모리 유닛 또는 유닛들, 또는 비휘발성 메모리 유닛 또는 유닛들 중 하나 이상으로서 구현될 수 있다. 또한, 확장 메모리(774)가 제공되어, 예를 들어 SIMM(Single In Line Memory Module) 카드 인터페이스를 포함하는 확장 인터페이스(774)를 통해 디바이스(750)에 접속될 수 있다. 이러한 확장 메모리(774)는 디바이스(750)를 위한 여분의 저장 공간을 제공할 수 있고, 또한 애플리케이션 또는 디바이스(750)를 위한 다른 정보를 저장할 수 있다. 특히, 확장 메모리(774)는 상술된 프로세스를 실행하거나 보조하기 위한 인스트럭션을 포함하고, 또한 보안 정보를 포함할 수 있다. 따라서 예를 들어, 확장 메모리(774)는 디바이스(750)용 보안 모듈(security module)로서 제공될 수 있고, 디바이스(750)의 안전한 사용을 가능하게 하는 인스트럭션로 프로그램될 수 있다. 더욱이, 보안 애플리케이션은, 해킹할 수 없는 방식(non-hackable manner)으로 SIMM 카드 상에 식별 정보를 위치시킨 것과 같은 추가적 정보와 함께 SIMM 카드를 통해 제공될 수 있다.
메모리는 아래에서 논의되는 것과 같이 예를 들어, 플래시 메모리 및/또는 NVRAM 메모리를 포함할 수 있다. 일 구현예에서, 컴퓨터 프로그램 제품은 정보 캐리어에 유형적으로 구체화된다. 컴퓨터 프로그램 제품은 실행될 때, 상술된 것과 같은 하나 이상의 방법을 수행하는 인스트럭션을 포함한다. 정보 캐리어는 메모리(764), 확장 메모리(774), 또는 예를 들어 트랜스시버(768) 또는 확장 인터페이스(762)를 통해 수신될 수 있는 프로세서(752) 상의 메모리 또는 전파된 신호(propagated signal)와 같은 컴퓨터-또는 기계-판독가능 매체이다.
디바이스(750)는 디지털 신호 처리 회로를 필요에 따라 포함하는 통신 인터페이스(766)를 통해 무선으로 통신할 수 있다. 통신 인터페이스(766)는 GSM 음성 호, SMS, EMS, 또는 MMS 메시징, CDMA, TDMA, PDC, WCDMA, CDMA2000, 또는 GPRS 등과 같은 다양한 모드 또는 프로토콜 하에서의 통신을 제공할 수 있다. 이러한 통신은 예를 들어, 무선-주파수 트랜스시버(768)를 통해 수행될 수 있다. 또한, 단거리(short range) 통신은 예를 들어, 블루투스, WiFi, 또는 다른 이러한 트랜스시버(도시되지 않음)를 사용하여 수행될 수 있다. 이에 더하여, GPS(Global Position System) 수신기 모듈(770)은 추가적인 네비게이션- 및 위치- 관련 무선 데이터를 디바이스(750)에 제공할 수 있으며, 이 무선 데이터는 디바이스(750)에서 실행중인 애플리케이션에 의해 적절하게 사용될 수 있다.
또한, 디바이스(750)는 사용자로부터의 발화 정보(spoken information)를 수신하고, 그 발화 정보를 사용가능한 디지털 정보로 변환하는 오디오 코덱(760)을 이용하여, 청취가능하게(audibly) 통신할 수 있다. 또한, 오디오 코덱(760)은 예를 들어, 디바이스(750)의 핸드셋 내의 스피커를 통하는 것과 같이 해서, 사용자가 들을 수 있는 음성을 생성한다. 이러한 음성은 음성 전화 호로부터의 음성을 포함할 수 있고, 녹음된 음성(예를 들어, 음성 메시지, 음악 파일 등)은 포함할 수 있고, 또한 디바이스(750) 상에서 동작하는 애플리케이션에 의해 생성된 음성을 포함할 수 있다.
컴퓨팅 디바이스(750)는 도면에 도시된 바와 같이, 복수의 다양한 형태로 구현될 수 있다. 예를 들어, 컴퓨팅 디바이스(750)는 셀룰러 전화(780)로서 구현될 수 있다. 또한, 컴퓨팅 디바이스(750)는 스마트폰(782), PDA, 또는 다른 유사한 모바일 디바이스의 일부로서 구현될 수 있다.
디바이스(750)는 또한 움직임을 감지할 수 있는 하나 이상의 다른 디바이스를 포함할 수 있다. 예시들은 가속도계들과 나침판들을 포함할 수 있지만, 이에 제한되지는 않는다. 가속도계 및 나침판, 또는 움직임이나 위치를 검출할 수 있는 다른 디바이스들은 임의 수의 벤더로부터 가용할 수 있고, 다양한 방식으로 움직임을 감지할 수 있다. 예를 들어, 가속도계는 가속도의 변화를 검출할 수 있고, 나침판은 자성의 N극과 S극 각각의 방향 변화를 검출할 수 있다. 움직임의 이러한 변화는 디바이스(750)에 의해 검출될 수 있고, 본 명세서에서 설명된 프로세스들 및 기술들에 따라서 디바이스(750) 각각의 디스플레이를 업데이트하는데 사용될 수 있다.
본 명세서에 기재된 시스템의 다양한 구현예와 기술은 디지털 전자 회로, 집적 회로, 특별하게 설계된 ASICs(Application Specific Intergrated Circuit), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 그것의 조합물로 실현될 수 있다. 이러한 다양한 구현예는 하나 이상의 컴퓨터 프로그램으로 된 구현예를 포함하며, 이 컴퓨터 프로그램은 적어도 하나의 프로그램 가능한 프로세서를 포함하는 프로그램 가능한 시스템에서 실행가능하고 및/또는 해석가능하다. 또한, 전용 또는 범용 프로세서일 수 있는 이 프로그램 가능한 프로세서는 데이터와 인스트럭션을 송수신하기 위해, 저장 시스템, 적어도 하나의 입력 디바이스 및 적어도 하나의 수신 디바이스에 연결된다.
컴퓨터 프로그램(또한 프로그램, 소프트웨어, 소프트웨어 애플리케이션, 또는 코드로 알려짐)은 프로그램 가능한 프로세서를 위한 기계 인스트럭션을 포함하고, 고레벨 절차 및/또는 오브젝트 지향 프로그램 언어(object-oriented programming language) 및/또는 어셈블리/기계 언어로 구현될 수 있다. 본 명세서에서 사용되는 바와 같이, 용어 "기계 판독가능 매체(machine-readable medium)"와 "컴퓨터 판독가능 매체(computer-readable medium)"는 기계 인스트럭션 및/또는 데이터를 프로그램 가능한 프로세서에 제공하기 위해 이용되는 임의의 컴퓨터 프로그램 제품, 장치, 및/또는 디바이스(예를 들어, 마그네틱 디스크, 광학 디스크, 메모리, PLDs(Programmable Logic Devices))를 가리키며, 기계 판독가능 신호와 같은 기계 인스트럭션을 수신하는 기계 판독가능 매체를 포함한다. 용어 "기계 판독가능 신호(machine-readable signal)"는 기계 인스트럭션 및/또는 데이터를 프로그램 가능한 프로세서에 제공하기 위해 사용되는 임의의 신호를 가리킨다.
사용자와의 상호 동작을 제공하기 위하여, 본 명세서에 기술된 시스템과 기술은, 정보를 사용자에게 디스플레이하기 위한 디스플레이 디바이스(예를 들어, CRT(cathode ray tube) 또는 LCD 모니터)와 사용자가 컴퓨터에 입력을 제공할 수 있는 키보드 및 포인팅 디바이스(예를 들어, 마우스 또는 트랙볼)를 구비한 컴퓨터상에서 구현될 수 있다. 사용자와의 상호 동작을 제공하기 위하여 다른 종류의 디바이스가 또한 사용될 수 있다; 예를 들어, 사용자에게 제공되는 피드백(feedback)은 임의의 형태의 감각 피드백(예를 들어, 시각 피드백, 청각 피드백 또는 촉각 피드백)일 수 있고, 사용자로부터의 입력은 음향(acoustic), 음성(speech) 또는 촉각(tactile) 입력을 포함하는 임의의 형태로 수신될 수 있다.
본 명세서에서 설명한 시스템과 기술은, 백 엔드(back end) 구성요소(예를 들어, 데이터 서버와 같은), 또는 미들웨어 구성요소(예를 들어, 애플리케이션 서버), 또는 프론트 엔드(front end) 구성요소(예를 들어, 본 명세서에서 설명된 시스템 및 기술의 구현예와 사용자가 상호 동작할 수 있는 그래픽 사용자 인터페이스 또는 웹브라우저를 구비한 클라이언트 컴퓨터), 또는 이러한 백 엔드, 미들웨어, 또는 프론트 엔드 구성요소들의 임의의 조합을 포함하는 컴퓨팅 디바이스으로 구현될 수 있다. 시스템의 구성요소는 디지털 데이터 통신의 임의의 형태 또는 매체(예를 들어, 통신 네트워크)에 의해 상호 접속될 수 있다. 통신 네트워크의 예로서, 근거리 네트워크(LAN), 광역 네트워크(WAN), 및 인터넷이 있다.
컴퓨팅 디바이스는 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 보통 서로 떨어져 있으며, 일반적으로는 통신 네트워크를 통하여 상호 동작한다. 클라이언트와 서버의 관계는 각각의 컴퓨터상에서 실행되고 상호 클라이언트-서버 관계를 갖는 컴퓨터 프로그램에 의하여 발생한다.
많은 실시예들이 설명되었다. 그렇지만, 본 발명의 요지 및 범위를 벗어나지 않고 다양한 변형예들이 만들어질 수 있다는 것을 이해할 수 있을 것이다. 예를 들어, 이 명세서들의 대부분은 메시징 및 매핑 애플리케이션에 대하여 설명되었지만, 예를 들어 상호작용 프로그램 가이드, 웹 페이지 네비게이션 및 줌잉, 및 그 밖의 다른 애플리케이션들과 같은 그래픽 애플리케이션의 다른 형태들도 다뤄질 수 있다.
이에 더하여, 도면에서 묘사된 로직 흐름은 희망하는 결과를 달성하기 위해, 도시된 특정 순서 또는 시계열적 순서일 필요는 없다. 또한, 다른 단계들이 제공되거나, 그로부터 단계들이 제거될 수 있으며, 다른 구성요소들이 설명된 시스템에 추가되거나 그로부터 제거될 수 있다. 따라서 다른 실시예들은 후술하는 청구범위의 범위 내에 속한다.
125: 디스플레이 관리자
130: 그려진 사용자 입력 제어기
135: 입력 관리자
145: 커맨드 해석기
140: 애플리케이션
155: 클록

Claims (24)

  1. 터치 스크린 시스템이 터치 스크린 그래픽 디스플레이와의 정적인 접촉(stationary contact)을 식별하는 단계;
    상기 터치 스크린 시스템이 상기 정적인 접촉의 식별에 응답하여 타이머를 시작시키는 단계;
    상기 터치 스크린 시스템이 상기 터치 스크린 그래픽 디스플레이와의 제2 사용자 상호작용이 적시인지(timely)를 상기 타이머를 사용하여 결정하는 단계; 및
    적시인 상기 제2 사용자 상호작용에 응답하여, 상기 터치 스크린 시스템이 상기 제2 사용자 상호작용을 글리프(glyph)로 해석하는 단계를 포함하는 방법.
  2. 청구항 1에 있어서, 상기 터치 스크린 시스템이 비적시인(untimely) 상기 제2 사용자 상호작용에 응답하여, 상기 정적인 접촉을 줌인(zoom-in) 커맨드로 해석하는 단계를 더 포함하는 방법.
  3. 청구항 1 또는 청구항 2에 있어서, 비적시인 상기 제2 사용자 상호작용에 응답하여, 상기 터치 스크린 시스템이 상기 정적인 접촉을, 상기 정적인 접촉에 의해 접촉된 엔트리에 관한 추가적인 상세사항(details)을 가리키는(directing) 커맨드로 해석하는 단계를 더 포함하는 방법.
  4. 청구항 1 내지 청구항 3 중 어느 한 항에 있어서, 상기 제2 사용자 상호작용을 글리프로 해석하는 단계는 영수문자(alphanumeric characters)의 식별에 맞춰진 규칙의 집합 하에서 상기 제2 사용자 상호작용을 해석하는 단계를 포함하는 방법.
  5. 청구항 1 내지 청구항 4 중 어느 한 항에 있어서, 상기 정적인 접촉을 식별하는 단계는 상기 정적인 접촉이 상기 터치 스크린 그래픽 디스플레이의 에지와 접촉하고 있는지를 결정하는 단계를 포함하는 방법.
  6. 청구항 1 내지 청구항 5 중 어느 한 항에 있어서, 상기 제2 사용자 상호작용을 글리프로 해석하는 단계는, 스크롤 또는 패닝 커맨드로서의 손가락 끌기 상호작용(finger dragging interaction)을 디스에이블하는 단계를 포함하는 방법.
  7. 청구항 1 내지 청구항 6 중 어느 한 항에 있어서, 상기 터치 스크린 시스템이, 상기 정적인 접촉의 식별에 응답하여, 상기 터치 스크린 그래픽 디스플레이를 피닝(pinning)하는 단계를 더 포함하는 방법.
  8. 청구항 7에 있어서, 상기 터치 스크린 그래픽 디스플레이를 피닝하는 단계는 그래픽 디스플레이 상의 표현을 완전히 부동(immobile)으로 유지하는 단계를 더 포함하는 방법.
  9. 청구항 1 내지 청구항 8 중 어느 한 항에 있어서, 상기 터치 스크린 시스템이 적시인 상기 제2 사용자 상호작용에 응답하여, 새로운 번역 모드로 변경하는 단계를 더 포함하는 방법.
  10. 청구항 9에 있어서, 상기 새로운 번역 모드는, 상기 터치 스크린 그래픽 디스플레이에 걸친 다수의 손가락 끌기를 포함하는 사용자 상호작용을 글리프로 해석하도록 맞추어진 글리프 번역 모드를 포함하는 방법.
  11. 터치 스크린 시스템으로서,
    터치 스크린 그래픽 디스플레이;
    상기 그래픽 디스플레이와의 변경자(modifier) 상호작용을 식별하고, 상기 변경자 상호작용의 식별에 응답하여, 상기 그래픽 디스플레이와의 다른 상호작용의 해석을 변경하도록 구성되는 커맨드 해석기; 및
    상기 그래픽 디스플레이와의 사용자 상호작용을 해석하는 제1 세트의 규칙 및 상기 그래픽 디스플레이와의 사용자 상호작용을 해석하는 제2 세트의 규칙을 저장하는 하나 이상의 영구 데이터 저장 디바이스로서, 상기 제1 세트의 규칙은 맵 또는 정보 컬렉션의 적절한 부분집합에 걸친 움직임을 스크롤 또는 패닝 커맨드로 해석하고, 상기 제2 세트의 규칙은 상기 움직임을 글리프로 해석하는 상기 저장 디바이스를 포함하고,
    상기 커맨드 해석기는 상기 제1 세트의 규칙 하의 해석과 상기 제2 세트의 규칙 하의 해석 사이를 전환함으로써, 다른 상호작용의 해석을 변경하도록 구성되는 터치 스크린 시스템.
  12. 청구항 11에 있어서, 상기 하나 이상의 영구 데이터 저장 디바이스에 저장된 맵 정보의 컬렉션을 더 포함하는 터치 스크린 시스템.
  13. 청구항 11 또는 청구항 12에 있어서, 상기 터치 스크린 그래픽 디스플레이를 탑재한 휴대용(handheld) 하우징을 더 포함하는 터치 스크린 시스템.
  14. 청구항 11 내지 청구항 13 중 어느 한 항에 있어서, 상기 커맨드 해석기는 상기 터치 스크린 그래픽 디스플레이의 측면에 대한 접촉을 변경자 상호작용으로 식별하도록 구성된 터치 스크린 시스템.
  15. 청구항 11 내지 청구항 14 중 어느 한 항에 있어서, 상기 커맨드 해석기는 적시의 제2 접촉이 뒤따르는 정적인 접촉을 변경자 상호작용으로 식별하도록 구성되는 터치 스크린 시스템.
  16. 청구항 11 내지 청구항 15 중 어느 한 항에 있어서, 상기 제2 세트의 규칙은 상기 움직임을 커스텀(custom) 글리프로 해석하는 규칙을 포함하는 터치 스크린 시스템.
  17. 청구항 11 내지 청구항 16 중 어느 한 항에 있어서, 상기 커맨드 해석기는 피닝 커맨드를 식별하도록 구성되고, 상기 피닝 커맨드는 터치 스크린 시스템이 손가락 끌기를 스크롤 커맨드 또는 패닝 커맨드로 해석하는 것을 금지하는 터치 스크린 시스템.
  18. 청구항 11 내지 청구항 17 중 어느 한 항에 있어서,
    상기 터치 스크린 시스템은 클록을 더 포함하고; 및
    상기 커맨드 해석기는 상기 클록에 의존하는 타이머를, 상기 그래픽 디스플레이와의 정적인 접촉의 식별에 응답하여 시작시키도록 구성되는 터치 스크린 시스템.
  19. 청구항 18에 있어서, 상기 커맨드 해석기는 상기 타이머가 임계 기간(threshold period)에 도달하기 전에 수신되는 제2 사용자 상호작용에 응답하여 변경자 상호작용을 식별하도록 구성되는 터치 스크린 시스템.
  20. 청구항 18 또는 청구항 19에 있어서, 상기 임계 기간은 1초의 15% 이내인 터치 스크린 시스템.
  21. 청구항 18 내지 청구항 20 중 어느 한 항에 있어서, 상기 커맨드 해석기는 상기 타이머가 임계 기간에 도달하기 전에 제2 사용자 상호작용의 수신을 실패하는 것에 응답하여, 상기 정적인 접촉을 줌인 커맨드로 해석하도록 구성되는 터치 스크린 시스템.
  22. 청구항 18 내지 청구항 20 중 어느 한 항에 있어서, 상기 커맨드 해석기는 상기 타이머가 임계 기간에 도달하기 전에 제2 사용자 상호작용의 수신을 실패하는 것에 응답하여, 상기 정적인 접촉을, 그 정적인 접촉에 의해 접촉된 엔트리에 관한 추가적인 상세사항을 가리키는 커맨드로서 해석하도록 구성되는 터치 스크린 시스템.
  23. 터치 스크린 시스템으로서,
    터치 스크린 그래픽 디스플레이;
    상기 터치 스크린 그래픽 디스플레이와의 동일한 사용자 상호작용을 2개의 다른 입력 커맨드로 번역하는 수단; 및
    상기 번역 수단이 액세스할 수 있는 규칙을 저장하는 하나 이상의 영구 데이터 저장 디바이스를 포함하는 터치 스크린 시스템.
  24. 청구항 23에 있어서, 상기 번역 수단은
    클록; 및
    상기 클록에 의존하고, 상기 터치 스크린 그래픽 디스플레이와의 정적인 접촉의 식별에 응답하여 시작하도록 구성된 타이머를 포함하는 터치 스크린 시스템.
KR1020127013089A 2009-11-19 2010-11-11 터치 스크린과의 사용자 상호작용을 입력 커맨드로 번역 KR101668398B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/621,759 US8432367B2 (en) 2009-11-19 2009-11-19 Translating user interaction with a touch screen into input commands
US12/621,759 2009-11-19
PCT/US2010/056400 WO2011062837A2 (en) 2009-11-19 2010-11-11 Translating user interaction with a touch screen into input commands

Publications (2)

Publication Number Publication Date
KR20120116916A true KR20120116916A (ko) 2012-10-23
KR101668398B1 KR101668398B1 (ko) 2016-10-21

Family

ID=44010958

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127013089A KR101668398B1 (ko) 2009-11-19 2010-11-11 터치 스크린과의 사용자 상호작용을 입력 커맨드로 번역

Country Status (6)

Country Link
US (1) US8432367B2 (ko)
EP (1) EP2502131A4 (ko)
KR (1) KR101668398B1 (ko)
AU (1) AU2010322267B2 (ko)
CA (1) CA2781347C (ko)
WO (1) WO2011062837A2 (ko)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070156335A1 (en) * 2006-01-03 2007-07-05 Mcbride Sandra Lynn Computer-Aided Route Selection
US20110138321A1 (en) * 2009-12-04 2011-06-09 International Business Machines Corporation Zone-based functions in a user interface
US8698845B2 (en) 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface with interactive popup views
US9513801B2 (en) 2010-04-07 2016-12-06 Apple Inc. Accessing electronic notifications and settings icons with gestures
US20110252376A1 (en) * 2010-04-07 2011-10-13 Imran Chaudhri Device, Method, and Graphical User Interface for Managing Concurrently Open Software Applications
US9823831B2 (en) 2010-04-07 2017-11-21 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US8448084B2 (en) 2010-04-08 2013-05-21 Twitter, Inc. User interface mechanics
US9244606B2 (en) 2010-12-20 2016-01-26 Apple Inc. Device, method, and graphical user interface for navigation of concurrently open software applications
KR101802498B1 (ko) * 2010-12-31 2017-11-28 주식회사 케이티 이동 단말기 및 이동 단말기에서 터치 패턴 인식에 따른 지도 위치 검색 방법
KR101863926B1 (ko) * 2011-07-19 2018-06-01 엘지전자 주식회사 이동 단말기 및 그 제어방법
US8810535B2 (en) 2011-10-18 2014-08-19 Blackberry Limited Electronic device and method of controlling same
EP2584441A1 (en) * 2011-10-18 2013-04-24 Research In Motion Limited Electronic device and method of controlling same
US20130141463A1 (en) * 2011-12-06 2013-06-06 Microsoft Corporation Combined interactive map and list view
EP2812778A4 (en) * 2012-02-08 2015-12-02 Blackberry Ltd PORTABLE ELECTRONIC DEVICE AND CONTROL METHOD THEREFOR
US10078420B2 (en) * 2012-03-16 2018-09-18 Nokia Technologies Oy Electronic devices, associated apparatus and methods
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
EP3410287B1 (en) 2012-05-09 2022-08-17 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
JP6082458B2 (ja) 2012-05-09 2017-02-15 アップル インコーポレイテッド ユーザインタフェース内で実行される動作の触知フィードバックを提供するデバイス、方法、及びグラフィカルユーザインタフェース
KR101683868B1 (ko) 2012-05-09 2016-12-07 애플 인크. 제스처에 응답하여 디스플레이 상태들 사이를 전이하기 위한 디바이스, 방법, 및 그래픽 사용자 인터페이스
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169854A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
EP2847661A2 (en) 2012-05-09 2015-03-18 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
CN105260049B (zh) 2012-05-09 2018-10-23 苹果公司 用于响应于用户接触来显示附加信息的设备、方法和图形用户界面
KR20130127146A (ko) * 2012-05-14 2013-11-22 삼성전자주식회사 다중 터치에 대응하는 기능을 처리하기 위한 방법 및 그 전자 장치
US8907914B2 (en) * 2012-08-31 2014-12-09 General Electric Company Methods and apparatus for documenting a procedure
KR101905174B1 (ko) 2012-12-29 2018-10-08 애플 인크. 사용자 인터페이스 계층을 내비게이션하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
CN105144057B (zh) 2012-12-29 2019-05-17 苹果公司 用于根据具有模拟三维特征的控制图标的外观变化来移动光标的设备、方法和图形用户界面
EP2939098B1 (en) 2012-12-29 2018-10-10 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
JP6093877B2 (ja) 2012-12-29 2017-03-08 アップル インコーポレイテッド 複数接触ジェスチャのために触知出力の生成を見合わせるためのデバイス、方法、及びグラフィカルユーザインタフェース
JP6097843B2 (ja) 2012-12-29 2017-03-15 アップル インコーポレイテッド コンテンツをスクロールするか選択するかを判定するためのデバイス、方法、及びグラフィカルユーザインタフェース
US9658740B2 (en) 2013-03-15 2017-05-23 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US9477404B2 (en) 2013-03-15 2016-10-25 Apple Inc. Device, method, and graphical user interface for managing concurrently open software applications
US9625884B1 (en) 2013-06-10 2017-04-18 Timothy Harris Ousley Apparatus for extending control and methods thereof
US9109921B1 (en) * 2013-06-19 2015-08-18 Amazon Technologies, Inc. Contextual based navigation element
EP3195098B1 (en) 2014-07-21 2024-10-23 Apple Inc. Remote user interface
EP3195096B1 (en) * 2014-08-02 2020-08-12 Apple Inc. Context-specific user interfaces
US10452253B2 (en) 2014-08-15 2019-10-22 Apple Inc. Weather user interface
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9674426B2 (en) 2015-06-07 2017-06-06 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
EP4327731A3 (en) 2015-08-20 2024-05-15 Apple Inc. Exercise-based watch face
JP6500830B2 (ja) * 2016-04-27 2019-04-17 京セラドキュメントソリューションズ株式会社 手書き文字入力装置、画像形成装置及び手書き文字入力方法
US10637986B2 (en) 2016-06-10 2020-04-28 Apple Inc. Displaying and updating a set of application views
DK201770423A1 (en) 2016-06-11 2018-01-15 Apple Inc Activity and workout updates
DK179412B1 (en) 2017-05-12 2018-06-06 Apple Inc Context-Specific User Interfaces
US11442591B2 (en) * 2018-04-09 2022-09-13 Lockheed Martin Corporation System, method, computer readable medium, and viewer-interface for prioritized selection of mutually occluding objects in a virtual environment
US11327650B2 (en) 2018-05-07 2022-05-10 Apple Inc. User interfaces having a collection of complications
US11960701B2 (en) 2019-05-06 2024-04-16 Apple Inc. Using an illustration to show the passing of time
DK181103B1 (en) 2020-05-11 2022-12-15 Apple Inc User interfaces related to time
CN115904596B (zh) 2020-05-11 2024-02-02 苹果公司 用于管理用户界面共享的用户界面
US11921992B2 (en) 2021-05-14 2024-03-05 Apple Inc. User interfaces related to time
US20230236547A1 (en) 2022-01-24 2023-07-27 Apple Inc. User interfaces for indicating time

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040071767A (ko) * 2001-12-28 2004-08-12 코닌클리케 필립스 일렉트로닉스 엔.브이. 터치-스크린 이미지 스크롤링 시스템과 방법
US20070184878A1 (en) * 2006-02-03 2007-08-09 Lg Electronics Inc. Text inputting
KR20090073138A (ko) * 2007-01-07 2009-07-02 애플 인크. 터치 스크린 디스플레이 상의 목록 스크롤링 및 문서 이동, 스케일링 및 회전

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4988981B1 (en) 1987-03-17 1999-05-18 Vpl Newco Inc Computer data entry and manipulation apparatus and method
CA2002912A1 (en) * 1988-11-14 1990-05-14 William A. Clough Portable computer with touch screen and computer system employing same
US5252951A (en) * 1989-04-28 1993-10-12 International Business Machines Corporation Graphical user interface with gesture recognition in a multiapplication environment
US5953735A (en) * 1991-03-20 1999-09-14 Forcier; Mitchell D. Script character processing method and system with bit-mapped document editing
US5488204A (en) * 1992-06-08 1996-01-30 Synaptics, Incorporated Paintbrush stylus for capacitive touch sensor pad
US5880411A (en) * 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
JPH07146750A (ja) 1993-11-25 1995-06-06 Casio Comput Co Ltd スイッチ装置
JP3486459B2 (ja) 1994-06-21 2004-01-13 キヤノン株式会社 電子情報機器及びその制御方法
EP0693852A3 (en) * 1994-07-22 1997-05-28 Eastman Kodak Co Method and apparatus for applying a function to a localized domain of a digital image using a window
US5864635A (en) 1996-06-14 1999-01-26 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by stroke analysis
US6057845A (en) * 1997-11-14 2000-05-02 Sensiva, Inc. System, method, and apparatus for generation and recognizing universal commands
US7840912B2 (en) * 2006-01-30 2010-11-23 Apple Inc. Multi-touch gesture dictionary
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7663607B2 (en) * 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US20070177804A1 (en) * 2006-01-30 2007-08-02 Apple Computer, Inc. Multi-touch gesture dictionary
EP1717679B1 (en) * 1998-01-26 2016-09-21 Apple Inc. Method for integrating manual input
US6573883B1 (en) 1998-06-24 2003-06-03 Hewlett Packard Development Company, L.P. Method and apparatus for controlling a computing device with gestures
US6188391B1 (en) * 1998-07-09 2001-02-13 Synaptics, Inc. Two-layer capacitive touchpad and method of making same
US7030861B1 (en) * 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
JP2002259046A (ja) 2001-02-28 2002-09-13 Tomoya Sonoda 空中で手描きした文字・記号入力システム
US6594616B2 (en) * 2001-06-18 2003-07-15 Microsoft Corporation System and method for providing a mobile input device
US7519918B2 (en) * 2002-05-30 2009-04-14 Intel Corporation Mobile virtual desktop
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
US7001703B2 (en) * 2002-09-27 2006-02-21 Canon Kabushiki Kaisha Toner
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
JP4206053B2 (ja) 2004-03-31 2009-01-07 株式会社国際電気通信基礎技術研究所 ユーザインタフェース装置およびユーザインタフェースプログラム
US9008447B2 (en) 2004-04-01 2015-04-14 Google Inc. Method and system for character recognition
US8169410B2 (en) * 2004-10-20 2012-05-01 Nintendo Co., Ltd. Gesture inputs for a portable display device
US20060103633A1 (en) * 2004-11-17 2006-05-18 Atrua Technologies, Inc. Customizable touch input module for an electronic device
KR101354316B1 (ko) 2005-03-04 2014-01-22 애플 인크. 다기능 휴대용 장치
US7477233B2 (en) * 2005-03-16 2009-01-13 Microsoft Corporation Method and system for providing modifier key behavior through pen gestures
US20070273674A1 (en) 2005-03-18 2007-11-29 Searete Llc, A Limited Liability Corporation Machine-differentiatable identifiers having a commonly accepted meaning
US20090278806A1 (en) * 2008-05-06 2009-11-12 Matias Gonzalo Duarte Extended touch-sensitive control area for electronic device
US7694240B2 (en) * 2006-11-22 2010-04-06 General Electric Company Methods and systems for creation of hanging protocols using graffiti-enabled devices
US9311528B2 (en) 2007-01-03 2016-04-12 Apple Inc. Gesture learning
US7949157B2 (en) 2007-08-10 2011-05-24 Nitin Afzulpurkar Interpreting sign language gestures
KR101348721B1 (ko) * 2007-09-03 2014-01-08 엘지전자 주식회사 휴대 단말기 및 그 휴대 단말기의 터치 인식 방법
US8674946B2 (en) * 2007-10-04 2014-03-18 Alpine Electronics, Inc. Method and apparatus for controlling timing of status change of electronics apparatus based on user's finger location and input speed
EP2232355B1 (en) * 2007-11-07 2012-08-29 N-Trig Ltd. Multi-point detection on a single-point detection digitizer
KR101470543B1 (ko) * 2008-02-15 2014-12-08 엘지전자 주식회사 터치스크린을 구비하는 휴대 단말기 및 그 동작 제어방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040071767A (ko) * 2001-12-28 2004-08-12 코닌클리케 필립스 일렉트로닉스 엔.브이. 터치-스크린 이미지 스크롤링 시스템과 방법
US20070184878A1 (en) * 2006-02-03 2007-08-09 Lg Electronics Inc. Text inputting
KR20090073138A (ko) * 2007-01-07 2009-07-02 애플 인크. 터치 스크린 디스플레이 상의 목록 스크롤링 및 문서 이동, 스케일링 및 회전

Also Published As

Publication number Publication date
CA2781347A1 (en) 2011-05-26
KR101668398B1 (ko) 2016-10-21
AU2010322267B2 (en) 2014-07-10
EP2502131A2 (en) 2012-09-26
WO2011062837A2 (en) 2011-05-26
AU2010322267A1 (en) 2012-06-07
EP2502131A4 (en) 2018-01-24
WO2011062837A3 (en) 2011-07-28
US20110115721A1 (en) 2011-05-19
US8432367B2 (en) 2013-04-30
CA2781347C (en) 2017-09-05

Similar Documents

Publication Publication Date Title
KR101668398B1 (ko) 터치 스크린과의 사용자 상호작용을 입력 커맨드로 번역
JP7018415B2 (ja) スクロールバー上での直交ドラッギング
JP5912083B2 (ja) ユーザーインターフェース提供方法及び装置
US9256355B1 (en) Accelerated panning user interface interaction
US8302004B2 (en) Method of displaying menu items and related touch screen device
US8624935B2 (en) Smart keyboard management for a multifunction device with a touch screen display
US20130076659A1 (en) Device, method, and storage medium storing program
CN108885525A (zh) 菜单显示方法及终端
WO2008010432A1 (fr) dispositif d'interface utilisateur, programme informatique et son support d'enregistrement
US11079926B2 (en) Method and apparatus for providing user interface of portable device
KR20120013377A (ko) 컴퓨팅 디바이스 상에서의 글리프 입력
BRPI1008810B1 (pt) visualização de informação
US20130235088A1 (en) Device, method, and storage medium storing program
US20130201144A1 (en) Electronic device, control method, and control program
US20140240262A1 (en) Apparatus and method for supporting voice service in a portable terminal for visually disabled people
US9811199B2 (en) Electronic apparatus and storage medium, and operating method of electronic apparatus
JP5862659B2 (ja) 情報入力装置
CN113220392A (zh) 一种界面展示方法、装置和用于展示界面的装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191008

Year of fee payment: 4