KR101872533B1 - 3 상태 터치 입력 시스템 - Google Patents

3 상태 터치 입력 시스템 Download PDF

Info

Publication number
KR101872533B1
KR101872533B1 KR1020127017151A KR20127017151A KR101872533B1 KR 101872533 B1 KR101872533 B1 KR 101872533B1 KR 1020127017151 A KR1020127017151 A KR 1020127017151A KR 20127017151 A KR20127017151 A KR 20127017151A KR 101872533 B1 KR101872533 B1 KR 101872533B1
Authority
KR
South Korea
Prior art keywords
touch
state
user interface
received
graphical user
Prior art date
Application number
KR1020127017151A
Other languages
English (en)
Other versions
KR20120117809A (ko
Inventor
다니엘 존 위그더
자로드 롬바도
애너스카 졸리오미 퍼킨스
신 헤이예스
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20120117809A publication Critical patent/KR20120117809A/ko
Application granted granted Critical
Publication of KR101872533B1 publication Critical patent/KR101872533B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

마우스와 같은 3 상태 입력 장치를 시뮬레이션한 터치 스크린 입력 장치가 제공된다. 이러한 상태들 중 하나는 스크린이 터치될 때 그래픽 사용자 인터페이스 요소를 활성화시키는 것의 효과를 미리보기 위해 사용된다. 이러한 미리보기 상태에서, 손가락 또는 스타일러스로 스크린 상의 그래픽 사용자 인터페이스 요소를 터치하는 것은 그 요소에 연관된 동작의 수행을 야기하지 않는다. 대신, 미리보기 상태에 있는 동안 스크린을 터치하면, 터치된 요소에 연관된 동작이 수행된다면 어떤 동작이 일어날지를 나타내는 오디오 큐가 사용자에게 제공된다.

Description

3 상태 터치 입력 시스템{THREE-STATE TOUCH INPUT SYSTEM}
사용자로부터 데이터 엔트리 또는 다른 입력을 수신하는 전통적인 키보드 및 다른 인간 기계 인터페이스(HMI)에 대한 대안으로서 터치 감지 디스플레이 스크린들이 점점 더 흔해지고 있다. 터치 스크린들은 휴대용 장치 및 위치 고정형 장치 양자를 포함하는 다양한 장치에서 사용된다. 터치 스크린들을 갖는 휴대용 장치들은 흔히 예를 들어 모바일 전화기들, PDA(personal digital assistant)들, 및 음악 및 비디오를 재생하는 개인용 미디어 플레이어들을 포함한다. 터치 스크린들을 사용하는 위치 고정형 장치들은 흔히 예를 들어 차량에서 사용되는 것들, POS(point-of-sale) 단말들, 및 의료 및 산업 응용에서 사용되는 장비들을 포함한다.
터치 스크린 상의 데이터를 직접 터치하고 조작하는 능력은 사용자들에 대해 강력한 매력을 가진다. 많은 점에서, 터치 스크린들은 전통적인 마우스보다 더 유리한 입력 메커니즘으로서 사용될 수 있다. 터치 스크린을 사용할 때, 사용자는 마우스로 사용자 인터페이스 위에 커서를 위치시켜야 하는 대신에 선택하기를 원하는 그래픽 사용자 인터페이스 요소(예를 들어 아이콘) 상에서 직접적으로 간단히 스크린을 두드릴 수 있다.
터치 스크린들은 컴퓨팅 장치로부터 사용자로의 출력을 디스플레이하는 역할과 사용자로부터 입력을 수신하는 역할 둘 다를 할 수 있다. 사용자의 입력 옵션들은 예를 들어 컨트롤, 네비게이션 또는 개체 아이콘들로서 스크린 상에 디스플레이될 수 있다. 사용자가 스타일러스 또는 손가락으로 스크린 상의 관련 아이콘을 터치함으로써 입력 옵션을 선택할 때, 컴퓨팅 장치는 터치의 위치를 감지하며, 그 아이콘을 제공하는 애플리케이션 또는 유틸리티에게 메시지를 전송한다.
종래의 터치 스크린 입력 장치들은 시각적으로 장애를 가진 사용자에게는 문제가 있을 수 있는데, 왜냐하면 그러한 사용자들은 스크린 상에 나타나는 소기의 그래픽 사용자 인터페이스 요소들에 접촉하기 전에는 그러한 요소와 자신의 손가락 또는 스타일러스의 정렬을 시각적으로 판단할 수 없기 때문이다. 추가로, 그러한 사용자들은 스크린에 접촉하기 전에 스크린을 터치하는 것의 효과를 검증하는 수단을 갖지 않으며, 터치 스크린에 접촉한 시점에서는 그러한 접촉에 응답하여 기저의 애플리케이션이 이미 활성화되어 있을 것이다.
이러한 제한을 극복하기 위해, 일 구현예에서 마우스와 같은 3 상태 입력 장치를 시뮬레이션하는 터치 스크린 입력 장치가 제공된다. 이러한 상태들 중 하나는 스크린이 터치될 때 그래픽 사용자 인터페이스 요소를 활성화한 것의 효과를 미리보기 위해 사용된다. 이러한 미리보기 상태에서, 손가락 또는 스타일러스로 스크린 상의 그래픽 사용자 인터페이스 요소를 터치하는 것은 그러한 요소에 연관된 동작의 수행을 야기하지 않는다. 오히려, 미리보기 상태에 있는 동안 스크린이 터치되면, 터치된 요소에 연관된 동작이 수행될 경우 어떤 동작이 일어날지를 나타내는 오디오 큐들이 사용자에게 제공된다.
일부 구현예들에서, 일단 사용자가 자신이 선택하고자 하는 그래픽 사용자 인터페이스 요소를 찾고 나면, 사용자는 첫 번째 손가락 또는 스타일러스가 그 요소와의 접촉을 유지하는 동안 두 번째 손가락 또는 스타일러스를 터치 스크린 상에 위치시킬 수 있다. 이러한 방식으로 소기의 그래픽 사용자 인터페이스 요소가 활성화될 수 있다. 즉, 두 번째 손가락 또는 스타일러스와 접촉함으로써 터치 스크린을 제2 상태에 두는 것은, 기저의 애플리케이션이 그러한 요소가 종래의 입력 장치를 사용하여 선택되었을 때 하던 것처럼 응답하게 한다.
본 개요는 이하의 상세한 설명에서 더 설명될 개념들 중 선택된 것들을 단순화된 형태로 소개하기 위해 제공된다. 본 개요는 청구되는 발명의 주제의 핵심적인 특징들 또는 본질적인 특징들을 식별하도록 의도된 것이 아니며, 또한 청구되는 발명의 대상의 범위를 결정함에 있어 도움이 되도록 의도된 것도 아니다.
도 1은 사용자가 사용자 입력들을 수신하기 위한 터치 스크린을 사용하여 장치와 상호작용하는 예시적인 휴대용 컴퓨팅 환경을 도시한다.
도 2는 터치 스크린이 이용될 수 있는 컴퓨팅 장치의 다양한 예시적인 형태 인자들을 도시한다.
도 3은 종래의 마우스 입력 장치를 위한 상태도를 도시한다.
도 4는 종래의 터치 스크린 입력 장치를 위한 상태도를 도시한다.
도 5는 3 상태 터치 스크린 입력 장치를 위한 상태도의 일례를 도시한다.
도 6은 사용자의 손가락이 옵션들의 메뉴를 표시하는 터치 스크린을 터치하는 것을 도시한다.
도 7은 도 6의 사용자의 손가락이 "스캐터 뷰"로 표기된 옵션을 터치하는 것을 도시한다.
도 8은 손가락이 도 6-7에 도시된 터치 스크린을 터치하는 것을 도시하는 것으로서, 이는 손가락이 스크린과 접촉한 위치 부근에 중심을 두고 터치 스크린 상에 원이 표시되게 한다.
도 9는 선택된 그래픽 사용자 인터페이스 요소를 활성화시키기 위해, 두 번째 손가락이 도 8에 도시된 터치 스크린을 터치하는 것을 도시한다.
도 10은 사용자 입력들을 수신하기 위해 터치 스크린을 이용하는 컴퓨팅 장치에 설치될 수 있는 기능적 컴포넌트를 도시한 예시적인 아키텍처이다.
도 1은 사용자(102)가 사용자 입력들을 수신하기 위한 터치 스크린(110)을 사용하여 장치(105)와 상호작용하는 예시적인 휴대용 컴퓨팅 환경(100)을 도시한다. 장치(105)는 도 1에 도시된 바와 같이, 흔히 모바일 전화기, 스마트 폰, PDA, 울트라 모바일 PC(personal computer), 핸드헬드형 게임 장치, 개인용 미디어 플레이어 등과 같은 휴대용 컴퓨팅 플랫폼 또는 정보 기기로서 구성된다. 전형적으로, 터치 스크린(110)은 디스플레이 컴포넌트 위에 구성되는 터치 센서 컴포넌트로 이루어진다. 디스플레이 컴포넌트는 PC 또는 랩톱 컴퓨터 상의 전형적인 모니터의 방식과 유사한 방식으로 이미지들을 디스플레이한다. 많은 응용들에서, 장치(105)는 경량, 박형 및 저비용으로 인해 액정 디스플레이(LCD)를 사용할 것이다. 그러나, 대안적인 응용들에서, 예를 들어 음극관(CRT), 플라즈마 스크린 및 전계 발광 스크린을 포함하는 다른 종래의 디스플레이 기술들이 사용될 수 있다.
터치 센서 컴포넌트는 디스플레이 컴포넌트 상단에 놓여진다. 터치 센서는 투명하여 디스플레이가 그것을 통해 보일 수 있게 한다. 많은 상이한 유형의 터치 센서 기술들이 알려져 있으며, 특정한 구현의 요구를 충족시키는 데에 적절한 대로 적용될 수 있다. 이러한 것들은 특히, 저항성, 용량성, 근거리(near field), 광학 이미징, 스트레인 게이지(strain guage), 분산 신호, 음향 펄스 인식, 적외선 및 표면 음향파 기술들을 포함한다. 일부 현재 터치 스크린은 다수의 동시적인 터치 포인트들을 구별할 수 있고/거나 압력 감지형이다. 터치 스크린(110)과의 상호작용은 전형적으로 손가락들 또는 엄지손가락들을 사용하여 달성되거나 비-용량성 유형의 터치 센서들에 대해서는 스타일러스도 사용될 수 있다.
데스크탑 컴퓨터들(1301), 노트북 컴퓨터들(1302), 태블릿 컴퓨터들(1303), 핸드헬드형 컴퓨터들(1304), PDA들(1305), 미디어 플레이어들(1306), 모바일 전화기들(1307) 등을 포함하여, 컴퓨팅 장치가 이용될 수 있는 다른 예시적인 폼 팩터들이 도 2에 도시된다. 추가로, 컴퓨터는 이러한 유형들의 조합, 예를 들어 PDA, 미디어 플레이어 및 모바일 전화기의 조합인 장치일 수 있다.
도 1 및 2에 도시된 형태 인자들 중 다수가 휴대용이지만, 본 구성은 터치 스크린들이 이용되는 어떠한 고정된 컴퓨팅 장치에서라도 이용될 수 있다. 이러한 장치들은 예를 들어 사용자들이 조회를 하거나 무인 체크 아웃을 수행하거나 다른 유형의 거래들을 완료할 수 있도록 하기 위해 항공사들, 은행들, 레스토랑들 및 소매 시설들에 의해 사용되는 것들과 같은 자동 입출금기(ATM), POS(point-of-sale) 단말들 또는 무인 키오스크들 등을 포함한다. 터치 스크린들이 예를 들어 기계들 또는 장비를 제어하고, 주문을 하고, 재고를 관리하는 등에 사용되는 산업, 의료 및 다른 응용들도 고려된다. 터치 스크린들은 또한 HVAC(heating, ventilation and air conditioning), 엔터테인먼트 및 네비게이션과 같은 서브시스템을 제어하기 위해 자동차들에서 더 흔해지고 있다. 새로운 서피스 컴퓨터 제품들(surface computer products), 특히 마이크로소프트사에 의한 마이크로소프트 서피스(Microsoft Surface™)도 본 입력 장치와 함께 사용하도록 적응가능할 수 있다.
여기에 설명되는 방법들, 기법들 및 시스템들의 이해를 용이하게 하기 위해, 그들의 기능을 모델링하는 상태도를 사용하여 종래의 마우스의 동작을 종래의 터치 스크린 입력 장치와 비교하는 것이 도움이 될 수 있다.
먼저, (기계식 마우스가 표면에서 들어올려질 때 발생하는 것과 같이), 마우스가 그것의 트래킹 범위를 벗어날 때, 마우스는 '범위 외'로 지칭될 수 있는 상태 0에 있다. 다음으로, 트래킹 범위 내에 있지만 버튼들 중 어느 것도 눌려지지 않은 마우스를 고찰해보자. 이러한 상태는 트래킹으로 지칭될 수 있으며, 스크린 상에 나타난 커서 또는 포인터가 마우스의 움직임을 따르는 상태를 말한다. 트래킹 상태는 상태 1로 지칭될 수 있다. 트래킹 상태에서, 마우스를 움직임으로써 커서 또는 포인터가 임의의 소기의 그래픽 사용자 인터페이스 요소 위에 위치할 수 있다. 또한, 마우스는 버튼이 눌려지면 제2 상태(상태 2로 지칭됨)에서 동작할 수 있다. 드래깅으로 지칭될 수 있는 이러한 상태에서, 그래픽 사용자 인터페이스 요소들 또는 개체들은 마우스의 움직임을 따르도록 디스플레이 상에서 이동된다("드래깅된다"). 선택은 버튼을 누르는 것과 해제하는 것을 수반하므로, 아이콘을 선택하는 동작은 드래깅 상태의 서브 상태로 고려될 수 있다는 것에 유의하여야 한다.
도 3은 위에서 설명된 마우스에 대한 상태도를 도시한다. 상태 0에서 마우스는 범위 밖에 있으며, 상태 1에서 그것은 트래킹 상태에 있다. 마우스는 그것을 범위 안으로 다시 가져오는 것에 의해 상태 0으로부터 상태 1로 진입할 수 있다. 기계식 마우스의 경우, 이것은 마우스를 마우스 패드와 같은 표면으로 복귀시키는 것을 수반한다. 마우스는 버튼을 누르는 것("클릭")에 의해 상태 1로부터 상태 2로 진입할 수 있다. 마우스는 또한 버튼을 해제하는 것에 의해 상태 2로부터 상태 1로 복귀할 수 있다.
도 4는 1비트의 압력, 즉 터치함 또는 터치하지 않음을 감지할 수 있을 뿐이라고 가정되는 종래의 터치 스크린 입력 장치에 대한 상태도를 도시한다. 마우스가 3가지 상태를 가지는 데 반하여, 터치 스크린 입력 장치는 상태 0(범위 외) 및 상태 2(드래깅)에 대응하는 2가지 상태만을 가질 뿐이다. 즉, 종래의 터치 스크린 입력 장치는 트래킹 상태를 갖지 않는다.
정상 시력의 사용자들은 스크린 상에 나타난 소기의 그래픽 사용자 인터페이스 요소에 접촉하기 전에 자신의 손가락 또는 스타일러스와 그러한 요소 사이의 정렬을 시각적으로 판단할 수 있으므로, 그러한 사용자들에 의해서는 종래의 터치 스크린 입력 장치에서의 트래킹 상태의 결여가 극복될 수 있다. 그러나, 시각적 장애를 가진 사용자는 스크린에 접촉하기 전에 스크린을 터치하는 것의 효과를 검증할 수단을 갖지 않으며, 스크린에 접촉한 시점에서는 그러한 접촉에 응답하여 기저의 애플리케이션이 이미 활성화되어 있을 것이다.
이러한 한계를 극복하기 위해, 마우스와 같은 3 상태 입력 장치를 시뮬레이션하는 터치 스크린 입력 장치가 제공된다. 스크린이 터치될 때 상태 2로 진입하는 효과를 미리보기 위해 추가적 상태가 사용된다. 이러한 미리보기 상태에서 스크린 상의 그래픽 사용자 인터페이스 요소를 터치하는 것은 그 요소에 연관된 동작의 수행을 유발하지 않는다. 대신, 미리보기 상태에 있는 동안 스크린이 터치되면, 터치 스크린 입력 장치가 상태 2에 있을 경우 어떤 동작이 일어날지를 나타내는 오디오 큐들이 사용자에게 제공된다.
도 5는 3 상태 터치 스크린 입력 장치에 대한 상태도의 일례를 도시한다. 상태 0 및 상태 2는 도 4에 도시된 상태 0 및 상태 2에 대응한다. 그러나 일반성을 위해, 도 5의 상태 2는 터치되고 있는 그래픽 사용자 인터페이스 요소를 드래깅하는 것 및 선택하는 것과 같은 동작들을 포함할 수 있는 터치 상태로 지칭된다는 것에 유의하여야 한다. 예를 들어, 제2 상태는 그래픽 사용자 인터페이스 요소가 터치 스크린을 따르는 제1 터치의 움직임에 응답하여 터치 스크린 상에서 드래깅되는 것을 허용할 수 있다. 이러한 두 상태에 추가로, 일부 구현들에서 오디오 미리보기 상태로 지칭될 수 있는 새로운 상태, 즉 상태 1이 또한 제공된다. 오디오 미리보기 상태는 단일 손가락 또는 스타일러스로 스크린을 터치하는 것에 의해 범위 외 상태(상태 0)로부터 진입될 수 있다. 이러한 상태에 있는 동안 다양한 그래픽 사용자 인터페이스 요소가 접촉되면, 접촉되고 있는 요소의 기능을 설명하는 오디오 큐가 제공된다. 예를 들어, 도 6에 도시된 바와 같이, 마이크로소프트 서피스(Microsoft Surface™) 컴퓨터 제품과 함께 사용되는 터치 스크린에 의해 사용자의 손가락이 수용된다. 손가락은 옵션들의 메뉴(205)를 표시하는 스크린을 터치하고 있다. 스크린 상에 손가락을 수용한 결과로, 터치 스크린 상에 원(210)이 생성된다. 도 7에서, 손가락은 "스캐터 뷰(Scatter View)"로 표기된 옵션을 터치한다. 이 터치에 응답하여, "스캐터 뷰"라고 말하는 오디오 큐가 생성된다.
사용자가 자신이 선택하고자 하는 그래픽 사용자 인터페이스 요소를 찾고 나면, 첫 번째 손가락 또는 스타일러스가 그 요소와의 접촉을 유지하는 동안, 사용자는 두 번째 손가락 또는 스타일러스를 터치 스크린 상에 위치시키는 것에 의해 상태 2로 진입할 수 있다. 이러한 방식으로 소기의 그래픽 사용자 인터페이스 요소가 활성화될 수 있다. 즉, 두 번째 손가락 또는 스타일러스와 접촉함으로써 터치 스크린을 제2 상태로 두는 것은, 기저의 애플리케이션이 그러한 요소가 종래의 입력 장치를 사용하여 선택될 때 하던 대로 응답하게 한다.
도 5에서 나타난 바와 같이, 사용자는 두 번째 손가락 또는 스타일러스를 터치 스크린으로부터 들어올리는 것에 의해 제2 상태에서 벗어날 수 있으며, 이는 스크린을 오디오 미리보기 상태로 복귀시킨다. 즉, 두 번째 손가락 또는 스타일러스의 부재의 검출은 스크린을 오디오 미리보기 상태로 복귀시킨다.
일부 구현들에서, 두 번째 손가락 또는 스타일러스를 스크린 상의 임의의 곳, 또는 대안적으로 스크린의 미리 정의된 부분에 위치시키는 것에 의해 오디오 미리보기 상태로부터 터치 상태로 진입할 수 있다. 다른 구현들에서, 사용자는 첫 번째 손가락 또는 스타일러스 가까이에서 스크린과 접촉한다. 예를 들어, 일부 경우들에서, 두 번째 손가락 또는 스타일러스는 첫 번째 손가락 또는 스타일러스로부터 미리 정의된 거리 내에서 접촉한다. 그러한 예가 도 8에 도시된다. 이러한 예에서, 터치 상태로 진입하기 위해 첫 번째 손가락 또는 스타일러스가 스크린과 접촉하는 위치 주변에 중심을 두고서 터치 스크린 상에 원(210)이 표시된다. 손가락은 "라지 아이템(Large Item)"으로 표기된 직사각형(220)을 접촉하고 있다. 직사각형(220)을 터치하면, 오디오 큐 "라지 아이템"이 사용자에게 제공된다. 터치 상태에 진입하기 위해, 사용자는 디스플레이되는 원(210) 내에서 스크린과 접촉하기 위해 두 번째 손가락 또는 스타일러스를 사용한다. 도 9는 터치 상태에서의 이러한 입력 장치를 도시한다. 두 번째 손가락은 도시된 바와 같이 원(210)과 겹치는 원(230)을 생성한다.
도 10은 사용자 입력들을 수신하기 위해 터치 스크린을 이용하는 컴퓨팅 장치에 설치될 수 있는 기능적 컴포넌트들을 도시한 예시적인 아키텍처(400)이다. 기능적 컴포넌트들은 소프트웨어, 하드웨어, 펌웨어, 또는 소프트웨어, 하드웨어 및 펌웨어의 다양한 조합을 사용하여 대안적으로 구현가능하다. 예를 들어, 예시적인 아키텍처(404) 내의 기능적 컴포넌트들은 런타임 동안 프로세서에 의해 메모리 내에 저장된 명령어들을 실행하는 것을 통해 생성될 수 있다.
호스트 애플리케이션(407)은 전형적으로 특정한 소기의 기능을 제공하기 위해 이용된다. 그러나, 일부 경우들에서, 호스트 애플리케이션들(407)에 의해 구현되는 특징들 및 기능들은 대안적으로 장치의 운영 체제 또는 미들웨어에 의해 제공될 수 있다. 예를 들어, 터치 스크린을 통한 파일 시스템 동작들 및 입력은 일부 구현들에서 기본 운영 체제 기능들로서 지원될 수 있다.
오디오 미리보기 컴포넌트(420)는 다양한 입력 이벤트들을 호스트 애플리케이션(407)에 노출시키도록 구성되며, 호스트 애플리케이션과 하드웨어 특정적인 입력 제어기들 간의 중재자로서 기능한다. 이러한 제어기들은 터치 스크린 제어기(425), 오디오 제어기(430) 및 아마도 다른 입력 제어기들(428)(예를 들어 키보드 제어기)을 포함하며, 이들은 전형적으로 장치 드라이버들로서 소프트웨어로 구현될 수 있다. 터치 스크린 제어기(425)는 도 11에서 단일 하드웨어 층(440)으로 추상화된 터치 스크린과 상호작용한다. 다른 기능들 중에서도, 터치 스크린 제어기(425)는 터치 좌표 및/또는 터치 스크린에 가해지고 있는 압력을 나타내는 데이터를 포착하도록 구성되며, 포착된 데이터를 전형적으로 입력 이벤트들의 형태로 오디오 미리보기 컴포넌트(420)에 다시 전송한다.
따라서, 오디오 미리보기 컴포넌트(420)는 터치 스크린 제어기(425)로부터 물리적 좌표들과 같은 입력 이벤트들을 수신하도록 구성된다. 입력 이벤트들의 성질은 터치 스크린의 상태를 결정한다. 즉, 사용자가 하나 또는 두 개의 손가락 또는 스타일러스로 스크린에 접촉하는 방식은 스크린이 범위 외, 오디오 미리보기 또는 터치 상태에 있는지를 결정한다. 그런 다음, 미리보기 상태에서, 오디오 미리보기 컴포넌트(420)는 터치되고 있거나 접촉되고 있는 그래픽 사용자 인터페이스에 의해 수행되는 기능에 관한 정보를 얻기 위해 호스트 애플리케이션으로의 적절한 호출을 작성한다. 예를 들어, 호스트 애플리케이션(407)이 프로그램적인 액세스를 허용하는 경우, 오디오 미리보기 컴포넌트(420)는 사용자가 오디오 미리보기 상태 또는 터치 상태 중 어느 하나에서 선택한 그래픽 사용자 인터페이스 요소를 식별하는 호스트 애플리케이션(407) 내의 데이터를 추출할 수 있다. 오디오 미리보기 컴포넌트(420)가 호스트 애플리케이션(407)의 컨텐츠에 프로그램적으로 액세스할 수 없는 경우, 호스트 프로그램은 필요한 정보를 오디오 미리보기 컴포넌트(420)에 노출할 수 있는 적절한 API들을 포함하도록 작성될 필요가 있을 수 있다. 전형적으로 텍스트 형식인 추출된 데이터는 텍스트-음성 변환기 또는 오디오 미리보기 컴포넌트(420)에 의해 액세스되는 모듈을 사용하여 텍스트-음성 변환을 거칠 수 있다. 대안적으로, 추출된 데이터는 터치되고 있거나 접촉되고 있는 그래픽 사용자 인터페이스 요소의 활성화에 의해 수행되는 기능을 나타내는 오디오 데이터를 생성하기 위해 사용될 수 있다. 예를 들어, 일부 경우들에서, "저장", "닫기" 등과 같은 흔하게 사용되는 그래픽 사용자 인터페이스 요소를 나타내기 위해 별개의 톤이 사용될 수 있다. 그런 다음, 오디오 미리보기 컴포넌트(420)는 오디오가 렌더링될 수 있도록 하드웨어 층(440) 내의 오디오 생성기에 구동 신호를 전송할 수 있는 오디오 제어기(434)에 오디오 데이터를 노출시킬 수 있다.
본 출원에서 사용될 때, 용어 "컴포넌트" 및 "시스템" 등은 하드웨어이든, 하드웨어와 소프트웨어의 조합이든, 소프트웨어이든, 또는 실행 중인 소프트웨어이든 간에, 컴퓨터 관련 엔터티 중 어느 하나를 지칭하는 것으로 의도된다. 예를 들어, 컴포넌트는 프로세서 상에서 실행되는 프로세스, 프로세서, 개체, 인스턴스, 실행 파일, 실행 스레드, 프로그램 및/또는 컴퓨터일 수 있지만, 이에 한정되지 않는다. 예로서, 컴퓨터 상에서 실행되는 애플리케이션 및 그 컴퓨터 둘 다가 컴포넌트일 수 있다. 프로세스 및/또는 실행 스레드 내에 하나 이상의 컴포넌트가 존재할 수 있으며, 컴포넌트는 하나의 컴퓨터에 국한될 수 있고/거나 둘 이상의 컴퓨터에 분산될 수 있다.
또한, 청구되는 발명의 대상은 표준 프로그래밍 및 엔지니어링 기법을 사용하여 개시된 발명의 대상을 구현하도록 컴퓨터를 제어하는 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 조합을 만들어내는 방법, 장치 또는 제조물로서 구현될 수 있다. 여기에서 사용된 용어 "제조물"은 임의의 컴퓨터 판독가능한 장치 또는 저장 매체로부터 액세스가능한 기계 판독가능한 컴퓨터 프로그램을 포괄하는 것으로 의도된다. 예를 들어, 컴퓨터 판독가능한 저장 매체는 자기 저장 장치(예를 들어 하드 디스크, 플로피 디스크, 자기 스트립 ...), 광학 디스크들(예를 들어 CD(compact disk), DVD(digital versatile disk)...), 스마트 카드들, 플래시 메모리 장치들(예를 들어 카드, 스틱, 키 드라이브...)을 포함할 수 있지만, 이에 한정되지 않는다. 물론, 당업자들은 청구된 발명의 대상의 범위 또는 사상을 벗어나지 않고서 이러한 구성에 다수의 변경들이 가해질 수 있다는 것을 인식할 것이다.
비록 발명의 대상이 구조적 특징들 및/또는 방법상의 동작들에 특정한 언어로 설명되었지만, 첨부된 청구항들에서 정의된 발명의 대상이 반드시 위에서 설명된 특정 특징들 또는 동작들에 한정되지 않는다는 것이 이해되어야 한다. 그보다는, 위에서 설명된 특정 특징들 및 동작들은 청구항들을 구현하는 예시적인 형태로서 개시된다.

Claims (22)

  1. 컴퓨팅 장치에서 수행되는 방법으로서,
    터치 스크린 상에 그래픽 사용자 인터페이스 요소를 디스플레이하는 단계와,
    상기 디스플레이된 그래픽 사용자 인터페이스 요소의 한 위치에서 상기 터치 스크린 상의 제1 터치를 수신하는 단계와,
    상기 제1 터치를 계속 수신하면서 상기 수신된 제1 터치에 응답하여, 상기 그래픽 사용자 인터페이스 요소와 연관된 정보를 나타내는 오디오 큐(audio cue)를 제공하는 것을 포함하는 제1 상태로 진입하는 단계와,
    상기 제1 상태에 있는 동안, 상기 제1 터치를 계속 수신하면서 상기 터치 스크린 상의 제2 터치를 수신하는 단계와,
    상기 제1 터치를 계속 수신하면서 상기 수신된 제2 터치에 응답하여, 상기 그래픽 사용자 인터페이스 요소와 연관된 기능을 수행하는 단계를 포함하는
    방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 제1 상태에 있는 동안 상기 제1 터치를 계속 수신하면서, 상기 수신된 제2 터치에 응답하여 제2 상태로 진입하는 단계를 더 포함하되,
    상기 제2 상태에 있는 동안 상기 제1 터치가 상기 터치 스크린을 따라 움직이는 것에 응답하여 상기 그래픽 사용자 인터페이스 요소가 드래깅되는 것이 허용되는
    방법.
  4. 제1항에 있어서,
    상기 제1 상태에 있는 동안 상기 제1 터치를 계속 수신하면서, 상기 수신된 제2 터치에 응답하여 제2 상태로 진입하는 단계를 더 포함하되,
    상기 제2 상태로의 진입은 상기 제2 터치가 상기 터치 스크린의 미리 정의된 부분 상에서 수신되는 경우에만 수행되는
    방법.
  5. 제1항에 있어서,
    상기 제1 상태에 있는 동안 상기 제1 터치를 계속 수신하면서, 상기 수신된 제2 터치에 응답하여 제2 상태로 진입하는 단계를 더 포함하되,
    상기 제2 상태로의 진입은 상기 제2 터치가 상기 제1 터치의 수신 위치로부터 미리 정의된 거리보다 적게 떨어진 상기 터치 스크린의 부분 상에서 수신되는 경우에만 수행되는
    방법.
  6. 제1항에 있어서,
    상기 그래픽 사용자 인터페이스 요소는 전자 장치 상에서 실행되는 애플리케이션의 사용자 인터페이스의 일부분을 표시하는
    방법.
  7. 제6항에 있어서,
    상기 제1 상태에 있는 동안 상기 애플리케이션은 상기 기능에 따라 응답하지 않는
    방법.
  8. 삭제
  9. 컴퓨팅 장치로서,
    적어도 하나의 프로세서와,
    메모리와,
    터치 스크린과,
    소프트웨어를 저장한 컴퓨터 판독가능 기록 매체를 포함하되,
    상기 컴퓨팅 장치는 상기 소프트웨어에 따라,
    상기 터치 스크린 상에 그래픽 사용자 인터페이스 요소를 디스플레이하고,
    상기 디스플레이된 그래픽 사용자 인터페이스 요소의 한 위치에서 상기 터치 스크린 상의 제1 터치를 수신하며,
    상기 제1 터치를 계속 수신하면서 상기 수신된 제1 터치에 응답하여, 상기 컴퓨팅 장치로 하여금 상기 그래픽 사용자 인터페이스 요소와 연관된 정보를 나타내는 오디오 큐를 제공하게 하는 제1 상태로 진입하고,
    상기 제1 상태에 있는 동안, 상기 제1 터치를 계속 수신하면서 상기 터치 스크린 상의 제2 터치를 수신하며,
    상기 제1 터치를 계속 수신하면서 상기 수신된 제2 터치에 응답하여, 상기 그래픽 사용자 인터페이스 요소와 연관된 기능을 수행하도록 구성되는
    컴퓨팅 장치.
  10. 제9항에 있어서,
    상기 오디오 큐는 음성(speech)을 포함하는
    컴퓨팅 장치.
  11. 삭제
  12. 제9항에 있어서,
    상기 제1 상태에 있는 동안 상기 제1 터치를 계속 수신하면서, 상기 수신된 제2 터치에 응답하여 제2 상태로 진입하도록 더 구성되고,
    상기 제2 상태에 있는 동안 상기 제1 터치가 상기 터치 스크린을 따라 움직이는 것에 응답하여 상기 그래픽 사용자 인터페이스 요소가 드래깅되는 것이 허용되는
    컴퓨팅 장치.
  13. 제9항에 있어서,
    상기 제1 상태에 있는 동안 상기 제1 터치를 계속 수신하면서, 상기 수신된 제2 터치에 응답하여 제2 상태로 진입하도록 더 구성되고,
    상기 제2 상태로의 진입은 상기 제2 터치가 상기 터치 스크린의 미리 정의된 부분 상에서 수신되는 경우에만 수행되는
    컴퓨팅 장치.
  14. 제9항에 있어서,
    상기 제1 상태에 있는 동안 상기 제1 터치를 계속 수신하면서, 상기 수신된 제2 터치에 응답하여 제2 상태로 진입하도록 더 구성되고,
    상기 제2 상태로의 진입은 상기 제2 터치가 상기 제1 터치의 수신 위치로부터 미리 정의된 거리보다 적게 떨어진 상기 터치 스크린의 부분 상에서 수신된 경우에만 수행되는
    컴퓨팅 장치.
  15. 제9항에 있어서,
    상기 그래픽 사용자 인터페이스 요소는 전자 장치 상에서 실행되는 애플리케이션의 사용자 인터페이스의 일부분을 나타내며, 상기 제1 상태에 있는 동안 상기 애플리케이션은 상기 기능에 따라 응답하지 않는
    컴퓨팅 장치.

  16. 실행 가능한 명령어를 저장하는 적어도 하나의 컴퓨터 메모리 장치로서,
    상기 명령어는 컴퓨팅 장치에 의한 실행에 기초하여, 상기 컴퓨팅 장치로 하여금,
    터치 스크린 상에 그래픽 사용자 인터페이스 요소를 디스플레이하고,
    상기 디스플레이된 그래픽 사용자 인터페이스 요소의 한 위치에서 상기 터치 스크린 상의 제1 터치를 수신하며,
    상기 제1 터치를 계속 수신하면서 상기 수신된 제1 터치에 응답하여, 상기 컴퓨팅 장치로 하여금 상기 그래픽 사용자 인터페이스 요소와 연관된 정보를 나타내는 오디오 큐를 제공하게 하는 제1 상태로 진입하고,
    상기 제1 상태에 있는 동안, 상기 제1 터치를 계속 수신하면서 상기 터치 스크린 상의 제2 터치를 수신하며,
    상기 제1 터치를 계속 수신하면서 상기 수신된 제2 터치에 응답하여, 상기 그래픽 사용자 인터페이스 요소와 연관된 기능을 수행하도록 구성하는
    적어도 하나의 컴퓨터 메모리 장치.
  17. 제16항에 있어서,
    상기 오디오 큐는 음성을 포함하는
    적어도 하나의 컴퓨터 메모리 장치.
  18. 제16항에 있어서,
    상기 실행 가능한 명령어는 상기 컴퓨팅 장치로 하여금,
    상기 제1 상태에 있는 동안 상기 제1 터치를 계속 수신하면서, 상기 수신된 제2 터치에 응답하여 제2 상태로 진입하도록 더 구성하되,
    상기 제2 상태에 있는 동안 상기 제1 터치가 상기 터치 스크린을 따라 움직이는 것에 응답하여 상기 그래픽 사용자 인터페이스 요소가 드래깅되는 것이 허용되는
    적어도 하나의 컴퓨터 메모리 장치.
  19. 제16항에 있어서,
    상기 그래픽 사용자 인터페이스 요소는 전자 장치 상에서 실행되는 애플리케이션의 사용자 인터페이스의 일부분을 나타내는
    적어도 하나의 컴퓨터 메모리 장치.
  20. 제19항에 있어서,
    상기 제1 상태에 있는 동안 상기 애플리케이션은 상기 기능에 따라 응답하지 않는
    적어도 하나의 컴퓨터 메모리 장치.
  21. 제16항에 있어서,
    상기 실행 가능한 명령어는 상기 컴퓨팅 장치로 하여금,
    상기 제1 상태에 있는 동안 상기 제1 터치를 계속 수신하면서, 상기 수신된 제2 터치에 응답하여 제2 상태로 진입하도록 더 구성하고,
    상기 제2 상태로의 진입은 상기 제2 터치가 상기 터치 스크린의 미리 정의된 부분 상에서 수신되는 경우에만 수행되는
    컴퓨터 메모리 장치.
  22. 제16항에 있어서,
    상기 실행 가능한 명령어는 상기 컴퓨팅 장치로 하여금,
    상기 제1 상태에 있는 동안 상기 제1 터치를 계속 수신하면서, 상기 수신된 제2 터치에 응답하여 제2 상태로 진입하도록 더 구성하고,
    상기 제2 상태로의 진입은 상기 제2 터치가 상기 제1 터치의 수신 위치로부터 미리 정의된 거리보다 적게 덜어진 상기 터치 스크린의 부분 상에서 수신되는 경우에만 수행되는
    컴퓨터 메모리 장치.
KR1020127017151A 2009-12-03 2010-11-23 3 상태 터치 입력 시스템 KR101872533B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/630,381 US20110138284A1 (en) 2009-12-03 2009-12-03 Three-state touch input system
US12/630,381 2009-12-03
PCT/US2010/057701 WO2011068713A2 (en) 2009-12-03 2010-11-23 Three-state touch input system

Publications (2)

Publication Number Publication Date
KR20120117809A KR20120117809A (ko) 2012-10-24
KR101872533B1 true KR101872533B1 (ko) 2018-08-02

Family

ID=44083226

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127017151A KR101872533B1 (ko) 2009-12-03 2010-11-23 3 상태 터치 입력 시스템

Country Status (9)

Country Link
US (1) US20110138284A1 (ko)
EP (1) EP2507698B1 (ko)
JP (1) JP5775526B2 (ko)
KR (1) KR101872533B1 (ko)
CN (1) CN102763062B (ko)
AU (1) AU2010326223B2 (ko)
CA (1) CA2779706C (ko)
RU (1) RU2559749C2 (ko)
WO (1) WO2011068713A2 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9953392B2 (en) 2007-09-19 2018-04-24 T1V, Inc. Multimedia system and associated methods
US9965067B2 (en) 2007-09-19 2018-05-08 T1V, Inc. Multimedia, multiuser system and associated methods
US8600816B2 (en) * 2007-09-19 2013-12-03 T1visions, Inc. Multimedia, multiuser system and associated methods
EP2490113B1 (en) * 2011-02-15 2016-11-23 Lg Electronics Inc. Display device and method of controlling operation thereof
TWI441052B (zh) * 2011-02-24 2014-06-11 Avermedia Tech Inc 手勢操作方法及多媒體播放裝置
US20130021269A1 (en) * 2011-07-20 2013-01-24 Google Inc. Dynamic Control of an Active Input Region of a User Interface
WO2013068793A1 (en) * 2011-11-11 2013-05-16 Nokia Corporation A method, apparatus, computer program and user interface
KR20170106506A (ko) * 2012-03-21 2017-09-20 김시환 단계적 정보 제공 시스템 및 방법
JP5798532B2 (ja) * 2012-08-23 2015-10-21 株式会社Ｎｔｔドコモ ユーザインタフェース装置、ユーザインタフェース方法及びプログラム
CN102902477A (zh) * 2012-08-24 2013-01-30 中国电力科学研究院 一种基于触摸屏的电力系统仿真控制方法
KR101940220B1 (ko) 2012-10-23 2019-01-18 엘지디스플레이 주식회사 전원제어부를 포함하는 표시장치 및 그 구동방법
JP5806270B2 (ja) * 2013-09-21 2015-11-10 株式会社豊田自動織機 タッチスイッチモジュール
CN104516559A (zh) * 2013-09-27 2015-04-15 华硕电脑股份有限公司 触控输入装置的多点触控方法
CN103942000A (zh) * 2014-04-23 2014-07-23 宁波保税区攀峒信息科技有限公司 —种触摸事件识别方法
US20160267800A1 (en) * 2014-11-03 2016-09-15 Genius Factory Inc. Electronic device and method for providing learning information using the same
US9542037B2 (en) 2015-03-08 2017-01-10 Apple Inc. Device, method, and user interface for processing intensity of touch contacts
US10015364B2 (en) * 2015-05-11 2018-07-03 Pictureworks Pte Ltd System and method for previewing digital content
US10671343B1 (en) * 2016-06-30 2020-06-02 Amazon Technologies, Inc. Graphical interface to preview functionality available for speech-enabled processing
DE102016216318A1 (de) 2016-08-30 2018-03-01 Continental Automotive Gmbh Verfahren und Vorrichtung zur Bedienung eines elektronischen Gerätes
EP3736677A1 (en) * 2019-05-10 2020-11-11 MyScript A method and corresponding device for selecting and editing handwriting input elements
US20200379716A1 (en) * 2019-05-31 2020-12-03 Apple Inc. Audio media user interface
CN110908580B (zh) * 2019-11-11 2021-11-02 广州视源电子科技股份有限公司 控制应用的方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006139615A (ja) * 2004-11-12 2006-06-01 Access Co Ltd 表示装置、メニュー表示プログラムおよびタブ表示プログラム
JP2008204275A (ja) * 2007-02-21 2008-09-04 Konica Minolta Business Technologies Inc 入力操作装置および入力操作方法

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4307266A (en) * 1978-08-14 1981-12-22 Messina John D Communication apparatus for the handicapped
US5483261A (en) * 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
US5825352A (en) * 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
US6009355A (en) * 1997-01-28 1999-12-28 American Calcar Inc. Multimedia information and control system for automobiles
US7614008B2 (en) * 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US9292111B2 (en) * 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US7358956B2 (en) * 1998-09-14 2008-04-15 Microsoft Corporation Method for providing feedback responsive to sensing a physical presence proximate to a control of an electronic device
US6532005B1 (en) * 1999-06-17 2003-03-11 Denso Corporation Audio positioning mechanism for a display
JP2001134382A (ja) * 1999-11-04 2001-05-18 Sony Corp 図形処理装置
US6999066B2 (en) * 2002-06-24 2006-02-14 Xerox Corporation System for audible feedback for touch screen displays
US7023427B2 (en) * 2002-06-28 2006-04-04 Microsoft Corporation Method and system for detecting multiple touches on a touch-sensitive screen
US7814439B2 (en) * 2002-10-18 2010-10-12 Autodesk, Inc. Pan-zoom tool
US20050071761A1 (en) * 2003-09-25 2005-03-31 Nokia Corporation User interface on a portable electronic device
JP4387242B2 (ja) * 2004-05-10 2009-12-16 株式会社バンダイナムコゲームス プログラム、情報記憶媒体及びゲーム装置
US20070182595A1 (en) * 2004-06-04 2007-08-09 Firooz Ghasabian Systems to enhance data entry in mobile and fixed environment
WO2006020305A2 (en) * 2004-07-30 2006-02-23 Apple Computer, Inc. Gestures for touch sensitive input devices
US20060077182A1 (en) * 2004-10-08 2006-04-13 Studt Peter C Methods and systems for providing user selectable touch screen functionality
US7735012B2 (en) * 2004-11-04 2010-06-08 Apple Inc. Audio user interface for computing devices
FR2878344B1 (fr) * 2004-11-22 2012-12-21 Sionnest Laurent Guyot Dispositif de commandes et d'entree de donnees
US7728818B2 (en) * 2005-09-30 2010-06-01 Nokia Corporation Method, device computer program and graphical user interface for user input of an electronic device
US20090213086A1 (en) * 2006-04-19 2009-08-27 Ji Suk Chae Touch screen device and operating method thereof
KR20070113022A (ko) * 2006-05-24 2007-11-28 엘지전자 주식회사 사용자 입력에 반응하는 터치스크린 장치 및 이의 작동방법
US20070257891A1 (en) * 2006-05-03 2007-11-08 Esenther Alan W Method and system for emulating a mouse on a multi-touch sensitive surface
KR100748469B1 (ko) * 2006-06-26 2007-08-10 삼성전자주식회사 키패드 터치에 의한 사용자 인터페이스 방법 및 그 휴대단말기
US7880728B2 (en) * 2006-06-29 2011-02-01 Microsoft Corporation Application switching via a touch screen interface
US7843427B2 (en) * 2006-09-06 2010-11-30 Apple Inc. Methods for determining a cursor position from a finger contact with a touch screen display
US7581186B2 (en) * 2006-09-11 2009-08-25 Apple Inc. Media manager with integrated browsers
JP2008097172A (ja) * 2006-10-10 2008-04-24 Sony Corp 表示装置および表示方法
US20080129520A1 (en) * 2006-12-01 2008-06-05 Apple Computer, Inc. Electronic device with enhanced audio feedback
US7777732B2 (en) * 2007-01-03 2010-08-17 Apple Inc. Multi-event input system
US8970503B2 (en) * 2007-01-05 2015-03-03 Apple Inc. Gestures for devices having one or more touch sensitive surfaces
US7924271B2 (en) * 2007-01-05 2011-04-12 Apple Inc. Detecting gestures on multi-event sensitive devices
US8144129B2 (en) * 2007-01-05 2012-03-27 Apple Inc. Flexible touch sensing circuits
US7877707B2 (en) * 2007-01-06 2011-01-25 Apple Inc. Detecting and interpreting real-world and security gestures on touch and hover sensitive devices
US8519964B2 (en) * 2007-01-07 2013-08-27 Apple Inc. Portable multifunction device, method, and graphical user interface supporting user navigations of graphical objects on a touch screen display
WO2008128096A2 (en) * 2007-04-11 2008-10-23 Next Holdings, Inc. Touch screen system with hover and click input methods
KR100894966B1 (ko) * 2007-06-07 2009-04-24 에스케이 텔레콤주식회사 이동 단말기에서 멀티 터치를 동시 인식하는 방법 및 멀티터치를 동시 인식 가능한 이동 단말기
US9830804B2 (en) * 2007-06-19 2017-11-28 At & T Intellectual Property, I, L.P. Methods, apparatuses, and computer program products for implementing situational control processes
WO2009044770A1 (ja) * 2007-10-02 2009-04-09 Access Co., Ltd. 端末装置、リンク選択方法および表示プログラム
KR101398134B1 (ko) * 2007-10-04 2014-05-20 엘지전자 주식회사 휴대 단말기의 동영상 재생장치 및 방법
US8063905B2 (en) * 2007-10-11 2011-11-22 International Business Machines Corporation Animating speech of an avatar representing a participant in a mobile communication
US20090102805A1 (en) * 2007-10-18 2009-04-23 Microsoft Corporation Three-dimensional object simulation using audio, visual, and tactile feedback
US20090122018A1 (en) * 2007-11-12 2009-05-14 Leonid Vymenets User Interface for Touchscreen Device
US20090166098A1 (en) * 2007-12-31 2009-07-02 Apple Inc. Non-visual control of multi-touch device
KR101499546B1 (ko) * 2008-01-17 2015-03-09 삼성전자주식회사 터치 스크린 장치의 디스플레이 영역 제어 방법, 장치, 및기록매체
US8237665B2 (en) * 2008-03-11 2012-08-07 Microsoft Corporation Interpreting ambiguous inputs on a touch-screen
JP4853507B2 (ja) * 2008-10-30 2012-01-11 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US8456420B2 (en) * 2008-12-31 2013-06-04 Intel Corporation Audible list traversal
US9489131B2 (en) * 2009-02-05 2016-11-08 Apple Inc. Method of presenting a web page for accessibility browsing
KR101597553B1 (ko) * 2009-05-25 2016-02-25 엘지전자 주식회사 기능 실행 방법 및 그 장치
US8681106B2 (en) * 2009-06-07 2014-03-25 Apple Inc. Devices, methods, and graphical user interfaces for accessibility using a touch-sensitive surface
US9262063B2 (en) * 2009-09-02 2016-02-16 Amazon Technologies, Inc. Touch-screen user interface
EP2494432B1 (en) * 2009-10-27 2019-05-29 Harmonix Music Systems, Inc. Gesture-based user interface
US8446392B2 (en) * 2009-11-16 2013-05-21 Smart Technologies Ulc Method for determining the location of a pointer in a pointer input region, and interactive input system executing the method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006139615A (ja) * 2004-11-12 2006-06-01 Access Co Ltd 表示装置、メニュー表示プログラムおよびタブ表示プログラム
JP2008204275A (ja) * 2007-02-21 2008-09-04 Konica Minolta Business Technologies Inc 入力操作装置および入力操作方法

Also Published As

Publication number Publication date
EP2507698B1 (en) 2020-09-02
CN102763062A (zh) 2012-10-31
CA2779706A1 (en) 2011-06-09
US20110138284A1 (en) 2011-06-09
EP2507698A4 (en) 2016-05-18
CN102763062B (zh) 2015-09-16
AU2010326223A1 (en) 2012-05-24
WO2011068713A3 (en) 2011-09-29
AU2010326223B2 (en) 2014-05-01
RU2012127679A (ru) 2014-01-10
CA2779706C (en) 2019-06-04
RU2559749C2 (ru) 2015-08-10
JP2013513164A (ja) 2013-04-18
KR20120117809A (ko) 2012-10-24
WO2011068713A2 (en) 2011-06-09
EP2507698A2 (en) 2012-10-10
JP5775526B2 (ja) 2015-09-09

Similar Documents

Publication Publication Date Title
KR101872533B1 (ko) 3 상태 터치 입력 시스템
US9146672B2 (en) Multidirectional swipe key for virtual keyboard
JP5129140B2 (ja) タッチスクリーン型インターフェースを用いるコンピュータの作動
US10156980B2 (en) Toggle gesture during drag gesture
US11307758B2 (en) Single contact scaling gesture
US8451236B2 (en) Touch-sensitive display screen with absolute and relative input modes
JP2018049657A (ja) ユーザ入力の意図の分類
US20140306897A1 (en) Virtual keyboard swipe gestures for cursor movement
US20100214239A1 (en) Method and touch panel for providing tactile feedback
US20110157028A1 (en) Text entry for a touch screen
JP2012208962A (ja) タッチスクリーン型ユーザ・インターフェース上への仮想入力装置の配置
TWI463355B (zh) 多點觸控介面之訊號處理裝置、訊號處理方法及使用者介面圖像選取方法
KR20110036005A (ko) 가상 터치패드
JP2011248888A (ja) デュアルスクリーン上のユーザジェスチャのための方法及びデュアルスクリーンデバイス
JP2010170573A (ja) グラフィカル・ユーザ・インターフェース・オブジェクトを操作する方法及びコンピュータシステム
US9026691B2 (en) Semi-autonomous touch I/O device controller operation under control of host

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right