KR20100126726A - 터치 스크린 상의 모호한 입력들의 해석 - Google Patents

터치 스크린 상의 모호한 입력들의 해석 Download PDF

Info

Publication number
KR20100126726A
KR20100126726A KR1020107019888A KR20107019888A KR20100126726A KR 20100126726 A KR20100126726 A KR 20100126726A KR 1020107019888 A KR1020107019888 A KR 1020107019888A KR 20107019888 A KR20107019888 A KR 20107019888A KR 20100126726 A KR20100126726 A KR 20100126726A
Authority
KR
South Korea
Prior art keywords
click
touch
touch screen
location
target
Prior art date
Application number
KR1020107019888A
Other languages
English (en)
Other versions
KR101597844B1 (ko
Inventor
리차드 제이. 던칸
르로이 비 킬리
데이비드 에이. 페리
토마스 에이치. 알파인
크리스 데바라이
데이비드 에이. 매튜스
스티븐 피. 닷지
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=41062501&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20100126726(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20100126726A publication Critical patent/KR20100126726A/ko
Application granted granted Critical
Publication of KR101597844B1 publication Critical patent/KR101597844B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros

Abstract

각각의 클릭 타겟 위치들에 배치된 터치 스크린 디스플레이 상의 클릭 타겟들과 관련하여 모호한 클릭 이벤트들을 해석하기 위한 방법은 터치 위치에서 터치를 검출하는 단계 및 터치 위치가 클릭 타겟 위치에 대응하는지를 결정하는 단계를 포함한다. 본 방법은 또한 미리 결정된 클릭 영역에서 가까운 클릭 타겟 위치들을 검색하는 단계, 및 미리 결정된 클릭 영역 내에서 제1 클릭 타겟 위치를 발견한 때, 클릭 이벤트를 식별하기 위해 터치를 제1 클릭 타겟 위치와 연관시키는 단계를 포함한다. 터치 스크린 디스플레이와 관련하여 정확한 터치 입력 타겟팅을 용이하게 하기 위한 컴퓨팅 장치는 디스플레이 컴포넌트, 터치 검출 컴포넌트, 터치를 클릭 타겟과 연관시키는 타겟팅 컴포넌트, 및 터치를 우측 클릭 이벤트, 좌측 클릭 이벤트 또는 드래그 이벤트 중 하나와 연관시키는 이벤트 검출 컴포넌트를 포함한다.

Description

터치 스크린 상의 모호한 입력들의 해석{INTERPRETING AMBIGUOUS INPUTS ON A TOUCH-SCREEN}
터치 스크린 상의 데이터를 직접 터치하여 조작하는 능력은 사용자들에게 강한 호소력을 갖는다. 많은 점에서, 터치 스크린들은 전통적인 마우스보다 이로운 입력 메커니즘으로서 이용될 수 있다. 터치 스크린을 이용할 때, 사용자는 마우스로 사용자 인터페이스 상에 커서를 배치해야 하는 것이 아니라 그가 선택하기를 원하는 사용자 인터페이스 요소 상에서 직접 스크린을 간단히 가볍게 두드릴 수 있다. 그러나, 사용자들은 종종 그들이 마우스로 할 수 있는 만큼 정확하게 터치 스크린 상에서 아이템들 또는 클릭 타겟들을 선택하는 것이 어렵다는 것을 발견한다.
본 요약은 아래의 상세한 설명에서 더 설명되는 개념들의 선택을 간단한 형태로 소개하기 위해 제공된다. 본 요약은 청구 발명의 중요한 특징들 또는 본질적인 특징들을 식별하고자 하는 의도도 없고, 청구 발명의 범위를 결정하는 보조물로서 사용되는 것도 의도하지 않는다.
본 발명의 실시예들은 터치 스크린 디스플레이 상의 터치를 분석하여 터치가 클릭 타겟에 대응하는지를 판정하는 것을 가능하게 한다. 터치 스크린 상의 터치가 클릭 타겟에 대응하지 않는 경우, 가까운 클릭 타겟을 결정하기 위한 검색이 수행될 수 있다. 이어서, 터치는 가까운 클릭 타겟과 연관될 수 있다. 본 발명의 추가 실시예들은 둘 이상의 클릭 타겟에 대응할 수 있는 터치 스크린 상의 터치를 명확하게 하는 것과 관련된다.
본 발명의 일 실시예에 따르면, 터치 스크린 디스플레이 상의 클릭 타겟들과 관련하여 정확한 터치 입력 타겟팅을 용이하게 하는 컴퓨팅 장치가 제공될 수 있다. 컴퓨팅 장치는 터치 스크린 디스플레이 상의 터치를 감지하는 터치 검출 컴포넌트를 포함할 수 있다. 컴퓨팅 장치는 가까운 클릭 타겟들을 검색하는 타겟팅 컴포넌트, 및 터치를 적절한 클릭 타겟과 연관시키는 것을 용이하게 하는 명확화 컴포넌트를 더 포함할 수 있다.
본 발명의 이들 및 다른 양태들은 아래의 설명, 도면들 및 특허청구범위들을 읽을 때 이 분야의 통상의 기술자에게 명백해질 것이다.
본 발명은 첨부된 도면들을 참조하여 아래에 상세히 설명된다.
도 1은 본 발명을 구현하는 데 사용하기에 적합한 예시적인 컴퓨팅 환경의 블록도.
도 2는 본 발명의 일 실시예에 따른 예시적인 시스템의 블록도.
도 3은 터치 스크린 디스플레이 상에 표시된 하나 이상의 클릭 타겟과 관련하여 모호한 터치 입력을 해석하는 본 발명의 일 실시예에 따른 예시적인 방법을 나타내는 흐름도.
도 4는 터치의 위치에 대응하는 제1 클릭 타겟을 결정하기 위한 본 발명의 일 실시예에 따른 예시적인 알고리즘을 나타내는 흐름도.
도 5는 본 발명의 일 실시예에 따른 터치 타겟 해석 알고리즘의 예시적인 실행을 나타내는 개략도.
도 6은 본 발명의 일 실시예에 따른 명확화 확대기를 나타내는 예시적인 스크린 샷.
본 발명의 내용은 법적 요건을 충족시키기 위해 본 명세서에 구체적으로 설명된다. 그러나, 설명 자체는 본 특허의 범위를 제한하고자 하는 것은 아니다. 오히려, 본 발명자들은 청구 발명이 다른 현재 또는 미래의 기술들과 관련하여 본 명세서에 설명되는 것들과 유사한 상이한 단계들 또는 단계들의 조합들을 포함하도록 다른 방식들로 구현될 수도 있음을 고려하였다. 더욱이, "단계" 및/또는 "블록"이라는 용어는 본 명세서에서 이용되는 방법들의 상이한 요소들을 나타내는 데 사용될 수 있지만, 이러한 용어는 개별 단계들의 순서가 명시적으로 설명되지 않는 한 그리고 명시적으로 설명될 때를 제외하고는 여기에 개시되는 다양한 단계들 사이의 임의의 특정 순서를 나타내는 것으로 해석되지 않아야 한다.
본 발명의 다양한 양태에 대한 일반적인 배경을 제공하기 위하여 본 발명의 다양한 양태들이 구현될 수 있는 예시적인 운영 환경이 아래에 설명된다. 먼저, 특히 도 1을 참조하면, 본 발명의 실시예들을 구현하기 위한 예시적인 운영 환경이 도시되고, 일반적으로 컴퓨팅 장치(100)로서 지시된다. 컴퓨팅 장치(100)는 적합한 컴퓨팅 환경의 일례에 불과하며, 본 발명의 용도 또는 기능성의 범위에 관해 어떤 제한을 암시하고자 하는 것이 아니다. 컴퓨팅 장치(100)가 도시된 컴포넌트들 중 임의의 하나 또는 그 컴포넌트들의 임의의 조합과 관련하여 어떤 의존성 또는 요구사항을 갖는 것으로 해석되어서는 안된다.
본 발명은 컴퓨터, 또는 개인용 휴대 단말기 또는 다른 핸드헬드 장치와 같은 다른 기계에 의해 실행되는 프로그램 모듈들과 같은 컴퓨터 실행 가능 명령어들을 포함하는 컴퓨터 코드 또는 기계 사용 가능 명령어들과 일반적으로 관련하여 설명될 것이다. 일반적으로, 루틴, 프로그램, 개체, 컴포넌트, 데이터 구조 등을 포함하는 프로그램 모듈들은 특정 태스크를 수행하거나 특정 추상 데이터 유형을 구현하는 코드를 지칭한다. 본 발명은 핸드헬드 장치들, 소비자 전자 장치들, 범용 컴퓨터들, 더 특수한 컴퓨팅 장치들 등을 포함하는 다양한 시스템 구성들에서 실시될 수 있다. 예를 들어, 본 발명은 현금 자동 지급기(ATM), 이동 전화, POS(point of sale) 장치, 정보 키오스크 및 기표소에서 실시될 수 있다. 본 발명은 통신 네트워크를 통해 연결되어 있는 원격 처리 장치들에 의해 태스크들이 수행되는 분산 컴퓨팅 환경에서 실시될 수도 있다.
도 1을 참조하면, 예시적인 컴퓨팅 장치(100)는 메모리(112), 하나 이상의 프로세서(114), 하나 이상의 프리젠테이션 컴포넌트(116), 입출력 포트들(118), 입출력 컴포넌트들(120) 및 예시적인 전원(122)을 직접 또는 간접 결합하는 버스(110)를 포함한다. 버스(110)는 (어드레스 버스, 데이터 버스 또는 이들의 조합과 같은) 하나 이상의 버스일 수 있는 것을 나타낸다. 도 1의 다양한 블록들은 명료화를 위해 선들로 표시되지만, 다양한 컴포넌트들의 묘사는 그렇게 명확하지 않으며, 은유적으로 그러한 선들은 더 정확하게는 흐리거나 희미할 것이다. 예를 들어, 디스플레이 장치와 같은 프리젠테이션 컴포넌트는 I/O 컴포넌트인 것으로 간주될 수 있다. 또한, 프로세서들은 메모리를 구비한다. 그러한 것이 기술의 속성임을 인식하며, 도 1은 본 발명의 하나 이상의 실시예와 관련하여 사용될 수 있는 예시적인 컴퓨팅 장치를 예시할 뿐이라는 것을 되풀이한다. "워크스테이션", "서버", "랩탑", "핸드헬드 장치" 등은 모두 도 1의 범위 내에서 고려되고 "컴퓨팅 장치"를 지칭하므로 그러한 카테고리들 사이에는 차이가 없다.
컴퓨팅 장치(100)는 통상적으로 각종 컴퓨터 판독 가능 매체를 포함한다. 컴퓨터 판독 가능 매체는 컴퓨팅 장치(100)에 의해 액세스될 수 있는 임의의 이용 가능 매체일 수 있으며, 휘발성 및 비휘발성 매체, 이동식 및 비이동식 매체 양자를 포함한다. 제한이 아니라 예로서, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보를 저장하는 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체 양자를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital versatile disk) 또는 기타 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 원하는 정보를 저장하는 데 사용될 수 있고 컴퓨팅 장치(100)에 의해 액세스될 수 있는 임의의 기타 매체를 포함하지만 이에 제한되는 것은 아니다.
메모리(112)는 휘발성 및/또는 비휘발성 메모리 형태의 컴퓨터 저장 매체를 포함한다. 메모리는 이동식, 비이동식 또는 이들의 조합할 수 있다. 예시적인 하드웨어 장치들은 반도체 메모리, 하드 드라이브, 광 디스크 드라이브 등을 포함한다. 컴퓨팅 장치(100)는 메모리(112) 또는 I/O 컴포넌트들(120)과 같은 다양한 엔티티로부터 데이터를 판독하는 하나 이상의 프로세서를 포함한다. 프리젠테이션 컴포넌트(들)(116)는 사용자 또는 다른 장치에 데이터 지시들을 제공한다. 예시적인 프리젠테이션 컴포넌트들은 디스플레이 장치, 스피커, 인쇄 컴포넌트, 진동 컴포넌트 등을 포함한다.
I/O 포트들(118)은 컴퓨팅 장치(100)가 I/O 컴포넌트들(120)을 포함하는 다른 장치들에 논리적으로 결합되게 하며, 그러한 장치들 중 일부는 내장형일 수 있다. 예시적인 컴포넌트들은 마이크로폰, 조이스틱, 게임 패드, 위성 안테나, 스캐너, 프린터, 무선 장치, 키보드, 펜, 음성 입력 장치, 터치 입력 장치, 터치 스크린 장치, 상호작용 디스플레이 장치 또는 마우스를 포함한다.
전술한 바와 같이, 일 실시예에서, 본 발명은 가까운 클릭 타겟을 검색하는 알고리즘을 이용함으로써 터치 스크린 디스플레이 상의 클릭 타겟들과 관련하여 모호한 클릭 이벤트들을 해석하는 것에 관련된다. 다른 실시예는 터치를 검출하고, 터치가 우측 클릭 이벤트, 좌측 클릭 이벤트 또는 드래그 이벤트에 대응해야 하는지를 판정하고, 터치 이벤트가 어느 곳에서 발생해야 하는지를 판정하기 위한 메커니즘에 관련된다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 예시적인 컴퓨팅 장치(200)의 관련 컴포넌트들을 나타내는 블록도가 도시되어 있다. 도 2에 도시된 바와 같이, 먼저 터치 검출 컴포넌트(210)에서 터치 입력이 수신된다. 터치 입력은 일반적으로 사용자의 손가락 또는 스타일러스와 같은 물체가 터치 스크린 장치의 표면과 접촉하게 하는 사용자에 의해 생성되는 입력이다. 종종, 터치 스크린들은 스타일러스 또는 손가락을 이용한 타겟팅을 가능하게 하는 커서 또는 임의의 다른 피드백을 사용자에게 표시하지 않는다. 스타일러스의 사용과 관련된 많은 애플리케이션은 스타일러스의 위치 아래에 커서 또는 위젯(widget)이 직접 표시되는 호버(hover) 거동을 갖지만, 다른 애플리케이션들 및 장치들은 그러한 특징을 갖지 않는다. 터치 스크린과 접촉하는 손가락으로부터 입력을 수신하는 대부분의 애플리케이션들은 그러한 특징을 제공하지 않거나, 제공하는 경우에도, 커서는 종종 터치 후에만 나타나며, 따라서 타겟팅을 지원하지 않는다.
더욱이, 사용자의 손가락은 일반적으로 스타일러스보다 크므로, 사용자가 손가락 바로 아래에 무엇이 있는지를 아는 것을 더 어렵게 하여, 타겟팅을 더 어렵게 할 수 있다. 일부 예들에서, 예를 들어 많은 ATM의 경우, 터치 스크린 위에는 터치 스크린 상의 개체들의 뚜렷한 위치를 왜곡하는 보호 유리가 배치되는데, 시차 현상이라고 하는 그러한 왜곡은 손가락을 이용한 타겟팅을 더 복잡하게 할 수 있다. 따라서, 본 발명은 스타일러스 또는 손가락으로부터 터치 스크린 입력을 수신하는 컴퓨팅 장치들에서 사용하기에 적합할 수 있지만, 본 발명에 의해 제공되는 이익들은 본 발명이 손가락 입력과 관련하여 이용될 때 가장 중요할 수 있다는 것이 쉽게 명백할 것이다.
도 2를 참조하면, 터치 스크린 장치(200)는 예를 들어 터치 감지 디스플레이 스크린을 포함할 수 있다. 통상적으로, 터치 감지 디스플레이 스크린은, 디스플레이 컴포넌트(215) 위에 구성되고, 디스플레이 컴포넌트(215)에 의해 표시되는 이미지들에 대응하는 터치 표면을 제공하도록 구성되는 터치 검출 컴포넌트(210) 또는 터치 센서로 이루어진다. 따라서, 사용자는 개체 바로 위에 위치하는 터치 검출 컴포넌트(210)의 부분을 터치함으로써 표시된 개체를 조작할 수 있다. 다른 실시예들에서, 본 명세서에서 사용될 때, 터치 스크린 장치는 손가락 또는 스타일러스와 같은 다른 물체를 이용한 표면 터치의 결과로서 컴퓨팅 장치에 입력을 제공하도록 구성되는 임의의 장치를 포함할 수 있다. 예를 들어, 일 실시예에서, 터치 스크린 장치(200)는 디스플레이 컴포넌트(215)와 별개로 제공되는 터치 패드를 포함할 수 있다.
디스플레이 컴포넌트(215)는 개인용 컴퓨터 상의 통상적인 모니터와 유사한 방식으로 이미지들을 표시한다. 터치 스크린을 포함하는 휴대용 장치는 액정 디스플레이의 적은 무게 및 작은 깊이로 인해 아마도 액정 디스플레이를 사용할 것이다. 예를 들어 음극선관, 플라즈마 스크린, 전기 발광 스크린 및 유기 발광 다이오드와 같은 다른 디스플레이 기술들도 가능하다.
일 실시예에서, 터치 검출 컴포넌트(210)는 디스플레이 컴포넌트(215)의 상부에 배치된다. 터치 검출 컴포넌트(210)는 투명하며, 따라서 그를 통해 디스플레이 컴포넌트(215)가 보여질 수 있다. 4, 5 및 8 와이어 저항성, 용량성, 근접장, 광학 및 음향 파를 포함하는 다양한 터치 검출 기술들이 이 분야에 공지되어 있다. 터치 검출 컴포넌트(210)는 일반적으로 한 세트의 좌표 축들 내에서 터치들을 검출하여, 터치에 대응하는 수직 및 수평 좌표를 식별한다. 터치의 수직 및 수평 좌표들은 도 2에 도시된 타겟팅 컴포넌트(220)로 전송된다.
일부 실시예들에서, 터치 검출 컴포넌트는 다수의 동시 터치를 검출할 수 있으며, 터치들의 각각은 특정 세트의 좌표들에 대응한다. 이 분야의 전문가들이 쉽게 알듯이, 본 발명의 다양한 양태는 다수의 동시 터치를 수신하고 처리할 수 있는 장치는 물론, 단일 터치의 처리만이 가능한 장치들에서 구현될 수 있다.
타겟팅 컴포넌트(220)는 터치가 클릭 이벤트를 트리거할지를 판정하기 위한 알고리즘을 이용한다. 본 명세서 전반에서 사용될 때, 클릭 이벤트는 터치 스크린 장치를 터치함으로써 트리거될 수 있는 임의 유형의 입력 이벤트를 포함할 수 있다. 일 실시예에서, 클릭 이벤트는 "좌측 클릭" 또는 "우측 클릭"과 같은 클릭을 포함할 수 있다. "클릭"이라는 용어가 원래는 마우스 상에 위치하는 버튼을 누름으로써 트리거되는 입력 이벤트를 지칭하지만, 이 용어는 이제 예를 들어 터치 스크린 상의 터치에 의한 것과 같은 사용자 입력에 의해 트리거되는 임의의 유사한 이벤트를 광범위하게 지칭할 수 있다는 것을 이 분야의 전문가들은 쉽게 알 것이다. 일 실시예에서, 클릭 이벤트는 예를 들어 좌측 클릭 이벤트, 우측 클릭 이벤트 또는 드래그 이벤트와 같은 액션들을 포함할 수 있다. 예를 들어, 마우스를 사용할 때, 사용자는 마우스에 대응하는 커서를 원하는 클릭 타겟 위에 배치하고, 마우스 상부에 위치하는 좌측 버튼을 누르고 손뗌으로써 좌측 클릭 이벤트를 트리거할 수 있다.
마찬가지로, 본 발명의 일 실시예에 따르면, 사용자는 예를 들어 원하는 클릭 타겟 위에 위치하는 터치 스크린 상의 위치를 가볍게 두드림으로써 좌측 클릭 이벤트를 트리거할 수 있다. 사용자는 예를 들어 클릭 타겟 위의 위치에서 터치 스크린 상에 그의 손가락을 배치하고, 미리 결정된 시간량 동안 그 위치에 그의 손가락을 유지함으로써 우측 클릭 이벤트를 트리거할 수 있다. 또한, 일 실시예에서, 사용자는 터치 스크린 상에 그의 손가락을 대고, 그의 손가락을 들어올리지 않고 그의 손가락을 터치 스크린 상의 하나의 위치에서 터치 스크린 상의 다른 위치로 드래그함으로써 드래그 이벤트를 트리거할 수 있다. 다양한 실시예에서, 본 명세서에서 사용될 때, 클릭 이벤트는 예를 들어 드래그, 터닝 탭(turning tap), 유지, 스트로크, 클릭으로의 유지-드래그(hold-drag into click), 잉크 드래그 또는 제스처와 같은 다른 입력 이벤트들을 포함할 수 있다.
타겟팅 컴포넌트(220)는 터치의 위치가 클릭 타겟 위치로서 지칭될 수 있는 클릭 타겟의 위치에 대응하는지를 먼저 판정함으로써 터치가 클릭 이벤트를 트리거할지를 판정한다. 이어서, 타겟팅 컴포넌트(220)는 터치 위치의 근처에 하나 이상의 클릭 타겟 위치가 존재하는지를 판정하기 위한 알고리즘을 적용한다. 터치 및 관련 클릭 타겟을 나타내는 데이터가 메시지 내에서 이벤트 검출 컴포넌트(230)로 전송된다.
명확화 컴포넌트(230)는 터치를 적절한 클릭 타겟과 연관시키는 것을 용이하게 한다. 일 실시예에서, 터치 위치의 근처에서 하나의 클릭 타겟 위치만이 발견되는 경우, 명확화 컴포넌트(230)는 터치를 그 클릭 타겟 위치에 대응하는 클릭 타겟과 연관시킴으로써 클릭 이벤트를 생성한다. 일 실시예에서, 그 클릭 타겟 위치는 터치의 위치에 대응할 수 있다. 다른 실시예에서, 클릭 타겟 위치는 터치 위치에 가까운 위치에 대응할 수 있다. 결과적인 클릭 이벤트는 디스플레이(215) 및 터치 검출(210) 컴포넌트들을 제어하는 애플리케이션 또는 운영 체제 유틸리티에 의해 사용되거나 표시될 수 있다.
추가 실시예에서, 명확화 컴포넌트(230)는 터치 위치 주위의 영역을 명확화하는 확대기를 제공할 수 있다. 일 실시예에서는, 터치 위치 근처에 둘 이상의 클릭 타겟이 위치하는 경우에 확대기가 제공된다. 본 명세서에서 사용될 때, 확대기는 클릭 타겟들을 포함하는 사용자 인터페이스 부분의 확대 뷰를 표시하는 임의의 사용자 인터페이스 또는 사용자 인터페이스의 개량을 포함할 수 있다. 일 실시예에서, 확대기는 예를 들어 제1 사용자 인터페이스 위에 중첩되어 제1 사용자 인터페이스의 일부 위에 유지되는 확대 유리의 효과를 제공하는 제2 사용자 인터페이스일 수 있다. 다양한 실시예에서, 확대기는 사용자가 제1 또는 임의의 다른 사용자 인터페이스 상에 표시된 개체들과 상호작용할 수 있는 것과 정확히 동일한 방식으로 확대기 내에 표시된 개체들과 상호작용할 수 있도록 구성될 수 있다. 예를 들어, 사용자는 확대기 내에 제공된 개체들에 대해 예를 들어 클릭, 드래그, 우측 클릭 등과 같은 임의 수의 동작들을 수행할 수 있다. 따라서, 확대기는 사용자 인터페이스의 어떠한 기능도 희생시키지 않고 제공될 수 있다.
도 6을 간단히 참고하면, 본 발명의 일 실시예에 따른 명확화 확대기를 나타내는 예시적인 스크린 샷이 도시되어 이다. 이 예에서, 확대기(610)는 제1 사용자 인터페이스(620)의 일부 위에 유지되는 확대 렌즈의 효과를 제공하는 제2 사용자 인터페이스로서 제공된다. 도 6에 도시된 바와 같이, 사용자 인터페이스(620)는 전화 상에서 발견되는 키패드와 같은 가상 키패드의 표시를 포함한다. 이 예에서, 컴퓨팅 장치는 터치 위치 근처에 2개의 클릭 타겟(630)이 위치하는 것으로 판정하였다. 도 6에 도시된 바와 같이, 확대기(610)는 터치 위치 근처에 위치하는 클릭 타겟들(630)을 클릭 타겟들일 수도 있는 다른 개체들(640)보다 크게 표시한다. 도 6에 도시된 실시예에서, 확대기(610)는 확대기의 중앙에 최대 확대도를 제공함으로써 "어안 렌즈"의 효과를 제공한다. 650에 도시된 바와 같이, 확대기의 외측 에지들을 향해 확대도가 점차 감소된다. 도 6에 도시된 도면은 본 발명의 다양한 구현에 따라 사용될 수 있는 확대기의 일례일 뿐이다.
이제, 도 3을 참조하면, 터치 스크린 디스플레이 상에 표시된 하나 이상의 클릭 타겟과 관련하여 모호한 터치 입력을 해석하기 위한 본 발명의 일 실시예에 따른 예시적인 방법(300)을 나타내는 흐름도가 제공된다. 방법(300)은 단계들의 시퀀스로서 제공되지만, 본 발명에 따르면, 도 3에 도시된 것과 동일하거나 유사하지만 상이한 순서들로 수행되는 단계들을 포함하는 유사한 방법들이 수행될 수 있다는 것을 이 분야의 전문가들은 알 것이다. 이 예에서의 어떤 것도 그러한 방법의 구현을 여기에 설명되는 단계들의 특정 순서로 제한하고자 하는 것은 아니다.
먼저, 단계 310에 도시된 바와 같이, 터치 스크린 디스플레이를 제어하도록 선택되는 애플리케이션 또는 운영 체제 유틸리티의 지시 하에 터치 스크린 디스플레이 상에 하나 이상의 클릭 타겟이 표시된다. 클릭 타겟들은 터치 스크린 디스플레이의 규정된 영역들 또는 클릭 타겟 위치들에 대응하는 개체들일 수 있으며, 이러한 규정된 영역들 또는 클릭 타겟 위치들은 터치 스크린의 규정된 영역들과의 접촉을 행하는 것이 애플리케이션 또는 운영 체제 유틸리티로 하여금 통상적인 컴퓨터 모니터의 유사한 영역이 마우스에 의해 "클릭"된 것처럼 응답하게 하도록 구성된다. 클릭 타겟 위치는 터치 스크린 디스플레이 상의 하나 이상의 픽셀로 이루어질 수 있다.
이 분야의 전문가들이 쉽게 알듯이, 클릭 타겟은 예를 들어 JPEG 또는 GIF와 같은 이미지, 버튼, 스크롤 바, 텍스트 등에 의해 표현될 수 있다. 이 분야의 전문가들은 클릭 타겟들이 상호작용 디스플레이 시스템들과 관련하여 사용되는 임의 수의 다양한 개체를 포함할 수 있다는 것을 알 것이다. 또한, 클릭 타겟은 터치 스크린 디스플레이 상의 상이한 위치들로 이동될 수 있도록 구성될 수 있다. 예를 들어, 폴더 내의 파일을 나타내는 아이콘은 일반적으로 마우스를 이용하여 하나의 위치에서 다른 위치로 드래그될 수 있다. 그러한 아이콘은 클릭 타겟의 일례이며, 많은 그러한 클릭 타겟이 제1 폴더를 제2 폴더 "내로" 드래그하여 제1 폴더를 제2 폴더의 서브폴더가 되게 하는 것과 같은 다양한 방식으로 이동 및 조작될 수 있다는 것이 쉽게 명백할 것이다. 본 발명은 클릭 타겟들의 이들 및 다른 공지된 애플리케이션들 중 임의의 것과 관련하여 동작하도록 적응될 수 있다.
도 3을 다시 참고하면, 단계 320에 도시된 바와 같이, 터치 스크린 상에 클릭 타겟들을 표시한 후에, 제1 터치 스크린 위치에서 터치가 검출될 수 있다. 본 발명의 일 실시예에서는, 예를 들어 사용자의 손가락에 의해 접촉된 터치 스크린 상의 위치를 나타내는 한 쌍의 좌표를 식별함으로써 터치가 검출된다. 그러한 터치는 터치 스크린 상에서 클릭 타겟에 대응하는 위치에서 이루어지거나 그렇지 않을 수 있다. 터치는 예를 들어 사용자가 터치 스크린을 두드리는 것, 터치 스크린 상에 사용자의 손가락을 대고 있는 것 또는 터치 스크린을 가로질러 사용자의 손가락을 이동시키는 것으로 이루어질 수 있다. 더구나, 터치 스크린은 임의의 물체와의 접촉을 검출하도록 구성될 수 있거나, 스타일러스와 같은 소정 물체로부터의 접촉만을 검출하도록 구성될 수 있다.
도 3에 도시된 바와 같이, 단계 330에서, 터치가 검출된 경우, 터치 위치와 관련된 미리 결정된 클릭 영역 내에서 제1 클릭 타겟 위치에 대한 검색이 수행된다. 본 발명의 일 실시예에서는, 클릭 타겟들과 관련된 애플리케이션이 그들을 정의했을 수 있으므로, 클릭 타겟들과 관련된 애플리케이션에 쿼리하여, 디스플레이의 어느 픽셀들이 클릭 타겟들에 대응하는지를 판정함으로써 클릭 타겟 위치들이 식별된다. 본 발명의 일 실시예에서는, 애플리케이션에 쿼리하기 위하여 액세스 가능성 프레임워크가 사용된다.
본 명세서에서 사용될 때, 액세스 가능성 프레임워크는 사용자 인터페이스 상의 개체들에 대한 정보를 수신하기 위해 애플리케이션에 쿼리할 수 있는 임의의 프레임워크, 시스템, 프로그램 또는 애플리케이션을 포함할 수 있다. 수신된 정보는 개체가 클릭 타겟인지의 여부와 같은 정보를 포함할 수 있다. 예컨대, 액세스 가능성 프레임워크들은 워싱턴, 레드먼드의 마이크로소프트사로부터 입수 가능한 Microsoft® Active Accessibility®, 워싱턴, 레드먼드의 마이크로소프트사로부터 또한 입수 가능한 Microsoft® UI Automation, 및 뉴욕, 아몬크의 IBM사로부터 입수 가능한 IAccessible2와 같은 프레임워크들을 포함할 수 있다.
다른 실시예에서, 클릭 타겟들은 문서 트리를 걷도록 구성된 애플리케이션 고유 코드를 이용하여 식별될 수 있다는 것을 이 분야의 전문가들은 알 것이다. 추가 실시예에서, 새로운 애플리케이션들이 클릭 타겟들의 식별을 용이하게 하기 위해 등록할 수 있는 플러그-인 모델이 제공될 수 있다. 더 추가 실시예에서, 여기에 설명되는 방법들의 변형들은, 특정 상황들을 검출하고, 여기에 설명되는 방법들 또는 컴포넌트들의 특정 변형들이 호출되게 하는 코드를 제공함으로써 그들과 연관된 다양한 특성들에 기초하여 상이한 애플리케이션들, 윈도들 또는 프레임워크들에 적용될 수 있다. 추가로, 여기에 설명되는 방법들 및 시스템들은 소정 상황들에서 적합하지 않을 수 있으며, 본 발명은 예를 들어 애플리케이션으로부터 프롬프트를 수신하거나, 상황을 자동으로 검출하기 위한 코드를 실행하는 것 등에 의해 그러한 상황들을 검출하도록 구성될 수 있다는 것을 이 분야의 전문가들은 쉽게 알 것이다. 그러한 상황에서, 본 발명의 다양한 양태들은 향상된 사용자 경험을 제공하기 위해 디스에이블될 수 있다.
본 발명의 일 실시예에서, 제1 클릭 타겟 위치는 제1 클릭 타겟에 대응하는 터치 스크린 위치이다. 단계들 330-390을 수행하기 위하여 알고리즘을 이용하여 터치의 위치와 연관된 미리 결정된 클릭 영역 내의 연속적인 테스트 위치들을 검사하여 테스트 위치들 중 어느 위치가 클릭 타겟 위치에 대응하는지를 판정할 수 있다는 것을 이 분야의 전문가들은 알 것이다. 그러한 알고리즘의 일례가 도 4와 관련하여 아래에 설명된다. 일 실시예에서, 터치 위치와 연관된 미리 결정된 클릭 영역은 한 세트의 테스트 위치들에 의해 정의될 수 있다. 예컨대, 일 실시예에서, 미리 결정된 클릭 영역은 터치 위치로부터 가장 멀리 떨어진 테스트 위치들에 의해 한정되는 터치 위치를 둘러싸는 터치 스크린의 영역에 대응할 수 있다. 다른 실시예에서, 미리 결정된 클릭 영역은 예를 들어 특정 수의 테스트 위치들을 선택함으로써 정의될 수 있다. 다양한 다른 실시예들에서, 클릭 영역은 임의로 또는 이 분야의 전문가들에 의해 공지된 임의 수의 다양한 다른 전략들에 따라 정의될 수 있다. 일 실시예에서, 클릭 영역의 경계들은 컴퓨팅 시간을 그의 입력으로서 갖는 함수의 출력일 수 있다. 그러한 실시예에서, 알고리즘은 그가 시작된 이후 미리 결정된 시간량이 경과한 후에 중지될 것이다.
도 3을 계속 참조하면, 단계 340에 지시되는 바와 같이, 단계 330의 검색의 결과로서 제1 클릭 타겟 위치가 발견되었는지의 여부에 관한 판정이 행해진다. 제1 클릭 타겟이 발견되지 않은 경우, 단계 350에 지시되는 바와 같이, 터치는 터치 위치와 연관되며, 클릭 이벤트는 트리거되지 않는다. 제1 클릭 타겟이 미리 결정된 클릭 영역에서 발견된 경우, 단계 360에 지시되는 바와 같이, 추가 검색을 수행하여, 미리 결정된 클릭 영역 내에 임의의 추가적인 클릭 타겟 위치들이 존재하는지를 판정한다. 임의의 주어진 클릭 영역 내에 임의 수의 클릭 타겟 위치들이 존재할 수 있다는 것을 이 분야의 전문가들은 이해할 것이다.
도 3의 단계 370에 지시되는 바와 같이, 미리 결정된 클릭 영역에서 임의의 추가적인 클릭 타겟 위치들이 발견되었는지의 여부에 관한 판정이 행해진다. 추가 클릭 타겟들이 발견되지 않은 경우, 단계 380에 지시되는 바와 같이, 터치는 제1 클릭 타겟 위치에 대응하는 제1 클릭 타겟과 연관된다. 이러한 연관은 일 실시예에서 사용자로부터의 어떠한 추가 입력도 없이 자동으로 수행될 수 있다. 다른 실시예들에서, 사용자는 터치를 제1 클릭 타겟과 연관시킬지의 여부에 대한 옵션을 제공받을 수 있다.
한편, 미리 결정된 클릭 영역에서 추가적인 클릭 타겟 위치들이 발견된 경우에, 도 3의 단계 390에 지시되는 바와 같이, 터치가 명확화된다. 일 실시예에서는, 도 6과 관련하여 전술한 바와 같이 확대기를 제공함으로써 터치가 명확화될 수 있다. 다양한 실시예에서는, 사용자에게 옵션을 제공하는 추가적인 사용자 인터페이스를 제공함으로써 터치가 명확화될 수 있다. 추가 실시예에서는, 클릭 타겟들을 하이라이트하기 위한 하이라이팅 또는 글로(glow) 효과들과 같은 시각적 효과들을 이용하여 터치가 명확화될 수 있다. 다른 실시예들에서는, 전술한 명확화 기술들의 다양한 조합들이 이용될 수 있다. 더 추가적인 실시예들에서, 터치는 이용 가능한 임의의 다른 기술에 의해 명확화될 수 있다.
확대기는 미리 결정된 클릭 영역 내에서 발견된 2개의 클릭 타겟 위치에 대응하는 2개의 클릭 타겟의 확대 표현들을 표시할 수 있다. 따라서, 사용자는 원하는 클릭 타겟을 더 정확하게 터치할 수 있으며, 이 포인트에서 사용자의 터치는 적절한 클릭 타겟과 연관될 수 있다. 다양한 실시예들에서, 확대기는 발견된 모든 클릭 타겟들의 확대 뷰를 제공할 수 있다. 추가 실시예들에서, 확대기는 발견된 클릭 타겟들 중 일부만의 확대 뷰를 제공할 수 있다.
이제, 도 4를 참조하면, 미리 결정된 클릭 영역 내에서 클릭 타겟 위치들을 검색하기 위한 본 발명의 일 실시예에 따른 예시적인 알고리즘(400)을 나타내는 흐름도가 도시되어 있다. 도 4에 도시된 예시적인 알고리즘은 예를 들어 단계들 330-390과 같은 방법(300)의 다양한 단계들을 수행하는 데 사용될 수 있음이 명백하지만, 그러한 단계들의 시퀀스는 도 3에 도시된 시퀀스와 동일하지 않을 수 있다는 것을 이해할 것이다. 다른 실시예들에서, 도 4에 도시된 예시적인 알고리즘과 같은 알고리즘들은 방법(300)과 같은 방법들과 독립적으로 이용될 수 있다. 그러한 변형들은 컴퓨팅 효율 또는 더 간단한 프로그래밍을 위한 것과 같은 다양한 이유로 이용될 수 있다. 도 4에 도시된 단계들의 시퀀스와 같은 변형들은 본 발명의 범위 내에 있다.
도 4에 도시된 전형적인 실시예에서, 미리 결정된 클릭 영역은 한 세트의 테스트 위치들 {T(1), T(2),..., T(N)}에 의해 정의되며, 여기서 N은 테스트 위치들의 수이다. 추가로, 명료화를 위해, "클릭 타겟 위치"라는 용어는 도 4에서 "CTL"로서 약칭되었다. 클릭 영역의 정의는 물론, N에 대한 값의 선택도 애플리케이션에 의해, 운영 체제에 의해, 시스템 관리자에 의해 또는 터치 스크린 상의 클릭 타겟들의 위치를 확인할 수 있는 임의의 다른 엔티티에 의해 이루어질 수 있다. 예를 들어, 일 실시예에서는, 컴퓨팅 효율을 유지하면서 영역을 효과적으로 검색하기 위하여 충분한 테스트 위치들이 설정되도록 N이 선택된다. 이 분야의 전문가들이 쉽게 알듯이, 미리 결정된 클릭 영역의 정의는 물론, N에 대한 값의 선택도 스크린 레이아웃의 특징, 클릭 타겟들의 위치, 클릭 타겟들의 다른 클릭 타겟들에 대한 근접도, 본 발명이 구현되고 있는 장치, 클릭 타겟들을 제공하는 애플리케이션의 특징, 사용자의 특징 등과 같은 임의 수의 인자들에 기초할 수 있다. 더구나, 알고리즘(400)은 예를 들어 미리 결정된 클릭 영역을 다른 방식으로 정의하거나, 다양한 단계들을 상이한 순서로 수행하는 것 등과 같은 다양한 방식으로 변경될 수 있다는 것을 이 분야의 전문가들은 쉽게 알 것이다.
도 4에 도시된 바와 같이, 예시적인 알고리즘(400)의 제1 단계(401)는 클릭 타겟에 대응하는 위치에서 터치가 이루어졌는지, 즉 터치 위치가 또한 클릭 타겟 위치인지를 판정하는 것이다. 터치 위치가 클릭 타겟 위치인 경우, 알고리즘은 단계 402로 진행하여, 클릭 타겟 위치 카운트가 1만큼 증가된다. 단계 402에 도시된 바와 같은 클릭 타겟 위치 카운트는 미리 결정된 클릭 영역에서 발견되는 클릭 타겟 위치들의 카운트의 추적을 유지하도록 동작 가능한 임의의 프로그래밍 메커니즘 또는 기술을 포함할 수 있다. 이 분야의 전문가들은 많은 그러한 기술이 존재한다는 것을 이해할 것이다. 일 실시예에서, 예를 들어 도 4에 도시된 바와 같이, 하나의 그러한 기술은 가변 COUNT를 정의하는 단계, COUNT를 초기에 0과 동일하게 설정하는 단계, 및 미리 결정된 클릭 영역에서 클릭 타겟 위치가 발견될 때마다 COUNT의 값을 1만큼 증가시키는 단계를 포함한다. 따라서, 단계 401에서, COUNT의 값은 0이었고, 단계 402에서 COUNT의 값은 1만큼 증가하여, 값이 1로 설정된다. COUNT의 값을 증가시킨 후에, 알고리즘은 단계 403에서 계속된다. 도 4에 도시된 바와 같이, 터치 위치가 클릭 타겟이 아닌 경우, 단계 402는 생략되며, 알고리즘은 단계 403으로 바로 진행한다는 것을 쉽게 알 것이다.
단계 403에서, 제1 테스트 위치 T(1)을 검사하여, T(1)이 클릭 타겟에 대응하는지, 즉 T(1)이 클릭 타겟 위치인지를 판정한다. 제1 테스트 위치 T(1)은 임의 수의 인자들 및 최적화들에 기초하여 선택될 수 있으며, 터치 위치에 대한 임의 수의 상이한 방향에서 발견될 수 있다. 일 실시예에서, 예를 들어, T(1)은 터치 위치 위의 하나 이상의 픽셀에서 발견될 수 있다. 다른 실시예에서, T(1)은 터치 위치 아래의 하나 이상의 픽셀에서 발견될 수 있다. 추가 실시예들에서, T(1)은 터치 위치의 우측 또는 좌측에서 발견될 수 있다. 더 추가적인 실시예들에서, T(1)은 터치 위치로부터 대각선 방향에서 발견될 수 있다. 터치 위치와 T(1) 사이의 방향 및 거리(예컨대, 픽셀들의 수)는 자동 또는 수동으로 선택될 수 있으며, 디스플레이, 애플리케이션 또는 적절한 하드웨어 또는 소프트웨어의 임의의 다른 컴포넌트의 특성들 및 속성들에 기초하여 결정될 수 있다. 이 분야의 전문가들이 이해하듯이, 추가적인 테스트 위치들 중 임의 또는 모든 위치가 임의 수의 다양한 위치에서 그리고 임의 수의 다양한 구성으로 발견될 수 있으며, 그들의 상세들이 본 명세서의 실시예들의 설명에 의해 제한되고자 하는 것은 아니다.
T(1)이 클릭 타겟 위치인 경우, 단계 404에 도시된 바와 같이, COUNT의 값이 1만큼 증가되고, 알고리즘은 단계 405에서 계속된다. 다시, T(1)이 클릭 타겟 위치가 아닌 경우, 알고리즘은 단계 404를 생략하고, 도 4에 도시된 바와 같이 단계 403에서 단계 405로 바로 이동할 것이라는 것을 이해할 것이다. 단계 405에서, 제2 테스트 위치 T(2)를 검사하여, T(2)가 클릭 타겟 위치인지를 판정한다.
제2 테스트 위치 T(2)는 터치 스크린 상의 임의의 곳에서 발견될 수 있다. 일 실시예에서, T(1)이 터치 스크린 위에 있었던 경우, T(2)는 터치 위치로부터 하나 이상의 픽셀 아래에 있을 수 있다. 다른 실시예에서, T(2)는 터치 위치의 우측 또는 좌측으로 또는 T(1)의 좌측 또는 우측으로 배향될 수 있다. 또 다른 실시예에서, T(2)는 T(1) 위에서 발견될 수 있다. 추가 실시예에서, T(2)는 T(1) 또는 터치 위치에 대해 대각선으로 배향된 몇몇 포인트에서 발견될 수 있다. 본 발명의 다양한 실시예에서, T(2)의 위치는 T(1)의 위치의 선택에서 고려된 동일 기준들에 기초할 수 있다.
T(2)가 클릭 타겟 위치인 경우, 단계 406에 도시된 바와 같이, COUNT의 값은 단계 404와 관련하여 전술한 바와 같이 1만큼 증가되며, 이어서 알고리즘은 단계 407로 진행한다. 다시, T(2)가 클릭 타겟 위치에 대응하지 않는 경우, 단계 406은 생략되며, 알고리즘은 단계 407로 바로 진행할 것이다. 전술한 바와 같이, 임의 수, 예를 들어 N개의 연속적인 테스트 위치들이 선택되고 검사될 수 있다. 단계들 405와 407 사이에 배치된 점선 화살표는 본 발명의 다양한 실시예에 따라 하나 이상의 추가적인 테스트 위치가 검사될 수 있다는 것을 지시한다는 것을 이해할 것이다. 그러나, 알고리즘(400)의 명확한 이해를 제공하기 위하여, 최종 테스트 위치 T(N)만이 본 명세서에 설명되지만, 이러한 설명은 본 발명의 다양한 구현과 관련하여 이 분야의 전문가들이 이용할 수 있는 다양한 파라미터들 및 옵션들을 제한하고자 하는 것은 아니다. 예를 들어, 일 실시예에서, 클릭 영역은 2개의 테스트 위치만을 가질 수 있는데, 즉 N=2일 수 있다. 다른 실시예들에서, 클릭 영역은 임의 수의 다른 테스트 위치들을 가질 수 있다.
단계 407에서, 도 4에 도시된 바와 같이, 테스트 위치 T(N)을 검사하여, 그것이 클릭 타겟 위치인지를 판정한다. T(N)이 클릭 타겟 위치인 경우, 단계 408에서 COUNT의 값이 1만큼 증가된다. 도시된 바와 같이, 알고리즘은 단계 409에서 계속된다. 전술한 바와 같이, T(N)이 클릭 타겟 위치가 아닌 경우, 단계 408은 생략되며, 알고리즘은 단계 409로 바로 진행한다.
단계 409에서, COUNT의 값을 검사하여, 그 값이 0인지를 판정한다. 0의 COUNT 값은 테스트 위치들 중 어느 것도 클릭 타겟 위치가 아님을 지시하는데, 즉 T(1), T(2),..., T(N)에 의해 정의된 미리 결정된 클릭 영역 내에서 클릭 타겟 위치가 발견되지 않았음을 지시한다. 따라서, 단계 410에서, COUNT의 값이 0인 경우, 터치는 터치 위치와 연관되며, 클릭 이벤트가 트리거되지 않는다. 이러한 결과는 예를 들어 사용자가 클릭 타겟을 터치하려고 의도하지 않은 경우에 유용할 수 있다. 예를 들어, 사용자는 애플리케이션 윈도의 공백 부분을 클릭하여 그 윈도로 포커스를 이동시킬 수 있다. COUNT의 값이 0이 아닌 경우, 알고리즘은 단계 411로 진행한다.
단계 411에서, COUNT의 값이 1보다 큰지에 대한 판정이 이루어진다. 1보다 큰 COUNT는 미리 결정된 클릭 영역에서 둘 이상의 클릭 타겟 위치가 발견되었음을 지시한다. COUNT의 값이 1보다 큰 경우, 단계 412에 도시된 바와 같이, 클릭 영역은 도 2 및 3과 관련하여 전술한 바와 같이 명확화된다. COUNT의 값이 1보다 크지 않은 경우, 즉 COUNT의 값이 1과 동일한 경우, 알고리즘은 단계 413으로 진행한다. 1과 동일한 COUNT는 미리 결정된 클릭 영역 내에서 하나의 클릭 타겟 위치만이 발견되었음을 지시한다. 단계 413에 도시된 바와 같이, COUNT의 값이 1과 동일한 경우, 터치는 제1 클릭 타겟 위치, 즉 식별된 하나의 클릭 타겟 위치와 연관된다.
도 5를 간단히 참조하면, 본 발명의 일 실시예에 따른 알고리즘(400)의 예시적인 구현을 나타내는 개략도가 도시되어 있다. 도 5에 도시된 실시예는 많은 가능한 실시예 중 하나를 나타내며, 본 발명의 범위를 제한하고자 하는 것이 아니라는 것이 이 분야의 전문가들에게 쉽게 명백할 것이다. 터치는 화살표 또는 커서(501)의 도시에 의해 지시되며, 이 예에서 클릭 타겟(502)은 "OK" 버튼으로서 도시된다. 터치(501)가 터치 위치(503)에서 검출될 때, 터치 위치(503)가 클릭 타겟(502)에 대응하지 않는다는 판정이 이루어진다. 따라서, 터치 위치(503) 바로 위에서 발견되는 제1 테스트 위치(504)를 검사하여, 제1 테스트 위치(504)가 클릭 타겟(502)에 대응하는지의 여부를 판정한다. 도 5의 전형적인 실시예에는 도시되지 않았지만, 본 발명의 다양한 다른 실시예에서, 제1 테스트 위치(504)는 터치 위치(503) 아래에, 터치 위치(503)의 좌측에 또는 테스트 위치(503)의 우측에서 발견될 수 있다.
제1 테스트 위치(504)가 클릭 타겟(502)에 대응하지 않는 것으로 판정된 때, 도 5에 도시된 실시예에 따라 터치 위치(503) 바로 아래에서 발견되는 제2 테스트 위치(505)를 검사하여, 제2 테스트 위치(505)가 클릭 타겟(502)에 대응하는지를 판정한다. 제1 테스트 위치(504)에서와 같이, 도 5에 도시되지 않은 다양한 실시예에서, 제2 테스트 위치는 터치 위치(503) 위에, 제1 테스트 위치(504) 위에 또는 어느 하나의 위치의 우측 또는 좌측에서 발견될 수 있다. 임의의 이러한 위치들 또는 이들의 조합은 본 발명에 따르는 것으로 간주된다.
일 실시예에서, 각각의 연속적인 테스트 위치의 위치는 사용자에 의해, 시스템에 의해, 시스템 관리자에 의해, 애플리케이션에 의해, 또는 컴퓨터 프로그래머에 의해 결정될 수 있으며, 연속 테스트 위치들을 검사하도록 설계된 임의의 패턴 또는 알고리즘을 포함할 수 있다. 예를 들어, 일 실시예에서, 연속 테스트 위치들은 터치 위치(503)로부터 밖으로 확장하는 나선 형상을 따르는 다양한 포인트에서 발견될 수 있다. 다른 실시예들에서, 연속 테스트 위치들은 대각선으로 배열될 수 있다. 임의의 다른 패턴 또는 설계도 본 발명의 범위 내에 있는 것으로 간주된다.
마찬가지로, 제3 테스트 위치(506), 제4 테스트 위치(507) 및 제5 테스트 위치(508)가 검사되며, 도 5에 도시된 바와 같이, 제5 테스트 위치(508)가 클릭 타겟(502)에 대응하는 것으로 결정된다.
이해할 수 있듯이, 본 발명의 실시예들은, 터치를 검출하고, 터치가 터치 스크린 상에 표시된 하나 이상의 클릭 타겟과 관련하여 모호한 경우에 터치를 가까운 제1 클릭 타겟과 연관된 것으로 해석함으로써 터치 스크린으로부터 입력 이벤트를 해석하기 위한 방법들을 제공한다. 본 발명의 다른 실시예들은 미리 결정된 클릭 영역을 확대하는 확대기를 표시함으로써 터치의 명확화를 제공한다. 본 발명의 추가 실시예들은 터치들을 클릭 이벤트들로서 해석하기 위한 시스템들 및 컴퓨팅 장치들을 제공한다.
다양한 실시예들에 따르면, 본 발명은 주어진 사용자 인터페이스의 클릭 타겟들 및 다른 양태들을 식별하고 해석하기 위해 액세스 가능성 호출들을 이용하는 컴퓨팅 환경 내에서 구현될 수 있다. 이 분야의 전문가들이 쉽게 알듯이, 액세스 가능성 호출들은 예를 들어 액세스 가능성 프로그램과 같은 코드에 의해 호출될 수 있다. 그러한 구현에서, 애플리케이션들은 본 발명의 실시예들의 구현들과 호환되도록 재작성될 필요가 없다. 본 발명의 추가 실시예들에서, 여기에 설명되는 방법들은 특정 애플리케이션 또는 시스템 내에서 또는 이 분야의 전문가들에 의해 공지된 임의의 다른 방식으로 구현될 수 있다.
본 발명의 일부 실시예들에서, 여기에 설명되는 시스템들 및 방법들은 다른 명확화 기술들과 동시에 구현될 수 있다. 다른 실시예들에서, 본 발명은 다중 터치 터치 스크린 시스템들에서 구현될 수 있다. 본 발명의 다양한 추가 실시예들은 터치 스크린 상의 스타일러스와 같은 도구에 의한 터치들의 해석을 제공한다.
본 발명은 모든 점에서 제한이 아니라 예시적인 것을 의도하는 특정 실시예들과 관련하여 설명되었다. 본 발명의 범위로부터 벗어나지 않고 본 발명이 관련된 분야의 통상의 기술자들에게 대안 실시예들이 명백해질 것이다.
위로부터, 본 발명은, 본 시스템 및 방법에 대해 명백하고 고유한 다른 이점들과 더불어, 전술한 목적들 및 목표들을 달성하도록 양호하게 적응되는 발명임을 알 것이다. 소정의 특징들 및 하위 조합들이 유용하며, 다른 특징들 및 하위 조합들과 관계없이 이용될 수 있다는 것을 이해할 것이다. 이것은 특허청구범위들에 의해 고려되며, 특허청구범위들의 범위 내에 있다.

Claims (20)

  1. 터치 스크린 디스플레이 상의 하나 이상의 클릭 타겟과 관련하여 모호한 클릭 이벤트를 해석하는 방법을 수행하기 위한 기계 사용 가능 명령어들이 구현된 하나 이상의 컴퓨터 판독 가능 매체로서,
    상기 방법은,
    터치 스크린 디스플레이 상에 하나 이상의 클릭 타겟을 표시하는 단계(310) - 상기 클릭 타겟들은 각각의 클릭 타겟 위치들에 표시됨 -;
    제1 터치 스크린 위치에서 터치를 검출하는 단계(320);
    상기 제1 터치 스크린 위치의 미리 결정된 클릭 영역 내에서 상기 클릭 타겟 위치들 중 제1 클릭 타겟 위치를 검색하는 단계(330);
    상기 미리 결정된 클릭 영역 내에서 상기 클릭 타겟 위치들 중 제1 클릭 타겟 위치를 발견하면, 상기 미리 결정된 클릭 영역 내에서 상기 클릭 타겟 위치들 중 제2 클릭 타겟 위치를 검색하는 단계(360); 및
    상기 클릭 타겟 위치들 중 제2 클릭 타겟 위치가 상기 미리 결정된 클릭 영역 내에서 발견되지 않는 경우에, 상기 터치를 상기 클릭 타겟 위치들 중 제1 클릭 타겟 위치에 대응하는 제1 클릭 타겟과 연관시키는 단계(380)
    를 포함하는 하나 이상의 컴퓨터 판독 가능 매체.
  2. 제1항에 있어서, 상기 방법은, 상기 미리 결정된 클릭 영역 내에서 상기 클릭 타겟 위치들 중 제2 클릭 타겟 위치를 발견하면, 확대기를 제공하는 단계를 더 포함하고, 상기 확대기는 상기 미리 결정된 클릭 영역의 확대된 뷰를 갖는 사용자 인터페이스를 포함하는 하나 이상의 컴퓨터 판독 가능 매체.
  3. 제1항에 있어서, 상기 터치는 사용자의 손가락이 상기 터치 스크린과 접촉하는 것을 포함하는 하나 이상의 컴퓨터 판독 가능 매체.
  4. 제1항에 있어서, 상기 터치는 스타일러스가 상기 터치 스크린과 접촉하는 것을 포함하는 하나 이상의 컴퓨터 판독 가능 매체.
  5. 제1항에 있어서,
    상기 클릭 타겟 위치들 중 제1 클릭 타겟 위치를 검색하는 단계는,
    상기 제1 터치 스크린 위치가 클릭 타겟 위치인지를 판정하는 단계; 및
    상기 제1 터치 스크린 위치가 클릭 타겟 위치가 아닌 경우에, 상기 제1 터치 스크린 위치 위의 하나 이상의 픽셀을 검색하는 단계를 포함하는 하나 이상의 컴퓨터 판독 가능 매체.
  6. 제5항에 있어서, 상기 제1 터치 스크린 위치 위의 하나 이상의 픽셀에서 클릭 타겟이 발견되지 않은 경우에, 상기 제1 터치 스크린 위치 아래의 하나 이상의 픽셀을 검색하는 단계를 더 포함하는 하나 이상의 컴퓨터 판독 가능 매체.
  7. 제1항에 있어서, 상기 방법은, 클릭 타겟이 상기 클릭 영역 내에서 발견되지 않는 경우에, 상기 터치가 클릭 타겟과 연관되지 않아야 하는 것으로 결정하는 단계를 더 포함하는 하나 이상의 컴퓨터 판독 가능 매체.
  8. 터치 스크린 디스플레이에 대하여 정확한 터치 입력 타겟팅을 용이하게 하는 컴퓨팅 장치로서,
    애플리케이션과 연관된 하나 이상의 클릭 타겟을 표시하는 디스플레이 컴포넌트(215) - 상기 하나 이상의 클릭 타겟의 각각은 클릭 타겟 위치에 대응함 -;
    터치 스크린 디스플레이 상의 터치를 감지하는 터치 검출 컴포넌트(210) - 상기 터치는 제1 터치 스크린 위치에 대응함 -;
    상기 제1 터치 위치와 연관된 미리 결정된 클릭 영역 내에서 하나 이상의 클릭 타겟을 검색하는 타겟팅 컴포넌트(220); 및
    상기 미리 결정된 클릭 영역 내에서 둘 이상의 클릭 타겟이 발견되는 경우에, 상기 미리 결정된 클릭 영역의 확대된 뷰를 제공하는 명확화(disambiguation) 컴포넌트(230)
    를 포함하는 컴퓨팅 장치.
  9. 제8항에 있어서, 상기 터치는 클릭 타겟 위치가 아닌 제1 터치 스크린 위치와 연관된 모호한 터치를 포함하는 컴퓨팅 장치.
  10. 제8항에 있어서, 상기 터치는 적어도 2개의 클릭 타겟 위치 중 하나인 제1 터치 스크린 위치와 연관된 모호한 터치를 포함하고, 상기 적어도 2개의 클릭 타겟 위치는 상기 미리 결정된 클릭 영역 내에서 발견되는 컴퓨팅 장치.
  11. 제8항에 있어서, 상기 타겟팅 컴포넌트는 상기 애플리케이션에 쿼리함으로써 미리 결정된 클릭 영역 내에서 하나 이상의 클릭 타겟을 검색하는 컴퓨팅 장치.
  12. 제11항에 있어서, 상기 애플리케이션에 쿼리하는 것은 액세스 가능성 프레임워크를 이용하여, 상기 미리 결정된 클릭 영역 내에서 발견되는 하나 이상의 개체가 클릭 타겟인지의 여부를 판정하는 것을 포함하는 컴퓨팅 장치.
  13. 제8항에 있어서, 상기 미리 결정된 클릭 영역은 그 내부에 미리 결정된 수의 테스트 위치들을 갖는 상기 터치 스크린의 영역을 포함하는 컴퓨팅 장치.
  14. 제8항에 있어서, 상기 클릭 영역은 상기 터치 스크린 디스플레이의 특성들 및 상기 클릭 타겟들을 생성하는 상기 애플리케이션의 특성들에 기초하여 선택되는 경계들을 갖는 상기 터치 스크린의 영역을 포함하는 컴퓨팅 장치.
  15. 제8항에 있어서, 상기 미리 결정된 클릭 영역 내에서 하나의 클릭 타겟만이 발견되는 경우, 상기 명확화 컴포넌트는 상기 터치를 상기 클릭 타겟과 연관시키는 컴퓨팅 장치.
  16. 애플리케이션과 연관된 하나 이상의 클릭 타겟과 관련하여 터치를 해석하기 위한 방법으로서,
    상기 클릭 타겟들은 터치 스크린 디스플레이 상에 표시되고,
    상기 방법은,
    제1 터치 스크린 위치에서 터치를 검출하는 단계(320);
    상기 애플리케이션에 쿼리하여, 상기 제1 터치 스크린 영역의 미리 결정된 클릭 영역 내에서 발견되는 제1 클릭 타겟을 결정하는 단계(401);
    상기 미리 결정된 클릭 영역 내에서 발견되는 제1 클릭 타겟을 결정하면, 상기 애플리케이션에 쿼리하여, 제2 클릭 타겟이 상기 미리 결정된 클릭 영역 내에서 발견되는지의 여부를 판정하는 단계(403); 및
    제2 클릭 타겟이 상기 미리 결정된 클릭 영역 내에서 발견되는 것으로 판정하면, 상기 미리 결정된 클릭 영역의 확대된 뷰(600)를 표시하는 단계
    를 포함하는 방법.
  17. 제16항에 있어서, 상기 미리 결정된 클릭 영역은 그 내부에 미리 결정된 수의 테스트 위치를 갖는 상기 터치 스크린의 영역을 포함하는 방법.
  18. 제17항에 있어서, 상기 제1 클릭 타겟을 결정하는 단계는,
    상기 제1 터치 스크린 위치가 클릭 타겟 위치인지의 여부를 판정하는 단계 - 클릭 타겟 위치는 클릭 타겟에 대응하는 상기 터치 스크린 디스플레이 상의 위치임 -;
    상기 제1 터치 스크린 위치가 클릭 타겟 위치가 아닌 경우에, 제1 테스트 위치가 클릭 타겟 위치인지의 여부를 판정하는 단계 - 상기 제1 테스트 위치는 상기 제1 터치 스크린 위치 위의 하나 이상의 픽셀에서 발견됨 -;
    제1 테스트 위치가 클릭 타겟 위치가 아닌 경우에, 제2 테스트 위치가 클릭 타겟 위치인지의 여부를 판정하는 단계 - 상기 제2 테스트 위치는 상기 제1 터치 스크린 위치 아래의 하나 이상의 픽셀에서 발견됨 -; 및
    제2 테스트 위치가 클릭 타겟 위치가 아닌 경우에, 제3 테스트 위치가 클릭 타겟 위치인지의 여부를 판정하는 단계 - 상기 제3 테스트 위치는 상기 제1 테스트 위치 위의 하나 이상의 픽셀에서 발견됨 -를 포함하는 방법.
  19. 제18항에 있어서, 상기 테스트 영역 내의 미리 결정된 수의 테스트 위치들 중 어느 하나가 클릭 타겟 위치인지의 여부를 판정하는 단계를 더 포함하고, 상기 클릭 영역 내의 미리 결정된 수의 테스트 위치들 중 어느 것도 클릭 타겟 위치가 아닌 것으로 판정된 경우에, 상기 터치는 클릭 타겟과 연관되지 않아야 하는 것으로 결정하는 방법.
  20. 제17항에 있어서, 선택된 시간량 후에, 상기 클릭 영역 내의 어떠한 테스트 위치도 클릭 타겟 영역이 아닌 것으로 판정되는 경우에, 상기 터치는 클릭 타겟과 연관되지 않아야 하는 것으로 결정하는 방법.
KR1020107019888A 2008-03-11 2009-02-16 터치 스크린 상의 모호한 입력들의 해석 KR101597844B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/046,277 2008-03-11
US12/046,277 US8237665B2 (en) 2008-03-11 2008-03-11 Interpreting ambiguous inputs on a touch-screen

Publications (2)

Publication Number Publication Date
KR20100126726A true KR20100126726A (ko) 2010-12-02
KR101597844B1 KR101597844B1 (ko) 2016-02-26

Family

ID=41062501

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107019888A KR101597844B1 (ko) 2008-03-11 2009-02-16 터치 스크린 상의 모호한 입력들의 해석

Country Status (10)

Country Link
US (2) US8237665B2 (ko)
EP (1) EP2252926B1 (ko)
JP (1) JP2011513880A (ko)
KR (1) KR101597844B1 (ko)
CN (1) CN101971127B (ko)
BR (1) BRPI0908274B1 (ko)
ES (1) ES2663546T3 (ko)
RU (1) RU2501068C2 (ko)
TW (2) TWI609302B (ko)
WO (1) WO2009114236A2 (ko)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8237665B2 (en) * 2008-03-11 2012-08-07 Microsoft Corporation Interpreting ambiguous inputs on a touch-screen
US8599130B2 (en) * 2009-11-30 2013-12-03 Blackberry Limited Portable electronic device and method of controlling same
EP2328068B1 (en) * 2009-11-30 2014-08-20 BlackBerry Limited Portable electronic device and method of controlling same
US20110138284A1 (en) * 2009-12-03 2011-06-09 Microsoft Corporation Three-state touch input system
US20110314421A1 (en) 2010-06-18 2011-12-22 International Business Machines Corporation Access to Touch Screens
US8863232B1 (en) 2011-02-04 2014-10-14 hopTo Inc. System for and methods of controlling user access to applications and/or programs of a computer
WO2012144984A1 (en) * 2011-04-19 2012-10-26 Hewlett-Packard Development Company, L.P. Touch screen selection
US8773374B2 (en) * 2011-05-13 2014-07-08 Blackberry Limited Identification of touch point on touch screen device
US9268481B2 (en) * 2011-08-29 2016-02-23 Kyocera Corporation User arrangement of objects on home screen of mobile device, method and storage medium thereof
CN102298465B (zh) * 2011-09-16 2018-10-16 南京中兴软件有限责任公司 一种触摸屏的点击、定位操作的实现方法和装置
TW201316204A (zh) * 2011-10-13 2013-04-16 Eturbotouch Technology Inc 觸控按鍵模組
US8760425B2 (en) * 2012-03-20 2014-06-24 Sony Corporation Method and apparatus for enabling touchpad gestures
US9419848B1 (en) 2012-05-25 2016-08-16 hopTo Inc. System for and method of providing a document sharing service in combination with remote access to document applications
US8713658B1 (en) 2012-05-25 2014-04-29 Graphon Corporation System for and method of providing single sign-on (SSO) capability in an application publishing environment
US9239812B1 (en) 2012-08-08 2016-01-19 hopTo Inc. System for and method of providing a universal I/O command translation framework in an application publishing environment
DE102013016732A1 (de) * 2012-10-09 2014-04-10 Htc Corp. Verfahren zum zoomen auf einem bildschirm und elektronische vorrichtung und computerlesbares medium, die selbiges verwenden
TWI475476B (zh) * 2013-01-21 2015-03-01 Acer Inc 觸碰偵測方法及裝置
CN105518599B (zh) 2013-07-08 2019-02-19 电子触控产品解决方案 多用户多触摸的感应电容式触摸传感器
JP2015122023A (ja) * 2013-12-25 2015-07-02 セイコーエプソン株式会社 ウェアラブル機器及びウェアラブル機器の制御方法
US9477337B2 (en) * 2014-03-14 2016-10-25 Microsoft Technology Licensing, Llc Conductive trace routing for display and bezel sensors
WO2015167511A2 (en) * 2014-04-30 2015-11-05 Empire Technology Development Llc Adjusting tap position on touch screen
US20150370345A1 (en) * 2014-06-20 2015-12-24 Lenovo (Singapore) Pte. Ltd. Identifying one or more words for alteration of user input of one or more characters
US10025427B2 (en) * 2014-06-27 2018-07-17 Microsoft Technology Licensing, Llc Probabilistic touch sensing
CN104898889A (zh) * 2015-06-26 2015-09-09 小米科技有限责任公司 字符确定方法及装置
US10530872B1 (en) * 2017-01-11 2020-01-07 Facebook, Inc. Methods and systems for determining screen-reader use
JP2018152041A (ja) * 2017-03-13 2018-09-27 ウィキパッド，インコーポレーテッド タッチスクリーン入力を備えるコンピューティングデバイスおよびゲームコントローラの組み合わせ体
CN107390931B (zh) * 2017-07-26 2021-05-18 Oppo广东移动通信有限公司 触摸操作的响应控制方法、装置、存储介质及移动终端
CN108898631B (zh) * 2018-07-24 2021-02-09 安徽淘云科技有限公司 一种兴趣区域选择方法、装置、设备及存储介质
CN112433661B (zh) * 2020-11-18 2022-02-11 上海幻电信息科技有限公司 交互对象选择方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070250786A1 (en) * 2006-04-19 2007-10-25 Byeong Hui Jeon Touch screen device and method of displaying and selecting menus thereof

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0626633B1 (en) 1993-05-28 2001-03-14 Sun Microsystems, Inc. Touch screen power control in a computer system
US5618232A (en) 1995-03-23 1997-04-08 Martin; John R. Dual mode gaming device methods and systems
JPH08272526A (ja) * 1995-03-31 1996-10-18 Fuji Facom Corp 入力座標値修正装置
JPH09190287A (ja) * 1996-01-09 1997-07-22 Canon Inc カーソル制御方法及びそれを実現する情報処理装置
JP3235480B2 (ja) * 1996-08-01 2001-12-04 日本電気株式会社 タッチパネル入力装置
GB9701793D0 (en) 1997-01-29 1997-03-19 Gay Geoffrey N W Means for inputting characters or commands into a computer
US6118435A (en) * 1997-04-10 2000-09-12 Idec Izumi Corporation Display unit with touch panel
US6073036A (en) * 1997-04-28 2000-06-06 Nokia Mobile Phones Limited Mobile station with touch input having automatic symbol magnification function
US5953687A (en) * 1997-08-18 1999-09-14 Giddings & Lewis, Inc. Method and apparatus for displaying active probe tip status of a coordinate measuring machine
US7844914B2 (en) 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
US6429846B2 (en) 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
JP2000181630A (ja) * 1998-12-11 2000-06-30 Ricoh Elemex Corp タッチパネルシステム、タッチパネルの情報入力方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2001175375A (ja) * 1999-12-22 2001-06-29 Casio Comput Co Ltd 携帯情報端末装置、及び記憶媒体
JP4856804B2 (ja) * 2000-03-15 2012-01-18 株式会社リコー メニュー表示制御装置、情報処理装置、電子黒板システム、メニュー表示システムの制御方法、情報処理システムの制御方法およびこれらの方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体
US20020084991A1 (en) 2001-01-04 2002-07-04 Harrison Edward R. Simulating mouse events with touch screen displays
JP2003058318A (ja) * 2001-08-16 2003-02-28 Mitsubishi Electric Corp 監視制御装置及びこの監視制御装置に用いるイベント検出用記録媒体
JP2003067135A (ja) * 2001-08-27 2003-03-07 Matsushita Electric Ind Co Ltd タッチパネル入力方法、並びにタッチパネル入力装置
JP2005044026A (ja) * 2003-07-24 2005-02-17 Fujitsu Ltd 命令実行方法、命令実行プログラムおよび命令実行装置
WO2005022372A1 (en) 2003-08-29 2005-03-10 Nokia Corporation Method and device for recognizing a dual point user input on a touch based user input device
US9024884B2 (en) 2003-09-02 2015-05-05 Apple Inc. Touch-sensitive electronic apparatus for media applications, and methods therefor
JP2005182487A (ja) 2003-12-19 2005-07-07 Nec Software Chubu Ltd 文字入力装置、方法およびプログラム
WO2005076117A1 (ja) 2004-02-10 2005-08-18 Takuya Ogihara タッチスクリーン式入力装置
TW200538969A (en) * 2004-02-11 2005-12-01 America Online Inc Handwriting and voice input with automatic correction
US20060077183A1 (en) 2004-10-08 2006-04-13 Studt Peter C Methods and systems for converting touchscreen events into application formatted data
US7489306B2 (en) * 2004-12-22 2009-02-10 Microsoft Corporation Touch screen accuracy
JP4650280B2 (ja) * 2006-01-19 2011-03-16 ソニー株式会社 表示装置および方法、並びにプログラム
US8004503B2 (en) 2006-02-21 2011-08-23 Microsoft Corporation Auto-calibration of a touch screen
US20070257891A1 (en) * 2006-05-03 2007-11-08 Esenther Alan W Method and system for emulating a mouse on a multi-touch sensitive surface
TWI450137B (zh) * 2006-12-11 2014-08-21 Elo Touch Solutions Inc 用於校準觸控螢幕上之目標之方法及設備
KR20070100209A (ko) 2007-09-17 2007-10-10 윤보라 터치펜과 같은 보조도구가 필요 없는 터치스크린버튼입력방법
US8122384B2 (en) * 2007-09-18 2012-02-21 Palo Alto Research Center Incorporated Method and apparatus for selecting an object within a user interface by performing a gesture
US8237665B2 (en) * 2008-03-11 2012-08-07 Microsoft Corporation Interpreting ambiguous inputs on a touch-screen

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070250786A1 (en) * 2006-04-19 2007-10-25 Byeong Hui Jeon Touch screen device and method of displaying and selecting menus thereof

Also Published As

Publication number Publication date
JP2011513880A (ja) 2011-04-28
BRPI0908274B1 (pt) 2020-02-11
US20090231285A1 (en) 2009-09-17
WO2009114236A3 (en) 2009-11-26
US8237665B2 (en) 2012-08-07
WO2009114236A2 (en) 2009-09-17
KR101597844B1 (ko) 2016-02-26
TWI474227B (zh) 2015-02-21
EP2252926A2 (en) 2010-11-24
TWI609302B (zh) 2017-12-21
US20120274592A1 (en) 2012-11-01
TW200939095A (en) 2009-09-16
EP2252926B1 (en) 2017-12-27
CN101971127B (zh) 2013-05-08
TW201510821A (zh) 2015-03-16
EP2252926A4 (en) 2014-08-06
RU2010137792A (ru) 2012-03-20
CN101971127A (zh) 2011-02-09
ES2663546T3 (es) 2018-04-13
US8378989B2 (en) 2013-02-19
BRPI0908274A2 (pt) 2015-07-21
RU2501068C2 (ru) 2013-12-10

Similar Documents

Publication Publication Date Title
KR101597844B1 (ko) 터치 스크린 상의 모호한 입력들의 해석
EP3232315B1 (en) Device and method for providing a user interface
CN107066137B (zh) 提供用户界面的设备和方法
US20180032168A1 (en) Multi-touch uses, gestures, and implementation
US20110248939A1 (en) Apparatus and method for sensing touch
JP4979600B2 (ja) 携帯端末装置、及び表示制御方法
US20100214239A1 (en) Method and touch panel for providing tactile feedback
US20120019562A1 (en) Device and method for providing a user interface
TWI463355B (zh) 多點觸控介面之訊號處理裝置、訊號處理方法及使用者介面圖像選取方法
JPWO2009031214A1 (ja) 携帯端末装置、及び表示制御方法
AU2014200701B2 (en) Method and electronic device for displaying virtual keypad
EP3100151B1 (en) Virtual mouse for a touch screen device
US20140082559A1 (en) Control area for facilitating user input
TWI529607B (zh) 手持裝置及其主頁面管理方法
MX2014002955A (es) Entrada de formula para dispositivos de presentacion limitada.
US20210055809A1 (en) Method and device for handling event invocation using a stylus pen
US20120179963A1 (en) Multi-touch electronic device, graphic display interface thereof and object selection method of multi-touch display
US20120050184A1 (en) Method of controlling driving of touch panel
US8947378B2 (en) Portable electronic apparatus and touch sensing method
US20130254691A1 (en) Operating a device with an interactive screen, and mobile device
US9201529B2 (en) Touch sensing method and portable electronic apparatus
JP2016129019A (ja) グラフィック要素の選択
KR102205235B1 (ko) 즐겨찾기모드 조작방법 및 이를 수행하는 터치 스크린을 포함하는 장치
KR20210029175A (ko) 즐겨찾기모드 조작방법 및 이를 수행하는 터치 스크린을 포함하는 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190116

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200115

Year of fee payment: 5