KR102390783B1 - 확률적 터치 감지 - Google Patents

확률적 터치 감지 Download PDF

Info

Publication number
KR102390783B1
KR102390783B1 KR1020177002537A KR20177002537A KR102390783B1 KR 102390783 B1 KR102390783 B1 KR 102390783B1 KR 1020177002537 A KR1020177002537 A KR 1020177002537A KR 20177002537 A KR20177002537 A KR 20177002537A KR 102390783 B1 KR102390783 B1 KR 102390783B1
Authority
KR
South Korea
Prior art keywords
touch
input
location
user interface
sensed
Prior art date
Application number
KR1020177002537A
Other languages
English (en)
Other versions
KR20170024063A (ko
Inventor
유엔킨 청
마이클 보한
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20170024063A publication Critical patent/KR20170024063A/ko
Application granted granted Critical
Publication of KR102390783B1 publication Critical patent/KR102390783B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

컴퓨팅 디바이스 상에 터치 입력들을 조정하는 것과 관련된 실시예들이 개시된다. 예를 들어, 개시된 일 실시예는, 터치 감지 디스플레이 상에 그래픽 사용자 인터페이스를 디스플레이하는 단계, 감지된 위치에서 상기 터치 감지 컴퓨팅 디스플레이의 터치 센서를 통해 터치 입력을 수신하는 단계, 입력에 기반하여 의도된 터치 위치에 대한 확률적 결정을 수행하는 단계, 및 확률적 결정에 기반하여 감지된 위치에 관하여 조정되는 그래픽 사용자 인터페이스 상의 조정된 위치에 입력에 대한 응답을 디스플레이하는 단계를 포함하는, 컴퓨팅 디바이스의 터치 감지 디스플레이를 작동시키는 방법을 제공한다.

Description

확률적 터치 감지{PROBABILISTIC TOUCH SENSING}
터치 감지 컴퓨팅 디바이스는 그래픽 사용자 인터페이스와의 사용자 상호작용을 가능하게 하기 위해 터치 센서 및 디스플레이 디바이스를 이용할 수 있다. 터치 센서들은 용량성, 저항성 및 광학적 기술들을 포함한 터치 입력들을 검출하는 여러 기술들 중 임의의 것을 이용할 수 있다. 마찬가지로, 사용자들은 하나 이상의 스타일러스들 및/또는 인간 손가락(human digit)들과 같은 다양한 상이한 터치 입력 프로브들 입력을 할 수 있다.
터치 입력 시스템들에서 감지된 터치 입력 위치들을 조정하기 위해 확률적 결정들을 이용하는 것과 관련된 실시예들이 개시된다. 예를 들어, 하나의 개시된 실시예는 컴퓨팅 디바이스의 터치 감지 디스플레이를 동작시키는 방법을 제공한다. 방법은, 터치 감지 디스플레이 상에 그래픽 사용자 인터페이스를 디스플레이하는 단계, 감지된 위치에서 상기 터치 감지 컴퓨팅 디스플레이의 터치 센서를 통해 터치 입력을 수신하는 단계, 입력에 기반하여 의도된 터치 위치에 대한 확률적 결정을 수행하는 단계, 및 확률적 결정에 기반하여 감지된 위치에 대하여 조정되는 그래픽 사용자 인터페이스 상의 조정된 위치에 입력에 대한 응답을 디스플레이하는 단계를 포함한다.
본 요약은 아래의 상세한 설명에서 보다 상세하게 설명되는 개념들의 선택을 단순한 형태로 소개하기 위해 제공된 것이다. 본 요약은 청구된 발명내용의 중요한 특징들 또는 필수적인 특징들을 확인시키려는 의도는 없으며, 또한 청구된 발명내용의 범위를 제한시키려는 의도도 없다. 뿐만 아니라, 청구된 발명내용은 본 발명개시의 임의의 부분에서 언급된 단점들 모두 또는 그 일부를 해결하는 구현예들로 국한되지 않는다.
도 1a-c는 터치 감지 시스템의 사용 동안 발생할 수 있는 패럴랙스(parallax)의 예들을 개략적으로 예시한다.
도 2a 및 2b는 의도하였을 터치 위치(likely intended touch location)에 대한 확률적 결정에 기반하여 감지된 터치 위치에 대해 이루어진 예시적인 조정을 도시한다.
도 3a 및 3b는 의도하였을 터치 위치에 대한 확률적 결정에 기반하여 감지된 터치 위치에 대해 이루어진 다른 예시적인 조정을 도시한다.
도 4는 의도하였을 터치 위치에 대한 확률적 결정에 기반하여 감지된 터치 위치에 대해 이루어진 추가의 예시적인 조정을 도시한다.
도 5a는 의도하였을 터치 위치에 대한 확률적 결정에 기반하여 감지된 터치 위치에 대해 이루어진 추가의 또 다른 조정을 도시한다.
도 5b는 사용자 입력을 통한 도 5a의 예시적 조정의 무효화(negating)를 예시한다.
도 6은 이 개시물의 구현예에 따라 의도하였을 터치 위치에 대한 확률적 결정을 수행하는데 사용될 수 있는 터치 위치 데이터의 예시적 세트를 개략적으로 예시한다.
도 7은 이 개시물의 구현예에 따라 유사하게 의도된 터치 위치를 결정하는 방법을 예시하는 흐름도를 도시한다.
도 8은 이 개시물의 구현예에 따른 컴퓨팅 디바이스의 블록도를 도시한다.
상기 설명한 바와 같이, 터치 감지 컴퓨팅 디바이스들은 인간의 손가락 또는 스타일러스와 같은 입력 디바이스를 통해 입력을 수신할 수 있다. 터치 입력 동안, 컴퓨팅 디바이스에 입력이 인가되는 위치와 컴퓨팅 디바이스에 의해 입력이 감지되는 위치 사이에 차이가 발생할 수 있다. 다양한 요인들이 이러한 효과에 기여할 수 있으며, 이는 본 명세서에서 차이의 기원에 관계없이 패럴랙스로 지칭된다.
도 1a 내지 도 1c는 컴퓨팅 디바이스의 터치 감지 디스플레이(102)를 개략적으로 예시하고, 그러한 패럴랙스가 어떻게 발생할 수 있는지의 예들을 예시한다. 터치 감지형 디스플레이(102)는 결합된 디스플레이 및 터치 감지 스택 (114)을 함께 형성하는 커버 시트(108)(예를 들어 유리), 디스플레이(110)(예를 들어, LCD 또는 OLED 디스플레이), 및 터치 센서(112)(예를 들어 용량성 또는 저항성 센서)를 포함한다. 몇몇 실시예들에서, 터치 센서는 커버 시트와 디스플레이 사이에 위치될 수 있음을 이해할 것이다.
패럴랙스의 제1 예로서, 도 1a는 104에서, 스타일러스(106)가 물리적 위치(116)에서 접촉하고, 감지된 위치(118)에서 터치 센서(112)에 의해 감지되는 것을 도시한다. 104에서의 예에서, 스타일러스(106)에 배치되고 터치를 감지하기 위해 용량성 터치 센서에 의해 사용되는 감지 엘리먼트(120)가 물리적 접촉이 일어나는 스타일러스의 팁과 수직으로 정렬(align)됨에 따라, 감지된 위치(118)는 물리적 위치(116)에 대응한다. 이로써, 디스플레이(110)는 물리적 위치(116)에 대응하는 디스플레이된 위치(122)에 터치 입력에 대한 응답을 디스플레이한다. 104에서 터치에 대한 디스플레이된 응답이 정확한 위치에 있는 동안, 스택(114)의 표면에 대한 사용자의 눈의 비스듬한 각도로 인해, 사용자(124)는 터치 입력에 디스플레이된 응답의 물리적 위치가 디스플레이된 위치(122)로부터 오프셋된 인식 위치(126)에 있는 것으로 인식한다는 것을 알 수 있다. 이러한 패럴랙스의 타입은 본 명세서에서 “시각적(visual)” 패럴랙스로 지칭되며, 사용자가 부정확한 위치들에서 터치 입력을 하게 할 수도 있다.
도 1b의 128로 표시된 바와 같이, 패럴랙스의 다른 예로서, 감지 엘리먼트(120)는 커버 시트의 표면에 대한 스타일러스(106)의 각도 배향으로 인해 터치 입력의 물리적 위치(116')와 수직으로 정렬되지 않는다. 결과적으로, 터치 센서(112)는, 물리적 위치(116')와 상이하고, 감지된 터치 입력에 응답하여 디스플레이되는 사용자 인터페이스 엘리먼트(예를 들어, 커서, 잉킹(inking) 등)의 디스플레이된 위치(112')와도 또한 상이한 감지된 위치(118')에서 터치 입력을 감지한다. 이러한 타입의 패럴랙스는 본 명세서에 “하드웨어” 패럴랙스로 지칭된다. 이 차이는 스타일러스와 커버 시트(108)의 표면 평면 사이의 각도가 감소함에 따라 악화될 수 있다. 이것의 예가 도 1c의 130에 도시되는데, 여기서 물리적 터치 위치(116")와 감지된 위치(118") 사이의 비교적 큰 차이가 스타일러스의 각도 배향으로 인해 발생하고, UI 엘리먼트의 물리적 위치(116")와 디스플레이된 위치(122") 사이에서 비교적 큰 불일치가 초래된다.
터치 입력 시스템들은 감지된 터치 입력들에 적용할 오프셋을 결정하기 위해 보정(calibration)을 통해 하드웨어 패럴랙스를 교정하려고 시도할 수 있다. 그러나 이러한 보상은 다양한 스타일러스 접촉각들에 대해 효과적이지 않을 수도 있다.
시각적 및/또는 하드웨어 패럴랙스는 사용자의 의도에 반하는 사용자 인터페이스 엘리먼트의 잘못된 선택과 같은 다양한 문제들을 야기할 수 있다. 이러한 문제들을 완화하기 위해, 컴퓨팅 디바이스는 사용자에게 감지된 위치를 예시하기 위해 커서, 크로스헤어 등과 같은 시각적 큐(cue)들을 디스플레이할 수 있다. 그러나, 시각적 큐들은 디스플레이에 의해 디스플레이된 사용자 인터페이스 엘리먼트들을 폐색할 수 있고, 큐들이 스타일러스(106)의 움직임에 뒤쳐져 지연을 유발할 수 있으며, 이는 사용자 경험을 저하시킬 수 있다. 보정된 고정 오프셋들은 또한 정확한 터치 위치들에 적용될 수 있다. 그러나, 시각적 큐들 대신에 터치 입력들에 적용하기 위해 보정된 오프셋들의 사용은 상기 설명된 바와 같이 스타일러스(106)의 각도 배향의 편차들을 적절하게 보상하지 않을 수 있다.
따라서, 터치 입력의 감지된 위치에 기반하여 의도된 터치 위치를 확률적으로 결정하는 예들이 본 명세서에 개시된다. 본 명세서에 설명된 예들은 사용자 경험을 저하시키는 시각적 큐들을 디스플레이하지 않고, 터치 입력의 인가 중에 발생하는 패럴랙스를 완화시킬 수 있다. 도 2a 및 2b는 이 개시물의 구현예에 따라 감지된 터치 위치의 예시적 조정을 예시한다. 도 2a에 도시된 바와 같이, 터치 입력은 스타일러스(202)에 의해 터치 감지 컴퓨팅 디바이스(204)에 인가된다. 컴퓨팅 디바이스(204)가 태블릿 컴퓨팅 디바이스의 형태로 도시되어 있지만, 임의의 다른 적절한 형태의 컴퓨팅 디바이스들이 본 개시물의 범위 내에 있음을 알 것이다.
컴퓨팅 디바이스(204)는 스타일러스(202)로부터 수신된 터치 입력에 기반하여, 예를 들어 컴퓨팅 디바이스에서 실행되는 워드 프로세싱 또는 이메일 애플리케이션에서 디스플레이 상에 텍스트를 생성할 수 있는 가상 키보드(208)를 포함하는 그래픽 사용자 인터페이스(GUI)를 디스플레이하는 디스플레이를 포함한다. 도시된 바와 같이, 스타일러스 팁은 디스플레이된 “T” 키의 경계들 내에서 터치 감지 디스플레이를 물리적으로 터치한다. 그러나, 하드웨어 패럴랙스로 인해 터치 입력은 “Y” 키와 “T” 키 사이의 위치에서 감지된다. 따라서, 근접 키들 중 어느 것이 사용자가 선택할 가능성이 높은지를 결정하기 위해, 컴퓨팅 디바이스(204)는 터치 입력의 감지된 위치에 기반하여 의도된 터치 위치의 확률적 결정을 수행하도록 실행가능한 명령어들을 포함할 수 있다. 컴퓨팅 디바이스(204)의 예시적인 하드웨어 구현예들은 도 8을 참조하여 아래에서 설명된다.
도 2b는 확률적 결정의 수행에 기반하여 디스플레이될 수 있는 응답을 예시한다. 이 도면에서, 디스플레이된 키보드의 “T” 키는 의도하였을 터치 위치가 “T” 키의 테두리(border)들 내에 있다는 결정에 기반하여 선택된다는 것을 알 수 있다.
확률적 결정은 의도하였을 터치 위치를 결정하기 위해 임의의 적절한 정보를 이용할 수 있다. 예를 들어, 확률적 결정은 터치 입력의 감지된 위치(210), 터치 입력이 수신될 때 디스플레이되는 하나 이상의 사용자 인터페이스 엘리먼트들의 위치들(예를 들어, 도 2a 및 2b의 ‘T’ 및 ‘Y’), 그리고 또한 의도된 터치 위치 주위의 터치 위치들의 이전에 결정된 분산들의 세트를 입력들로서 이용할 수 있다.
확률적 결정은 2 이상의 사용자 인터페이스 엘리먼트들에 대해 의도된 터치 입력의 개별적 확률들을 결정하는 것을 포함할 수 있다. 예를 들어, 감지된 위치(210)로부터의 문턱(threshold) 거리 내의 가상 키보드(208)의 키들에 대한 확률들이 결정될 수 있다. 도시된 예에서, ‘T’ 및 ‘Y’는 의도하였을 터치 위치들로 간주될 수 있다. 따라서, 이들 키들 각각에 대한 확률적 결정들은 키들과 감지된 위치(210) 사이의 개별적 거리들(예를 들어, x 방향 및 y 방향으로)을 결정함으로써 수행될 수 있다. 의도되었을 터치 위치들의 확률 또는 확률들을 결정하기 위해 임의의 적절한 계산 또는 계산들이 이용될 수 있으며, 일부 구현예들에서 상이한 확률적 함수들이 상이한 경우들에 이용될 수 있음을 이해할 것이다.
도 2b에 도시된 예에서, 이 경우에 ‘Τ’ 키에 대해 수행된 확률적 결정은 ‘Y’ 키에 대한 확률적 결정에 의해 산출된 확률보다 더 높은 확률을 산출한다. 이로써, '키'는 확률적 결정에 기반한 의도된 터치 위치로서 선택된다. 이 예에서, 'Τ’ 키는 ‘Y’ 키보다 감지된 위치에 더 가깝다. 그러나, 몇몇 예들에서, 감지된 위치로부터 더 멀리 있는 키는 사용된 통계 분포의 특성, 사용자 인터페이스 엘리먼트들에 비교한 감지된 터치 위치의 상대 위치들, 확률들 및 잠재적인 다른 요인들을 결정하는데 사용되는 확률적 함수에 따라, 더 확률이 높은 것으로 결정될 수 있다.
이 경우의 확률적 결정의 결과는 감지된 위치의 오프셋을 조정된 위치(예를 들어, ‘Y’ 키의 경계들 내의 위치)에 적용하는 것이다. 터치 입력들에 고정된 보정 오프셋을 적용하는 방법들과 달리, 이 경우 오프셋은 동적으로 결정되며, 터치 입력들 사이에서 크기와 방향이 모두 변경될 수 있다. 또한, 조정은 터치 입력이 수신될 때 디스플레이되는 하나 이상의 사용자 인터페이스 엘리먼트들에 기반하여 결정될 수 있다.
전술한 바와 같이, 몇몇 구현예들에서, 감지된 터치 입력이 엘리먼트에 의도되었는지 여부를 결정할 때, 문턱 조건이 사용자 인터페이스 엘리먼트에 적용될 수 있다. 예를 들어, 문턱 최소 확률, 문턱 최대 거리, 및/또는 다른 문턱 조건들이 적용될 수 있다. 사용자 인터페이스 엘리먼트들이 임의의 적용된 문턱 조건들을 충족시키지 않는 경우, 터치 입력에 대한 응답이 감지된 위치에 대신 디스플레이되거나, 또는 적용할 오프셋을 결정하기 위해 확률적 결정이 여전히 이용될 수 있다.
도 3a 및 3b는 의도된 터치 위치에 대한 확률적 결정에 기반하여 터치 입력에 대한 디스플레이된 응답에 이루어진 다른 예시적인 조정을 도시한다. 도 3a에 도시된 바와 같이, 터치 입력은 스타일러스(202)에 의해 감지된 위치(302)에서 터치 감지 컴퓨팅 디바이스(204)에 인가된다. 감지된 위치(210)와 마찬가지로, 감지된 위치(302)는 ‘Y’와 ‘T’ 키 사이에 놓인다. 이 예에서, 도 2a 및 도 2b와는 달리, 감지된 위치(302)는 접촉이 발생하는 물리적 위치와 매칭된다. 그러나, 광학 패럴랙스로 인해, 사용자는 틀린 위치에서 디스플레이를 터치하여, 터치가 ‘Y’ 키 내에 있는 것으로 인식한다. 이 예에서, ‘Y’ 키에 대해 수행된 확률적 결정은 ‘T’ 키에 대해 수행된 확률적 결정에 의해 산출된 확률보다 더 높은 확률을 산출한다. 따라서, ‘Y’ 키는 의도된 터치 위치로 선택된다. 따라서, 터치 입력에 대한 응답은 도 2a-2b의 예에서 적용된 오프셋과는 상이한 방향 및 크기를 갖는 오프셋을 가진 조정된 위치(304)에 디스플레이된다.
몇몇 구현예들에서, 확률적 결정은 디스플레이(206)에 의해 제시된 GUI의 콘텍스트에 추가로 기반할 수 있다. 임의의 적합한 컨텍스트 정보가 이용될 수 있다. 일 예로서, 가상 키보드(208)의 각각의 키는 연관된 선택 빈도를 가질 수 있다. 따라서, 더 빈번하게 선택되는 키가 덜 빈번하게 선택되는 키보다 더 강하게 가중화될 수 있도록, 선택 빈도는 확률적 결정을 가중화하는데 사용될 수 있다. 다른 예로서, 콘텍스트 정보는 수신된 다른 사용자 입력들에 관한 정보를 포함할 수 있다. 예를 들어, 가상 키보드(208)를 통해 현재 입력되고 있는 불완전한 단어를 완성하거나 다른 식으로 매칭하는 가상 키보드(208) 내의 키들은 그렇지 않은 키들보다 가중화될 수 있다. 다른 예로서, 감지된 터치 위치들에 대한 조정들은 터치 입력이 수신된 디스플레이(206)상의 위치에 적어도 부분적으로 기초하여 결정될 수 있다 - 예를 들어, 상이한 오프셋은 디스플레이의 우측 하부 사분면에서 수신된 터치 입력에 대해서보다 디스플레이의 상부 좌측 사분면에서의 입력에 대해 상이한 오프셋이 결정될 수 있다. 유사하게, 상이한 통계 분포들은 터치 입력이 수신되는 디스플레이(206) 상의 위치에 따라 확률적 결정들에 대한 입력들로서 사용될 수 있다.
본 명세서에 설명된 접근법들은 또한 입력 디바이스가 위에서 호버링하고, 컴퓨팅 디바이스와 물리적으로 접촉지 않는 "호버 (hover)” 입력들에도 적용될 수 있다. 본 명세서에서 사용될 때 "터치 입력” 등과 같은 용어들은 물리적 접촉 및 호버 입력 모두를 지칭한다. 따라서, 몇몇 구현예들에서, 컴퓨팅 디바이스(204)는 터치 감지 디스플레이에 대한 물체(예를 들어, 스타일러스, 손가락)의 접근을 감지하고, 물체가 터치 센서에 접근할 때 샘플 속도에서 물체의 의도된 터치 위치들에 대한 복수의 확률적 결정을 수행할 수 있다. 몇몇 예들에서, 확률적 결정은 문턱 신호 대 잡음비(SNR) 이하가 되는 신호들이 아니라, 문턱 SNR을 초과하는 물체에 의해 터치 센서에서 생성된 신호들에 대한 물체 접근 동안에 결정될 수 있다.
도 4는 본 개시물의 구현에 따라 감지된 터치 입력에 대한 디스플레이된 응답의 조정의 또 다른 예를 도시한다. 여기서, 기하학적 형상(402)은 스타일러스(202)에 의한 자유형(free-form) 터치 입력에 응답하여 컴퓨팅 디바이스(204)의 디스플레이(206) 상에 미리 그려졌고, 스타일러스는 형상(402)을 그린 후에 디스플레이(206)로부터 들어올려졌다. 이어서, 스타일러스(202)는 형상(402)의 종점(406)으로부터 분리되는 감지된 위치(404)에서 디스플레이(206)와 다시 한번 접촉하게 된다. 이 터치 입력의 수신에 응답하여, 의도된 터치 위치의 확률적 결정은 이전에 활성화되고 현재 활성인 형상(402)을 입력으로서 이용하여, 감지된 위치(404) 및 형상(402)에 기반하여 수행된다. 확률적 결정에 기초하여, 의도된 터치 위치는 이전에 활성화된 터치 위치 또는 현재 활성 상태에 있는 사용자 인터페이스 엘리먼트 - 즉, 이전에 만들어진 사용자 입력 형성 형상(402)의 종점(406) - 에 대응하는 것으로 결정된다. 이러한 방식으로, 터치 입력은 이전에 만들어진 사용자 입력에 "스냅될” 수 있어, 이 예에서 사용자가 형상(402)의 그림을 재개하도록 허용할 수 있다. 응답을 위해 그러한 스냅을 구현하는 예가 하기에 더욱 상세히 설명된다.
도 5a는 의도하였을 터치 위치에 대한 확률적 결정에 기반하여 감지된 터치 입력에 대한 디스플레이된 응답의 조정의 다른 예를 도시한다. 이 예에서, ‘i’ 위의 점을 제외한 텍스트 “Dial”이 스타일러스(202)를 통해 수신된 터치 입력에 응답하여 컴퓨팅 디바이스(204)의 디스플레이(206) 상에 디스플레이되었다. 텍스트를 완성하고 ‘i’ 위에 점을 그리기 위해 ‘i’와 분리된 감지된 위치(502)에서 터치 입력이 인가된다. 이 터치 입력의 수신에 응답하여, 의도된 터치 위치의 확률적 결정은 디스플레이된 위치가 ‘i’의 이전에 잉킹되었고 여전히 활성인 종단에 스냅되게 할 수 있다. 따라서, 터치 입력에 대한 응답이 조정된 위치(504)에 디스플레이되어, 입력이 ‘i’의 실수로 스템에 스냅된다. 그러나,이 경우 사용자는 조정된 위치(504)에서 입력하도록 의도하지 않았다. 이로써, 사용자는 터치 입력이 부정확하게 해석되었음을 나타내는 무효화(negating) 입력을 하도록 선택할 수 있다. 무효화 입력은 임의의 적절한 방식으로, 예컨대 되돌리기(undo) 버튼(506), 백스페이스 버튼, 지우개로서의 작동 스타일러스(202) 등에 의해 이루어질 수 있다.
무효화 입력을 수신한 것에 응답하여, 터치 입력에 대한 응답은 도 5b에 도시된 바와 같이 감지된 위치(502)에 다시 디스플레이되어, ‘i’ 위의 점의 디스플레이를 허용한다. 또한, 몇몇 예들에서, 무효화 입력은 또한 하나 이상의 후속 터치 입력들에 대한 확률적 결정을 스위치 오프하여, 후속 입력에 대한 응답이 조정된 위치가 아닌 감지된 위치에 디스플레이되도록 할 수 있다. 몇몇 구현예들에서, 제어들은 디스플레이(206)에 의해 제시된 GUI에 디스플레이될 수 있어, 사용자가 터치 입력 위치 조정 및/또는 스냅핑을 명시 적으로 온 또는 오프시키도록 허용한다.
전술한 바와 같이, 의도하였을 터치 위치의 확률적 결정은 이전에 결정된 터치 입력 위치 데이터 세트의 입력을 이용할 수 있다. 도 6은 그러한 통계적 분포로서 사용될 수 있는 의도된 터치 위치(604) 주위의 감지된 입력 위치들(602)의 미리 결정된 세트의 일례를 개략적으로 예시한다. 이 예에서, 의도된 터치 위치(604)는 예를 들어 GUI 상에 제시된 사용자 인터페이스 엘리먼트의 중심에 대응할 수 있다.
이전에 결정된 터치 위치들의 세트는 예를 들어, 터치 감지 시스템의 개발 동안 테스트를 통해 초기에 형성될 수 있다. 데이터 세트는 컴퓨팅 디바이스(204)의 터치 센서를 통해 수신된 터치 입력들에 기반하여 업데이트될 수 있다. 예를 들어, 터치가 무효화되지 않는 한, 감지된 터치 위치들과 가상 키보드(208)에서 빈번하게 선택되는 키들 사이의 관측된 거리들 및 방향들은 감지된 터치 위치(602)와 의도된 터치 위치(604) 사이의 기존 거리에 추가될 수 있다. 데이터 세트를 갱신 할 때, 자주 선택되는 사용자 인터페이스 엘리먼트들은 단위 시간당 더 많은 데이터를 얻도록 데이터 획득에 사용될 수 있다. 마찬가지로, 스크린 위치에 따라 분산 특징이 달라질 수 있기 때문에, 상이한 디스플레이된 위치들에서 사용자 인터페이스 엘리먼트들이 선택될 수 있다. 몇몇 구현예들에서 분산의 정규 분포가 가정될 수 있고, 거리 평균 및 표준 편차(및 스타일러스의 각도와 같은 다른 디바이스 파라미터들)와 같은 파라미터들이 주기적으로 업데이트될 수 있다.
통계 분포는 또한 다른 기준들에 기반할 수 있다. 기준들은 예를 들어, 스타일러스(202)의 사이즈(예컨대, 스타일러스의 팁의 사이즈) 및/또는 스타일러스가 컴퓨팅 디바이스(204)의 표면에 대해 배향되는 각도를 포함할 수 있다. 통계적 분포는 또한 그 거리가 연관된 사용자 인터페이스 엘리먼트의 사이즈, 모양 및/또는 타입에 따라 달라질 수 있다. 또한, 둘 이상의 통계 분포들이 컴퓨팅 디바이스(204) 상에서 수행된 확률적 결정들에 대한 입력들로서 사용될 수 있다. 예를 들어, 주어진 확률적 결정에 대해 사용되는 통계 분포는 컴퓨팅 디바이스 상에 터치 입력이 수신되는 위치에 따라 달라질 수 있다.
도 7은 이 개시물의 구현예에 따라 의도하였을 터치 위치를 확률적으로 결정하는 방법(700)을 예시하는 흐름도를 도시한다. 방법 (700)은 컴퓨팅 디바이스의 저장 서브시스템에 저장된 명령어들의 실행을 통해 컴퓨팅 디바이스 상에서 수행될 수 있다.
702에서, 방법 (700)은 컴퓨팅 디바이스(예를 들어, 도 2의 컴퓨팅 디바이스(204))의 터치 감지 디스플레이(예를 들어, 도 2의 디스플레이(206)) 상에 GUI를 디스플레이하는 단계를 포함한다. GUI는 가상 키보드(예컨대, 도 2의 가상 키보드(208))의 하나 이상의 키와 같은 하나 이상의 사용자 인터페이스 엘리먼트들을 포함하거나 포함하지 않을 수 있다. 704에서, 터치 입력은 감지된 위치에서 컴퓨팅 디바이스의 터치 센서를 통해 수신된다. 몇몇 예들에서, 터치는 터치 감지 디스플레이의 표면 상의 물리적 터치일 수 있다. 다른 예들에서, 706에서, 터치 입력을 수신하는 단계는 물체가 터치 센서에 접근함에 따라 물체로부터의 호버 입력을 검출하는 단계는 포함할 수 있다.
계속해서, 710에서, 방법(700)은 704에서 수신된 터치 입력에 기반하여 의도된 터치 위치의 확률적 결정을 수행하는 단계를 포함한다. 몇몇 구현예들에서, 터치 입력이 터치 감지 디스플레이와 접촉함에 따라 각각의 감지된 터치 입력에 대해 단일 또는 고정 횟수의 확률적 결정이 수행될 수 있다. 다른 구현예들에서, 712에서, 확률적 결정을 수행하는 단계는 예를 들어 호버 입력이 터치 센서에 접근함에 따라 샘플 레이트로 의도된 터치 위치들에 대한 복수의 확률적 결정들을 수행하는 단계를 포함할 수 있다. 이러한 구현예들에서, 확률적 결정들은 전술한 바와 같이, 호버 입력에 의해 터치 센서에서 유도된 신호들이 문턱 SNR을 초과하는지 여부에 기반하여 수행될 수 있다. 또한, 몇몇 구현예들에서, 714에 표시된 바와 같이, 확률적 결정은 상기 설명된 바와 같이 입력으로서 702에 디스플레이된 GUI의 콘텍스트를 이용할 수 있다. 또한, 몇몇 예들에서, 확률적 결정은 716에서, 확률 분포에 대한 입력으로서 가능한 의도된 터치 위치에 대한 (예를 들어 오프셋의 형태의) 터치 위치들의 세트를 포함하는 통계 분포를 이용하는 것을 포함할 수 있다.
몇몇 구현예들에서, 방법(700)은 718에서, 710에서 수행된 확률적 결정에 의해 산출된 결과가 최소 확률과 같은 문턱 조건을 충족하는지 여부를 결정하는 단계를 포함할 수 있다. 다른 구현예들에서, 그러한 문턱치는 적용되지 않을 수 있다.
계속해서, 확률적 결정에 의해 산출된 확률이 문턱 조건을 초과하지 않는다고 결정되면, 방법(700)은 720으로 진행하며, 여기서 터치 입력에 대한 응답은 감지된 위치에 디스플레이된다. 한편, 확률적 결정에 의해 산출된 확률이 문턱 조건을 초과한다고 결정되면, 방법 (700)은 선택적으로 722로 선택적으로 진행하며, 여기서 현재 활성화된 임의의 이전에 활성화된 터치 입력 위치들이 문턱 조건(예를 들어, 문턱 거리, 문턱 확률 등)을 충족하는지 여부가 결정된다. 현재 활성화되고 문턱 조건을 충족하는 이전에 활성화된 터치 입력 위치들이 없는 경우, 718에서 확률적 결정의 결과에 대응하는 조정된 위치에 터치 입력에 대한 응답이 디스플레이된다. 반면에, 그러한 이전에 활성화된 터치 입력 위치들이 있는 경우, 방법(700)은 725에서, 724에 표시된 바와 같이, 이전에 활성화된 터치 위치에 대응하는 조정된 위치에서 터치 입력에 대한 응답을 디스플레이하는 단계를 포함한다.
전술한 바와 같이, 몇몇 경우에 있어서, 의도하였을 터치 위치의 확률적 결정은 사용자의 실제 의도와 매칭되지 않는 조정을 초래할 수 있다. 이러한 경우들에 있어서, 사용자는 조정을 무효화할 수 있다. 그와 같이, 방법(700)은 단계(726)에서, 무효화 사용자 입력이 수신되는지를 결정하는 단계를 포함한다. 무효화 사용자 입력이 수신되지 않으면, 확률적 결정을 위해 이용된 통계 분포는 704에서 수신된 터치 입력에 기초하여 728에서 업데이트될 수 있다. 그러나, 무효화 입력이 수신된 경우, 방법(700)은 730으로 진행하여, 무효화 입력에 대한 응답이 감지된 위치에 표시된다. 또한, 732에서, 후속 터치 입력에 대한 응답이 또한 감지된 위치에 디스플레이될 수 있다.
몇몇 실시예들에서, 본 명세서에 설명된 방법들 및 프로세스들은 하나 이상의 컴퓨팅 디바이스들의 컴퓨팅 디바이스에 관련될 수 있다. 특히, 그러한 방법들 및 프로세스들은 컴퓨터-애플리케이션 프로그램 또는 서비스, 애플리케이션-프로그래밍 인터페이스(API, application-programming interface), 라이브러리, 및/또는 다른 컴퓨터-프로그램 물건으로서 구현될 수 있다.
도 8은 상기 설명된 방법들 및 프로세스들 중 하나 이상을 실시할 수 있는 컴퓨팅 디바이스(800)의 비제한적인 실시예를 개략적으로 도시한다. 컴퓨팅 디바이스(800)는 단순화된 형태로 도시된다. 컴퓨팅 디바이스(800)는 하나 이상의 개인용 컴퓨터들, 서버 컴퓨터들, 태블릿 컴퓨터들, 홈 엔터테인먼트 컴퓨터들, 네트워크 컴퓨팅 디바이스들, 게이밍 디바이스들, 모바일 컴퓨팅 디바이스들, 모바일 통신 디바이스들(예를 들어, 스마트 폰), 및/또는 터치 스크린들을 갖는 다른 컴퓨팅 디바이스들(예를 들어, 온도 조절기, 알람, 주방 용품, 차량 컴퓨터들, 내장형 터치 스크린 제어 컴퓨팅 디바이스들을 갖는 다른 것들 등)의 형태를 취할 수 있다.
컴퓨팅 디바이스(800)는 로직 서브시스템(802) 및 저장 서브시스템(804)을 포함한다. 컴퓨팅 디바이스(800)는 선택적으로 디스플레이 서브시스템(806), 입력 서브시스템(808), 통신 서브시스템(810) 및/또는 도 8에 도시되지 않은 다른 컴포넌트들을 포함할 수 있다.
로직 서브시스템(802)은 명령어들을 실행하도록 구성된 하나 이상의 물리적 디바이스들을 포함한다. 예를 들어, 로직 머신은 하나 이상의 애플리케이션들, 서비스들, 프로그램들, 루틴들, 라이브러리들, 오브젝트들, 컴포넌트들, 데이터 구조물들, 또는 다른 논리 구조물들의 일부분인 명령어들을 실행하도록 구성될 수 있다. 그러한 명령어들은 태스크를 수행하거나, 데이터 타입을 구현하거나, 하나 이상의 컴포넌트들의 상태를 변형하거나, 기술적 효과를 달성하거나, 또는 다른 방식으로 원하는 결과에 도달하기 위하여 구현될 수 있다.
로직 머신은 소프트웨어 명령어들을 실행하도록 구성되는 하나 이상의 프로세서들을 포함할 수 있다. 부가적으로 또는 대안적으로, 로직 머신은 하드웨어 또는 펌웨어 명령어들을 실행하도록 구성된 하나 이상의 하드웨어 또는 펌웨어 로직 머신들을 포함할 수 있다. 로직 머신의 프로세서들은 단일 코어 또는 멀티 코어일 수 있으며, 거기서 실행된 명령어들은 순차형, 동시형, 및/또는 분산형 프로세싱을 위해 구성될 수 있다. 로직 머신의 개별적 컴포넌트들은 선택적으로, 조정된 프로세싱을 위해 원격으로 위치되고 및/또는 구성될 수 있는, 2개 이상의 개별 디바이스들 사이에 분산될 수 있다. 로직 머신의 양상들은, 클라우드-컴퓨팅 구성으로 구성된, 원격으로 액세스가능한 네트워킹된 컴퓨팅 디바이스들에 의해 가상화되고 실행될 수 있다.
저장 서브시스템(804)은 본 명세서에 설명된 방법들 및 프로세스들을 구현하기 위하여 로직 머신에 의해 실행가능한 명령어들을 보유하도록 구성된 하나 이상의 물리적 디바이스들을 포함한다. 그러한 방법들 및 프로세스들이 구현될 때, 저장 서브시스템(804)의 상태는 - 예를 들어, 상이한 데이터를 홀딩하기 위하여 - 변환될 수 있다.
저장 서브시스템(804)은 착탈식 및/또는 빌트-인 디바이스들을 포함할 수 있다. 저장 서브시스템(804)은 착탈식 및/또는 빌트-인 디바이스들을 포함할 수 있다; 이것은 특히, 광학 메모리(예를 들어, CD, DVD, HD-DVD, 블루레이 디스크, 등), 반도체 메모리(예를 들어, RAM, EPROM, EEPROM, 등), 및/또는 자기 메모리(예를 들어, 하드-디스크 드라이브, 플로피-디스크 드라이브, 테잎 드라이브, MRAM, 등)을 포함할 수 있다. 저장 서브시스템(804)은 휘발성, 비휘발성, 동적, 정적, 판독/기록, 판독 전용, 랜덤 액세스, 순차 액세스, 위치-어드레스가능, 파일-어드레스가능, 및/또는 콘텐츠-어드레스가능 디바이스들을 포함할 수 있다.
저장 서브시스템(804)은 하나 이상의 물리적 디바이스들을 포함하는 것이 인식될 것이다. 그러나, 본 명세서에 설명된 명령어들의 양상들은 대안적으로 유한한 지속시간 동안 물리적 디바이스에 의해 홀딩되지 않는 통신 매체(예를 들어, 전자기 신호, 광학 신호, 등)에 의해 전파될 수 있다.
로직 서브시스템(802) 및 저장 서브시스템(804)의 양상들은 하나 이상의 하드웨어-로직 컴포넌트들로 함께 통합될 수 있다. 그러한 하드웨어-로직 컴포넌트들은 예를 들어, 필드-프로그램가능 게이트 어레이들(FPGAs, field-programmable gate arrays), 프로그램-특정 및 애플리케이션-특정 집적 회로들(PASIC / ASICs, program- and application-specific integrated circuits), 프로그램-특정 및 애플리케이션-특정 표준 제품들(PSSP / ASSPs, program- and application-specific standard products), 시스템-온-칩(SOC, system-on-a-chip), 및 복합 프로그램가능 로직 디바이스들(CPLDs, complex programmable logic devices)을 포함할 수 있다.
용어들 “방법” 및 “프로그램”은 특정 기능을 수행하도록 구현된 컴퓨팅 디바이스(800)의 양상을 설명하는데 사용될 수 있다. 몇몇 경우들에 있어, 방법 또는 프로그램은 저장 서브시스템(804)에 의해 보유되는 명령어들을 실행하는 로직 서브시스템(802)을 통해 인스턴스화될 수 있다. 상이한 방법들 및/또는 프로그램들이 동일한 애플리케이션, 서비스, 코드 블록, 오브젝트, 라이브러리, 루틴, API, 함수, 등으로부터 인스턴스화될 수 있다는 것이 이해될 것이다. 유사하게, 동일한 방법 및/또는 프로그램이 상이한 애플리케이션들, 서비스들, 코드 블록들, 오브젝트들, 루틴들, API들, 함수들, 등에 의해 인스턴스화될 수 있다. 용어들 “방법” 및 “프로그램”은 실행가능 파일들, 데이터 파일들, 라이브러리들, 드라이버들, 스크립트들, 데이터베이스 기록들, 등의 그룹들 또는 그들 개개의 것을 포괄할 수 있다.
본 명세서에서 사용되는 바와 같은 “서비스”는 복수의 사용자 세션들에 걸쳐 실행가능한 애플리케이션 프로그램이라는 것이 인식될 것이다. 서비스는 하나 이상의 시스템 컴포넌트들, 프로그램들, 및/또는 다른 서비스들에 대해 이용가능할 수 있다. 몇몇 구현예들에서, 서비스는 하나 이상의 서버-컴퓨팅 디바이스들 상에서 실행될 수 있다.
디스플레이 서브시스템(806)은 저장 서브시스템(804)에 의해 보유된 데이터의 시각적 표현을 제공하는데 사용될 수 있다. 이 시각적 표현은 GUI의 형태를 취할 수 있다. 본 명세서에서 설명된 방법들 및 프로세스들은 저장 머신에 의해 보유되는 데이터를 변경하고, 따라서 저장 머신의 상태를 변환하므로, 디스플레이 서브시스템(806)의 상태는 마찬가지로 기초(underlying) 데이터의 변화들을 시각적으로 나타내도록 변환될 수 있다. 디스플레이 서브시스템(806)은 임의의 타입의 기술을 시각적으로 이용하는 하나 이상의 디스플레이 디바이스들을 포함할 수 있다. 이러한 디스플레이 디바이스들은 공유 인클로저 내의 로직 서브시스템(802) 및/또는 저장 서브시스템(804)과 결합될 수 있거나, 또는 그러한 디스플레이 디바이스들은 주변 디스플레이 디바이스들일 수 있다.
입력 서브시스템(808)은 터치 감지 디스플레이 스크린, 키보드, 마우스 또는 게임 제어기와 같은 하나 이상의 사용자 입력 디바이스들을 포함하거나 그것과 인터페이싱할 수 있다. 몇몇 실시예들에서, 입력 서브시스템은 선택된 내추럴 UI(NUI, natural user input) 부품을 포함하거나 그것과 인터페이싱할 수 있다. 그러한 부품은 통합형 또는 주변 장치일 수 있으며, 입력 동작들의 변환 및/또는 프로세싱은 온보드 또는 오프보드로 처리될 수 있다. 예시적인 NUI 부품은 스피치 및/또는 음성 인식을 위한 마이크로폰; 머신 비전 및/또는 제스쳐 인식을 위한 적외선, 컬러, 스테레오스코픽 및/또는 뎁스(depth) 카메라; 움직임 검출 및/또는 의도 인식을 위한 헤드 트래커, 아이 트래커, 가속도계, 및/또는 자이로스코프; 뇌 활동을 평가하기 위한 전계 감지 부품을 포함할 수 있다.
포함되는 경우, 통신 서브시스템(810)은 컴퓨팅 디바이스(800)를 하나 이상의 다른 컴퓨팅 디바이스들과 통신가능하게 결합하도록 구성될 수 있다. 통신 서브시스템(810)은 하나 이상의 상이한 통신 프로토콜들과 호환되는 유선 및/또는 무선 통신 디바이스들을 포함할 수 있다. 비제한적 예로서, 통신 서브시스템은 무선 전화 네트워크, 또는 유선이나 무선의 로컬 또는 광역 네트워크를 통한 통신을 위해 구성될 수 있다. 몇몇 실시예들에서, 통신 서브시스템은 컴퓨팅 디바이스(800)가 인터넷과 같은 네트워크를 통해 다른 디바이스들로 메시지를 전송 및/또는 다른 디바이스들로부터 메시지를 수신하도록 허용할 수 있다.
본 명세서에 설명된 구성들 및/또는 접근법들은 예시로서 제시되며, 이들 특정 실시예들 또는 예들은 제한의 의미로 고려되지 않을 것인데, 이는 복수의 변형들이 가능하기 때문이라는 것이 이해될 것이다. 본 명세서에 설명된 특정 루틴들 또는 방법들은 임의의 개수의 프로세싱 정책들 중 하나 이상을 나타낼 수 있다. 이로써, 예시된 및/또는 설명된 다양한 동작들은 예시된 및/또는 설명된 순서로 수행되거나, 다른 순서로 수행되거나, 동시에 수행되거나, 또는 생략될 수 있다. 유사하게, 상기 설명된 프로세스들의 순서는 변경될 수 있다.
본 개시물의 대상은 다양한 프로세스들, 시스템들 및 구성들의 모든 새로운 그리고 명백하지 않은 결합물들 및 서브-결합물들, 및 본 명세서에 개시된 다른 피쳐들, 기능들, 동작들, 및/또는 특성들 뿐 아니라, 그 임의의 그리고 모든 등가물들을 포함한다.

Claims (20)

  1. 터치 감지 컴퓨팅 디바이스에 있어서,
    로직 서브시스템; 및
    상기 로직 서브시스템에 의해 실행가능한 명령어들을 보유하는 저장 서브시스템
    을 포함하며,
    상기 명령어들은,
    상기 터치 감지 컴퓨팅 디바이스의 디스플레이 상에 그래픽 사용자 인터페이스를 디스플레이하고,
    상기 터치 감지 컴퓨팅 디바이스의 터치 센서를 통해 터치 입력을 감지된 위치에서 수신하고,
    이전에 결정된 감지된 터치 입력 위치들의 세트의 통계적 분포를 확률적 결정에 대한 입력으로서 이용함으로써, 상기 터치 입력에 기반하여 의도된 터치 위치에 대한 확률적 결정을 수행하도록 터치 감지 시스템을 작동시키며 ― 상기 이전에 결정된 감지된 터치 입력 위치들의 세트는 상기 터치 감지 시스템의 개발 동안 형성된 테스팅 데이터 세트를 포함함 ― ,
    상기 확률적 결정에 기반하여 상기 감지된 위치에 대하여 조정되는 상기 그래픽 사용자 인터페이스 상의 조정된 위치에 상기 터치 입력에 대한 응답을 디스플레이하도록
    실행가능한 것인, 터치 감지 컴퓨팅 디바이스.
  2. 제1항에 있어서,
    상기 응답을 디스플레이하는 것은,
    상기 확률적 결정에 의해 산출된 확률이 문턱 조건을 충족시키는 경우 상기 조정된 위치에 상기 응답을 디스플레이하는 것, 및
    상기 확률이 상기 문턱 조건을 충족시키지 않는 경우 상기 감지된 위치에 상기 응답을 디스플레이하는 것
    을 포함하는 것인, 터치 감지 컴퓨팅 디바이스.
  3. 제2항에 있어서,
    상기 문턱 조건은 상기 감지된 위치와 상기 의도된 터치 위치 사이의 거리에 기반하는 것인, 터치 감지 컴퓨팅 디바이스.
  4. 제1항에 있어서,
    상기 명령어들은 또한,
    상기 조정된 위치에 상기 응답을 디스플레이한 이후에, 상기 터치 센서를 통해 무효화(negating) 입력을 수신하고,
    상기 무효화 입력에 응답하여, 상기 감지된 위치에서 상기 터치 입력에 대한 응답을 디스플레이하며,
    상기 터치 센서를 통해 수신되는 후속 터치 입력에 대한 응답을 상기 후속 터치 입력의 감지된 위치에 디스플레이하도록
    실행가능한 것인, 터치 감지 컴퓨팅 디바이스.
  5. 제1항에 있어서,
    상기 명령어들은 또한,
    상기 터치 센서에 대한 물체의 접근을 감지하며,
    상기 물체가 상기 터치 센서에 접근할 때, 샘플 레이트로 상기 물체의 의도된 터치 위치들에 대한 복수의 확률적 결정들을 수행하도록
    실행가능한 것인, 터치 감지 컴퓨팅 디바이스.
  6. 제1항에 있어서,
    상기 확률적 결정은 또한 상기 그래픽 사용자 인터페이스의 콘텍스트에 기반하는 것인, 터치 감지 컴퓨팅 디바이스.
  7. 제6항에 있어서,
    상기 콘텍스트는 상기 그래픽 사용자 인터페이스 상에 디스플레이되는 가상 키보드의 하나 이상의 키에 관한 정보를 포함하는 것인, 터치 감지 컴퓨팅 디바이스.
  8. 제1항에 있어서,
    상기 통계적 분포는 상기 이전에 결정된 감지된 터치 입력 위치들의 세트와 상기 의도된 터치 위치 사이의 거리들의 세트를 포함하는 것인, 터치 감지 컴퓨팅 디바이스.
  9. 제1항에 있어서,
    상기 명령어들은 또한 상기 터치 센서를 통해 수신되는 터치 입력들에 기반하여 상기 통계적 분포를 업데이트하도록 실행가능한 것인, 터치 감지 컴퓨팅 디바이스.
  10. 제1항에 있어서,
    상기 명령어들은 상기 터치 입력이 수신된 위치에 따라 상이한 통계적 분포를 이용하도록 실행가능한 것인, 터치 감지 컴퓨팅 디바이스.
  11. 제1항에 있어서,
    상기 의도된 터치 위치는 현재 활성 상태인 이전에 활성화된 터치 위치에 대응하는 것인, 터치 감지 컴퓨팅 디바이스.
  12. 터치 감지 컴퓨팅 디바이스에 있어서,
    로직 서브시스템; 및
    상기 로직 서브시스템에 의해 실행가능한 명령어들을 보유하는 저장 서브시스템
    을 포함하며,
    상기 명령어들은,
    상기 터치 감지 컴퓨팅 디바이스의 터치 감지 디스플레이를 통해 사용자 인터페이스에 복수의 사용자 인터페이스 엘리먼트들을 디스플레이하고,
    상기 터치 감지 디스플레이의 터치 센서를 통해 사용자 터치 입력을 수신하고,
    상기 복수의 사용자 인터페이스 엘리먼트들 중 둘 이상의 사용자 인터페이스 엘리먼트 각각에 대해, 상기 수신된 사용자 터치 입력이 상기 사용자 인터페이스 엘리먼트에 대해 의도된 것일 확률을 결정하기 위하여 확률적 결정을 수행하도록 터치 감지 시스템을 작동시키며 ― 상기 확률적 결정은 이전에 결정된 감지된 터치 입력 위치들의 세트의 통계적 분포를 입력으로서 이용하고, 상기 이전에 결정된 감지된 터치 입력 위치들의 세트는 상기 터치 감지 시스템의 개발 동안 형성된 테스팅 데이터 세트를 포함함 ― ,
    상기 확률적 결정에 기반하여 선택된 사용자 인터페이스 엘리먼트의 선택을 디스플레이하도록
    실행가능한 것인, 터치 감지 컴퓨팅 디바이스.
  13. 제12항에 있어서,
    상기 선택된 사용자 인터페이스 엘리먼트의 선택을 디스플레이하는 것은,
    상기 확률적 결정이 문턱 조건을 충족시키는 경우 상기 사용자 터치 입력이 수신된 감지된 위치에 대하여 조정되는 조정된 위치에 상기 선택을 디스플레이하는 것, 및
    상기 확률적 결정이 상기 문턱 조건을 충족시키지 않는 경우 상기 감지된 위치에 상기 선택을 디스플레이하는 것
    을 포함하는 것인, 터치 감지 컴퓨팅 디바이스.
  14. 제13항에 있어서,
    상기 명령어들은 또한,
    상기 조정된 위치에 상기 선택된 사용자 인터페이스 엘리먼트의 선택을 디스플레이한 이후에, 상기 터치 감지 디스플레이를 통해 무효화 입력을 수신하고,
    상기 무효화 입력에 응답하여, 상기 감지된 위치에 상기 선택을 디스플레이하도록
    실행가능한 것인, 터치 감지 컴퓨팅 디바이스.
  15. 제12항에 있어서,
    상기 명령어들은 또한,
    상기 터치 감지 디스플레이에 대한 물체의 접근을 감지하며,
    상기 물체가 상기 터치 감지 디스플레이에 접근할 때, 샘플 레이트로 상기 물체의 의도된 터치 위치들에 대한 복수의 확률적 결정들을 수행하도록
    실행가능한 것인, 터치 감지 컴퓨팅 디바이스.
  16. 제12항에 있어서,
    상기 확률적 결정은 또한 상기 사용자 인터페이스의 콘텍스트에 기반하는 것인, 터치 감지 컴퓨팅 디바이스.
  17. 제12항에 있어서,
    상기 선택된 사용자 인터페이스 엘리먼트는 현재 활성 상태인 이전에 활성화된 사용자 인터페이스 엘리먼트인 것인, 터치 감지 컴퓨팅 디바이스.
  18. 제17항에 있어서,
    상기 이전에 활성화된 사용자 인터페이스 엘리먼트는 이전에 이루어진 사용자 입력의 종점(endpoint)인 것인, 터치 감지 컴퓨팅 디바이스.
  19. 컴퓨팅 디바이스에 의해 제시된 그래픽 사용자 인터페이스를 통해 사용자 입력을 수신하는 방법에 있어서,
    제1 터치 위치를 갖는 제1 스타일러스 터치 입력을 수신하는 단계;
    상기 제1 스타일러스 터치 입력이 수신될 때 디스플레이된 하나 이상의 사용자 인터페이스 엘리먼트 및 상기 제1 터치 위치에 기반하여, 제1 의도된 터치 위치에 대한 확률적 결정을 수행함으로써 터치 감지 시스템을 작동시키는 단계 ― 상기 제1 의도된 터치 위치에 대한 확률적 결정은 이전에 결정된 감지된 터치 입력 위치들의 세트의 통계적 분포를 입력으로서 이용하고, 상기 이전에 결정된 감지된 터치 입력 위치들의 세트는 상기 터치 감지 시스템의 개발 동안 형성된 테스팅 데이터 세트를 포함함 ― ;
    제1 오프셋을 적용함으로써 수신된 상기 제1 터치 스타일러스 입력에 대한 응답을 상기 제1 의도된 터치 위치에 디스플레이하는 단계;
    제2 터치 위치를 갖는 제2 스타일러스 터치 입력을 수신하는 단계;
    상기 제2 스타일러스 터치 입력이 수신될 때 디스플레이된 하나 이상의 사용자 인터페이스 엘리먼트 및 상기 제2 터치 위치에 기반하여, 제2 의도된 터치 위치에 대한 확률적 결정을 수행하는 단계; 및
    상기 제2 터치 위치에 제2 오프셋을 적용함으로써 수신된 상기 제2 스타일러스 터치 입력에 대한 응답을 상기 제2 의도된 터치 위치에 디스플레이하는 단계 ― 상기 제2 오프셋은 상기 제1 오프셋과 상이함 ―
    를 포함하는, 컴퓨팅 디바이스에 의해 제시된 그래픽 사용자 인터페이스를 통해 사용자 입력을 수신하는 방법.
  20. 제19항에 있어서,
    상기 제1 오프셋은 제1 거리 및 제1 방향을 포함하고, 상기 제2 오프셋은 제2 거리 및 제2 방향을 포함하며, 상기 제1 거리는 상기 제2 거리와 상이하고, 상기 제1 방향은 상기 제2 방향과 상이한 것인, 컴퓨팅 디바이스에 의해 제시된 그래픽 사용자 인터페이스를 통해 사용자 입력을 수신하는 방법.
KR1020177002537A 2014-06-27 2015-06-24 확률적 터치 감지 KR102390783B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/318,248 2014-06-27
US14/318,248 US10025427B2 (en) 2014-06-27 2014-06-27 Probabilistic touch sensing
PCT/US2015/037308 WO2015200412A1 (en) 2014-06-27 2015-06-24 Probabilistic touch sensing

Publications (2)

Publication Number Publication Date
KR20170024063A KR20170024063A (ko) 2017-03-06
KR102390783B1 true KR102390783B1 (ko) 2022-04-25

Family

ID=53794470

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177002537A KR102390783B1 (ko) 2014-06-27 2015-06-24 확률적 터치 감지

Country Status (10)

Country Link
US (1) US10025427B2 (ko)
EP (1) EP3161605A1 (ko)
JP (1) JP6500041B2 (ko)
KR (1) KR102390783B1 (ko)
CN (1) CN106662974B (ko)
AU (1) AU2015280103B2 (ko)
CA (1) CA2949130A1 (ko)
MX (1) MX361297B (ko)
RU (1) RU2683171C2 (ko)
WO (1) WO2015200412A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI592845B (zh) * 2015-08-28 2017-07-21 晨星半導體股份有限公司 適應性調整觸控閥值的方法與相關控制器
US9927917B2 (en) * 2015-10-29 2018-03-27 Microsoft Technology Licensing, Llc Model-based touch event location adjustment
US20180329492A1 (en) * 2017-05-09 2018-11-15 Microsoft Technology Licensing, Llc Parallax correction for touch-screen display
CN110110264A (zh) * 2018-01-10 2019-08-09 华为技术有限公司 触摸热区的调节方法、装置、设备和触摸屏终端设备
US10616528B2 (en) * 2018-05-30 2020-04-07 Microsoft Technology Licensing, Llc Graphical display supporting multi-location camera
KR102657878B1 (ko) * 2019-08-06 2024-04-17 삼성전자주식회사 전자 장치 및 그 장치에서 수행하는 디스플레이 방법
NL2024026B1 (en) * 2019-10-16 2021-06-17 Microsoft Technology Licensing Llc Keyboard for touch-sensitive display device
CN111552429B (zh) * 2020-04-29 2021-07-23 杭州海康威视数字技术股份有限公司 一种图形选中方法、装置及电子设备

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5761689A (en) * 1994-09-01 1998-06-02 Microsoft Corporation Autocorrecting text typed into a word processing document
KR100260760B1 (ko) * 1996-07-31 2000-07-01 모리 하루오 터치패널을 병설한 정보표시장치
US6727896B2 (en) 2001-08-01 2004-04-27 Microsoft Corporation Correction of alignment and linearity errors in a stylus input system
RU2338238C2 (ru) * 2005-05-30 2008-11-10 Самсунг Электроникс Ко., Лтд. Способ и система ввода информации
US8004503B2 (en) 2006-02-21 2011-08-23 Microsoft Corporation Auto-calibration of a touch screen
US7843427B2 (en) * 2006-09-06 2010-11-30 Apple Inc. Methods for determining a cursor position from a finger contact with a touch screen display
US20080094376A1 (en) 2006-10-23 2008-04-24 Dietz Paul H Stylus calibration system and method
US20080100586A1 (en) 2006-10-26 2008-05-01 Deere & Company Method and system for calibrating a touch screen
TWI450137B (zh) 2006-12-11 2014-08-21 Elo Touch Solutions Inc 用於校準觸控螢幕上之目標之方法及設備
JP4803089B2 (ja) * 2007-03-28 2011-10-26 Ｋｄｄｉ株式会社 タッチパネルによる入力装置およびその方法
US20090213083A1 (en) * 2008-02-26 2009-08-27 Apple Inc. Simulation of multi-point gestures with a single pointing device
US8237665B2 (en) * 2008-03-11 2012-08-07 Microsoft Corporation Interpreting ambiguous inputs on a touch-screen
KR101219733B1 (ko) * 2008-12-04 2013-01-08 한국전자통신연구원 직물형 터치패드 및 이를 이용한 접촉 감지방법
US8619043B2 (en) 2009-02-27 2013-12-31 Blackberry Limited System and method of calibration of a touch screen display
GB201108200D0 (en) * 2011-05-16 2011-06-29 Touchtype Ltd User input prediction
US8300023B2 (en) * 2009-04-10 2012-10-30 Qualcomm Incorporated Virtual keypad generator with learning capabilities
KR101157592B1 (ko) * 2009-08-25 2012-06-18 주식회사 애트랩 입력 장치 및 입력 장치의 접촉 위치 검출 방법
US20110086674A1 (en) * 2009-10-14 2011-04-14 Research In Motion Limited Electronic device including touch-sensitive display and method of controlling same
CN101719022A (zh) * 2010-01-05 2010-06-02 汉王科技股份有限公司 用于全功能键盘的字符输入方法及其处理装置
US20110221684A1 (en) * 2010-03-11 2011-09-15 Sony Ericsson Mobile Communications Ab Touch-sensitive input device, mobile device and method for operating a touch-sensitive input device
CN102200874B (zh) * 2010-03-26 2015-04-01 腾讯科技（深圳）有限公司 一种基于触摸屏的按键输入方法和装置
US11429272B2 (en) 2010-03-26 2022-08-30 Microsoft Technology Licensing, Llc Multi-factor probabilistic model for evaluating user input
US9354804B2 (en) 2010-12-29 2016-05-31 Microsoft Technology Licensing, Llc Touch event anticipation in a computing device
KR20130010252A (ko) * 2011-07-18 2013-01-28 고려대학교 산학협력단 가상 키보드 크기 조절 장치 및 방법
US9262076B2 (en) * 2011-09-12 2016-02-16 Microsoft Technology Licensing, Llc Soft keyboard interface
US20130154957A1 (en) 2011-12-20 2013-06-20 Lenovo (Singapore) Pte. Ltd. Snap to center user interface navigation
JP2014006883A (ja) * 2012-05-31 2014-01-16 Canon Inc 電子機器及び情報処理装置及びその制御方法
EP2696605A1 (en) * 2012-08-09 2014-02-12 Ntt Docomo, Inc. Apparatus and method for energy efficient location sensing

Also Published As

Publication number Publication date
AU2015280103B2 (en) 2020-05-28
KR20170024063A (ko) 2017-03-06
WO2015200412A1 (en) 2015-12-30
MX361297B (es) 2018-12-03
RU2016151206A3 (ko) 2019-01-28
MX2016016623A (es) 2017-04-27
EP3161605A1 (en) 2017-05-03
JP6500041B2 (ja) 2019-04-10
AU2015280103A1 (en) 2016-11-17
US20150378510A1 (en) 2015-12-31
CN106662974B (zh) 2020-08-11
JP2017519295A (ja) 2017-07-13
CN106662974A (zh) 2017-05-10
RU2683171C2 (ru) 2019-03-26
CA2949130A1 (en) 2015-12-30
RU2016151206A (ru) 2018-06-26
US10025427B2 (en) 2018-07-17

Similar Documents

Publication Publication Date Title
KR102390783B1 (ko) 확률적 터치 감지
US9189095B2 (en) Calibrating eye tracking system by touch input
US20150268789A1 (en) Method for preventing accidentally triggering edge swipe gesture and gesture triggering
US20160378251A1 (en) Selective pointer offset for touch-sensitive display device
KR20140094534A (ko) 사용자 인터페이스 간접 상호작용
US10152220B2 (en) System and method to control a touchscreen user interface
CN111566587B (zh) 变换控制杆移动空间
US11301128B2 (en) Intended input to a user interface from detected gesture positions
KR20170019879A (ko) 전자 장치 및 전자 장치의 입력 방법
US10073586B2 (en) Method and system for mouse pointer to automatically follow cursor
EP3070582B1 (en) Apparatus, method, and program product for setting a cursor position
CN117222966A (zh) 触敏输入设备
US9207794B2 (en) Disambiguation of user intent on a touchscreen keyboard
EP2891968B1 (en) Soft keyboard with keypress markers
US20220391028A1 (en) User input interpretation via driver parameters
KR20160083693A (ko) 입력 펜, 입력 펜을 갖는 전자 장치 및 그 운용 방법
CN117321535A (zh) 双触摸屏设备校准
CN118056175A (zh) 触控笔触觉组件

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant