KR20110084313A - 표면상에 놓인 손에 맞는 제스쳐를 생성하는 방법 - Google Patents

표면상에 놓인 손에 맞는 제스쳐를 생성하는 방법 Download PDF

Info

Publication number
KR20110084313A
KR20110084313A KR1020117013387A KR20117013387A KR20110084313A KR 20110084313 A KR20110084313 A KR 20110084313A KR 1020117013387 A KR1020117013387 A KR 1020117013387A KR 20117013387 A KR20117013387 A KR 20117013387A KR 20110084313 A KR20110084313 A KR 20110084313A
Authority
KR
South Korea
Prior art keywords
fingers
gesture
touch
hand
mouse
Prior art date
Application number
KR1020117013387A
Other languages
English (en)
Other versions
KR101535320B1 (ko
Inventor
웨인 카를 웨스터만
리코 조르켄도르페르
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20110084313A publication Critical patent/KR20110084313A/ko
Application granted granted Critical
Publication of KR101535320B1 publication Critical patent/KR101535320B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

마우스 표면상에 놓인 손에 맞는 제스쳐의 생성이 개시되어 있다. 마우스 표면상에서 이루어지는 제스쳐들은 제스쳐들이 편안하도록 마우스 표면상에 놓인 손의 자연스런 자세에 기초하여 생성될 수 있다. 마우스 표면 상에서 제스쳐를 이루도록 적절히 자세 잡은 손가락들은 그 제스쳐에 대하여 식별될 수 있다. 다른 방법으로서, 마우스 표면상에서 이루어지는 제스쳐들은 사용자의 기호에 기초하여 생성될 수 있다. 사용자는 사용자가 제스쳐를 이루기 위하여 사용하고자 하는 손가락들을 식별할 수 있다.

Description

표면상에 놓인 손에 맞는 제스쳐를 생성하는 방법{GENERATING GESTURES TAILORED TO A HAND RESTING ON A SURFACE}
본 발명은 컴퓨팅 시스템용 입력 장치로서 사용되는 터치 감지 마우스에 관한 것으로서, 특히, 마우스 표면상에 놓인 손에 맞도록 제스쳐를 생성하는 방법에 관한 것이다.
대부분의 컴퓨팅 시스템은 마우스 등의 입력 장치를 통해 사용자로부터 입력을 수신할 수 있다. 마우스는 사용자가 컴퓨팅 시스템의 디스플레이 화면상의 사용자 인터페이스(UI)에서 입력 포인터, 예컨대, 커서를 이동시킬 수 있도록 하고, 포인터로 UI 내의 선택이 가능하도록 하여, 컴퓨팅 시스템에서 각종 동작을 촉발시킨다. 마우스는 컴퓨팅 시스템이 컴퓨팅 시스템 내의 각종 동작들에 해당하는 UI 내의 디스플레이 구성요소들을 선택하기 위하여 사용할 수 있는 신호들로 변환될 수 있는, UI 내의 데이터 선택을 위한 메카니즘을 포함할 수 있다. 예를 들어, 터치 감지 마우스는 선택하기 위한 터치 장치를 포함할 수 있다. 터치 장치는 마우스 터치 표면상에서 사용자에 의해 이루어지는 제스쳐를 검출할 수 있으며, 제스쳐는 컴퓨팅 시스템 내의 하나 이상의 동작들에 해당한다. 컴퓨팅 시스템은 제스쳐를 해석한 후 해당 동작들을 실행시킬 수 있다.
일반적으로, 특정한 제스쳐는 컴퓨팅 시스템 내의 특정 동작들을 위하여 미리 정의된다. 컴퓨팅 시스템의 모든 사용자는 해당 동작을 실행시키기 위하여 미리 정의된 제스쳐를 해야만 한다. 그러나, 일부의 경우, 미리 정의된 제스쳐는 다양한 이유로, 예컨대, 사용자의 손이 특정한 물리적 제약을 가질 수 있거나 상이한 자연스런 자세를 가질 수 있으므로 사용자에게 어색하거나 불편할 수가 있는 것이다.
본 발명은 터치 감지 마우스의 표면상에 놓인 손에 맞도록 제스쳐를 생성하는 것에 관한 것이다. 일부 실시예에 있어서, 마우스 표면상에 놓인 손의 자연스런 자세에 맞도록 제1 제스쳐가 생성될 수 있다. 제1 제스쳐에 대하여 사용되는 손가락들의 서브셋트 및/또는 다른 손가락들을 사용하는 추가의 제스쳐들이 생성될 수 있다. 일부의 경우, 제1 제스쳐는 사용자의 기호의 사용자 입력에 기초하여 생성될 수 있다. 추가의 제스쳐들이 사용자 기호의 사용자 입력에 기초하여 또는 제1 제스쳐에 대하여 사용되는 손가락들의 서브셋트 및/또는 다른 손가락들로서 생성될 수 있다.
도 1은 마우스 상에 놓인 손의 자연스런 자세의 일례를 나타낸다.
도 2a 내지 2k는 마우스상에 놓인 손의 하나 이상의 손가락에 의해 만들어질 수 있는 제스쳐의 일례를 나타낸다.
도 3a는 본 발명의 실시예에 따라서 마우스상에 놓인 손에 맞는 제스쳐를 생성하는 방법의 일례를 나타낸다.
도 3b는 본 발명의 실시예에 따라서 마우스 상에 놓인 손에 맞는 제스쳐를 검출하는 방법의 일례를 나타낸다.
도 4는 본 발명의 실시예에 따라서 제스쳐 생성 및 검출 알고리즘을 구현하는 컴퓨팅 시스템의 일례를 나타낸다.
도 5는 본 발명의 실시예에 따라서 제스쳐 생성 및 검출 알고리즘을 실행시키기 위하여 사용되는 도 4의 컴퓨팅 시스템에 대하여 터치 정보를 통신할 수 있는 터치 센서 패널을 포함할 수 있는 일례의 마우스를 나타낸다.
이하의 바람직한 실시예의 설명에 있어서, 본 발명이 실시될 수 있는 특정 실시예의 예시에 의해 나타내어진 첨부 도면들이 참조된다. 본 발명의 실시예의 범주로부터 일탈하지 않고서 다른 실시예들이 사용될 수 있으며, 구조적인 변경이 이루어질 수 있다.
본 발명은 마우스 표면상에 놓인 손에 맞는 제스쳐를 생성하는 것에 관한 것이다. 제스쳐는 마우스 상에 놓인 손의 자연스런 자세에 기초할 수 있다. 이는 사용자로 하여금 마우스 표면상에서 사용자가 편안한 제스쳐를 이룰 수 있도록 한다.
본 발명의 몇몇 실시예들을 터치 감지 마우스 상에서의 제스쳐링에 관하여 여기서 설명되지만, 본 발명의 실시예들은 이에 한하지 않으며, 터치와 다른 종류의 감지 기술을 활용하는 임의의 입력 장치에 대하여 일반적으로 적용가능하다는 것을 이해할 수 있을 것이다.
도 1a 내지 도 1c는 마우스 상에 놓인 손의 자연스런 자세의 일례를 나타낸다. 도 1a는 마우스(100)의 표면상에 놓인 오른손(110)의 상면도의 일례를 나타낸다. 도 1b는 마우스(100)의 표면상에 놓인 오른손(110)의 좌측도의 일례를 나타낸다. 도 1c는 마우스(100)의 표면상에 놓인 오른손(110)의 우측도의 일례를 나타낸다. 통상적으로, 사용자는 마우스가 사용되지 않고 있는 경우라도 오랜 기간 동안 도 1a 내지 도 1c에 나타낸 릴렉스된 자세로 마우스 상에 손을 놓을 수 있다. 이러한 예에 있어서, 검지와 중지가 마우스의 상면에 놓여져 있을 수 있으며, 엄지는 마우스의 좌측면에 놓여져 있을 수 있으며, 약지와 새끼손가락은 마우스의 우측면상에 놓여져 있을 수 있다. 터치 감지 마우스 상에서, 놓여진 손은 터치 이벤트로서 검출되어 컴퓨팅 시스템에 의해 처리될 수 있다. 이어서, 놓여진 손의 하나 이상의 손가락이 제스쳐로 나타날 수 있는 것으로 이동하는 그러한 때에 컴퓨팅 시스템에 의해 놓여진 손의 터치가 처리될 수 있다.
마우스 표면상에 놓인 손의 자연스런 자세는 여기 도시된 것에 한하지 않지만, 더 많거나 더 적은 손가락이 상면 및 측면에 놓여지는 자세, 손가락들이 표면 보다 더 높거나 더 낮게 놓여지는 자세, 등의 다른 다양한 자세를 포함할 수 있다.
도 2a 내지 도 2k는 마우스 상에 놓인 손의 하나 이상의 손가락에 의해 이루어질 수 있는 제스쳐의 일례를 나타낸다. 도 2a의 예에 있어서, 손이 마우스(100)의 표면상에 놓여 있는 동안 오른손(110)의 검지(112)가 가로방향의 운동(205)을 이루어 "스와이프(swipe)" 제스쳐 등의 제스쳐를 만들 수 있다. 스와이프 제스쳐는 컴퓨팅 장치가 디스플레이 화면상의 UI 디스플레이를 통해 페이징(paging) 등의 동작을 수행하도록 할 수 있다. 손(110)의 다른 손가락들은 마우스 표면상에서 실질적으로 정적으로 유지될 수 있다.
도 2b의 예에 있어서, 마우스(100) 상의 표면상에 손을 놓아둔 상태에서 오른손(110)의 검지(112) 및 중지(113)가 가로방향의 운동(210)을 이루어 스와이프 제스쳐 등의 제스쳐를 이룰 수 있다. 손(110)의 다른 손가락들은 마우스 표면상에서 실질적으로 정적으로 유지될 수 있다.
도 2c의 예에 있어서, 마우스(100) 상의 표면에 손이 놓은 상태에서 오른손(110)의 검지(112)가 세로방향의 운동(215)을 이루어 "스크롤" 제스쳐 등의 제스쳐를 이룰 수 있다. 스크롤 제스쳐는 컴퓨팅 시스템으로 하여금 디스플레이 화면상의 UI에서 스크롤 업 또는 다운 등의 동작을 수행시킬 수 있다. 손(110)의 다른 손가락들은 마우스 표면상에서 실질적으로 정적으로 유지될 수 있다.
도 2d의 예에 있어서, 마우스(100)의 표면상에 손이 놓인 상태에서 오른손(110)의 검지(112) 및 중지(113)는 함께 세로방향의 운동(220)을 이루어 스크롤 제스쳐 등의 제스쳐를 이룰 수 있다. 손(110)의 다른 손가락들은 마우스 표면상에서 실질적으로 정적으로 유지될 수 있다.
도 2e의 예에 있어서, 마우스(100)의 표면상에 손이 놓인 상태에서 오른손(110)의 엄지(111) 및 검지(112)가 함께 집는 운동(225)을 이루도록 움직여 "줌(zoom)" 제스쳐 등의 제스쳐를 이룰 수 있다. 줌 제스쳐는 컴퓨팅 시스템으로 하여금 디스플레이 화면상에서 UI 요소의 확대 또는 축소 등의 동작을 수행시킬 수 있다. 손(110)의 다른 손가락들은 마우스 표면상에서 실질적으로 정적으로 유지될 수 있다.
도 2f의 예에 있어서, 마우스(100)의 표면상에 손이 놓인 상태에서 오른손(110)의 검지(112) 및 중지(113)가 함께 집는 운동(230)을 이루도록 이동하여 줌 제스쳐 등의 제스쳐를 이룰 수 있다. 손(110)의 다른 손가락들은 마우스 표면상에서 실질적으로 정적으로 유지될 수 있다.
도 2g의 예에 있어서, 마우스(100)의 표면상에 손이 놓인 상태에서 오른손(110)의 검지(112)가 2번 탭핑 운동(235)을 이루어 "더블 클릭" 제스쳐 등의 제스쳐를 이룰 수 있다. 더블 클릭 제스쳐는 컴퓨팅 시스템으로 하여금 디스플레이 화면상에서 입력 포인터에 의해 가리키고 있는 UI 요소를 선택하는 등의 동작을 수행시킬 수 있다. 손(110)의 다른 손가락들은 마우스 표면상에서 실질적으로 정적으로 유지될 수 있다.
도 2h의 예에 있어서, 마우스(100)의 표면상에 손이 놓인 상태에서 오른손(110)의 검지(112) 및 중지(113)가 1번 탭핑 운동(240)을 이루어 더블 클릭 등의 제스쳐를 이룰 수 있다. 손(110)의 다른 손가락들은 마우스 표면상에서 실질적으로 정적으로 유지될 수 있다.
도 2i의 예에 있어서, 마우스(100)의 표면상에 손이 놓인 상태에서 오른손(110)의 검지(112)가 3번 탭핑 운동(245)을 이루어 "트리플 클릭" 제스쳐 등의 제스쳐를 이룰 수 있다. 트리플 클릭 제스쳐는 컴퓨팅 시스템으로 하여금 디스플레이 화면상의 입력 포인터에 의해 가리키는 복수의 UI 요소들을 선택하는 등의 동작을 수행시킬 수 있다. 손(110)의 다른 손가락들은 마우스 표면상에서 실질적으로 정적으로 유지될 수 있다.
도 2j의 예에 있어서, 마우스(100)의 표면상에 손이 놓인 상태에서 오른손(110)의 검지(112), 중지(113), 및 약지(114)가 함께 1번 탭핑 운동(250)을 이루어 트리플 클릭 제스쳐 등의 제스쳐를 이룰 수 있다. 손(110)의 다른 손가락들은 마우스 표면상에서 실질적으로 정적으로 유지될 수 있다.
도 2k의 예에 있어서, 마우스(100)의 표면상에 손이 놓인 상태에서 오른손(110)의 엄지(111), 검지(112), 및 중지(113)가 함께 1번 탭핑 운동(255)을 이루어 트리플 클릭 제스쳐 등의 제스쳐를 이룰 수 있다. 손(110)의 다른 손가락들은 마우스 표면상에서 실질적으로 정적으로 유지될 수 있다.
본 명세서에서는 본 발명의 몇몇 실시예들을 오른손 제스쳐의 관점에서 설명하고 있지만, 실시예들은 왼손 제스쳐 또한 포함할 수 있다는 것을 이해할 수 있을 것이다. 실시예들은 본 명세서에 기재된 제스쳐들에 한하지 않지만, 마우스 표면상에서 이루어질 수 있는 임의의 적합한 제스쳐를 포함할 수 있다는 것을 이해할 수 있을 것이다. 또한, 제스쳐들은 본 명세서에서 기재된 손가락들에 의해 이루어지는 것으로 한하지 않으며, 제스쳐를 이룰 수 있는 추가의 또는 다른 손가락들에 의해 이루어질 수 있다.
도 3a는 본 발명의 실시예에 따른 마우스 상에 놓인 손에 맞는 제스쳐를 생성하는 방법의 일례를 나타낸다. 도 3a의 예에 있어서, 손이 마우스 상에 놓여 있는지 여부에 대하여 판정이 이루어진다(305). 이는 마우스 표면상에서 터치 이벤트가 생성하였는지 여부를 검출함으로써 행해질 수 있다. 손이 마우스 상에 놓여져 있다면, 마우스 표면상에 놓인 손의 손가락들에 해당하는 터치 화상이 캡쳐될 수 있다.
캡쳐된 화상은 손의 자세를 판정하도록 처리될 수 있다(310). 예를 들어, 마우스의 상면과 측면에 어느 손가락이, 얼마나 많이, 어디에 놓여져 있는지에 대하여 표준 신호 처리 기법을 이용하여 판정될 수 있다.
판정된 손의 자세에 기초하여, 스크롤 제스쳐가 생성될 수 있다(315). 예를 들어, 사용자의 자연스런 손 자세가 마우스의 상면에 검지와 중지가 놓여져 있는 것을 포함한다면, 도 2d에서와 같이, 이 2개의 손가락 또는 도 2c와 같이 그 중 한 손가락이 마우스 표면상에서 세로방향의 운동을 수행하는 것을 포함하는 스크롤 제스쳐가 생성되어, 컴퓨팅 시스템으로 하여금 스크롤 동작을 실행시킬 수 있다. 다른 방법으로서, 사용자의 자연스런 손 자세가 검지가 마우스의 상면상에 놓여진 것만을 포함한다면, 그 손가락이 도 2c에서와 같이 마우스 표면상에서 세로방향의 운동을 수행하는 것을 포함하는 스크롤 제스쳐가 생성되어, 컴퓨팅 시스템으로 하여금 스크롤 동작을 수행시킬 수 있다. 다른 방법으로서, 사용자의 자연스런 손 자세가 마우스의 상면상에 검지, 중지, 및 약지가 놓여져 있는 것을 포함한다면, 도 2c 및 도 2d에서와 같이 이러한 3개의 손가락 또는 그 서브셋트가 마우스 표면상에서 세로방향의 운동을 포함하는 스크롤 제스쳐가 생성되어, 컴퓨팅 시스템으로 하여금 스크롤 동작을 실행시킬 수 있다. 스크롤 제스쳐를 생성하기 위해 다른 자연스런 자세들 또한 활용가능하다.
스크롤 제스쳐에 포함되는 손가락들에 기초하여, 다른 제스쳐들이 생성될 수 있다(320). 검지, 중지, 및 약지 등의 3개의 손가락을 포함하는 생성된 스크롤 제스쳐에 기초하여 다른 제스쳐들이 생성될 수 있다. 3개의 모든 손가락 또는 그 서브셋트가 도 2a 및 도 2b에서와 같이 마우스 표면상에서 가로방향의 운동을 수행하는 것을 포함하는 스와이프 제스쳐가 생성되어, 컴퓨팅 시스템으로 하여금 스와이프 동작을 실행시킬 수 있다(322). 3개의 모든 손가락 또는 그 서브셋트가 도 2g 내지 도 2k에서와 같이 마우스 표면상에서 하나 이상의 탭핑 운동을 수행하는 것을 포함하는 클릭 제스쳐가 생성되어, 컴퓨팅 시스템으로 하여금 클릭 동작(324)을 실행시킬 수 있다. 도 2f에서와 같이 2개의 손가락 또는 도 2e에서와 같이 손가락 중 하나와 엄지가 마우스 표면상에서 집는 운동을 수행하는 줌 제스쳐가 생성되어, 컴퓨팅 시스템으로 하여금 줌 제스쳐를 실행시킬 수 있다(326).
마찬가지로, 검지와 중지 등의 2개의 손가락을 포함하는 생성된 스크롤 제스쳐에 기초하여 다른 제스쳐들이 생성될 수 있다. 양 손가락 또는 그 중 하나의 손가락이 마우스 표면상에서 가로방향 운동을 수행하는 것을 포함하는 스와이프 제스쳐가 생성될 수 있다(332). 양 손가락 또는 그 중 하나의 손가락이 마우스 표면상에서 하나 이상의 탭핑 운동을 수행하는 것을 포함하는 클릭 제스쳐가 생성될 수 있다(334). 양 손가락 또는 그 중 하나의 손가락과 엄지가 마우스 표면상에서 집는 운동을 수행하는 것을 포함하는 줌 제스쳐가 생성될 수 있다(336).
마찬가지로, 검지와 같은 하나의 손가락을 포함하는 생성된 스크롤 제스쳐에 기초하여 다른 제스쳐들이 생성될 수 있다. 마우스 표면상에서 그 손가락이 가로방향 운동을 수행하는 것을 포함하는 스와이프 제스쳐가 생성될 수 있다(342). 그 손가락이 마우스 표면상에서 탭핑 운동을 수행하는 것을 포함하는 클릭 제스쳐가 생성될 수 있다(344). 그 손가락과 엄지가 마우스 표면상에서 집는 운동을 수행하는 것을 포함하는 줌 제스쳐가 생성될 수 있다(346).
생성된 제스쳐들은 마우스 표면상에서 이루어지는 제스쳐들의 확인을 위해 추후 사용하기 위하여 컴퓨팅 시스템의 메모리에 저장될 수 있다.
도 3a의 방법의 대안으로서, 사용자 손의 자연스런 자세에 기초하여 제스쳐들이 자동적으로 생성되는 것이 아니라, 사용자에 의해 제스쳐가 선택될 수 있다. 예를 들어, 스크롤 제스쳐를 이루기 위하여 사용자가 어느 손가락을 사용하고자 하는지에 대하여 사용자에 대하여 문의가 이루어질 수 있으며, 사용자의 응답에 기초하여 제스쳐가 생성될 수 있다. 이어서, 사용자는 또한 스와이프, 줌, 및 클릭 등의 다른 제스쳐들에 대한 사용자의 기호를 나타낼 수도 있다. 다른 방법으로, 스크롤 제스쳐에 대한 사용자의 선택에 기초하여, 컴퓨팅 시스템은 다른 제스쳐들을 자동적으로 생성시킬 수 있다.
도 3a의 방법에 대한 또 다른 대안으로서, 스크롤 제스쳐가 사용자의 손의 자연스런 자세에 기초하여 자동적으로 생성되는 제1 제스쳐가 되는 것이 아니라, 우선순위에 기초하여 제스쳐들이 순위가 매겨져 생성될 수 있다. 예를 들어, 스와이프 제스쳐가 더 빈번하게 사용되거나 더 중요하게 되는 컴퓨팅 시스템에 있어서, 스와이프 제스쳐가 맨 먼저 생성될 수 있다. 이러한 실시예에 있어서, 사용자의 손의 자연스런 자세에 기초하여 스와이프 제스쳐가 생성될 수 있다. 스와이프 제스쳐에 포함된 손가락들에 기초하여 다른 제스쳐들이 생성될 수 있다. 다른 방법으로서, 사용자는 제스쳐들이 생성될 수 있는 순서를 선택할 수 있다.
도 3a의 방법에 대한 또 다른 대안으로서, 후속하는 제스쳐들이 스크롤 제스쳐에 포함된 것과 동일한 손가락 또는 손가락들의 서브셋트를 포함하는 것이 아니라, 후속하는 제스쳐들은 스크롤 제스쳐에 포함된 손가락들과는 다른 손가락 또는 그 서브셋트을 포함할 수 있다.
제스쳐 생성의 방법은 본 명세서에 기재된 것에 한하지 않고, 본 발명의 실시예에 따라서 제스쳐 생성을 수행할 수 있는 다른 단계 또는 추가의 단계를 포함할 수도 있다.
도 3b는 본 발명의 실시예에 따라서 마우스상에 놓인 손에 맞는 제스쳐를 검출하는 방법의 일례를 나타낸다. 도 3b의 예에 있어서, 마우스 표면상에서 터치 이벤트가 생성하였는지 여부에 대하여 판정이 이루어질 수 있다(350). 터치 이벤트가 생성하였다면, 마우스 표면상에 놓인 손의 손가락들에 해당하는 복수의 터치 화상들이 캡쳐될 수 있다(355). 화상들은 다른 손가락들의 이동의 실질적인 부족뿐만 아니라 제스쳐를 이루는 손가락들의 운동을 캡쳐할 수 있다.
손가락의 운동 성분들이 계산될 수 있다(360). 운동 성분들은 x 성분과 y 성분을 포함하는 병진 운동(translation) 성분, 스케일(또는 줌) 성분, 및 회전 성분을 포함할 수 있다. 병진 운동 성분은 마우스 표면에 걸친 손가락들의 위치의 변화를 나타낼 수 있다. 스케일 성분은 마우스 표면에 걸친 손가락들 사이의 거리의 변화, 즉, 손가락 운동 벡터의 내적을 나타낼 수 있다. 회전 성분은 마우스 표면에 걸친 손가락들 사이의 각도의 변화, 즉, 손가락 운동 벡터들의 외적을 나타낼 수 있다. 운동 성분의 계산은 미국 특허 제6,323,846호 "Method and Apparatus for Integrating Manual Input"에 개시되어 있으며, 그 내용 전체를 모든 목적을 위하여 참조로서 여기서 원용한다.
미국 특허 제6,323,846호에서와 같이, 손가락들 사이의 병진 운동 성분은 손가락들의 각각의 병진 운동 성분들의 단순 평균으로서 계산될 수 있다. 그러나, 마우스 적용예에 있어서, 스크롤 제스쳐 시에서와 같이 다른 손가락들이 정적으로 또는 더욱 더 작게 유지되고 있는 상태에서 마우스 표면상에서 하나의 손가락이 이동하는 것이 더욱 더 인간공학적이 될 수 있다. 이와 같이, 하나의 손가락은 다른 손가락보다 훨씬 빨리 움직일 수 있으므로, 또는 하나의 손가락은 움직이고 다른 손가락은 전혀 안 움직일 수 있으므로, 단순 평균은 병진 운동의 정확한 표현이라고 할 수는 없을 것이다. 이러한 경우, 손가락들 간의 병진 운동 성분(Vt)은 손가락들의 각각의 병진 운동 성분들의 가중 평균으로서 계산될 수 있는데, 다음과 같이 더 느리거나 움직이지 않는 손가락에 비하여 더 빠른 손가락에 더 무겁게 가중치가 부여될 수 있다.
Figure pct00001
여기서, w1 및 w2는 가중치이며, Vt1 및 Vt2는 각각 손가락 1 및 손가락 2의 병진 운동 성분이다. 일반적으로 엄지는 병진 운동보다는 스케일 또는 회전 운동을 가져올 수 있으므로, 수식 (1)은 엄지 이외의 손가락들이 움직이는 경우에 적용될 수 있다.
로우 운동 성분들(raw motion components)로부터 손가락들의 매끄러운 운동 성분들(smooth motion components)이 계산될 수 있다(365). 이는 저역 통과 필터(LPF)를 로우 운동 성분들에 적용하여, 손가락 운동 시작 시 매끄러운 운동 성분들의 빌드업을 더욱 빠르게 하고 손가락 운동 정지 시 매끄러운 운동 성분들의 감쇠를 더 느리게 할 수 있다. 매끄러운 운동 성분들을 더 빠르게 빌드업함으로써, 매끄러운 운동 성분들이 제스쳐 검출에 대하여 더 빨리 활용가능하게 될 수 있다. 매끄러운 운동 성분들을 더 느리게 감쇠시킴으로써, 손가락 운동 정지 후에 얼마간은 추가의 손가락 운동 정보에 대한 필요성이 있기 때문에 제스쳐 검출을 위하여 매끄러운 운동 성분들이 계속 활용가능하게 될 수 있다. 일례의 저역통과필터로서 단순 1차 자기회귀 필터(simple first-order autoregressive filter)가 있다. 매끄러운 운동 성분의 계산은 미국 특허출원 제12/238,342호 "Motion Component Dominance Factors for Motion Locking of Touch Sensor Data"에 개시되어 있으며, 그 내용 전체를 여기서 모든 목적을 위하여 참조로서 원용한다.
일부 실시예에 있어서, 가중 병진 운동 계산에 있어서 가중치로서 매끄러운 손가락 속도가 사용될 수 있다. 이와 같이, 손가락들간의 가중 병진 운동 성분(Vt)은 수식 (1)에서와 같이 다음과 같이 표현될 수 있다.
Figure pct00002
여기서, st1 및 st2는 매끄러운 손가락 속도이며, Vt1 및 Vt2는 각각 손가락 1 및 손가락 2의 병진 운동 성분이다. 따라서, 해당하는 매끄러운 손가락 속도에 의해 가중치 부여된 각각의 병진 운동 성분들의 평균을 계산함으로써 2개의 손가락 사이의 가중 병진 운동 성분이 계산될 수 있다.
움직이고 있는 손가락들이 식별될 수 있다(370). 터치 화상 내의 각각의 위치에 기초하여 손가락들이 식별될 수 있다. 예를 들어, 오른손의 터치 화상에 있어서, 엄지는 터치 화상의 하부에 있어서 최좌측 터치로서 식별될 수 있으며, 검지는 터치 화상의 상부에서 인접한 터치로서 식별될 수 있으며, 중지는 터치 화상 내의 최상부 위치를 갖는 다음의 인접한 터치로서 식별될 수 있으며, 약지는 터치 화상의 상부에서 최우측 터치에 인접한 터치로서 식별될 수 있으며, 새끼손가락은 터치 화상의 하부에서 최우측 터치로서 식별될 수 있다. 다른 방법으로서, 각각의 손가락에는 손가락의 터치가 가장 잘 나타나는 터치 화상의 특정 구역이, 다른 손가락들의 터치의 터치 화상 내의 상대 위치와는 무관하게 터치 화상의 그 구역에서의 임의의 터치가 그 배정된 손가락으로서 식별될 수 있도록, 배정될 수 있다. 움직이고 있는 손가락들을 식별하기 위한 다른 기준이 사용될 수도 있다. 손가락들의 운동은 병진 운동, 스케일, 및 회전 운동 성분들에 관하여 상기와 같이 계산될 수 있다.
제스쳐의 종류에 기초한 3개의 운동 성분들에 대한 가중치로서 운동 우세 인자들이 계산될 수 있다(375). 예를 들어, 특정 제스쳐는 마우스 표면상에서 세로방향으로 손가락들의 큰 병진 운동을 가질 수 있다. 그러나, 손가락들은 완전한 직선으로서 이동하지 않으므로, 일부 다소 스케일 운동으로 나타날 수도 있으며, 즉, 제스쳐 중에 손가락들이 더 가까워지거나 더 멀리 떨어질 수도 있으며, 다소 일부는 회전 운동으로 나타날 수도 있으며, 즉, 제스쳐 중에 손가락들 중 하나 이상이 각도를 이루어 움직일 수도 있다. 특정 제스쳐에서 병진 운동이 우세하기 때문에, 큰 병진 운동을 선호하고 미약한 스케일 및 회전 운동은 무시하도록, 3개의 운동 성분들에 대하여 가중치(즉, 운동 우세 인자)가 부여될 수 있다. 운동 우세 인자의 계산은 상기 참조된 미국 특허출원 제12/238,342호에 개시되어 있다.
미국 특허출원 제12/238,342호에서와 같이, 제스쳐에 포함된 움직이는 손가락들 중 하나가 엄지인 경우 운동 우세 인자들이 병진 운동보다 스케일 및 회전 운동에서 더 높게 될 수 있다. 이는 제스쳐 중의 엄지에 대한 병진 운동 성분에 대하여 스케일 및 회전 운동 성분들의 우세를 반영할 수 있다. 일부 실시예에 있어서, 스케일 및 회전 우세 인자들은 약 2.5로 설정될 수 있는 한편, 병진 우세 인자는 약 0.25로 설정될 수 있다. 마우스 적용예에 있어서, 엄지 이외의 손가락들만이 제스쳐에 포함되는 경우, 인간공학적으로 가능한 운동은 병진 운동인 것으로 기대할 수 있다. 이와 같이, 병진 운동에 대한 운동 우세 인자가 설정될 수 있는 한편, 스케일 및 회전 운동에 대한 운동 우세 인자는 턴오프 되거나, 매우 낮게 설정될 수 있다. 이는 제스쳐 중의 엄지 이외의 손가락들의 스케일 및 회전 운동 성분들에 대하여 병진 운동 성분의 우세를 반영할 수 있다. 일부 실시예에 있어서, 병진 우세 인자는 1.0으로 설정될 수 있는 한편, 스케일 및 회전 우세 인자는 턴오프 되거나 0.10으로 설정될 수 있다.
병진, 스케일, 회전 운동 성분들 중 우세 운동 성분(들)은 운동 우세 인자들에 의해 식별될 수 있다(380). 우세 운동 성분(들)의 식별은 또한 전술한 미국 특허출원 제12/238,342호에 개시되어 있다.
식별된 손가락들과 그 우세 운동 성분(들)은 복수의 가능한 제스쳐들에 비교되어 어느 제스쳐가 가장 가깝게 일치되는지를 판정할 수 있다(385). 예를 들어, 마우스 표면상에서 이루어질 수 있는 사용자의 손에 맞는 복수의 가능한 제스쳐들은 메모리에 저장될 수 있다. 각각의 저장된 제스쳐는 제스쳐를 수행할 수 있는 손가락들과 우세 운동 성분(들)을 식별할 수 있다. 사용될 저장된 제스쳐의 손가락들과 터치 이벤트에서 식별되는 손가락들을 비교하고, 저장된 제스쳐의 우세 운동 성분(들)을 터치 이벤트에서 식별되는 손가락들의 우세 운동 성분(들)과 비교함으로써 비교가 이루어질 수 있다. 가능한 제스쳐들의 다른 특징들 또한 저장 및 비교될 수 있다.
식별된 손가락들 및 식별된 우세 운동 성분(들)과 가장 가깝게 일치되는 저장된 제스쳐가 검출된 제스쳐로서 선택될 수 있다(390). 검출된 제스쳐는 컴퓨팅 시스템에 의해 처리되어 대응하는 동작을 실행시킬 수 있다.
제스쳐 검출을 위한 방법은 본 명세서에 개시된 것에 한하지 않으며, 본 발명의 실시예에 따라서 제스쳐 검출을 수행할 수 있는 다른 또는 추가의 단계들을 포함할 수도 있다.
도 4는 본 발명의 실시예에 따라서 제스쳐 생성 및 검출 알고리즘을 구현하는 컴퓨팅 시스템의 일례를 나타낸다. 도 4의 예에 있어서, 컴퓨팅 시스템(400)은 본 발명의 실시예에 따른 알고리즘을 구현하는 소프트웨어 또는 펌웨어를 실행시킬 수 있는 하나 이상의 패널 프로세서(402), 및 주변기기(404), 및 패널 서브시스템(406)을 포함할 수 있다. 주변기기(404)는, 이에 한하지 않지만, RAM(Random Access Memory) 또는 기타 유형의 메모리 또는 저장장치, 워치독 타이머, 등을 포함할 수 있다. 패널 서브시스템(406)은, 이에 한하지 않지만, 하나 이상의 감지 채널(408), 채널 스캔 논리(아날로그 또는 디저털)(410), 및 드라이버 논리(아날로그 또는 디지털)(414)를 포함할 수 있다. 채널 스캔 논리(410)는 RAM(412)에 액세스하여 감지 채널(408)로부터 데이터를 자치적으로 판독할 수 있다. 또한, 채널 스캔 논리(410)는 드라이버 논리(414)를 제어하여 터치 센서 패널(424)의 구동 라인들에 동시 인가될 수 있는 각종 위상의 시뮬레이션 신호들(416)을 생성할 수 있다. 패널 서브시스템(406)은 낮은 디지털 논리 전압 레벨(예컨대, 1.7 내지 3.3 V)에서 동작할 수 있다. 드라이버 논리(414)는 2개의 전하 저장 장치, 예컨대, 커패시터를 함께 캐스케이드 연결하여 전하 펌프(415)를 형성함으로써 디지털 논리 레벨 공급 전압보다 큰 공급 전압을 생성시킬 수 있다. 전하 펌프(415)는 디지털 논리 레벨 공급 전압(예컨대, 3.4 V 내지 6.6 V)의 약 2배의 진폭을 가질 수 있는 시뮬레이션 신호(416)를 생성하기 위해 사용될 수 있다. 도 4는 드라이버 논리(414)와는 별도의 전하 펌프(415)를 나타내고 있지만, 전하 펌프는 드라이버 논리의 일부일 수 있다. 몇몇 실시예에 있어서, 패널 서브시스템(406), 패널 프로세서(402), 및 주변기기(404)들은 하나의 ASIC(Application Specific Integrated Circuit)으로 통합될 수 있다.
터치 센서 패널(424)은 다른 감지 매체 또한 사용될 수 있지만 복수의 구동 라인 및 복수의 감지 라인을 갖는 용량성 감지 매체를 포함할 수 있다. 구동 라인 및 감지 라인은, 구리 등의 다른 투명 및 비투명 재료 또한 사용될 수 있지만, ITO(Indium Tin Oxide) 또는 ATO(Antimony Tin Oxide) 등의 투명 도전 매체로부터 형성될 수 있다. 구동 라인 및 감지 라인은 실질적으로 투명한 기판의 단일측에, 기판의 대향하는 측에, 또는 유전 재료에 의해 분리된 2개의 개별 기판상에 형성될 수 있다. 각각의 구동 라인 및 감지 라인의 교차는 용량성 감지 노드를 나타낼 수 있으며, 터치 센서 패널(424)이 터치의 "화상"을 캡쳐하는 것으로 보여지는 경우 특히 유용할 수 있는, 픽쳐 요소(픽셀)(426)로서 보여질 수 있다. (즉, 패널 서브시스템(406)이 터치 센서 패널의 각각의 터치 센서에서 터치 이벤트가 검출되었는지 여부를 판정한 후, 터치 이벤트가 생성한 멀티-터치 패널의 터치 센서의 패턴들은 터치의 "화상"으로서 보여질 수 있다(예컨대, 패널을 터치하는 손가락들의 패턴). 구동 라인 및 감지 라인과 로컬 시스템 접지와의 캐피시턴스는 기생 저항(Cstray)으로서 나타나며, 구동 라인과 감지 라인의 교차점, 즉, 픽셀에서의 커패시턴스는 주어진 구동 라인이 교류 전류(AC) 신호로 시뮬레이션되는 때에 상호 신호 커패시턴스(Csig)로 나타난다. 터치 센서 패널 근처 또는 그 위의 손가락 또는 기타 물체의 존재는 터치되고 있는 픽셀들에 존재하는 신호 전하의 변화를 측정함으로써 검출될 수 있으며, 이는 Csig의 함수이다. 터치 센서 패널(424) 각각의 감지 라인은 패널 서브시스템(406)의 감지 채널(408)을 구동시킬 수 있다.
터치 센서 패널(424)은 마우스와 같은 입력 장치의 표면 일부 또는 실질적으로 표면 전체를 커버할 수 있다.
컴퓨팅 시스템(400)은 또한 패널 프로세서(402)로부터 출력을 수신하여, 이에 한하지 않지만, 커서 또는 포인터 등의 하나 이상의 물체를 이동시키고, 스크롤링 또는 패닝하며, 제어 셋팅을 조정하고, 파일 또는 문서를 오픈하여, 메뉴를 보고, 선택을 하고, 명령을 실행시키고, 호스트 장치에 결합되는 주변기기를 동작시키고, 전화 통화에 답신하고, 전화 통화를 배치하고, 전화 통화를 종료시키고, 볼륨 또는 오디오 셋팅을 변경시키고, 주소, 자주 거는 번호, 수신된 통화, 놓친 통화, 등의 전화 통신에 관한 정보를 저장하고, 컴퓨터 또는 컴퓨터 네트워크에 로그인하고, 인증된 개인이 컴퓨터 또는 컴퓨터 네트워크의 제한 영역에 액세스하도록 허가하며, 사용자의 컴퓨터 데스크톱의 선호 배치에 관련된 사용자 프로파일을 로딩하고, 웹 콘텐츠에 대한 액세스를 허가하고, 특정 프로그램을 탑재시키고, 메시지를 암호화 또는 복호화하는, 등을 포함할 수 있는, 출력에 기초하여 조치를 수행하기 위한 호스트 프로세서(428)를 포함할 수도 있다. 호스트 프로세서(428)는 본 발명의 실시예에 따라서 알고리즘을 구현하는 소프트웨어 또는 펌웨어를 실행시킬 수 있다. 호스트 프로세서(428)는 또한 패널 처리에 관련되지 않을 수 있는 추가의 기능을 수행할 수도 있으며, 장치의 사용자에 UI를 제공하기 위한 LCD 디스플레이 등의 디스플레이 장치(430)와 프로그램 저장장치(432)에 결합될 수 있다. 터치 센서 패널(424)과 함께 디스플레이 장치(430)는 부분적으로 또는 전체적으로 터치 센서 패널의 아래에 배치되는 경우, 터치 스크린을 형성할 수 있다.
전술한 하나 이상의 기능들은 메모리에 저장된 펌웨어(도 4에서 주변기기(404) 중 하나)에 의해 수행될 수 있거나, 패널 프로세서(402)에 의해 실행될 수 있거나, 또한 프로그램 저장장치(432)에 저장되어 호스트 프로세서(428)에 의해 실행될 수 있다. 펌웨어는 컴퓨터 기반 시스템, 프로세서 포함 시스템, 또는 명령 실행 시스템, 장치, 또는 디바이스로부터 명령을 패치하여 명령을 실행할 수 있는 기타의 시스템 등의 명령 실행 시스템, 장치, 또는 디바이스에 의한 사용을 위하여 또는 이와 연계하여 임의의 컴퓨터 판독가능 매체 내에 저장 및/또는 전송될 수 있다. 본 문서의 맥락에서, "컴퓨터 판독가능 매체"는 명령 실행 시스템, 장치, 또는 디바이스에 의한 사용을 위하여 또는 이와 연계하여 프로그램을 포함하거나 저장할 수 있는 임의의 매체일 수 있다. 컴퓨터 판독가능 매체는, 이에 한하지 않지만, 전자, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템, 장치, 또는 디바이스, 휴대용 컴퓨터 디스켓(자기적), RAM(자기적), ROM(자기적), EPROM(자기적), CD, CD-R, CD-RW, DVD, DVD-R, 또는 DVD-RW 등의 휴대용 광학 디스크, 또는 콤팩트 플래시 카드, 보안 디지털 카드, USB 메모리 장치, 메모리 스틱, 등의 플래시 메모리를 포함할 수 있다.
펌웨어는 또한 컴퓨터 기반 시스템, 프로세서 포함 시스템, 또는 명령 실행 시스템, 장치, 또는 디바이스로부터 명령을 패치하여 명령을 실행할 수 있는 기타의 시스템 등의 명령 실행 시스템, 장치, 또는 디바이스에 의한 사용을 위하여 또는 이와 연계하여 임의의 전송 매체 내에서 전파될 수도 있다. 본 문서의 맥락에서, "전송 매체"라는 것은 명령 실행 시스템, 장치, 또는 디바이스에 의한 사용을 위하여 또는 이와 연계하여 프로그램을 통신, 전파, 또는 전송할 수 있는 임의의 매체일 수 있다. 전송 판독가능 매체는, 이에 한하지 않지만, 전자, 자기, 광학, 전자기, 또는 적외선의 유선 또는 무선 전파 매체를 포함할 수 있다.
센서 패널은 도 4에 도시된 바와 같은 터치 센서 패널에 한하지 않으며, 근접 센서 패널 또는 터치 또는 선회(hover) 이벤트를 감지하여 본 발명의 실시예에 따라서 제스쳐를 생성 또는 검출할 수 있는 임의의 기타 센서 패널일 수 있다는 것을 이해할 수 있을 것이다. 또한, 터치 센서 패널 내의 터치 센서들을 본 명세서에서는 행과 열을 갖는 직교 터치 센서의 어레이로서 설명할 수 있지만, 본 발명의 실시예들은 직교 어레이에 한하지 않고, 대각선, 동심원, 및 3차원의 랜덤 배향을 포함하는 임의의 수의 치수 및 배향으로 배치되는 터치 센서들에 일반적으로 적용가능할 수 있다는 것을 이해할 수 있을 것이다. 또한, 본 명세서에서 설명하는 터치 센서 패널은 단일 터치 또는 멀티 터치 센서 패널일 수 있다.
도 5는 본 발명의 실시예에 따라서 제스쳐 생성 및 검출 알고리즘을 실행하도록 활용될 수 있는 도 4의 컴퓨팅 시스템 내에서 마우스 표면상의 터치 센서 패널(524), 베이스(545), 및 기타의 컴퓨팅 시스템 블록들을 포함할 수 있는 일례의 터치 감지 마우스(500)를 나타낸다. 일부 실시예에 있어서, 마우스(500)는 케이블(550)을 통해서 컴퓨팅 시스템과 통신할 수 있다. 일부 실시예에 있어서, 마우스(500)는 무선 연결을 통해서 컴퓨팅 시스템과 통신할 수 있다.
첨부 도면을 참조하여 본 발명의 실시예들을 전체적으로 설명하였지만, 각종 변경예와 개조예가 당업자에게 명백할 것이다. 이러한 변경예와 개조예들은 첨부된 청구범위에 정의된 바와 같이 본 발명의 실시예의 범주 내에 포함되는 것으로 이해되어야 한다.

Claims (25)

  1. 터치 표면상에 놓인 손에 맞는(tailored) 제스쳐들을 생성하는 방법으로서,
    터치 표면상에 놓인 손의 자연스런 자세(natural pose)에 기초하여, 자세 잡은 손(posed hand)의 손가락들을 판정하는 단계; 및
    상기 판정된 손가락들 중 하나 이상을 선택하여 제스쳐를 생성하는 단계
    를 포함하는 제스쳐 생성 방법.
  2. 제1항에 있어서,
    상기 터치 표면상에 놓인 손의 자연스런 자세를 판정하는 단계를 더 포함하는 제스쳐 생성 방법.
  3. 제1항에 있어서,
    상기 판정된 손가락들 중 하나 이상을 선택하는 단계는, 상기 터치 표면상에서 세로방향의 운동들(longitudinal motions)을 할 수 있는 상기 손의 손가락들 중 하나 이상을 선택하는 단계를 포함하는 제스쳐 생성 방법.
  4. 제1항에 있어서,
    상기 판정된 손가락들 중 하나 이상을 선택하는 단계는, 상기 터치 표면상에서 가로방향의 운동들(lateral motions)을 할 수 있는 상기 판정된 손가락들 중 하나 이상을 선택하는 단계를 포함하는 제스쳐 생성 방법.
  5. 제1항에 있어서,
    상기 판정된 손가락들 중 하나 이상의 또 다른 군을 선택하여 다른 제스쳐들을 취하는 단계를 더 포함하는 제스쳐 생성 방법.
  6. 터치 표면상에 놓인 손에 맞는 제스쳐들을 생성하는 방법으로서,
    입력에 응답하여 터치 표면상에 놓인 자연스럽게 자세 잡은 손의 손가락들을 판정하는 단계; 및
    적어도 상기 손가락들의 서브셋트와 관련된(involving) 제스쳐를 생성하는 단계
    를 포함하는 제스쳐 생성 방법.
  7. 제6항에 있어서,
    상기 자세 잡은 손과 관련된(involved) 손가락들을 판정하는데에 사용되는 입력을 수신하는 단계를 더 포함하는 제스쳐 생성 방법.
  8. 제6항에 있어서,
    상기 제스쳐와 관련된 손가락들의 서브셋트를 선택하는 제2 입력을 수신하는 단계를 더 포함하는 제스쳐 생성 방법.
  9. 제6항에 있어서,
    상기 입력은,
    상기 손의 손가락들 중 어느 것이 움직이고 있는지 및 상기 손의 손가락들 중 어느 것이 실질적으로 정지된 상태로 있는지를 식별하는 것;
    상기 식별된 움직이는 손가락들의 운동 성분들(motion components)을 판정하는 것;
    상기 판정에 기초하여, 상기 판정된 운동 성분들 중 적어도 하나를 갖는 상기 식별된 움직이는 손가락들에 의해 이루어질 수 있는 상기 손에 맞는 가능한 제스쳐들을 제안하는 것; 및
    상기 터치 이벤트에 가장 잘(closely) 일치하는 상기 제안된 가능한 맞는 제스쳐를 상기 검출된 제스쳐로서 선택하는 것
    을 포함하는 제스쳐 생성 방법.
  10. 제9항에 있어서,
    상기 운동 성분들은 병진 운동 성분, 스케일 운동 성분, 또는 회전 운동 성분 중 적어도 하나를 포함하는 제스쳐 생성 방법.
  11. 제10항에 있어서,
    상기 병진 운동 성분은 상기 식별된 움직이는 손가락들의 병진 운동 성분들의 가중 평균(weighted average)으로서 계산되며, 상기 식별된 움직이는 손가락들 중 더 빠르게 움직이는 것에 상기 식별된 움직이는 손가락들 중 나머지보다 더 큰 가중치가 부여되는 제스쳐 생성 방법.
  12. 제9항에 있어서,
    상기 판정된 운동 성분들 중 우세한(dominant) 운동 성분을 판정하는 단계; 및
    상기 판정된 우세한 운동 성분을 갖는 가능한 제스쳐들을 제안하는 단계
    를 포함하는 제스쳐 생성 방법.
  13. 제12항에 있어서,
    상기 우세한 운동 성분을 판정하는 단계는, 상기 판정된 운동 성분들에 해당하는 운동 우세 인자들(motion dominance factors)을 계산하는 단계를 포함하며,
    상기 식별된 움직이는 손가락들 중 하나가 엄지인 경우, 스케일 운동 성분과 회전 운동 성분에 대한 상기 운동 우세 인자들이 높고,
    상기 식별된 움직이는 손가락들 중 하나도 엄지가 아닌 경우, 병진 운동 성분에 대한 상기 운동 우세 인자가 높은 제스쳐 생성 방법.
  14. 터치 표면 상에 놓인 손에 맞는 제스쳐들을 생성하기 위한 프로그램 코드를 포함하는 컴퓨터 판독가능 매체로서,
    상기 프로그램 코드는,
    터치 표면상의 터치 이벤트에 응답하여, 상기 터치 이벤트를 포함하는 손의 자세를 판정하는 단계; 및
    상기 판정된 손가락들 중 하나 이상을 선택하여 제스쳐를 생성하는 단계
    를 포함하는 방법을 수행시키는 컴퓨터 판독가능 매체.
  15. 제14항에 있어서,
    상기 터치 이벤트는 상기 터치 표면상에 놓인 손의 자연스런 자세를 포함하는 컴퓨터 판독가능 매체.
  16. 제14항에 있어서,
    상기 자세를 판정하는 단계는, 어떤 손가락들이 상기 터치 이벤트를 포함하는지, 얼마나 많은 손가락들이 상기 터치 이벤트를 포함하는지, 또는 상기 터치 이벤트 동안에 상기 터치 표면상의 어디에 손가락들이 터치하는지 중 적어도 하나를 판정하는 단계를 포함하는 컴퓨터 판독가능 매체.
  17. 제14항에 있어서,
    상기 손의 자세를 판정하는 단계는, 상기 자세 잡은 손의 손가락들을 선택하는 단계를 포함하는 컴퓨터 판독가능 매체.
  18. 제14항에 있어서,
    상기 제스쳐를 생성하는 단계는, 상기 제스쳐를 이루도록 자세 잡은 상기 터치 이벤트로부터 자세 잡은 손의 손가락들을 선택하는 단계를 포함하는 컴퓨터 판독가능 매체.
  19. 제14항의 컴퓨터 판독가능 매체를 포함하는 컴퓨팅 시스템.
  20. 컴퓨팅 시스템으로서,
    표면상에서 복수의 입력들을 검출하도록 구성된 복수의 입력 센서들을 갖는 입력 장치 - 상기 복수의 입력들은 물체들에 대응하며, 상기 물체들은 상기 표면 상의 자세 잡은 손의 손가락들을 포함함 -; 및
    상기 입력 장치와 통신하는 프로세서 - 상기 프로세서는, 상기 검출된 복수의 입력들에 기초하여 제스쳐를 생성하도록 구성됨 -
    를 포함하는 컴퓨팅 시스템.
  21. 제20항에 있어서,
    상기 물체들은 상기 표면상에서 자연스런 자세로 놓인 손의 손가락들을 포함하는 컴퓨팅 시스템.
  22. 제20항에 있어서,
    상기 복수의 입력 센서들은 상기 입력 장치의 상기 표면상에 놓인 손의 자연스런 자세를 포함하는 터치를 검출하도록 구성된 복수의 터치 센서들인 컴퓨팅 시스템.
  23. 제22항에 있어서,
    상기 복수의 터치 센서들은 상기 입력 장치의 상기 표면상에 위치되는 터치 센서 패널 내에 포함되는 컴퓨팅 시스템.
  24. 제20항에 있어서,
    상기 입력 장치는 마우스인 컴퓨팅 시스템.
  25. 제24항에 있어서,
    상기 복수의 입력 센서들은, 상기 마우스의 표면상에 놓인 손의 자연스런 자세를 포함하는 터치를 검출하도록 구성되고, 상기 마우스의 표면상에 위치되는 터치 센서 패널에 포함되는 복수의 터치 센서들인 컴퓨팅 시스템.
KR1020117013387A 2008-11-12 2009-11-12 표면상에 놓인 손에 맞는 제스쳐를 생성하는 방법 KR101535320B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/269,843 2008-11-12
US12/269,843 US8502785B2 (en) 2008-11-12 2008-11-12 Generating gestures tailored to a hand resting on a surface
PCT/US2009/064274 WO2010056917A1 (en) 2008-11-12 2009-11-12 Generating gestures tailored to a hand resting on a surface

Publications (2)

Publication Number Publication Date
KR20110084313A true KR20110084313A (ko) 2011-07-21
KR101535320B1 KR101535320B1 (ko) 2015-07-08

Family

ID=41786050

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117013387A KR101535320B1 (ko) 2008-11-12 2009-11-12 표면상에 놓인 손에 맞는 제스쳐를 생성하는 방법

Country Status (6)

Country Link
US (1) US8502785B2 (ko)
EP (1) EP2359224B1 (ko)
JP (1) JP5674674B2 (ko)
KR (1) KR101535320B1 (ko)
CN (1) CN102216883B (ko)
WO (1) WO2010056917A1 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8502785B2 (en) 2008-11-12 2013-08-06 Apple Inc. Generating gestures tailored to a hand resting on a surface
WO2010120303A2 (en) * 2009-04-16 2010-10-21 Hewlett-Packard Development Company, L.P. Managing shared content in virtual collaboration systems
TW201039184A (en) * 2009-04-24 2010-11-01 Asustek Comp Inc Method of determining mouse command according to triggered points
US20110195781A1 (en) * 2010-02-05 2011-08-11 Microsoft Corporation Multi-touch mouse in gaming applications
US8730157B2 (en) * 2010-11-15 2014-05-20 Hewlett-Packard Development Company, L.P. Hand pose recognition
US9201539B2 (en) 2010-12-17 2015-12-01 Microsoft Technology Licensing, Llc Supplementing a touch input mechanism with fingerprint detection
TW201235894A (en) * 2011-02-25 2012-09-01 Primax Electronics Ltd Undirectional mouse
CN102654796A (zh) * 2011-03-04 2012-09-05 致伸科技股份有限公司 无方向性鼠标
KR101313537B1 (ko) 2011-07-07 2013-10-01 하재석 한 손으로 컴퓨터를 조작하기 위한 장치
TWI493387B (zh) * 2011-11-18 2015-07-21 Primax Electronics Ltd 多點觸控滑鼠
US9292197B2 (en) * 2012-03-30 2016-03-22 Mckesson Financial Holdings Method, apparatus and computer program product for facilitating the manipulation of medical images
TW201351215A (zh) * 2012-06-06 2013-12-16 Areson Technology Corp 滑鼠模擬觸控螢幕操作的方法
CN103513785A (zh) * 2012-06-29 2014-01-15 联想(北京)有限公司 一种信息处理方法、电子设备及输入设备
CN103576910B (zh) * 2012-08-06 2016-10-05 联想(北京)有限公司 一种信息处理方法及电子设备
US10241639B2 (en) 2013-01-15 2019-03-26 Leap Motion, Inc. Dynamic user interactions for display control and manipulation of display objects
CN113568506A (zh) * 2013-01-15 2021-10-29 超级触觉资讯处理有限公司 用于显示器控制和定制姿势解释的动态用户交互
JP5862587B2 (ja) * 2013-03-25 2016-02-16 コニカミノルタ株式会社 ジェスチャ判別装置、ジェスチャ判別方法、およびコンピュータプログラム
US10620709B2 (en) 2013-04-05 2020-04-14 Ultrahaptics IP Two Limited Customized gesture interpretation
US10168873B1 (en) 2013-10-29 2019-01-01 Leap Motion, Inc. Virtual interactions for machine control
ITCO20130068A1 (it) * 2013-12-18 2015-06-19 Nu Tech S A S Di De Michele Marco & Co Metodo per fornire comandi d'utente ad un elaboratore elettronico e relativi programma per elaborare e circuito elettronico.
JP6364790B2 (ja) * 2014-01-30 2018-08-01 株式会社リコー ポインティングデバイス
JP5956481B2 (ja) 2014-02-10 2016-07-27 レノボ・シンガポール・プライベート・リミテッド 入力装置、入力方法、及びコンピュータが実行可能なプログラム
US9696795B2 (en) 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
US10429923B1 (en) 2015-02-13 2019-10-01 Ultrahaptics IP Two Limited Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US10712835B2 (en) * 2016-10-06 2020-07-14 Htc Corporation System and method for detecting hand gesture
US11875012B2 (en) 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
CN111061388A (zh) * 2020-01-19 2020-04-24 西安图唯谷创新科技有限公司 一种单触点鼠标及其控制终端的方法
US11348373B2 (en) 2020-02-21 2022-05-31 Microsoft Technology Licensing, Llc Extended reality gesture recognition proximate tracked object

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5483261A (en) * 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
US5880411A (en) * 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
US5488204A (en) * 1992-06-08 1996-01-30 Synaptics, Incorporated Paintbrush stylus for capacitive touch sensor pad
JPH07182101A (ja) * 1993-10-26 1995-07-21 Itu Res Inc グラフィック入力装置および方法、グラフィックオブジェクト操作方法、グラフィック入力信号供給方法
US5825352A (en) * 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
US5835079A (en) * 1996-06-13 1998-11-10 International Business Machines Corporation Virtual pointing device for touchscreens
JPH1165759A (ja) * 1997-08-21 1999-03-09 Sharp Corp 情報入力装置
US6310610B1 (en) * 1997-12-04 2001-10-30 Nortel Networks Limited Intelligent touch display
US7663607B2 (en) * 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US9292111B2 (en) * 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
IL137478A (en) 1998-01-26 2005-11-20 Westerman Wayne Method and apparatus for integrating manual input
US8479122B2 (en) * 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7800592B2 (en) * 2005-03-04 2010-09-21 Apple Inc. Hand held electronic device with multiple touch sensing devices
JP4144947B2 (ja) * 1998-04-01 2008-09-03 富士通コンポーネント株式会社 マウス
US6188391B1 (en) * 1998-07-09 2001-02-13 Synaptics, Inc. Two-layer capacitive touchpad and method of making same
US7358956B2 (en) * 1998-09-14 2008-04-15 Microsoft Corporation Method for providing feedback responsive to sensing a physical presence proximate to a control of an electronic device
US7256770B2 (en) 1998-09-14 2007-08-14 Microsoft Corporation Method for displaying information responsive to sensing a physical presence proximate to a computer input device
JP4542637B2 (ja) 1998-11-25 2010-09-15 セイコーエプソン株式会社 携帯情報機器及び情報記憶媒体
US6184064B1 (en) * 2000-01-12 2001-02-06 Micron Technology, Inc. Semiconductor die back side surface and method of fabrication
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7030861B1 (en) * 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
JP3800984B2 (ja) 2001-05-21 2006-07-26 ソニー株式会社 ユーザ入力装置
JP2003173237A (ja) * 2001-09-28 2003-06-20 Ricoh Co Ltd 情報入出力システム、プログラム及び記憶媒体
JP3799545B2 (ja) * 2001-12-12 2006-07-19 有限会社ネゴ 単一のボタンで多数の入力操作が行える入力装置
US6690387B2 (en) 2001-12-28 2004-02-10 Koninklijke Philips Electronics N.V. Touch-screen image scrolling system and method
JP3986830B2 (ja) * 2002-01-18 2007-10-03 シャープ株式会社 情報入出力装置
US7168047B1 (en) * 2002-05-28 2007-01-23 Apple Computer, Inc. Mouse having a button-less panning and scrolling switch
US11275405B2 (en) * 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
JP2005339229A (ja) * 2004-05-27 2005-12-08 Nec Corp 入力機器及び入力システム
EP1787281A2 (en) * 2004-07-15 2007-05-23 N-Trig Ltd. Automatic switching for a dual mode digitizer
EP1774429B1 (en) * 2004-07-30 2018-06-06 Apple Inc. Gestures for touch sensitive input devices
JP4351599B2 (ja) * 2004-09-03 2009-10-28 パナソニック株式会社 入力装置
US8614676B2 (en) * 2007-04-24 2013-12-24 Kuo-Ching Chiang User motion detection mouse for electronic device
US7710397B2 (en) 2005-06-03 2010-05-04 Apple Inc. Mouse with improved input mechanisms using touch sensors
JP2009042796A (ja) 2005-11-25 2009-02-26 Panasonic Corp ジェスチャー入力装置および方法
US8077147B2 (en) * 2005-12-30 2011-12-13 Apple Inc. Mouse with optical sensing surface
US20070257891A1 (en) * 2006-05-03 2007-11-08 Esenther Alan W Method and system for emulating a mouse on a multi-touch sensitive surface
US20090174676A1 (en) * 2008-01-04 2009-07-09 Apple Inc. Motion component dominance factors for motion locking of touch sensor data
US8502785B2 (en) 2008-11-12 2013-08-06 Apple Inc. Generating gestures tailored to a hand resting on a surface

Also Published As

Publication number Publication date
KR101535320B1 (ko) 2015-07-08
JP2012508427A (ja) 2012-04-05
CN102216883B (zh) 2013-11-13
US20100117963A1 (en) 2010-05-13
JP5674674B2 (ja) 2015-02-25
CN102216883A (zh) 2011-10-12
EP2359224B1 (en) 2017-07-05
EP2359224A1 (en) 2011-08-24
WO2010056917A1 (en) 2010-05-20
US8502785B2 (en) 2013-08-06

Similar Documents

Publication Publication Date Title
KR101535320B1 (ko) 표면상에 놓인 손에 맞는 제스쳐를 생성하는 방법
KR101521337B1 (ko) 재배치가능한 터치면 상의 제스처 방위의 검출
US8446374B2 (en) Detecting a palm touch on a surface
US9594489B2 (en) Hover-based interaction with rendered content
KR101270847B1 (ko) 터치 감지 입력 장치용 제스처
US8188985B2 (en) Method and apparatus continuing action of user gestures performed upon a touch sensitive interactive display in simulation of inertia
US10331219B2 (en) Identification and use of gestures in proximity to a sensor
US8730187B2 (en) Techniques for sorting data that represents touch positions on a sensing device
US8432301B2 (en) Gesture-enabled keyboard and associated apparatus and computer-readable storage medium
TW201224850A (en) Gesture recognition
CN104885051A (zh) 锚拖动触摸符号辨识
AU2015202763B2 (en) Glove touch detection
KR102198596B1 (ko) 간접 입력의 명확화 기법
US9256360B2 (en) Single touch process to achieve dual touch user interface
US9235338B1 (en) Pan and zoom gesture detection in a multiple touch display
CN108268163B (zh) 在触摸屏设备中用槽分析确定单个手指的细长接触的发生
KR20140086805A (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록매체
JP6331022B2 (ja) 表示装置、表示制御方法、及び表示制御プログラム
KR101436586B1 (ko) 원 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190617

Year of fee payment: 5