KR20100088717A - 다점 감지 장치를 이용한 제스처링 - Google Patents

Abstract

감지 장치를 이용하여 제스처를 구현하기 위한 방법 및 시스템이 개시된다. 더 구체적으로는, 다점 감지 장치를 이용한 제스처링에 관련된 방법 및 시스템이 개시된다.

Description

다점 감지 장치를 이용한 제스처링{GESTURING WITH A MULTIPOINT SENSING DEVICE}

<관련 출원>

본 출원은 "GESTURING WITH A MULTIPOINT SENSING DEVICE"라는 명칭의, 2006년 1월 30일자로 출원된 미국 가특허 출원 60/763,605호의 우선권을 주장한다. 상기 가특허 출원은 본 명세서에 참고 문헌으로 통합된다.

본 출원은 다음의 특허 출원들과도 관련이 있고, 그 각각의 출원은 본 명세서에 참고 문헌으로 통합된다.

"GESTURES FOR TOUCH SENSITIVE INPUT DEVICES"라는 명칭의, 2004년 7월 30일자로 출원된 미국 특허 출원 10/903,964호;

1998년 1월 26일자로 출원된 미국 가 특허 출원 60/072,509호의 우선권을 주장하는, 2001년 11월 27일자로 발행된 미국 특허 6,323,846호의 우선권을 주장하는, "METHOD AND APPARATUS FOR INTEGRATING MANUAL INPUT"이라는 명칭의, 2004년 12월 17일자로 출원된 미국 특허 출원 11/015,434호;

"AMBIDEXTROUS MOUSE"라는 명칭의, 2003년 9월 2일자로 출원된 미국 특허 출원 10/654,108호;

"SHAPE DETECTING INPUT DEVICE"라는 명칭의, 2004년 2월 27일자로 출원된 미국 특허 출원 10/789,676호;

"MULTIPOINT TOUCHSCREEN"이라는 명칭의, 2004년 5월 6일자로 출원된 미국 특허 출원 10/840,862호;

"HAND HELD ELECTRONIC DEVICE WITH MULTIPLE TOUCH SENSING DEVICES"라는 명칭의, 2005년 4월 26일자로 출원된 미국 특허 출원 11/115,539호;

"PROXIMITY DETECTOR IN HANDHELD DEVICE"라는 명칭의, 2004년 7월 30일자로 출원된 미국 특허 출원 11/241,839호;

"MULTI-FUNCTIONAL HAND-HELD DEVICE"라는 명칭의, 2005년 3월 4일자로 출원된 미국 가 특허 출원 60/658,777호;

"GESTURES FOR TOUCH SENSITIVE INPUT DEVICES"라는 명칭의, 2004년 7월 30일자로 출원된 미국 특허 출원 10/903,964호;

"MODE-BASED GRAPHICAL USER INTERFACES FOR TOUCH SENSITIVE INPUT DEVICES"라는 명칭의, 2005년 1월 18일자로 출원된 미국 특허 출원 11/038,590호;

"GESTURES FOR TOUCH SENSITIVE INPUT DEVICES"라는 명칭의, 2005년 1월 31일자로 출원된 미국 특허 출원 11/048,264호;

"ACTIVATING VIRTUAL KEYS OF A TOUCH-SCREEN VIRTUAL KEYBOARD"라는 명칭의, 2005년 9월 16일자로 출원된 미국 특허 출원 11/228,737호;

"VIRTUAL INPUT DEVICE PLACEMENT ON A TOUCH SCREEN USER INTERFACE"라는 명칭의, 2005년 9월 16일자로 출원된 미국 특허 출원 11/228,758호;

"OPERAT10N OF A COMPUTER WITH TOUCH SCREEN INTERFACE"라는 명칭의, 2005년 9월 16일자로 출원된 미국 특허 출원 11/228,700호;

"VISUAL EXPANDER"라는 명칭의, 2004년 8월 25일자로 출원된 미국 특허 출원 10/927,925호;

"WIDE TOUCHPAD ON A PORTABLE COMPUTER"라는 명칭의, 2004년 8월 25일자로 출원된 미국 특허 출원 10/927,575호;

"MULTI-TOUCH GESTURE DICTIONARY"라는 명칭의, 2007년 1월 3일자로 출원된 미국 특허 출원 11/619,553호;

"MULTI-TOUCH GESTURE DICTIONARY"라는 명칭의, 2007년 1월 3일자로 출원된 미국 특허 출원 11/619,571호.

본 발명은 전반적으로 다점 감지 장치(multipoint sensing devices)와 관련된 제스처링에 관한 것이다.

오늘날 컴퓨터 시스템에서 조작들을 수행하기 위한 많은 스타일의 입력 장치들이 존재한다. 그 조작들은 일반적으로 디스플레이 스크린 상에서 커서를 움직여 선택을 행하는 것에 대응한다. 그 조작들은 또한 페이징(paging), 스크롤링(scrolling), 패닝(panning), 주밍(zooming) 등을 포함할 수 있다. 예로서, 입력 장치들은 버튼, 스위치, 키보드, 마우스, 트랙볼, 터치 패드, 조이스틱, 터치 스크린 등을 포함할 수 있다. 이들 장치들 각각은 컴퓨터 시스템을 디자인할 때 고려되는 이점들 및 불리점들을 갖고 있다.

터치 패드의 경우, 입력 포인터의 움직임은 사용자의 손가락이 터치 패드의 표면을 따라 이동할 때 그 손가락(또는 스타일러스)의 상대적 움직임에 대응한다. 한편, 터치 스크린은 스크린을 덮는 터치 감응 투명 패널을 갖는 디스플레이 스크린의 일종이다. 터치 스크린을 이용할 경우, 사용자는 스크린 상의 GUI 개체들을 직접 가리킴으로써(통상적으로 스타일러스 또는 손가락을 이용하여) 디스플레이 상에서 선택을 행한다. 일반적으로, 터치 장치는 터치 및 터치의 위치를 인지하고 컴퓨터 시스템은 그 터치를 해석하고 그 후 그 터치 이벤트에 기초하여 액션을 수행한다.

추가로 기능을 제공하기 위하여, 이들 입력 장치들 중 일부에서는 제스처들이 구현되었다. 예로서, 터치 패드에서는, 터치 패드의 표면 상에서 하나 또는 그 이상의 탭(tap)이 탐지될 경우 선택이 행해질 수 있다. 일부 경우에는, 터치 패드의 어느 부분이라도 탭될 수 있고, 다른 경우에는 터치 패드의 전용 부분이 탭될 수 있다. 선택 외에도, 터치 패드의 가장자리에서의 손가락 움직임을 이용하여 스크롤링이 개시될 수 있다.

불행히도, 대부분의 터치 기술들은 감지 표면 상에 복수의 물체들이 놓여 있는 경우에도 단 하나의 점(point)을 보고하는 것만이 가능하다는 사실 때문에 제스처링은 엄격하게 제한된다. 즉, 그 기술들은 복수의 접촉점들을 추적하는 능력이 없다. 저항 및 용량 기술에서는, 모든 동시에 발생하는 터치 점들의 평균이 결정되고 그 터치 점들 사이의 어딘가에 있는 단 하나의 점이 보고된다. 표면파 및 적외선 기술에서는, 마스킹 때문에 동일한 수평 및 수직선들 상에 있는 복수의 터치 점들의 정확한 위치를 식별하는 것이 불가능하다. 어느 쪽의 경우이든, 불완전한 결과가 생성된다.

전술한 내용에 기초하여, 다점 감지 장치 및 다점 감지 장치를 이용하여 제스처를 구현하는 방법이 요구되고 있다.

본 발명은, 일 실시예에서, 전자 시스템에 관한 것이다. 이 전자 시스템은 하나 또는 그 이상의 물체로부터의 입력을 수신하는 다점 감지 영역을 제공하는 다점 감지 장치를 포함한다. 상기 전자 시스템은 또한 상기 다점 감지 장치의 다점 감지 영역에 의해 수신된 주어진 입력 배열에 대한 제스처 세트를 결정하고, 상기 제스처 세트에 포함된 하나 또는 그 이상의 제스처 이벤트에 대하여 상기 주어진 입력 배열을 모니터하고, 상기 입력 배열에 의해 제스처 이벤트가 수행될 때 그 제스처 이벤트와 관련된 입력 액션들을 개시하도록 구성된 제스처 모듈을 포함한다. 상기 입력 배열은 예를 들면 손가락들 및/또는 손의 다른 부분들의 배열일 수 있다.

본 발명은, 다른 실시예에서, 제스처 제어 방법에 관한 것이다. 이 방법은 감지 영역 내에서 복수의 점들을 동시에 탐지하는 단계를 포함한다. 상기 방법은 또한 상기 감지 영역 내에서 하나 또는 그 이상의 점들이 탐지되는 경우 코드(chord)를 결정하는 단계를 포함한다. 상기 코드는 상기 감지 영역 내의 점들의 특정 배열이다. 상기 방법은 하나 또는 그 이상의 제스처 이벤트에 커맨드들을 관련시키는 제스처 세트를 결정하는 단계를 더 포함한다. 상기 방법은 또한 제스처 이벤트들에 대하여 점들을 모니터하는 단계를 포함한다. 더욱이, 상기 방법은 제스처 이벤트가 인지되는 경우에 제스처 이벤트와 관련된 커맨드를 수행하는 단계를 포함한다.

본 발명은, 또 다른 실시예에서, 제어 동작에 관한 것이다. 이 제어 동작들은 터치 또는 근접 터치(near touch)를 탐지하는 것을 포함한다. 상기 동작들은 또한 상기 터치에 대한 제스처 세트를 결정하는 것을 포함한다. 상기 제스처 세트는 커맨드를 유발(provoke) 또는 개시하기 위한 하나 또는 그 이상의 제스처 이벤트를 포함한다. 상기 동작은 제스처 이벤트에 대하여 상기 터치를 모니터하는 것을 포함한다. 상기 동작은 또한 상기 제스처 세트와 관련된 제스처 이벤트가 수행되는 경우 커맨드를 개시하는 것을 포함한다.

본 발명은, 또 다른 실시에에서, 제스처 동작에 관한 것이다. 이 동작은 터치 움직임을 모니터하는 것을 포함한다. 상기 동작은 또한 상기 터치 움직임을 제1 상태와 제2 상태 사이에서 구별하는 것을 포함한다. 상기 동작은 상기 터치 움직임이 제1 상태와 관련되어 있는 경우 제1 액션을 수행하는 것을 더 포함한다. 상기 동작은 또한 움직임이 제2 상태와 관련되어 있는 경우 제2 액션을 수행하는 것을 포함한다.

본 발명은, 또 다른 실시예에서, 제어 동작에 관한 것이다. 이 제어 동작은 제1 입력 장치 및 상기 제1 입력 장치와 다른 제2 입력 장치를 제공하는 것을 포함한다. 상기 제1 입력 장치는 입력 이벤트들을 제공하기 위한 터치 감지 장치 등의 물체 감지 장치를 포함한다. 상기 동작은 또한 입력 이벤트들에 대하여 상기 제1 입력 장치를 모니터하는 것을 포함한다. 상기 동작은 입력 이벤트들에 대하여 상기 제2 입력 장치를 동시에 모니터하는 것을 더 포함한다. 상기 동작은 또한 제1 입력 장치와 관련된 입력 이벤트들에 따라 입력 동작들을 수행하는 것을 포함한다. 또한, 상기 방법은 제2 입력 장치와 관련된 입력 이벤트들에 따라 입력 동작들을 동시에 수행하는 것을 포함한다.

본 발명은, 또 다른 실시예에서, 제어 동작에 관한 것이다. 이 제어 동작은 입력 기능들의 목록을 제공한다. 상기 입력 기능은 커맨드들 및 상기 커맨드들에 연결(link)되는 제스처 이벤트들을 갖는다. 상기 커맨드들은 상기 입력 기능에 관련된다. 상기 동작은 또한 입력 기능들을 코드(chord)들에 할당하는 것을 포함하다. 상기 동작은 또한 코드가 인지되는 경우 그 코드에 입력 기능을 연결하는 것을 포함한다.

본 발명은, 또 다른 실시예에서, 제어판(control panel)에 관한 것이다. 이 제어판은 입력 기능들의 메뉴를 디스플레이하는 것을 포함한다. 상기 제어판은 또한 선택된 입력 기능과 관련된 커맨드들, 및 상기 커맨드들에 할당된 제스처 이벤트들을 보여주는 제스처 세트를 디스플레이하는 것을 포함한다. 상기 제어 동작은 코드들의 목록을 디스플레이하는 것을 더 포함한다. 제스처 맵(gesture map)을 설정하기 위하여, 사용자는 입력 기능들의 목록으로부터 원하는 입력 기능을 선택하고 상기 코드들의 목록으로부터 원하는 코드를 선택한다.

본 발명은, 또 다른 실시예에서, 제스처 디자인 프로세스에 관한 것이다. 이 디자인 프로세스는 코드들의 목록을 제공하고 상기 코드들을 가장 쉬운 것(easiest)부터 가장 어려운 것(hardest)까지 랭킹(ranking)하는 것을 포함한다. 상기 디자인 프로세스는 또한 조작들의 빈도를 가장 많은 빈도(most frequent)로부터 가장 적은 빈도(least frequent)까지 랭킹하는 것을 포함한다. 상기 디자인 프로세스는 가장 쉬운 코드들을 가장 많은 빈도의 조작들과 매칭시키고, 가장 어려운 코드들을 가장 적은 빈도의 조작들과 매칭시키는 것을 더 포함한다. 상기 디자인 프로세스는 또한 코드/조작 그룹핑을 미세 조정(fine tuning)하는 것을 포함할 수 있다.

본 발명은, 또 다른 실시예에서, 제스처 동작에 관한 것이다. 이 제스처 동작들은 제1 손가락을 탐지하는 것을 포함한다. 상기 제스처 동작은 또한 상기 손가락의 상태를 결정하는 것을 포함한다. 상기 손가락의 상태는 예를 들면 움직이는 것 또는 움직이지 않는 것일 수 있다. 상기 제스처 동작은 하나 또는 그 이상의 추가의 손가락을 탐지하는 것을 더 포함한다. 예를 들면, 제2 손가락이 탐지될 수 있다. 상기 제스처 동작은 상기 추가의 손가락의 상태를 결정하는 것을 더 포함한다. 상기 추가의 손가락의 상태는 예를 들면 그것들이 존재하거나 존재하지 않는 것일 수 있다. 또한, 상기 방법은 제1 및 추가의 손가락들의 상태들의 서로에 대한 타이밍에 기초하여 상이한 입력 모드들을 구현하는 것을 포함한다. 상기 상이한 모드들은 예를 들면 포인팅(pointing) 모드, 드래깅(dragging) 모드 등일 수 있다.

본 발명은 첨부 도면들과 함께 다음의 상세한 설명으로부터 쉽사리 이해될 것이다. 도면들에서 유사한 참조 번호들은 유사한 구성 요소들을 나타낸다.
도 1은 본 발명의 일 실시예에 따른, 제스처 제어 동작이다.
도 2는 본 발명의 일 실시예에 따른, 제어 동작이다.
도 3은 본 발명의 일 실시예에 따른, 제어 동작이다.
도 4는 본 발명의 일 실시예에 따른, 제어 동작이다.
도 5는 본 발명의 일 실시예에 따른, 제어 동작이다.
도 6은 본 발명의 일 실시예에 따른, 제어 동작이다.
도 7은 본 발명의 일 실시예에 따른, 제스처 동작이다.
도 8은 본 발명의 일 실시예에 따른, 제스처 동작이다.
도 9는 본 발명의 일 실시예에 따른, 제스처 동작이다.
도 10은 본 발명의 일 실시예에 따른, 제스처 동작이다.
도 11은 본 발명의 일 실시예에 따른, 제스처 동작이다.
도 12는 본 발명의 일 실시예에 따른, 제스처 동작이다.
도 13은 본 발명의 일 실시예에 따른, 제스처 동작이다.
도 14는 본 발명의 일 실시예에 따른, 제스처 동작이다.
도 15는 본 발명의 일 실시예에 따른, 제스처 동작이다.
도 16은 본 발명의 일 실시예에 따른, 제스처 동작이다.
도 17은 본 발명의 일 실시예에 따른, 제스처 동작이다.
도 18은 본 발명의 일 실시예에 따른, 제스처 동작이다.
도 19는 본 발명의 일 실시예에 따른, 제스처 동작이다.
도 20은 본 발명의 일 실시예에 따른, 제어 동작이다.
도 21은 본 발명의 일 실시예에 따른, 제어 동작이다.
도 22는 본 발명의 일 실시예에 따른, 제어 동작이다.
도 23은 본 발명의 일 실시예에 따른, 제어 동작이다.
도 24는 본 발명의 일 실시예에 따른, 제어 동작이다.
도 25는 본 발명의 일 실시예에 따른, 제어 동작이다.
도 26은 본 발명의 일 실시예에 따른, 제어 동작이다.
도 27은 본 발명의 일 실시예에 따른, 제어 동작이다.
도 28은 본 발명의 일 실시예에 따른, 제어 동작이다.
도 29a-g는 본 발명의 일 실시예에 따른, 제어판에 관한 도면들이다.
도 30은 본 발명의 일 실시예에 따른, 제어 동작이다.
도 31은 본 발명의 일 실시예에 따른, 제스처 매핑 방법이다.
도 32는 본 발명의 일 실시예에 따른, 제스처 매핑 방법이다.
도 33은 본 발명의 일 실시예에 따른, 제스처 피드백의 방법이다.
도 34는 본 발명의 일 실시예에 따른, 제스처 보기 창에 관한 도면이다.
도 35는 본 발명의 일 실시예에 따른, 터치 스크린을 통하여 구현된 키보드 방법이다.
도 36은 본 발명의 일 실시예에 따른, 제스처 디자인 프로세스의 일례이다.
도 37은 본 발명의 일 실시예에 따른, 코드들을 평가(rating)하기 위한 행렬을 보여준다.
도 38은 본 발명의 일 실시예에 따른, 소수의 조작들에 대한 조작들의 빈도를 랭킹하기 위한 행렬을 보여준다.
도 39는 본 발명의 일 실시예에 따른, 제어 동작이다.
도 40은 본 발명의 일 실시예에 따른, 제어 동작이다.
도 41은 본 발명의 일 실시예에 따른, 제어 동작이다.
도 42는 본 발명의 일 실시예에 따른, 제스처 맵에 관한 도면이다.
도 43은 본 발명의 일 실시예에 따른, 제스처 맵에 관한 도면이다.
도 44는 본 발명의 일 실시예에 따른, 제스처 맵에 관한 도면이다.
도 45는 본 발명의 일 실시예에 따른, 제스처 세트에 관한 도면이다.
도 46은 본 발명의 일 실시예에 따른, 제스처 세트에 관한 도면이다.
도 47은 본 발명의 일 실시예에 따른, 제스처 세트에 관한 도면이다.
도 48은 본 발명의 일 실시예에 따른, 제스처 세트에 관한 도면이다.
도 49는 본 발명의 일 실시예에 따른, 제스처 동작이다.
도 50은 본 발명의 일 실시예에 따른, 제스처 동작이다.
도 51은 본 발명의 일 실시예에 따른, 제스처 동작이다.
도 52는 본 발명의 일 실시예에 따른, 제스처 동작이다.
도 53은 본 발명의 일 실시예에 따른, 제스처 동작이다.
도 54는 본 발명의 일 실시예에 따른, 전자 시스템의 블록도이다.

제스처들 및 감지 장치들을 이용하여 제스처들을 구현하는 방법들이 개시된다. 더 구체적으로는, 제스처들 및 다점 감지 장치들을 이용하여 제스처들을 구현하는 방법들이 개시된다. 다점 감지 장치들은 2 이상의 물체(손가락)를 동시에 또는 거의 동시에 구별할 수 있다는 점에서 종래의 단일 점 장치들에 비하여 다수의 이점들을 갖고 있다. 대부분의 경우에, 다점 감지 장치들 및 그러한 장치들을 이용하는 시스템들은 터치 또는 근접 터치 이벤트에 대하여 표면을 모니터한다. 그러한 이벤트가 일어나면, 별개의 접촉 영역(들)을 결정하고 그 이벤트들의 기하학적 특징들 및 기하학적 배열에 의하여 그 이벤트들의 본질을 식별할 수 있다. 일단 식별되면, 상기 터치 또는 근접 터치 이벤트들을 모니터하여 그것들이 다양한 제스처 이벤트들에 대응하는지를 판정한다.

제스처 이벤트는 하나 또는 그 이상의 특정 컴퓨팅 동작들에 매핑되는 감지 표면과의 양식화된 상호작용(stylized interaction)으로서 정의될 수 있다. 제스처 이벤트들은 다양한 손을 통하여, 더 구체적으로는, 손가락(digit), 움직임(motions), 탭(taps), 압력, 머무름(dwells) 등을 통하여 만들어질 수 있다. 상기 표면은 다점 기술에 기초하기 때문에, 손의 임의의 수의 손가락 또는 기타 접촉 부분들을 이용하여 복잡한 제스처링이 수행될 수 있다. 사실, 이 때문에, 수화(sign language)와 유사한 방대한 제스처 언어가 개발될 수 있다. 제스처 언어(또는 맵(map))는 예를 들면 접촉들(예컨대, 코드들)의 배열을 인지하고, 제스처 이벤트들(예컨대, 움직임들)의 발생을 인지하고, 상기 제스처 이벤트들 및/또는 상기 제스처 이벤트들에 응답하여 취할 액션(들)을 하나 또는 그 이상의 소프트웨어 에이전트들에 통지하는 명령들의 세트를 포함할 수 있다. 다점 제스처링의 예는 미국 특허 출원 10/903,964호, 11/038,590호, 및 11/015,434호에서 발견될 수 있고, 이 특허 출원들은 모두 본 명세서에 참고 문헌으로 통합된다.

다점 감지 장치들에서는 광범위한 여러 가지 제스처들이 이용될 수 있다. 예를 들면, 제스처는 단일 점(single point) 또는 다점(multipoint) 제스처; 정적인(static) 또는 동적인(dynamic) 제스처; 연속적인(continuous) 또는 구분된(segmented) 제스처 등일 수 있다. 단일 점 제스처들은 단 하나의 접촉점에 의해 수행되는 제스처들이다. 예컨대, 그 제스처는 예를 들면 단 하나의 손가락, 손바닥 또는 스타일러스로부터의 단 하나의 터치에 의해 수행된다. 다점 제스처들은 복수의 점들로 수행될 수 있는 제스처들이다. 예컨대, 그 제스처는 예를 들면 복수의 손가락, 손가락 및 손바닥, 손가락 및 스타일러스, 복수의 스타일러스 및/또는 그의 임의의 조합으로부터의 복수의 터치들로 수행된다. 정적인 제스처들은 실질적으로 제스처 이벤트들(예컨대, 코드들)을 포함하지 않는 제스처들일 수 있고, 동적인 제스처들은 상당한 제스처 이벤트들(예컨대, 움직임, 탭 등)을 포함하는 제스처들일 수 있다. 연속적인 제스처들은 단 하나의 스트로크(stroke)로 수행되는 제스처들일 수 있고, 구분된 제스처들은 별개의 스텝들 또는 스트로크들의 시퀀스로 수행되는 제스처들일 수 있다. 여기서는 몇 개의 예들이 제시되지만, 이는 예시를 위한 것이지 제한을 위한 것은 아님을 이해해야 할 것이다.

다점 감지 장치들은 표준 사이즈의 터치 패드, 큰 확장된 손바닥 패드, 터치 스크린, 터치 감응 하우징(touch sensitive housing) 등을 포함하되 이들에 제한되지 않는 다양한 형태들로 구헌될 수 있다. 더욱이, 다점 감지 장치들은 태블릿 컴퓨터, 랩톱 컴퓨터, 데스크톱 컴퓨터는 물론 미디어 플레이어, PDA, 휴대폰 등의 핸드헬드 컴퓨팅 장치를 포함하되 이들에 제한되지 않는 많은 폼 팩터들 상에 위치할 수 있다. 다점 감지 장치들은 또한 터치 스크린 모니터, 키보드, 내비게이션 패드, 태블릿, 마우스 등의 전용 입력 장치들 상에서 발견될 수도 있다. 다점 감지 장치들의 예는 미국 특허 출원 10/840,862호 및 10/927,575호에서 발견될 수 있고, 이 특허 출원들은 본 명세서에 참고 문헌으로 통합된다.

이제 도 1-54를 참조하여 몇몇 실시예들에 대하여 설명하겠다. 그러나, 본 발명은 이 제한된 실시예들을 넘어서 확장될 수 있으므로 숙련된 당업자라면 이들 도면에 관하여 본 명세서에서 주어진 상세한 설명은 설명을 위한 것임을 쉽사리 이해할 것이다.

도 1은 본 발명의 일 실시예에 따른, 예시적인 제스처 제어 동작(10)을 보여준다. 이 동작(10)은 블록 12에서 시작될 수 있고 그 블록에서는 다점 감지 장치가 제공된다. 다점 감지 장치는 복수의 접촉 또는 근접 접촉(near contact)의 점들을 동시에 탐지할 수 있다. 다점 감지 장치는 예를 들면 그의 터치 표면 상의 다중 물체들을 동시에 감지할 수 있는 다중 터치 감지 표면(multi-touch sensing surface)을 포함할 수 있다. 이와 달리 또는 부가적으로, 다점 감지 장치는 표면에 아주 근접해 있지만 표면을 터치하지는 않는 물체들을 감지하기 위한 능력들을 포함할 수 있다(예컨대, 근접 감지(proximity sensing)). 다점 감지 장치는 터치 스크린, 터치 패드, 터치 감지 손바닥 받침대(touch sensing palm rest), 터치 감응 하우징 등으로서 구현될 수 있다.

블록 12에 이어서, 동작은 블록 14로 진행할 수 있고 그 블록에서는 다점 감지 장치에 의해 터치 또는 근접 터치가 탐지되는지 여부에 대한 판정이 행해진다. 만일 터치가 탐지되지 않으면, 동작은 대기할 수 있다. 만일 터치가 탐지되면, 동작은 블록 16으로 진행할 수 있고 그 블록에서는 그 터치와 관련된 코드(chord)가 결정된다. 코드는 어떤 입력 기능에 할당될 수 있는 접촉들 또는 근접 접촉들의 특정 배열일 수 있다. 일반적으로 말하자면, 터치 감지 표면 상에 또는 그 가까이에 물체들이 놓일 경우, 접촉 패치들(contact patches)이 생성되고 이 접촉 패치들은 식별될 수 있는 패턴을 형성한다. 그 패턴은 예를 들면 스타일러스 및 시그넷(signets) 및/또는 손가락, 엄지손가락, 손바닥, 손가락 관절 등의 하나 또는 그 이상의 손들의 부분들과 같은 기계적인 특징들을 포함하는 임의의 종류의 물체들로 만들어질 수 있다.

코드는 매우 다양할 수 있고 터치 표면의 사이즈, 터치 표면이 터치 스크린 인지 또는 터치 패드인지 등을 포함하는 많은 인자들에 의존할 수 있다. 또한, 코드들은 알려지지 않은 접촉들의 수 또는 알려진 접촉들의 특정 배열에 기초할 수 있다. 코드들은 또한 접촉들이 서로 가까이 있는지, 중립 위치에 있는지 또는 간격이 벌어져 있는지(spaced apart)에 기초할 수 있다. 코드들은 또한 접촉들이 서로 인접해 있는지 또는 서로 오프셋(offset)되어 있는지에 기초할 수 있다. 코드들은 또한 그것들이 왼손으로부터의 것인지 또는 오른손으로부터의 것인지에 기초할 수 있다.

코드를 결정하는 것은 터치(터치 표면을 터치 또는 근접 터치하는 물체들에 의해 생성된 이미지)를 분석하고 접촉들의 특정 배열을 인지하는 것을 포함할 수 있다. 더 구체적으로는, 그 결정은 각 접촉의 기하학적 특징들은 물론 접촉들의 기하학적 배열에 의하여 접촉들을 분류 또는 식별한 다음, 예상 코드들의 데이터베이스(예컨대, 제스처 맵)를 참조하는 것을 포함할 수 있다. 만일 접촉들의 배열이 예상 코드와 매칭(match)하면 그 접촉들의 배열은 그 예상 코드인 것으로 추정될 수 있다. 이들 단계는 또한 필터링을 포함할 수 있다. 예를 들면, 어떤 접촉들은 실제로는 코드의 일부가 아닐 수 있다. 예를 들면, 터치 손바닥 패드(touch palm pad)의 경우, 손바닥에 의해 형성된 접촉들은 무시될 수 있다. 왜냐하면 그것들은 손의 손가락들에 대한 지지 기반(support base)으로서 작용하기 때문이다(예컨대, 연장된 시간 기간 동안 터치 표면 위에 손바닥을 유지하는 것은 매우 어색하다). 터치 스크린을 갖는 태블릿 PC의 경우, 적어도 하나의 손의 엄지손가락에 의해 형성된 접촉들은 무시될 수 있다. 왜냐하면 그것들은 주로 태블릿 PC를 붙잡는 데 이용되기 때문이다.

한 손 코드들의 예들이 아래 표 1에 제시되어 있다. 표 1은 총망라한 목록이 아니고 또한 그것은 제한으로서가 아니라 예시로서 제시된 것임을 이해해야 할 것이다. 예를 들면, 손바닥을 접촉으로서 카운팅하고 표 1에 제시된 조합들 중 임의의 것에 추가하여 더 많은 코드들을 생성할 수도 있다. 또한 표 1의 목록을 반대편 손으로부터의 동일한 목록과 조합함으로써 더 많은 코드 조합들이 생성될 수 있다는 것에 유의해야 할 것이다. 또한 다수의 조합들이 있지만 일부 코드들은 사용의 용이함, 인간 공학, 직관 등을 포함한 다양한 이유 때문에 실행 가능하지 않을 수도 있다는 것에 유의해야 할 것이다.

일단 코드가 결정되면, 동작은 블록 18로 진행할 수 있고 그 블록에서는 하나 또는 그 이상의 제스처 이벤트들에 액션들을 관련시키는 제스처 세트가 결정된다. 제스처 세트는 제스처 이벤트들에 액션들을 연결(link)하는 맵(map)일 수 있다. 제스처 세트는 결정된 코드에 의존할 수 있지만, 또한 코드의 위치, 열린 애플리케이션, 애플리케이션의 상태 또는 모드, 그 밖의 터치 특성 등을 포함하는 다른 인자들에 의존할 수도 있다. 본질적으로, 코드는 입력 채널을 선택하고 각 채널은 그와 관련된 상이한 제스처 세트를 갖는다. 일부 경우에, 조직상의 목적 및 사용의 용이함을 위하여, 채널들은 탐색(navigating) 조작, 파일 조작, 편집 조작, 보기(viewing) 조작, 포맷팅 조작, 도구(tool) 조작, 웹 브라우징 조작 등의 특정 입력 기능과 관련된다. 이들 입력 기능들 각각은 제스처 이벤트들에 결합(tie)되는 관련된 커맨드들의 세트를 가질 수 있다.

액션들은 상태 커맨드들(state commands) 또는 조작성 커맨드들(manipulative commands)일 수 있다. 상태 커맨드는 단일 구현 커맨드이다. 상태 커맨드의 예로는, 신규(new), 열기(open), 닫기(close), 삭제(delete), 이름 바꾸기(rename), 모두 선택(select all), 잘라내기(cut), 복사(copy), 붙여넣기(paste), 실행 취소(undo), 재실행(redo), 그룹/언그룹(group/ungroup), 기울임꼴(italic), 굵게(bold), 밑줄(underline), 이전/다음(previous/next), 재생/일시 정지(play/pause), 음소거(mute) 등을 포함한다. 상태 커맨드의 다른 예로는, 특정 프로그램을 시작하기(launching), 프로그램의 특정 모드를 시작하기, 웹 사이트를 시작하기, 도구 모음(tool bar) 열기, 메뉴 열기, 화살표(arrowing), 백스페이스(backspace), 스페이스(space), 엔터(enter), 탭(tab), 캡스 록(caps lock), 기능(functions), 주밍(zooming), 확대/축소(enlarging/reducing), 페이징(paging), 볼륨 등을 포함한다. 조작성 커맨드는 선택된 개체를 연속적으로 조작하는 커맨드이다. 조작성 커맨드의 예로는, 포인팅(pointing), 트래킹(tracking), 드래깅(dragging), 스크롤링(scrolling), 패닝(panning), 주밍, 사이징(sizing), 스트레칭(stretching), 페이징, 볼륨 등을 포함한다. 이들 예는 제한이 아니고 다른 커맨드들이 이용될 수도 있다는 것을 이해해야 할 것이다.

전술한 바와 같이, 제스처 이벤트는 터치 표면 상에서 또는 그 위쪽에서 수행될 수 있는 임의의 양식화된 물리적 액션일 수 있다. 제스처 이벤트들의 예로는, 예를 들면 움직임, 탭(taps), 압력 변화, 머무름(dwells) 등을 포함할 수 있다. 일부 경우에, 제스처 이벤트들은 코드에 의해 수행될 수 있다. 다른 경우에, 제스처 이벤트들은 코드의 서브세트에 의해 수행될 수 있다. 다른 경우에, 제스처 이벤트들은 초기 코드에 더하여 또는 초기 코드와 별도로 새로운 접촉들에 의해 수행될 수 있다. 제스처 이벤트들에 대해서는 아래에서 더 상세히 설명한다.

블록 20에서는, 제스처 이벤트들에 대하여 터치가 모니터될 수 있고, 블록 22에서는 제스처 이벤트들이 인지되는지에 대한 판정이 행해질 수 있다. 제스처 이벤트들을 인지하는 것은 접촉들(코드와 관련된 접촉들 및/또는 새로운 접촉들)의 터치 특성들을 분석하고, 특정 패턴을 식별하고 제스처 세트 및 그것의 예상 제스처 이벤트들의 목록을 참조하는 것을 포함할 수 있다. 만일 그 패턴이 예상 제스처 이벤트와 매칭하면 그 패턴은 예상 제스처 이벤트인 것으로 추정될 수 있다. 터치 특성들은 예를 들면 움직임, 탭(tapping), 압력 변화, 머무름 등의 1차 고려 사항, 및 속도(절대 또는 상대), 방향(절대 또는 상대), 방위(절대 또는 상태), 사이즈(절대 또는 상대), 지속기간(duration)(절대 또는 상대), 형상(절대 또는 상대), 길이(절대 또는 상대) 등의 2차 고려 사항을 포함할 수 있다.

일 실시예에서, 제스처 이벤트들은 제스처 이벤트를 인지하는 데 있어서 혼선 또는 실수를 방지하기 위해 다른 제스처 이벤트들과 구별 가능하도록 디자인 또는 선택될 수 있다(예컨대, 통상적으로 제스처 이벤트들이 다른 제스처 이벤트들과 용이하게 구별되기를 원한다).

다시, 제스처 이벤트들은 움직임, 탭, 압력, 머무름 등으로서 분류될 수 있다. 만일 움직임이면, 제스처 이벤트들은 다음과 같이 예시될 수 있다: 임의의 방향으로의 슬라이딩, 우측, 좌측, 상향 또는 하향으로의 느린 선형 스와이프(slow linear swipe), 우측, 좌측, 상향 또는 하향으로의 빠른 선형 플릭(quick linear flick); 시계 방향 또는 반시계 방향으로의 느린 회전; 시계 방향 또는 반시계 방향으로의 빠른 회전; 2 이상의 접촉들의 수축 또는 팽창(예컨대, 접촉들 간의 간격을 벌리기 및 좁히기). 만일 탭이면, 제스처 이벤트들은 다음과 같이 더 예시될 수 있다: ½ 탭, 완전(full) 탭, 다중(multiple) 탭, 빠른 탭, 느린 탭 등. 만일 압력이면, 제스처 이벤트들은 약한 압력 또는 강한 압력으로서 더 예시될 수 있다. 만일 머무름이면, 제스처 이벤트들은 긴 움직이지 않는 일시정지(long stationary pause) 또는 짧은 움직이지 않는 일시정지(short stationary pause)로서 더 예시될 수 있다. 이 목록은 제한이 아니며 제스처 이벤트들은 다른 방법 및 방위로 분류될 수도 있다는 것을 이해해야 할 것이다. 예를 들면, 선형 움직임 제스처들은 우측, 좌측, 상향 및 하향으로 제한되지 않고, 상우측, 상좌측, 하우측, 하좌측을 더 포함할 수 있다.

제스처 이벤트들은 기본(basic) 또는 고급(advanced)일 수 있다. 기본 제스처들은 예를 들면 우측으로 선형 스와이프(swipe linear right)와 같은 하나의 액션을 갖는 제스처들일 수 있다. 고급 제스처들은 우측으로 선형 스와이프에 이어서 탭 또는 우측으로 선형 스와이프; 긴 일시정지, 좌측으로 선형 스와이프; 또는 증가된 또는 감소된 압력과 함께 반시계 방향으로 회전(rotate CCW) 등의 다중 액션들을 갖는 제스처들일 수 있다. 고급 제스처들은 임의의 수의 액션들을 포함할 수 있다. 기본 제스처들은 사용의 용이함 및 처리 복잡성의 이유들 때문에 이용될 수 있다.

만일 제스처 이벤트가 인지되면, 동작은 블록 24로 진행할 수 있고 그 블록에서는 제스처 이벤트들과 관련된 액션(들)이 수행된다. 블록 24는 제스처 세트를 참조하고 인지된 제스처 이벤트들과 관련된 액션(들)을 발견하는 것을 포함할 수 있다. 일단 발견되면, 그 액션(들)은 개시될 수 있다. 만일 그 액션이 상태 커맨드이면, 그 커맨드는 제스처 이벤트가 수행될 때마다 개시될 수 있다(예컨대, 제스처 이벤트는 버튼처럼 동작한다). 일부 경우에, 제스처 이벤트는 반복성 상태 커맨드들을 생성하도록 디자인될 수 있다. 예를 들면, 만일 사용자가 제스처 이벤트를 연장 또는 지속하면 다중 상태 커맨드들이 개시될 수 있다. 이것은 신속한 사격(rapid firing)을 위한 게임 모드에서 또는 작업을 실행 취소하는 경우의 편집 모드에서 또는 페이지들을 휙휙 넘기는 경우의 브라우즈 모드에서 유익할 수 있다. 예로서, 만일 우측으로 빠른 선형 스와이프에 의해 단일 실행 취소 커맨드가 개시되면, (터치 동안에) 하나의 연속적인 움직임으로 빠른 선형 스와이프에 이어서 느린 선형 스와이프에 의해 반복성 실행 취소 커맨드가 개시될 수 있다. 이 예에서, 실행 취소 커맨드는 느린 선형 스와이프에 따라서 반복하여 개시될 수 있다(예컨대, 실행 취소 커맨드는 느린 선형 스와이프 동안에 100 ms마다 발행된다). 만일 액션이 조작성 커맨드이면, 그 커맨드는 제스처 이벤트 동안에 연속적으로 생성된다(예컨대, 커맨드와 제스처 이벤트 간에 일 대 일 대응). 예를 들면, 만일 커맨드가 스크롤링이면, 스크롤링은 제스처 이벤트가 수행되는 만큼 오래 그리고 제스처 이벤트 속성들(예컨대, 속도, 방향 등)에 따라 수행될 수 있다.

블록 24에 이어서, 동작은 블록 26으로 진행할 수 있고 그 블록에서는 전환(switching) 이벤트가 수행되었는지의 여부에 대한 판정이 행해진다. 전환 이벤트는 동작을 리셋하고 코드 변경을 개시하는 이벤트를 가리킬 수 있다. 전환 이벤트는 다양한 방법으로 구현될 수 있다. 예를 들면, 그것은 미리 정해진 양의 시간 동안 모든 접촉들을 제거함으로써(예컨대, 터치 표면에서 손을 떼어 들어올림으로써) 구현될 수 있다. 그것은 또한 터치 동안에 기본 코드를 변경함으로써(예컨대, 접촉들을 추가/제거함으로써) 구현될 수도 있다. 그것은 또한 반대편 손으로부터의 접촉들을 추가/제거함으로써(예컨대, 다른 손이 여전히 터치하고 있는 동안에 반대편 손으로 하나 또는 그 이상의 손가락을 내려놓음으로써) 구현될 수도 있다. 그것은 또한 일시정지에 의해(예컨대, 접촉들이 미리 정해진 양의 시간 동안 움직이지 않고 머무르는 경우) 구현될 수도 있다. 그것은 또한 표준 키보드 또는 마우스로부터의 키 입력 또는 버튼 클릭에 의해 구현될 수도 있다. 그것은 또한 제스처 이벤트에 의하여 구현될 수도 있다. 만일 전환 이벤트가 일어났다면, 동작은 도로 블록 12로 진행한다. 만일 전환 이벤트가 일어나지 않았다면, 동작은 도로 블록 20으로 진행한다.

(표 1)

한 손 코드 예

알려지지 않은 접촉 - 표준 배열(손바닥이 없거나 손바닥 무시)

임의의 하나의 손가락

임의의 2개의 손가락

임의의 3개의 손가락

임의의 4개의 손가락

엄지손가락 + 임의의 손가락

엄지손가락 + 임의의 2개의 손가락

엄지손가락 + 임의의 3개의 손가락

엄지손가락 + 4개의 손가락

알려지지 않은 접촉 - 변경된 배열(손바닥이 없거나 손바닥 무시)

2개의 인접한 손가락

2개의 인접하지 않은 손가락

2개의 인접한 손가락 + 하나의 인접하지 않은 손가락

엄지손가락 + 2개의 인접한 손가락

엄지손가락 + 2개의 인접하지 않은 손가락

엄지손가락 + 2개의 인접한 손가락 + 하나의 인접하지 않은 손가락

임의의 2개의 인접한 손가락이 좁혀짐

임의의 2개의 인접한 손가락이 벌어짐

임의의 3개의 인접한 손가락이 좁혀짐

임의의 3개의 인접한 손가락이 벌어짐

4개의 인접한 손가락이 좁혀짐

4개의 인접한 손가락이 벌어짐

엄지손가락 + 2개의 인접한 손가락이 좁혀짐

엄지손가락 + 2개의 인접한 손가락이 벌어짐

엄지손가락 + 3개의 인접한 손가락이 좁혀짐

엄지손가락 + 3개의 인접한 손가락이 벌어짐

엄지손가락 + 4개의 인접한 손가락이 좁혀짐

엄지손가락 + 4개의 인접한 손가락이 벌어짐

알려진 접촉(손바닥이 없거나 손바닥 무시)

집게손가락(Index)

가운뎃손가락(Middle)

약손가락(Ring)

새끼손가락(Pinky)

집게손가락 + 가운뎃손가락

집게손가락 + 약손가락

집게손가락 + 새끼손가락

가운뎃손가락 + 약손가락

가운뎃손가락 + 새끼손가락

약손가락 + 새끼손가락

엄지손가락 + 집게손가락

엄지손가락 + 가운뎃손가락

엄지손가락 + 약손가락

엄지손가락 + 새끼손가락

엄지손가락 + 집게손가락 + 가운뎃손가락

엄지손가락 + 집게손가락 + 약손가락

엄지손가락 + 집게손가락 + 새끼손가락

엄지손가락 + 가운뎃손가락 + 약손가락

엄지손가락 + 가운뎃손가락 + 새끼손가락

엄지손가락 + 약손가락 + 새끼손가락

집게손가락 + 가운뎃손가락 + 약손가락

집게손가락 + 가운뎃손가락 + 새끼손가락

집게손가락 + 약손가락 + 새끼손가락

가운뎃손가락 + 약손가락 + 새끼손가락

엄지손가락 + 집게손가락 + 가운뎃손가락 + 약손가락

엄지손가락 + 집게손가락 + 가운뎃손가락 + 새끼손가락

엄지손가락 + 집게손가락 + 약손가락 + 새끼손가락

엄지손가락 + 가운뎃손가락 + 약손가락 + 새끼손가락

집게손가락 + 가운뎃손가락 + 약손가락 + 새끼손가락

엄지손가락 + 집게손가락 + 가운뎃손가락 + 약손가락 + 새끼손가락

기타(손바닥 면이 아래로)

손가락들이 오므려진 주먹 또는 손바닥에 감김

집게손가락 + 나머지 손가락들이 오므려진 주먹 또는 손바닥에 감김

집게손가락 + 가운뎃손가락 + 나머지 손가락들이 오므려진 주먹 또는 손바닥에 감김

집게손가락 + 가운뎃손가락 + 약손가락 + 새끼손가락이 오므려진 주먹 또는 손바닥에 감김

엄지손가락 + 나머지 손가락들이 오므려진 주먹 또는 손바닥에 감김

엄지손가락 + 집게손가락 + 나머지 손가락들이 오므려진 주먹 또는 손바닥에 감김

엄지손가락 + 집게손가락 + 가운뎃손가락 + 나머지 손가락들이 오므려진 주먹 또는 손바닥에 감김

엄지손가락 + 집게손가락 + 가운뎃손가락 + 약손가락 + 새끼손가락이 오므려진 주먹 또는 손바닥에 감김

엄지손가락 + 집게손가락 + 나머지 손가락들이 오므려진 주먹 또는 손바닥에 감김

엄지손가락 + 집게손가락 + 가운뎃손가락 + 나머지 손가락들이 오므려진 주먹 또는 손바닥에 감김

엄지손가락 + 집게손가락 + 가운뎃손가락 + 약손가락 + 새끼손가락이 오므려진 주먹 또는 손바닥에 감김

기타

손의 오른쪽

손의 왼쪽

손의 뒤쪽

손의 앞쪽(전부)

기타(손가락 관절부( knuckles ) 면이 아래로 - 펀치)

손가락들이 오므려진 주먹 또는 손바닥에 감김

집게손가락 펴짐 + 나머지 손가락들이 오므려진 주먹 또는 손바닥에 감김

집게손가락 펴짐 + 가운뎃손가락 펴짐 + 나머지 손가락들이 오므려진 주먹 또는 손바닥에 감김

집게손가락 펴짐 + 가운뎃손가락 펴짐 + 약손가락 펴짐 + 새끼손가락이 오므려진 주먹 또는 손바닥에 감김

엄지손가락 + 손가락들이 오므려진 주먹 또는 손바닥에 감김

엄지손가락 + 집게손가락 펴짐 + 나머지 손가락들이 오므려진 주먹 또는 손바닥에 감김

엄지손가락 + 집게손가락 펴짐 + 가운뎃손가락 펴짐 + 나머지 손가락들이 오므려진 주먹 또는 손바닥에 감김

엄지손가락 + 집게손가락 펴짐 + 가운뎃손가락 펴짐 + 약손가락 펴짐 + 새끼손가락이 오므려진 주먹 또는 손바닥에 감김

도 2는 본 발명의 일 실시예에 따른, 예시적인 제어 동작(50)을 보여준다. 동작은 블록 52에서 시작될 수 있고 그 블록에서는 터치 또는 근접 터치가 탐지된다.

블록 52에 이어서, 동작은 블록 54로 진행할 수 있고 그 블록에서는 터치에 대하여 제스처 세트가 결정된다. 제스처 세트는 터치 특성들, 터치 위치, 열린 애플리케이션, 애플리케이션의 모드 등을 포함하는 다수의 인자들에 의존할 수 있다. 대부분의 경우에, 제스처 세트는 터치다운에서의 접촉들의 배열에 적어도 부분적으로 기초한다.

블록 54에 이어서, 동작은 블록 56으로 진행할 수 있고 그 블록에서는 제스처 세트와 관련된 제스처 이벤트들에 대하여 터치가 모니터된다. 제스처 세트는 커맨드를 유발 또는 개시하기 위한 하나 또는 그 이상의 제스처 이벤트들을 포함할 수 있다(예컨대, 커맨드들이 특정 제스처 이벤트들에 결합(tie) 또는 연결(link)될 수 있다).

블록 56에 이어서, 동작은 블록 58로 진행할 수 있고 그 블록에서는 제스처 이벤트들이 수행될 때 하나 또는 그 이상의 커맨드들이 개시된다. 예를 들면, 사용자는 스크롤링 이벤트를 유발 또는 개시하기 위해 손가락들의 특정 배열을 슬라이딩할 수 있다.

도 3은 본 발명의 일 실시예에 따른, 예시적인 제어 동작(60)을 보여준다. 이 제어 동작(60)은 예를 들면 도 2의 블록 54에 대응할 수 있다. 제어 동작(60)은 블록 62에서 시작될 수 있고 그 블록에서는 접촉들의 초기 배열이 인지된다. 그 후, 블록 64에서는, 접촉들의 초기 배열이 저장된 접촉들의 배열의 세트와 비교될 수 있다. 예를 들면, 시스템은 접촉들의 초기 배열 및 그것에 할당된 제스처 세트들의 목록을 포함하는 제스처 맵을 참조할 수 있다. 만일 매칭하는 것이 있다면, 동작은 블록 66으로 진행할 수 있고 그 블록에서는 인지된 접촉들의 초기 배열에 할당된 제스처 세트가 로딩된다.

도 4는 본 발명의 일 실시예에 따른, 예시적인 제어 동작(70)을 보여준다. 제어 동작(70)은 블록 72에서 시작될 수 있고 그 블록에서는 터치가 탐지된다. 그 후, 블록 74에서는, 터치의 위치가 결정될 수 있다. 그 후, 블록 76에서는, 터치와 관련된 접촉들의 배열이 결정될 수 있다(터치 패턴). 그 후, 블록 78에서는, 활성인 애플리케이션이 결정될 수 있다. 그 후, 블록 80에서는, 그 애플리케이션의 현 상태가 결정될 수 있다(예컨대, 현재 모드). 그 후, 블록 82에서는, 위에서 언급된 결정된 속성들(블록 74-80) 중 하나 이상에 기초하여 적절한 제스처 세트가 설정 또는 선택될 수 있다. 예를 들면, 결정된 속성들을 이용하여, 시스템은 위에서 언급된 속성들 각각을 특정 제스처 세트에 연결하는 저장된 제스처 맵을 참조할 수 있다. 저장된 제스처 맵은 디폴트(default)로 생성될 수도 있고 또는 그것은 사용자에 의해 사용자 지정 가능(customizable)할 수도 있다. 예를 들면, 사용자는 제어판을 이용하여 제스처 맵과 관련된 설정들을 변경할 수도 있고 또는 트레이닝 시퀀스를 이용하여 제스처 맵을 프로그램할 수도 있다.

도 5는 본 발명의 일 실시예에 따른, 예시적인 제어 동작(100)을 보여준다. 제어 동작은 블록 102에서 시작될 수 있고 그 블록에서는 터치가 탐지되는지의 여부에 대한 판정이 행해진다. 만일 터치가 탐지되면, 동작은 블록 104로 진행할 수 있고 그 블록에서는 접촉들의 배열이 인지된다. 블록 104는 하위 블록들 106 및 108을 포함할 수 있다. 블록 106에서는 접촉 패치들(contact patches)이 정확히 식별될 수 있는지에 대한 판정이 행해진다. 예를 들면, 접촉 패치가 집게손가락 또는 엄지손가락 또는 손바닥일 수 있는지. 만일 그것들이 정확히 식별될 수 없다면, 동작은 블록 108로 진행할 수 있고 그 블록에서는 접촉 패치들의 수가 결정된다. 예를 들면, 2개의 접촉 패치, 3개의 접촉 패치 등이 있는지. 블록 104에 이어서, 동작은 블록 110으로 진행할 수 있고 그 블록에서는 인지된 접촉들의 배열이 제스처 맵 내의 저장된 접촉들의 배열과 비교된다. 만일 매칭하는 것이 없다면, 동작은 도로 블록 102로 진행할 수 있다. 만일 매칭하는 것이 있다면, 동작은 블록 112로 진행할 수 있고 그 블록에서는 제스처 맵을 참조한 후에, 접촉들의 초기 배열과 관련된 제스처 세트가 로딩된다. 그 후, 블록 116에서는, 그 제스처 세트와 관련된 제스처 이벤트들에 대하여 터치가 모니터될 수 있다. 만일 제스처 이벤트가 수행되면, 동작은 블록 118로 진행할 수 있고 그 블록에서는 제스처 이벤트와 관련된 커맨드가 수행된다.

도 6은 본 발명의 일 실시예에 따른, 예시적인 제어 동작(120)을 보여준다. 제어 동작(120)은 블록 122에서 시작될 수 있고 그 블록에서는 터치 또는 근접 터치가 탐지된다. 그 후 블록 124에서는 그 터치에 대하여 코드가 결정될 수 있다. 그 후, 블록 126에서는, 코드와 관련된 입력 기능이 결정될 수 있다. 입력 기능은 조작 또는 조작들의 그룹을 기술할 수 있다. 조작들의 예로는 탐색 조작, 파일 조작, 편집 조작, 보기(viewing) 조작, 삽입 조작, 포맷팅 조작, 도구(tool) 조작, 웹 조작 등을 포함한다. 입력 기능은 또한 터치 표면 상의 코드의 위치, 애플리케이션, 모드 등을 포함하는 환경 조건들에 기초할 수 있다. 그 후, 블록 128에서는 입력 기능과 관련된 제스처 세트가 활성화 또는 로딩될 수 있다. 제스처 세트는 제스처 이벤트들의 그룹일 수 있고, 제스처 이벤트들 각각은 입력 기능에 관련된 상이한 액션에 할당된다. 제스처 이벤트는 그룹으로서 또는 그룹의 서브세트로서 또는 서로에 대하여 오로지 초기 코드에 의해 수행될 수 있다. 이와 달리, 그것들은 코드와 관련되지 않은 개체들(예컨대, 기본 코드가 설정된 후에 추가된 접촉 패치들)에 의해 수행될 수도 있다. 제스처 이벤트는 움직임, 탭, 머무름, 압력 등의 1차 파라미터들을 포함할 수 있다. 제스처 이벤트는 또한 속도, 방향, 형상, 타이밍/지속기간, 길이 등의 상기 1차 파라미터들을 정의하는 2차 파라미터들을 포함할 수 있다. 그 후, 블록 130에서는, 제스처 이벤트들이 수행될 때 제스처 이벤트들과 관련된 액션들이 구현될 수 있다.

도 7은 본 발명의 일 실시예에 따른, 예시적인 제스처 동작(140)을 보여준다. 동작(140)은 블록 142에서 시작될 수 있고 그 블록에서는 터치가 탐지된다. 블록 142에 이어서, 동작은 블록 144로 진행할 수 있고 그 블록에서는 접촉들의 배열이 인지된다. 그 후, 블록 146에서는, 인지된 접촉들의 배열과 관련된 코드가 결정될 수 있다. 블록 146에 이어서, 동작은 블록 148로 진행할 수 있고 그 블록에서는 코드와 관련된 제스처 세트가 로딩된다. 제스처 세트는 터치 동안에 임의의 접촉들의 배열에 의해 수행될 수 있는 제스처 이벤트들을 포함한다. 그 후, 블록 150에서는, 임의의 접촉들의 배열에 의해 수행되는 제스처 이벤트에 대하여 터치가 모니터될 수 있다. 만일 임의의 접촉들의 배열에 의해 제스처 이벤트가 수행되었다면, 동작은 블록 152로 진행할 수 있고 그 블록에서는 제스처 이벤트와 관련된 컨트롤/커맨드가 개시된다. 만일 제스처 이벤트가 수행되지 않았다면, 동작은 블록 154로 진행할 수 있고 그 블록에서는 터치가 여전히 탐지되는지에 대한 판정이 행해진다. 만일 터치가 여전히 탐지되면, 동작은 블록 150으로 진행할 수 있다. 만일 터치가 탐지되지 않으면,동작은 도로 블록 142로 진행할 수 있다. 즉, 들어올림에 이은 터치(lift followed by touch)가 코드를 리셋하고 따라서 제스처 세트를 리셋한다.

위의 도 7에 대해 설명된 초기 코드 선택 모델은 유리하게는 사용자가 제스처 세트에 영향을 미치지 않고 추가의 손가락들을 들어올리거나 내려놓는 것을 허용한다. 이것은 2개의 손가락의 기본 코드에서 시작한 사용자가 모든 5개의 손가락이 손을 지지하도록 나머지 3개의 손가락을 내려놓을 수 있다는 점에서 보다 더 인공 공학적이다. 그 결과, 보다 긴 시간 기간 동안 제스처링이 수행될 수 있다. 본질적으로 기본 코드에 대한 변화들은 무시된다. 더욱이, 그것은 사용자들이 하나의 손가락을 제외한 모두를 들어올리고 나머지 손가락들을 타깃 쪽으로 움직여 슬라이딩함으로써 제한된 공간 터치 표면들에서 포인팅/드래깅, 스크롤링 등을 연장하는 것을 허용한다.

도 8은 본 발명의 일 실시예에 따른, 예시적인 제스처 동작(160)을 보여준다. 동작(160)은 블록 162에서 시작될 수 있고 그 블록에서는 2개의 인접한 손가락이 탐지되는지의 여부에 대한 판정이 행해진다. 만일 그렇다면, 동작은 블록 164로 진행할 수 있고 그 블록에서는 움직임에 따라서 포인팅 조작들이 수행된다. 만일 그렇지 않다면, 동작은 블록 166으로 진행할 수 있고 그 블록에서는 3개의 인접한 손가락이 탐지되는지의 여부에 대한 판정이 행해진다. 만일 그렇다면, 동작은 블록 168로 진행할 수 있고 그 블록에서는 움직임에 따라서 드래깅 조작들이 수행된다. 만일 그렇지 않다면, 동작은 블록 170으로 진행할 수 있고 그 블록에서는 엄지손가락 및 2개의 인접한 손가락이 탐지되는지의 여부에 대한 판정이 행해진다. 만일 그렇다면, 동작은 블록 172로 진행할 수 있고 그 블록에서는 2차 드래깅 조작들이 수행된다. 만일 그렇지 않다면, 동작은 도로 블록 162로 진행할 수 있다. 이 프로세스는 모든 손가락이 터치 표면에서 들어올려질 때(예컨대, 터치가 더 이상 탐지되지 않을 때)마다 리셋될 수 있다.

도 9는 본 발명의 일 실시예에 따른, 예시적인 제스처 동작(180)을 보여준다. 동작(180)은 블록 182에서 시작될 수 있고 그 블록에서는 기본 코드가 결정된다. 그 후, 동작은 3가지 상이한 프로세스들을 개별적으로 또는 동시에 수행할 수 있다(병렬 블록들 184-188). 블록 184에서는, 기본 코드와 함께 움직임이 탐지될 수 있다. 그 후, 블록 190에서는 움직임에 따라서 포인팅 조작들이 수행될 수 있다. 블록 186에서는, 새로운 제1 손가락(digit)이 탐지될 수 있다. 즉, 기본 코드와 관련되지 않은 새로운 제1 손가락이 탐지될 수 있다(기본 코드에 더하여). 그 후, 블록 192에서는, 새로운 제1 손가락이 탐지될 때마다 제1 커맨드가 개시될 수 있다. 일부 경우에, 사용자는 새로운 제1 손가락을 연속적으로 탭함으로써 반복성 커맨드들을 수행할 수 있다. 블록 188에서는, 새로운 제2 손가락이 탐지될 수 있다(기본 코드에 더하여). 즉, 기본 코드와 관련되지 않은 새로운 제2 손가락이 탐지될 수 있다. 그 후, 블록 194에서는, 새로운 제2 손가락이 탐지될 때마다 제2 커맨드가 개시될 수 있다. 일부 경우에, 사용자는 새로운 제2 손가락을 연속적으로 탭하거나 또는 단순히 그 손가락을 아래에 유지함으로써 반복성 커맨드들을 수행할 수 있다. 도 9에서 설명된 동작은 때때로 현재 코드 선택 모델(current chord selection model)이라 불린다.

도 9의 일례에서, 기본 코드는 3개의 손가락(집게손가락-가운뎃손가락-약손가락 또는 엄지-가운뎃손가락-약손가락)일 수 있다. 따라서 3개의 손가락이 포인팅 조작을 위해 이용될 수 있다. 더욱이, 새로운 제1 손가락은 엄지손가락일 수 있고 또는 엄지손가락이 이미 기본의 일부이면 집게손가락일 수 있다. 따라서, 엄지손가락 또는 집게손가락은 제1 커맨드를 개시할 수 있다. 또한, 새로운 제2 손가락은 새끼손가락일 수 있다. 따라서 새끼손가락은 제2 커맨드를 개시할 수 있다.

상기 예는 게임 모드들에서 유익할 수 있다. 기본 코드는 포인팅을 위해 이용될 수 있고, 제1 새로운 손가락은 트리거링을 위해 이용될 수 있고, 제2 새로운 손가락은 무기 변경을 위해 이용될 수 있다. 이와 달리, 표준 모드들에서, 기본 코드는 포인팅을 위해 이용될 수 있고, 제1 새로운 손가락은 1차(primary) 클릭 및 드래그를 위해 이용될 수 있고, 제2 새로운 손가락은 2차(secondary) 클릭 및 드래그를 위해 이용될 수 있다. 3개의 손가락 지지는 게이밍 및 표준 모드들에서 충분한 지지를 제공한다.

도 10은 본 발명의 일 실시예에 따른, 예시적인 제스처 동작(200)을 보여준다. 동작(200)은 블록 202에서 시작될 수 있고 그 블록에서는 터치가 탐지된다. 블록 202에 이어서, 동작은 블록 204로 진행할 수 있고 그 블록에서는 접촉들의 배열이 인지된다. 그 후, 블록 206에서는, 인지된 접촉들의 배열과 관련된 코드가 결정될 수 있다. 블록 206에 이어서, 동작은 블록 208로 진행할 수 있고 그 블록에서는 코드와 관련된 제스처 세트가 로딩된다. 제스처 세트는 터치 동안에 임의의 접촉들의 배열에 의해 수행될 수 있는 제스처 이벤트들을 포함할 수 있다. 그 후, 블록 210에서는, 임의의 접촉들의 배열에 의해 수행되는 제스처 이벤트에 대하여 터치가 모니터될 수 있다. 만일 임의의 접촉들의 배열에 의해 제스처 이벤트가 수행되었다면, 동작은 블록 212로 진행할 수 있고 그 블록에서는 제스처 이벤트와 관련된 컨트롤/커맨드가 개시된다. 만일 제스처 이벤트가 수행되지 않았다면, 동작은 블록 214로 진행할 수 있고 그 블록에서는 터치 동안에 접촉들의 기본 코드 또는 현재 배열이 일시정지하였는지에 대한 판정이 행해진다. 만일 그렇다면, 그 일시정지는 코드 전환 이벤트(chord switching event)인 것으로 추정될 수 있고 동작은 도로 블록 204로 진행할 수 있다. 만일 그렇지 않다면, 동작은 블록 216으로 진행할 수 있고 그 블록에서는 터치가 여전히 탐지되는지에 대한 판정이 행해진다. 만일 터치가 여전히 탐지되면, 동작은 블록 210으로 진행할 수 있다. 만일 터치가 탐지되지 않으면, 동작은 도로 블록 202로 진행할 수 있다.

도 10에서 설명된 일시정지 선택 모델에서는, 원래의 손가락들이 일시정지되거나 또는 매우 느리게 움직이는 경우에만 전환이 일어날 수 있다. 따라서, 사용자들은 포인팅 스트로크의 도중에 손가락 내려놓기(finger drop)가 있는 한 1개의 손가락으로부터 다섯 손가락 포인팅으로 릴렉스(relax)할 수 있다.

도 11은 본 발명의 일 실시예에 따른, 예시적인 제스처 동작(220)을 보여준다. 동작(220)은 블록 222에서 시작될 수 있고 그 블록에서는 1개의 손가락이 탐지되는지의 여부에 대한 판정이 행해진다. 만일 그렇다면, 동작은 블록 224로 진행할 수 있고 그 블록에서는 움직임에 따라서 포인팅 조작들이 수행된다. 만일 그렇지 않다면, 동작은 블록 226으로 진행할 수 있고 그 블록에서는 2개의 인접한 손가락들이 탐지되는지의 여부에 대한 판정이 행해진다. 만일 그렇다면, 동작은 블록 228로 진행할 수 있고 그 블록에서는 움직임에 따라 드래깅 조작들이 수행된다. 일부 경우에, 클릭킹에 의해 드래그 잠금/연장(drag lock/extend)이 개시될 수 있고 다른 경우에 그것은 엄지손가락을 내려놓음으로써(2개의 인접한 손가락 + 엄지손가락) 개시된다. 만일 그렇지 않다면, 동작은 블록 230으로 진행할 수 있고 그 블록에서는 2개의 인접하지 않은 손가락들이 탐지되는지의 여부에 대한 판정이 행해진다. 만일 그렇다면, 동작은 블록 232로 진행할 수 있고 그 블록에서는 2차 드래깅 조작들이 수행된다. 일부 경우에, 클릭킹에 의해 드래그 잠금/연장이 개시될 수 있고 다른 경우에 그것은 엄지손가락을 내려놓음으로써(2개의 인접하지 않은 손가락 + 엄지손가락) 개시된다. 만일 그렇지 않다면 동작은 블록 234로 진행할 수 있고 그 블록에서는 3개 또는 4개의 손가락이 탐지되는지의 여부에 대한 판정이 행해진다. 만일 그렇다면, 움직임에 따라 스크롤링이 개시될 수 있다(블록 236). 만일 그렇지 않다면 동작은 도로 블록 222로 진행할 수 있다. 이 프로세스는 모든 손가락이 터치 표면에서 들어올려질 때(예컨대, 터치가 더 이상 탐지되지 않을 때)마다 또는 코드가 잠시 동안 일시정지되는 경우 리셋될 수 있다.

도 12는 본 발명의 일 실시예에 따른, 예시적인 제스처 동작(240)을 보여준다. 이 동작(240)은 블록 242에서 시작될 수 있고 그 블록에서는 5개의 손가락이 탐지되는지의 여부에 대한 판정이 행해진다. 만일 그렇다면, 동작은 블록 244로 진행할 수 있고 그 블록에서는 모든 손가락이 들어올려질 때까지 포인팅이 개시된다. 블록 246에서는, 5개의 손가락 중 1개가 포인팅 동안에 들어올리고 탭(lift and tap)을 행하는지의 여부에 대한 판정이 행해진다. 만일 그렇다면, 클릭이 수행될 수 있다(블록 248). 블록 250에서는, 5개의 손가락 중 2개가 포인팅 동안에 들어올리고 탭을 행하는지의 여부에 대한 판정이 행해진다. 만일 그렇다면, 드래그가 수행될 수 있다(블록 252). 그 후, 블록 253에서는 5개의 손가락 중 1개 또는 2개가 드래깅 동안에 들어올리고 탭을 행하는지의 여부에 대한 판정이 행해진다. 만일 그렇다면, 드롭이 수행될 수 있다(블록 254). 만일 그렇지 않다면, 드래깅이 계속될 수 있다. 블록 250 및 254 후에, 동작은 도로 블록 244로 진행할 수 있다. 이 프로세스는 모든 손가락이 터치 표면에서 들어올려질 때(예컨대, 터치가 더 이상 탐지되지 않는 때)마다 또는 코드가 잠시 동안 일시정지되는 경우 리셋될 수 있다.

도 12의 다른 실시예에서는, 다섯 손가락 기반 코드의 좌측 지향 손가락을 들어올리고 탭하는 것은 좌측 버튼 클릭을 개시할 수 있고, 그 기반 코드의 우측 지향 손가락을 들어올리고 탭하는 것은 우측 버튼 클릭을 개시할 수 있다.

도 13은 본 발명의 일 실시예에 따른, 예시적인 제스처 동작(260)을 보여준다. 동작(260)은 블록 262에서 시작될 수 있고 그 블록에서는 터치가 탐지된다. 그 후, 블록 264에서는, 새끼손가락의 측면이 인지될 수 있다. 새끼손가락의 측면은 모든 다른 접촉들과 전혀 다른 긴(대단히 편심적인(highly eccentric)) 수평 접촉 패치를 생성한다. 그러므로, 제스처 시스템은 수평으로 편심적이면서도 가는 접촉들을 한결같이 새끼손가락(또는 어쩌면 엄지손가락)으로서 분류하는 것이 가능할 수 있다. 그 후, 블록 266에서는, 새끼손가락의 측면과 함께 스와이프가 탐지될 수 있다. 그 후, 블록 268에서는, 스와이프하는 새끼손가락과 관련된 컨트롤 또는 커맨드가 수행될 수 있다.

측면 새끼손가락 스와이프(side pinky swipe)는 볼륨 올림/낮춤, 휴면(sleep), 화면 보호기( screen saver) 등과 같은 단순한 컨트롤 제스처들을 위해 유용할 수 있다. 측면 새끼손가락 스와이프는 통상의 1 손가락 끝 포인팅/클릭킹과 인식할 수 있을 정도로 전혀 다르면서도 단일 손가락 터치의 단순성을 갖는다. 그것은 또한 매우 인간 공학적이다. 왜냐하면 새끼손가락의 측면으로 터치하는 동안 엄지손가락은 똑바로 위로 포인팅하고 있기 때문이다. 이것은 모든 손목 위치들 중 가장 중립적인 편안한 위치이다.

도 14는 본 발명의 일 실시예에 따른, 예시적인 제스처 동작(280)을 보여준다. 동작(280)은 블록 282에서 시작될 수 있고 그 블록에서는 상향 슬라이드를 익스포즈(Expose)에 매핑하고 하향 슬라이드를 대시보드(Dashboard)에 매핑하는 제스처 세트가 제공된다.

대시보드는 사용자에게 즉시로 정보를 가져오는 사용자 지정 가능한 위짓들(widgets)(미니 애플리케이션들) - 날씨 예보, 주식 시세, 상업 광고(yellow pages), 항공사 항공편(airline flights), 스포츠 스코어 등을 포함하는 제어판이다. 대부분의 경우에, 대시보드는, 활성화될 경우, 시야(view) 내로 들어오게 되고, 비활성화될 경우, 시야로부터 제거된다. 사용자는 버튼의 클릭으로 인터넷으로부터 최신의 그리고 적시의 정보를 수신하고, 그 후 버튼을 풀어놓을 때 즉시 그것이 사라지게 할 수 있다.

익스포즈는 창 관리 프로그램(window management program)이다. 창 관리 프로그램들은 윈도 클러터(window clutter)(열린 창 또는 애플리케이션이 너무 많아서 문서를 찾거나 데스크톱을 보기가 곤란한 상태)를 통하여 탐색하거나 그것을 완화하는 것을 돕도록 구성된다. 익스포즈는 제스처링에 의해 제어될 수 있는 3가지 상이한 동작 모드를 갖거나 또는 그 3가지 상이한 동작 모드로부터 선택될 수 있다. 제1 모드는 모든 창 또는 타일, 크기 조정하여 모두 보이기(All Windows or Tiles, Scale and Show all)이다. 이 모드에서 동작중인 경우, 모든 열린 창들이 디스플레이 화면 내에서 동시에 보여질 수 있도록 모든 열린 창들이 타일링(tile)되고 크기 조정된다. 즉, 지정된 제스처를 수행하는 것은 모든 열린 창들을 즉시 타일링한다 - 사용자가 각 창 내의 내용을 볼 수 있도록 그것들을 축소하여 그것들을 깔끔하게 배열한다. 크기 조정(scaling)의 양 또는 크기 조정의 비율은 예를 들면 압력 또는 속도와 같은 제스처의 어떤 특성에 결합(tie)될 수 있다. 제2 모드는 애플리케이션 창 또는 현 애플리케이션 강조(Application Windows or Highlight Current Application)이다. 이 모드는 특정 애플리케이션 상에서만 작용한다는 점을 제외하고 제1 모드와 유사하게 작용한다. 예를 들면, 지정된 제스처를 수행하는 것은 특정 애플리케이션의 열린 창들을 즉시 타일링함과 동시에 다른 열린 애플리케이션 전부를 회색의 음지로 사라지게 한다. 제3 모드는 데스트톱 또는 모두 감추기(Desktop or Hide All)이다. 이 모드에서는, 열린 창들 모두가 화면 가장자리로 이동함으로써 데스크톱이 열린다. 즉, 지정된 제스처를 수행하는 것은 열린 창들 모두를 감추어 사용자가 즉시 그들의 데스크톱에 액세스할 수 있게 한다.

그 후, 블록 284에서는, 동작들은 기본 코드(예컨대, 2개 이상의 손가락)를 인지하는 것을 포함할 수 있다. 그 후, 블록 286에서는, 기본 코드와 함께 상향 슬라이드가 탐지되는지의 여부에 대한 판정이 행해질 수 있다. 만일 그렇다면, 동작은 블록 288로 진행할 수 있고 그 블록에서는 모두 익스포즈(Expose all)가 열린다. 그 후, 블록 290에서는, 기본 코드와 함께 하향 슬라이드가 탐지되는지의 여부에 대한 판정이 행해질 수 있다. 만일 그렇다면, 동작은 블록 292로 진행할 수 있고 그 블록에서는 모두 익스포즈가 닫힌다. 그 후, 동작은 도로 블록 286으로 진행할 수 있다. 다시 블록 286을 참조하여, 만일 기본 코드에 의해 상향 슬라이드가 탐지되지 않으면, 동작은 블록 294로 진행할 수 있고 그 블록에서는 기본 코드와 함께 하향 슬라이드가 탐지되는지의 여부에 대한 판정이 행해질 수 있다. 만일 그렇다면, 동작은 블록 296으로 진행할 수 있고 그 블록에서는 대시보드가 열린다. 그 후, 블록 298에서는, 상향 슬라이드가 탐지되는지의 여부에 대한 판정이 행해질 수 있다. 만일 그렇다면, 동작은 블록 300으로 진행할 수 있고 그 블록에서는 대시보드가 닫힌다. 그 후, 동작은 도로 블록 286으로 진행할 수 있다. 다시 블록 294를 참조하여, 만일 하향 슬라이드가 탐지되지 않으면, 동작은 블록 301로 진행할 수 있고 그 블록에서는 코드가 변하였는지에 대한 판정이 행해진다. 예를 들면, 하나의 손가락을 멀리 들어올리는 것. 만일 코드가 변하였다면, 동작은 블록 302로 진행할 수 있고 그 블록에서는 변경된 코드에 의해 포인팅이 수행된다. 그 후, 블록 304에서는, 코드가 도로 기본 코드로 변하였는지의 여부에 대한 판정이 행해질 수 있다. 만일 그렇다면, 동작은 도로 블록 286으로 진행할 수 있다. 제스처 동작(280)은 때때로 반대 방향으로 취소(cancelling in the opposite direction)라고 불린다.

추가 실시예들에서, 도 14에서 도시된 동작들은 좌측 및 우측 스와이프들을 포함하도록 수정될 수 있고, 그 스와이프들 각각은 익스포즈의 상이한 기능과 관련된다.

정적인 커맨드 제스처는 단순히 터치 표면 상에 접촉들의 특정 배열을 배치함으로써 수행된다. 접촉들의 그 특정 배열이 터치 다운에서 식별될 경우 커맨드가 개시된다. 초기 배치 다음에 오는 제스처 이벤트는 없다. 커맨드는 단순히 터치가 탐지될 때 생성된다. 이 정적인 커맨드 제스처는 특정 손 배열들이 상이한 것들을 의미하는 수화와 유사할 수 있다. 정적인 커맨드 제스처의 상황에서, 각 손 배열(또는 접촉들의 상이한 배열)은 상이한 커맨드를 개시한다.

도 15는 본 발명의 일 실시예에 따른, 예시적인 제스처 동작(310)을 보여준다. 이 제스처 동작(310)은 블록 312에서 시작될 수 있고 그 블록에서는 터치 표면 상에서 터치 또는 근접 터치가 탐지된다. 블록 312에 이어서, 동작은 블록 314로 진행할 수 있고 그 블록에서는 터치와 관련된 접촉 패치들의 배열이 식별된다. 접촉 패치들의 배열은 하나 또는 2개의 손을 통하여 또는 이와 달리 혹은 부가적으로 스타일러스 또는 시그넷 등의 엘리먼트들을 통하여 만들어질 수 있다. 접촉 패치들이 손에 의해 생성되는 경우, 그것들은 손가락, 손바닥 등을 포함하는 손의 임의의 부분에 의해, 그리고 또한 손의 임의의 방위에 의해, 손가락들의 서로에 대한 임의의 위치에 의해, 및 손가락들의 임의의 방위에 의해 만들어질 수 있다. 이해되겠지만, 상이한 손 방위들 및 상이한 손가락 위치들/방위들은 접촉 패치들의 상이한 배열을 생성할 것이다. 상이한 방위들의 예로는, 벌어진 손-앞면이 아래로, 벌어진 손-앞면이 위로, 벌어진 손 측면이 아래로(엄지손가락 위로), 닫힌 손-손바닥 아래로, 닫힌 손-손의 뒤쪽, 닫힌 손-손가락 관절, 닫힌 손-측면이 아래로를 포함한다. 상이한 손가락 위치들의 예로는 벌어짐, 중립, 모아짐 등을 포함한다. 접촉들의 임의의 배열이 구상될 수 있다(수화).

블록 314에 이어서, 동작은 블록 316으로 진행할 수 있고 그 블록에서는 접촉들의 특정 배열에 결합된 커맨드가 접촉들의 그 특정 배열이 식별될 때 개시된다. 커맨드들은 매우 다양할 수 있다.

도 16은 본 발명의 일 실시예에 따른, 예시적인 제스처 동작(320)을 보여준다. 제스처 동작(320)은 블록 322에서 시작될 수 있고 그 블록에서는 움직임에 대하여 터치가 모니터된다. 터치는 예를 들면 접촉들의 특정 배열로서 구현될 수 있다. 움직임이 있다면, 제스처 동작은 블록 324로 진행할 수 있고 그 블록에서는 플릭과 스와이프 사이에 움직임이 구별된다. 플릭(flick)은 빠른 짧은 움직임이다. 스와이프(swipe)는 보다 긴 느린 움직임이다. 만일 움직임이 플릭이면, 플릭이 탐지될 때 제1 액션이 수행될 수 있다(블록 326). 만일 움직임이 스와이프이면, 스와이프가 탐지될 때 제2 액션이 수행될 수 있다(블록 328).

도 17은 본 발명의 일 실시예에 따른, 예시적인 제스처 동작(330)을 보여준다. 제스처 동작(330)은 블록 332에서 시작될 수 있고 그 블록에서는 터치 표면(예컨대, 터치 패드, 터치 스크린 등) 상에서 터치가 탐지된다. 블록 332에 이어서, 동작은 블록 334로 진행할 수 있고 그 블록에서는 터치와 관련된 2개의 접촉이 식별된다. 그 후 블록 336에서는, 동작은 제스처 이벤트에 대하여 터치를 모니터하는 것을 포함할 수 있다. 블록 338에서는, 제1 접촉은 움직이지 않고 제2 접촉은 제1 접촉을 중심으로 하여 회전할 경우 회전 커맨드가 개시될 수 있다.

많은 사용자들은 임의의 한 시점에서 복수의 창들을 열어둔다. 이는 그들이 필요에 따라 창들 사이에서 왔다갔다할 수 있게 한다. 이것은 하나의 창으로부터 복사하여 다른 창에 붙여넣기할 때 유익할 수 있다. 전형적인 프로세스에서, 사용자는 창들 중 하나를 선택하여 그 창을 활성화한 다음 그 창 내에서 액션들을 수행할 것이다. 사용자는 그 후 다른 창을 선택하여 그 새로운 창을 활성화하고 오래된 창을 비활성화한 다음 새로운 창 내에서 액션들을 수행할 것이다. 이것은 불편하고 다수의 단계들로 이루어진다. 이를 극복하기 위하여, 본 발명은 사용자에게 활성화 및 비활성화 없이 창들 사이에서 왔다갔다하는 능력을 제공하는 도 18의 방법을 제공한다. 포인팅 메커니즘이 창 위에 위치할 때 창은 활성화된다. 포인팅 메커니즘은 터치 패드의 경우에는 포인터 또는 커서, 또는 터치 스크린의 경우에는 손가락일 수 있다.

도 18은 본 발명의 일 실시예에 따른, 예시적인 제스처 동작(340)을 보여준다. 제스처 동작(340)은 복수의 창들을 제공하는 것(342)을 포함한다. 예를 들면, 창들은 데스크 톱 상의 열린 프로그램들일 수 있다. 그 후, 블록 344에서는, 동작은 제1 창 위에서 포인팅 메커니즘을 탐지하는 것을 포함할 수 있다. 예를 들면, 터치 패드의 경우에, 포인팅 메커니즘은 커서일 수 있다. 터치 스크린의 경우에, 포인팅 메커니즘은 손가락 또는 손가락들의 그룹일 수 있다. 그 후, 블록 346에서는, 포인팅 메커니즘과 관련된 코드가 제시되었는지를 판정하기 위해 터치가 모니터될 수 있다. 터치 패드의 경우에, 이것은 커서가 창 위에 놓인 후에 달성될 수 있다. 터치 스크린의 경우에, 이것은 손가락이 창 위에 놓여 있는 동안에 달성될 수 있다. 그 후 블록 348에서는, 코드 및 제1 창과 관련된 제스처 세트가 개시될 수 있다(예컨대, 제스처 세트는 코드와 창 양쪽 모두에 의존한다). 그 후, 블록 350에서는, 제스처 세트와 관련된 제스처 이벤트들이 터치 표면 상에서 수행될 경우 제1 창에서 액션들이 수행될 수 있다. 그 후, 블록 352에서는, 동작은 제2 창 위에서 포인팅 메커니즘을 탐지하는 것을 포함할 수 있다. 이것은 블록 344와 다른 시간에서 달성될 수도 있고 또는 블록 344와 동시에 일어날 수도 있다. 포인팅 메커니즘은 제1 창에 대하여 이용된 동일한 포인팅 메커니즘일 수도 있고(예컨대, 포인팅 메커니즘이 하나의 창에서 다른 창으로 이동한다) 또는 이와 달리 포인팅 메커니즘은 제2 포인팅 메커니즘일 수도 있다(예컨대, 제2 커서 또는 제2 손가락). 그 후, 블록 354에서는, 제2 포인팅 메커니즘과 관련된 코드가 제시되었는지를 판정하기 위해 터치 표면이 모니터될 수 있다. 그 후 블록 356에서는, 코드 및 제2 창과 관련된 제스처 세트가 개시될 수 있다. 그 후 블록 358에서는, 제스처 세트와 관련된 제스처 이벤트들이 터치 표면 상에서 수행될 경우 제2 창에서 액션들이 수행될 수 있다.

도 18의 일례에서는, 터치 스크린을 이용하여, 만일 사용자가 복사 및 붙여넣기를 수행하고 있는 경우, 사용자는 하나의 손으로부터의 그의 손가락(들)을 제1 창 위에 올려놓고 복사될 개체를 선택할 수 있다. 그 후, 사용자는 제1 창 상에서 복사 제스처를 수행할 수 있다. 사용자는 또한 제2 손으로부터의 손가락들을 제2 창 위에 올려놓고 붙여넣기를 위한 위치를 선택할 수 있다. 그 후, 사용자는 제2 창 위에서 붙여넣기 제스처를 수행할 수 있다.

도 18의 다른 예에서는, 터치 스크린을 이용하여, 만일 사용자가 복사 및 붙여넣기를 수행하고 있는 경우, 사용자는 하나의 손으로부터의 그의 손가락(들)을 제1 창 위에 올려놓고 복사될 개체를 선택할 수 있다. 그 후, 사용자는 제1 창 상에서 복사 제스처를 수행할 수 있다. 그 후 사용자는 그의 손을 제2 창으로 이동시킬 수 있다. 사용자는 그의 손가락들을 제2 창 위에 올려놓고 붙여넣기를 위한 위치를 선택할 수 있다. 그 후, 사용자는 제2 창 위에서 붙여넣기 제스처를 수행할 수 있다.

도 19는 본 발명의 일 실시예에 따른, 예시적인 제스처 동작(350)을 보여준다. 제스처 동작은 블록 364에서 시작될 수 있고 그 블록에서는 제1 손과 관련된 접촉들의 배열이 인지된다. 블록 364에 이어서, 동작은 블록 366으로 진행할 수 있고 그 블록에서는 제1 손과 관련된 접촉들의 배열에 기초한 제스처 세트가 로딩된다. 블록 366에 이어서, 동작은 블록 368로 진행할 수 있고 그 블록에서는 제2 손과 관련된 접촉들의 제2 배열이 인지된다. 블록 368에 이어서, 동작은 블록 370으로 진행할 수 있고 그 블록에서는 접촉들의 제2 배열에 기초하여 접촉들의 제1 배열의 제스처 세트가 변경 또는 수정된다. 이해되겠지만, 제2 손은 필요에 따라 상이한 제스처 세트들 사이에서 신속히 변조하는 데 이용될 수 있다. 이것은 또한 보다 광범위한 가능한 제스처 세트들을 허용할 수 있다. 예로서, 만일 제1 손이 손가락들의 수에 기초한 5개의 제스처 세트를 제공할 수 있고, 제2 손이 손가락들에 수에 기초한 5개의 변경자(modifiers)를 제공할 수 있다면, 100개의 제스처 세트가 생성될 수 있다.

도 19의 일례를 인용하면, 터치 패드를 이용하여, 사용자는 터치 패드 상에 2개의 손가락을 놓음으로써 그 2개의 손가락과 관련된 제스처 세트를 개시한다. 사용자는 그 2개의 손가락을 이용하여 제스처 이벤트들을 수행할 수 있다. 사용자는 그 두 손가락 제스처 세트에 의해 제공되지 않는 액션을 수행할 필요가 있다고 결정할 수 있다. 그러므로 사용자는 반대편 손으로부터 2개의 손가락을 내려놓을 수 있다. 이것은 첫째 손에 의해 수행될 전혀 새로운 제스처 세트를 로딩할 수 있다.

도 20은 본 발명의 일 실시예에 따른, 예시적인 제어 동작(380)을 보여준다. 이 제어 동작은 블록 382에서 시작될 수 있고 그 블록에서는 마우스와 터치 표면이 제공된다. 예를 들면, 터치 패드를 포함하는 랩톱 컴퓨터에 마우스가 접속될 수 있다. 블록 382에 이어서, 동작은 블록 384로 진행할 수 있고 그 블록에서는 마우스 이벤트들(예컨대, 커서 이동, 버튼 클릭, 스크롤링)에 대하여 마우스가 모니터된다. 동시에, 블록 386에서는, 제스처 이벤트들에 대하여 터치 표면이 모니터될 수 있다. 블록 388에서는, 마우스 이벤트들에 따라서 마우스 조작들이 수행될 수 있다. 동시에 블록 390에서는, 제스처 이벤트들에 따라서 제스처 동작들이 수행될 수 있다. 이 방법은 사용자가 한 손으로 마우스를 제어하면서 반대편 손으로 제스처들을 수행하는 것을 허용할 수 있다. 그러므로 사용자는 더욱 생산적일 수 있다.

도 20의 일례에서는, 스프레드 시트 프로그램에서, 사용자가 마우스를 이용하여 셀들을 선택한 다음, 터치 표면 상에서 반대편 손으로 복사 제스처를 수행할 수 있다. 그 후 사용자는 스크롤(scroll) 또는 팬(pan) 제스처를 이용하여 스프레드시트를 통하여 스크롤링 또는 패닝할 수 있다. 일단 원하는 위치가 발견되면, 사용자는 마우스를 이용하여 붙여넣기 위한 원하는 셀들 또는 셀을 선택한 다음 붙여넣기 제스처를 수행할 수 있다.

도 21은 본 발명의 일 실시예에 따른, 예시적인 제어 동작(400)을 보여준다. 이 제어 동작은 블록 402에서 시작될 수 있고 그 블록에서는 마우스와 터치 표면이 제공된다. 블록 402에 이어서, 동작은 블록 404로 진행할 수 있고 그 블록에서는 마우스 이벤트들(예컨대, 커서 이동, 버튼 클릭, 스크롤링)에 대하여 마우스가 모니터된다. 동시에, 블록 406에서는, 제스처 이벤트들에 대하여 터치 표면이 모니터될 수 있다. 그 후, 블록 408에서는, 터치 표면에서 수행되는 터치 또는 제스처 이벤트들에 기초하여 마우스 모드가 변경될 수 있다. 예를 들면, 터치하는 손을 이용하여 다른 손으로 조작되는 마우스의 기능을 수정할 수 있다. 예로서, 터치 표면 상의 손가락의 존재는 마우스를 트래킹 모드로부터 스크롤링 모드로 변경할 수 있다.

도 22는 본 발명의 일 실시예에 따른, 예시적인 제어 동작(410)을 보여준다. 이 동작은 블록 412에서 시작될 수 있고 그 블록에서는 터치 표면 상에서 제1 터치가 탐지된다. 블록 412에 이어서, 동작은 블록 414로 진행할 수 있고 그 블록에서는 접촉들의 제1 배열이 인지된다. 이것은 예를 들면 제1 손으로 달성될 수 있다. 동시에, 블록 416 및 418에서는, 터치 표면 상에서 제2 터치가 탐지될 수 있고 접촉들의 제2 배열이 인지될 수 있다. 이것은 예를 들면 제2 손으로 달성될 수 있다. 블록 420에서는, 접촉들의 제1 배열에 대한 제스처 세트가 로딩될 수 있다. 동시에, 블록 422에서는, 접촉들의 제2 배열에 대한 제스처 세트가 로딩될 수 있다. 블록 424에서는, 제1 제스처 이벤트들에 대하여 제1 터치가 모니터될 수 있다. 동시에, 블록 426에서는, 제2 제스처 이벤트들에 대하여 제2 터치가 모니터될 수 있다. 블록 428에서는, 제1 제스처 이벤트들이 수행될 때 제1 제스처 이벤트들과 관련된 액션들이 구현될 수 있다. 동시에, 블록 430에서는, 제2 제스처 이벤트들이 수행될 때 제2 제스처 이벤트들과 관련된 액션들이 구현될 수 있다.

도 23은 본 발명의 일 실시예에 따른, 예시적인 제어 동작(440)을 보여준다. 이 동작(440)은 블록 442에서 시작될 수 있고 그 블록에서는 GUI 개체가 디스플레이된다. 그 후, 블록 444에서는, 디스플레이된 GUI 개체의 서로 다른 점들에서 복수의 포인터들이 탐지될 수 있다. 터치 스크린의 경우에, 제1 포인터들은 제1 손으로부터의 손가락(들)일 수 있고, 제2 포인터는 제2 손으로부터의 손가락(들)일 수 있다. 터치 패드의 경우에, 제1 포인터는 제1 손에 의해 제어되는 커서일 수 있고, 제2 포인터는 제2 손에 의해 제어되는 커서일 수 있다. 일단 포인터들이 탐지되면, 블록 445에서 그 포인터들은 디스플레이된 개체에 고정(lock)될 수 있다. 이것은 일시정지에 의해 달성될 수 있다. 예를 들면, 사용자는 포인터들을 GUI 상의 점들에 위치시킨 다음 그 포인터들이 고정될 때까지 거기에 머무를 수 있다. 그 후, 블록 446에서는, 포인터들의 위치가 그들의 고정된 위치에 대하여 모니터될 수 있다. 그 후, 블록 448에서는, 하나 또는 그 이상의 포인터들의 위치가 그의 고정된 위치에 대하여 이동할 때 디스플레이된 개체가 수정될 수 있다. 예를 들면, 예를 들어 방위, 사이즈 및 형상을 포함하는 GUI 개체의 속성들이 수정될 수 있다.

도 23의 일례를 인용하면, 개체를 회전시키기 위하여, 사용자는 GUI 개체 상에 그들의 포인터들을 위치시키고, 고정되면, 하나 또는 2개의 포인터를 회전시킬 수 있다. GUI 개체는 그 하나 또는 2개의 포인터들의 회전을 따름으로써 그의 방위를 변경할 수 있다. 그의 사이즈를 변경하기 위하여, 사용자는 GUI 개체 상에 포인터들을 위치시키고 고정되면, 그 2개의 포인터들을 함께 또는 서로 떨어져서 슬라이딩한다. 함께 슬라이딩될 경우, 개체의 사이즈는 감소될 수 있다. 떨어져서 슬라이딩될 경우, 개체의 사이즈는 증가될 수 있다. 그의 형상을 변경하기 위하여, 사용자는 GUI 개체 상에 포인터들을 위치시키고 고정되면, 하나의 포인터를 상하좌우로 슬라이딩할 수 있다. 개체로부터 떨어져서 슬라이딩될 경우, 개체는 슬라이드의 방향으로 더 커질 수 있다. 개체 쪽으로 슬라이딩될 경우, 개체는 슬라이드의 방향으로 더 작아질 수 있다.

도 24는 본 발명의 일 실시예에 따른, 예시적인 제어 동작(450)을 보여준다. 이 동작은 블록 452에서 시작될 수 있고 그 블록에서는 터치 표면 상에서 제1 터치가 탐지된다. 이것은 예를 들면 제1 손으로 달성될 수 있다. 블록 452에 이어서, 동작은 블록 454로 진행할 수 있고 그 블록에서는 제1 터치와 관련된 접촉들의 제1 배열이 인지된다. 동시에, 블록 456 및 458에서는, 터치 표면 상에서 제2 터치가 탐지될 수 있고 접촉들의 제2 배열이 인지될 수 있다. 이것은 예를 들면 제2 손으로 달성될 수 있다. 블록 460에서는, 제1 제스처 이벤트들에 대하여 제1 터치가 모니터될 수 있다. 동시에, 블록 462에서는, 제2 제스처 이벤트들에 대하여 제2 터치가 모니터될 수 있다. 블록 464에서는, 제1 제스처 이벤트들이 수행될 때 제1 제스처 이벤트들과 관련된 포인팅 조작들이 구현될 수 있다. 동시에, 블록 466에서는, 제2 제스처 이벤트들이 수행될 때 제2 제스처 이벤트들과 관련된 포인팅 조작들이 구현될 수 있다.

도 25는 본 발명의 일 실시예에 따른, 예시적인 제어 동작(470)을 보여준다. 이 제어 동작은 블록 472에서 시작될 수 있고 그 블록에서는 선택가능한 항목들의 그룹이 디스플레이된다. 이 선택가능한 항목들의 그룹은 예를 들면 색상표(color palette) 또는 도구 모음(tool bar)일 수 있다. 블록 472 후에, 동작은 블록 474로 진행할 수 있고 그 블록에서는 선택가능한 항목들의 그룹 위에서 제1 포인팅 메커니즘이 탐지된다. 터치 스크린의 경우에 그 포인팅 메커니즘은 손가락 또는 손가락들의 그룹일 수 있다. 터치 패드의 경우에, 그 포인팅 메커리즘은 손가락 또는 손가락들의 그룹에 의해 제어되는 커서 또는 도구일 수 있다. 블록 476에서는, 제1 포인팅 메커니즘 아래에 있는 항목이 활성화(선택)된다. 활성화된 항목은 포인팅 메커니즘의 위치에 기초할 수 있다. 사용자가 그의 선택에 관하여 확증을 갖도록 시각적 피드백이 제공될 수 있다. 예로서, 활성화된 항목은 제1 포인팅 메커니즘이 그 항목 위에 위치할 때 강조(highlight)될 수 있다. 블록 478에서는, 창 위에서 동시에 제2 포인팅 메커니즘이 탐지될 수 있다(예컨대, 양쪽 포인팅 메커니즘이 동시에 동작한다). 창은 예를 들면 드로(draw) 또는 페인트(paint) 프로그램의 캔버스일 수 있다. 터치 스크린의 경우에 제2 포인팅 메커니즘은 (제1 포인팅 메커니즘과 반대편 손으로부터의) 손가락 또는 손가락들의 그룹일 수 있다. 터치 패드의 경우에, 제2 포인팅 메커니즘은 손가락 또는 손가락들의 그룹에 의해 제어되는 커서 또는 도구일 수 있다. 블록 480에서는, 선택된 항목이 제2 포인터 메커니즘에 적용될 수 있다. 예를 들면, 도구 모음의 경우에, 제2 포인터 메커니즘의 도구 기능은 선택된 항목에 기초할 수 있다. 또한, 터치 패드의 경우에, 사용자가 무슨 도구가 활성인지를 알도록(예컨대, 연필(pencil), 그림 붓(paint brush) 등) 도구 UI 요소가 그 기능과 함께 변할 수 있다. 팔레트의 경우에, 제2 포인터 메커니즘의 출력은 선택된 항목에 기초할 수 있다. 예를 들면, 페인팅의 경우에, 사용자가 팔레트 상에서 컬러를 선택할 경우, 제2 포인터의 출력은 그 컬러로 변화한다. 그러므로 사용자는 페인팅 동작 동안에 진행 중에 캔버스에 적용되는 컬러를 조정할 수 있다.

도 26은 본 발명의 일 실시예에 따른, 예시적인 제어 동작(500)을 보여준다. 이 제어 동작은 블록 502에서 시작될 수 있고 그 블록에서는 미디어 항목들의 그룹이 디스플레이된다. 미디어 항목들은 예를 들면 노래, 비디오 클립, 영화, 사진, 게임 등일 수 있다. 미디어 항목들은 예를 들면 미디어 관리 프로그램에 의해 제어될 수 있다. 쿠퍼티노(Cupertino)의 애플 컴퓨터사(Apple Computer)에 의해 제조된 아이포토(iPhoto) 및 아이튠즈(iTunes)가 미디어 관리 프로그램의 예들이다. 블록 504에서는, 항목 위에서 포인터 메커니즘이 탐지될 수 있고 그에 의해 그 항목이 강조된다. 포인터 메커니즘은 예를 들면 마우스 또는 손 코드(지배적인 손)에 의해 제어될 수 있다. 블록 506에서는, 터치 표면 상에서 터치가 탐지될 수 있다. 터치는 포인터 메커니즘과 관련된 손과 반대편의 손에 의해 수행될 수 있다. 그 후, 블록 508에서는, 터치와 관련된 접촉들의 배열이 인지될 수 있다. 그 후, 블록 510에서는, 인지된 접촉들의 배열에 결합된 메타데이터가 강조된 항목 내에 삽입될 수 있다. 각각의 접촉들의 배열은 상이한 메타데이터를 가질 수 있다. 예를 들면, 단 하나의 손가락은 제1 메타데이터를 가질 수 있고, 2개의 손가락은 제2 메타데이터를 가질 수 있고, 3개의 손가락은 제3 메타데이터를 가질 수 있고, 4개의 손가락은 제4 메타데이터를 가질 수 있고, 5개의 손가락은 제5 메타데이터를 가질 수 있고, 등등이다. 접촉의 각 배열에 대한 메타데이터는 동일 기능에 관련될 수도 있고 또는 그것들은 전혀 상이한 기능들을 가질 수도 있다.

도 26의 일례를 인용하면, 상기 프로세스는 미디어 항목들을 평가(rate) 또는 랭킹(rank)하는 데 이용될 수 있다. 예를 들면, 단 하나의 손가락은 별 하나(1 star) 랭킹을 노래에 결합할 수 있고, 2개의 손가락은 별 둘(2 star) 랭킹을 노래에 결합할 수 있고, 3개의 손가락은 별 셋(3 star) 랭킹을 노래에 결합할 수 있고, 4개의 손가락은 별 넷(4 star) 랭킹을 노래에 결합할 수 있고, 5개의 손가락은 별 다섯(5 star) 랭킹을 노래에 결합할 수 있다.

도 26의 다른 예를 인용하면, 상기 프로세스는 미디어 항목들을 식별하는 데 이용될 수 있다. 예를 들면, 단 하나의 손가락은 제1의 인물(예컨대 처 다시(Darcy))을 사진에 결합할 수 있고, 제2 손가락은 제2의 인물(예컨대, 딸 홀리(Hally))을 사진에 결합할 수 있고, 제3 손가락은 제3의 인물(예컨대, 사촌 캄덴(Camden))을 사진에 결합할 수 있고, 제4 손가락은 제4의 인물(예컨대, 삼촌 챈스(Chance))을 사진에 결합할 수 있고, 제5 손가락은 제5의 인물(예컨대, 할머니 셰리(Shery))을 사진에 결합할 수 있다. 탭(taps)은 목록을 확대하는 데 이용될 수 있다. 예를 들면, 제1 터치 다운에서의 손가락의 수를 제2 터치 다운에서의 손가락의 수에 추가하여 접촉들의 최종 배열을 생성할 수 있다. 3개의 손가락에 이은 2개의 손가락은 여전히 제5의 인물을 의미할 수 있다. 한편 5개의 손가락 및 하나의 손가락(총 6개의 손가락)은 제6의 인물(예컨대, 증조 할머니 테리(Terry))을 사진에 결합할 수 있다. 또한, 5개의 손가락 및 2개의 손가락은 제7의 인물(예컨대, 개 프리모(Primo))을 사진에 결합할 수 있고, 5개의 손가락 및 3개의 손가락은 제8의 인물(친구 리사(Lisa))을 사진에 결합할 수 있고, 5개의 손가락 및 4개의 손가락은 제9의 인물을 사진에 결합할 수 있고, 5개의 손가락 및 5개의 손가락은 제10의 인물을 사진에 결합할 수 있다. 이와 달리, 메타데이터는 인물과 관련되지 않고 사진의 어떤 다른 특징(예컨대, 휴가, 캘리포니아, 풍경, 가족 등)과 관련될 수도 있다.

일반적으로 말하여, 미디어 관리 프로그램은 메타데이터 삽입 모드에 놓일 필요가 있을 수 있다. 이것은 전통적으로 온스크린 컨트롤(onscreen controls)을 통하여 또는 이와 달리 포인팅 메커니즘과 관련된 코드에 의해 달성될 수 있다.

도 27은 본 발명의 일 실시예에 따른, 예시적인 제어 동작(520)을 보여준다. 이 제어 동작은 블록 522에서 시작될 수 있고 그 블록에서는 컨트롤 개체(control object)가 디스플레이된다. 컨트롤 개체는 예를 들면 온스크린 버튼, 다이얼, 슬라이더, 스위치 등일 수 있다. 블록 524에서는, 컨트롤 개체 위에서 터치가 탐지될 수 있다. 그 후, 블록 526에서는, 터치와 관련된 접촉들의 배열이 인지될 수 있다. 블록 527에서는, 접촉들의 배열이 컨트롤 개체를 제어하는 것과 관련된 접촉들의 배열과 매칭하는지의 여부에 대한 판정이 행해질 수 있다. 만일 매칭하지 않는다면, 동작은 블록 528로 진행할 수 있고 그 블록에서는 터치가 무시된다. 만일 매칭한다면, 동작은 블록 530으로 진행할 수 있고 그 블록에서는 컨트롤 개체를 제어하는 것과 관련된 제스처 이벤트에 대하여 터치가 모니터된다. 만일 제스처 이벤트가 수행되면, 그와 관련된 액션을 컨트롤 개체에 적용하여 컨트롤 개체가 그의 커맨드들을 생성할 수 있도록 할 수 있다(블록 532).

도 27의 일 실시예에서는, 컨트롤 개체의 제어를 개시하는 접촉들의 배열은 복수의 접촉들에 기초할 수 있는 반면 무시되는 접촉들의 배열은 단 하나의 접촉에 기초할 수 있다.

도 28은 본 발명의 일 실시예에 따른, 예시적인 제어 동작(540)을 보여준다. 이 제어 동작(540)은 도 29에 도시된 것과 같은 제어판을 이용하여 수행될 수 있다. 이 동작은 블록 542에서 시작될 수 있고 그 블록에서는 입력 기능들의 목록이 제공된다. 입력 기능들은 커맨드들 및 그 커맨드들에 연결되는 제스처 이벤트들을 가질 수 있다. 커맨드들은 입력 기능에 관련될 수 있다. 예를 들면, 만일 입력 기능이 편집이라면, 커맨드들은 취소(cancel), 실행 취소(undo), 붙여넣기(paste), 백탭(backtab), 복사(copy), 탭(tab), 잘라내기(cut), 재실행(redo) 및 모두 선택(select all)일 수 있다. 제스처 이벤트들은 코드에 의해 수행될 수 있는 액션들일 수 있다. 제스처 이벤트들은 회전(시계 방향 및 반시계 방향), 그룹으로서 평행이동(translations)(상하좌우), 서로에 대한 평행이동(벌림(spread), 좁힘(closed)), 탭(taps) 등을 포함할 수 있다. 제스처 이벤트들은 직관적인 방식으로 커맨드들에 연결될 수 있다. 예를 들면, 잘라내기 커맨드는 잘라내는 액션과 유사하게 손가락들을 함께 좁힘으로써 개시될 수 있다. 또한, 상보성 커맨드들(잘라내기/붙여넣기)은 전형적으로 상보성 제스처 이벤트들(벌림/좁힘)에 연결된다. 블록 544에서는, 입력 기능들이 특정 코드에 할당될 수 있다. 코드는 손가락들의 배열일 수 있다. 코드들은 사용자가 특정 코드를 강조하고 그 후 특정 입력 기능을 선택하도록 목록으로 디스플레이될 수 있다. 코드들은 복수의 입력 기능들에 할당될 수 있다.

블록 544에서, 사용자는 입력 기능들의 메뉴로부터 하나의 입력 기능을 선택하고 그 후 코드들의 메뉴 목록으로부터 하나의 코드를 선택함으로써(예컨대, 입력 기능을 강조하고, 그 후 코드를 선택) 입력 기능들을 특정 코드에 할당할 수 있다. 일단 코드가 선택되면, 입력 기능은 장래의 조작들을 위해 그 코드에 결합될 수 있다(블록 546). 일부 경우에, 코드 메뉴는 그것에 할당된 입력 기능의 지시(indication)를 포함할 수 있다. 이 특정 실시예에서는, 커맨드들이 이미 제스처 이벤트들에 할당될 수 있다.

도 29a-g는 본 발명의 일 실시예에 따른, 제어판(550)에 관한 도면들이다. 도 29a는 기본 제어판을 보여주는 반면 도 29b-29g는 하나의 제어판 실시예의 몇 가지 예들을 보여준다.

도 29a에 도시된 바와 같이, 제어판(550)은 풀다운 창(pull down window) 형태의 제스처 맵 컨트롤(552)을 포함할 수 있다. 사용자가 그 풀다운 창을 선택할 경우, 사용자에게는 하나 또는 그 이상의 제스처 매핑 옵션들이 제시될 수 있다. 사용자에게는 디폴트 설정(default setting)(통상적으로 제조사에 의해 설정됨)이 제시될 수도 있고 또는 이와 달리 사용자가 그 자신의 제스처 맵을 형성할 수 있도록 사용자 지정 설정(custom setting)을 선택할 수 있다. 2 이상의 사용자 지정 맵이 있을 수 있다. 예를 들면, 서로 다른 사용자들이 서로 다른 맵들을 생성할 수 있다. 사용자가 제어판을 열 경우, 그들은 제스처 맵 컨트롤을 선택한 다음 강조 막대(highlight bar)에 의하여 사용자 지정 맵들의 목록을 통하여 이동함으로써 원하는 사용자 지정 맵을 선택할 수 있다. 일단 원하는 맵이 발견되면, 사용자는 단순히 그것을 강조하고 그 후 원하는 제스처 맵을 설정하기 위하여 1차 클릭을 수행할 수 있다. 그 후, 사용자는 그의 설정들을 변경할 수 있다.

제어판(550)은 또한 역시 풀다운 참 형태의 입력 기능들의 메뉴(554)를 포함할 수 있다. 사용자가 그 풀다운 창을 선택할 경우, 사용자에게는 하나 또는 그 이상의 입력 기능들의 목록이 제시될 수 있다. 입력 기능들은 예를 들면, 아무것도 안 함(none), 포인트, 포인트/클릭, 스크롤, 스크롤 및 2차 클릭, 1차 클릭 및 드래그, 2차 클릭 및 드래그, 창 이동, 익스포즈 및 대시보드, 웹 브라우저 조작, 편집 조작, 파일 조작 등을 포함할 수 있다. 입력 기능 중 하나를 강조하기 위하여, 사용자에게는 사용자 컨트롤에 따라서 목록을 통하여 가로지르는 강조 막대가 제공될 수 있다.

제어판(550)은 또한 강조되어 있는 입력 기능과 관련된 커맨드들, 및 그 커맨드들에 할당된 제스처 이벤트들을 보여주는 제스처 세트 섹션(556)을 포함할 수 있다. 제스처 세트 섹션은 단지 피드백을 위한 것일 수 있지만, 또한 커맨드들을 제스처 이벤트들에 할당하는(또는 반대로 제스처 이벤트들을 커맨드들에 할당하는) 기능을 포함할 수도 있다. 창은 매우 다양할 수 있지만, 예시된 실시예에서, 창은 개별 상자들을 포함할 수 있고, 그 각각은 제스처 이벤트 및 그와 관련된 커맨드를 포함한다. 이 실시예에서, 박스들은 3 × 3 행렬로 설정될 수 있고, 따라서 각 입력 기능에 대하여 9개의 상이한 제스처 이벤트들 및 9개의 상이한 커맨드들이 있을 수 있다. 대부분의 경우에, 반대로 수행되는 제스처 이벤트들은 서로 맞은 편에 배치될 수 있다. 예를 들면, 반시계 방향 회전(rotate CCW)은 시계 방향 회전(rotate CW)의 반대편에 위치할 수 있고, 벌림(spread)은 좁힘(contract)의 반대편에 위치할 수 있고, 좌측 스와이프는 우측 스와이프의 반대편에 위치할 수 있고, 상향 스와이프는 하향 스와이프의 반대편에 위치할 수 있다. 가능하다면, 상보성 커맨드들을 상반하는 제스처 이벤트들에 연결함으로써 그것들이 보다 직관적으로 인식되게 할 수 있다.

제어판(550)은 또한 코드들의 메뉴(558)를 포함할 수 있다. 코드들은 하나 위에 다른 하나가 있게 배치될 수 있고 스크롤 막대(scroll bar)에 의하여 창을 통하여 이동할 수 있다. 코드들은 코드를 만드는 방법의 예들을 보여주는 코드 지시자들(chord indicators)뿐만 아니라 텍스트 식별자들을 포함할 수 있다. 예시된 실시예에서, 코드 지시자는 거무스름하게 된 원이 코드를 만드는 데 이용되는 손가락을 커버하는 손의 형태로 된 것일 수 있다. 코드들은 또한 코드에 할당된 입력 기능에 대한 텍스트 식별자들을 포함할 수도 있다.

일 실시예에서는, 제스처 맵을 설정하기 위하여, 사용자는 입력 기능을 강조한 다음 코드 메뉴로 이동할 수 있다. 일단 코드 메뉴에서는, 사용자는 코드들의 목록을 통하여 가로지르고, 원하는 코드를 강조한 다음 예를 들어 클릭에 의하여 선택 이벤트를 수행함으로써 해당 입력 기능에 대한 원하는 코드를 선택할 수 있다. 그 후, 입력 기능은 코드에 할당될 수 있다. 일부 경우에, 일단 사용자가 입력 기능을 코드에 할당하면, 코드 메뉴에 그 코드와 함께 입력 기능 식별자가 배치될 수 있다. 또한, 입력 기능은 할당되어 있는 것을 지시하는 지시자를 포함할 수 있다. 예를 들면, 할당된 입력 기능 옆에 체크가 배치될 수 있다. 조작 중에, 사용자가 다점 터치 표면 상에 코드 메뉴에서 제시된 손가락 배열을 배치하면, 그 손가락 배열은 코드로서 인지될 수 있고 그 후, 코드에 할당된 입력 기능과 관련된 제스처 세트가 1차(primary) 또는 활성(active) 제스처 세트로서 설정될 수 있다.

도 29b는 입력 기능 메뉴가 열려 있을 수 있고 사용자가 익스포즈 대시보드 입력 기능을 4 손가락 코드에 할당하는 중일 수 있는 일례를 보여준다. 또한, 제스처 세트는 익스포즈/대시보드 입력 기능과 관련된 커맨드들 및 그 커맨드들을 개시하는 데 이용되는 제스처 이벤트들을 보여줄 수 있다. 예를 들면, 상향 스와이프는 모두 익스포즈(expose 311)를 개시할 수 있고, 우측 스와이프는 데스크톱 익스포즈(expose desktop)를 개시할 수 있고, 좌측 스와이프는 애플리케이션 익스포즈(expose applications)를 개시할 수 있고, 하향 스와이프는 대시보드를 개시할 수 있다.

도 29c는 입력 기능 메뉴가 열려 있을 수 있고 사용자가 1차 클릭 및 드래그 입력 기능을 3 손가락 코드에 할당하는 중일 수 있는 일례를 보여준다. 또한, 제스처 세트는 클릭 및 드래그 입력 기능과 관련된 커맨드들 및 그 커맨드들을 개시하는 데 이용되는 제스처 이벤트들을 보여줄 수 있다. 예를 들면, 임의의 방향으로의 방향 이동은 개체를 드래그하는 데 이용될 수 있고 탭(tap)은 클릭을 개시하는 데 이용될 수 있다.

도 29d는 입력 기능 메뉴가 열려 있을 수 있고 사용자가 파일 조작 입력 기능을 엄지손가락 + 1 손가락 코드에 할당하는 중일 수 있는 일례를 보여준다. 또한, 제스처 세트는 파일 조작 입력 기능과 관련된 커맨드들 및 그 커맨드들을 개시하는 데 이용되는 제스처 이벤트들을 보여줄 수 있다. 예를 들면, 반시계 방향으로의 회전 스와이프는 열기(open)를 개시하는 데 이용될 수 있고, 시계 방향으로의 회전 스와이프는 닫기(close)를 개시하는 데 이용될 수 있고, 벌림(spread)은 신규를 위해 이용될 수 있고 좁힘(contract)은 저장을 위해 이용될 수 있다.

도 29e는 입력 기능 메뉴가 열려 있을 수 있고 사용자가 편집 조작 입력 기능을 엄지손가락 + 2 손가락 코드에 할당하는 중일 수 있는 일례를 보여준다. 또한, 제스처 세트는 편집 조작 입력 기능과 관련된 커맨드들 및 그 커맨드들을 개시하는 데 이용되는 제스처 이벤트들을 보여줄 수 있다. 예를 들면, 상향 스와이프는 실행 취소를 개시할 수 있고, 우측 스와이프는 탭(tab)을 개시할 수 있고, 좌측 스와이프는 백탭 응용(bktab applications)을 개시할 수 있고, 하향 스와이프는 재실행을 개시할 수 있다. 또한, 반시계 방향으로의 회전 스와이프는 취소를 개시할 수 있고, 시계 방향으로의 회전 스와이프는 모두 선택을 개시할 수 있고, 벌림은 붙여넣기를 개시할 수 있고 좁힘은 잘라내기를 개시할 수 있다. 또한, 탭(tap)은 복사를 개시할 수 있다.

도 29f는 입력 기능 메뉴가 열려 있을 수 있고 사용자가 웹 브라우저 조작 입력 기능을 엄지손가락 + 3 손가락 코드에 할당하는 중일 수 있는 일례를 보여준다. 또한, 제스처 세트는 웹 브라우저 조작 입력 기능과 관련된 커맨드들 및 그 커맨드들을 개시하는 데 이용되는 제스처 이벤트들을 보여줄 수 있다. 예를 들면, 상향 스와이프는 중단(stop)을 개시할 수 있고, 우측 스와이프는 앞으로(forward)를 개시할 수 있고, 좌측 스와이프는 뒤로(back)를 개시할 수 있고, 하향 스와이프는 새로 고침(refresh)을 개시할 수 있다. 또한, 좌측 상향 스와이프는 홈(home)을 개시할 수 있고, 우측 상향 스와이프는 스포트라이트(spot light)를 개시할 수 있고, 좌측 하향 스와이프는 찾기(find)를 개시할 수 있고, 우측 하향 스와이프는 북 마크(book mark)를 개시할 수 있다.

도 29g는 입력 기능 메뉴가 열려 있을 수 있고 사용자가 포인트 입력 기능을 엄지손가락 + 4 손가락 코드에 할당하는 중일 수 있는 일례를 보여준다. 또한, 제스처 세트는 포인트 입력 기능과 관련된 커맨드들 및 그 커맨드들을 개시하는 데 이용되는 제스처 이벤트들을 보여줄 수 있다. 예를 들면, 임의의 방향으로의 방향 이동이 포인팅을 위해 이용될 수 있다.

도 30은 본 발명의 일 실시예에 따른, 예시적인 제어 동작(580)을 보여준다. 이 제어 동작(580)은 도 29에 도시된 것과 같은 제어판을 이용하여 수행될 수 있다. 이 동작은 블록 582에서 시작될 수 있고 그 블록에서는 입력 기능들의 목록이 제공될 수 있다. 블록 584에서는, 입력 기능들과 관련된 커맨드들의 목록이 제공될 수 있다. 블록 586에서는, 코드들의 목록이 제공될 수 있다. 블록 588에서는, 코드들과 관련된 제스처 이벤트들의 목록이 제공될 수 있다. 블록 590에서는, 입력 기능이 코드에 할당될 수 있다(또는 반대로 코드가 입력 기능에 할당될 수 있다). 블록 592에서는, 커맨드들이 제스처 이벤트들에 할당될 수 있다. 이와 다른 동작에서, 동작(580)은 특정 입력 기능과 관련된 목록을 갖기보다는 모든 사용 가능한 커맨드들의 목록을 제공하는 것을 포함할 수 있다. 사용자는 임의의 커맨드를 입력 기능에 할당할 수 있다. 또한 이와 다른 동작에서, 동작은 특정 코드와 관련된 목록을 갖기보다는 모든 사용 가능한 제스처 이벤트들의 목록을 제공하는 것을 포함할 수 있다. 사용자는 임의의 제스처 이벤트를 코드에 할당할 수 있다.

도 29를 참조하여, 사용자는 입력 기능들의 메뉴로부터 하나의 입력 기능을 선택한 다음, 코드들의 메뉴 목록으로부터 하나의 코드를 선택함으로써(예컨대, 입력 기능을 강조한 다음, 코드를 선택) 입력 기능들을 특정 코드에 할당할 수 있다. 일단 코드가 선택되면, 입력 기능은 장래의 조작들을 위해 그 코드에 결합될 수 있다. 일부 경우에, 코드 메뉴는 그것에 할당된 입력 기능의 지시(indication)를 포함할 수 있다. 또한, 사용자는 커맨드를 제스처 위로 이동시킴으로써 커맨드들을 제스처 이벤트들에 할당할 수 있다. 예를 들면, 사용자는 특정 커맨드를 선택하고 드래그하여 그것을 원하는 제스처 이벤트 위에서 드롭할 수 있다. 그 후, 그 커맨드는 장래의 조작들을 위해 그 제스처 이벤트에 결합될 수 있다.

도 31은 본 발명의 일 실시예에 따른, 예시적인 제스처 매핑 방법(600)을 보여준다. 이 매핑(600)은 블록 602에서 시작될 수 있고 그 블록에서는 시스템이 제스처 매핑 모드에 놓인다. 일단 제스처 매핑 모드에 들면, 블록 604에서 터치가 탐지될 수 있다. 그 후, 블록 606에서는, 터치와 관련된 접촉들의 배열이 저장될 수 있다. 예를 들면, 접촉들의 배열의 이미지가 생성될 수 있다. 그 후, 블록 608에서는, 제스처 이벤트에 대하여 터치가 모니터될 수 있다. 그 후, 블록 610에서는, 제스처 이벤트가 저장될 수 있다. 그 후, 블록 612에서는, 그 접촉들의 배열/제스처 이벤트에 커맨드가 할당될 수 있다. 일단 제스처 매핑 모드에서 나오면, 접촉들의 배열이 인지될 수 있도록 그 접촉들의 배열을 내려놓은 다음 제스처 이벤트를 수행함으로써 커맨드가 개시될 수 있다.

도 32는 본 발명의 일 실시예에 따른, 예시적인 제스처 매핑 방법(620)을 보여준다. 이 제스처 매핑 방법(620)은 블록 622에서 시작될 수 있고 그 블록에서는 커맨드 메뉴가 열릴 수 있다. 커맨드 메뉴는 애플리케이션의 표제(heading)에서 발견되는 메뉴들(예컨대, 파일(File), 편집(Edit), 보기(View), 삽입(Insert), 포맷(Format), 도구(Tools) 등) 중 임의의 것일 수 있다. 커맨드 메뉴가 열리면, 커맨드들의 목록이 디스플레이될 수 있다(블록 624). 블록 624에 이어서, 사용자 컨트롤에 의하여 커맨드들의 목록 내의 커맨드 위로 강조 막대가 이동할 수 있다. 그 후, 블록 626에서는, 커맨드가 강조되어 있는 동안에 터치 표면 상에서 터치가 탐지될 수 있다. 그 후, 블록 628에서는, 터치와 관련된 접촉들의 배열이 이미지화되어 저장된다. 그 후, 블록 630에서는, 제스처 이벤트에 대하여 터치가 모니터될 수 있다. 그 후, 블록 632에서는, 제스처 이벤트가 수행될 때 그 제스처 이벤트가 이미지화되어 저장될 수 있다. 그 후, 블록 634에서는, 접촉들의 초기 배열 및 제스처 이벤트들이 강조된 커맨드에 할당될 수 있다. 일단 제스처 매핑 모드에서 나오면, 접촉들의 배열이 인지될 수 있도록 그 접촉들의 배열을 내려놓은 다음 제스처 이벤트를 수행함으로써 커맨드가 개시될 수 있다.

도 33은 본 발명의 일 실시예에 따른, 예시적인 제스퍼 피드백 방법(640)을 보여준다. 이 방법(640)은 블록 642에서 시작될 수 있고 그 블록에서는 터치가 탐지된다. 그 후, 블록 644에서는, 접촉들의 배열이 인지될 수 있다. 그 후, 블록 646에서는, 그 접촉들의 배열에 적어도 부분적으로 기초하여 제스처 세트가 로딩될 수 있다. 그 후, 블록 648에서는, 터치 동안에 일시정지가 탐지될 수 있다(예컨대, 소정 시간 동안 어떤 제스처 이벤트도 수행되지 않는다). 그 후, 블록 650에서는, 사용자가 커맨드들 및 그것에 결합된 제스처 이벤트들을 볼 수 있도록 제스처 세트가 디스플레이될 수 있다(예를 들면 도 34 참조). 그 후, 블록 652에서는 제스처 이벤트가 시작될 때 또는 미리 설정된 타임 아웃(time out) 후에 제스처 세트가 디스플레이로부터 제거될 수 있다.

도 34는 본 발명의 일 실시예에 따른, 예시적인 제스처 보기 창(660)에 관한 도면이다. 제스처 보기 창은 제스처 이벤트를 수행하는 방법 및 제스처 이벤트가 수행되면 어떤 커맨드가 개시될지에 관한 정보를 포함하여 팝업하는 제스처 메뉴일 수 있다. 그러므로 사용자는 제스처 이벤트를 수행하기 전에 제스처 세트를 신속히 기억 속에 각인시킬 수 있다. 제스처 창(660)은 제1 터치 다운 점(또는 일시정지)의 부근에서 및 임의의 다른 디스플레이된 정보 위에 디스플레이되는 반투명 또는 불투명 창일 수 있다. 창은 매우 다양할 수 있지만, 예시된 실시예에서, 창(660)은 개별 상자들을 포함할 수 있고, 그 각각은 제스처 이벤트(664) 및 그와 관련된 커맨드(667)를 포함한다. 이 실시예에서, 박스들은 3 × 3 행렬로 설정될 수 있고, 따라서 9개의 상이한 제스처 이벤트들 및 9개의 상이한 커맨드들이 있을 수 있다. 대부분의 경우에, 반대로 수행되는 제스처 이벤트들은 서로 맞은 편에 배치될 수 있다. 예를 들면, 반시계 방향 회전(rotate CCW)은 시계 방향 회전(rotate CW)의 반대편에 위치할 수 있고, 벌림(spread)은 좁힘(contract)의 반대편에 위치할 수 있고, 좌측 스와이프는 우측 스와이프의 반대편에 위치할 수 있고, 상향 스와이프는 하향 스와이프의 반대편에 위치할 수 있다. 가능하다면, 상보성 커맨드들을 상반하는 제스처 이벤트들에 연결함으로써 그것들이 보다 직관적으로 인식되게 할 수 있다. 예를 들면, 잘라내기 및 붙여넣기의 경우에, 잘라내기는 좁힘과 관련될 수 있는 반면 붙여넣기는 벌림과 관련될 수 있다. 또한, 다른 것이 (원으로 도시된) 탭과 관련될 수 있다.

도 35는 본 발명의 일 실시예에 따른, 터치 스크린을 통하여 구현된 예시적인 키보드 방법(680)을 보여준다. 이 방법(680)은 블록 682에서 시작될 수 있고 그 블록에서는 터치 스크린 키보드가 활성화된다(예컨대, 디스플레이되어 입력을 수신할 준비가 된다). 그 후, 블록 684에서는, 키 입력들(예컨대, 디스플레이된 키 상에서의 손가락 탭(finger tapping))에 대하여 터치 표면이 모니터될 수 있다. 동시에, 블록 686에서는, 스와이프하는 제스처 이벤트들에 대하여 터치 표면이 모니터될 수 있다. 만일 스와이프하는 제스처 이벤트가 우측 스와이프이면, 스페이스(space) 커맨드가 수행될 수 있다(블록 688 및 690). 만일 스와이프하는 제스처 이벤트가 좌측 스와이프이면, 백스페이스/딜리트(hackspace/delete) 커맨드가 수행될 수 있다(블록 692 및 694). 만일 스와이프하는 제스처 이벤트가 하향 스와이프이면, 엔터/리턴(enter/return) 커맨드가 수행될 수 있다(블록 696 및 698). 만일 스와이프하는 제스처 이벤트가 상향 스와이프이면, 페이지 나누기(page break) 커맨드가 수행될 수 있다(블록 700 및 702). 그러나, 이 방법들은 이들 커맨드에 제한되지 않고 다른 커맨드들이 수행될 수 있는 것에 유의해야 할 것이다.

평가할 코드들, 제스처 이벤트들, 커맨드들의 조합이 너무 많은 상황에서는, 강약을 분리시키고 어느 코드들 및 제스처 이벤트들이 어느 커맨드들과 잘 맞는지에 대한 지도 이론(guiding theory)을 개발하는 것이 유익할 수 있다. 일반적으로 최적의 손가락 조합들을 가장 많은 빈도의 커맨드들과 매칭시킴으로써 장기 사용자 경험(long term user experience)이 최대화된다. 평범한 손가락 조합들은 보다 적은 빈도의 커맨드들에만 이용되어야 할 것이다. 그러나, 혼선(cross talk)과 같은 미묘한 문제들 때문에, 이러한 원리를 따르는 것만으로는 탁월한 사용자 경험을 생성하기에 충분하지 않다.

도 36은 본 발명의 일 실시예에 따른, 예시적인 제스처 디자인 프로세스(720)를 보여준다. 이 디자인 프로세스(720)는 블록 702을 포함하고 그 블록에서는 가장 쉬운 코드들이 평가 또는 랭킹될 수 있다. 코드들은 예를 들면 속도, 신뢰성, 사용의 편의 및 용이함, 단순성 등에 기초하여 평가될 수 있다. 이것은 또한 보다 작은 표면들은 모든 손가락 조합들을 수용할 수 없으므로 터치 표면의 사이즈에 기초할 수도 있다. 도 37은 코드들을 평가(rating)하기 위한 행렬의 일례를 보여준다. 이 행렬은 예시를 위한 것이지 제한을 위한 것이 아님을 이해해야 할 것이다.

이 디자인 프로세스는 또한 블록 704를 포함하고 그 블록에서는 조작들의 빈도가 평가 또는 랭킹될 수 있다. 예를 들면, 특정 사용자 또는 사용자들의 그룹이 특정 조작들의 세트를 얼마나 자주 수행하는지가 평가 또는 랭킹될 수 있다. 빈도 랭킹들은 조작들의 서로에 대한 비율들에 따라서 변할 수 있다(예컨대, 웹 브라우징 대 편집). 도 38은 소수의 조작들에 대한 조작들의 빈도를 랭킹하기 위한 행렬의 일례를 보여준다. 더 많은 조작들이 있으므로 이 목록은 예시를 위한 것이지 제한을 위한 것이 아님을 이해해야 할 것이다.

이 디자인 프로세스는 또한 블록 706을 포함할 수 있고 그 블록에서는 가장 쉬운 코드들이 실질적으로 그룹핑되거나 가장 많은 빈도의 조작들과 매칭되고 가장 어려운 코드들이 실질적으로 그룹핑되거나 가장 적은 빈도의 조작들과 매칭된다.

이 디자인 프로세스는 또한 그룹들을 미세 조정하는 것을 포함할 수 있다. 이 미세 조정은 상보성 커맨드들, 직관성(intuitiveness), 혼선(cross talk) 등을 포함하는 다수의 인자들에 기초할 수 있다. 이해되겠지만, 이 디자인 프로세스는 가장 쉬운 코드를 가장 많은 빈도의 조작과 매칭시키는 것만큼 단순하지 않을 수 있다. 일부 경우에, 가장 쉬운 코드는 가장 많은 빈도의 조작에 대하여 의미가 통하지 않을 수도 있다. 그러므로, 가장 많은 빈도로 쉬운 것을 그리고 보다 적은 빈도로 어려운 것을 유지하려고 노력하면서도 코드들 및 조작들이 시프트될 수 있다.

도 39는 본 발명의 일 실시예에 따른, 예시적인 제어 동작(740)을 보여준다. 이 제어 동작은 블록 742에서 시작될 수 있고 그 블록에서는 기본 제스처 맵이 제공된다. 기본 제스처 맵은 예를 들어 코드, 커맨드 제스처 이벤트 등을 포함하는 제스처 선호(gesture preference)를 포함할 수 있다. 블록 742에 이어서, 동작은 블록 744로 진행할 수 있고 그 블록에서는 제1 프로그램이 활성화된다. 그 프로그램은 예를 들면 워드 프로세싱 프로그램, 미디어 관리 프로그램, 스프레드시트 프로그램, 미디어 편집 프로그램, 그림(drawing) 프로그램 등일 수 있다. 블록 746에서는, 제1 프로그램이 활성인 동안에 제1 프로그램에 따라서 기본 제스처 맵이 조정될 수 있다. 예를 들면, 프로그램은 이 특정 프로그램에 대한 코드들 및 제스처 세트들의 의미를 변경하도록 기본 제스처 맵에 명령할 수 있다. 블록 748에서는, 제2 프로그램이 활성화될 수 있다. 블록 750에서는, 제2 프로그램이 활성인 동안에 제2 프로그램에 따라서 기본 제스처 맵이 조정될 수 있다.

도 39의 일례에서, 미디어 편집 프로그램은 1개 손가락은 포인팅을 위해; 2개 손가락은 개체들을 이동, 스케일링, 회전시키기 위해; 3개 손가락은 1차 드래그를 위해; 4개 손가락은 스크롤 팬(scroll pan)을 위해; 5개 손가락은 포인팅을 위해 사용하는 식으로 제스처 맵을 조정할 수 있는 반면, 워드 프로세싱 프로그램은 2개 손가락은 텍스처 커서를 포인팅하기 위해, 3개 손가락은 텍스트를 선택하기 위해, 4개 손가락은 페이징, 시작선(begin line) 및 끝선(endline)을 위해 사용하는 식으로 제스처 맵을 조정할 수 있다.

도 40은 본 발명의 일 실시예에 따른, 예시적인 제어 동작(760)을 보여준다. 이 제어 동작은 세 손가락 코드로 구현되는 것과 같은 제스처 세트와 관련될 수 있다. 이 제어 동작은 블록 762에서 시작될 수 있고 그 블록에서는 우측 스와이프가 탐지되는지의 여부에 대한 판정이 행해진다. 만일 그렇다면, 동작은 블록 764로 진행할 수 있고 그 블록에서는 제1 익스포즈 기능이 개시된다. 만일 그렇지 않다면, 동작은 블록 766으로 진행할 수 있고 그 블록에서는 좌측 스와이프가 탐지되는지의 여부에 대한 판정이 행해진다. 만일 그렇다면, 동작은 블록 768로 진행할 수 있고 그 블록에서는 제2 익스포즈 기능이 개시된다. 만일 그렇지 않다면, 동작은 블록 770으로 진행할 수 있고 그 블록에서는 상향 스와이프가 탐지되는지의 여부에 대한 판정이 행해진다. 만일 그렇다면, 동작은 블록 772로 진행할 수 있고 그 블록에서는 제3 익스포즈 기능이 개시된다. 만일 그렇지 않다면, 동작은 블록 774로 진행할 수 있고 그 블록에서는 하향 스와이프가 탐지되는지의 여부에 대한 판정이 행해진다. 만일 그렇다면, 동작은 블록 776로 진행할 수 있고 그 블록에서는 대시보드 기능이 개시된다. 만일 그렇지 않다면, 동작은 도로 762로 진행할 수 있다.

도 41은 본 발명의 일 실시예에 따른, 예시적인 제어 동작(780)을 보여준다. 이 제어 동작은 블록 782에서 시작될 수 있고 그 블록에서는 기본 코드가 탐지된다. 기본 코드는 예를 들면 세 손가락 코드일 수 있다. 터치 스트로크 동안에, 일시정지가 탐지된다(블록 784). 그 후, 블록 786에서는, 기본 코드의 일시정지로 인해 컨텍스트 메뉴(contextual menu)가 열릴 수 있다. 그 후, 블록 788에서는, 상향 또는 하향 슬라이드가 탐지되는지의 여부에 대한 판정이 행해질 수 있다. 만일 그렇다면, 동작은 블록 790으로 진행할 수 있고 그 블록에서는 슬라이딩 움직임에 따라서 컨텍스트 메뉴를 통하여 강조 막대가 이동한다. 그 후, 블록 792에서는, 탭이 탐지되는지의 여부에 대한 판정이 행해질 수 있다. 만일 그렇다면, 동작은 블록 794로 진행할 수 있고 그 블록에서는 강조된 항목의 기능이 구현된다.

대시보드(Dashboard)는 위짓들(widgets), 즉, 통상의 작업들을 수행할 수 있게 하고 정보에의 빠른 액세스를 제공하는 미니-애플리케이션들의 홈이다. 스와이프에 의해, 사용자에게 정보의 세계 - 실시간 날씨, 주식 시세, 항공편 정보 및 더 많은 정보 - 를 즉시 가져오는 위짓들이 완비된 대시보드가 나타날 수 있다. 대시보드는 마찬가지로 용이하게 사라질 수 있어, 사용자는 그들이 하고 있던 것으로 되돌아갈 수 있다. 대시보드는 캘리포니아주 쿠퍼티노의 애플 컴퓨터사에 의해 제조된다.

익스포즈(Expose)는 사용자들이 단 하나의 스와이프에 의해 - 그리고 결코 흉내낼 수 없는 멋진 스타일로 임의의 열린 창에 즉시 액세스할 수 있게 한다. 모든 열린 창들을 섬네일(thumbnails)로서 디스플레이하거나, 현재의 애플리케이션의 창들을 보거나 데스크톱 상의 파일을 신속히 찾아내기 위해 모든 창들을 감춘다. 익스포즈는 캘리포니아주 쿠퍼티노의 애플 컴퓨터사에 의해 제조된다.

도 42-44는 본 발명의 여러 실시예들에 따른, 다양한 제스처 맵들을 보여준다. 각 도면은 4개의 표제, 즉, 1) 손, 2) 손가락들의 #(코드), 3) 제스처 이벤트, 및 4) 제스처 이벤트와 관련된 거동 또는 액션을 포함한다.

도 45-48은 본 발명의 몇몇 실시예들에 따른, 다양한 제스처 세트들을 보여준다. 이들 도면들 모두에서, 제스처 세트들은 화살표에 의해 보여지는 다양한 움직임들(스와이프, 회전, 벌림/좁힘), 및 원에 의해 보여지는 하나 또는 그 이상의 탭을 포함한다. 그것들은 또한 그것들이 위에 위치하는 움직임들에 결합된다. 제스처 세트들은 사용자 필요에 따라서 서로 다른 코드들에 적용될 수 있다. 일례에서, 도 45의 제스처 세트는 엄지손가락 + 1 손가락 코드에 적용될 수 있고, 도 46의 제스처 세트는 엄지손가락 + 2 손가락 코드에 적용될 수 있고, 도 47의 제스처 세트는 엄지손가락 + 3 손가락 코드에 적용될 수 있고, 도 48의 제스처 세트는 벌어진 엄지손가락 및 3 손가락 코드에 적용될 수 있다. 코드들뿐만 아니라 제스처 세트들은 제한을 위해서가 아니라 예시를 위하여 만들어진 것임을 이해해야 할 것이다. 예를 들면, 제스처 세트들의 경우에, 상이한 커맨드들이 이용될 수도 있고, 상이한 제스처 이벤트들이 이용될 수도 있고, 상이한 할당들이 이용될 수도 있고, 등등이다.

이제 도 8-11에 관련된 추가 실시예들에 대하여 설명한다.

도 49는 본 발명의 일 실시예에 따른, 예시적인 제스처 동작(800)을 보여준다. 이 동작(800)은 블록 802에서 시작될 수 있고 그 블록에서는 제1 손가락만 탐지된다. 그 후, 블록 804에서는, 제1 손가락의 상태가 결정될 수 있다. 그 상태는 예를 들면 손가락의 특정 방위, 터치 표면에 대한 손가락의 위치, 손가락이 움직이는지 움직이지 않는지, 손가락 움직임의 방향 등에 대응할 수 있다. 그 후, 블록 806에서는, 하나 또는 그 이상의 추가 손가락이 탐지될 수 있다. 예를 들면, 제1 손가락 외에, 상이한 제2 손가락이 탐지될 수 있다. 블록 808에서는, 하나 또는 그 이상의 추가 손가락의 상태가 결정될 수 있다. 그 후, 블록 810에서는, 제1 및 추가 손가락들의 상태들의 서로에 대한 타이밍에 기초하여 상이한 입력 모드들이 구현될 수 있다. 상이한 입력 모드들은 매우 다양할 수 있고, 본 명세서에서 논의되는 것들 중 임의의 것 또는 임의의 적당한 또는 알려진 입력 모드로부터 선택될 수 있다. 입력 모드의 일례는 포인팅 모드 또는 드래깅 모드일 수 있다. 다른 모드들은 예를 들면 스크롤링, 패닝 등을 포함할 수 있다.

일례에서, 제1 손가락의 상태는 움직이지 않거나 움직이는 것을 포함할 수 있고, 제2 손가락의 상태는 제2 손가락이 존재하는지 여부를 포함할 수 있다. 이 예에서, 포인팅 조작들은 제1 손가락만 탐지되는 경우에 구현될 수 있다. 또한, 제1 손가락이 움직이지 않는 경우에 제2 손가락이 탐지되면 포인팅 조작들은 드래깅 조작들로 전환될 수 있고, 제1 손가락이 움직이는 경우에 제2 손가락이 탐지되면 포인팅 조작들은 유지된다. 그렇게 하면서, 사용자는 포인팅 조작과 드래깅 조작 간에 이리저리 용이하게 전환할 수 있다. 예를 들면, 사용자는 터치 표면 위에서 하나의 손가락을 움직여 그것 또는 커서를 파일 폴더 위에 위치시키고(예컨대, 포인팅), 그 손가락 또는 커서를 파일 폴더 위에서 멈추고, 제2 손가락을 터치 표면 상에 내려놓아 파일 폴더를 드래깅하기를 원한다는 것을 지시하고, 그 후 제1 손가락을 다른 위치로 움직여 파일 폴더를 새로운 위치로 드래깅할 수 있다. 사용자는 그의 손가락 및 따라서 파일 폴더를 여기저기로 계속 움직이거나, 또는 단순히 제1 손가락을 들어올려 최종적으로 파일 폴더를 화면 내에 위치시킬 수 있다.

도 50은 본 발명의 일 실시예에 따른, 예시적인 제스처 동작(820)을 보여준다. 이 동작(820)은 블록 822에서 시작될 수 있고 그 블록에서는 제1 손가락만 탐지된다. 그 후, 블록 824에서는, 제1 손가락의 상태가 결정될 수 있다. 그 상태는 예를 들면 손가락의 특정 방위, 터치 표면에 대한 손가락의 위치, 손가락이 움직이는지 움직이지 않는지, 손가락 움직임의 방향 등에 대응할 수 있다. 그 후, 블록 826에서는, 제1 손가락이 제1 상태에 있을 때 제1 손가락으로 제1 입력 모드가 구현될 수 있다. 블록 828에서는, 변경자 손가락(modifier finger) 이벤트가 모니터될 수 있다. 변경자 손가락 이벤트는 제1 손가락 이외의 손가락에 의해 제공될 수 있다. 그것은 예를 들면 제2 손가락일 수 있다. 그 이벤트는 제2 손가락의 존재일 수 있고 또는 그것은 어떤 종류의 제스처링 이벤트, 또는 특정 코드일 수 있다. 그 후, 블록 830에서는, 제1 손가락이 제2 상태에 있고 변경자 손가락 이벤트가 탐지될 때 제2 입력 모드가 구현될 수 있다. 그 변경자 이벤트는 예를 들면 제1 손가락 옆에 있는 제2 손가락의 존재일 수 있다. 일례에서, 제1 모드는 포인팅 모드이고 제2 모드는 드래깅 모드이다. 물론, 이 실시예는 필요에 따라 다른 모드들에 적용될 수 있다.

도 51은 본 발명의 일 실시예에 따른, 예시적인 제스처 동작(840)을 보여준다. 이 동작(840)은 블록 842에서 시작될 수 있고 그 블록에서는 제1 손가락이 최초로 탐지된다. 그 후, 블록 844에서는, 제1 손가락이 움직일 때 제1 손가락과 관련된 제1 모드가 구현될 수 있다. 그 후, 블록 846에서는, 제1 손가락이 탐지된 후에 제2 손가락이 탐지될 수 있다. 블록 848에서는, 제1 손가락이 움직이지 않고 제2 손가락의 존재가 탐지될 때 제1 모드가 제2 모드로 전환될 수 있다. 제2 손가락의 존재는 예를 들면 터치 표면의 특정 위치 또는 제1 손가락에 대한 특정 위치와 같이 위치 특정(location specific)일 수 있다. 일례에서, 제2 손가락은 제1 손가락에 근접하여 탐지되어야 한다. 그 후, 블록 850에서는, 제1 손가락이 움직일 때 적어도 제1 손가락으로 제2 모드가 구현될 수 있다. 일례에서, 제1 모드는 포인팅 모드일 수 있고 제2 모드는 드래깅 모드일 수 있다. 물론, 이 실시예는 필요에 따라 다른 모드들에 적용될 수 있다.

도 52는 본 발명의 일 실시예에 따른, 예시적인 제스처 동작(860)을 보여준다. 이 동작(860)은 블록 862에서 시작될 수 있고 그 블록에서는 단 하나의 손가락이 탐지되는지에 대한 판정이 행해진다. 단 하나의 손가락은 시스템의 필요에 따라 식별되거나 식별되지 않을 수 있다. 예를 들면, 일부 경우에는, 그 동작들은 지정된 손가락이 식별되는 경우에만 구현될 수 있는 반면 다른 경우에는 이 방법은 임의의 단 하나의 손가락이 탐지되는 경우에 구현될 수 있다. 만일 단 하나의 손가락이 탐지되면, 동작은 블록 864로 진행할 수 있고 그 블록에서는 손가락이 움직이는지의 여부에 대한 판정이 행해진다. 만일 손가락이 움직이면, 블록 866에서, 제1 손가락 움직임으로 포인팅 조작들이 수행될 수 있다. 만일 제1 손가락이 더 이상 탐지되지 않으면, 포인팅 조작들이 종료할 수 있다. 만일 손가락이 움직이지 않으면, 블록 868에서, 제1 손가락이 움직이지 않는 동안에 제2 손가락이 탐지되는지의 여부에 대한 판정이 행해질 수 있다. 만일 그렇지 않다면, 동작은 도로 블록 862로 진행할 수 있다. 만일 그렇다면, 동작은 블록 870으로 진행할 수 있고 그 블록에서는 제2 손가락을 탐지한 후에 제1 손가락이 움직이는지의 여부에 대한 판정이 행해진다. 제2 손가락은 제1 손가락과 함께 움직일 필요가 있을 수도 있고 또는 움직일 필요가 없을 수도 있다. 대부분의 경우에, 제2 손가락은 더 이상 탐지되지 않도록 들어올려질 수 있다. 만일 제1 손가락이 움직이지 않으면, 동작은 도로 블록 868로 진행할 수 있다. 만일 제1 손가락이 움직이면, 동작은 블록 872로 진행할 수 있고 그 블록에서는 제1 손가락 움직임에 따라 드래깅 조작들이 수행된다. 만일 제1 손가락이 더 이상 탐지되지 않으면, 드래깅 조작들이 종료할 수 있다.

도 53은 본 발명의 일 실시예에 따른, 예시적인 제스처 동작(880)을 보여준다. 이 동작(880)은 블록 882에서 시작될 수 있고 그 블록에서는 제1 손가락이 탐지되는지에 대한 판정이 행해진다. 제1 손가락은 시스템의 필요에 따라 식별되거나 식별되지 않을 수 있다. 예를 들면, 일부 경우에는, 그 동작은 지정된 손가락이 식별되는 경우에만 구현될 수 있는 반면 다른 경우에는 그 동작은 임의의 단 하나의 손가락이 탐지되는 경우에 구현될 수 있다. 만일 손가락이 탐지되면, 동작은 블록 884로 진행할 수 있고 그 블록에서는 포인팅 모드가 구현된다. 그 후, 블록 886에서, 손가락이 움직이는지의 여부에 대한 판정이 행해질 수 있다. 만일 손가락이 움직이면, 블록 888에서, 후속의 변경자 이벤트들이 무시될 수 있다. 예를 들면, 추가의 탐지된 손가락들이 무시될 수 있고 제1 손가락의 움직임만 관련될 수 있다. 그 후, 블록 890에서, 움직이는 손가락에 따라서 포인팅 조작들이 수행될 수 있다. 만일 제1 손가락이 더 이상 탐지되지 않으면, 포인팅 조작들이 종료할 수 있다. 만일 제1 손가락이 움직이지 않으면, 동작은 블록 892로 진행할 수 있고 그 블록에서는 변경자 이벤트를 찾는다. 변경자 이벤트는 예를 들면 손가락의 추가, 또는 새로운 손가락에 의해 행해지는 제스처 등일 수 있다. 그 후, 블록 894에서는, 특정 변경자 이벤트가 탐지되는지의 여부에 대한 판정이 행해질 수 있다. 만일 그렇지 않다면, 동작은 도로 블록 886으로 진행할 수 있다. 만일 그렇다면, 동작은 블록 896으로 진행할 수 있고 그 블록에서는 시스템이 포인팅 모드로부터 드래깅 모드로 전환된다. 만일 제1 손가락이 움직이면, 동작은 블록 898로 진행할 수 있고 그 블록에서는 제1 손가락 움직임에 따라서 드래깅 조작들이 수행된다. 제1 손가락이 더 이상 탐지되지 않으면, 드래깅 조작들이 종료할 수 있다.

도 54는 본 발명의 일 실시예에 따른, 예시적인 전자 시스템(950)을 보여준다. 이 전자 시스템은 이전의 실시예들 중 임의의 실시예와 함께 구성될 수 있다. 이 전자 시스템(950)은 데스크톱, 랩톱, 태블릿 또는 핸드헬드 컴퓨터를 포함하는 개인용 컴퓨터 시스템 등의 컴퓨터 시스템에 대응할 수 있다. 이 전자 시스템은 또한 휴대폰, PDA, 전용 미디어 플레이어 등을 포함하는 핸드헬드 장치 등의 다른 소비자 전자 장치들에 대응할 수 있다. 물론, 이 전자 시스템은 다른 전자 장치들에 적용될 수 있다.

도 54에 도시된 예시적인 시스템(950)은 명령들을 실행하고 시스템(950)과 관련된 동작들을 수행하도록 구성된 프로세서(956)를 포함할 수 있다. 예를 들면, 예를 들어 메모리로부터 검색된 명령들을 이용하여, 프로세서(956)는 컴퓨팅 시스템(950)의 컴포넌트들 간의 입력 및 출력 데이터의 수신 및 조작을 제어할 수 있다. 프로세서(956)는 단일 칩, 복수의 칩 또는 복수의 전자 컴포넌트들 상에 구현될 수 있다. 예를 들면, 전용 또는 내장 프로세서, 단일 목적 프로세서, 컨트롤러, ASIC 등을 포함한 다양한 아키텍처들이 프로세서(956)에 이용될 수 있다.

대부분의 경우에, 프로세서(956)는 운영 체제와 함께 컴퓨터 코드를 실행하고 데이터를 생성 및 이용하도록 동작할 수 있다. 운영 체제는 일반적으로 잘 알려져 있으므로 더 상세히 설명하지 않는다. 예로서, 운영 체제는 OS/2, DOS, Unix, Linux, Palm OS 등에 대응할 수 있다. 운영 체제는 또한 제한된 목적의 가전형 컴퓨팅 장치 용으로 이용될 수 있는 것과 같은 특수 목적 운영 체제일 수 있다. 운영 체제, 기타 컴퓨터 코드 및 데이터는 프로세스(956)에 유효하게 연결되는 메모리 블록(958) 내에 상주할 수 있다. 메모리 블록(958)은 시스템(950)에 의해 이용되는 컴퓨터 코드 및 데이터를 저장하는 장소를 제공한다. 예로서, 메모리 블록(958)은 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 하드 디스크 드라이브 등을 포함할 수 있다. 정보는 또한 이동식 저장 매체 상에 상주하고 필요에 따라 시스템(950)에 로딩되어 설치될 수도 있다. 이동식 저장 매체는, 예를 들면, CD-ROM, PC-CARD, 메모리 카드, 플로피 디스크, 자기 테이프, 및 네트워크 컴포넌트를 포함한다.

시스템(950)은 또한 프로세서(956)에 유효하게 연결되는 디스플레이 장치(968)를 포함할 수 있다. 디스플레이 장치(968)는 액정 디스플레이(LCD)(예컨대, 능동 매트릭스, 수동 매트릭스 등)일 수 있다. 이와 달리, 디스플레이 장치(968)는 흑백 디스플레이(monochrome display), 컬러 그래픽 어댑터(CGA) 디스플레이, EGA(enhanced graphics adapter) 디스플레이, VGA(variable-graphics-array) 디스플레이, 슈퍼 VCA 디스플레이, 음극선관(CRT)등의 모니터일 수 있다. 디스플레이 장치는 또한 플라스마 디스플레이 또는 전자 잉크로 구현된 디스플레이에 대응할 수도 있다.

디스플레이 장치(968)는 시스템의 사용자와 운영 체제 또는 그 위에서 실행하는 애플리케이션 간의 사용하기 쉬운 인터페이스(easy to use interface)를 제공하는 그래픽 사용자 인터페이스(GUI)(969)를 디스플레이하도록 구성될 수 있다. 일반적으로 말해서, GUI(969)는 그래픽 이미지들을 이용하여 프로그램, 파일 및 조작상의 옵션들을 나타낸다. 그래픽 이미지들은 창, 필드, 대화 상자, 메뉴, 아이콘, 버튼, 커서, 스크롤 막대 등을 포함할 수 있다. 그러한 이미지들은 미리 정해진 레이아웃으로 배열될 수 있고, 또는 사용자에 의해 취해지는 특정 액션들에 도움이 되도록 동적으로 생성될 수 있다. 동작 중에, 사용자는 기능들 및 그와 관련된 작업들을 개시하기 위하여 다양한 그래픽 이미지들을 선택 및 활성화할 수 있다. 예로서, 사용자는 창을 열거나, 닫거나, 최소화하거나, 최대화하는 버튼, 또는 특정 프로그램을 시작(launch)하는 아이콘을 선택할 수 있다. GUI(969)는 부가적으로 또는 이와 달리 디스플레이 장치(968) 상에 사용자를 위해 비대화형(non interactive) 텍스트 및 그래픽 등의 정보를 디스플레이할 수 있다.

시스템(950)은 또한 프로세서(956)에 유효하게 연결되는 하나 또는 그 이상의 입력 장치들(970)을 포함할 수 있다. 입력 장치들(970)은 외부 세계로부터 시스템(950) 내로 데이터를 전송하도록 구성될 수 있다. 입력 장치들(970)은 시스템(950)과 통합될 수도 있고 또는 그것들은 별도의 컴포넌트들(예컨대, 주변 장치들)일 수도 있다. 일부 경우에, 입력 장치들(970)은 유선 접속들(예컨대, 케이블/포트)을 통하여 시스템(950)에 접속될 수 있다. 다른 경우에, 입력 장치들(970)은 무선 접속들을 통하여 시스템(950)에 접속될 수 있다. 예로서, 데이터 링크는 PS/2, USB, IR, RF, 블루투스 등에 대응할 수 있다.

입력 장치(들)(970)는 예를 들면 디스플레이(968) 상의 GUI(969)에 관련하여 트래킹(tracking)을 수행하고 선택을 행하는 데 이용될 수 있다. 입력 장치(970)는 또한 시스템(950)에서 커맨드들을 발행하는 데 이용될 수 있다.

일 실시예에서, 입력 장치들(970)은 사용자의 터치로부터 입력을 수신하고 이 정보를 프로세서(956)에 송신하도록 구성된 터치 감지 장치를 포함할 수 있다. 예로서, 터치 감지 장치는 터치 패드, 터치 스크린 및/또는 터치 감지 하우징에 대응할 수 있다.

많은 경우에, 터치 감지 장치는 터치들(또는 근접 터치들)은 물론, 터치 감지 표면 상의 터치들의 위치 및 크기를 인지할 수 있다. 터치 감지 수단은 터치들을 프로세서(956)에 보고할 수 있고 프로세서(956)는 그의 프로그래밍에 따라서 터치들을 해석할 수 있다. 예를 들면, 프로세서(956)는 특정 터치에 따라서 작업을 개시할 수 있다. 로컬로(locally) 터치들을 처리하고 컴퓨터 시스템의 메인 프로세서에 대한 요구를 줄이기 위해 전용 프로세서가 이용될 수 있다. 터치 감지 장치는 용량 감지(capacitive sensing), 저항 감지(resistive sensing), 표면 음파 감지, 압력 감지, 광 감지 등을 포함하되 이들에 제한되지 않는 감지 기술들에 기초할 수 있다.

더욱이, 터치 감지 수단은 단일 점 감지 또는 다점 감지에 기초할 수 있다. 단일 점 감지는 하나의 터치만을 구별할 수 있는 반면, 다점 감지는 동시에 일어나는 복수의 터치들을 구별할 수 있다. 이와 달리 또는 부가적으로, 근접 감지 장치(proximity sensing devices)가 이용될 수 있다. 근접 감지 장치는 터치 표면 상보다는 오히려 공간 중의 물체를 감지할 수 있다.

일 실시예에서, 입력 장치들(970)은 다점 입력 장치를 포함할 수 있다. 다점 입력 장치는 동시에 2 이상의 물체(손가락)를 구별할 수 있다는 점에서 종래의 단일 점 장치에 비하여 이점을 갖는다. 예로서, 여기에서 이용될 수 있는 다점 장치에 대해서는 미국 특허 출원 10/840,862호 및 11/015,434호에 더 상세히 도시 및 설명되어 있고, 상기 2개의 출원은 모두 본 명세서에 참고 문헌으로 통합된다.

본 발명의 일 실시예에 따르면, 시스템(950)은 입력 장치들(970)(특히 터치 장치들) 중 하나 이상에 가해진 제스처들(985)을 인지하고 그 제스처들(985)에 기초하여 시스템(950)의 양태들을 제어하도록 설계될 수 있다. 전술한 바와 같이, 제스처는 하나 또는 그 이상의 특정 컴퓨팅 조작들에 매핑되는 입력 장치와의 양식화된 상호작용(stylized interaction)으로서 정의될 수 있다. 제스처들(985)은 다양한 손, 및 특히 손가락 움직임들에 의하여 만들어질 수 있다. 이와 달리 또는 부가적으로, 제스처들은 스타일러스로 만들어질 수도 있다. 이들 경우의 모두에서, 터치 장치 등의 입력 장치들(970) 중 적어도 하나가 제스처들(985)을 수신할 수 있고 프로세서(956)는 제스처들(985)과 관련된 조작들을 수행하는 명령들을 실행할 수 있다. 또한, 메모리 블록(958)은 제스처 운영 프로그램(gesture operational program)(988)을 포함할 수 있고, 이 프로그램은 운영 체제의 일부 또는 개별 애플리케이션일 수 있다. 제스처 운영 프로그램(988)은 제스처들(985)의 발생을 인지하고 하나 또는 그 이상의 소프트웨어 에이전트들에게 그 제스처들(985) 및/또는 그 제스처들(985)에 응답하여 취할 액션(들)에 대하여 통지하는 명령들의 세트를 포함할 수 있다.

사용자가 하나 또는 그 이상의 제스처를 수행할 경우, 입력 장치(970)는 제스처 정보를 프로세서(956)에 중계할 수 있다. 메모리(958)로부터의 명령들, 및 특히, 제스처 운영 프로그램(988)을 이용하여, 프로세서(956)는 제스처들(985)을 해석하고, 그 제스처들(985)에 기초하여 메모리(958), 디스플레이(968) 등의, 시스템(950)의 상이한 컴포넌트들을 제어할 수 있다. 제스처들(985)은 메모리(958)에 저장된 애플리케이션들에서 액션들을 수행하고, 디스플레이(968) 상에 제시된 GUI 개체들을 수정하고, 메모리(958)에 저장된 데이터를 수정하고, 및/또는 I/O 장치들에서 액션들을 수행하기 위한 커맨드들로서 식별될 수 있다. 예로서, 그 커맨드들은 주밍, 패닝, 스크롤링, 페이징, 회전, 사이징 등과 관련될 수 있다. 또 다른 예로서, 커맨드들은 또한 특정 프로그램을 시작하는 것(lanuching). 파일 또는 문서를 여는 것, 메뉴를 보는 것, 선택을 행하는 것, 명령들을 실행하는 것, 컴퓨터 시스템에 로그온하는 것, 권한 있는 개인들에게 컴퓨터 시스템의 제한된 영역들에의 액세스를 허용하는 것, 컴퓨터 데스트톱의 사용자의 선호 배열과 관련된 사용자 프로파일을 로딩하는 것 등과 관련될 수도 있다.

일 실시예에서, 입력 장치와 접촉하는 손가락의 수는 입력 모드를 나타낼 수 있다. 예를 들면, 예를 들어 단 하나의 손가락에 의한 것과 같은 단 하나의 터치는 트래킹, 즉, 포인터 또는 커서 움직임, 또는 선택을 수행하고자 하는 소망을 나타낼 수 있는 반면, 예를 들어 손가락 그룹에 의한 것과 같은 복수의 터치는 다른 제스처들을 수행하고자 하는 소망을 나타낼 수 있다. 제스처링을 구현하기 위한 손가락의 수는 매우 다양할 수 있다. 예로서, 2개의 손가락은 제1 입력 모드를 나타낼 수 있고, 3개의 손가락은 제3 입력 모드를 나타낼 수 있고, 등등이다. 이와 달리, 하나 또는 그 이상의 제스처 제어를 포함할 수 있는, 동일한 입력 모드를 위하여 임의의 손가락 수, 즉, 2개 이상이 이용될 수 있다. 원하는 모드를 나타내기 위해 유사하게 손가락들의 방위가 이용될 수도 있다. 예를 들어 사용자가 그의 엄지손가락을 이용하였는지 집게손가락을 이용하였는지에 기초하여 상이한 모드의 조작들을 허용하기 위해 손가락의 윤곽(profile)이 검출될 수도 있다.

하나의 특정 실시예에서는, 단 하나의 손가락이 트래킹(또는 선택)을 개시할 수 있고 서로 근접해 있는 2 이상의 손가락이 스크롤링 또는 패닝을 개시할 수 있다. 2개의 손가락은 하나의 손가락과 2개의 손가락 간의 용이한 토글링을 제공할 수 있다. 즉, 사용자는 단순히 추가 손가락을 들거나 놓음으로써 매우 용이하게 모드들 간에 전환할 수 있다. 이것은 다른 형태의 모드 토글링보다 더 직관적이라는 이점을 갖는다. 트래킹 동안에, 커서 움직임은 사용자가 터치 감지 장치의 터치 감응 표면 상에서 단 하나의 손가락을 움직임으로써 제어될 수 있다. 터치 감지 장치의 센서 배열은 손가락 움직임을 해석하고 디스플레이 상에 커서의 대응하는 움직임을 생성하기 위한 신호들을 생성할 수 있다. 스크롤링 동안에, 화면 움직임은 사용자가 터치 감지 장치의 터치 감응 표면 상에서 2개의 손가락을 움직임으로써 제어될 수 있다. 결합된 손가락들이 수직 방향으로 움직이면, 그 움직임은 수직 스크롤 이벤트로서 해석될 수 있고, 결합된 손가락들이 수평 방향으로 움직이면, 그 움직임은 수평 스크롤 이벤트로서 해석될 수 있다. 이러한 설명은 패닝의 경우에도 마찬가지이다(비록 패닝은 수평 및 수직 방향만이 아니라 모든 방향으로 일어날 수 있지만).

본 명세서에서 설명된 실시예들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다. 소프트웨어는 또한 컴퓨터 판독가능 매체 상의 컴퓨터 판독가능 코드로서 구현될 수 있다. 컴퓨터 판독가능 매체는 컴퓨터에 의해 판독될 수 있는 데이터를 저장할 수 있는 임의의 데이터 저장 장치이다. 컴퓨터 판독가능 매체의 예로는, 판독 전용 메모리(read-only memory), 랜덤 액세스 메모리(random-access memory), CD-ROM, DVD, 자기 테이프, 광 데이터 저장 장치, 및 반송파(carrier waves) 등이 있다. 컴퓨터 판독가능 매체는 또한 컴퓨터 판독가능 코드가 분산 방식(distributed fashion)으로 저장 및 실행되도록 네트워크로 연결된 컴퓨터 시스템들에 분산될 수도 있다.

이상 몇몇 실시예들에 의하여 본 발명이 설명되었지만, 본 발명의 범주 내에 속하는 변경들, 치환들, 및 동등물들이 있다. 예를 들면, 본 발명은 주로 터치 장치에 지향되지만, 본 발명은 또한 근접 감지 장치로 구현될 수도 있다. 또한, 복수의 장치들에 걸쳐서 제스처 선호들을 자동으로 동기시키는 방법들이 구현될 수도 있다. 예를 들면, 호스트 컴퓨터에 팜 장치(palm device)가 접속되는 경우. 또한 본 발명의 방법들 및 장치들을 구현하는 다수의 이와 다른 방법들이 있다는 것을 유의해야 할 것이다. 예를 들면, 본 발명은 주로 다점 감지 장치와 관련된 방법들에 지향되었지만, 그 방법들 중 일부는 단일 점 감지 장치에 지향될 수도 있다. 그러므로 다음의 부속된 청구항들은 본 발명의 진정한 사상 및 범주 내에 속하는 모든 그러한 변경들, 치환들, 및 균등물들을 포함하는 것으로 해석되어야 할 것이다.

Claims (14)

1. 코드(chord)에 대한 제스처 세트 내에서 제1 제스처 이벤트 및 제2 제스처 이벤트를 정의하고 - 상기 제1 제스처 이벤트 및 상기 제2 제스처 이벤트는 각각 반대 방향에서 검출되는 동일한 움직임에 연관됨 -, 상기 제1 제스처 이벤트 다음에 상기 제2 제스처 이벤트가 일어나는 경우, 상기 제1 제스처 이벤트에 의해 개시된 동작의 취소 동작을 수행하도록 구성되는 제스처 모듈을 포함하는 전자 시스템.
2. 제1항에 있어서,
   상기 제1 제스처 이벤트의 상기 동작은 애플리케이션을 여는 것이고, 상기 취소 동작은 상기 애플리케이션을 닫는 것인, 전자 시스템.
3. 제1항에 있어서,
   상기 제1 제스처 이벤트의 상기 동작은 상기 전자 시스템의 디스플레이 상에 하나 이상의 창들을 디스플레이하는 것이고, 상기 취소 동작은 상기 디스플레이된 하나 이상의 창들을 상기 디스플레이로부터 숨기는 것인, 전자 시스템.
4. 제1항에 있어서,
   상기 움직임은 슬라이딩(sliding), 스와이핑(swiping), 플리킹(flicking) 및 회전(rotation)으로부터 선택되는, 전자 시스템.
5. 제1항에 있어서,
   상기 취소 동작은 상기 제1 제스처 이벤트와 상기 제2 제스처 이벤트 사이에 다른 제스처 이벤트가 발생되지 않은 경우에만 수행되는, 전자 시스템.
6. 코드에 대한 제스처 세트 내에서 제1 제스처 이벤트 및 제2 제스처 이벤트를 정의하는 단계 - 상기 제1 제스처 이벤트 및 상기 제2 제스처 이벤트는 각각 반대 방향에서 검출되는 동일한 움직임에 연관됨 -; 및
   상기 제1 제스처 이벤트 다음에 상기 제2 제스처 이벤트가 일어나는 경우, 상기 제1 제스처 이벤트에 의해 개시된 동작의 취소 동작을 수행하는 단계
   를 포함하는 제스처 제어 방법.
7. 제6항에 있어서,
   상기 제1 제스처 이벤트의 상기 동작은 애플리케이션을 여는 것이고, 상기 취소 동작은 상기 애플리케이션을 닫는 것인, 제스처 제어 방법.
8. 제6항에 있어서,
   상기 제1 제스처 이벤트의 상기 동작은 전자 시스템의 디스플레이 상에 하나 이상의 창들을 디스플레이하는 것이고, 상기 취소 동작은 상기 디스플레이된 하나 이상의 창들을 상기 디스플레이로부터 숨기는 것인, 제스처 제어 방법.
9. 제6항에 있어서,
   상기 움직임은 슬라이딩, 스와이핑, 플리킹 및 회전으로부터 선택되는, 제스처 제어 방법.
10. 제6항에 있어서,
    상기 취소 동작은 상기 제1 제스처 이벤트와 상기 제2 제스처 이벤트 사이에 다른 제스처 이벤트가 발생되지 않은 경우에만 수행되는, 제스처 제어 방법.
11. 하나 이상의 객체로들부터의 다점 감지 영역 내에서의 하나 이상의 터치들을 검출하기 위해 상기 다점 감지 영역을 제공하는 다점 감지 장치; 및
    제스처 세트 내에서 복수의 제스처 이벤트들을 정의하도록 구성되는 제스처 모듈
    을 포함하는 전자 시스템으로서,
    상기 복수의 제스처 이벤트들은,
    제1 객체에 의한 터치에 대응하는 포인팅(pointing) 제스처 이벤트,
    상기 제1 객체와 제2 객체에 의해 동시에 발생하는 터치들에 대응하는 1차 클릭 및 드래그(primary click and drag) 제스처 이벤트, 및
    상기 제1 객체와 제3 객체에 의해 동시에 발생하는 터치들에 대응하는 2차 클릭 및 드래그(secondary click and drag) 제스처 이벤트
    를 포함하는, 전자 시스템.
12. 제11항에 있어서,
    상기 제1 객체는 제1 손가락이고, 상기 제2 객체는 상기 제1 손가락에 인접하는 제2 손가락이며, 상기 제3 객체는 상기 제1 손가락에 인접하지 않는 제3 손가락인, 전자 시스템.
13. 하나 이상의 객체로들부터 다점 감지 장치의 다점 감지 영역에서 하나 이상의 터치들을 검출하는 단계;
    제스처 세트에서 복수의 제스처 이벤트들을 정의하는 단계 - 상기 복수의 제스처 이벤트들은 제1 객체에 의한 터치에 대응하는 포인팅 제스처 이벤트, 상기 제1 객체와 제2 객체에 의해 동시에 발생하는 터치들에 대응하는 1차 클릭 및 드래그 제스처 이벤트 및 상기 제1 객체와 제3 객체에 의해 동시에 발생하는 터치들에 대응하는 2차 클릭 및 드래그 제스처 이벤트를 포함함 -;
    상기 정의된 제스처 이벤트들 중 하나에 대해 상기 하나 이상의 터치들을 모니터하는 단계; 및
    상기 제스처 이벤트들 중 하나가 인식되는 경우 상기 정의된 제스처 이벤트들 중 상기 하나와 연관된 동작을 수행하는 단계
    를 포함하는 제스처 제어 방법.
14. 제13항에 있어서,
    상기 제1 객체는 제1 손가락이고, 상기 제2 객체는 상기 제1 손가락에 인접하는 제2 손가락이며, 상기 제3 객체는 상기 제1 손가락에 인접하지 않는 제3 손가락인, 제스처 제어 방법.

Images