KR20150047577A - 손 자세 제어에 의한 입력 디바이스 - Google Patents

손 자세 제어에 의한 입력 디바이스 Download PDF

Info

Publication number
KR20150047577A
KR20150047577A KR1020157007366A KR20157007366A KR20150047577A KR 20150047577 A KR20150047577 A KR 20150047577A KR 1020157007366 A KR1020157007366 A KR 1020157007366A KR 20157007366 A KR20157007366 A KR 20157007366A KR 20150047577 A KR20150047577 A KR 20150047577A
Authority
KR
South Korea
Prior art keywords
input object
user input
touch
dimensional space
parameters
Prior art date
Application number
KR1020157007366A
Other languages
English (en)
Other versions
KR102137687B1 (ko
Inventor
롤랜드 아우바우어
요하네스 마토킥
클라우스 칼트너
Original Assignee
마이크로칩 테크놀로지 저머니 Ⅱ 게엠베하 운트 콤파니 카게
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로칩 테크놀로지 저머니 Ⅱ 게엠베하 운트 콤파니 카게 filed Critical 마이크로칩 테크놀로지 저머니 Ⅱ 게엠베하 운트 콤파니 카게
Publication of KR20150047577A publication Critical patent/KR20150047577A/ko
Application granted granted Critical
Publication of KR102137687B1 publication Critical patent/KR102137687B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Position Input By Displaying (AREA)

Abstract

실시예들에 따른 제스처 검출 시스템은: 터치 감지 표면 및 비접촉 검출 시스템을 포함하는 입력 디바이스; 및 사용자 입력 오브젝트의 3차원 공간에서의 위치에 대한 특성 파라미터들을 결정하고 그리고 상기 사용자 입력 오브젝트의 위치에 기초하여 상기 입력 디바이스의 동작 모드를 선택하도록 구성된 제어기를 포함한다.

Description

손 자세 제어에 의한 입력 디바이스{INPUT DEVICE WITH HAND POSTURE CONTROL}
관련 출원에 대한 상호 참조
본 출원은 2012년 8월 27일 출원된 미국 가출원 번호 61/693,617 호의 우선 이익을 주장하며, 상기 미국 가출원은 그 전체가 여기에 완전히 설명된 것처럼 본 출원에 참조로 통합된다.
기술 분야
본 개시는 휴먼 인터페이스 디바이스에 관한 것으로, 특히 모바일 디바이스의 키보드를 에뮬레이팅하기 위한 터치 센서 시스템에 관한 것이다.
스마트폰들 및 태블릿 PC들과 같은 작은 디바이스들에서, 그래픽 사용자 인터페이스의 디스플레이 터치 패널 상에 나타나는 "키보드"를 위한 공간은 한정되며 전형적으로 보통 키보드들에서보다 훨씬 작다. 게다가, 디스플레이 터치 패널의 특성으로 인하여, 열 손가락 타이핑이 불가능하다.
많은 디스플레이 터치 패널들에서, 키들의 수는 최소한으로 감소된다. 예를 들어, 이러한 많은 키보드 디스플레이들에서는, 하나의 시프트 키만이 존재하며, 키 잠금 키가 존재하지 않고, 숫자 키들 및 특수 문자키들도 존재하지 않는다. 그 문자들은, 시프트 키를 통해 도달할 수 있고 제 2 "키보드"를 디스플레이하는 별도의 입력 모드들을 통해서만 액세스될 수 있다. 따라서, 상단 키들, 숫자들, 특수 문자들 또는 추가 제어 기능들에 액세스하기 위해서는 연속적으로 두 번 키를 치는 것이 항상 필요하다.
실시예들에 따른 제스처 검출 방법은: 터치 위치를 검출하는 것; 입력 오브젝트의 위치의 특성 파라미터들에 따라 입력 모드를 선택하는 것; 그리고 상기 특성 파라미터들의 계산 이후에 또는 각각의 터치의 해제에 따라, 입력 문자를 입력하는 것을 포함한다. 몇몇 실시예들에서, 입력 모드는 3차원 센서 시스템의 파라미터 변화의 검출시 전환된다. 몇몇 실시예들에서, 상기 파라미터들은 터치를 수행하는 입력 오브젝트의 앙각(elevation) 레벨에 의해 결정된다. 몇몇 실시예들에서, 상기 입력 오브젝트는 손이고, 상기 파라미터들은 모바일 디바이스를 쥐고 있는 상기 손의 손가락을 들어올림으로써 결정된다. 몇몇 실시예들에서, 상기 파라미터들은 터치를 수행하는 상기 손의 방위각에 의해 결정된다. 몇몇 실시예들에서, 제 1 앙각은 제 1 입력 모드를 선택하고, 제 2 앙각은 제 2 입력 모드를 선택한다. 몇몇 실시예들에서, 제 1 방위각은 제 1 입력 모드를 선택하고, 제 2 방위각은 제 2 입력 모드를 선택한다.
실시예들에 따른 제스처 검출 시스템은: 터치 감지 표면 및 비접촉 검출 시스템을 포함하는 입력 디바이스; 및 사용자 입력 오브젝트의 3차원 공간에서의 위치에 대한 특성 파라미터들을 결정하고 그리고 상기 사용자 입력 오브젝트의 위치에 기초하여 상기 입력 디바이스의 동작 모드를 선택하도록 구성된 제어기를 포함한다. 몇몇 실시예들에서, 상기 입력 디바이스 또는 상기 연결된 시스템은 그래픽 사용자 인터페이스를 포함한다. 몇몇 실시예들에서, 상기 사용자 입력 오브젝트의 상기 3차원 공간에서의 위치는 상기 사용자 입력 오브젝트의 방위각을 결정하는 것과 상기 방위각에 기초하여 상기 그래픽 사용자 인터페이스 상의 문자를 선택하는 것을 포함한다. 몇몇 실시예들에서, 상기 사용자 입력 오브젝트의 상기 3차원 공간에서의 위치를 결정하는 것은 상기 사용자 입력 오브젝트의 앙각을 결정하는 것과 상기 앙각에 기초하여 상기 그래픽 사용자 인터페이스 상의 문자를 선택하는 것을 포함한다. 몇몇 실시예들에서, 상기 제어기는 제 2 사용자 입력 오브젝트의 3차원 공간에서의 위치를 결정하고 그리고 상기 제 2 사용자 입력 오브젝트의 위치에 기초하여 상기 입력 디바이스의 동작 모드를 선택하도록 구성된다. 몇몇 실시예들에서, 상기 입력 디바이스의 상기 동작 모드는 상기 사용자 입력 오브젝트의 상기 3차원 공간에서의 위치에 기초하여 옵션 메뉴를 표시하는 것을 포함한다. 몇몇 실시예들에서, 상기 시스템은, 타이핑된 텍스트 및 상기 사용자 입력 오브젝트의 상기 3차원 공간에서의 위치의 검출에 응답하여 액세스할 수 있는 사전을 포함한다. 몇몇 실시예들에서, 상기 제어기는, 상기 사용자 입력 오브젝트의 상기 3차원 공간에서의 위치에 기초하여 상기 타이핑된 텍스트와 연관된 상기 사전으로부터 하나 이상의 자동 완성 옵션들을 제공하도록 추가로 구성된다.
실시예들에 따른 전자 디바이스는: 터치 감지 표면 및 비접촉 검출 시스템을 포함하는 입력 디바이스; 상기 입력 디바이스를 이용하는 선택들(selections)을 표시하기 위한 디스플레이 디바이스; 및 상기 터치 감지 표면에 대한 사용자 입력 오브젝트의 3차원 공간에서의 위치와 연관된 파라미터들을 결정하고 그리고 상기 사용자 입력 오브젝트의 위치에 기초하여 상기 입력 디바이스의 동작 모드를 선택하도록 구성된 제어기를 포함한다. 몇몇 실시예들에서, 상기 사용자 입력 오브젝트의 상기 3차원 공간에서의 위치와 연관된 파라미터들을 결정하는 것은 상기 사용자 입력 오브젝트의 방위각을 결정하는 것과 상기 방위각에 기초하여 그래픽 사용자 인터페이스 상의 문자를 선택하는 것을 포함한다. 몇몇 실시예들에서, 상기 사용자 입력 오브젝트의 상기 3차원 공간에서의 위치와 연관된 파라미터들을 결정하는 것은 상기 사용자 입력 오브젝트의 앙각을 결정하는 것과 상기 앙각에 기초하여 그래픽 사용자 인터페이스 상의 제 1 문자 또는 제 2 문자를 선택하는 것을 포함한다. 몇몇 실시예들에서, 상기 제어기는 제 2 사용자 입력 오브젝트의 3차원 공간에서의 위치와 연관된 파라미터들을 결정하고 그리고 상기 제 2 사용자 입력 오브젝트의 위치에 기초하여 상기 입력 디바이스의 동작 모드를 선택하도록 구성된다. 몇몇 실시예들에서, 상기 입력 디바이스의 상기 동작 모드는 상기 사용자 입력 오브젝트의 상기 3차원 공간에서의 위치에 기초하여 옵션 메뉴를 표시하는 것을 포함한다. 몇몇 실시예들에서, 상기 디바이스는 타이핑된 텍스트 및 상기 파라미터들의 검출에 응답하여 액세스할 수 있는 사전을 포함한다. 몇몇 실시예들에서, 상기 제어기는 상기 파라미터들에 기초하여 상기 타이핑된 텍스트와 연관된 상기 사전으로부터 하나 이상의 자동 완성 옵션들을 제공하도록 추가로 구성된다.
실시예들에 따른 방법은: 3차원 공간에서 사용자 입력 오브젝트의 위치-관련 파라미터들을 검출하는 것; 그리고 상기 위치-관련 파라미터들에 기초하여 전자 디바이스의 동작 모드를 선택하는 것을 포함한다. 몇몇 실시예들에서, 상기 동작 모드는 상기 위치-관련 파라미터들에 기초하여 그래픽 사용자 인터페이스 상의 제 1 문자 또는 제 2 문자를 선택하는 것을 포함한다. 몇몇 실시예들에서, 상기 위치-관련 파라미터들은 상기 사용자 입력 오브젝트의 방위각을 포함한다. 몇몇 실시예들에서, 상기 위치-관련 파라미터들은 상기 사용자 입력 오브젝트의 앙각을 포함한다. 몇몇 실시예들에서, 상기 방법은 3차원 공간에서 제 2 사용자 입력 오브젝트의 위치-관련 파라미터들을 검출하는 것과, 3차원 공간에서 상기 제 2 사용자 입력 오브젝트의 상기 위치-관련 파라미터들에 기초하여 상기 전자 디바이스의 동작 모드를 선택하는 것을 더 포함한다. 몇몇 실시예들에서, 상기 동작 모드를 선택하는 것은 상기 위치-관련 파라미터들에 기초하여 그래픽 사용자 인터페이스 상의 하나 이상의 제어들을 선택하는 것을 포함한다. 몇몇 실시예들에서, 상기 방법은, 타이핑된 텍스트 및 상기 위치-관련 파라미터들의 검출에 응답하여 사전에 액세스하는 것을 더 포함한다. 몇몇 실시예들에서, 상기 방법은 상기 위치-관련 파라미터들에 기초하여 상기 타이핑된 텍스트와 연관된 상기 사전으로부터 하나 이상의 자동 완성 옵션들을 제공하는 것을 포함한다.
본 개시의 이들 및 다른 특징들은 첨부 도면들과 결합된 이하의 설명을 참조하면 보다 완전하게 이해될 수 있을 것이다. 하지만, 본 개시의 다양한 실시예들 및 이들의 다수의 특정 세부 사항들을 나타내는 다음의 설명은 예시로서 주어지고 한정하고자 하는 것이 아님을 이해해야 한다. 많은 대체들, 수정들, 추가들 및/또는 재배열들이 본 개시의 사상을 벗어나지 않는 본 개시의 범위 내에서 행해질 수 있고, 본 개시는 모든 이러한 대체들, 수정들, 추가들 및/또는 재배열들을 포함한다.
첨부되고 본 명세서의 일부를 형성하는 도면들은 본 개시의 특정 측면들을 묘사하기 위해 포함된다. 도면들에 도시된 특징들은 반드시 실척으로 도시된 것은 아님을 유의해야 한다. 본 개시 및 그 이점들은 첨부 도면들과 결합된 이하의 설명을 참조하면 보다 완전하게 이해될 수 있을 것이며, 도면들에서 같은 참조 번호들은 동일한 기능들을 가리킨다.
도 1은 몇몇 실시예들에 따른, 터치-감지 표면 및 비접촉 검출 수단을 갖는 전자 디바이스의 일반 개략적인 표현의 등각도를 도시한 도면이다.
도 2는 몇몇 실시예들에 따른, 터치-감지 표면 및 비접촉 검출 수단을 갖는 전자 디바이스의 일반 개략적인 표현의 단면도를 도시한 도면이다.
도 3은 몇몇 실시예들에 따른, 예시적인 전자 디바이스를 설명하는 블록도를 도시한 도면이다.
도 4는 몇몇 실시예들에 따른, 비접촉 검출 수단과 결합된 터치-감지 디스플레이의 일반 개략적인 표현의 평면도를 도시한 도면이다.
도 5는 몇몇 실시예들에 따른, 비접촉 검출 수단과 결합된 터치-감지 디스플레이의 일반 개략적인 표현의 측면도를 도시한 도면이다.
도 6은 몇몇 실시예들에 따른, 비접촉 검출 수단과 결합된 터치-감지 디스플레이의 일반 개략적인 표현의 평면도를 도시한 도면이다.
도 7은 몇몇 실시예들에 따른, 비접촉 검출 수단과 결합된 터치-감지 디스플레이의 일반 개략적인 표현의 측면도를 도시한 도면이다.
도 8은 손 자세 제어를 위한 예시적인 환경을 도시한 도면이다.
도 9는 손가락 앙각(elevation) 제어를 도시한 도면이다.
도 10은 절대 각도 제어를 갖는 실시예들의 동작을 설명하는 흐름도를 도시한 도면이다.
도 11은 상대 각도 제어를 갖는 실시예들의 동작을 설명하는 흐름도를 도시한 도면이다.
도 12는 방위각 제어를 도시한 도면이다.
도 13은 방위각 제어를 설명하는 흐름도를 도시한 도면이다.
도 14는 방위각 제어의 예를 도시한 도면이다.
도 15는 방위각 제어 입력 방법의 전형적인 시퀀스들을 설명하는 흐름도를 도시한 도면이다.
도 16a 및 도 16b는 앙각 제어의 예를 도시한 도면이다.
본 개시 및 다양한 특징들 및 그의 유리한 세부 사항들은, 첨부 도면들에 도시되고 이하 상세하게 설명된 예시적인 - 그러므로 비제한적인 - 실시예들을 참조하여 보다 상세하게 설명된다. 하지만, 바람직한 실시예들을 나타내는 상세한 설명 및 특정 예들은 예시로서만 주어지고 한정하고자 하는 것이 아님을 이해해야 한다. 알려져 있는 프로그래밍 기술들, 컴퓨터 소프트웨어, 하드웨어, 운영 플랫폼들 및 프로토콜들의 설명들은 상세한 본 개시를 쓸데없이 애매하게 하지 않도록 생략될 수 있다. 기본적인 발명의 개념의 사상 및/또는 범위 내의 다양한 대체들, 수정들, 추가들 및/또는 재배열들은 본 개시로부터 이 기술분야의 당업자들에게 명백하게 될 것이다.
일반적으로, 스마트 폰들 또는 태블릿들과 같은 작은 디바이스들 상의 타이핑은 유창한 사용을 어렵게 하는 작은 키들을 정확하게 눌러야 하기 때문에 불편하다. 눌러야 할 키들이 적을수록, 타이핑은 더욱 용이하게 된다. 다양한 실시예들에 따르면, 대문자, 소문자, 및 특수 문자들 사이를 전환하고 (또는 다른 문자들이나 키보드 입력들 사이를 전환하고) 그리고 손 자세 제어를 문법 체크 및 사전 이용과 결합하는 방법들이 제공되어, 하나의 손가락으로 작은 키보드에 편안하게 쓸 수 있게 한다. 다양한 실시예들은 디스플레이 터치 패널들 상의 특수 문자 키들에의 액세스를 두 개의 사용자 상호작용들 대신 단지 하나 - 즉, 단일 키 누름으로 - 단순화한다.
아래에 더욱 상세하게 설명되는 바와 같이, 필요한 키 누름들의 감소는 터치 위치와 앙각(elevation)(α) 및 방위각(β)의 변화를 둘 다 검출함으로써, 다양한 실시예들에 따라 달성될 수 있다. 몇몇 실시예들에서, 입력 오브젝트의 위치는 입력 오브젝트의 공간 구성에 관련되고, 그리고 오브젝트의 무게 중심 위치와 이러한 오브젝트의 자세 또는 방위(orientation) 중 어느 하나를 또는 둘 다를 포함할 수 있다. 예를 들어, 손의 경우, 상기 위치는 공간에서의 방위 및/또는 손 자세(hand posture)를 포함할 수 있다.
이러한 검출을 위한 적절한 기술은 전기장 측정일 수 있는데, 예를 들어, 약 50kHz 내지 200kHz의 주파수를 갖는 신호를 송신 전극에 주입하여, 핸드헬드 디바이스의 표면 근처에 배열될 수 있는 다양한 수신 전극들로부터 전압들을 측정한다. 대문자와 소문자 사이의 전환은 터치하는 동안 손의 앙각을 변화시킴으로써 다양한 실시예들에 따라 달성될 수 있다. 또한, 대문자와 소문자 사이의 전환은 제 2 손가락 - 예컨대, 모바일 디바이스를 들고 있는 손의 제 2 손가락 - 의 움직임에 의해 달성될 수 있다. 다른 다양한 실시예들에 따르면, 특수 문자들의 선택, 단어 자동 완성(word auto-completion), 및 수정(correction)은 손 자세의 방위각을 변화시킴으로써 달성될 수 있다.
손 자세 검출 시스템
아래에 더욱 상세하게 논의되는 바와 같이, 다양한 실시예들은 전자 디바이스를 제어하기 위해 손 자세를 검출하고 손 자세를 이용한다. 따라서, 이러한 손 자세를 검출하는데 사용될 수 있는 시스템을 먼저 설명하는 것이 도움이 될 수 있다. 이러한 검출을 위한 시스템 및 방법에 관한 추가적인 세부사항들은 2011년 12월 9일 출원된 "Electronic device with a user interface that has more than two degrees of freedom, the user interface comprising a touch-sensitive surface and contact-free detection means"라는 발명의 명칭의 공동-할당된, 공동 출원의 미국 특허 출원 번호 제13/315,739호에 개시되어 있으며, 이 문헌은 여기에서 완전히 설명된 것처럼 그 전체가 본 출원에 참조로 통합된다.
도 1은 사용자 입력 오브젝트에 관한 제 1 위치 정보 및 제 2 위치 정보를 결정하도록 구성된 전자 디바이스(100)의 전체 개략도이다. 전자 디바이스는 태블릿 컴퓨터일 수 있지만, 모바일 폰, mp3 플레이어, PDA, 태블릿 컴퓨터, 컴퓨터, 리모콘, 라디오, 컴퓨터 마우스, 터치-감지 디스플레이, 키보드, 키패드, 및 텔레비전과 같이, 그 자체가 사용자 인터페이스이거나 사용자 인터페이스를 포함하는 임의의 전자 디바이스일 수 있다. 사용자 입력 오브젝트(500)(도 2)는 사용자 손가락(500)으로 도시되었지만, 스타일러스(예를 들어, 작은 펜-형상의 기기) 또는 디지털 펜과 같은 것일 수도 있다.
일 실시예에서, 전자 디바이스(100)는 터치-감지 모듈(200)을 포함하며 이 터치-감지 모듈(200)은 예를 들어, 터치-감지 모듈(200)의 액티브 영역(202)을 터치하는 사용자 입력 오브젝트(500)를 검출하도록 구성되어 사용자-인터페이스로서 역할을 하는 터치 감지 표면 및/또는 디스플레이를 포함한다. 터치-감지 모듈(200)은 사용자 입력 오브젝트(500)가 그의 액티브 영역(202)을 터치하는 것을 검출할 뿐만 아니라, 사용자 입력 오브젝트(500)가 액티브 영역과 접촉하는 곳도 또한 검출하는데, 즉 터치-감지 디스플레이는 터치-감지 모듈(200)과 상기 사용자 입력 오브젝트(500) 사이의 접촉 영역(예를 들어, 가중 기하 평균 위치, 또는 액티브 영역이 센서 세그먼트들로 분할되는 경우, 접촉되는 모든 센서 세그먼트들)의 x-좌표 및 y-좌표를 추출한다. 따라서, 터치-감지 표면(200)은 사용자 입력 오브젝트(500)가 터치-감지 모듈(200)과 접촉하는 곳에만 의존하는 제 1 위치 정보를 결정한다.
이 실시예에서, 터치 감지 표면은 용량 센서 기술에 기초하며, 여기서 터치-감지 모듈(200)의 액티브 영역(202)은 세그먼트들로 분할되고, 각각의 세그먼트는 용량 센서 요소(204)를 포함한다(도 4); 그러나 매우 다양한 서로 다른 센서 기술들이 터치-감지 표면(200)의 기초를 형성할 수도 있다: 예를 들어, 저항성, 용량성(예컨대, 표면 용량성, 투영식 용량성, 상호 용량성, 자체 용량성), 표면 음향파, 적외선, 광학 이미징, 분산 신호, 및 음향 펄스 인식 센서 기술. 이 실시예에서, 터치 감지 모듈(200)은 전자 디바이스(100)에 의해 발생된 정보를 디스플레이하도록 구성된 터치-감지 디스플레이이다.
전자 디바이스(100)는 비접촉 검출 시스템(300)을 더 포함할 수 있다. 일반적으로, 비접촉 검출 시스템(300)은 이 의미에서는, 터치-감지 표면(200)에 관한 사용자 입력 오브젝트(500)의 공간 구성에 의존하는 제 2 위치 정보를 결정하도록 구성된 임의의 시스템이다. 사용자 입력 오브젝트(500)의 공간 구성은 터치-감지 모듈(200)에 관한 사용자 입력 오브젝트(500)의 3차원 배열, 위치, 및 방위로서 이해될 수 있다. 사용자 입력 오브젝트(500)는 도면들에 도시된 바와 같이 사용자 손가락(500)이고; 따라서, 공간 구성은 손가락(500)이 차지하는 공간을 나타낸다.
사용자 입력 오브젝트(500)는 터치-감지 모듈(200) 상의 동일한 접촉 영역(210)을 터치한 채로 유지될 수 있는 동안에, 그의 공간 구성은 변화될 수 있다. 구체적인 예는, 손가락(500)에 연결된 손이 좌우 또는 상하로 움직이는 동안에 사용자 손가락(500)은 터치-감지 영역의 하나의 특정 접촉 영역을 터치한다는 것이다. 따라서, 손가락(500)의 공간 구성은 터치-감지 표면(202)에 있어서의 접촉 영역(210)이 동일한 상태로 유지되는 동안에 변화한다. 제 2 위치 정보를 결정함으로써, 전자 디바이스(100)는 터치-감지 모듈(200)에 관한 (및/또는 그 위의 소정 기준 포인트에 관한) 사용자 입력 오브젝트의 공간 구성에 의존하는 정보를 결정한다.
구체적으로, 도시된 실시예에서는, 비접촉 검출 시스템(300)은 복수의 전극들에 의한 용량성 감지에 기초한다. 도 1은 전기장을 발생시키는 배후 전극(306) 및 4개의 필드-검출 전극들(301, 302, 303, 304)의 배열을 개략적으로 도시한 도면이다. 여기서, 4개의 전기장 검출 전극들(301, 302, 303, 304)이 독립 유닛들로 도시되고, 후면 전극(306)은 터치-감지 모듈(200)의 일부분으로 도시되었다. 하지만, 각각의 전기장 검출 전극들(301, 302, 303, 304) 및 후면 전극(306)은 터치-감지 모듈(200)의 일부분이거나 또는 독립된 실재물(實在物)일 수 있다. 적어도 각각의 전기장 검출 전극들(301, 302, 303, 304) 및 전기장 발생 전극(306)은 비접촉 검출 제어기(124)(도 3)에 동작 가능하게 연결된다. 상기 배후 전극은 예를 들어, 터치-감지 모듈(200)을 포함하는 터치-감지 디스플레이의 VCOM 전극일 수 있다. 용량성 감지 시스템 형태의 비접촉 검출 수단(300)은 두 가지 모드들로 동작될 수 있다. 즉 (1) 사용자 입력 오브젝트(500)가 전기장 발생 전극(306)과 검출 전극들(301, 302, 303, 304) 사이의 결합을 변경시키는 션트(shunt) 모드 - 이 모드에서는 손이 전기장을 흡수하여 검출 전극들에 의해 검출되는 전기장을 감소시킴 - 로, 그리고 (2) 사용자 입력 오브젝트(500)가 전기장 발생 및 검출 전극들(301, 302, 303, 304)을 로딩하거나 그라운드 전극들(electrodes to ground)의 접지에 대한 기생 커패시턴스를 증가시키는 자기(self)- 또는 절대 커패시턴스 모드로 동작될 수 있다.
전자 디바이스(100)는 또한 터치-감지 모듈(200)에 그리고 비접촉 검출 시스템(300)에 동작 가능하게 연결된 제어기를 포함한다. 상기 제어기는 터치-감지 표면으로부터 및 비접촉 검출 수단으로부터 얻어진 (아날로그나 디지털일 수 있는) 정보 및/또는 데이터를 처리하도록 구성된 임의의 수단일 수 있다. 상기 제어기는 하나 이상의 제어기들, 프로세서들, 집적 회로들(IC), 주문형 집적 회로(ASIC), 아날로그-디지털 컨버터들(ADC), 및/또는 프로그래머블 컴퓨팅 머신들을 포함할 수 있다. 이 특정 실시예에서는, 상기 제어기는 적어도 두 개의 제어기들, 즉 터치-감지 표면 제어기(122) 및 이미 위에서 언급된 비접촉 검출 제어기(124)를 구비한 서브시스템(120)을 포함한다. 두 제어기들은 모두 주문형 집적 회로(ASIC)들로 구현된다. 몇몇 실시예들에서, 그 두 제어기들은 단일 ASIC로 구현된다.
제어기(120)는 터치-감지 표면을 통해 제 1 위치 정보를 그리고 비접촉 검출 시스템(300)을 통해 제 2 위치 정보를 동시에 및/또는 교대로 결정하도록 구성된다. 제 1 위치 정보와 제 2 위치 정보 둘 다가 동시에 및/또는 교대로 어떻게 결정되는지는 전자 디바이스(100)의 구체적인 실시예에 따라 결정된다. 여기서, 비접촉 검출 수단(300)과 터치-감지 모듈(200)은 둘 다 용량성 감지에 기초하고 있다.
이러한 시스템에서는, 그들의 측정값들이 서로 간섭하는 문제가 발생할 수 있다. 간섭 문제를 해결하거나 이러한 문제가 발생하는 것을 예방하기 위해, 멀티플렉싱 방법이 사용될 수 있다. 현재 논의된 몇몇 실시예들에서는, 시간-분할-멀티플렉싱뿐만 아니라 주파수-분할-멀티플렉싱 또는 이벤트 트리거 멀티플렉싱 둘 다가 구현된다.
시간-분할-멀티플렉싱에 대해서는, 시간은 간격들로 분할되며, 여기서 두 개의 연속 시간 간격들에서, 제 1 위치 정보는 상기 두 시간 간격들 중 하나에서 터치-감지 모듈(200)을 통해 결정되고, 제 2 위치 정보는 상기 두 시간 간격들 중 다른 하나에서 비접촉 검출 수단을 통해 결정된다. 각각의 시간 간격은 수 밀리 초의 정도(order)일 수 있다. 각각의 시간 간격은 100ms, 10ms, 1ms, 또는 0.1ms보다 작을 수 있다. 시간-분할-멀티플렉싱은 임의의 주어진 시점에서 최신의 제 1 위치 정보 및 제 2 위치 정보 둘 다가 전자 디바이스(100)에서 이용가능하도록 제 1 위치 정보 및 제 2 위치 정보를 교대로 결정할 수 있게 한다.
이벤트 트리거 멀티플렉싱에 대해서는, 비접촉 검출 수단(300)은 자신이 터치-이벤트를 검출할 때까지 계속 액티브 상태에 있다. 터치 이벤트 검출시, 비접촉 검출 수단(300)은 비활성화되고 그리고 터치-감지 모듈(200)은 활성화되어 터치 위치를 검출한다. 터치-감지 모듈(200)에서 어떠한 터치도 검출되지 않을 때, 비접촉 검출 수단(300)은 다시 활성화된다.
주파수-분할-멀티플렉싱에 대해서는, 전기장들을 발생시키고 검출하기 위한 (그리고 이에 따라 용량 감지를 위한) 터치-감지 모듈(200) 및 비접촉 검출 수단(300)에 비중첩 주파수 범위들이 할당된다. 이 방식으로, 동일한 매체들(터치-감지 표면 전방의 공간 및/또는 일반적으로 사용되는 전극(들))이 터치-감지 모듈(200)과 비접촉 검출 수단(300) 둘 다에 의해 사용될 수 있다. 결과적으로, 주파수-분할-멀티플렉싱은 임의의 주어진 시점에서 최신의 제 1 위치 정보 및 제 2 위치 정보 둘 다가 전자 디바이스(100)에서 이용가능하도록 제 1 위치 정보 및 제 2 위치 정보를 동시에 결정할 수 있게 한다.
몇몇 실시예들에서, 상기 제 1 위치 정보는 사용자 입력 오브젝트가 터치-감지 표면과 접촉하는 곳에 의존하는 제 1 위치를 포함하고, 상기 제 2 위치 정보는 터치-감지 표면의 소정 거리(D)(도 2) 내에 있는 사용자 입력 오브젝트의 일부분의 공간 구성에 의존하는 제 2 위치를 포함한다. 터치-감지 표면과 상기 소정 거리에 의해 정의된 공간은 직육면체(310)로 도시되어 있다. 상기 소정 거리는 제어기(120) 및 비접촉 검출 시스템(300)에 의해 정의된다. 특히, 상기 소정 거리는 배후 전극(306)과 전기장 검출 전극들(301, 302, 303, 304)에 의해 발생된 전기장의 형상(geometry)에 의해 정의된다.
몇몇 실시예들에서, 제 1 위치는 실질적으로, 사용자 입력 오브젝트(500)가 터치 감지 모듈(200)과 접촉하는 곳의 기하 평균 위치이다. 기하 평균 위치는 표면의 각각의 용량 센서 요소(204)에서(도 4) 사용자 입력 오브젝트(500)에 의해 유도된 커패시턴스의 변화에 가중치를 주어서 계산된다. 사용자 입력 오브젝트(500)가 터치-감지 모듈(200)과 접촉하는 곳은 접촉 영역(210)이다(도 7). 여기서, 위치 정보가 용량 센서 기술의 사용에 의해 결정된다. 다수의 용량 센서 요소들(204)은 터치-감지 모듈(200) 상에 배열된다. (예를 들어 사용자 손가락 형태의) 사용자 입력 오브젝트(500)는 터치-감지 표면(200)과 접촉한다. 그런 다음, 용량 센서 요소들(204)의 서로 다른 전기장의 변화들이 유도되고 용량 센서 요소들(204)에 의해 측정된다. 터치-감지 모듈(200) 상의 서로 다른 위치들에 배열된 용량 센서 요소들(204)에 의해 측정된 이 서로 다른 변화들로부터, 기하 평균 접촉 위치가 계산되고/되거나 결정된다. 이를 위해, 모든 용량 센서 요소들(204)의 위치를 표시하고 그리고 각각의 센서 요소(204)에서 사용자 입력 오브젝트(500)에 의해 유도된 커패시턴스의 변화들을 표시하여 맵이 만들어질 수 있다. 기하 평균 위치는 기하 평균, 즉 커패시턴스 변화가 관측되었던 모든 위치들의 평균 위치를 결정함으로써 계산될 수 있다. 기하 평균 위치는 또한 커패시턴스 변화들의 크기에 의해 가중화된 기하 평균을 결정함으로써 계산될 수도 있다.
몇몇 실시예들에서, 제 2 위치는 실질적으로, 사용자 입력 디바이스(500)의 전기 특성들에 의해 가중화된 터치 감지 모듈(200)의 소정 거리(D) 내에 있는 사용자 입력 오브젝트(500)의 일부분의 기하 평균 위치이다. 그러나, 사용자 입력 오브젝트(500)의 평균 위치는 또한, 사용자 입력 오브젝트(500)의 공간 구성을 대표하고 있는 공간 내의 포인트를 단지 표시할 수 있을 뿐이다. 제 2 위치가 나타내는 것과는 무관하게, 그것은 제 2 위치 정보로부터 결정되어야 한다. 여기서, 비접촉 검출은 용량 센서 기술에 기초하고, 사용자 입력 오브젝트(500)의 평균 위치는 사용자 입력 오브젝트가 대응하는 전기장 발생 및 검출 전극들의 전기장에 미치는 전기 유도(electrical influence)를 분석함으로써 결정된다. 그렇게 하기 위한 방법들은 WO 2011/128116 A2호, DE 10 2007 020 873 A1호, 및 DE 10 2010 007 455 A1호로부터 알 수 있으며, 이들 각각은 본 출원에 참조하여 통합된다.
몇몇 실시예들에서는, 제 1 위치 정보가 2차원으로 결정되어 표현되는데, 이는 제 1 위치 정보가 사용자 입력 오브젝트(500)와 터치-감지 모듈(200) 사이의 접촉 영역(210)에(만) 의존하기 때문이다. 임의의 터치 이벤트는 터치-감지 표면상의 위치를 나타내는 두 좌표들로 기술된다. 현재 논의된 몇몇 실시예들에서, 제 1 위치 정보는 2-조(組)(tuple) 형태의 제 1 위치를 포함한다.
몇몇 실시예들에서는, 제 2 위치 정보가 3차원으로 결정되어 표현되는데, 이는 제 2 위치 정보가 사용자 입력 오브젝트의 3차원 공간에서의 공간 구성에 의존하기 때문이다. 오브젝트의 임의의 공간 구성은 세 좌표들에 의해 기술될 수 있으며 또한 필요한 경우에 스칼라 값으로 기술될 수 있다. 이러한 기술의 바람직한 실시예는 3차원 스칼라 장(scalar field)이다. 이러한 기술의 또 하나의 바람직한 실시예는, 예를 들어 제 2 위치를 나타내는 3-조(또한 트리플릿(triplet)이라고도 함)일 것이다. 현재 논의된 몇몇 실시예들에서, 제 2 위치 정보는 3-조 형태의 제 2 위치를 포함한다.
몇몇 실시예들에서, 제 1 위치 정보와 제 2 위치 정보는 둘 다 동일한 좌표계로 결정되고/되거나 표현된다. 이 목적을 위해, 제 1 위치 정보는 제 2 위치 정보의 좌표계로 변환된다. 마찬가지로 제 2 위치 정보는 제 1 위치 정보의 좌표계로 변환될 수 있거나, 또는 제 1 위치 정보와 제 2 위치 정보 둘 다가 또 하나의 좌표계로 변환될 수 있다.
몇몇 실시예들에서, 제 1 위치 정보, 제 2 위치 정보, 제 1 위치, 및 제 2 위치는 둘 다 터치-감지 모듈(200) 상의 고정 기준 위치와 상대적으로 결정된다.
몇몇 실시예들에서, 전자 디바이스(100)는 전자 디바이스(100)의 메모리(102) 내에 별도의 소프트웨어 모듈인 제스처 인식 모듈(138)(도 3)을 더 포함한다. 제스처 인식 모듈(138)은 제어기 수단(120)에 의해 결정된 제 1 위치 및 제 2 위치로부터의 제스처를 소정 제스처 카테고리에 속하는 것으로 식별하도록 구성된다. 전자 디바이스(100)는 소정 제스처가 제스처 인식 모듈(138)에 의해 식별될 때 또는 식별된 후에 제 1 상태로부터 제 2 상태로 전환(transition)하도록 구성된다. 전자 디바이스(100)는 복수의 상태들을 취할 수 있다. 상태는 예를 들어, 전자 디바이스에 의해 제공된 그래픽 사용자 인터페이스의 상태 내지 (텍스트 편집, 메시징, 그래픽 편집, 이메일링, 음악 재생, 또는 게임 플레이에 관한 애플리케이션들과 같은) 애플리케이션의 상태, 또는 잠금 상태를 가리킨다. 사용자 인터페이스를 통해, 사용자는 전자 디바이스와 상호 작용하여 전자 디바이스를 제 1 상태로부터 제 2 상태로 전환시킬 수 있다.
몇몇 실시예들에서, 제스처 인식 모듈은 다수의 소정 제스처 카테고리를 저장하고/하거나 획득하여, 제어기 수단(120)에 의해 결정된 제 1 위치 및 제 2 위치로부터의 제스처를 기록하도록 구성되며, 여기서, 기록된 제스처를 다수의 소정 제스처 카테고리들 중 적어도 하나에 속하는 것으로 식별하고, 식별된 제스처로부터 줌 배율이나 이산 회전 각도와 같은 파라미터를 추출하며, 여기서 제스처는 위상 공간 내의 궤적인데, 위상 공간은 제 1 위치 정보와 제 2 위치 정보 및/또는 제 1 위치와 제 2 위치의 모든 가능한 상태들에 의해, 즉 제 1 위치 정보와 제 2 위치 정보 및/또는 제 1 위치와 제 2 위치가 취할 수 있는 상태들에 의해 정의된다.
현재 논의된 몇몇 실시예들에서, 제스처는 사용자 입력 오브젝트가 터치-감지 모듈(200)을 터치하는 동안 제스처 인식 모듈(138)에 의해 기록된다. 이것은 제스처의 시작과 끝이 제스처를 수행하는 사용자와 제스처를 기록하는 제스처 인식 모듈(138) 둘 다에 대해 명확하게 정의되기 때문에 유리하다.
도 3은 예시적인 전자 디바이스(100)의 보다 상세한 개략도이다. 개시된 정확한 형태들로 본 발명을 한정한다고 여겨지지 않아야 하는 이 예에서, 디바이스(100)는 메모리(102), 메모리 제어기(104), 하나 이상의 처리 모듈들(CPU들)(106), 주변 인터페이스(108), RF 회로부(112), 오디오 회로부(114), 스피커(116), 마이크로폰(118), 입출력(110) 서브시스템(120), 터치-감지 디스플레이(126), 비접촉 검출 수단(128), 및 외부 포트(148)를 포함한다. 이 구성요소들은 하나 이상의 통신 버스들 또는 신호 라인들(110)을 통해 통신한다. 디바이스(100)는 핸드헬드 컴퓨터, 태블릿 컴퓨터, 모바일 폰, 미디어 플레이어, 개인 휴대 정보 단말기(PDA) 등을 포함하거나 이 품목들 중 둘 이상의 결합을 포함하는 임의의 전자 디바이스일 수 있으며, 이 품목들로 한정되는 것은 아니다. 디바이스(100)는 전자 디바이스(100)의 단지 하나의 예이며, 디바이스(100)는 도시된 것보다 더 많거나 더 적은 구성요소들, 또는 다른 구성의 구성요소들을 가질 수 있음이 이해되어야 한다. 도 1에 도시된 다양한 구성요소들은 하나 이상의 신호 처리 및/또는 주문형 집적 회로들을 포함하는 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어 둘 다의 결합으로 구현될 수 있다.
메모리(102)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 하나 이상의 자기 디스크 스토리지 디바이스들, 플래시 메모리 디바이스들, 또는 다른 비휘발성 고체 상태 메모리 디바이스들과 같은 비휘발성 메모리를 포함할 수 있다. 메모리(102)는 하나 이상의 프로세서들(106)로부터 원격 위치한 스토리지 - 예를 들어, RF 회로부(112) 또는 외부 포트(148), 그리고 인터넷, 인트라넷(들), 로컬 영역 네트워크(LAN)들, 와이드 로컬 영역 네트워크(WLAN)들, 스토리지 영역 네트워크(SAN)들 또는 이들의 임의의 적절한 결합 등과 같은 통신 네트워크(도시되지 않음)를 통해 액세스된 네트워크 연결 스토리지 - 를 더 포함할 수 있다. CPU(106) 및 주변 인터페이스(108)와 같은, 디바이스(100)의 다른 구성요소들에 의한 메모리(102)에의 액세스는 메모리 제어기(104)에 의해 제어될 수 있다.
주변 인터페이스(108)는 디바이스의 입력 및 출력 주변기기들을 CPU(106) 및 메모리(102)에 결합시킨다. 하나 이상의 프로세서들(106)은 메모리(102)에 저장된 다양한 소프트웨어 프로그램들 및/또는 명령어들의 세트들을 실행하여 디바이스(100)의 다양한 기능들을 수행하고 데이터를 처리한다. 주변 인터페이스(108), CPU(106), 및 메모리 제어기(104)는 칩(111)과 같은 단일 칩 상에 구현될 수 있다. 이들은 개별 칩들 상에 구현될 수 있다.
RF(무선 주파수) 회로부(112)는 전자파들을 수신하고 전송한다. RF 회로부(112)는 전기 신호들을 전자파들로/전자파들로부터 변환하고, 그리고 전자파들을 통해 통신 네트워크들 및 다른 통신 디바이스들과 통신한다. 안테나 시스템, RF 트랜시버, 하나 이상의 증폭기들, 튜너, 하나 이상의 발진기들, 디지털 신호 프로세서, CODEC 칩셋, 가입자 식별 모듈(subscriber identity module; SIM) 카드, 메모리 등을 포함하지만 이들로 한정되지 않는 RF 회로부(112)는 이 기능들을 수행하기 위한 잘 알려진 회로부를 포함할 수 있다. RF 회로부(112)는: 월드 와이드 웹 0NVVW라고도 불리는 인터넷, 셀룰러 전화 네트워크, 무선 로컬 영역 네트워크(LAN) 및/또는 도시 지역 통신망(metropolitan area network; MAN)과 같은 인트라넷 및/또는 무선 네트워크와 같은 네트워크들, 및 무선 통신에 의해, 다른 디바이스들과 통신할 수 있다. 이 무선 통신은: 세계 무선 통신 시스템(GSM), 향상된 데이터 GSM 환경(EDGE; Enhanced Data GSM Environment), 광대역 코드 분할 다중 액세스(W-CDMA), 코드 분할 다중 액세스(CDMA), 시간 분할 다중 액세스(TDMA), 블루투스, 무선 충실도(와이-파이)(예컨대, IEEE 802.11a, IEEE 802.11b, IEEE 802.1lg 및/또는 IEEE 802.11n), 인터넷 전화(VoiP; voice over Internet Protocol), 와이-맥스, 이메일용 프로토콜, 인스턴트 메시징, 및/또는 단문 메시지 서비스(SMS)를 포함하는(이들로 한정되지 않음) 복수의 통신 표준들, 프로토콜들 및 기술들 중 무엇이든 사용하거나 또는 이 명세서의 출원일 현재 아직 개발되지 않은 통신 프로토콜들을 포함하는 임의의 다른 적합한 통신 프로토콜을 사용할 수 있다.
오디오 회로부(114), 스피커(116), 및 마이크로폰(118)은 사용자와 디바이스(100) 사이에 오디오 인터페이스를 제공한다. 오디오 회로부(114)는 주변 인터페이스(108)로부터 오디오 데이터를 수신하고, 오디오 데이터를 전기 신호로 변환하고, 그리고 전기 신호를 스피커(116)에 송신한다. 스피커는 전기 신호를 인간-가청의 음파들로 변환한다. 또한, 오디오 회로부(114)는 마이크로폰(116)에 의해 음파들로부터 변환된 전기 신호들을 수신한다. 오디오 회로부(114)는 전기 신호를 오디오 데이터로 변환하고 오디오 데이터를 주변 인터페이스(108)에 송신하여 처리한다. 오디오 데이터는 주변 인터페이스(108)에 의해 메모리(102) 및/또는 RF 회로부(112)로부터 검색될 수 있고/있거나 메모리(102) 및/또는 RF 회로부(112)에 송신될 수 있다. 오디오 회로부(114)는 또한 헤드셋 잭(도시되지 않음)을 포함할 수 있다. 헤드셋 잭은 출력-전용 헤드폰들 또는 출력부(한쪽 귀 또는 양쪽 귀 헤드폰) 및 입력부(마이크로폰)를 둘 다 갖는 헤드셋과 같은 이동식 오디오 입/출력 주변기기들과 오디오 회로부(114) 사이에 인터페이스를 제공한다.
I/O 서브시스템(120) 형태의 제어기 수단은 터치-감지 디스플레이(200) 및 비접촉 검출 시스템(300)과 같은 디바이스(100)의 입/출력 주변기기들 사이에 인터페이스를 제공한다. I/O 서브시스템(120)은 터치-감지-디스플레이 제어기(122) 및 비접촉 검출 제어기(124)를 포함한다.
또한, 디바이스(100)는 다양한 구성요소들에 전력을 공급하기 위한 전력 시스템(130)을 포함한다. 전력 시스템(130)은 전력 관리 시스템, 하나 이상의 전원들(예컨대, 배터리, 교류 전류(AC)), 재충전 시스템, 정전 검출 회로, 전력 변환기 또는 인버터, 전력 상태 표시기(예컨대, 발광 다이오드(LED)), 및 휴대용 디바이스들 내의 전력 발생, 관리 및 분배와 관련된 임의의 다른 구성요소들을 포함할 수 있다.
소프트웨어 구성요소들은 운영 시스템(132), 통신 모듈(또는 명령어들의 세트)(134), 제스처 인식 모듈(또는 명령어들의 세트)(138), 그래픽 모듈(또는 명령어들의 세트)(140), 사용자 인터페이스 상태 모듈(또는 명령어들의 세트)(144), 및 하나 이상의 애플리케이션들(또는 명령어들의 세트)(146)을 포함할 수 있다.
운영 시스템(132)(예컨대, Darwin(다윈), RTXC, LINUX, UNIX, OS X, WINDOWS, 또는 VxWorks과 같은 임베디드 운영 시스템)은 일반 시스템 태스크들(예컨대, 메모리 관리, 스토리지 디바이스 제어, 전력 관리 등)을 제어하고 관리하기 위한 다양한 소프트웨어 구성요소들 및/또는 드라이버들을 포함하고 그리고 다양한 하드웨어 및 소프트웨어 구성요소들 사이의 통신을 용이하게 한다.
통신 모듈(134)은 하나 이상의 외부 포트들(148)을 통한 다른 디바이스들과의 통신을 용이하게 하고, 또한, RF 회로부(112) 및/또는 외부 포트(148)에 의해 수신된 데이터를 처리하기 위한 다양한 소프트웨어 구성요소들을 포함한다. 외부 포트(148)(예컨대, 범용 직렬 버스(USB), FIREWIRE 등)는 다른 디바이스들과 직접적으로 결합하거나 네트워크(예컨대, 인터넷, 무선 LAN 등)를 통해 간접적으로 결합하도록 구성된다.
제스처 인식 모듈(138)은 (I/O) 서브시스템(120)으로부터 제 1 위치 정보 및 제 2 위치 정보, 특히 제 1 위치 및 제 2 위치를 수신하도록 구성된다. 제스처 인식 모듈(138)은, 접촉이 발생했는지를 결정하는 것, 제 1 위치 및 제 2 위치의 움직임이 있는지를 결정하고 상기 움직임을 추적하는 것, 그리고 접촉이 끊어졌는지를(즉, 접촉이 중단되었는지를) 결정하는 것처럼, 제 1 위치 정보 및 제 2 위치 정보, 특히 제 1 위치 및 제 2 위치를 분석하는 것과 관련된 다양한 동작들을 수행하기 위한 다양한 소프트웨어 구성요소들을 포함한다. 움직임을 결정하는 것은 제 1 위치 및 제 2 위치의 속력(크기), 속도(크기 및 방향), 및/또는 (크기 및/또는 방향을 포함하는) 가속도를 결정하는 것을 포함할 수 있다.
그래픽 모듈(140)은 그래픽들을 터치-감지 디스플레이(126)에 렌더링하고 디스플레이하기 위한 다양한 알려진 소프트웨어 구성요소들을 포함한다. 용어 "그래픽들"은: 텍스트, 웹 페이지들, (소프트 키들을 포함하는 사용자-인터페이스 오브젝트들과 같은) 아이콘들, 디지털 이미지들, 비디오들, 애니메이션들 등 - 이들로 한정되지 않음 - 을 포함하는, 사용자에게 디스플레이될 수 있는 임의의 오브젝트를 포함함에 유의한다.
전자 디바이스 상태 모듈(144)은 디바이스(100)의 전자 디바이스 상태를 제어한다. 전자 디바이스 상태 모듈(144)은 제 1 상태 모듈(150) 및 제 2 상태 모듈(152)을 포함할 수 있다. 제 1 상태 모듈은, 디바이스(100)를 제 1 상태로 전환하기 위한 하나 이상의 조건들 중 임의의 것이 충족되었는지를 검출한다. 제 2 상태 모듈은 전자 디바이스를 제 2 상태로 전환하기 위한 하나 이상의 조건들 중 임의의 것이 충족되었는지를 검출한다.
하나 이상의 애플리케이션들(130)은: 브라우저, 어드레스 북, 콘택트 리스트, 이메일, 인스턴트 메시징, 워드 프로세싱, 키보드 에뮬레이션, 위젯(widget)들, 자바-인에이블 애플리케이션들, 암호화, 디지털 저작권 관리, 음성 인식, 음성 복제, (글로벌 포지셔닝 시스템(GPS)에 의해 제공되는 것과 같은) 위치 결정 기능, (MP3 또는 AAC 파일들과 같은 하나 이상의 파일들에 저장된 기록 음악을 재생하는) 음악 플레이어 등 - 이들로 한정되지 않음 - 을 포함하는, 디바이스(100)에 설치된 임의의 애플리케이션들을 포함할 수 있다.
도 4 내지 도 7은 터치-감지 디스플레이 형태의 터치-감지 모듈(200)의 필수 부분인 비접촉 검출 수단(300)의 예시적인 실시예의 보다 상세한 개략도를 제공한다. 이 터치 감지 디스플레이는 제 1 위치 정보 및 제 2 위치 정보를 동시에 및/또는 교대로 검출할 수 있게 하고, 여기서 이 터치-감지 디스플레이는 강건하고 저렴한 비용의 구조임을 특징으로 한다.
도 4는, 투명한 절연 재료로 이루어진 스크린 층(201)을 포함하는, 터치-감지 모듈(200)의 단순화된 터치 유리를 도시한다. 이 스크린 층(201) 상에는, 스크린 층에 연결되는 투명 전극 층이 배열된다.
이 전극 층은 다수의 전극 세그먼트들(204)로 분할되는데, 전극 세그먼트(204)는 용량형 센서 요소(204)이다. 모든 전극 세그먼트들(204)의 전체는 세그먼트 어레이(202)의 형태로 여기에 도시된 액티브 영역(202)을 형성한다. 이 세그먼트 어레이(202)는 세그먼트 컬럼들(S1, S2 ... S9)과 세그먼트 라인들(Z1, Z2, Z3, Z4, 및 Z5)을, 즉, 대응하는 수평 및/또는 수직 연속 이웃 전극 세그먼트들(204)이 작은 도전성 섹션들(206, 208)에 의해 서로 연결됨으로 인해 형성한다. 세그먼트 라인들(Z1 ... Z5) 및 세그먼트 컬럼들(S1 ... S9)은 서로에 대해 절연되며, 이들 각각은 공급 라인(LZ1/5 및 LS1/9)에 연결되어 있다. 도전성 섹션들(206, 208)은 터치-감지 모듈(200)의 영역(202)에서 그들이 서로 교차하는 부분에서 서로에 대해 절연된다.
세그먼트 컬럼들 및 세그먼트 라인들은 이 공급 연결부들(LZ1/5 및 L1/9)을 통해 제어기 수단(120), 특히 비접촉 검출 제어기(124)에 연결된다. 터치 감지 모듈(200)의 터치 유리는 또한, 비접촉 검출 제어기(124) 및 추가 도전 층(306)과 결합하여, 비접촉 검출 시스템(300)을 나타낸다. 이 제어기 수단들(120, 124)은 이들이 (주파수-분할-멀티플렉싱에 의해) 동시에 및 (시간-분할-멀티플렉싱 또는 이벤트 트리거 멀티플렉싱에 의해) 교대로, 사용자 입력 오브젝트(500)에 관한 제 1 위치 정보 및 제 2 위치 정보를 결정할 수 있도록 설계되며, 여기서 비접촉 검출은 세그먼트 어레이(202)의 다수의 전극 세그먼트들(204)을 전극 그룹들(301, 302, 303, 304), 특히 전극 라인(Z1...Z5) 또는 전극 컬럼(S1...S9)에 결합시킴으로써 수행된다.
도 4에 도시된 바와 같이, 전극 세그먼트는 또한 선형 구성을 가질 수도 있다.
도 5에서, 터치-감지 디스플레이의 유리(201)의 설계가 단순화된 예로서 개략적으로 도시되어 있다. 스크린 층(201)은 플라스틱이나 유리 재료로 이루어지고 그리고 예를 들어 0.8mm의 두께를 갖는 것이 바람직하다. 스크린 층(201)의 양쪽면에는 투명한 도전성 층(204, 306)(예컨대, ITO 층)이 제공된다.
사용 위치에서 사용자 쪽을 향하는 상부 표면은 복수의 세그먼트들(204)로 구조화되어 분할된 층(204)을 가지며, 이에 따라 상기 층은 라인들 및 컬럼들로 그룹화된 근접한 세그먼트들(204)(예컨대, 마름모꼴들)을 갖는다. 행(row)들 및 컬럼들로 그룹화된 전극 세그먼트들(204)과의 전기적 접촉은 전용 공급 라인들을 통해 이루어진다.
(디스플레이 쪽을 향하는) 하부 면은 투명 ITO 층(306)으로 연속적으로 코팅된다. 이에 따라-구성된 스크린 층(201)은 디스플레이에 알려진 터치-감지 디스플레이 기능을 제공하기 위해, 적합한 그 디스플레이의 앞쪽에 배열된다. 전극 층들(204, 306)의 각각은 추가 절연 투명 층들(여기에 도시되지 않음)에 의해 커버될 수 있다. 전극 층들(204, 306)은 전형적으로 플렉시케이블들(Flexicables; FFC)을 통해 연결된다.
도 6에 도시된 바와 같이, 모서리에 근접한 마름모꼴 라인들 중 4개(즉, 수평 그룹화에 의해 형성된 세그먼트 라인들(Z1/303 및 Z5/301), 수직 그룹화에 의해 형성된 세그먼트 컬럼들(S1/302 및 S9/304))는 제 2 위치 정보를 결정하는데 사용된다. 라인들 및 컬럼들로 그룹화된 전극 세그먼트들을 이용하여, 비접촉 검출 수단을 위한 전극들의 "프레임"이 얻어진다.
제 2 위치 정보를 결정하는데 사용된 (모서리에 가까운) 좌측 및 우측 전극 컬럼들(S1/302 및 S9/304) 둘 다 외에도, 상부의 수평 전극 세그먼트 그룹(Z1/303) 및 하부의 수평 전극 세그먼트 그룹(Z5/301)이 음영으로 강조 표시되어 있다. 수평 전극 세그먼트 그룹(Z1/303 및 Z5/301) 둘 다는 사용자의 손가락(500)의 평균 위치의 y-위치를 결정하는데 사용된다. y-위치 결정과 동시에 또는 그 직후에, 분석이 수행될 수 있으며, 이 분석에 의해, 전극 세그먼트들을 그룹화하여, 길게 된 검출 전극이 좌측 모서리 영역(S1/302)과 우측 모서리 영역(S9/304)에 각각 형성된다. 그들 두 전극 그룹들(S1/302 및 S9/304)에 의해, 사용자의 손가락(500)의 평균 위치의 x-위치가 결정될 수 있다. 또한, 측정된 신호들로부터, 사용자의 손가락의 평균 위치의 z-거리가 계산된다. 상기 평균 위치를 결정하기 위해서는, 다른 분석 접근 방법들이 사용될 수 있다.
제 2 위치 정보의 결정을 지원하는 추가 전극들을 디스플레이 영역에 갖는 것이 가능하다. 이 추가 전극들에 의해, 예를 들어, 상기 소정 거리가 확대될 수 있으며, 따라서 (사용자의 손과 같은) 사용자 입력 오브젝트의 일부분들이 비접촉 검출 수단에 의해 결정된 공간 배열과 관계하고 있다.
이러한 디스플레이를 특징으로 하는 전자 디바이스에서는, 제 1 위치 정보 및 제 2 위치 정보가 동시에 및/또는 교대로 결정될 수 있다. 이 목적을 위해서는, 멀티플렉싱, 특히 이벤트 트리거 멀티플렉싱, 시간-분할-멀티플렉싱 및/또는 주파수-분할-멀티플렉싱이 사용된다.
제어기 수단(120), 특히 비접촉-검출 제어기(124)는 그룹-드라이버를 포함하고, 여기서 그룹 드라이버는 어느 전극 세그먼트 그룹 또는 그룹들(Z1/303, Z5/301, S1/302, S9/304)의 결합이 (또는, 필요하다면, 어느 단일 전극 세그먼트들(204)이) 제 2 위치 정보를 결정하는데 현재 사용되는지를 결정한다. 그룹-드라이브는 현재의 전극 세그먼트 그룹화(current electrode segment grouping)에 관한 정보를 보상 제어기에 전송할 수 있는데, 여기서 보상 제어기는 그것 자체로서는, 전극 세그먼트 그룹들(Z1/303, Z5/301, S1/302, S9/304)을 통해 검출된 전기장 현상들을 분석하는데 고려되는 특정 특성화 값들 또는 선호도(preference)들 및 기준 레벨들을 부과한다. 이 특성화 값들은 구성에서 현재 활성 중인 전극 시스템의 총 용량 또는 노멀 그라운드(normal ground)일 수 있으며, 여기서는 (사용자 입력 오브젝트에 기인하는 외부 영향들과 같은) 어떠한 외부 영향도 지속되지 않는다. 상기 특성화 값들은 그리고 교정치들로 여겨질 수 있다. 보상 제어기는 독립의 물(entity)이거나, 비접촉-검출 제어기(124)의 일체 부분(integral part)일 수 있다.
제어기 수단(120), 특히 전극 세그먼트 라인들 및 컬럼들을 일시적으로 활성화하기 위한 그리고 활성화된 전극 세그먼트 라인들 및 컬럼들을 통해 측정된 신호들을 분석하기 위한 비접촉-검출 제어기(124)는, ASIC(120/124)로서 구현될 수 있다. ASIC(120/124)는 스크린 층(201)에 근접하여 배열될 수 있고 스크린 층(201)에 물리적으로 연결될 수 있다. ASIC(120/124)이 터치-감지 모듈(200)을 통한 제 1 위치 정보 및 비접촉 검출 수단(300)을 통한 제 2 위치 정보를 동시에 및/또는 교대로 결정하게 구성되도록 설계될 수 있다. ASIC(120/124)의 특정 기능들이 ASIC(120/124)를 프로그래밍하여 정의될 수 있도록 ASIC(120/124)은 설계될 수 있다. ASIC(120/124)가 전극 세그먼트 어레이 중 어느 전극 세그먼트 그룹들이(특히 어느 전극 세그먼트 라인들(Z1...Z5) 및 전극 세그먼트 컬럼들(S1...S9)이) 제 2 위치 정보를 결정하는데 현재 사용되는지를 정의하도록 ASIC(120/124)는 설계될 수 있다.
ASIC(120/124) 자체는 종래의 터치-감지 표면들이 했을 방식으로 제 1 위치 정보에 관련하는 (특히 제 1 위치에 관련하는) 신호들을 제공한다. 게다가, ASIC(120/124)는 제 2 위치 정보에 관련하는 (특히 제 2 위치에 관련하는) 신호들을 제공한다. ASIC(120/124)에서는, 상기 결정된 제 1 위치 정보 및 제 2 위치 정보에 관한 특정 사전(pre)-분석을 수행하는 애플리케이션이 실행 중일 수 있다. ASIC(120/124)는 제 1 위치 정보를 사용할 수 있고, 그리고 제 1 위치 정보에 따라, 제 2 위치 정보를 결정하는데 사용되어야 하는 전극 세그먼트 그룹들을 선택할 수 있다. 이것이 유리한데, 왜냐하면 제 2 위치 정보를 결정하는 것의 정확도가 적절한 전극 세그먼트 그룹들을 선택함으로써 향상될 수 있기 때문이다. ASIC(120/124)는 그라운드에 대한 용량성 결합의 변화들, 포텐셜의 커플링-인(coupling-in), 및/또는 예를 들어, 사용자 입력 오브젝트를 터치-감지 표면(200)의 전방에서 소정 거리 내에 이동시킴으로써 유도될 수 있는, 활성화된 전극 세그먼트 그룹(들)의 환경의 유전 특성들의 변화를 분석하여 제 2 위치 정보를 결정할 수 있다. 이 목적을 위해서는, 서로 다른 측정 접근 방법들이 ASIC(120/124)에 의해 사용될 수 있다. 전형적인 측정 접근 방법은 예를 들어, 그라운드 포텐셜에 대한 활성화된 전극 세그먼트들의 결합을 아날로그 신호(즉, 특정 범위 내에서 변화하는 신호)로서 검출하는 것이다.
비접촉-검출 제어기(124)는 RX 및 TX 커넥터들을 포함할 수 있다. 예를 들어, 채널-멀티플렉싱에 의해, 복수의 전극 세그먼트 체인들을 제 2 위치 정보를 결정하는데 사용하는 것이 가능하다. 신호 레벨들을 대응 전극 세그먼트 체인들에서 멀티 오브젝트 인식이 수행된다는 점에서 분석하는 것이 수행될 수 있다(예를 들어, 두 손가락 끝들의 인식 및 각각의 손가락 끝에 대한 대응하는 제 1 위치 정보와 제 2 위치 정보의 결정).
도 7에서, 예시적인 실시예들에 따른, 접촉-검출 시스템(300)과 결합된 터치-감지 모듈(200)이 도시되어 있으며, 여기서 제 1 위치 정보 및 제 2 위치 정보의 결정이 보다 상세하게 표시된다. 모서리에 가깝고 또한 세그먼트 컬럼들(S1/302 및 S9/304)로 그룹화된 전극 세그먼트들에 의해, 터치-감지 모듈(200)에 관해서 사용자의 손가락(500)의 평균 위치의 거리들(L1, L2)을 나타내는 신호 레벨들이 검출된다. 이 신호 레벨들로부터, 사용자의 손가락(500)의 평균 위치의 x- 및 z-거리가 계산된다. 신호 검출은, 터치-감지 모듈(200)의 특정 전극 세그먼트 그룹들을 제어기 수단(120), 특히 비접촉 검출 제어기(124)와 연속적으로 연결하는 그룹-드라이버에 의해 수행된다. 후자는 하나 이상의 아날로그-디지털 컨버터(ADC)를 포함하고, 그에 따라 얻어진 디지털 제 2 신호 위치 정보로부터 제 1 위치 정보 및 제 2 위치 정보를 계산한다. 터치-감지 디스플레이는 후면에 배열된 ITO 층(306)을 가지며, 후면은 전극 세그먼트들(204)을 갖는 측면 - 전극 세그먼트들(204)이 배열되는 측면 - 과 반대편에 있다. 후면에 배열된 ITO-층(306)에 구형파 신호가 인가된다.
터치 감지 모듈(200)의 전극 배치가 비접촉 검출 수단(300)의 전형적인 전극 배치와 매우 유사하기 때문에, 감지 표면은 사용자 오브젝트의 비접촉 검출뿐만 아니라 터치 검출에도 사용될 수 있다.
전극 어레이의 전극 세그먼트들은 투명한 멀티-층 스크린 구조로 구현될 수 있다. 전극 세그먼트들 사이의 교차 지점들이 특별히 신뢰할 수 있는 절연을 달성하기 위해, 전극 세그먼트 라인들을 형성하는 전극 세그먼트들은 전극 세그먼트 컬럼들을 형성하는 전극 세그먼트들과 다른 층에 배열될 수 있고/있거나, 전극 세그먼트 라인들을 형성하는 전극 세그먼트들과 전극 세그먼트 컬럼들을 형성하는 전극 세그먼트들은 하나의 층의 양쪽 면들에 배열된다. 또한, 사용시에 사용자가 대면하는 측면과 반대 측면에서, (예를 들어, 비접촉 검출을 위한 송신 전극의 역할을 할 수 있는) 후면 전극(306)이 VCOM 층에 의해 형성될 수 있다.
손 자세 제어
전술한 바와 같이, 실시예들은 전자 디바이스(100)의 손 자세 제어를 위해 상술한 바와 같은 센서 시스템을 사용할 수 있으며 그리고 특히 제스처들이나 손 자세처럼 위치와 연관되거나 전자 디바이스를 제어하기 위한 방위와 연관된 특성 파라미터들을 이용하는 센서 시스템을 사용할 수 있다. 이제 도 8을 보면, 이러한 방법들을 적용하기 위한 예시적인 환경을 설명하는 도면이 도시되어 있다. 터치 감지 모듈(200)과 손(501) 및 관련 손가락(500)이 도시되어 있다. 손가락(500)은 터치 감지 모듈(200)의 접촉 영역 또는 터치 위치(210)를 터치한다. 접촉 영역(210)은 3차원 좌표계에서 점을 정의한다. 특히, 접촉 영역(210)은 좌표(x1,y1,0)를 갖는 점(A)을 정의한다. 손(501)은 좌표(x2, y2, z2)를 갖는 B에 무게중심을 갖는다. 상기 무게중심은 센서들 - 카메라-기반 센서들 - 의 "집결(concentration)"의 점이며 전형적으로 기하학적 중심이고; 위에 논의한 바와 같이, 용량형 및 음향 센서들에 있어서, 이 중심점은 전형적으로 거리 측정들 및 삼변 측량의 결과물이다. 무게중심(B)은 터치 감지 모듈(200)에 대한 앙각(α), 및 방위각(β)이라고 불리는 터치 감지 표면상에서의 각도를 정의한다.
다양한 실시예들에 따르면, 손가락의 터치 위치 A(x1,y1,0)가 검출되고 또한 사용자의 손의 무게중심 B(x2, y2, z2)도 검출된다. 하나의 손가락으로 디스플레이의 터치 패널 표면을 터치함으로써, 손을 위아래로 움직이거나(앙각(α)) 또는 손으로 손가락의 터치다운 지점 주위로 원 운동을 그림으로써(방위각(β)) 손의 무게중심을 변화시키는 것이 가능하다. 즉, 실시예에 따르면, 앙각의 변화 또는 방위각의 변화는 사용자 인터페이스를 제어하는데 사용될 수 있다.
예를 들어, 도 9에는 터치 스크린 모듈(200) 상의, 특히 터치 스크린 키패드 또는 키보드의 키 상의 접촉 영역(210)에서의 손가락(500)이 도시되어 있다. 손가락(500)은 앙각(α)을 정의한다.
몇몇 실시예들에서는, 손가락(500)이 터치 스크린상의 키를 터치하자마자 문자들이 쓰여진다(즉, 해당 키들이 선택된다). 터치 순간에, 앙각(α)은 문자들의 대/소를 제어한다. 예를 들어, 몇몇 실시예들에서, 앙각들(α1, α2)로 도시된 바와 같이, 문자들은 평평한 앙각(예컨대, 앙각(α) = 0 - 50°)에서는 소문자로 쓰여지지만, 각도가 올라가면(예컨대, α > 50°) 대문자로 쓰여진다. 대안으로, 이 방법은 대소문자 구분을 제어하는 대신 특수 문자들의 입력에 사용될 수 있다.
예를 들어, 이제 도 10을 보면, 이러한 실시예를 설명하는 흐름도(1000)가 도시되어 있다. 흐름도(1000) 내의 요소들의 특정 배열은 요소들의 고정 순서를 의미하지 않으며; 실시예들은 실행 가능한 임의의 순서로 실시될 수 있다.
처음에, 시스템은 손가락 또는 스타일러스 터치를 검출한다(단계 1002). 다음에, 터치의 x-y 위치에 대응하는 키가 결정될 것이다(단계 1004). 터치의 시점에 앙각(α)이 또한 결정된다(단계 1006). 시스템은 추가로 앙각(α)이 소정 앙각(αd)보다 큰지를 결정할 것이다(단계 1008). 이러한 소정 앙각(αd)은, 예를 들어 40-50도와 같은, 임의의 적당한 각도일 수 있으며, 다른 각도 값들이 사용될 수도 있다. 앙각이 소정 앙각보다 크면, 제 1 소정 문자가 표시되거나 선택되거나 또는 디스플레이에 쓰여질 수 있다(단계 1010). 예를 들어, 상기 문자는 선택된 키에 대응하는 대문자일 수 있다. 앙각이 소정 앙각보다 작았다면, 제 2 문자가 선택되거나 표시되거나 또는 디스플레이에 쓰여질 수 있다(단계 1012). 예를 들어, 상기 문자는 선택된 키에 대응하는 소문자일 수 있다. 두 문자들의 측면에서 논의하였지만, 다른 실시예들이, 예를 들어 하나보다 많은 임계값을 사용하여, 둘보다 많은 문자들 사이를 선택하는데 사용될 수 있음에 유의한다.
또 하나의 실시예에서, 실제 터치 동안 앙각(α)의 변화는 대체 입력 방식들(예컨대, 대문자 또는 소문자)을 제어하는데 사용된다. 예를 들어, 앙각이 터치 동안 일정한 채로 유지되면, 문자들은 소문자로 쓰여진다. 상기 앙각이 보다 높은 값(α1)으로 증가하거나 또는 보다 낮은 값(α2)으로 감소하면, 해당 문자는 대문자로 쓰여진다.
예를 들어, 이제 도 11을 보면, 이러한 실시예를 설명하는 흐름도(1100)가 도시되어 있다. 흐름도(1100) 내의 요소들의 특정 배열은 요소들에 고정된 순서를 의미하지 않으며; 실시예들은 실행 가능한 임의의 순서로 실시될 수 있다.
처음에, 시스템은 손가락 또는 스타일러스 터치를 검출한다(단계 1102). 다음에, 터치의 x-y 위치에 대응하는 키가 결정될 것이다(단계 1104). 터치시에 앙각(α)이 또한 결정된다(단계 1106). 시스템은 추가로 앙각(α)이 터치시 변화하는지를 결정할 것이다(단계 1108). 터치시의 변화는 터치시에 결정된 앙각에 대해서 소정 값보다 큰 포지티브 또는 네거티브 변화일 수 있다. 앙각이 터치시에 변화하면, 제 1 소정 문자가 표시되거나 선택되거나 또는 디스플레이에 쓰여질 수 있다(단계 1110). 예를 들어, 상기 문자는 선택된 키에 대응하는 대문자일 수 있다. 앙각의 변화가 없다면, 제 2 문자가 선택되거나 표시되거나 또는 디스플레이에 쓰여질 수 있다(단계 1112). 예를 들어, 상기 문자는 선택된 키에 대응하는 소문자일 수 있다. 두 문자들의 측면에서 논의하였지만, 예를 들어 하나보다 많은 각도 변화를 검출함으로써, 둘보다 많은 문자들이 선택될 수 있음에 유의한다.
다른 실시예들에서, 방위각(β)이 키보드 및/또는 문자 제어에 사용된다. 터치 동안 방위각의 변화는 대체 입력 방식들을 제어하는데 사용될 수 있다: 방위각이 터치 동안 일정한 채로 남아 있으면, 터치를 해제할 때 일반 문자들이 쓰여진다. 방위각이 터치 동안 변화하면, 특수 문자들이 돋보기로 표시되고 그리고 각도를 변화시킴으로써 선택될 수 있다.
예를 들어, 도 12에는 터치 스크린(200), 손가락(500), 및 접촉 지점(210)이 도시되어 있다. 손가락(500)은 방위각(β)에 있다. 일 실시예에서, 문자들은 손가락이 터치 스크린을 터치하자마자 결정된다. 터치 순간에, 방위각은 문자들의 케이스를 제어한다. 일 실시예에서, 소문자의 문자들은 작은 방위각들(βd, -βd, 예컨대, 방위각 = +30..-30°)에 의해 쓰여진다. 대문자의 문자들은 방위각의 절대값이 30°보다 클 경우에 쓰여진다(예컨대, 방위각(βd, -βd) = -100°..-30°; +30°..100°). 대안으로, 이 방법은 대소문자 구분을 제어하는 대신 특수 문자들의 입력에 사용될 수 있다. 또한, 이 방법은 둘보다 많은 대안들 사이를 선택하는데 사용될 수 있다.
예를 들어, 이제 도 13을 보면, 이러한 실시예를 설명하는 흐름도(1300)가 도시되어 있다. 흐름도(1300) 내의 요소들의 특정 배열은 요소들의 고정 순서를 의미하지 않으며; 실시예들은 실행 가능한 임의의 순서로 실시될 수 있다.
처음에, 시스템은 손가락 또는 스타일러스 터치를 검출한다(단계 1302). 다음에, 터치의 x-y 위치에 대응하는 키가 결정될 것이다(단계 1304). 터치 시점에서의 방위각(β)이 또한 결정된다(단계 1306). 시스템은 추가로 방위각(β)이 소정 범위 내에 있거나 또는 소정 값보다 작은지를 결정할 것이다(단계 1308). 방위각(β)이 방위각(βd)보다 크면, 터치가 해제될 때 제 1 소정 문자가 표시되거나 선택되거나 또는 디스플레이에 쓰여질 수 있다(단계 1310). 예를 들어, 상기 문자는 선택된 키에 대응하는 대문자일 수 있다. 방위각(β)이 소정 방위각(βd)보다 작았다면, 제 2 문자가 선택되거나 표시되거나 또는 디스플레이에 쓰여질 수 있다(단계 1312). 예를 들어, 상기 문자는 선택된 키에 대응하는 소문자일 수 있다. 다시 말하지만, 실시예들에 따라, 둘보다 많은 대안들이 선택될 수 있음에 유의한다.
전술한 바와 같이, 방위각과 앙각들은 특수 문자들을 선택하는데 사용될 수 있다. 몇몇 실시예들에서는, 방위각 또는 앙각이 하나보다 많은 특수 문자를 선택하는 것을 돕는데 사용될 수 있다. 이러한 실시예는, 하나보다 많은 특수 문자를 선택하는데 방위각을 사용하는 것에 관해서 도 14에 도시되어 있다.
도시된 바와 같이, 사용자의 손가락(500)은 접촉 지점(210)에서 스크린(200)을 터치하여 문자 "
Figure pct00001
"를 선택한다. 사용자는 도시된 실시예에서는 소문자를 선택하는 낮은 앙각으로 그렇게 한다. 도시된 바와 같이, 사용자는 큰 음(-)의 방위각(β)에서 문자를 터치할 수 있다. 이것은 팝업 창(1402)이 표시되게 한다. 팝업-디스플레이(1402)에 표시된 문자 "
Figure pct00002
"의 선택은 직사각형으로 표시된 최 좌측에 있는 문자이다. 사용자가 이 위치에서 터치를 해제했다면, 사용자는 "
Figure pct00003
"를 쓰게 된다. 하지만, 사용자가 손가락(500)을 우측으로(시계 반대 방향으로) 회전시킨다면, 그는 원하는 변화(variation)를 강조하고 선택하기 위해 보여진 문자들을 우측으로 스크롤할 수 있다.
예를 들어, 이제 도 15를 보면, 이러한 실시예를 설명하는 흐름도(1500)가 도시되어 있다. 흐름도(1500) 내의 요소들의 특정 배열은 요소들의 고정 순서를 의미하지 않으며; 실시예들은 실행 가능한 임의의 순서로 실시될 수 있다.
처음에, 시스템은 손가락 또는 스타일러스 터치를 검출한다(단계 1502). 다음에, 터치의 x-y 위치에 대응하는 키가 결정될 것이다(단계 1504). 앙각 및 방위각에 기초하여, 특수 문자 옵션 디스플레이가 선택되어 디스플레이를 위해 제공될 수 있다(단계 1506). 예를 들어, 전술한 바와 같이, 앙각이 상대적으로 작고 방위각이 상대적으로 크면, 특수 문자 메뉴가 표시될 수 있다. 그 다음에 특수 옵션 메뉴는 손가락의 방위각을 변화시킴으로써 스크롤될 수 있다(단계 1508). 예를 들어, 손가락의 좌에서 우로 회전하면, 메뉴의 옵션들은 순차적으로 강조될 수 있다. 원하는 옵션이 강조되면, 사용자는 터치를 해제함으로써 문자를 선택하거나 또는 선택된 문자를 표시하거나 쓸 수 있다(단계 1510).
몇몇 실시예들에서는, 제 1 손가락 또는 선택 디바이스가 키보드를 터치하고 있는 동안, "제 2" 손가락 또는 사용자 입력 혹은 선택 디바이스를 움직임으로써 제 2 기능이 제어될 수 있다. 즉, 몇몇 실시예들에서는, 손가락을 검출 존(zone)으로 이동시키거나 또는 손가락을 검출 존 내에서 움직임으로써, 시프트 키를 제어할 수 있다. 따라서, 사용자를 실제 키를 칠 필요가 없다 - 시프트 제어는 하나의 손가락을 단지 디스플레이에 가까이 움직이거나 하우징에 유지함으로써 중공에서 수행된다.
예를 들어, 도 16a 및 도 16b에 도시된 바와 같이, 손가락(500)은 문자나 키를 선택하는데 사용될 수 있다(도시된 예에서는 문자 "h"). 손가락(510)은 제 1 위치(1600)에 있다. 그것은 제 2 위치(1602)로 움직일 수 있다. 이것이 검출될 때, 선택된 키는 대체 문자, 즉 대문자 "H"로 토글링한다. 이 특징은 상술한 실시예들 중 아무거나에 추가적으로 또는 그 대신으로 구현될 수 있다.
위에 언급한 옵션들에 추가적으로 또는 그 대안으로, 선택 메뉴(1402)(도 14)의 경우와 유사한 방식으로 선택 메뉴(도시되지 않음)가 팝업에 구성될 수 있고, 자동 완성(T9 등), 자동 보정, 또는 추가 제어 명령들(예컨대, 단어의 복사/붙여넣기)의 제안들과 같은 옵션들을 제공할 수 있다. 이들은 손가락의 각도를 변화시킴으로써 선택될 수 있다. 몇몇 실시예들에서는, 키보드 위에 특정 거리에서 손으로 휙 움직이는 것(flicking)과 같은 제스처에 의해, 자동 완성의 제 1 제안이 선택될 수 있다. 제스처를 이용하는 것의 이점은 키보드 상의 작은 버튼을 누르지 않아도 된다는 것이다. 이러한 실시예들에서는, 손 자세를 통해 터치하거나 제어할 때 타이핑된 텍스트가 사전과 즉시 비교되고 자동 완성들의 제안들이 각각 수행되도록 하는 사전이 제공될 수 있다. 사전 제안들은 위에 논의한 것과 유사한 방식으로 손 자세에 따른다.
게다가, 몇몇 실시예들에서는, 최적의 사용자 편의를 위해 문법 체크가 추가되어, 타이핑을 보다 쉽고 빠르게 할 수 있다:
각각의 순으로 이해가 되지 않는 문자들은 억제될 수 있다;
어떠한 대문자도 두 번째 문자로 하지 않는다;
마침표 이후 첫 번째 문자를 항상 대문자로 한다.
위 설명된 옵션들은 또한 결합될 수 있다.
예를 들어 송신 전극에 의해 발생되어 여러 수신 전극들에 의해 수신되는 전기장의 변화들을 분석할 뿐만 아니라 다른 손 자세 검출 방법들(카메라, 적외선, 초음파)을 포함할 수 있는 제스처 인식 집적 회로와 결합될 때, 새로운 가치있는 애플리케이션들이 다양한 실시예들에 의해 제공된다. 따라서, 사용되는 주요 분야는 터치 스크린들과 터치 패널들일 수 있다. 하지만, 다른 실시예들이 적용될 수 있는데, 사용자 인터페이스의 단순화는 소비자 및 기타 산업에 중요한 수입 원동력이기 때문이다.
본 발명은 그 특정 실시예들에 관하여 개시되었지만, 이 실시예들은 단지 예로서, 본 발명을 한정하지 않는다. 식별항목 [요약서] 및 [과제의 해결 수단]의 설명을 포함하는 본 발명의 개시된 실시예들의 설명은 총망라하려는 것이 아니고 또한 본 명세서에 개시된 정확한 형태들로 본 발명을 제한하려는 것은 아니다(그리고 특히, 식별항목 [요약서] 및 [과제의 해결 수단] 내에 임의의 특정 실시예, 특징 또는 기능을 포함시키는 것은 본 발명의 범위를 이러한 실시예, 특징 또는 기능으로 한정하려는 것은 아니다). 오히려, 그러한 설명은 식별항목 [요약서] 및 [과제의 해결 수단]에 설명된 임의의 이러한 실시예, 특징 또는 기능을 포함하는 임의의 개시된 특정 실시예, 특징 또는 기능으로 본 발명을 한정함 없이, 이 기술분야의 당업자에게 본 발명을 이해시킬 자료(context)를 제공하기 위한 예시적인 실시예들, 특징들 또는 기능들을 설명하려는 것이다.
본 발명의 특정 실시예들 및 예들은 여기서는 단지 예시의 목적으로 본 명세서에 설명되었지만, 관련 기술분야의 당업자들이라면 인식하고 이해할 다양한 균등적 개량들이 본 발명의 사상 및 범위 내에서 가능하다. 나타낸 바와 같이, 이 개량들은 본 발명의 예시적인 실시예들의 전술한 설명을 고려하여 본 발명에 대해 행해질 수 있으며, 본 발명의 사상 및 범위 내에 포함되어야 한다. 따라서, 본 발명은 그 특정 실시예들을 참조하여 여기에 설명되었지만, 일정 범위의 개량, 다양한 변경들 및 대체들이 전술한 개시들 내에서 이루어지며, 그리고 일부 경우들에는 본 발명의 실시예들의 몇몇 특징들은 개시된 본 발명의 범위 및 사상을 벗어나지 않는 다른 특징들의 대응 사용 없이 이용될 것임을 이해할 것이다. 그러므로, 많은 개량들이, 특정 상황 또는 재료를 본 발명의 본질적인 범위 및 사상에 맞추기 위해 이루어질 수 있다.
본 명세서 전체에 걸쳐, "일 실시예", "실시예", 또는 "특정 실시예" 또는 유사한 용어를 언급하는 것은 상기 실시예와 관련하여 기술된 특정한 특징, 구조, 또는 특성이 적어도 하나의 실시예에 포함되며 모든 실시예들에 반드시 존재하는 것은 아님을 의미한다. 따라서, 본 명세서 전체에 걸쳐 여러 곳에 "일 실시예에서", "실시예에서", 또는 "특정 실시예에서"의 문구들 또는 유사한 용어가 각각 사용되는 것은 반드시 동일한 실시예를 언급하는 것은 아니다. 게다가, 임의의 특정 실시예의 특정한 특징들, 구조들, 또는 특성들은 임의의 적당한 방법으로 하나 이상의 다른 실시예들과 결합될 수 있다. 본 명세서에서 설명되고 예시된 실시예들의 다른 변경들 및 개량들이 본 개시의 교시들을 고려하여 가능하고 그리고 본 발명의 사상 및 범위의 일부분으로 여겨져야 함을 이해해야 한다.
본 명세서의 설명에서, 본 발명의 실시예들의 완전한 이해를 제공하기 위해 구성요소들 및/또는 방법들의 예들과 같은 다수의 특정한 상세가 제공된다. 하지만, 관련 기술의 당업자는 하나 이상의 특정한 상세 없이도 실시예가 실시될 수 있거나, 또는 다른 장치들, 시스템들, 조립체들, 방법들, 구성요소들, 재료들, 및/또는 일부분들 등을 써서 실시될 수 있음을 인식할 것이다. 다른 예들에 있어서는, 잘 알려진 구조들, 구성요소들, 시스템들, 재료들, 또는 동작들은 본 발명의 실시예들의 특징들을 애매하게 하지 않기 위해 구체적으로 제시되지 않거나 상세하게 설명되지 않는다. 본 발명은 특정 실시예를 이용하여 예시될 수 있지만, 이 예시는 본 발명을 임의의 특정 실시예로 한정하지 않으며, 또한 이 기술 분야의 당업자는 추가 실시예들이 쉽게 이해될 수 있고 또한 본 발명의 일부임을 인식할 것이다.
C, C++, 자바, 어셈블리 언어 등을 포함하는 임의의 적당한 프로그래밍 언어가 본 명세서에 개시된 본 발명의 실시예들의 루틴들, 방법들 또는 프로그램들을 실행하는데 사용될 수 있다. 절차 또는 오브젝트 지향과 같은 서로 다른 프로그래밍 기술들이 사용될 수 있다. 임의의 특정 루틴이 단일 컴퓨터 처리 디바이스 또는 다수의 컴퓨터 처리 디바이스들 상에, 그리고 단일 컴퓨터 프로세서 또는 다수의 컴퓨터 프로세서들 상에서 실행될 수 있다. 데이터는 단일 저장 매체에 저장될 수 있거나 또는 다수의 저장 매체들을 통해 분배될 수 있고, 그리고 단일 데이터베이스 또는 다수의 데이터베이스들 내에 (또는 다른 데이터 저장 기술들) 상주할 수 있다. 단계들, 동작들, 또는 계산들이 특정 순서로 나타날 수 있지만, 이 순서는 서로 다른 실시예들에서 변경될 수 있다. 몇몇 실시예들에서, 복수의 단계들이 본 명세서에 순차적인 것으로 제시된 범위에서, 대안의 실시예들에서는 이러한 단계들의 얼마간의 결합이 동시에 수행될 수 있다. 본 명세서에 설명된 일련의 동작들은 중단되거나 일시 중지될 수 있고, 그렇지 않으면 운영 시스템, 커널(kernel) 등과 같은 또 하나의 프로세스에 의해 제어될 수 있다. 루틴들은 운영 시스템 환경에서 동작할 수 있거나 또는 자체적인 독립형 루틴들로서 동작할 수 있다. 본 명세서에 설명된 기능들, 루틴들, 방법들, 단계들 및 동작들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의 결합으로 수행될 수 있다.
본 명세서에 설명된 실시예들은 소프트웨어 또는 하드웨어 또는 둘 다의 결합 내 제어 로직의 형태로 구현될 수 있다. 상기 제어 로직은 정보 처리 디바이스에게 다양한 실시예들에 개시된 단계들의 세트를 수행할 수 있게 지시하도록 구성된 복수의 명령어들로서, 컴퓨터-판독가능 매체와 같은 정보 저장 매체에 저장될 수 있다. 본 개시 및 본 명세서에 제공된 교시들에 기초하여, 이 기술분야의 당업자는 본 발명을 구현할 다른 방식들 및/또는 방법들을 알 수 있을 것이다.
본 명세서에 개시된 임의의 단계들, 동작들, 방법들, 루틴들 또는 이들의 일부분들을 소프트웨어 프로그래밍 또는 코드로 구현하는 것도 또한 본 발명의 사상 및 범위 내에 있으며, 여기에서 이러한 소프트웨어 프로그래밍 또는 코드는, 컴퓨터-판독가능 매체에 저장될 수 있고 그리고 컴퓨터가 본 명세서에 개시된 임의의 단계들, 동작들, 방법들, 루틴들 또는 이들의 일부분들을 수행할 수 있게 하는 프로세서에 의해 동작될 수 있다. 본 발명은 주문형 집적 회로, 프로그래머블 로직 디바이스, 필드 프로그래머블 게이트 어레이 등을 이용함으로써, 하나 이상의 범용 디지털 컴퓨터들에 소프트웨어 프로그래밍 또는 코드를 사용하여 구현될 수 있다. 광학, 화학, 생물학, 양자학 또는 나노 공학(nanoengineered) 시스템들, 구성요소들 및 메커니즘들이 사용될 수 있다. 일반적으로, 본 발명의 기능들은 이 기술분야에서 알려져 있는 임의의 수단으로 달성될 수 있다. 예를 들어, 분산 또는 네트워크 시스템들, 구성요소들 및 회로들이 사용될 수 있다. 또 하나의 예에서, 데이터의 통신 또는 전송(아니면 한 장소에서 다른 장소로의 이동)은 유선이나 무선, 또는 임의의 다른 수단에 의한 것일 수 있다.
"컴퓨터-판독가능 매체"는 명령어 실행 시스템, 장치, 시스템 또는 디바이스에 의해 또는 상기 명령어 실행 시스템, 장치, 시스템 또는 디바이스와 연결하여 사용하기 위한, 프로그램을 포함하거나 저장하거나 통신하거나 전파하거나 또는 전송할 수 있는 임의의 매체일 수 있다. 상기 컴퓨터 판독가능 매체는 단지 예를 들어, 전자, 자기, 광학, 전자기, 적외선, 또는 반도체의 시스템, 장치, 시스템, 디바이스, 전파 매체, 또는 컴퓨터 메모리일 수 있으나, 이에 한정되는 것은 아니다. 이러한 컴퓨터-판독가능 매체는 일반적으로 기계 판독가능하며, 그리고 사람이 읽을 수 있거나(예컨대, 소스 코드) 기계 판독가능한(예컨대, 오브젝트 코드) 소프트웨어 프로그래밍 또는 코드를 포함한다. 비(non)-일시적 컴퓨터-판독가능 매체들의 예들은 랜덤 액세스 메모리들, 판독-전용 메모리들, 하드 드라이브들, 데이터 카트리지들, 자기 테이프들, 플로피 디스켓들, 플래시 메모리 드라이브들, 광학 데이터 저장 디바이스들, 콤팩트-디스크 판독-전용 메모리들, 및 다른 적절한 컴퓨터 메모리들과 데이터 저장 디바이스들을 포함할 수 있다. 예시적인 실시예에서, 소프트웨어 구성요소들의 일부 혹은 모두는 단일 서버 컴퓨터에 또는 별개의 서버 컴퓨터들의 임의의 결합에 상주할 수 있다. 이 기술분야의 당업자가 이해할 수 있는 바와 같이, 본 명세서에 개시된 실시예를 구현하는 컴퓨터 프로그램 제품은 컴퓨팅 환경에서 하나 이상의 프로세서들에 의해 번역될 수 있는 컴퓨터 명령어들을 저장하는 하나 이상의 비-일시적 컴퓨터 판독가능 매체들을 포함할 수 있다.
"프로세서"는 데이터, 신호들 또는 다른 정보를 처리하는 임의의 하드웨어 시스템, 메커니즘 또는 구성요소를 포함한다. 프로세서는 범용 중앙 처리 유닛, 다수의 처리 유닛들, 기능성을 달성하기 위한 전용 회로부, 또는 다른 시스템들을 구비한 시스템을 포함할 수 있다. 처리는 지리적 위치에 한정되거나 시간 제한들을 가질 필요가 없다. 예를 들어, 프로세서는 그의 기능들을 "실시간", "오프라인", "배치(batch) 모드" 등으로 수행할 수 있다. 처리의 일부들은 서로 다른 시간들에서 및 서로 다른 위치들에서 서로 다른(혹은 동일한) 처리 시스템들에 의해 수행될 수 있다.
본 명세서에서 사용된 바와 같은, "포함한다", "포함하는", "가진다", "갖는" 또는 이들의 임의의 다른 변형의 용어들은 비-배타적으로 포함(non-exclusive inclusion)하는 것을 의미한다. 예를 들어, 구성요소들의 리스트를 포함하는 프로세스, 제품, 물건, 또는 장치는 반드시 그 구성요소들만으로 제한되는 것은 아니라, 명시적으로 나열되지 않았거나 이러한 프로세스, 제품, 물건, 또는 장치에 고유한 다른 구성요소들을 포함할 수 있다.
또한, 본 명세서에 사용된 "또는"의 용어는 달리 지적되지 않는다면 일반적으로 "및/또는"을 의미한다. 예를 들어, 조건 A 또는 B는 다음 중 어느 하나에 의해 만족된다: A가 참이고(또는 존재하고) B는 거짓이다(또는 존재하지 않는다), A가 거짓이고(또는 존재하지 않고) B가 참이다(또는 존재한다), 및 A와 B는 둘 다 참이다(또는 존재한다). 다음에 오는 청구범위를 포함하여 본 명세서에서 사용된 바와 같은, 선행 용어의 부정관사 "a" 또는 "an"(그리고 선행 기초가 "a"나 "an"일 때의 정관사 "the(상기)")는 청구범위 내에서 분명하게 달리 지적되지 않는다면 (즉, 참조 기호 "a" 또는 "an"이 단지 단수만을 혹은 복수만을 명확하게 가리킨다고 지적되지 않는다면) 이러한 용어의 단수 및 복수를 둘 다 포함한다. 또한, 본 명세서의 상세한 설명에서 그리고 다음의 청구범위 전체에 걸쳐 사용된 바와 같은, "in(내(內))"의 의미는 문맥이 명확하게 달리 지시하지 않는 한 "in" 및 "on(상(上))"을 포함한다.
도면들/도표들에 도시된 하나 이상의 요소들은 더 분리되거나 집적되는 방식으로 또한 구현될 수 있고 특정 애플리케이션에 따라 유용하며, 또는 특정 경우들에서는 작동 불능으로 제거되거나 렌더링될 수 있음이 이해될 것이다. 또한, 도면들에 도시된 임의의 신호 화살표들은 달리 특별히 언급되지 않는 한, 단지 예시로서 고려되어야 하고 이들로 한정되지 않는다.

Claims (32)

  1. 제스처 검출 방법으로서,
    입력 오브젝트의 터치 위치를 검출하는 것;
    상기 터치 위치 및 상기 입력 오브젝트의 위치의 특성 파라미터들에 따라 입력 모드를 선택하는 것; 그리고
    상기 특성 파라미터들의 계산 이후에 또는 각각의 터치의 해제에 따라, 입력 문자를 입력하는 것을 포함하는, 제스처 검출 방법.
  2. 제 1 항에 있어서,
    입력 모드는 3차원 센서 시스템의 파라미터 변화의 검출시 전환되는, 제스처 검출 방법.
  3. 제 1 항에 있어서,
    상기 파라미터들은 터치를 수행하는 입력 오브젝트의 앙각(elevation) 레벨에 의해 결정되는, 제스처 검출 방법.
  4. 제 1 항에 있어서,
    상기 입력 오브젝트는 손이고, 상기 파라미터들은 모바일 디바이스를 쥐고 있는 상기 손의 손가락을 들어올림으로써 결정되는, 제스처 검출 방법.
  5. 제 1 항에 있어서,
    상기 입력 오브젝트는 손이고, 상기 파라미터들은 상기 터치를 수행하는 상기 손의 방위각에 의해 결정되는, 제스처 검출 방법.
  6. 제 3 항에 있어서,
    제 1 앙각은 제 1 입력 모드를 선택하고, 제 2 앙각은 제 2 입력 모드를 선택하는, 제스처 검출 방법.
  7. 제 5 항에 있어서,
    제 1 방위각은 제 1 입력 모드를 선택하고, 제 2 방위각은 제 2 입력 모드를 선택하는, 제스처 검출 방법.
  8. 제스처 검출 시스템으로서,
    터치 감지 표면 및 비접촉 검출 시스템을 포함하는 입력 디바이스; 및
    사용자 입력 오브젝트의 3차원 공간에서의 위치에 대한 특성 파라미터들을 결정하고 상기 사용자 입력 오브젝트의 위치에 기초하여 상기 입력 디바이스의 동작 모드를 선택하도록 구성된 제어기를 포함하는, 제스처 검출 시스템.
  9. 제 8 항에 있어서,
    상기 입력 디바이스 또는 상기 연결된 시스템은 그래픽 사용자 인터페이스를 포함하는, 제스처 검출 시스템.
  10. 제 9 항에 있어서,
    상기 사용자 입력 오브젝트의 상기 3차원 공간에서의 위치를 결정하는 것은 상기 사용자 입력 오브젝트의 방위각을 결정하는 것과 상기 방위각에 기초하여 상기 그래픽 사용자 인터페이스 상의 문자를 선택하는 것을 포함하는, 제스처 검출 시스템.
  11. 제 9 항에 있어서,
    상기 사용자 입력 오브젝트의 상기 3차원 공간에서의 위치를 결정하는 것은 상기 사용자 입력 오브젝트의 앙각을 결정하는 것과 상기 앙각에 기초하여 상기 그래픽 사용자 인터페이스 상의 문자를 선택하는 것을 포함하는, 제스처 검출 시스템.
  12. 제 9 항에 있어서,
    상기 제어기는 제 2 사용자 입력 오브젝트의 3차원 공간에서의 위치를 결정하고 그리고 상기 제 2 사용자 입력 오브젝트의 위치에 기초하여 상기 입력 디바이스의 동작 모드를 선택하도록 구성되는, 제스처 검출 시스템.
  13. 제 9 항에 있어서,
    상기 입력 디바이스의 상기 동작 모드는 상기 사용자 입력 오브젝트의 상기 3차원 공간에서의 위치에 기초하여 옵션 메뉴를 표시하는 것을 포함하는, 제스처 검출 시스템.
  14. 제 9 항에 있어서,
    타이핑된 텍스트 및 상기 사용자 입력 오브젝트의 상기 3차원 공간에서의 검출에 응답하여 액세스할 수 있는 사전을 더 포함하는 제스처 검출 시스템.
  15. 제 14 항에 있어서,
    상기 사용자 입력 오브젝트의 상기 3차원 공간에서의 위치에 기초하여 상기 타이핑된 텍스트와 연관된 상기 사전으로부터 하나 이상의 자동 완성 옵션들을 제공하도록 추가로 구성되는 제스처 검출 시스템.
  16. 전자 디바이스로서,
    터치 감지 표면 및 비접촉 검출 시스템을 포함하는 입력 디바이스;
    상기 입력 디바이스를 이용하는 선택들(selections)을 표시하기 위한 디스플레이 디바이스; 및
    상기 터치 감지 표면에 대한 사용자 입력 오브젝트의 3차원 공간에서의 위치와 연관된 파라미터들을 결정하고 그리고 상기 사용자 입력 오브젝트의 위치에 기초하여 상기 입력 디바이스의 동작 모드를 선택하도록 구성된 제어기를 포함하는, 전자 디바이스.
  17. 제 16 항에 있어서,
    상기 사용자 입력 오브젝트의 상기 3차원 공간에서의 위치와 연관된 파라미터들을 결정하는 것은 상기 사용자 입력 오브젝트의 방위각을 결정하는 것과 상기 방위각에 기초하여 그래픽 사용자 인터페이스 상의 문자를 선택하는 것을 포함하는, 전자 디바이스.
  18. 제 16 항에 있어서,
    상기 사용자 입력 오브젝트의 상기 3차원 공간에서의 위치와 연관된 파라미터들을 결정하는 것은 상기 사용자 입력 오브젝트의 앙각을 결정하는 것과 상기 앙각에 기초하여 그래픽 사용자 인터페이스 상의 제 1 문자 또는 제 2 문자를 선택하는 것을 포함하는, 전자 디바이스.
  19. 제 16 항에 있어서,
    상기 제어기는 제 2 사용자 입력 오브젝트의 3차원 공간에서의 위치와 연관된 파라미터들을 결정하고 그리고 상기 제 2 사용자 입력 오브젝트의 위치에 기초하여 상기 입력 디바이스의 동작 모드를 선택하도록 구성되는, 전자 디바이스.
  20. 제 16 항에 있어서,
    상기 입력 디바이스의 상기 동작 모드는 상기 사용자 입력 오브젝트의 상기 3차원 공간에서의 위치에 기초하여 옵션 메뉴를 표시하는 것을 포함하는, 전자 디바이스.
  21. 제 16 항에 있어서,
    타이핑된 텍스트 및 상기 파라미터들의 검출에 응답하여 액세스할 수 있는 사전을 더 포함하는 전자 디바이스.
  22. 제 21 항에 있어서,
    상기 제어기는 상기 파라미터들에 기초하여 상기 타이핑된 텍스트와 연관된 상기 사전으로부터 하나 이상의 자동 완성 옵션들을 제공하도록 추가로 구성되는, 전자 디바이스.
  23. 터치 위치를 검출하는 것;
    3차원 공간에서 사용자 입력 오브젝트의 위치-관련 파라미터들을 검출하는 것; 그리고
    상기 터치 위치 및 상기 위치-관련 파라미터들에 기초하여 전자 디바이스의 동작 모드를 선택하는 것을 포함하는 방법.
  24. 제 23 항에 있어서,
    상기 동작 모드는 상기 위치-관련 파라미터들에 기초하여 그래픽 사용자 인터페이스 상의 제 1 문자 또는 제 2 문자를 선택하는 것을 포함하는 방법.
  25. 제 23 항에 있어서,
    상기 위치-관련 파라미터들은 상기 사용자 입력 오브젝트의 방위각을 포함하는 방법.
  26. 제 23 항에 있어서,
    상기 위치-관련 파라미터들은 상기 사용자 입력 오브젝트의 앙각을 포함하는 방법.
  27. 제 26 항에 있어서,
    3차원 공간에서 제 2 사용자 입력 오브젝트의 위치-관련 파라미터들을 검출하는 것과, 3차원 공간에서 상기 제 2 사용자 입력 오브젝트의 상기 위치-관련 파라미터들에 기초하여 상기 전자 디바이스의 동작 모드를 선택하는 것을 더 포함하는 방법.
  28. 제 25 항에 있어서,
    3차원 공간에서 제 2 사용자 입력 오브젝트의 위치-관련 파라미터들을 검출하는 것과, 3차원 공간에서 상기 제 2 사용자 입력 오브젝트의 상기 위치-관련 파라미터들에 기초하여 상기 전자 디바이스의 동작 모드를 선택하는 것을 더 포함하는 방법.
  29. 제 23 항에 있어서,
    상기 동작 모드를 선택하는 것은 상기 위치-관련 파라미터들에 기초하여 그래픽 사용자 인터페이스 상의 하나 이상의 제어들을 선택하는 것을 포함하는 방법.
  30. 제 23 항에 있어서,
    타이핑된 텍스트 및 상기 위치-관련 파라미터들의 검출에 응답하여 사전에 액세스하는 것을 더 포함하는 방법.
  31. 제 30 항에 있어서,
    상기 위치-관련 파라미터들에 기초하여 상기 타이핑된 텍스트와 연관된 상기 사전으로부터 하나 이상의 자동 완성 옵션들을 제공하는 것을 더 포함하는 방법.
  32. 제 30 항에 있어서,
    제 1 위치 정보 및 제 2 위치 정보가 이벤트-구동(event-driven) 멀티플렉싱을 이용하여 결정되는 방법.
KR1020157007366A 2012-08-27 2013-08-27 손 자세 제어에 의한 입력 디바이스 KR102137687B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261693617P 2012-08-27 2012-08-27
US61/693,617 2012-08-27
US13/975,579 2013-08-26
US13/975,579 US9552068B2 (en) 2012-08-27 2013-08-26 Input device with hand posture control
PCT/EP2013/067746 WO2014033138A1 (en) 2012-08-27 2013-08-27 Input device with hand posture control

Publications (2)

Publication Number Publication Date
KR20150047577A true KR20150047577A (ko) 2015-05-04
KR102137687B1 KR102137687B1 (ko) 2020-07-27

Family

ID=50147554

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157007366A KR102137687B1 (ko) 2012-08-27 2013-08-27 손 자세 제어에 의한 입력 디바이스

Country Status (7)

Country Link
US (1) US9552068B2 (ko)
EP (1) EP2888653A1 (ko)
JP (2) JP2015531139A (ko)
KR (1) KR102137687B1 (ko)
CN (1) CN104662508A (ko)
TW (1) TWI614645B (ko)
WO (1) WO2014033138A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180078997A (ko) * 2016-12-30 2018-07-10 에스엘 주식회사 제스처 인식 장치

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
DE102012219736A1 (de) * 2012-10-29 2014-04-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben einer Eingabevorrichtung
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
US10281987B1 (en) * 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
TWI507920B (zh) * 2014-08-20 2015-11-11 Quanta Comp Inc 電子裝置及避免多個輸入裝置互相干擾的方法
US10039975B2 (en) 2015-01-13 2018-08-07 Disney Enterprises, Inc. Techniques for representing imaginary participants in an immersive play environment
US10265621B2 (en) 2015-01-20 2019-04-23 Disney Enterprises, Inc. Tracking specific gestures relative to user movement
US9855497B2 (en) 2015-01-20 2018-01-02 Disney Enterprises, Inc. Techniques for providing non-verbal speech recognition in an immersive playtime environment
JPWO2016121708A1 (ja) * 2015-01-26 2017-11-24 Ｎｅｃソリューションイノベータ株式会社 入力システム、入力装置、入力方法、および、プログラム
US10108292B2 (en) * 2015-04-22 2018-10-23 Microchip Technology Incorporated Capacitive sensor system with multiple transmit electrodes
USD788048S1 (en) * 2015-06-16 2017-05-30 Fibar Group S.A. Touch-less swipe controller
CN106027104A (zh) * 2016-07-08 2016-10-12 杭州联络互动信息科技股份有限公司 一种使用手腕佩戴的智能设备执行通讯操作的方法及装置
CN106598470A (zh) * 2016-12-27 2017-04-26 努比亚技术有限公司 一种触控操作方法及装置
WO2018119728A1 (zh) * 2016-12-28 2018-07-05 英华达（上海）科技有限公司 电子设备的输入方法及系统
CN106873870A (zh) * 2017-01-06 2017-06-20 珠海格力电器股份有限公司 一种终端交互方法及其装置、终端及电子设备
US10788935B2 (en) * 2017-03-13 2020-09-29 Microsoft Technology Licensing, Llc Multiplexing capacitance sensing and display functionality
WO2019044003A1 (ja) * 2017-09-04 2019-03-07 株式会社ワコム 空間位置指示システム
US12086406B2 (en) * 2021-09-28 2024-09-10 Lenovo (Beijing) Limited Control method and device and electronic device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100838818B1 (ko) * 2007-08-13 2008-06-17 홍성찬 문자입력장치
JP2010033158A (ja) * 2008-07-25 2010-02-12 Sony Corp 情報処理装置及び情報処理方法
JP2011008424A (ja) * 2009-06-24 2011-01-13 Sharp Corp 電子機器、動作モード設定方法、およびプログラム
US20120068941A1 (en) * 2010-09-22 2012-03-22 Nokia Corporation Apparatus And Method For Proximity Based Input
KR20120044359A (ko) * 2009-07-10 2012-05-07 애플 인크. 터치 및 호버 감지

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292111B2 (en) * 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US6597345B2 (en) 2000-03-03 2003-07-22 Jetway Technologies Ltd. Multifunctional keypad on touch screen
US9274551B2 (en) * 2005-02-23 2016-03-01 Zienon, Llc Method and apparatus for data entry input
US20090021491A1 (en) * 2006-02-23 2009-01-22 Pioneer Corporation Operation input device
DE102007020873A1 (de) 2007-04-26 2008-10-30 Ident Technology Ag Sensoreinrichtung, sowie Verfahren zur Generierung von hinsichtlich der Position oder Positionsänderung von Gliedmaßen indikativen Signalen
US8516397B2 (en) * 2008-10-27 2013-08-20 Verizon Patent And Licensing Inc. Proximity interface apparatuses, systems, and methods
US20100271331A1 (en) * 2009-04-22 2010-10-28 Rachid Alameh Touch-Screen and Method for an Electronic Device
US9632622B2 (en) * 2009-07-16 2017-04-25 Apple Inc. Ground detection for touch sensitive device
DE102010007455B4 (de) 2010-02-10 2024-06-27 Microchip Technology Germany Gmbh System und Verfahren zum berührungslosen Erfassen und Erkennen von Gesten in einem dreidimensionalen Raum
WO2011128116A2 (de) 2010-04-16 2011-10-20 Ident Technology Ag Tft- display, oled-interface, sowie verfahren zur detektion der räumlichen position von gliedmassen in einem, einem display vorgelagerten räumlichen bereich
US9323379B2 (en) 2011-12-09 2016-04-26 Microchip Technology Germany Gmbh Electronic device with a user interface that has more than two degrees of freedom, the user interface comprising a touch-sensitive surface and contact-free detection means
US8436828B1 (en) * 2012-01-27 2013-05-07 Google Inc. Smart touchscreen key activation detection
US9298295B2 (en) * 2012-07-25 2016-03-29 Facebook, Inc. Gestures for auto-correct

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100838818B1 (ko) * 2007-08-13 2008-06-17 홍성찬 문자입력장치
JP2010033158A (ja) * 2008-07-25 2010-02-12 Sony Corp 情報処理装置及び情報処理方法
JP2011008424A (ja) * 2009-06-24 2011-01-13 Sharp Corp 電子機器、動作モード設定方法、およびプログラム
KR20120044359A (ko) * 2009-07-10 2012-05-07 애플 인크. 터치 및 호버 감지
US20120068941A1 (en) * 2010-09-22 2012-03-22 Nokia Corporation Apparatus And Method For Proximity Based Input

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180078997A (ko) * 2016-12-30 2018-07-10 에스엘 주식회사 제스처 인식 장치

Also Published As

Publication number Publication date
WO2014033138A1 (en) 2014-03-06
CN104662508A (zh) 2015-05-27
US9552068B2 (en) 2017-01-24
TW201413538A (zh) 2014-04-01
JP2015531139A (ja) 2015-10-29
TWI614645B (zh) 2018-02-11
US20140055396A1 (en) 2014-02-27
KR102137687B1 (ko) 2020-07-27
JP6522726B2 (ja) 2019-05-29
JP2018055718A (ja) 2018-04-05
EP2888653A1 (en) 2015-07-01

Similar Documents

Publication Publication Date Title
KR102137687B1 (ko) 손 자세 제어에 의한 입력 디바이스
JP4795343B2 (ja) 二重モードデジタイザの自動切り替え
AU2014307237B2 (en) Method and apparatus for recognizing grip state in electronic device
KR102120930B1 (ko) 포터블 디바이스의 사용자 입력 방법 및 상기 사용자 입력 방법이 수행되는 포터블 디바이스
CN103221914B (zh) 便携式电子设备及其控制方法
EP2332023B1 (en) Two-thumb qwerty keyboard
EP3299938B1 (en) Touch-sensitive button with two levels
KR102007651B1 (ko) 터치스크린 키보드를 구성하는 방법, 장치 및 이를 수행하는 프로그램을 저장하는 컴퓨터로 읽을 수 있는 저장 매체
US9665177B2 (en) User interfaces and associated methods
EP2888649B1 (en) Sensor pattern for a tactile input device
US8810529B2 (en) Electronic device and method of controlling same
US20120169619A1 (en) Electronic device and method of controlling same
WO2012108896A1 (en) Electronic device and method of controlling same
US9483168B2 (en) Correcting scrolling gesture
CA2767707C (en) Electronic device and method of controlling same
KR101366433B1 (ko) 전자 디바이스 및 이의 제어 방법
US20150242004A1 (en) Touch-sensitive input device having a logo displayed thereon for use in a mobile electronic device
WO2014042617A1 (en) Pointing error avoidance scheme
KR20140042700A (ko) 터치 감지 디스플레이

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant