KR102388791B1 - 제스처 제어 시스템 및 방법 - Google Patents

제스처 제어 시스템 및 방법 Download PDF

Info

Publication number
KR102388791B1
KR102388791B1 KR1020167020042A KR20167020042A KR102388791B1 KR 102388791 B1 KR102388791 B1 KR 102388791B1 KR 1020167020042 A KR1020167020042 A KR 1020167020042A KR 20167020042 A KR20167020042 A KR 20167020042A KR 102388791 B1 KR102388791 B1 KR 102388791B1
Authority
KR
South Korea
Prior art keywords
input device
input
touch
delete delete
sensing electrodes
Prior art date
Application number
KR1020167020042A
Other languages
English (en)
Other versions
KR20160128994A (ko
Inventor
안드레아스 도르프너
Original Assignee
마이크로칩 테크놀로지 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로칩 테크놀로지 인코포레이티드 filed Critical 마이크로칩 테크놀로지 인코포레이티드
Publication of KR20160128994A publication Critical patent/KR20160128994A/ko
Application granted granted Critical
Publication of KR102388791B1 publication Critical patent/KR102388791B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0445—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using two or more layers of sensing electrodes, e.g. using two layers of electrodes separated by a dielectric layer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/045—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using resistive elements, e.g. a single continuous surface or two parallel surfaces put in contact
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

시스템은, 프로세싱 시스템, 상기 프로세싱 시스템 내에 통합되며 상기 프로세싱 시스템과 결합되는 입력 디바이스, 상기 프로세싱 시스템에 통합되며 상기 입력 디바이스의 위 영역을 모니터링하도록 구성되는 센서 배열, 및 미리정의된 입력 동작들을 검출하도록 상기 센서 배열과 결합되는 컨트롤러를 포함하고, 상기 컨트롤러는 상기 프로세싱 시스템과 결합되고, 상기 미리정의된 입력 동작들은 상기 입력 디바이스로부터의 입력들과 결합된다.

Description

제스처 제어 시스템 및 방법{SYSTEM AND METHOD FOR GESTURE CONTROL}
본 출원은 2014년 3월 3일 출원된 미국 가출원 번호 61/947,112의 이익을 주장하며, 상기 가출원은 그 전체가 여기에 포함된다.
본 발명은 휴먼 디바이스 인터페이스들에 관한 것이며, 특히 3차원(3D) 제스처 검출에 관한 것이다.
프로세싱 디바이스들, 예를 들어 퍼스널 컴퓨터들 특히 랩탑 컴퓨터들, 타블렛 컴퓨터들 등과 같은 모바일 컴퓨터에는, 보통, 키보드, 터치 스크린, 트랙 패드, 마우스 등과 같은 다양한 입력 디바이스들이 제공된다. 이러한 입력 디바이스들에는 일반적으로 터치 및/또는 수동 오퍼레이션을 필요로 하는 2차원 입력 디바이스가 제공된다.
현존하는 입력 디바이스들의 기능을 향상시킬 수 있는 개선된 입력 디바이스가 요구된다.
일 실시예에 따르면, 시스템은, 프로세싱 시스템, 상기 프로세싱 시스템 내에 통합되며 상기 프로세싱 시스템과 결합되는 입력 디바이스, 상기 프로세싱 시스템과 통합되며 상기 입력 디바이스의 위(above) 영역을 모니터링하도록 구성되는 센서 배열, 및 미리정의된 입력 동작들을 검출하도록 상기 센서 배열과 결합되는 컨트롤러를 포함하고, 상기 컨트롤러는 상기 프로세싱 시스템과 결합되고, 상기 미리정의된 입력 동작들은 상기 입력 디바이스로부터의 입력들과 결합될 수 있다.
추가 실시예에 따르면, 상기 센서 배열은, 복수의 전극이 상기 입력 디바이스를 둘러싸도록 배열된 상기 복수의 전극들을 포함할 수 있다. 추가 실시예에 따르면, 상기 센서 배열은 적외선 센서들을 포함할 수 있다. 추가 실시예에 따르면, 상기 센서 배열은 초음파 센서들을 포함할 수 있다. 추가 실시예에 따르면, 상기 입력 디바이스는 용량성 센서 엘리먼트들의 매트릭스를 포함하는 터치 센서일 수 있는데, 하나의 동작 모드에서는, 상기 용량성 센서 엘리먼트들의 매트릭스가 터치 센서로서 동작하고, 제2 동작 모드에서는, 센서 엘리먼트들의 미리정의된 세트들이 개별의 길쭉한 센서 엘리먼트들을 형성하도록 결합될 수 있고, 상기 제2 동작 모드에서는, 상기 입력 디바이스의 상기 개별의 길쭉한 센서 엘리먼트들이 상기 입력 디바이스의 상기 위 영역을 모니터링하도록 상기 센서 배열을 형성한다. 추가 실시예에 따르면, 상기 전극 배열은 상기 전극 배열의 위 3D 공간에서 수행된 제스처를 검출하도록 구성될 수 있는데, 상기 전극 배열은, 준정적 전계(quasi-static electric field)를 발생시키기 위한 송신 전극(transmission electrode)과 상기 입력 디바이스의 주위에 배열된 복수의 수신 전극들(reception electrodes)을 포함한다. 추가 실시예에 따르면, 상기 전극 배열은, 배열된 터치 센서들로서 동작하도록 구성될 수 있는데, 상기 입력 디바이스의 주위에 있는(around) 복수의 전극 센서들을 포함할 수 있다. 추가 실시예에 따르면, 상기 입력 디바이스의 주위에 있는 상기 전극 센서들은, 제1 동작 모드에서는 비터치 제스처 검출 센서들로서 동작하도록 구성될 수 있고 제2 동작 모드에서는 터치 센서들로서 동작하도록 구성될 수 있다. 추가 실시예에 따르면, 상기 동작 모드들은 시간-다중화(time-multiplexed)될 수 있다. 추가 실시예에 따르면, 상기 입력 동작들은 상기 입력 디바이스를 차단(block) 또는 해제(unblock)하기 위해 이용될 수 있다. 추가 실시예에 따르면, 상기 입력 동작들은 상기 프로세싱 시스템의 미리정의된 기능들을 수행하기 위해 이용될 수 있다. 추가 실시예에 따르면, 상기 입력 동작들은, 입력 동작들의 시퀀스(sequence)로 구성될 수 있다. 추가 실시예에 따르면, 상기 시퀀스는 복수의 동일한 입력 동작들을 포함할 수 있다. 추가 실시예에 따르면, 상기 동일한 입력 동작들은 상기 입력 디바이스를 수직으로 가로질러 2회 손을 움직이는 것일 수 있다. 추가 실시예에 따르면, 상기 입력 동작들은 입력 동작들의 시퀀스로 구성될 수 있다. 추가 실시예에 따르면, 상기 시퀀스는 복수의 동일한 입력 동작들로 구성될 수 있다. 추가 실시예에 따르면, 제1 미리정의된 기능은 복사 기능이고, 제2 미리정의된 기능은 붙여넣기 기능일 수 있다. 추가 실시예에 따르면, 상기 입력 디바이스의 입력과 결합된 입력 동작은 상기 프로세싱 시스템의 미리정의된 기능을 수행할 수 있다. 추가 실시예에 따르면, 상기 입력 디바이스는 터치패드이고, 상기 입력 동작은 상기 전극 배열의 하나의 전극 상의 터치 검출이고, 상기 입력 디바이스로부터의 상기 입력은 상기 터치 패드에서 수행된 터치 움직임일 수 있다. 추가 실시예에 따르면, 상기 전극 배열은 복수의 전극들을 포함할 수 있는데, 상기 터치된 전극은 수평 스크롤링, 수직 스크롤링, 및 주밍(zooming)으로 구성된 그룹으로부터 선택되는 상기 미리정의된 기능을 정의한다.
또 하나의 실시예에 따르면, 시스템은, 상기 프로세싱 시스템 내에 통합되며 상기 프로세싱 시스템과 결합되는 입력 디바이스, 상기 프로세싱 시스템과 통합되며 상기 입력 디바이스의 주위 영역을 모니터링하도록 구성되는 센서 배열, 및 미리정의된 비터치 입력 동작들을 검출하도록 상기 센서 배열과 결합되는 컨트롤러를 포함할 수 있는데, 상기 컨트롤러는 상기 프로세싱 시스템과 결합되고, 비터치 입력 동작을 검출하기 위해서 상기 입력 디바이스의 상기 주위 영역에서의 비의도적인 움직임으로부터 비터치 입력 동작을 구별하는 제스처들의 미리정의된 시퀀스가 요구된다.
상기 시스템의 추가 실시예에 따르면, 상기 센서 배열은, 복수의 전극이 상기 입력 디바이스를 둘러싸도록 배열된 상기 복수의 전극들을 포함하는 전극 배열이고, 상기 전극 배열은 상기 전극 배열의 위 3D 공간에서 수행된 제스처를 검출하도록 구성되고, 상기 전극 배열은 준정적 전계를 발생시키기 위한 송신 전극과 상기 입력 디바이스의 주위에 배열된 복수의 수신 전극들을 포함한다. 상기 시스템의 추가 실시예에 따르면, 상기 센서 배열은 적외선 센서들 또는 초음파 센서들을 포함할 수 있다. 상기 시스템의 추가 실시예에 따르면, 상기 입력 동작들은 상기 프로세싱 시스템의 미리정의된 기능들을 수행하기 위해 이용될 수 있다. 상기 시스템의 추가 실시예에 따르면, 상기 제스처들의 시퀀스는 복수의 동일한 입력 동작들을 포함할 수 있다. 상기 시스템의 추가 실시예에 따르면, 상기 동일한 입력 동작들은 상기 입력 디바이스를 수직으로 가로질러 2회 손을 움직이는 것일 수 있다. 상기 시스템의 추가 실시예에 따르면, 상기 입력 디바이스는 용량성 센서 엘리먼트들의 매트릭스를 포함할 수 있는데, 하나의 동작 모드에서는, 상기 용량성 센서 엘리먼트들의 매트릭스가 터치 센서로서 동작하고, 제2 동작 모드에서는, 센서 엘리먼트들의 미리정의된 세트들이 개별의 길쭉한 센서 엘리먼트들을 형성하도록 결합될 수 있고, 상기 제2 동작 모드에서는, 상기 입력 디바이스가 상기 입력 디바이스의 상기 위 영역을 모니터링하도록 상기 센서 배열을 형성한다.
또 하나의 실시예에 따르면, 방법은, 프로세싱 시스템 내에 통합된 입력 디바이스를 포함하는 데이터 프로세싱 디바이스를 동작시키는 방법으로서: 상기 입력 디바이스를 둘러싸는 영역이 센서 배열에 의해 모니터링되도록, 상기 데이터 프로세싱 디바이스 내에 상기 센서 배열을 통합시키는 단계, 상기 전극 배열과 결합되는 컨트롤러에 의해 미리정의된 입력 동작들을 검출하는 단계, 및 상기 미리정의된 입력 동작들을 상기 입력 디바이스에 의해 생성된 입력들과 결합하는 단계를 포함할 수 있다.
상기 방법의 추가 실시예에 따르면, 상기 센서 배열은, 복수의 전극들이 상기 입력 디바이스를 둘러싸도록 배열된 상기 복수의 전극들을 포함하는 전극 배열일 수 있다. 상기 방법의 추가 실시예에 따르면, 상기 센서 배열은 적외선 센서들을 포함할 수 있다. 상기 방법의 추가 실시예에 따르면, 상기 센서 배열은 초음파 센서들을 포함할 수 있다. 상기 방법의 추가 실시예에 따르면, 상기 전극 배열은 상기 전극 배열의 위 3D 공간에서 수행된 비터치 제스처를 검출하도록 구성될 수 있는데, 상기 전극 배열은 준정적 전계를 발생시키기 위한 송신 전극과 상기 입력 디바이스의 주위에 배열된 복수의 수신 전극들을 포함한다. 상기 방법의 추가 실시예에 따르면, 상기 전극 배열은 상기 입력 디바이스의 주위에 있는 복수의 전극 센서들을 포함할 수 있는데, 상기 방법은, 상기 전극 센서들을 터치 센서들로서 동작하도록 구성하는 것을 포함한다. 상기 방법의 추가 실시예에 따르면, 상기 방법은, 상기 입력 디바이스의 주위의 상기 전극 센서들이, 제1 동작 모드에서는 비터치 제스처 검출 센서로서 동작하도록 구성되고 제2 동작 모드에서는 터치 센서들로서 동작하도록 구성되는 것을 더 포함할 수 있다. 상기 방법의 추가 실시예에 따르면, 상기 동작 모드들은 시간-다중화될 수 있다. 상기 방법의 추가 실시예에 따르면, 상기 입력 동작들은 상기 입력 디바이스를 차단 또는 차단해제하기 위해 이용될 수 있다. 상기 방법의 추가 실시예에 따르면, 상기 입력 동작들은 상기 프로세싱 시스템의 미리정의된 동작들을 수행하기 위해 이용될 수 있다. 상기 방법의 추가 실시예에 따르면, 상기 입력 동작들은 입력 동작들의 시퀀스로 구성될 수 있다. 상기 방법의 추가 실시예에 따르면, 상기 시퀀스는 복수의 동일한 입력 동작들을 포함할 수 있다. 상기 방법의 추가 실시예에 따르면, 상기 동일한 입력 동작들은 상기 입력 디바이스를 수직으로 가로질러 2회 손을 움직이는 것일 수 있다. 상기 방법의 추가 실시예에 따르면, 상기 입력 동작들은 입력 동작들의 시퀀스로 구성될 수 있다. 상기 방법의 추가 실시예에 따르면, 상기 시퀀스는 복수의 동일한 입력 동작들을 포함할 수 있다. 상기 방법의 추가 실시예에 따르면, 제1 미리정의된 기능은 복사 기능이고, 제2 미리정의된 기능은 붙여넣기 기능일 수 있다. 상기 방법의 추가 실시예에 따르면, 상기 입력 디바이스의 입력과 결합된 입력 동작은 상기 프로세싱 시스템의 미리정의된 기능을 수행할 수 있다. 상기 방법의 추가 실시예에 따르면, 상기 입력 디바이스는 터치패드일 수 있는데, 상기 입력 동작은 상기 전극 배열의 하나의 전극 상의 터치 검출이고, 상기 입력 디바이스로부터의 입력은 상기 터치패드에서 수행된 터치 움직임일 수 있다. 상기 방법의 추가 실시예에 따르면, 상기 전극 배열은 복수의 전극들을 포함할 수 있는데, 상기 터치된 전극은 수평 스크롤, 수직 스크롤 및 주밍으로 구성된 그룹으로부터 선택되는 상기 미리정의된 기능을 정의한다.
도 1은 센서 배열의 일 실시예를 도시한다.
도 2는 트랙패드와 결합된 도 1의 실시예를 도시한다.
도 3은 디스플레이와 결합된 도 1의 실시예를 도시한다.
도 4는 키보드와 결합된 도 1의 실시예를 도시한다.
도 5는 도 1 내지 도 4의 실시예와 결합된 회로망의 블록도를 도시한다.
도 6 및 도 7은 서로 다른 유형의 제스처 검출 시스템들을 구비한 실시예들을 도시한다.
도 8 내지 도 12는, 입력 디바이스와 도 1에 따른 추가의 센서 배열로 이루어진, 터치와 제스처들의 다양한 결합들의 가능한 구현예들을 도시한다.
도 13은 현존하는 용량성 터치 센서 영역에 형성된 가상 센서 배열의 또 하나의 실시예를 도시한다.
다양한 실시예들에 따르면, 추가의 센서 입력 디바이스가 현존하는 종래의 입력 디바이스들과 결합될 수 있으며, 이러한 입력 디바이스들의 기능을 향상시키기 위해 개선된 오퍼레이션 방법이 제공될 수 있다. 예를 들면, 3D 검출 시스템 또는 추가의 터치 검출 시스템 또는 임의의 다른 유형의 입력 센서가, 프로세싱 시스템의 입력 디바이스 내에 통합(integrated)될 수 있다. 일 실시예에 따르면, 3D 제스처 검출 센서, 예를 들어 전계 센서 또는 "e-필드" 센서 또는 추가의 터치 또는 센서 검출 시스템을 위한, 노트북 또는 랩탑 컴퓨터에서의 양호한 통합 영역(spot)은, 특히, 직관적인 제스처들(intuitive gestures)이 현재의 사용자 인터페이스를 개선할 수 있는 경우에, 유리할 수 있다.
예를 들어, 일 실시예에 따르면, e-필드 타입의 3D 검출 시스템들의 경우에, 센싱 영역 전부를 덮는 송신기 전극이 이용없는 전극 배치(design)를 갖는 것은 추가의 센서 통합을 용이하게 할 수 있다. 도 1에 도시된 전극 배치는 예를 들어 일부 실시예에 따른 입력 디바이스, 예컨대, 터치패드의 주변 주위에 전극들을 위치시키는 레이아웃을 제공하고, 이로써, 이러한 전극들을 수용(accommodate)하기 위해서 이미 현존하는 노트북/랩탑 구조 배치에 대하여 전혀 의미있는 변경을 하거나 개조를 할 필요가 없다. 이러한 방식(sort)의 배치로 인해, 사용자가 터치패드를 제어하고자 그의 손을 두는 공간 내로 상기 센서를 가져올 수 있다. 또한, 터치패드 입력 신호들과 함께 전극 입력 신호들을 다중화(multiplex)해야 하는 것을 막을 수 있다. 다양한 실시예들에 따르면, 예를 들어 정해진 때(given moment)에 편리하지 않을 수 있는 사용자 상호작용들(예를 들면, 키 숏컷(key shortcuts))을 대체하기 위하여, 제스처 통합이 수행될 수 있다.
그래서, 현존하는 입력 디바이스를 둘러싸는 멀티 센서 배열(arrangement)(예를 들면, 터치 및/또는 3D 센싱)가 다양한 실시예들에 따라 제안된다. 전극 배열은, 키패드들, 비터치 디스플레이들, 터치 디스플레이들, 단일 터치 터치패드들, 및 멀티 터치 터치패드들과 같은 기계적 입력 디바이스들을 전형적으로 포위하거나(enclose)/둘러싸도록(surround) 설계될 수 있다. 전극 센서 배열은, 시간에 따른 단일-터치, 멀티-터치 및/또는 3D 손 움직임에 대해 확장된 사용자 인터페이스 솔루션이 가능하도록 설계될 수 있다.
현존하는 입력 디바이스를 둘러싸는 추가의 입력 디바이스는, 다양한 실시예에 따른 3차원 제스처 검출을 제공할 수 있다. 이러한 더 진보한 센서 배열은, 예를 들면, 어떤 터치도 필요로하지 않는 3차원 제스처 검출 시스템이다. 일부 실시예들에 따르면, 본 출원인에 의해 소개된 3차원 전계 센서 컨트롤러는, 전용 센서 배열을 통해서, 예를 들면 송신 전극에 공급된 100 kHz 신호를 이용하여 준정적 전계(quasi-static electric field)를 만든다. 이러한 전계는, 필드를 발생시키는 센서 배열로부터 수직으로 10 cm 보다 더 확장할 수 있다. 사용자는 예를 들어 손으로 디바이스를 터치함 없이 이 필드에 진입할 수 있으며, 사용자에 의해 수행되는 제스처는 전계를 교란시킬 것이다. 그 후에 이러한 왜곡들(distortions)이 예를 들면 수신 전극들을 이용하여 측정될 수 있으며, 그 배열에 의해 결정되는 동적(dynamic) 및 정적(static) 특성들이 어느 유형의 제스처/입력 명령이 수행되었는지를 판정하는 데에 이용될 수 있다. 추가로, 이 디바이스는 또한 터치 센서로서 동작하도록 제어될 수도 있다. 특히, 시간 다중화(time multiplexing)가 이용될 때에는, 이러한 센서 시스템이 비터치 제스처 검출과 터치 검출 둘 다를 수행할 수 있다.
도 1은, 상술한 바와 같은 3D 제스처 검출 시스템 및/또는 추가의 터치 검출 시스템 둘 다에 이용될 수 있는 전극 배열(100)을 도시한다. 이러한 추가의 입력 시스템은 프로세싱 시스템의 또 하나의 통합 입력 디바이스와 결합될 수 있다. 이 전극 배열은, 프로세싱 시스템의 또 하나의 입력 디바이스(예를 들면, 터치 패드, 트랙 볼, 키보드, 터치스크린, 조이스틱, 등)이 그 안에 배열될 수 있는 "개방(open)" 영역(110)을 포함하도록 설계된다. 이러한 배열을 가능케 하기 위해서, 송신기 전극(120)은 직사각형 프레임의 형태로 구현될 수 있다. 다양한 대안적 실시예에 따르면, 이러한 "프레임"은 반드시 직사각형일 필요는 없으며, 타원형, 원형 또는 임의의 다른 프레임 유사 형태일 수도 있다. 다양한 수신기 전극들(130a, b, c, d)은, 도 1에 도시된 바와 같은 실시예에 따라 송신기 전극이 배열되는 송신기 평면의 위의(above) 평면에 배열될 수 있다. 하지만, 더 많은 공간이 이용가능하다면, 이 전극들은, 예를 들면, 주위 프레임(120)과 같이, 동일 평면에 배열될 수도 있다. 일부 실시예들에 따르면, 도 1에 도시된 적층된 레이어 배열은, 작은 면적을 필요로 하므로 특정 응용들에서 특히 유리할 수 있다. 그리고 작은 면적은, 예를 들어 이 디바이스가 영역(110) 내에 배열된 현존하는 입력 디바이스에 추가되거나 새로장착되는(retrofit) 경우에, 중요할 수 있다.
다른 예의 실시예들에 따르면, 터치 검출을 위한 멀티-센서 배열이, 도 1에 도시된 3D 검출 전극 배열 대신에 이용될 수 있다. 예를 들면, 이러한 멀티-센서 배열은, 송신 전극(120)이 없는 것을 제외하고는, 도 1에 도시된 배열과 유사하게 보일 수 있다. 하지만, 다른 실시예들에 따르면, 송신 전극(120)은, 용량성 터치 검출 배열의 일부로서 이용되어, 예를 들면, 터치 전극들(130a, b, c, d)에의 대향 전극(opposing electrode)을 형성할 수 있다. 다른 터치 검출 전극 배열들도 물론 가능하다. 게다가, 다른 실시예들에 따르면, 광학 또는 음향 센서 배열들도 가능하다.
도 2 내지 도 4는 이러한 직사각형 센서 배열을 구비한 다양한 가능한 배열들을 도시한다. 도 2에서, 센서 배열은, 특히 랩탑 컴퓨터들로부터 알 수 있듯이 종래의 터치 패드(210)를 둘러싸도록 배치되어 있으며, 그에 따라, 센서 배열은 터치패드(210)를 수용할 수 있는 영역(110)을 제공한다. 터치패드(210)는, 예를 들면, 컴퓨터 마우스의 좌 버튼 및 우 버튼과 유사할 수 있는 선택 기능들을 위해 하나 또는 복수의 하드웨어 버튼들(도 2에는 도시되지 않음)을 포함할 수 있다.
도 3은 터치 감지 디스플레이(310)가 중앙 영역(110)에 배열된 또 하나의 실시예를 도시한다. 이러한 디스플레이들은 태블릿 컴퓨터들, PDA들, 스마트폰들 등에 흔히 이용된다.
도 4는 중앙 영역에 배열된 키보드(410)를 구비한 예를 도시한다. 도 4에는 특정 개수의 키들이 도시되었지만, 키들의 개수 및 키 배열은 응용에 따라서 다를 수 있다. 추가로, 다른 입력 디바이스들이 다양한 실시예들에 따라서 이용될 수 있다.
3D 센서 배열에서의 송신기 전극(120)은 또한, 하나보다 많은 전극으로 분리될 수 있다. 게다가, 개별 신호들을 제공하는 수신 전극들(130a, b, c, d)의 개수는 4개로 한정되지 않는다. 예를 들면, 다른 응용들은 더 많은 개수의 수신 전극들을 이용할 수 있으며, 또 다른 응용들은 더 적은 개수의 수신 전극들을 이용할 수 있다. 송신기 전극(120)은 준정적 교류 전기 근접장(quasi-static alternating electric near field)을 발생시키는 데에 이용되며, 수신 전극들(130a, b, c, d)은 이러한 필드에서의 교란을 검출하도록 이용된다. 전극 배열은, 도 1 내지 도 5에 도시된 바와 같은 레이어들로 배열될 때에는, 비전도성 기판을 포함할 수 있으며, 그 기판 위에 수신 전극들(130a, b, c, d)이 배열된다. 송신 전극(120)은 이런 기판의 저부 측에 배열될 수 있다. 예를 들면, 양면 인쇄 회로 보드가 이용될 수 있다. 하지만, 멀티 레이어 또는 단일 레이어 배열로부터 독립하여 다른 기판들이 이용될 수도 있다. 전극들은 상부(top) 또는 저부(bottom) 레이어에 형성될 필요는 없고, 멀티 레이어 기판의 중간 레이어들 중 하나에 형성될 수도 있다. 모든 전극들은, 인쇄 회로 보드에 전형적인 구리 레이어와 같은 전도성 레이어에 의해 형성될 수 있다. 따라서, 수신 전극들은 이러한 구리 레이어의 에칭된 구조물에 의해 형성될 수 있지만, 반면에 저부 구리 레이어의 전부 또는 내부 레이어가 도 1에 도시된 바와 같이 송신 전극(120)을 형성할 수 있다. 하지만, 상부 및/또는 저부 측의 특정 영역들이 인쇄 회로 보드 상에 구현된다면, 집적회로 디바이스와 같은 각자의 컨트롤러 부품 및/또는 에칭된 회로 경로들, 비아들(vias) 등을 통해서 전극들과 직접적으로 연결될 수 있는 다른 필수 부품들을 위치시키기 위해 이용될 수 있다.
3D 검출 시스템에 이용될 이러한 전극 구조(100-400)에 연결될 수 있는 집적회로 디바이스의 예는, GestIC®이라고 불리며 본 출원인에 의해 제조된 제스처 평가 컨트롤러(MGC3130)이다. 상기 제스처 평가 컨트롤러의 데이터 시트는 본 출원인으로부터 입수가능하며 참조로서 여기에 통합된다. 달성가능한 범위는 전기 근접장 센싱에서 그리고 GestIC® 3차원 제스처 인식에서, 특히 추적 기술에서 중요한 인자이다. 도 5는 이러한 결합된 시스템의 블록도를 도시한다. 다시, 3D 센서 구조(500)는 상기 도 1 내지 도 4에 도시된 것과 유사하다. 둘러싸인 입력 디바이스는 일반적으로 입력 유닛(510)으로 묘사된다. 휴먼 인터페이스 디바이스(HID) 인터페이스 컨트롤러(530) 및 상술한 MGC3130과 같은 제스처 컨트롤러(540)에 결합되는 프로세서, 예를 들어 마이크로컨트롤러(520)가 제공된다. HID 인터페이스 컨트롤러는 입력 디바이스(510)에 연결되며, 제스처 컨트롤러(540)는 송신 및 수신 전극들(120, 130a, b, c, d)에 결합된다. 대안으로, 일부 실시예들에 따르면, HID 컨트롤러(530)와 제스처 컨트롤러(540) 사이에 점선 연결에 의해 표시된 바와 같이, 제스처 컨트롤러(520)는 프로세서와는 직접 연결되지 않고 HID 컨트롤러와만 직접 연결될 수 있다. 이런 실시예에서는 프로세서(520)가 HID 컨트롤러(530)를 통해서 제스처 컨트롤러(540)를 제어한다.
도 1 내지 도 5에 도시된 바와 같이, 전극 센서들(130a, b, c, d)은 사용자 손의 근접을 검출하는 데에 이용된다. 센서 정보는 제스처 인식, 3D 손 위치 선정, 그리고 다양한 터치와 태핑(tapping)의 결합들에 이용될 수 있다. 본 실시예에 따른 전극 배열은 터치패드 주변에 맞추어지도록 직사각형 배열 내에 있다(도 1). 하지만, 앞서 논의된 바와 같이, 다른 형상들도 가능하다. 따라서, 전극 배열 형태는, 다른 입력 디바이스들에서는 다를 수 있다(예를 들면, 둥근 입력 디바이스들에서는 원형). 센서의 중간에 있는 터치패드(210)는 동시에 작동할 수 있다. 또한, 터치패드 입력 정보와 확장 센서 배열의 결합들 역시 이벤트들을 트리거하는 데에 이용될 수 있다. 센서에서는 이벤트들을 트리거할 의도가 없는 전형적인 손 움직임들이 이벤트들을 트리거하고자 하는 전형적인 손 움직임들과 센서에 대하여 동일하게 보일 수 있으므로, 키보드로부터 터치패드의 하부 에지를 향하는 2번 수행된 손 움직임(많은 랩탑 컴퓨터들에서 전형적인 것과 같이, 터치 패드가 키보드 아래에 배열된 경우)과 같은 제스처 결합들을 이용하면, 제스처 입력이 단일 수행된 제스처에 비하여 더욱 신뢰될 수 있다.
도 1 내지 도 5에 도시된 바와 같은 3D 센서 배열에서, 입력 센서 전극들(130a, b, c, d)은 시간에 따른 사용자 손의 위치를 결정하는 데에 이용될 수 있다. 입력 디바이스(510)는:
- 광학 센서(예를 들면, 카메라(비행 시간(time of flight), 스테레오 스코픽(stereoscopic)), IR 센서 및 송신기,
- 음향(초음파),
- 용량성/e-필드 측정(예를 들면, 매트릭스 배열된 전극들의 상호(mutual) 측정, 자기(self) 측정), 또는
- 기계적 입력 디바이스들과 같은 임의의 기타 적절한 입력 디바이스(예를 들면, 키보드, 트랙볼, 등)일 수 있다.
도 1 내지 도 5에 도시된 바와 같은 3D 센서 배열(100, 200, 300, 400, 500)이 시간에 따른 사용자 손의 위치를 결정하는 데에 이용될 수 있다. 다양한 다른 실시예들에 따르면, 센서 배열은 서로 다른 유형의 센서들일 수 있으며 또한:
- 광학 센서(예를 들면, 카메라(비행 시간, 스테레오 스코픽(stereoscopic)), IR 센서 및 송신기,
- 음향(초음파) 센서일 수 있다.
이러한 실시예들에서, 센서들은 도 1 내지 도 5의 전극들로 도시된 바와 유사한 방식으로 배열될 수 있다. 하지만, 일부 기술에서, 예를 들어 카메라를 이용하는 센서들에서 실제 센서(actual sensor)는, 입력 디바이스 주위에 배열되지 않고 센서를 상기 입력 디바이스의 위(above) 영역 또는 공간을 모니터링하게 할 수 있는 위치에 설치될 수 있다. 예를 들면, 도 6은, 상부에 트랙패드(610)와 상기 트랙패드(630)의 주위에 배열된 3개의 적외선 센서들(620, 630 및 640)을 통합한 랩탑 디바이스(600)의 제1 예를 도시한다. 도 6은, 하부에 트랙패드(660)와 상기 트랙패드(660)의 상부 에지의 위에 상기 상부 에지를 따라 배열된 3개의 적외선 센서들(670, 680 및 690)을 구비한 랩탑 디바이스(650)의 다른 예가 도시된다. 적외선 센서들의 다른 배열이 적용될 수도 있다.
도 7은 통합된 트랙패드(710 및 750)를 각각 구비하는 랩탑 디바이스들(700 및 750)의 2가지 예를 도시한다. 제1 실시예(700)는 트랙패드(710)의 위 영역을 검출하기 위해 카메라(720)를 이용한다. 제2 실시예(750)는 실시예(600)에서와 유사한 방식으로 트랙패드(760) 주위에 배열된 3개의 초음파 센서들(770, 780 및 790)을 이용한다. 다시, 트랙패드(710, 760) 또는 임의의 다른 적절한 입력 디바이스의 위 영역을 모니터링하기 위해, 센서들을 위한 다른 위치가 적용될 수도 있다.
도 1 내지 도 5에 도시된 바와 같이, 용량성/e-필드 입력 디바이스의 특정 실시예는, 2개의 수직 정렬된 전극들(센서 전극들(130a, b))과 2개의 수평 정렬된 전극들(센서 전극들(130c, d))을 포함하는, 4개의 개별 수신 전극들의 세트를 포함할 수 있다. 예를 들면, 본 개시의 양수인에 의해 제조된 GestIC 컨트롤러인 제스처 컨트롤러(540)를 이용할 때에는, 4개의 수신 전극들(130)이 하나의 송신 전극 구조(120)(적층되거나 하나의 레이어임)와 결합되어 이용될 수 있다. 상술한 바와 같이, 용량성 자기 측정 시스템에서, 4개의 RX 및 하나의 TX 전극들(120, 130a, b, c, d)은 개별 터치 검출 전극들로서 이용될 수 있다.
센서 전극들(130a, b, c, d)에서, 측정치가 (상위의 센서들의) 원래(raw) 신호로부터, 시간에 따른 사용자 손의 움직임들에 의해 생성된 진폭들, 센서들로부터의 거리들, 위치 및 도함수들(derivatives)(즉, 1차, 2차 및 고차), 등을 도출하기 위해 이용될 수 있다.
손 움직임들을 제스처들의 소정의(연습된(trained)) 세트로 분류하기 위해, 이러한 도출된 특징들을, 분류자(classifier)의 입력(예를 들면, 히든 마르코브 모델(hidden Markov model), 동적 시간 래핑(dynamic time wrapping), 신경망들(neural networks), 벡터 머신들, 등)으로서, 그리고, 결정론적 분류자들(deterministic classfiers)의 입력으로 이용할 수 있다.
도 1 내지 도 5에 도시된 바와 같이, 용량성/e-필드 입력 디바이스의 특정 실시예는, 2개의 수직 정렬된 전극들(센서 전극들(130a, b))과 2개의 수평 정렬된 전극들(센서 전극들(130c, d))을 포함하는, 4개의 개별 수신 전극들의 세트를 포함할 수 있다. GestIC 제스처 컨트롤러(540)를 이용할 때에는, 4개의 수신 전극들(130)이 하나의 송신 전극 구조(120)(적층되거나 하나의 레이어임)와 결합되어 이용될 수 있다. 상술한 바와 같이, 용량성 자기 측정 시스템에서, 4개의 RX 및 하나의 TX 전극들(120, 130a, b, c, d)은 개별 터치 검출 전극들로서 이용될 수 있다.
센서 시스템(120, 130a, b, c, d)은, 터치패드(210) 또는 다른 입력 디바이스(310, 410, 510)의 모든 외측들 상의 사용자의 손/손바닥의 터치/근접을 검출한다. 예를 들면, 키보드 타이핑 동안에, 커서 점프들을 방지하기 위하여 터치패드(210) 또는 다른 입력 디바이스(310, 410, 510)를 차단(block)하도록, 멀티-센서 정보가 이용될 수 있다.
멀티-전극 센서 배열(120, 130a, b, c, d)의 근접은, 일단 사용자가 터치패드에 근접하거나 근접중이면, 노트북/랩탑 컴퓨터와 같은 처리 디바이스를 웨이크업시키는 데에 이용될 수 있다. 정의된 제스처들이 또한 디바이스 웨이크업에 이용될 수도 있다. 예를 들면, 이것은 저전력 모드에서 행해질 수 있는데, 이 저전력 모드는 웨이크업 기능이 필요할 수 있다. 사용자 손의 근접 상태에서 이러한 유형의 웨이크업을 이용하면, 사용자는 입력 디바이스를 터치하기 전에 입력 디바이스(210)가 전체 작동 모드(full working mode)로 다시 전환될 수 있으므로, 사용자는 디바이스가 감소된 기능을 갖는 저전력 모드에 있었다는 것을 전혀 인식하지 못할 수 있다.
멀티-센서 배열(120, 130a, b, c, d)은, 터치, 태핑, 또는 정의된 손 움직임의 수행에 의해 메뉴들(예를 들면, F1-F12 등과 같은 기능키 제어들을 위한 메뉴)을 열고/활성화하기 위해, 하나의 동작 모드에 따라 이용될 수 있다.
다른 동작 모드에 따르면, 멀티-센서 배열(120, 130a, b, c, d)은, 터치 결합들 또는 터치패드 위에서 수행된 제스처들에 의해서, 단축키 결합들 또는 심지어 단일 키 기능들을 대체하기 위해 이용될 수도 있다. 예를 들면, 사용자는 내용 복사와 같은 작업을 수행하기 위해서, 터치패드의 위로부터 키보드를 향하여 이동하는 손 움직임을 2번 수행할 수 있다. 그리고 비슷하게, 복사된 내용의 붙여넣기와 같은 또 하나의 작업을 수행하기 위해서, 키보드의 위로부터 터치패드를 향하여 (즉, 키보드로부터 멀어지게) 이동하는 또 하나의 손 움직임을 2번 수행할 수 있다.
추가로, 특수 키들, 예를 들면, "CTRL", "ALT", "DEL" 등은 때때로 서로 다른 위치들에 둘 수 있는데, 그것은 서로 다른 랩탑 모델들에서 종종 달라진다. 이러한 경우에, 사용자는 원하는 특수 키를 찾아야만 할 것이다. 하지만, 상술한 바와 같은 단축키들(shortcuts)의 직관적인 제스처/터치의 대체로 인해, 사용자는 이러한 키들을 더 이상 찾지 않아도 될 것이다.
다양한 실시예들 또는 동작 모드들에 따른 다른 예들이 또한 가능하다. 예를 들면, 왼쪽/오른쪽/왼쪽의 손 움직임은 삭제 기능에 이용될 수 있으며, 키보드로부터 터치패드를 향하는 두번의 손 움직임은 애플리케이션을 종료시키는 데에 이용될 수 있다. 대체로, 임의의 디바이스 기능을 사용자 입력 제스처/터치/버튼/키누름/ 등에 링크시키는 것이 가능하다. 이러한 센서 배열 및 디코딩 방법은 현존하는 사용자 입력 디바이스들의 이용을 단순화시킬 수 있고 디바이스들을 제어하는 새로운 방법을 생성할 수 있다.
예를 들면, 입력 디바이스와 둘러싸는 센서 디바이스의 결합이 추가의 기능을 제공하기 위해 이용될 수 있다. 예를 들면, 단일 손가락/멀티 손가락 터치패드 상의 터치, 그리고 둘러싸는 센서 배열의 전극 상의 터치는, 예를 들어 스크롤 기능을 트리거하기 위해 이용될 수 있다. 이 예에서, 제2 손가락이 둘러싸는 전극들 중 하나 위에 있는 동안에 터치패드 상에서의 임의의 손가락의 움직임은 수평 및/또는 수직 스크롤링에 이용될 수 있다. 또 하나의 기능에 따르면, 단일 손가락/멀티 손가락 터치패드 상의 터치와 둘러싸는 전극 배열의 전극들 중 하나의 전극 상의 터치는, 줌(zoom) 기능을 트리거하는 데에 이용될 수 있다. 여기서, 제2 손가락으로 둘러싸는 전극 배열의 바깥쪽 전극들 중 하나의 전극을 터치하면서 터치패드 상의 임의의 손가락의 이동은, 주밍 기능을 일으킨다. 물론, 다양한 다른 실시예들에 따라서, 다른 결합들 및 관련된 기능들이 구현될 수 있다.
도 8은, 예를 들면, 키보드를 이용하는 동안에 유용할 수 있는, 예를 들면, 입력 디바이스 잠금 기능(lock input device function)의 가능한 구현을 도시한다. 여기서, 둘러싸는 전극들(130a-d)로부터 획득된 터치 근접 정보는, 상기 기능을 제공하는 데에 이용될 수 있다. 만일 하나 또는 복수의 센서들(130a, b, c, d)에서 터치/근접이 검출되면, 입력 디바이스(510), 예를 들어 터치 패드(210)는, 전극(130a)과 전극(130c) 및 전극(130d) 중 하나가 동시에 터치될 때마다 예를 들어 커서 점프를 방지하기 위해 로킹될 수 있다. 이 유형의 터치/근접 패턴은, 사용자가 10 개의 손가락 타이핑 방식을 사용하고 또한 둘러싸는 전극들을 구비한 터치패드가 키보드 아래쪽에 있는 때에 있을 수 있다. 왼손의 손바닥은 전극들(130a 및 130c)에서 터치/근접을 일으키고, 그리고/또는 오른손은 전극(130a 및 130d) 상의 터치/근접을 일으킨다. 물론, 센서 전극들의 다른 결합들이 이용될 수도 있다.
제스처들의 시퀀스가 입력 동작으로서 간주될 수 있다. 제스처들의 시퀀스는, 디바이스(210, 310 및 410)와 상호작용하는 손 움직임과, 입력 정보로서 의도된 제스처를 구별할 수 있게 한다. 제스처의 시퀀스는 단일 제스처의 반복 또는 서로 다른 제스처들의 시퀀스일 수 있다. 따라서, 제스처들 사이의 시간과 그 시퀀스의 시간은, 고유한(unique) 상호작용을 생성하도록 조정될 수 있다. 예를 들면, 제스처들 사이의 시간은 미리정의된 최소 제한 및/또는 미리정의된 최대 제한으로 설정될 수 있다. 그리고 제스처 자체의 시간은 제스처 자체가 지속기간(duration)을 가진다면 조정될 수 있다.
도 9a 및 9b는 복사 및 붙여넣기 기능(copy & paste function)을 수행하기 위한 제스처 시퀀스 해석의 가능한 구현을 도시한다. 여기서, 도 9a에 도시된 바와 같이, 센서(130b) 위에서 시작하여 센서(130a)로의 2번 수행된 비터치 손 움직임은, 복사 또는 Ctrl+'c' 기능으로 해석될 것이다. 마찬가지로, 도 9b에 도시된 바와 같이, 센서(130a)에서 센서(130b)로의 2번 수행된 비터치 손 움직임은, 붙여넣기 또는 Ctrl+'v' 기능을 초기화할 것이다.
도 10a 및 10b는, 볼륨 및 밝기 제어 메뉴들과 같은 컨텍스트(context) 메뉴들의 개방을 초기화하기 위한 가능한 제스처 결합들을 도시한다. 도 10a에 도시된 바와 같이, 센서(130b) 상의 터치와 센서(130a) 상의 더블탭(double tap)은 이러한 기능을 초기화할 수 있다. 대안으로 또는 추가로, 도 10b에 도시된 바와 같이, 터치패드 상의 원(810)으로 표시된 터치 또는 센서 전극들(130d) 중 하나의 전극 상의 터치, 탭 또는 더블탭과 결합된 입력 디바이스(510) 상의 동작은, 이러한 기능을 초기화할 수 있다. 다시, 다른 결합들이 이용될 수 있다. 게다가, 일부 실시예들에 따르면 터치(810)의 특정의 근접 및 결합된 전극 터치가 요구될 수 있다.
도 11a 및 11b는 상술한 스크롤 기능을 더욱 상세하게 도시한다. 여기서, 전극들(130a-d) 중 하나 예를 들어 전극(130d)에의 터치와, 터치 패드(210)에서의 또 하나의 또는 복수의 손가락(들)의 움직임(910)의 결합은, 도 11a에 도시된 바와 같이, 스크롤 기능에 이용될 수 있으며, 또는, 만일 움직임(920)이 또 하나의 전극, 도 11b에 도시된 바와 같이 예를 들어 전극(130a)과 결합된다면, 주밍 기능이 수행될 것이다. 다시, 다양한 실시예들에 따른 다른 결합들이 이용될 수도 있다.
도 12는 대기/슬립/스크린세이버 모드로부터 웨이크업을 수행하는 또 다른 가능한 구현예를 도시한다. 예를 들면, 만일 특정의 움직임/제스처가 수행되면, 하나 또는 복수의 전극들(130a-d)로부터 획득된 근접 데이터는, 디바이스를 웨이크업시키는 데에 이용될 수 있다. 또 하나의 기능에 따르면, 특정의 터치 제스처 또는 비터치 제스처가 전극들(130a-d)을 이용하여 수행되면, 키보드의 백라이트가 활성화될 수 있다.
더욱 추가의 실시예들에 따르면, 현존하는 하드웨어가, 도 1 내지 도 5에 도시된 바와 유사한 전극들(A, B, C, D)의 소위 가상 형성(virtual formation)을 가능케 하는 방식으로, 이용 및 제어될 수 있다. 따라서, 이 실시예들에서는, 전극들(A, B, C, D)은 현존하는 입력 디바이스 주위의 개별 하드웨어로서 형성되지 않는다.
예를 들면, 도 13에 도시된 실시예에서, 터치패드(1110)는, 용량성 터치 컨트롤러(1120)를 이용하여 예를 들어 자기 및 상호(mutual) 커패시턴스 측정들을 가능케 하는 전극들의 매트릭스를 제공한다. 도 5에 도시된 실시예에서와 유사하게, 용량성 터치 컨트롤러는 프로세서(1130)와 결합된다. 터치 컨트롤러(1120)와 프로세서(1130)는 마이크로컨트롤러 내에 통합되거나, 또는 시스템온칩(system on chip) 또는 랩탑 또는 태블릿 컴퓨터와 같은 프로세싱 디바이스의 임의의 다른 적절한 서브-시스템의 일부일 수 있다. 터치패드(1110)는, 예를 들면, 바깥쪽 에지들에 인접한 용량성 전극들만이 측정에 이용되도록 제어될 수 있다. 다시 말하면, 터치 감지 표면을 형성하는 전극들은, 센서의 개별 영역들이 함께 활성화, 예를 들어 스위칭되어 특정 영역을 형성하도록, 개별적으로 제어될 수 있다. 이것은, 일부 실시예들에 따라, 각각의 시뮬레이트된 전극(A, B, C, D)에 대해 시간 다중화 모드(time multiplex mode)로 수행될 수 있다. 도 13에 도시된 매트릭스 구조를 구비한 용량성 터치패드의 경우에는, 자기 또는 상호 커패시턴스 측정값이, 전극들(A, B, C, D)을 시뮬레이트하는 데에 이용될 수 있다. 예를 들면, 상부 행은 가상 전극(A)으로서 선택될 수 있다. 유사하게, 저부 열은 전극(B)으로 이용될 수 있고, 가장 왼쪽 바깥 열은 전극(C)으로 이용될 수 있으며, 가장 오른쪽 바깥 열은 전극(D)으로 이용될 수 있다. 측정 원리에 따라 다른 선택을 하여 가상 전극들(A, B, C, D)을 형성할 수 있으며, 가상 전극들(A, B, C, D)은 도 8에 도시된 바와 같은 형상을 반드시 가질 필요는 없다.
가상 전극들(A, B, C, D)은 앞서 논의된 바와 동일한 원리들을 가능케 할 수 있다. 따라서, 터치 컨트롤러(620)의 용량성 측정값들의 감도에 따라서, 그것들은 예를 들어 매트릭스 아래에 배열된 공통 전극(common electrode)에 의해 발생된 전계를 이용하는 3D 측정들에 이용될 수 있다. 대안으로, 그것들은, 터치 센서들로서도 이용될 수도 있다. 입력 디바이스의 지정된 기능은, 가상 전극들(A, B, C, D)에 의해 제공된 상기 추가의 센서 기능과 함께 다중화될 수 있다. 따라서, 앞서 설명된 바와 같은 동일한 기능이 이러한 디바이스에 의해 제공될 수 있다.
다른 입력 디바이스들이 또한, 도 1 내지 도 5에 도시된 바와 같은 둘러싸는 센서 디바이스를 시뮬레이트할 수 있다. 따라서, 도 13과 관련하여 설명한 바와 같은 원리들을 이용하는 추가의 실시예들은, 터치패드로 제한되지 않으며, 다른 적정한 입력 디바이스들로 확장될 수 있으며, 예를 들면 2차원 또는 3차원 센서 검출을 가능케 하는 광학 및 음향 센서 디바이스들로 확장될 수 있다.

Claims (46)

  1. 프로세서(520)를 포함하는 프로세싱 시스템;
    상기 프로세싱 시스템 내에 통합되며 상기 프로세서(520)와 결합되는 입력 디바이스(510);
    복수의 센싱 전극들(130a-d)을 포함하고, 상기 입력 디바이스로부터 분리되어 있고, 상기 프로세싱 시스템 내에 통합되며, 비-터치 제스처들을 검출하기 위해 상기 입력 디바이스(510)의 위(above) 영역을 모니터링하도록 구성되는 센서 배열(500); 및
    상기 비-터치 제스처들을 검출하기 위해 상기 센서 배열(500)과 결합되는 컨트롤러(540)를 포함하는 시스템으로서,
    상기 컨트롤러(540)는 상기 프로세서(520)와 결합되고,

    상기 컨트롤러(540)는, 상기 센서 배열(500)의 상기 센싱 전극들(130a-d)의 터치들을 검출하도록 추가로 구성되고,
    상기 시스템은, 상기 프로세싱 시스템의 소정 기능을 트리거하기 위해, 적어도 하나의 상기 센싱 전극들(130a-d)의 터치와 상기 입력 디바이스로부터의 입력의 결합을 검출하도록 추가로 구성되고,
    상기 입력은 적어도 하나의 상기 센싱 전극들(130a-d)의 터치가 수행되는 동안 수행되는 것을 특징으로 하는, 시스템.
  2. 제1항에 있어서,
    상기 복수의 센싱 전극들(130a-d)은, 상기 센싱 전극들(130a-d)이 상기 입력 디바이스(510)를 둘러싸도록, 프레임 형태의 기판 상에 배열되는, 시스템.
  3. 제2항에 있어서,
    상기 센서 배열(500)은 상기 센서 배열(500)의 위 3D 공간에서 수행된 비-터치(non-touching) 제스처를 검출하도록 구성되고,
    상기 센서 배열(500)은, 준정적 전계(quasi-static electric field)를 발생시키기 위한 송신 전극(120)과 상기 입력 디바이스(510)의 주위에 배열된 상기 복수의 센싱 전극들(130a-d)을 포함하는, 시스템.
  4. 제2항에 있어서,
    상기 복수의 센싱 전극들(130a-d)은, 상기 입력 디바이스(510)의 주위에 배열되는, 시스템.
  5. 제4항에 있어서,
    상기 입력 디바이스(510)의 주위에 있는 상기 센싱 전극들(130a-d)은, 제1 동작 모드에서는 비-터치 제스처 검출 센서들로서 동작하도록 구성될 수 있고, 제2 동작 모드에서는 터치 센서들로서 동작하도록 구성될 수 있는, 시스템.
  6. 제5항에 있어서,
    상기 동작 모드들은 시간-다중화되는(time-multiplexed), 시스템.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 컨트롤러(540)에 의해 검출된 입력 동작들은, 상기 입력 디바이스(510)를 차단(block) 또는 해제(unblock)하기 위해 이용되는, 시스템.
  8. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 컨트롤러(540)에 의해 검출된 입력 동작들은, 복수의 미리정의된 제스처들 중의 제스처들이고,
    소정의 제스처가 검출되면, 상기 제스처와 관련된 미리정의된 기능이 상기 프로세싱 시스템에서 수행되는, 시스템.
  9. 제8항에 있어서,
    상기 입력 동작들은, 입력 동작들 또는 제스처들의 시퀀스(sequence)로 구성되는, 시스템.
  10. 제9항에 있어서,
    상기 시퀀스는, 복수의 동일한 입력 동작들 또는 제스처들, 또는, 상기 입력 디바이스를 가로질러 수직으로 2회 손을 움직이는 것인, 시스템
  11. 제10항에 있어서,
    상기 미리정의된 기능은 복사 기능 또는 붙여넣기 기능인, 시스템.
  12. 제4항 내지 제6항 중 어느 한 항에 있어서,
    상기 입력 디바이스(510)로부터의 또는 상기 입력 디바이스(510)에 의해 생성된 상기 입력은, 터치 패드 상에서 수행된 터치 움직임인, 시스템.
  13. 제12항에 있어서,
    상기 프로세싱 시스템은, 상기 센싱 전극들(130a-d) 중 적어도 하나가 터치될 때, 수평 스크롤링, 수직 스크롤링, 및 주밍(zooming)으로 구성된 그룹으로부터 선택되는 기능을 결정하도록 구성되는, 시스템.
  14. 데이터 프로세싱 디바이스를 동작시키기 위한 방법으로서,
    상기 데이터 프로세싱 디바이스는 프로세싱 시스템 내에 통합된 입력 디바이스(510)를 포함하고,
    상기 방법은:
    복수의 센싱 전극들(130a-d)을 포함하고, 상기 데이터 프로세싱 디바이스 내에서 상기 입력 디바이스로부터 분리되어 있는, 센서 배열(500)을 통합하는 단계 - 상기 입력 디바이스(510)를 둘러싸는 영역은 비-터치 제스처들을 검출하기 위해 상기 센서 배열(500)에 의해 모니터링됨 -;
    상기 센서 배열(500)과 결합된 컨트롤러(540)에 의해 비-터치 제스처들을 검출하는 단계를 포함하고,

    또한, 상기 방법은:
    상기 컨트롤러(540)에 의해 상기 센서 배열(500)의 적어도 하나의 상기 센싱 전극들(130a-d)의 터치를 검출하는 것;
    상기 프로세싱 시스템의 기능을 트리거하기 위해, 상기 검출된 터치와 상기 입력 디바이스(510)에 의해 생성된 입력을 결합하는 것을 더 포함하고,

    상기 입력은 적어도 하나의 상기 센싱 전극들(130a-d)의 상기 터치가 수행되는 동안 수행되는 것을 특징으로 하는, 방법.
  15. 제14항에 있어서,
    상기 복수의 센싱 전극들(130a-d)은, 상기 센싱 전극들(130a-d)이 상기 입력 디바이스(510)를 둘러싸도록, 프레임 형태의 기판 상에 배열되는, 방법.
  16. 제15항에 있어서,
    상기 센서 배열(500)은 상기 센서 배열(500)의 위 3D 공간에서 수행된 비-터치(non-touching) 제스처를 검출하도록 구성되고,
    상기 센서 배열(500)은, 준정적 전계(quasi-static electric field)를 발생시키기 위한 송신 전극(120)과 상기 입력 디바이스(510)의 주위에 배열된 상기 복수의 센싱 전극들(130a-d)을 포함하는, 방법.
  17. 제15항에 있어서,
    상기 복수의 센싱 전극들(130a-d)은, 상기 입력 디바이스(510)의 주위에 배열되는, 방법.
  18. 제17항에 있어서,
    상기 입력 디바이스(510)의 주위에 있는 상기 센싱 전극들(130a-d)은, 제1 동작 모드에서는 비-터치 제스처 검출 센서들로서 동작하도록 구성될 수 있고, 제2 동작 모드에서는 터치 센서들로서 동작하도록 구성될 수 있는, 방법.
  19. 제18항에 있어서,
    상기 동작 모드들은 시간-다중화되는(time-multiplexed), 방법.
  20. 제14항 내지 제19항 중 어느 한 항에 있어서,
    상기 컨트롤러(540)에 의해 검출된 입력 동작들은, 상기 입력 디바이스(510)를 차단(block) 또는 해제(unblock)하기 위해 이용되는, 방법.
  21. 제14항 내지 제19항 중 어느 한 항에 있어서,
    상기 컨트롤러(540)에 의해 검출된 입력 동작들은, 복수의 미리정의된 제스처들 중의 제스처들이고,
    소정의 제스처가 검출되면, 상기 제스처와 관련된 미리정의된 기능이 상기 프로세싱 시스템에서 수행되는, 방법.
  22. 제21항에 있어서,
    상기 입력 동작들은, 입력 동작들 또는 제스처들의 시퀀스(sequence)로 구성되는, 방법.
  23. 제22항에 있어서,
    상기 시퀀스는, 복수의 동일한 입력 동작들 또는 제스처들, 또는, 상기 입력 디바이스를 가로질러 수직으로 2회 손을 움직이는 것인, 방법.
  24. 제23항에 있어서,
    상기 미리정의된 기능은 복사 기능 또는 붙여넣기 기능인, 방법.
  25. 제17항 내지 제19항 중 어느 한 항에 있어서,
    상기 입력 디바이스(510)로부터의 또는 상기 입력 디바이스(510)에 의해 생성된 상기 입력은, 터치 패드 상에서 수행된 터치 움직임인, 방법.
  26. 제25항에 있어서,
    상기 프로세싱 시스템은, 상기 센싱 전극들(130a-d) 중 적어도 하나가 터치될 때, 수평 스크롤링, 수직 스크롤링, 및 주밍(zooming)으로 구성된 그룹으로부터 선택되는 기능을 결정하도록 구성되는, 방법.
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
KR1020167020042A 2014-03-03 2015-03-02 제스처 제어 시스템 및 방법 KR102388791B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461947112P 2014-03-03 2014-03-03
US61/947,112 2014-03-03
US14/596,120 US9921739B2 (en) 2014-03-03 2015-01-13 System and method for gesture control
US14/596,120 2015-01-13
PCT/US2015/018226 WO2015134347A1 (en) 2014-03-03 2015-03-02 System and method for gesture control

Publications (2)

Publication Number Publication Date
KR20160128994A KR20160128994A (ko) 2016-11-08
KR102388791B1 true KR102388791B1 (ko) 2022-04-21

Family

ID=54006769

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167020042A KR102388791B1 (ko) 2014-03-03 2015-03-02 제스처 제어 시스템 및 방법

Country Status (7)

Country Link
US (2) US9921739B2 (ko)
EP (1) EP3114555B1 (ko)
JP (1) JP6564383B2 (ko)
KR (1) KR102388791B1 (ko)
CN (1) CN105980974B (ko)
TW (1) TWI648662B (ko)
WO (1) WO2015134347A1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10108292B2 (en) * 2015-04-22 2018-10-23 Microchip Technology Incorporated Capacitive sensor system with multiple transmit electrodes
US10394332B2 (en) * 2016-04-07 2019-08-27 Microchip Technology Germany Gmbh Sensor design for enhanced touch and gesture decoding
US10963157B2 (en) * 2016-05-12 2021-03-30 Lsi Industries, Inc. Outdoor ordering system with interactive menu elements
CN106502574A (zh) * 2016-12-09 2017-03-15 成都前锋电子有限责任公司 一种手势控制系统及含有该系统的燃气热水器
KR102355422B1 (ko) * 2017-05-23 2022-01-26 현대자동차주식회사 터치 패드 오인식 방지 방법 및 장치
JP7041387B2 (ja) * 2017-09-27 2022-03-24 カシオ計算機株式会社 パラメータ制御装置、電子楽器、パラメータ制御方法及び制御プログラム
WO2019111300A1 (ja) * 2017-12-04 2019-06-13 三菱電機株式会社 近接検知装置および近接検知方法
CN109917993A (zh) * 2017-12-13 2019-06-21 华硕电脑股份有限公司 控制方法、电子装置及非瞬时电脑可读取记录媒体
CN108768373A (zh) * 2018-07-03 2018-11-06 珠海进田电子科技有限公司 一种手势控制的新型线控器
JP7120725B2 (ja) * 2018-11-14 2022-08-17 アルパイン株式会社 タッチパネルを備えた電子装置、ベースライン値の更新方法および更新プログラム
US10949021B2 (en) * 2019-03-08 2021-03-16 Chargepoint, Inc. Electric field touchscreen
CN110187795B (zh) * 2019-05-31 2021-03-19 联想(北京)有限公司 一种数据处理方法及电子设备
CN110187796B (zh) * 2019-05-31 2021-07-16 联想(北京)有限公司 一种电子设备及数据处理方法
WO2020239029A1 (zh) * 2019-05-31 2020-12-03 联想(北京)有限公司 一种电子设备及数据处理方法
US11567562B2 (en) * 2019-06-28 2023-01-31 Ncr Corporation Self-checkout terminal sleep and wake operations
TWI779310B (zh) * 2019-09-26 2022-10-01 華碩電腦股份有限公司 電子裝置之控制方法
US11504610B2 (en) 2020-02-14 2022-11-22 Valve Corporation Dynamically enabling or disabling controls of a controller
JP7378902B2 (ja) * 2020-03-31 2023-11-14 アルパイン株式会社 操作制御装置
KR20230026352A (ko) * 2020-05-25 2023-02-24 엔제트 테크놀러지스 인크. 접촉 기반 입력 장치를 위한 비접촉식 개조 인터페이스
CA3208465A1 (en) * 2021-03-03 2022-09-09 Guardian Glass, LLC Systems and/or methods for creating and detecting changes in electrical fields
US11579679B2 (en) * 2021-05-12 2023-02-14 Microsoft Technology Licensing, Llc Determining opening/closing of computing device
DE102022102295A1 (de) * 2022-02-01 2023-08-03 epitome GmbH Verfahren zum Steuern einer Reinigungsvorrichtung

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013117784A (ja) 2011-12-01 2013-06-13 Panasonic Corp 入力装置、情報端末、入力制御方法、および入力制御プログラム
US20130147833A1 (en) * 2011-12-09 2013-06-13 Ident Technology Ag Electronic Device with a User Interface that has more than Two Degrees of Freedom, the User Interface Comprising a Touch-Sensitive Surface and Contact-Free Detection Means

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69933963T2 (de) * 1998-03-24 2007-09-20 Kabushiki Kaisha Toshiba IC Karte mit kontaktbehafteten und kontaktlosen Schnittstellen
TW200601067A (en) * 2004-06-21 2006-01-01 Inventec Corp Interactive method of electronic apparatus
US9141254B2 (en) 2005-11-12 2015-09-22 Orthosensor Inc Navigation system and user interface for directing a control action
WO2008020446A1 (en) * 2006-08-15 2008-02-21 N-Trig Ltd. Gesture detection for a digitizer
KR101576148B1 (ko) * 2008-03-26 2015-12-09 마이크로칩 테크놀로지 저머니 Ⅱ 게엠베하 운트 콤파니 카게 다차원 제스처 평가 시스템 및 방법
US20110221776A1 (en) * 2008-12-04 2011-09-15 Mitsuo Shimotani Display input device and navigation device
CN102117145B (zh) * 2009-12-30 2013-09-25 宏正自动科技股份有限公司 多计算机管理系统及其控制方法
US10007393B2 (en) 2010-01-19 2018-06-26 Apple Inc. 3D view of file structure
US20110193818A1 (en) * 2010-02-05 2011-08-11 Edamak Corporation Proximity-sensing panel
ES2655729T3 (es) * 2010-02-10 2018-02-21 Microchip Technology Germany Gmbh Sistema y procedimiento de generación de una señal correlacionada con una operación de entrada manual
DE102010007455B4 (de) * 2010-02-10 2024-06-27 Microchip Technology Germany Gmbh System und Verfahren zum berührungslosen Erfassen und Erkennen von Gesten in einem dreidimensionalen Raum
US8432301B2 (en) * 2010-08-10 2013-04-30 Mckesson Financial Holdings Gesture-enabled keyboard and associated apparatus and computer-readable storage medium
US9135503B2 (en) * 2010-11-09 2015-09-15 Qualcomm Incorporated Fingertip tracking for touchless user interface
WO2012090405A1 (ja) * 2010-12-28 2012-07-05 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 入力装置、入力制御方法、プログラム及び電子機器
US9092132B2 (en) * 2011-01-24 2015-07-28 Apple Inc. Device, method, and graphical user interface with a dynamic gesture disambiguation threshold
CN201945948U (zh) * 2011-03-10 2011-08-24 中科芯集成电路股份有限公司 一种基于图像检测的非接触式手势翻书演示系统
US20130100030A1 (en) * 2011-10-19 2013-04-25 Oleg Los Keypad apparatus having proximity and pressure sensing
US20130155010A1 (en) * 2011-12-14 2013-06-20 Microchip Technology Incorporated Capacitive Proximity Based Gesture Input System
TWI536157B (zh) * 2012-02-23 2016-06-01 原相科技股份有限公司 電子裝置與電腦可讀取媒體
CN103324431B (zh) * 2012-03-22 2016-05-04 义明科技股份有限公司 电子装置以及电子装置的控制方法
GB201205303D0 (en) * 2012-03-26 2012-05-09 Light Blue Optics Ltd Touch sensing systems
JP5610644B2 (ja) * 2012-04-27 2014-10-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 入力装置、入力支援方法及びプログラム
TWI485577B (zh) * 2012-05-03 2015-05-21 Compal Electronics Inc 電子裝置及其操作方法
KR101474061B1 (ko) * 2012-05-04 2014-12-17 엘지디스플레이 주식회사 근접/모션 및 터치 감지 센서와 그를 구비한 표시장치
GB2515436B (en) * 2012-06-30 2020-09-02 Hewlett Packard Development Co Lp Virtual hand based on combined data
US20140298672A1 (en) * 2012-09-27 2014-10-09 Analog Devices Technology Locking and unlocking of contacless gesture-based user interface of device having contactless gesture detection system
JP5820414B2 (ja) * 2013-03-19 2015-11-24 株式会社Ｎｔｔドコモ 情報処理装置及び情報処理方法
US20140344922A1 (en) * 2013-05-17 2014-11-20 Fixmo, Inc. Multi-profile mobile device interface for same user
US20140380249A1 (en) * 2013-06-25 2014-12-25 Apple Inc. Visual recognition of gestures
US9218811B2 (en) * 2013-06-28 2015-12-22 Google Technology Holdings LLC Electronic device and method for managing voice entered text using gesturing
KR102214437B1 (ko) * 2014-01-10 2021-02-10 삼성전자주식회사 컴퓨팅 디바이스에서 컨텐츠 복사 실행 방법, 컨텐츠 붙여넣기 실행 방법 및 컴퓨팅 디바이스

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013117784A (ja) 2011-12-01 2013-06-13 Panasonic Corp 入力装置、情報端末、入力制御方法、および入力制御プログラム
US20130147833A1 (en) * 2011-12-09 2013-06-13 Ident Technology Ag Electronic Device with a User Interface that has more than Two Degrees of Freedom, the User Interface Comprising a Touch-Sensitive Surface and Contact-Free Detection Means

Also Published As

Publication number Publication date
WO2015134347A1 (en) 2015-09-11
JP2017507416A (ja) 2017-03-16
US9921739B2 (en) 2018-03-20
EP3114555A1 (en) 2017-01-11
TW201541314A (zh) 2015-11-01
US20150248207A1 (en) 2015-09-03
EP3114555B1 (en) 2020-04-29
TWI648662B (zh) 2019-01-21
CN105980974A (zh) 2016-09-28
US20180188922A1 (en) 2018-07-05
CN105980974B (zh) 2023-03-31
JP6564383B2 (ja) 2019-08-21
KR20160128994A (ko) 2016-11-08

Similar Documents

Publication Publication Date Title
KR102388791B1 (ko) 제스처 제어 시스템 및 방법
US11886699B2 (en) Selective rejection of touch contacts in an edge region of a touch surface
KR102023841B1 (ko) 복합 휴먼 인터페이스가 구비된 전자기기
KR102450301B1 (ko) 중간 차폐 전극층을 채용한 포스 및 근접 센싱을 위한 디바이스 및 방법
US10114485B2 (en) Keyboard and touchpad areas
KR20160060130A (ko) 압력 민감 트랙패드
US20150185869A1 (en) Keyboard proximity sensing
US20130106702A1 (en) Proximity sensing device with keyboard function
CN105765506B (zh) 用于在传感器设备中布置电极层以及相关联的定线迹线的方法和装置
TWI460624B (zh) 可攜式電子裝置
AU2013100574B4 (en) Interpreting touch contacts on a touch surface
KR20190108747A (ko) 터치센서 일체형 디지타이저
AU2015271962B2 (en) Interpreting touch contacts on a touch surface
CN107066105B (zh) 具有视觉反馈的输入设备、处理系统和电子系统
KR20200040623A (ko) 복합 휴먼 인터페이스가 구비된 전자기기 및 그 제어 방법
TW201322047A (zh) 電子系統之控制裝置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right