KR20120123487A - ３차원 공간에서 제스처들을 비접촉 검출 및 인식하는 시스템 및 방법 - Google Patents

３차원 공간에서 제스처들을 비접촉 검출 및 인식하는 시스템 및 방법 Download PDF

Info

Publication number
KR20120123487A
KR20120123487A KR1020127022398A KR20127022398A KR20120123487A KR 20120123487 A KR20120123487 A KR 20120123487A KR 1020127022398 A KR1020127022398 A KR 1020127022398A KR 20127022398 A KR20127022398 A KR 20127022398A KR 20120123487 A KR20120123487 A KR 20120123487A
Authority
KR
South Korea
Prior art keywords
gesture
gestures
movement
recognition
movement path
Prior art date
Application number
KR1020127022398A
Other languages
English (en)
Other versions
KR101871259B1 (ko
Inventor
롤란드 아우바우어
아르템 이바노프
토마스 칸드지오라
만프레드 슈와크트
Original Assignee
마이크로칩 테크놀로지 저머니 Ⅱ 게엠베하 운트 콤파니 카게
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로칩 테크놀로지 저머니 Ⅱ 게엠베하 운트 콤파니 카게 filed Critical 마이크로칩 테크놀로지 저머니 Ⅱ 게엠베하 운트 콤파니 카게
Publication of KR20120123487A publication Critical patent/KR20120123487A/ko
Application granted granted Critical
Publication of KR101871259B1 publication Critical patent/KR101871259B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Input (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 3차원 이동 공간에서의 제스처들(3D 제스처들)에 대한 비접촉 검출 및 인식 방법에 관한 것으로, 여기서, - 3차원 이동 공간을 정의하는 전기 근접 필드에서, 3차원 이동 공간에서의 적어도 하나의 물체의 이동들에 의해 영향을 받은, 전기 근접 필드의 변형들을 검출하는 단계; - 3차원 이동 공간에서의 적어도 하나의 물체의 이동에 대응하는, 전기 근접 필드의 검출된 변형들로부터 적어도 하나의 이동 경로를 생성하는 단계; - 이동 경로를 생성하는 단계 동안에, 이동 경로에서 제스처 개시를 검출하고, 제스처 개시의 개시와 함께 제스처를 이동 경로로부터 추출하는 단계를 제공한다. 또한, 본 발명은 3차원 이동 공간에서의 제스처들에 대한 비접촉 검출 및 인식 시스템에 관한 것이다.

Description

３차원 공간에서 제스처들을 비접촉 검출 및 인식하는 시스템 및 방법{SYSTEM AND METHOD FOR CONTACTLESS DETECTION AND RECOGNITION OF GESTURES IN A THREE-DIMENSIONAL SPACE}
본 발명은 3차원 이동 공간에서의 적어도 하나의 물체의 이동에 의해 수행되는, 3차원 공간에서의 제스처들(gestures)에 대한 비접촉 검출 및 인식 시스템 및 방법에 관한 것이다.
제스처들에 대한 비접촉 검출 및 인식 방법들 및 시스템들이 종래로부터 공지되어 있다. 예를 들면, 광학적 방법들에 기초한 솔루션들이 공지되어 있다. 광학적인 방법들의 경우, 영상 처리에 공급될 영상들이 연속적으로 촬영된다. 영상 처리는, 예를 들면, 손 또는 손가락을 나타내는 촬영된 영상들로부터 데이터를 추출하는 방법으로 설계된다. 추출된 데이터로부터, 손 또는 손가락의 이동이 결정된다. 결정된 이동이 분석되는데, 분석은 제스처 인식을 수행하고 결과적으로는 인식된 제스처에 관련된 제스처 또는 정보를 제공한다. 하지만, 그러한 시스템들 및 방법들은 매우 고가이고 연산 집약적이며, 또한, 차등적이거나 열악한 조명 조건인 경우에 빈번하게 문제를 일으킨다. 또한, 이 목적을 위해 필요한, 예를 들면 카메라 시스템들과 같은 영상 촬영 유닛들은 휴대용(mobile use)으로는 적합하지 않으며, 그러한 시스템들은 대부분 정지 동작(stationary operation)에만 적합하다.
휴대용으로는 예를 들면 터치 감지 디스플레이들과 같은 터치 감지 시스템들이 더 적합한데, 이 목적을 위해 손 또는 손가락의 이동 인식을 위한 추가적인 인식 시스템들이 불필요하기 때문이다. 하지만, 널리 알려진 터치 감지 인식 시스템들은, 이동 인식을 위해 예를 들면 한편으로는 터치 감지 디스플레이에 대한 접촉이 필수적이고, 다른 한편으로는 입력면상에서 2차원, 즉, X 및 Y 방향으로의 이동들만이 가능하다는 점에서, 바람직하지 않다. 따라서 이동을 인식하는 터치 감지 방법은 자유도가 2차원으로 제한되므로, 3차원(Z 방향)을 포함하는 이동들 또는 제스처들이 고려될 수 없다.
따라서, 본 발명은, 한편으로는 공간적 제스처들에 대한 검출 및 인식을 가능하게 하고 또한 다른 한편으로는 모바일 디바이스들 또는 시스템들에서의 사용에 적합한, 제스처들에 대한 비접촉 검출 및 인식을 위한 방법 및 시스템을 제공하는 것을 목적으로 한다.
본 발명의 목적은, 독립항들에 기재된 제스처들에 대한 비접촉 검출 및 인식 시스템 및 방법에 의해 달성될 수 있다.
본 발명에 따른, 3차원 이동 공간에서의 제스처들에 대한 비접촉 검출 및 인식 방법은:
- 3차원 이동 공간을 정의하는 전기 근접 필드에서, 3차원 이동 공간에서의 적어도 하나의 물체의 이동들에 의해 영향을 받은, 전기 근접 필드의 변형들을 검출하는 단계; 및
- 3차원 이동 공간에서의 적어도 하나의 물체의 이동에 대응하는, 전기 근접 필드의 검출된 변형들로부터 적어도 하나의 이동 경로를 생성하는 단계를 포함하고,
- 이동 경로를 생성하는 단계 동안에, 이동 경로에서 제스처 개시를 검출하고, 제스처 개시에서의 개시와 함께 제스처를 이동 경로로부터 추출하는 단계를 제공한다.
이에 의해, 예를 들면 카메라 시스템들과 같은 영상 취득 디바이스를 제공할 필요없이, 3차원 공간에서의 이동들을 검출하고 검출된 이동으로부터 제스처들을 인식하는 것이 가능한데, 이 방법은 또한 휴대용, 예를 들면 모바일 폰들과 게임 콘솔들에 특히 적합하다.
적어도 하나의 이동 경로를 생성 단계는, 적어도 하나의 물체의 적어도 하나의 물체 속성을 고려하고, 적어도 하나의 물체 속성은 전기 근접 필드의 변형들로부터 도출된다.
이동 공간에서의 모든 이동이 평가될 이동 경로로 이어지는 것은 아니기 때문에, 본 발명에 따른 방법의 정확성이 상당히 개선될 수 있다. 또한 인식 속도가 증가될 수 있다.
적어도 하나의 물체 속성의 도출은, 이동 경로를 생성하는 단계에 제공되는 선행(advance) 정보를 고려할 수 있다. 따라서 이동 경로가 보다 효율적으로 훨씬 빠르고, 더 정확하게 생성될 수 있는데, 이는, 예를 들면, 부정확한 측정들이 전진 정보의 도움으로 적어도 부분적으로 보상될 수 있기 때문이다.
물체 속성은, 물체의 형태, 물체의 크기, 물체들의 개수, 기준면과 관련된 물체의 방향, 전기적 재질 속성, 및 이들의 조합 중 적어도 하나를 포함할 수 있다. 이에 의해, 이동 경로는 보다 정확하게 결정될 수 있다.
물체 속성과 전진 정보가 이동 경로의 인식에서 고려된다면, 특히 이동 경로는 매우 정확하게 그리고 매우 빠르게 결정될 수 있다,
이동 경로를 생성하는 단계에서, 적어도 하나의 소정 변형 기준을 준수하는, 전기 근접 필드의 변형들만이 고려되는 것이 바람직하다. 따라서 예를 들면 근접 필드의 외부 가장자리 지역에서의 변형들은 고려되지 않는다.
변형 기준은:
- 기준면과 관련된 변형을 유발하는 물체의 거리,
- 절대적 및/또는 상대적 필드 변화,
- 시간에 따른 필드 변화의 제1 및/또는 제2 도출(derivation),
- 및/또는 이들의 조합일 수 있다.
이동 경로의 각 점에 다수의 이동 특성들을 부여하는 것이 유리하다는 것을 보여준다.
이동 특성들은:
- 기준면과 관련된 물체의 위치;
- 이동 공간과 관련된 물체의 방향;
- 물체의 속도;
- 물체의 가속도; 및/또는
- 이들의 조합을 포함할 수 있다.
이동 경로로부터의 제스처의 추출은, 개별적(discrete) 제스처의 추출 및 연속적 제스처의 추출을 포함할 수 있다.
제스처의 추출 단계에 컨텍스트(context) 정보를 부여하는 것이 특히 바람직하다. 이에 의해, 한편으로는 식별률이 상당히 증가될 수 있다. 다른 한편으로는 식별 속도 역시 상당히 증가될 수 있다.
컨텍스트 정보는, 개별적 제스처가 추출되는지를 나타내는 제1 컨텍스트 정보와, 연속적 제스처가 추출되는지를 나타내는 제2 컨텍스트 정보를 포함할 수 있다.
부여된 제1 컨텍스트 정보에서, 이동 경로로부터의 제스처의 추출은 이동 공간으로부터의 제스처 종료를 인식하는 단계를 포함할 수 있다.
제스처 개시 및/또는 제스처 종료는 적어도 하나의 이동 특성을 적어도 하나의 임계값과 비교함으로써 결정될 수 있는데, 여기서 임계값의 초과/하락은 제스처 종료 및/또는 제스처 개시를 표시한다.
임계값의 초과/하락은, 임계값을 소정 기간 동안 초과/하락한 경우에, 제스처 개시 및/또는 제스처 종료를 표시할 수 있다. 따라서 임계값의 매우 짧은 초과/하락이 제스처 개시 및/또는 제스처 종료로서 잘못 인식되는 것이 방지된다.
몇 개의 이동 속성들의 사례에서, 각각의 임계값들의 초과/하락은, 각각의 임계값들을 소정 순서(order)로 초과/하락한 경우에, 제스처 개시 및/또는 제스처 종료를 표시할 수 있다.
컨텍스트 정보는, 한 세트의 기준 제스처들을 포함하는 제3 컨텍스트 정보를 포함하는 것이 바람직하며, 한 세트의 기준 제스처들은 어떤 제스처들이 추출되어야 하는지를 나타내며, 기준 제스처들은 제스처 그래머(grammar)에 따라 서술된다.
따라서 몇 개의 기준 제스처만이 제스처 인식에 이용되기 때문에, 인식률과 인식 속도는 추가로 상당히 증가될 수 있다. 특별한 실시예에서, 인식될 제스처가 어떤 기준 제스처에도 부여되지 않으면, 제스처 인식은 제스처의 종료 전일지라도 중지될 수 있다.
제스처의 추출 단계는, 추출된 제스처를 인식하기 위한 패턴 인식을 포함할 수 있다.
제스처 종료가 검출되면, 추출된 개별적 제스처가 패턴 인식에 완전하게 제공될 수 있다.
제스처 개시의 인식 이후에, 이동 경로가 패턴 인식에 연속적으로 공급될 수 있는데, 여기서, 기준 제스처들로부터 연속적으로 공급된 이동 경로에 대응하는 기준 제스처들을 결정하기 위해, 연속적으로 공급된 이동 경로가 패턴 인식에 의해 기준 제스처의 부분 제스처들과 연속적으로 비교된다.
패턴 인식은, 제스처를 단일 제스처 세그먼트들로 분할하고 제스처 세그먼트들과 기준 제스처들의 대응하는 제스처 세그먼트들을 비교하는 단계를 포함할 수 있다.
적어도 하나의 이동 경로를 생성하는 단계에 있어서, 이동 공간에서의 물체의 비의도적인 이동들에 대응하는 세그먼트들이, 이동 경로로부터 제거되는 보상 방법이 수행될 수 있다. 이에 의해, 제스처들을 인식함에 있어서의 허용 오차와 제스처의 인식이 상당히 개선될 수 있다. 보상 방법은 이동 경로를 인식하는 동안 수행되는 것이 바람직하다.
전기 근접 필드는 적어도 하나의 전극에서 방출될 수 있고 전기 근접 필드의 변형들이 적어도 하나의 전극에 의해 인식될 수 있는데, 교류 전기 필드는 소정의 주파수, 바람직하게는 10kHz 및 300kHz 사이의 주파수, 더욱 바람직하게는 20kHz 및 200kHz 사이의 주파수, 가장 바람직하게는 75kHz 및 125kHz 사이의 주파수로 방출될 수 있다.
전기 근접 필드의 변형들의 인식은 각각의 전극들에서 수신되거나 방출된 교류 전기 필드의 변화들을 측정함으로써 수행될 수 있는데, 그 변화들은 위상, 진폭 및/또는 주파수를 포함한다.
적어도 하나의 물체는 손, 손가락, 팔들 및/또는 손가락 끝을 포함한다.
본 발명의 바람직한 실시예에서, 이동 경로의 생성은, 하나 또는 몇 개의 구별가능한 손가락들을 갖는 손의 이동에서, 하나의 손가락 또는 몇 개의 구별가능한 손가락들의 손가락 끝들에 대응하는 하나 또는 몇 개의 이동 경로들을 생성하도록 설계된다.
3차원 공간에서의 다중-손가락-제스처들은 예를 들면 카메라와 같은 추가적인 수단들없이 캡쳐되고 인식될 수 있다.
제스처는 몇 개의 이동 경로들로부터 추출된 몇 개의 제스처들(부분적인 제스처들)에 의해 형성될 수 있는데, 이는 동시적인 제스처들이 몇 개의 디지트(digit)들로 입력되는 경우에 특히 바람직하며, 여기서 입력 제스처들은 전체 제스처의 요소들이다.
또한, 제스처들 및/또는 기준 제스처들을 설명하기 위한 컨텍스트-프리 그래머(context-free gammar)가 본 발명에 의해 제공된다. 제스처 그래머로 설명되어진 기준 제스처들의 사용은, 제스처 인식이 본 발명에 따른 기술적인 방법에서 매우 간단한 방식으로 실현될 수 있다는 장점이 있다. 바람직하게는 기준 제스처들은 데이터베이스에 저장되는데, 여기서 기준 제스처들상의 기준 제스처 세그먼트들에 걸쳐서 인덱스된 액세스가 일어날 수 있다. 이미 인식된 제스처 세그먼트들에 근거한 관련이 있는 기준 제스처들이 간단한 데이터베이스 조사들에 의해 필터링될 수 있기 때문에, 특히 연속적인 즉 순차적인 제스처 인식의 경우에, 인덱스된 액세스는 명백한 장점을 갖는다. 데이터베이스는 특히 마이크로컨트롤러 내에 실현되기에 적합한 임베디드 데이터베이스일 수 있으며, 본 발명에 따른 방법은 또한 마이크로컨트롤러에서 실현되기에 적합하다.
또한, 본 발명에 따른 3차원 이동 공간에서의 제스처들에 대한 비접촉 검출 및 인식 시스템은:
- 이동 공간을 정의하는 전기 근접 필드를 생성하기 위한 수단;
- 이동 공간에서의 적어도 하나의 물체의 이동에 의해 초래되는 전기 근접 필드의 변형들을 검출하기 위한 수단;
- 적어도 하나의 물체의 이동에 대응하는, 전기 근접 필드의 검출된 변형들로부터 적어도 하나의 이동 경로를 생성하기 위한 수단; 및
- 이동 경로가 생성되는 동안, 이동 경로에서 제스처 개시를 인식하기 위한 수단, 및
- 제스처 개시와 함께 개시하는 이동 경로로부터 제스처를 추출하기 위한 수단을 제공한다.
전기 근접 필드를 생성하기 위한 수단은, 교류 전기 필드가 방출되는 적어도 하나의 송신 전극과, 적어도 하나의 송신 전극에 전기 교류 신호를 충전하기 위해 적어도 하나의 송신 전극에 연결되어 있는 적어도 하나의 신호 생성기를 포함할 수 있다.
전기 근접 필드의 변형을 인식하기 위한 수단은, 적어도 하나의 수신 전극과, 수신 전극에 연결되어 수신 전극으로 결합된 교류 전기 필드 또는 수신 전극에서 방출된 교류 전기 필드의 주파수, 진폭 및/또는 위상의 변화를 검출하기 위한 평가 디바이스를 포함할 수 있다.
교류 신호의 주파수, 진폭, 및/또는 위상은, 조정가능한 것이 바람직하다.
본 발명에 따른 시스템은 ASIC(Application specific integrated circuit)으로 구현될 수 있다.
또한, 전기 근접 필드에 의해 정의되는, 3차원 이동 공간에서의 비접촉 이동들 검출 방법은:
- 3차원 이동 공간에서의 적어도 하나의 물체의 이동들에 의해 영향을 받은, 전기 근접 필드의 변형들을 인식하는 단계; 및
- 적어도 하나의 물체의 이동에 대응하는, 전기 근접 필드의 인식된 변형들로부터 적어도 하나의 이동 경로를 생성하는 단계를 포함할 수 있다.
또한, 비접촉 이동들을 검출하기 위한 본 발명에 따른 방법으로 검출할 수 있고, 또한 적어도 하나의 이동 경로로부터 적어도 하나의 제스처의 추출 단계를 포함하는, 적어도 하나의 이동 경로로부터 제스처들을 인식하기 위한 방법이 본 발명에 의해 제공된다.
본 발명의 이득 및 유리한 구현들은 설명, 도면, 청구범위로부터 얻어진다.
도면에는 실시예들이 도식적으로 간략화되어 도시되고, 이어지는 서술에서 더욱 상세하게 설명될 것이다.
도 1은 본 발명에 따른 제스처들에 대한 비접촉 검출 및 인식 방법에 대한 흐름도이다.
도 2는 전기 근접 필드에 의해 생성된 이동 공간뿐만 아니라 이동 공간에 배치된 인식 공간의 공간 개념을 도시한 도면이다.
도 3은 전기 근접 필드에 의해 생성된 이동 공간, 이동 공간에 배치된 인식 공간, 및 인식 공간에 배치되어 매번 하나의 액션이 부여되는 몇 개의 액티브 영역들을 도시한 도면이다.
도 4는 제스처의 시작과 제스처의 종료를 결정하기 위한 임계값에 대한 제1 예시를 도시한 도면이다.
도 5는 제스처의 시작과 제스처의 종료를 검출하기 위한 임계값에 대한 제2 예시를 도시한 도면이다.
도 6은 제스처의 시작과 제스처의 종료를 검출하기 위한 임계값의 또 하나의 예시를 도시한 도면이다.
도 7a는 제스처 알파벳이 복수의 제스처 세그먼트들로 구성된 제스처의 일례를 도시한 도면이다.
도 7b는 수정가능한 불완전한 세그먼트를 갖는 이동 경로의 예시를 도시한 도면이다.
도 8은 이동 경로의 분할(splitting)(세그먼테이션)에 대한 히트 박스들(hit boxes)의 일례들을 도시한 도면이다.
도 9a는 Z 방향만이 제스처 인식을 위해 관련되어 있는 이동의 일례를 도시한 도면이다.
도 9b는 X 방향만이 제스처 인식을 위해 관련되어 있는 이동의 일례를 도시한 도면이다.
도 10은 X 및 Y 방향(좌표)만이 제스처 인식을 위해 평가되는, 3차원 공간에서의 이동 경로의 일례를 도시한 도면이다.
도 11은 제스처가 2개의 이동 경로들(2-손가락 제스처들)로부터 추출되는 제스처의 일례를 도시한 도면이다.
도 12a 내지 12c는 다수의 1-손가락 제스처들 및 2-손가락 제스처들을 갖는 제스처 목록을 도시한 도면이다.
도 12d는 다수의 손 제스처들을 갖는 제스처 목록을 도시한 도면이다.
도 1은 제스처들에 대한 비접촉 검출 및 인식 방법에 대한 흐름도를 도시한 도면이다.
제1 단계(100)에서, 전기 근접 필드가 전극 시스템에 의해 생성되는데, 전기 근접 필드는, 기준면, 예를 들면 스크린 또는 태블릿 PC와 관련하여 이동 공간을 정의하는 준정적(quasistatic) 교류 전기 필드로서 형성되는 것이 바람직하다.
교류 전기 필드의 주파수(f)는, 필드 변동을 보여주는 교류 전기 필드의 주파수(f)에 대응하는 주기(T)(T=1/f)가, 기준면의 크기에 해당하는 구간(stretch)(L)을 빛이 커버하는데 필요한 시간보다 훨씬 적도록 선택될 수 있는데, 즉, 주파수(F)의 경우에 전자기파들의 파장은 시스템 크기들(L)(T>>L/c 또는 f<<c/L, 여기서, c는 빛의 속도)보다 매우 크다. 10kHz 내지 300kHz 사이의 주파수들, 바람직하게는 75kHz 내지 100kHz 사이의 주파수들이 특히 적합한 것으로 판명되었다. 대략 100kHz의 주파수는 3km의 파장에 해당하며, 이는 기준면의 크기를 훨씬 초과한다.
근접 필드는, 필드 소스로부터의 거리가 파장보다 훨씬 짧아서 전자기파로서 간주될 수 없지만 준정적 필드로서 간주되는 영역이다. 전극 시스템에서 필드 강도는, 전극 시스템의 전극들로부터의 거리(r)에 따라 대략 1/r 내지 1/r2에 비례하여 감소한다. 이는, 또한 전극 시스템의 감도가 거리에 따라 감소함을 나타낸다. 따라서 전극 시스템의 감도 영역은 전극에 "가까운" 공간으로 제한된다.
기준면은, 예를 들면 모바일폰 또는 태블릿 PC과 같은 모바일 디바이스의, 예를 들면 디스플레이 디바이스일 수 있다. 디스플레이 디바이스는 터치 감지 디바이스일 수 있으며, 제스처들에 대한 비접촉 검출 및 인식뿐만 아니라 디스플레이 디바이스의 터치에 의한 입력이 인식될 수도 있다. 기준면으로서, 예를 들면, 캐비넷 도어의 표면이, 본 발명에 따른 시스템에서 입력면이 될 수 있는 "패시브" 표면으로서 제공될 수 있다.
이하에서 전기 근접 필드로 지칭되는 준정적 교류 전기 필드를 위해, 항상 교류 전기 필드가 방출되는, 상호 간에 거리를 둔 몇 개의 전극들이 제공될 수 있다. 하나 또는 몇 개의 생성기들에 의해 제공되어 각각의 전극들에 공급된 교류 전기 신호는, 전극들에서 방출된 교류 전기 필드들이 연합하여 기준면과 관련된 전극들 주위에 이동 공간을 형성할(span) 수 있도록, 설정된다.
다음 단계(200)에서, 예를 들면, 이동 공간에서 적어도 하나의 물체의 이동들에 의해 발생하는, 교류 전기 필드의 역선들(lines of force)의 변형들이 인식된다. 예를 들면, 역선들의 변형은, 이동 공간에서 하나 또는 몇 개의 손가락들의 이동들에 의해 초래될 수 있다. 역선들의 변형들은, 전극들과 연결된 각 생성기들에서 부하(load)의 변화를 검출함으로써, 교류 전기 필드들이 방출되는 전극들에서 인식될 수 있다. 이하에서 교류 전기 필드의 역선들의 변형들은, 전기 근접 필드의 변형으로 지칭된다. 교류 전기 필드들의 생성 및 전기 근접 필드의 역선들의 변형들에 대한 인식을 위한 추가적인 실시예들은 도 2에서 설명될 것이다.
다음 단계(300)에서, 인식된 변형들로부터, 이동 공간에서, 예를 들면, 손가락의 이동에 대응하는 이동 경로가 생성된다. 따라서 본 발명에 따르면, 예를 들면, 몇 개의 손가락들이 이동 공간에서 움직인다면, 또한 몇 개의 이동 경로들이 생성될 수 있다.
이동 경로의 생성에 있어서, 이동 공간에서 움직이는 물체에 대한 하나 이상의 물체 속성들이 고려될 수 있다. 예를 들면, 이동 경로의 생성을 위하여, 물체의 형태가 고려될 수 있다. 이는, 예를 들면, 검지를 펼친 손이 이동 공간에 진입하고 그에 따라 전체 손이 전기 근접 필드의 변형을 초래하는 경우에, 필요하다. 형태와 무관하게, 실질적으로, 이동 공간에서 움직이는 손의 무게중심의 이동에 대응하여 이동 경로가 생성될 수도 있다. 이런 방식으로 생성된 이동 경로는, 손의 무게 중심의 이동이 펼쳐진 검지의 이동에 항상 대응되지는 않기 때문에 결함있는 제스처 인식을 유발한다.
이를 회피하기 위하여, 이동 공간에서 움직이는 손의 형태가 이동 경로의 생성에서 고려되는데, 손의 형태는 전기 근접 필드의 변형들로부터 차례차례 도출된다. 그리고 손가락 끝의 이동에 대응하는 이동 경로가 결정될 수 있도록, 펼쳐진 손가락의 손가락 끝(fingertip)이 손의 형태로부터 결정될 수 있다.
본 발명의 추가적인 실시예에서, 몇 개의 손가락들의 이동이 인식되고 평가될 수 있는데, 각 펼쳐진 손가락에 대하여 손가락 끝이 결정된다.
본 발명에 따른 이동 경로의 생성에 있어서, 소정의 기준에 부합하는 전기 근접 필드의 변형들만이 고려된다. 기준은, 예를 들면, 기준면으로부터의 변형을 초래하는 물체의 거리일 수 있다. 이에 의해, 예를 들면, 이동 공간의 외부 가장자리 영역에서 수행되는 이동들이 이동 경로의 생성에 고려되지 않음이 보장된다.
이동 경로의 생성에 있어서, 이동 경로의 각 점에 다수의 이동 특성들이 부여되어, 이동 공간에서 완수된 이동으로부터 하나 또는 복수의 제스처들이 확실하게 추출될 수 있다. 그러한 이동 특성은, 예를 들면, 물체의 위치(예를 들면, 기준면과 관련된 검지의 접촉), 이동 공간과 관련된 손 또는 검지의 방향, 손가락 끝의 속도, 손가락 끝의 가속도 또는 그들의 조합일 수 있다. 도 4 내지 6에서 더욱 상세히 설명되는 바와 같이, 이러한 이동 특성들은 하나 또는 몇 개의 제스처들의 제스처의 시작 및 제스처의 종료를 검출하기 위해 사용될 수도 있다.
단계(400)에서, 하나 이상의 제스처들이, 생성된 이동 경로로부터 추출된다. 본 발명에 따르면, 개별적 제스처들 및/또는 연속적 제스처들이 추출될 수 있다.
개별적 제스처는, 제스처 개시, 제스처 종료, 및 제스처 개시와 제스처 종료 사이의 이동에 의해 특징지어진다. 연속적 제스처는, 제스처 개시와, 제스처 개시에 뒤따르는 이동으로써 특징지어지는데, 연속적 제스처가 반드시 제스처 종료를 가질 필요는 없다.
이동 경로로부터 제스처를 추출할 때, 우선, 이동 경로에서 제스처 개시가 개별적 제스처 및 연속적 제스처 모두에 대해 검출된다. 제스처 개시는, 이동 경로의 생성 동안에 검출된다. 제스처 개시가 검출되면, 제스처는 제스처 개시의 시작과 함께 추출될 수 있다. 제스처 개시를 인식하기 위한 구체적인 방법들이 도 4 내지 6에서 더욱 상세하게 설명된다.
추출된 제스처들이 패턴 인식의 도움으로 인식될 수 있다. 패턴 인식으로서, 예를 들면 히든 마르코브 모델들(Hidden Markov models), 비터비 알고리즘(Viterbi algorithm) 및/또는 바예시안 네트워크들(Bayesian networks)이 이용될 수 있다. 본 발명에 따른 또 하나의 인식 방법이 도 7에서 더욱 상세하게 설명된다.
개별적 제스처들을 검출 및 인식하고자 하는 경우, 매번, 이동 경로로부터 추출된 하나의 완전한 제스처가 패턴 인식에 공급될 수 있다. 이는, 예를 들면, 제스처의 종료가 검출되자마자 수행될 수 있다. 제스처 종료의 인식은, 도 4 내지 6에서 더욱 상세하게 설명된다.
연속적 제스처들을 인식하고자 하는 경우, 제스처 개시가 검출된 후, 제스처 개시에 뒤따르는 이동 경로가 패턴 인식에 연속적으로 공급된다. 연속으로 공급된 이동 경로는 패턴 인식에 의해 연속으로 제스처 인식의 대상이 된다.
연속적인 및 개별적인 제스처들의 인식을 위해, 패턴 인식에 의해 공급된 이동 경로와 패턴 비교를 위해 사용되는 기준 제스처들이 제공된다. 기준 제스처들은, 예를 들면, 디바이스의 소정 사용자 컨텍스트에서 인정될 수 있는 제스처들일 수 있다. 만일 사용자 컨텍스트에서, 예를 들면, 검출된 문자들(determined letters)의 입력만이 인정될 수 있다면, 기준 제스처들은 허용된 문자들을 의미하는 제스처들을 포함한다.
패턴 비교는, 이동 경로의 단일 세그먼트들과 기준 제스처들의 대응하는 부분 제스처들을 비교하도록 수행될 수 있다. 부분 제스처는 기준 제스처의 세그먼트이다. 이동 경로의 단일 세그먼트들이 매번 기준 제스처의 부분 제스처들과 일치한다면, 이동 경로는 인식된 제스처로서 해석될 수 있다.
본 발명의 일 실시예에서, 가능한 기준 제스처들의 셋트는, 이동 경로의 세그먼트와 대응하는 부분 제스처들과의 각각 비교한 후에 제거(reduce)될 수 있는데, 왜냐하면, 이동 경로의 비교된 세그먼트들의 개수가 증가함에 따라 제스처 비교를 위한 모든 기준 제스처들이 배제될 수 있는데, 그것의 대응하는 부분 제스처들이 이동 경로의 이미 비교된 세그먼트들과는 일치하지 않을 것이기 때문이다. 이러한 방식으로, 이동 경로의 어느 하나의 세그먼트에 기준 제스처의 대응하는 부분 제스처가 더 이상 부여되지 않게 되면, 인식의 중단이 수행될 수 있다.
이동 경로로부터의 하나 또는 몇 개의 제스처들의 추출을 위한 단계(400)에 컨텍스트 정보가 부여될 수 있는데, 추출될 제스처가 개별적 제스처인지 또는 연속적 제스처인지에 따라 추출 단계(400)가 다르게 수행될 수 있다. 따라서, 컨텍스트 정보는, 평가되어야 하는 제스처의 타입을 나타낸다. 컨텍스트 정보는 실질적으로 특정 애플리케이션에 의존하는데, 본 발명에 따른 방법이 이용된다. 예를 들면, 디스플레이/입력 디바이스에서, 손의 이동의 도움으로 접촉없이 왼쪽으로 또는 오른쪽으로 이동될 수 있는 슬라이드 제어가 표시되면(visualized), 컨텍스트 정보 "연속적 제스처"가 추출 단계(400)에 부여될 수 있다. 슬라이드 제어에 부여된 이동 공간에서의 손의 이동이 이후에 연속적으로 평가되고, 슬라이드 제어는 실질적으로 디스플레이 디바이스에서의 손의 이동과 실질적으로 동기하여 이동될 수 있다.
예를 들어 입력 디바이스에서 문자들 또는 숫자들의 입력이 기대되면, 컨텍스트 정보 "개별적 제스처"가 추출 단계(400)에 부여될 수 있다. 여기서, 제스처 개시와 제스처 종료 사이의 이동 경로는, 이동 경로에서 제스처 종료가 인식되면 패턴 인식에 공급된다. 또한, 대안적으로, 개별적 제스처의 이동 경로가, 제스처 개시가 인식되자마자 패턴 인식에 연속적으로 제공될 수 있는데, 이는, 제스처가 끝나기도 전에 사용자가 수행하고자 의도하는 제스처에 대한 표현을 만들 수 있다는 장점을 갖는다.
추출 단계(400)에 부여된 컨텍스트 정보는 또한 예를 들면, 컨텍스트에서 어느 제스처들이 인정될 수 있는지를 나타내는 한 세트의 기준 제스처들을 포함한다.
이것은, 예를 들면, 입력 디바이스가 숫자들의 입력을 기대하는 경우에 유용하다. 컨텍스트 정보는, 이 경우에, 기준 제스처들로서, 숫자 "0" 내지 "9"를 포함할 수 있다. 예를 들면, 이동 공간에서의 문자 "A"에 대응하는 검지의 이동은, 본 발명에 따른 방법에 의해 허용되지 않은 제스처로서 인식될 수 있다. 각각의 컨텍스트에서 허용된 제스처들을 정의하는 기준 제스처들을 이용함으로써, 제스처들의 인식에서 잘못된 해석의 가능성이 상당히 줄어들 수 있다.
더욱, 예를 들면, 제스처 개시와 제스처 종료 사이의 이동 경로가 모든 기준 제스처들에 대하여 부여될 수 없지만, 이동 경로가 기준 제스처와 유사한 경우에, 에러 수정이 수행될 수 있다. 유사도의 정도는 조정될 수 있는데, 예를 들면, 기준 제스처들의 개수에 의존하여 설정될 수 있다. 작은 수의 기준 제스처에 있어서는 작은 정도의 유사도가 설정될 수 있는데, 이는 매우 부정확하게 수행된 이동들조차도 제스처의 인식을 정확하고 확실하게 유도한다는 장점을 갖는다.
비의도적인 이동들을 무시하기 위하여, 예를 들면, 이동 경로로부터의 제스처들을 추출함에 있어서, 이동 공간에서의 손가락에 의해, 이동 경로를 생성(단계 300) 동안에 이동 공간에서의 손가락의 비의도적인 이동들에 대응하는 이동 경로로부터 이런 세그먼트들을 제거하는 보상 방법이 제안된다. 이 목적을 위하여, 예를 들면, 이동 공간에서의 손가락의 속도 및/또는 가속도가 이용될 수 있는데, 미리 설정된 속도 또는 미리 설정된 가속도의 초과 또는 하락은, 손가락의 비의도적인 이동을 표시할 수 있다. 또한, 이동 경로로부터 그러한 세그먼트들을 추출함으로써, 단계(400)에서 이동 경로로부터 제스처들의 추출의 인식 정도가 향상된다.
도 2는 본 발명에 따른, 전기 센서 시스템의 4개의 전극들을 갖는 이동 공간에서의 이동들의 비접촉 검출을 위한 시스템의 구조를 도시한다.
예를 들면, 디스플레이 디바이스일 수 있는, 사각형 기준면(B)의 4군데 가장자리들의 영역에, 전기 센서 시스템의 요소인 하나의 전극이 각각 배치된다. 전극들(E)은 기준면(B)의 각 가장자리의 전체 길이에 걸쳐 확장된다. 전극들(E)에서, 각 교류 전기 필드가 방출되고, 4개의 방출된 교류 전기 필드들은 공동으로 이동 공간(10)을 정의한다.
도 2에 도시된 4개의 줄무늬 형태의 전극들(E) 대신에, 기준면의 가장자리들에, 예를 들면, 손가락의 공간 좌표들의 개선된 인식을 가능하게 하는 하나의 점 모양(punctiform) 전극이 각각 배치될 수 있다. 또한, 기준면의 각 가장자리에서, 인식 정확도를 더욱 향상시키기 위해 몇 개의 점 모양 전극들을 배치할 수도 있다.
점 모양 전극들은 또한 기준면(B)의 코너들에 배치될 수 있다. 점 모양 전극은, 예를 들면, 대략 0.5㎠ 내지 5㎠의 표면을 포함하는 평면 금속판에 의해 형성될 수도 있다. 구체적인 형태로서, 점 모양 전극들은 1㎠의 표면일 수 있다.
단일 전극들은 송신 전극들 및/또는 수신 전극들로서 동작될 수 있다.
예를 들면, 도 2에 도시된 전극들 중 하나가, 교류 전기 필드가 방출되는 송신 전극(생성기 전극)으로서 동작할 수 있다. 3개의 다른 전극들이, 송신 전극에 의해 방출된 교류 전기 필드를 수신하거나 결합하는 수신 전극으로서 동작될 수 있다. 수신 전극들에 결합된 교류 전기 필드로부터, 전기 근접 필드의 변형이 검출될 수 있다. 수신 전극들에서 측정된 신호들이 순차적으로 하나씩 평가 유닛에 제공되도록, 개별의 수신 전극들이 멀티플렉싱 방법으로 동작될 수 있다.
또한, 수신 전극의 신호들이 동시에 측정될 수 있는데, 이는 개선된 신호-잡음비(SNR)를 초래한다.
대안적인 실시예에서, 도 2에 도시된 전극들 중 하나가 수신 전극으로 동작할 수 있다. 다른 3개의 전극들은, 수신 전극에 항상 결합되는 교류 전기 필드가 각각에서 방출되는 송신 전극으로서 동작할 수 있다. 송신 전극들에서 방출된 교류 전기 필드는 항상 다른 주파수 및/또는 다른 위상을 가질 수 있다.
하지만 송신 전극들에서 방출된 교류 전기 필드들은, 또한, 동일한 주파수 및 동일한 위상을 가질 수 있으며, 이 경우 송신 전극들은 시분할 멀티플렉싱 방법으로 동작하는 것이 바람직하다.
또한, 공간 분해능이 더욱 증가될 수 있도록, 몇 개의 송신 전극들 및 몇 개의 수신 전극들이 제공되는 것이 가능하다.
추가적인 실시예에서, 적어도 하나의 전극은, 송신 전극으로서 또한 수신 전극으로서 동작할 수 있는데, 여기서 역선들의 변형은 교류 전압을 생성하는 생성기에서의 교류 전기 필드의 부하(load)에 의하여 검출된다.
교류 전기 필드에서 손가락의 위치를 인식하기 위한 시스템에 대한 확실한 실현은, 본 출원인에 의한 독일공개특허 DE 10 2007 020 873에 개시되어 있다.
이동 공간은 더욱 세분될 수 있다. 이동 공간(10)의 내부에, 이동 공간(10)보다 작은 검출 공간(20)이 정의된다. 이동 공간(10) 내부의 검출 공간(20)은, 이동 경로의 생성 동안에 고려되는 공간으로, 즉, 검출 공간(20) 내부의 이동들에 대해서만 이동 경로가 생성된다.
만일 이동 공간(10)에 손(H) 또는 손가락 끝이 진입하면, 손(H) 또는 손가락 끝은 전기 근접 필드의 변형을 수반한다. 본 발명의 일실시예에 따르면, 이동 경로는 오로지 손가락 또는 손(H)이 검출 공간(20)에 진입하자마자 전기 근접 필드의 변형으로부터 도출된다. 이는, 예를 들면, 손가락 끝과 기준면(B) 사이의 거리(d)를 평가함으로써 수행될 수 있다. 손가락 끝과 기준면(B) 사이의 거리(d)가 거리(D)(여기서, 거리(D)는, 기준면(B)에 대한 거리를 나타내며 그 내부에서 이동 경로가 전기 근접 필드의 인식된 변형들로부터 도출되는 거리임)보다 작으면, 손가락 끝의 이동은 그 방식으로 유발된 전기 근접 필드의 변형들로부터의 이동 경로를 추론하게 한다.
검출 공간(20)의 제공은, 이동 공간의 가장자리 구역에서의 전기 근접 필드의 변형들이 이동 경로의 생성에서 고려되지 않는다는 장점을 갖는다. 대안적으로, 검출 영역(20) 외부의 전기 근접 필드의 변형은, 또한 입력면을 활성화하기 위해, 예를 들면 슬립 모드로부터 동작 모드로 전환하기 위해 이용된다.
도 3은 기준면과 관련된 활성 영역들을 정의하기 위한 가능성을 도시한다. 도 3에 도시된 예시에서, 기준면(B)에 9개의 활성 영역들이 부여된다. 각각의 활성 영역들에 대해 소정의 기능이 부여될 수 있는데, 대응하는 활성 영역이 예를 들면 손가락 끝에 의해 선택되자마자 소정의 기능이 수행된다. 선택은 손가락 끝이 대응하는 활성 영역으로 접근함에 의해 행해질 수 있다. 활성 영역(30)은 바람직하게, 검출 공간(20)의 내부에 놓이도록 정의된다. 활성 영역(30)은 활성 영역에 부여된 공간에 의해 정의된다.
도 3에, 도식적인 단면도로 활성 영역들이 도시되어 있다. 손(H)의 검지의 끝이 활성 영역(30)의 공간으로 진입하면, 손가락 끝의 X 및 Y 좌표가 활성 영역(30)을 정의하는 X 또는 Y 좌표 내부에 있는 것으로 인식된다. 더욱, 활성 영역(30)의 공간에 손가락 끝의 진입은, 입력면(B)으로부터 손가락 끝의 거리(Z 좌표)가 소정의 값보다 작다는 사실에 의해 인식된다. 따라서, 본 발명에 따른 방법은, 이동 공간(10) 또는 검출 공간(20)에서 손가락 또는 손가락 끝의 X, Y, Z 좌표들을 평가함으로써, 활성 영역의 선택을 검출할 수 있다. X, Y, Z 좌표들은, 교류 전기 필드의 일시적인 변화로부터 도출되는 이동 경로로부터 검출될 수 있다.
활성 영역(30)의 선택에 대한 확정은, 손가락 끝을 활성 영역(30)에서 Z 방향으로 제거하거나 이동함으로써 수행될 수 있다. 그러한 확정이 인식되면, 활성 영역(30)에 부여된 관련 기능이 실행될 수 있다. 선택의 확정을 위해, 즉 손가락 끝의 Z 방향으로 이동에서, 이동의 속도 및/또는 가속도가 고려될 수 있다. 따라서, 예를 들면, 양의(positive) Z 방향의 이동은, 그 이동이 소정의 속도 또는 소정의 가속도를 초과하는 경우에만, 확정으로서 해석될 수 있다.
대안적으로, 확정은 또한 X 또는 Y 방향에서 활성 영역으로부터 외부로 손가락 끝을 이동함으로써 수행될 수 있다. 확정은, 또한 손가락 끝이 활성 영역(30)의 공간 내부에 소정의 기간 동안 머무르는 방으로 수행될 수도 있다. 따라서 예를 들면, 손가락은 입력면(B)에 걸쳐 이동되어 다른 활성 영역들로 진입할 수 있으며, 대응하는 활성 영역의 선택은 손가락 끝이 대응하는 활성 영역에 있고 또한 소정의 시간 동안 활성 영역 내부에서 이동하지 않은 경우에만 수행된다.
활성 영역(30)에서의 선택 또는 선택의 확정을 위하여, 입력면(B)을 접촉할 필요가 없다. 그럼에도 불구하고, 입력면(B)이, 제스처의 비접촉 검출 및 인식을 위한 방법 또는 시스템과 함께 기능성을 확장하기 위하여, 터치 표면으로서 형성될 수 있다.
하지만, 활성 영역들이, 각각의 활성 영역(30)에 부여된 검출된 기능성의 선택을 위해서만 제공될 필요는 없다. 활성 영역(30)은, 활성 영역 내부의 이동들을 검출하기 위하여 또한 본 발명의 방법에 따른 하나 이상의 제스처들을 검출하기 위해 제공될 수도 있다. 컨텍스트 정보들과 함께, 예를 들면 제1 활성 영역(30)이 디지트들을 입력하기 위해 제공될 수 있으며, 제2 영역이 문자들을 입력하기 위해 제공될 수 있고, 제3 활성 영역이 상술한 바와 같은 선택만을 위하여 제공될 수도 있다.
이어서, 도 4 내지 6을 참조하여, 본 발명에 의해 어떻게 이동 경로의 제스처 개시와 제스처 종료가 검출되는지를 상세히 설명한다. 이동 공간에서 검출된 이동을 패턴 인식으로 공급하기 위하여, 먼저, 적어도 제스처 개시를 검출할 필요가 있다. 또한, 기본적으로, 제스처 개시에 앞서 발생하는 이동이 패턴 인식에 공급될 수 있지만, 패턴 인식이 제스처에 속하지 않는 고려될 필요가 없는 이동들을 제거하도록 설계되어 있지 않다면, 제스처 개시에 앞선 이동들이 결함이 있는 제스처 인식을 유발할 있다는 문제점이 발생할 수 있다. 완전한 패턴 인식의 제스처가 수행되어야하는 경우에는, 이동 경로에서 제스처 종료를 검출할 필요가 있다.
예를 들어 이동 공간에서의 손가락 끝이 움직이는 동안에, 하나 또는 몇 개의 이동 특성들이 전기 센서 기기의 도움으로 소정의 시간 간격들로, 예를 들면 5ms의 시간 간격들로 검출되고, 이동 경로의 대응하는 점에 부여된다. 시간 간격들은 또한, 애플리케이션의 구체적인 사례에 따라 더 크거나 더 작게 선택될 수 있다. 이동 특성들은, 예를 들면,
- 예를 들면, 접촉 감지 디스플레이의 입력면의 기준면과 관련된 손가락 끝의 위치로, 위치는 입력면과 관련된 X, Y, 및/또는 Z 좌표로써 표시될 수 있음;
- 이동 공간과 관련된 손가락 또는 손의 방향;
- 손가락의 이동의 속도;
- 손가락의 이동 동안의 가속도;
- 및/또는 그들의 조합일 수 있다.
제스처 개시 또는 제스처 종료를 결정하기 위하여, 이러한 이동 특성들 또는 그들의 조합 중 일부가 이용될 수 있다.
이동 공간 내부에서의 전체 이동이 제스처로서 평가될 수도 있다. 여기서 센서 전극들에 의해 인식된 전기적 신호들로부터 직접적으로 제스처 개시 또는 제스처 종료를 측정하는 것이 유리하다. 전기 근접 필드의 변형을 나타내는 신호 변화가 검출되면, 이것이 제스처 개시로 해석될 수 있다. 동일한 방법이 제스처 종료에도 적용된다. 전극들에서 측정된 전기적 신호가, 전기 근접 필드에 아무 변형이 없다는 사실을 표현하면, 이것은 제스처 종료로서 해석될 수 있다.
대안적으로, 본 발명에 따른 제스처 인식 시스템의 시작에서, 연속적 제스처 인식이 시작될 수 있다. 이 경우, 이동 경로가 연속적으로 분석된다. 소정의 명령어 제스처가 이동 경로에서 인식되면, 이동 경로로부터 추출된 뒤따르는 제스처가 수행될 대응하는 기능에 부여된다. 즉, 명령어 제스처들에 앞서 일시적으로 인식된 제스처들은 고려되지않는다. 예를 들면, 소정의 명령어 제스처의 도움으로 제스처 입력을 끝내기 위해서, 동일한 방법이 또한 동작에 작용할 수 있다. 이 관점에서, 명령어 제스처가 이동 경로로부터 추출될 수 있으며, 다른 제스처들에 대해서도 동일한 방법으로 인식될 수 있다.
대안적으로, 제스처 개시 및/또는 제스처 종료는 또한, 이동 공간 물체의 전기적인 성질을 변경함으로써 결정될 수 있다. 예를 들면, 사용자는 쇼윈도우 앞의 전기 교류 필드에서 손을 움직일 수 있다. 사용자가 다른 손과 함께 동시에 접지 표면을 터치하거나 쇼윈도우 앞의 접지 표면 위에 동시에 서면, 제스처 개시로서 인식될 수 있는 교류 전기 필드의 역선들의 변형으로 이어진다.
또 하나의 실시예에서, 제스처 개시 및/또는 제스처 종료는 또한, 제어 요소를 동작시키는 사용자에 의해 결정될 수 있다.
도 4는 이동 동안에 기준면으로부터 손가락 끝의 거리(Z 방향의 거리)의 시간 추이를 도시한 도면이다. 기준면으로부터의 손가락 끝의 거리는, 제스처의 시작과 종료를 검출하기 위한 기준으로 사용될 수 있다. 이 목적을 위해 임계값이 정의되며, 또한 임계값 아래로 내려가거나 초과는 제스처의 시작 또는 종료를 결정한다. 도 4에 도시된 바와 같이, 기준면으로부터 4cm 거리가 임계값으로 정의된다. 또한, 도 4에 도시된 바와 같이, 손가락 끝은 임계값을 향해 점진적으로 접근하다. 기준면으로부터 손가락 끝의 거리가 4cm 미만이 되면, 대응하는 점(40a)은 제스처 개시로 이동 경로(40)에 표시된다. 기준면으로부터 손가락 끝의 거리가 다시 임계값 4cm를 초과하면, 대응하는 점(40b)은 제스처 종료로 이동 경로(40)에 표시된다. 제스처는 이제 제스처 개시(40a)와 제스처 종료(40b) 사이의 이동 경로에 의해 형성된다.
당연히, 기준면으로부터의 손가락 끝의 거리에 의해, 도 4에 도시된 임계값과 다른 임계값이 제스처 개시 또는 제스처 종료를 검출하기 위해 사용될 수 있는데, 결국 이는 본 발명에 따른 방법의 애플리케이션의 구체적인 사례에 의존한다. 기준면으로부터의 손가락 끝의 거리는 예를 들면 각각의 센서 전극들에서 검출된 전기 근접 필드의 변형들로부터의 삼각 측량에 의해 검출될 수 있다.
도 5는 본 발명에 따라 이동 공간에서 손가락 이동의 제스처 개시와 제스처 종료를 검출하기 위한 제2 임계값을 도시한 도면이다. X 방향의 손가락 이동 속도의 시간 추이를 도시한 도 5의 경우, 기준면과 관련된 손가락 끝의 속도가 이동 특성으로 사용된다.
도 5에 도시된 예시에서, 또한, X 방향에서의 손가락 끝의 속도 추이는 제스처 개시 또는 제스처 종료를 위한 특징으로 평가되는데, 여기서 소정의 속도(임계값)의 초과는 제스처 개시를 정의하며, 소정의 임계값 아래로 떨어짐은 제스처 종료를 정의한다. 도 4에 따른 임계값 방법과 마찬가지로, 또한 여기서 이동 경로(50)의 점(50a)에는 제스처 개시 마크가 부여되고, 점(50b)에는 제스처 종료 마크가 부여된다. 제스처 개시와 제스처 종료 사이의 이동 경로는 다시 패턴 인식에 공급될 수 있다.
속도 추이는 또한 이동 경로로부터 비의도적인 이동들을 제거하기 위해 사용될 수 있다. 이 목적을 위해, 예를 들면 제2 임계값이 제공될 수 있는데, 제2 임계값의 초과는 이동이 의도되지 않았다는 증거로, 이동 공간의 비의도적인 이동(예를 들면 손의 떨림) 또는 (예를 들면, 시스템, 형광 튜브들 등에 가까이 위치한 모바일 폰들로부터의) 방해 신호이다. 이동 경로(50)의 대응하는 점(51a)에는 제2 임계값의 초과를 나타내는 대응하는 정보가 부여된다. 이동 속도가 다시 이 제2 임계값 아래로 내려가면, 또한 점(51b)에는 제2 임계값 아래로 떨어짐을 나타내는 이동 경로(50)의 해당 정보가 부여된다.
도 5에 도시된 예시에서, 이동 경로(50)는 2개의 제스처들, 즉 점들(50a 및 50b) 사이의 이동 경로에 의해 형성되는 제스처와 점들(51a 및 51b) 사이의 이동 경로에 의해 형성되는 제2 제스처를 포함한다. 도 5에 도시된 예시에 따르면, 이동 경로(50)로부터의 2개의 세그먼트들이 패턴 인식에 공급된다. 비의도적인 이동을 나타내는 세그먼트(51)는 패턴 인식에 공급되지 않으며, 필요하다면 세그먼트(51)는 거절될 수 있다.
대안적으로, 도 5에 도시된 이동 경로의 2개의 세그먼트들로부터(50a에서 51a로 또는 51b에서 50b로) 패턴 인식에 공급될 수 있는 점들(50a와 50b) 사이의 단일 이동 경로가 그 후 다시 생성될 수 있다. 이 목적을 위해, 점들(51a와 51b) 사이의 이동 경로는 보간될 수 있다. 점들(50a와 50b) 사이의 보간 세그먼트는 참조 부호(52)로 도 5에 도시되어 있다. 보간을 위해, 기지의 보간 방법들, 예를 들면 큐빅 스플라인 보간법(cubic spline interpolation)이 사용될 수 있다. 따라서 비의도적인 이동들은, 2개 또는 몇 개의 제스처들을 실수에 의해 취하지 않고, 또한 이어지는 패턴 인식에 부정적인 영향을 주는 이동 경로에서의 기형변이 값들 없이, 이동 경로에서 효과적으로 보상될 수 있다.
특히 일반적인 보상 방법들을 사용함으로써, 또한 제스처들의 단순한 스톡(stock)만을 인식할 수 있지만, 한편으로는 제스처 인식에서의 오류들의 관점에서 더 내성을 있는 제스처 인식 시스템들을 실현할 수 있다. 따라서 또한 예를 들면, 장애 때문에 질환(예를 들면, 파킨슨)에 걸린 사람들에 대한 제스처들의 3차원 인식용 제스처 인식 시스템들이 상당히 제한된 모터 기능을 이용하여 제공될 수 있다.
X 방향에서의 속도 추이 대신에, 또한 Y 방향 및/또는 Z 방향에서의 속도 추이가 평가될 수 있다. 대안적으로 또한 3 방향에서의 속도 추이들이 제스처 개시 또는 제스처 종료를 검출하기 위해 고려될 수 있다. 시간에 대한 속도 추이 대신에, 시간에 대한 가속도 추이가 제스처 개시 또는 제스처 종료를 검출하기 위해 사용될 수 있다.
도 6은 이동 경로에서 제스처의 시작과 제스처의 종료를 검출하기 위한 추가적인 방법을 도시한 도면이다.
도 6은 4개의 센서 전극들을 갖는 센서 시스템에서 센서 전극과 움직이는 손가락의 손가락 끝 사이의 거리의 시간 흐름을 도시한다. 예를 들면, 추이(60a)는 제1 센서 전극과 관련된 손가락 끝의 거리의 시간적인 추이에 해당된다. 또한 여기서 임계값은 정의되고, 임계값의 초과 또는 아래로 떨어짐은 제스처의 시작 또는 제스처의 종료를 검출한다. 도 6에 도시된 4개의 흐름들의 적어도 하나가 미리 설정된 임계값 아래로 떨어지면, 본 발명에 따른 제스처의 시작이 생긴다. 그러므로, 제스처 종료는 4개 흐름들 모두가 대응하는 임계값을 초과할 때 생길 수 있다.
도 4 내지 도 6에 도시된 임계값 방법들은 개별적으로 또는 결합하여 제스처의 시작 또는 제스처의 종료를 검출하기 위해 사용될 수 있다. 임계값의 초과 또는 아래로 떨어짐이 제스처 개시 또는 제스처 종료로서 해석될 수 있도록, 또한 도 4 내지 도 6에 도시된 하나 이상의 임계값들이 소정의 기간 동안 초과하거나 아래로 떨어져야 한다는 추가적인 조건이 결정될 수 있다. 도 4 내지 도 6에 도시된 임계값들이, 제스처 개시 또는 제스처 종료를 검출하기 위해 소정의 순서로 초과되거나 아래로 떨어져야 함을 예상할 수 있다.
다음의 도 7a에는 이동 공간(10) 또는 검출 공간(20)에서의 손가락 끝의 이동에 대응하는 이동 경로로부터의 제스처를 인식하는 방법이 설명되어 있는데, 여기서 X 및 Y 좌표가 고려될 수 있다. 사용자는 이동 공간(10) 또는 검출 공간(20)에서의 이동에 의해 디지트 "2"를 만든다. (제스처 개시 또는 제스처 종료가 인식된 후에) 대응하는 이동 경로는 부호(70)로 도 7a에 표시되어 있다. 이동 경로는 제스처 인식의 목적을 위해, 먼저, 세그먼트들로 구분된다. 이동 경로를 단일 세그먼트들로 구분하기 위해, 예를 들면 이동 경로의 각각의 세그먼트를 대부분 둘러싸는 표준화된 히트박스들(75)(도 8 참조)이 사용될 수 있다. 3차원 제스처들의 제스처 인식에 있어서, 즉, 추가로 또한 Z 좌표가 고려되어야하는 이동의 경우에, 히트박스들 대신에 이동 경로의 각각의 세그먼트를 대부분 둘러싸는 바운딩(bounding) 박스들이 사용될 수 있다.
표준화된 히트박스들(75)은 소정의 폭과 길이를 갖는 소정 개수의 사각형들인데, 여기서 각각의 사각형은 소정의 각도로 기울어져 있다. 이동 경로를 세그먼트하는데, 단순한 경우는 8개의 히트박스이면 충분하다. 8개의 가능한 히트박스들이 도 8에 도시되어 있다. 각각의 히트박스가 각각 반대 방향으로 진행하는, 한 세트의 이용가능한 제스처 세그먼트들로부터 2개의 제스처 세그먼트들을 기술하고 있기 때문에, 이동 경로의 방향은 세그먼트에서 중요하지 않다.
제1 단계에서, 가능한 한 완벽하게 이동 경로의 제1 세그먼트를 둘러싸는 히트박스가 선택된다. 도 8에 도시된 히트박스들의 경우에, 히트박스(HB1)가 선택되고 이동 경로의 해당 세크먼트에 부여된다. 이 방법은, 전체 이동 경로가 히트박스들의 도움으로 세그먼트들로 구분될 때까지 계속된다. 기지의 이동 경로의 방향 때문에, 다음 단계에서 각 히트박스에는 한 세트의 이용가능한 제스처 세그먼트들(72)로부터 대응하는 제스처 세그먼트들이 부여된다. 이 경우, 제스처 방향을 고려하여, 히트박스(HB1)에는 이동 경로의 세그먼트(A)가 부여된다. 이 방법은, 각 히트박스에 대응하는 제스처 세그먼트가 부여될 때까지, 반복된다. 이런 부여의 결과가 참조 부호(71)로 도 7a에 도시되어 있다.
이와 같은 방법으로 생성된 제스처 세그먼트들의 순서는 한 세트의 기준 제스처들로부터 대응하는 제스처를 선택하기 위해 사용된다. 이 목적을 위해, 기준 제스처들은, 바람직하게는 각각이 제스처 세그먼트들의 시퀀스로부터 설명된다. 우선적으로, 본 발명에 따라 아래에 보다 상세하게 설명될 제스처들의 컨텍스트-프리 설명용 그래머에 따라 설명된다.
제스처 인식에서의 분해능을 증가시키기 위해, 추가적인 히트박스들과 대응하는 연관 제스처 세그먼트들이 제공될 수 있다. 히트박스들은 그 자체로 또한 더 작게 선택될 수 있으며, 이로 인해 제스처 인식에서 또한 더 높은 분해능을 얻을 수 있다.
이동 경로를 단일 세그먼트들로 구분하고 대응하는 히트박스들을 부여함에 의해 제스처들을 인식하는 상술한 방법은, 제1 히트박스를 검출한 후에, 이 히트박스에 대응하는 제스처 세그먼트가 부여되는 방법으로, 수행될 수 있다. 이 절차는 제1 검출 제스처 세그먼트 후에, 이미 제1 제스처 세그먼트가 검출된 제1 제스처 세그먼트들에 대응되지 않는 모든 참조 제스처들이 제스처 인식을 위해 배제될 수 있다는 장점을 갖는다.
특정한 경우에, 검출된 제스처 세그먼트들만이 제스처 세그먼트를 뒤따를 수 있다면, 이미 검출된 제스처 세그먼트로 인해, 또한 상술한 다수의 가능한 제스처 세그먼트들이 제한될 수 있다. 이것은 도 7a에 도시된 예시에 의해 설명된다. 한 세트의 기준 제스처들이 디지트 2를 설명하는 도 7a에 도시된 기준 제스처(71)로만 구성된다고 가정한다. 이 경우에, 제1 제스처 세그먼트(a) 후에 제스처 세그먼트(b)만이 이어지는 제스처일 수 있다. 이제 사용자가, 제1 제스처 세그먼트에서 예를 들면 제스처 세그먼트(e)에 대응하는 방법으로 이동 공간에서 이동을 계속한다면, 입력 또는 이동이 허용될 수 없는 것으로 인식될 수 있다.
이어서 본 발명에 따라, 예를 들면 기준 제스처들을 설명하는 제스처 인식을 위한 방법에 사용될 수 있는, 제스처들의 컨텍스트-프리 설명용 그래머가 설명된다.
제스처 그래머는 EBNF 표기법으로 나타낼 수 있다.
G → A S {S} [E]
S → S1 │S2│… Sn
S1 → "↘"
S2 → "↙"
....
Sn → "↗"
A → AM{(OP AM)}
AM → "Z<2cm" │…│ "Vx>4cm/s"
E → EM{(OP EM)}
EM → "Z≥2cm" │…│ "Vx≤4cm/s"
OP → "AND"│"OR"
이 컨텍스트-프리 제스처 그래머는 다음과 같은 의미를 갖는다.
제스처(G)는 제스처 세그먼트(S)가 뒤따르는 제스처 개시(A)로 이루어지는데, 제스처 세그먼트(S)에는 선택적인 몇 개의 추가적인 제스처 세그먼트들이 뒤따르고, 또한 이어서 선택적인 제스처 종료 E가 뒤따를 수 있다. 제스처 세그먼트(S)는 한 세트의 제스처 세그먼트들({S1, S2,…Sn})로부터 형성된다.
제스처 세그먼트(S1)는 예를 들면 부호 "↘"에 의해 표현될 수 있다.
따라서 연속적 제스처들은 항상 제스처 종료를 가질 수 없기 때문에, 제스처 종료는 선택적이다
제스처 개시는 최초 특징(AM)이 뒤따르는 오퍼레이터(OP)에 의해 형성되는, 하나 또는 다수의 시퀀스들이 선택적으로 뒤따르는 최초 특징(AM)으로 이루어진다.
현재 예시에서의 오퍼레이터는 "AND" 또는 "OR"일 수 있다.
제스처 개시의 한 형태는 예를 들면 "Z<2cm AND Vx>4cm/s"일 수 있다.
이 형태는 예를 들면 기준면으로부터 손가락 끝의 거리가 2cm 이하이고, 또한 기준면과 관련된 손가락 끝의 속도가 4cm/s 이상인 경우에, 제스처 개시가 이동 경로에 존재한다고 정의한다.
제스처 종료(E)는 종료 특징(EM)이 뒤따르는 오퍼레이터(OP)에 의해 형성되는, 하나 또는 몇 개의 시퀀스들이 선택적으로 뒤따르는 종료 특징(EM)으로 이루어진다.
개별적 또는 연속적 제스처들의 구별은 또한 이어지는 그래머의 확장에 의해 설명될 수 있다.
G → KG│DG
DG → A S {S} E
KG → A S {S} {E}
더욱, 제스처 그래머는 각 제스처가 적어도 하나의 제스처 세그먼트로 이루어짐을 함축한다.
이 제스처 그래머에 따르면, 모든 제스처들은 각각의 컨텍스트에 독립적으로 설명될 수 있다.
그래서 예를 들면, 정사각형을 설명하는 제스처는 예를 들면 다음과 같은 상술한 제스처 그래머를 사용하여 설명될 수 있다.
□ = A → ↑ ← ↓ E
이 그래머로, 특정 명령어 제스처들, 예를 들면 상술한 시작 제스처가 설명될 수 있다.
본 발명에 따른 방법에서, 이 제스처 그래머에 따라 설명된 기준 제스처들의 사용은, 복수의 장점을 갖는다.
- 기준 제스처들은 본 발명에 따른 방법이 제스처 인식을 위해 사용되는 컨텍스트와는 독립적으로 설명될 수 있다.
- 기준 제스처의 제스처 세그먼트들의 시퀀스는 데이터베이스에 또한, 저장될 수 있는데, 여기서 각각의 기준 제스처들을 저장함에 있어, 그래머는 유지될 것이다. 데이터베이스에 저장된 기준 제스처들은, 전체 시퀀스 또는 단일 제스처 세그먼트들에 대하여 인덱싱될 수 있으며, 이는 특히 제스처 인식을 위한 도 7a 및 7b에 설명된 방법들에 대하여 상당한 속도 장점들을 수반하는데, 그 이유는 대응하는 기준 제스처들이 데이터베이스로의 인덱싱된 액세스에 의해 결정될 수 있기 때문이다.
- 기준 제스처들은 작은 저장 영역을 갖는 임베디드 시스템들에서 특히 유리한 공간-절약 방법으로 저장될 수 있다.
도 7b는 이동 경로로부터의 제스처의 추출 동안에 또는 추출 후에 동작하기 시작하는 오류 수정의 예시를 도시한 도면이다. 이동 경로가 도 7a에 도시된 세그먼트 방법에 따라 한 세트의 기준 제스처들로부터의 제스처 중 어떤 제스처 세그먼트에 부여되지 않는 세그먼트들을 담고 있는 경우라도, 에러 수정 방법에 의해 제스처가 올바르게 인식될 수 있다는 장점이 있다.
이 목적을 위해, 도 7a에 도시된 바와 같이, 이동 경로는 히트박스들의 도움으로 세그먼트들로 구분된다. 각 히트박스는 대응하는 제스처 세그먼트에 부여된다.
그러나 디지트 "2"에 대응될 이동 경로에는, 점들(P1 및 P2) 사이에 찌그러진 곳이 나타나는데, 이는 이동 경로에서 2개의 히트박스들(HB4a 및 HB4b)에 찌그러진 곳을 설명하는 제스처 세그먼트가 부여되는 것을 의미하지만, 여기서 대응하는 제스처 세그먼트를 제4 및 제5 제스처 세그먼트로서 포함하는 어떤 기준 제스처가 존재하지 않을 수 있다. 이 방법으로 인식된 제스처는, 어떤 기준 제스처도 부여될 수 없어, 인식된 제스처가 아닌 것으로 바로 거절될 수 있다. 하지만, 이러한 오류들은 바람직하게는 올바르게 인식된 제스처를 얻기 위해 수정될 수 있다.
본 발명의 일실시예에서, 오류 수정 방법은, 먼저 인식된 제스처 세그먼트들의 시퀀스와 기준 제스처들의 제스처 세그먼트들의 유사 비교를 수행하는 방법으로 형성될 수 있다. 이에 의해, 인식된 제스처 세그먼트들 중 최초 3개의 세그먼트들과 나중 4개의 세그먼트들은, 디지트 "2"로 설명된 기준 제스처의 대응하는 제스처 세그먼트들과 동일하다. 유사 비교가 단지 하나의 비슷한 기준 제스처로 이끈다면, 히트박스들(HB4a 및 HB4b)에 부여된 제스처 세그먼트들은 제스처 세그먼트(d)로 대체될 수 있다. 대체는, 그 후 올바르게 인식된 제스처로 이어진다.
제스처 세그먼트들의 대체로의 대안으로서, 대응하는 제스처 세그먼트들은 인식된 제스처로부터 완벽하게 제거될 수 있다. 다음 단계에서, 점들(P1 및 P2) 사이에 도 5에 이미 도시된 바와 같은 보간법이 수행될 수 있다. 이런 방법으로 얻어지는 점들(P1 및 P2) 사이의 보간 이동 경로는, 히트박스들의 도움으로 세그먼트에 다시 부여될 수 있다.
이 오류 수정 방법은, 예를 들면 오류 수정 후에 추가적인 현존 오류들을 수정하기 위해, 반복하여 사용될 수 있다.
이 오류 수정 방법에 있어서, 최대 반복 깊이는 역시 미리 설정될 수 있으며, 그리고 설정 값에 도달하면 중지된다. 오류 수정의 중지 후에, 제스처가 여전히 완벽하게 인식될 수 없다면, 제스처는 거절되거나 사용자는 인식된 제스처를 위한 제안을 제공할 수 있다. 대안적으로, 오류 임계값 역시 제공될 수 있는데, 오류 임계값 미만은 제스처가 올바르게 인식된 것으로 수락되었음을 수반한다. 오류 임계값은 예를 들면 기준 제스처와 관련하여 인식된 제스처 세그먼트들의 정도를 나타낼 수 있다. 예를 들면 기준 제스처의 제스처 세그먼트들의 90%가 추출된 제스처의 제스처 세그먼트들과 일치하면, 인식된 제스처가 기준 제스처에 해당되는 것으로 추정될 수 있다.
도 9a 및 도 9b는 3차원 제스처 인식을 위한 2개의 예시를 도시한 도면으로, 여기서 이동 경로로부터 제스처의 추출 동안에 항상 하나의 컨텍스트 정보가 고려된다.
도 9a는 확인 버튼(OK 버튼)이 그려질 수 있는 입력면(B)를 도시한 도면이다. 전기 근접 필드가 제공되는 이동 공간에(도 9a에 미도시됨), 확인 버튼이 부여된 검출 공간(20)이 정의된다. 검출 공간(20)에 있는 손(H)의 손가락 끝의 이동이 확인 버튼에 속하는 이동들로서 해석된다. 예를 들면 검출 공간(20) 내부에 놓이는 이동 경로의 부분은 검출 공간(20)에 속하는 이동 경로로서 해석된다.
확인 버튼 또는 검출 공간(20)이 컨텍스트 정보로서, 즉, 확인 버튼이 선택 버튼 정보이라는 정보로서 부여되는데, 이는 버튼으로부터 이어지는 거리를 갖는 버튼에 접근함으로써 동작될 수 있다. 이 컨텍스트 정보에 기초하여, 제스처 인식은 Z 방향에 대해서만 이동 경로를 평가하기 위해 실질적으로 제한될 수 있다. 그 다음 평가는 이 결과로부터 확인 버튼이 동작했는지 그렇지 않은지에 대해 판단을 내릴 수 있다. 확인 버튼이 동작되면, 확인을 나타내는 신호가 제공될 수 있다.
손가락 끝이 측면 방향에서 검출 공간(20)에 있는지를 검증하기 위해, 이동 경로의 X 또는 Y 방향이 평가될 필요가 있다. 손가락 끝이 측면 방향에서 매우 짧은 시간 동안에만 검출 공간(20)에 머물고, 나중에 검출 공간(20)으로 되돌아 간다면, 이것은 비의도적인 검출 공간(20) 떠남으로 해석될 수 있다. 이동 경로가 검출 공간(20)을 떠나거나 또는 다시 검출 공간(20)으로 진입하는 장소들 사이에서, 이동 경로는 예를 들면, 도 5에서 도시된 바와 같이, Z 방향에 대하여 보간될 수 있다. 손가락 끝이 측면 방향에서 오랫동안 검출 공간(20)을 떠나면, 이것은 사용자에 의해 의도된 제스처의 중지로서 해석될 수 있다.
도 9b는 X 방향에서 왼쪽으로 또는 오른쪽으로 시프트될 수 있는 슬라이드 제어를 갖는 입력면(B)을 도시한 도면이다. 슬라이드 제어에는 검출 공간(20)이 부여된다. 검출 공간(20) 또는 슬라이드 제어에 X 방향으로만 이동할 수 있는 슬라이드 제어임을 나타내는 컨텍스트 정보가 부여된다. 이 컨텍스트 정보에 기초하여, 제스처 인식은 검출 공간(20) 내부의 이동 공간의 X 좌표만을 평가하는 것으로 제한될 수 있다. 이렇게 하여, 사용자가 이동 위에서 직접 피드백을 얻도록, 슬라이드 제어의 이동은 손가락 끝의 이동에 동기화될 수 있다.
또한, 여기서 소정의 기간 내에 검출 공간(20)으로의 리턴이 수행되는 한, Y 방향 또는 Z 방향의 검출 공간(20)으로부터 손가락 끝의 단기적인 이탈은, 검출 공간(20)으로부터 원하지 않는 이탈로서 해석된다. 손가락 끝이 소정 기간 내에 검출 공간(20)으로 진입하지 않으면, 검출 공간(20)의 이탈은 입력의 중지로서 해석된다. 이 슬라이드 제어는 그 후 원래 위치로 되돌아 갈 수 있다. 슬라이드 제어 대신에 예를 들면, 손가락 끝의 원형 운동에 의해 이동될 수 있는 로터리 노브가 제공될 수 있다.
추가적인 입력 요소들이, 입력면(B) 위에 예를 들면, 접근에 의해 오픈(open)되고, 오픈 상태에서 대응하는 이동에 의해 움직여질(navigate) 수 있는, 예를 들면 선택 필드들(체크 버튼들) 또는 선택 리스트들(콤보 박스들)을 위해 표시될 수 있다. 모든 입력 요소들은 입력면(B) 위에 개별로 또는 조합하여 디스플레이될 수 있다. 각 입력 요소에는 대응하는 검출 공간(20)이 부여된다. 각 입력 요소 또는 각 검출 공간(20)에는 또한 대응하는 이동 경로가 어떻게 평가될 수 있는지 또는 각각의 검출 공간(20) 내부의 제스처들이 승인될 수 있는지를 나타내는, 해당 컨텍스트 정보가 부여될 수 있다. 거론된 입력 요소들 이외에, 또한 부호를 입력하는 입력 필드들(예를 들면, 문자들 또는 디지트들)이 도 7에 이미 도시된 바와 같이, 입력면(B)에 제공될 수 있다.
도 10은 Z 방향에서의 손가락 이동이 평가될 제스처에 대해 적절하지 않을 때, 이동 공간 및/또는 인식 공간 내의 이동 또는 이동 경로가 어떻게 평가될 수 있는지를 예시하는 도면이다. 따라서 이 사례에서, 이동 경로의 평가가 2차원 평가로 감소될 수 있도록, 이동 경로는 결국 2차원 제스처이다. 3차원 이동 경로로부터 2차원 이동 경로로의 감소는 실질적으로 X-/Y- 평면들 상의 이동 경로의 투영에 해당한다. 감소된 이동 경로에서 2차원 제스처 평가는 도 7에 도시한 바와 같이, 수행될 수 있다. 이렇게 하여, 예를 들면 이동 공간 내부의 3차원 제스처들의 경우 또는 3차원 이동들의 경우, 예를 들면 Z 방향에서의 이동이 평가를 위해 적절하지않는 경우, 3차원 평가는 제스처 인식을 위한 이동 계산에 최소로 필요한 2차원 평가로 감소될 수 있다. 이것은 특히 최소 전력만의 사용을 요구하는 모바일 기기들에 대해 중요할 수 있다.
도 11은 서로 다른 2개의 이동 경로들(2개의 손가락 제스처들)로부터 추출되는 제스처의 예시를 도시한 도면이다. 손(H1)의 검지에 의한 제1 이동이 이동 공간에서 수행된다. 제2 손(H2)의 검지에 의해 제2 이동이 이동 공간에서 수행된다. 양쪽 이동들로부터, 항상 제1 이동 경로(BP1)와 또 하나의 이동 경로(BP2)가 생성된다. 제스처는 2개의 이동 경로들의 각각으로부터 추출되는데, 2개의 이동 경로들의 각각은 구성된 제스처의 부분적인 제스처들로 해석될 수 있다. 부분적인 제스처들의 추출 또는 부분적인 제스처들의 인식에서 Z 좌표가 고려되지 않는다면, 양쪽 부분적인 제스처들의 각각은 도 11에 도시된 바와 같이, 원의 세그먼트로서 나타낼 수 있다. 2개의 부분적인 제스처들에 기인하는 전체 제스처들은 따라서 원에 해당한다. 2개의 부분적인 제스처들이 구성된 제스처의 요소들인지 아닌지에 따라, 이것은 예를 들면, 제1 제스처의 제스처 개시와 제2 제스처의 제스처 종료로부터의 거리에 의존하여 수행될 수 있다. 거리가 소정의 임계값 아래이면, 부분적인 제스처들은 전체 제스처를 이룬다. 그 값이 임계값 아래로 떨어지지 않으면, 2개의 부분적인 제스처들은 개별 제스처들로서 해석된다.
도 12a 내지 12c는 다수의 1-손가락 제스처들 및 2-손가락 제스처들을 갖는 제스처 목록의 선택을 도시한 도면이다. 본 발명의 구체화에서, 도 12b 및 도 12c에 도시된 글자들 또는 디지트들은 이동 방향에 의존하지 않는 방법으로 인식될 수 있다. 예를 들면, 문자 "V"는 상부 왼쪽에서 상부 오른쪽으로, 또는 상부 오른쪽에서 상부 왼쪽으로 입력될 수 있다.
도 12d는 다수의 손 제스처들을 갖는 제스처 목록의 선택을 도시한 도면이다. 이런 손 제스처들은 예를 들면, 이동 공간에서 매우 작은 이동이 고려되어야 하는 경우 제공될 수 있다.

Claims (26)

  1. 3차원 이동 공간에서의 제스처들에 대한 비접촉 검출 및 인식 방법으로서,
    3차원 이동 공간(10)을 정의하는 전기 근접 필드에서, 상기 3차원 이동 공간(10)에서의 적어도 하나의 물체의 이동들에 의해 영향을 받은, 상기 전기 근접 필드의 변형들을 검출하는 단계(200);
    상기 3차원 이동 공간(10)에서의 상기 적어도 하나의 물체의 이동에 대응하는, 상기 전기 근접 필드의 상기 검출된 변형들로부터 적어도 하나의 이동 경로를 생성하는 단계(300);
    상기 이동 경로를 생성하는 단계(300) 동안에, 상기 이동 경로에서 제스처 개시를 검출하고, 상기 제스처 개시의 개시와 함께 상기 제스처를 상기 이동 경로로부터 추출하는 단계를 포함하는 것을 특징으로 하는 3차원 이동 공간에서 제스처들을 비접촉 검출 및 인식하는 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 이동 경로를 생성 단계(300)는, 상기 적어도 하나의 물체의 적어도 하나의 물체 속성을 고려하고,
    상기 적어도 하나의 물체 속성은 상기 전기 근접 필드의 상기 변형들로부터 도출되는 것을 특징으로 하는 3차원 이동 공간에서 제스처들을 비접촉 검출 및 인식하는 방법.
  3. 제2항에 있어서,
    상기 적어도 하나의 물체 속성의 도출에 의해, 상기 이동 경로를 생성하는 단계(300)를 위해 제공되는 전진 정보가 고려되는 것을 특징으로 하는 3차원 이동 공간에서 제스처들을 비접촉 검출 및 인식하는 방법.
  4. 제2항 또는 제3항에 있어서,
    상기 물체 속성은, 상기 물체의 형태, 상기 물체의 크기, 상기 물체들의 개수, 기준면과 관련된 상기 물체의 방향, 전기적 재질 속성, 및 이들의 조합으로 이루어진 그룹 중 적어도 하나를 포함하는 것을 특징으로 하는 3차원 이동 공간에서 제스처들을 비접촉 검출 및 인식하는 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 이동 경로를 생성하는 단계에서, 적어도 하나의 소정 변형 기준을 준수하는, 상기 전기 근접 필드의 변형들만이 고려되고,
    상기 변형 기준은, 상기 기준면과 관련된 변형을 유발하는 상기 물체의 거리, 절대적, 상대적 또는 절대적 및 상대적 필드 변화, 시간에 따른 상기 필드 변화의 제1, 제2, 또는 제1 및 제2 도출(derivation), 및 이들의 조합으로부터 이루어진 그룹 중 적어도 하나를 포함하는 것을 특징으로 하는 3차원 이동 공간에서 제스처들을 비접촉 검출 및 인식하는 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 이동 경로의 각 점에는 다수의 이동 속성들이 부여되고,
    상기 이동 속성은,
    - 상기 기준면과 관련된 상기 물체의 위치;
    - 상기 3차원 이동 공간과 관련된 상기 물체의 방향;
    - 상기 물체의 속도;
    - 상기 물체의 가속도; 및
    - 이들의 조합으로 이루어진 그룹 중 적어도 하나를 포함하는 것을 특징으로 하는 3차원 이동 공간에서 제스처들을 비접촉 검출 및 인식하는 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 이동 경로로부터의 적어도 하나의 제스처의 추출은, 개별적 제스처의 추출 및 연속적 제스처의 추출을 포함하는 것을 특징으로 하는 3차원 이동 공간에서 제스처들을 비접촉 검출 및 인식하는 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 제스처를 추출하는 단계에는 컨텍스트(context) 정보가 부여되는 것을 특징으로 하는 3차원 이동 공간에서 제스처들을 비접촉 검출 및 인식하는 방법.
  9. 제8항에 있어서,
    상기 컨텍스트 정보는, 개별적 제스처가 추출되는지를 나타내는 제1 컨텍스트 정보와 연속적 제스처가 추출되는지를 나타내는 제2 컨텍스트 정보를 포함하는 것을 특징으로 하는 3차원 이동 공간에서 제스처들을 비접촉 검출 및 인식하는 방법.
  10. 제9항에 있어서,
    부여된 제1 컨텍스트 정보에서, 상기 이동 경로를 생성하는 단계(300) 동안에, 제스처 종료가 상기 이동 경로에서 검출되는 특징으로 하는 3차원 이동 공간에서 제스처들을 비접촉 검출 및 인식하는 방법.
  11. 제6항 내지 제10항 중 어느 한 항에 있어서,
    상기 제스처 개시, 상기 제스처 종료, 또는 상기 제스처 개시 및 상기 제스처 종료는 적어도 하나의 이동 속성을 적어도 하나의 임계값과 비교함으로써 검출되고,
    상기 임계값의 초과/하락은, 상기 제스처 개시, 상기 제스처 종료, 또는 상기 제스처 개시 및 상기 제스처 종료를 나타내는 것을 특징으로 하는 3차원 이동 공간에서 제스처들을 비접촉 검출 및 인식하는 방법.
  12. 제11항에 있어서,
    상기 임계값의 초과/하락은, 상기 임계값을 소정 기간 동안 초과/하락하면, 상기 제스처 개시, 상기 제스처 종료, 또는 상기 제스처 개시 및 상기 제스처 종료를 나타내는 것을 특징으로 하는 3차원 이동 공간에서 제스처들을 비접촉 검출 및 인식하는 방법.
  13. 제11항 또는 제12항에 있어서,
    수 개의 이동 속성들의 경우에, 상기 각각의 임계값들의 초과/하락은, 상기 각각의 임계값들을 소정 순서(order)로 초과/하락하면, 상기 제스처 개시, 상기 제스처 종료, 또는 상기 제스처 개시 및 상기 제스처 종료를 나타내는 것을 특징으로 하는 3차원 이동 공간에서 제스처들을 비접촉 검출 및 인식하는 방법.
  14. 제8항 내지 제13항 중 어느 한 항에 있어서,
    상기 컨텍스트 정보는 한 세트의 기준 제스처들을 포함하는 제3 컨텍스트 정보를 포함하고,
    상기 한 세트의 기준 제스처들은 어느 제스처들이 검출될 수 있는지를 나타내고,
    상기 기준 제스처들은 제스처 그래머(grammar)에 따라 서술되는 것을 특징으로 하는 3차원 이동 공간에서 제스처들을 비접촉 검출 및 인식하는 방법.
  15. 제1항 내지 제14항 중 어느 한 항에 있어서,
    상기 제스처를 추출하는 단계는, 상기 추출된 제스처를 인식하기 위한 패턴 인식을 포함하는 것을 특징으로 하는 3차원 이동 공간에서 제스처들을 비접촉 검출 및 인식하는 방법.
  16. 제15항에 있어서,
    상기 제스처의 상기 제스처 종료가 검출되면, 개별적 제스처가 상기 패턴 인식에 완전히 공급되는 것을 특징으로 하는 3차원 이동 공간에서 제스처들을 비접촉 검출 및 인식하는 방법.
  17. 제15항에 있어서,
    상기 제스처 개시의 검출 이후에, 상기 제스처가 상기 패턴 인식에 연속적으로 공급되고,
    상기 기준 제스처들로부터 상기 연속적으로 공급된 제스처에 대응하는 이들 기준 제스처들을 검출하기 위해, 상기 연속적으로 공급된 제스처가 상기 패턴 인식에 의해 기준 제스처의 부분 제스처들과 연속적으로 비교되는 것을 특징으로 하는 3차원 이동 공간에서 제스처들을 비접촉 검출 및 인식하는 방법.
  18. 제15항 내지 제17항 중 어느 한 항에 있어서,
    상기 패턴 인식은, 상기 제스처를 제스처 세그먼트들로 구분하고 상기 제스처 세그먼트들과 기준 제스처들의 제스처 세그먼트들을 비교하는 것을 특징으로 하는 3차원 이동 공간에서 제스처들을 비접촉 검출 및 인식하는 방법.
  19. 제1항 내지 제18항 중 어느 한 항에 있어서,
    상기 적어도 하나의 이동 경로를 생성하는 단계에 의해, 상기 3차원 이동 공간에서의 상기 물체의 비의도적인 이동들에 대응하는 세그먼트들이, 상기 이동 경로로부터 제거되는 보상 처리가 수행되는 것을 특징으로 하는 3차원 이동 공간에서 제스처들을 비접촉 검출 및 인식하는 방법.
  20. 제1항 내지 제19항 중 어느 한 항에 있어서,
    상기 이동 경로를 생성하는 단계는, 상기 3차원 이동 공간에서 각각 구별가능한 손가락들로부터 하나 또는 몇 개를 갖는 손의 이동에서, 상기 하나의 손가락 또는 상기 몇 개의 구별가능한 손가락들의 손가락 끝들에 대응하는 하나 또는 몇 개의 이동 경로들을 생성하도록 적용되는 것을 특징으로 하는 3차원 이동 공간에서 제스처들을 비접촉 검출 및 인식하는 방법.
  21. 제1항 내지 제20항 중 어느 한 항에 있어서,
    구성 제스처는 몇 개의 이동 경로들로부터 추출된 몇 개의 제스처들에 의해 형성되는 것을 특징으로 하는 3차원 이동 공간에서 제스처들을 비접촉 검출 및 인식하는 방법.
  22. 제1항 내지 제21항 중 어느 한 항에 따른 방법에서의 사용을 위한 제스처들의 상기 서술을 위한 컨텍스트-프리 그래머(context-free grammar).
  23. 3차원 이동 공간(10)에서의 제스처들에 대한 비접촉 검출 및 인식 시스템으로서:
    3차원 이동 공간(10)을 정의하는 전기 근접 필드를 생성하기 위한 수단;
    상기 3차원 이동 공간(10)에서의 적어도 하나의 물체의 이동에 의해 초래되는 상기 전기 근접 필드의 변형들을 검출하기 위한 수단;
    상기 적어도 하나의 물체의 상기 이동에 대응하는, 상기 전기 근접 필드의 상기 검출된 변형들로부터 적어도 하나의 이동 경로를 생성하기 위한 수단;
    상기 이동 경로가 생성되는 동안, 상기 이동 경로에서 제스처 개시를 검출하기 위한 수단; 및
    상기 제스처 개시와 함께 개시하는 상기 이동 경로로부터 상기 제스처를 추출하기 위한 수단을 포함하는 것을 특징으로 하는 3차원 이동 공간에서 제스처들을 비접촉 검출 및 인식하는 시스템.
  24. 제23항에 있어서,
    상기 전기 근접 필드를 생성하기 위한 수단은,
    교류 전기 필드가 방출되는 적어도 하나의 송신 전극과,
    상기 적어도 하나의 송신 전극에 연결되어, 상기 적어도 하나의 송신 전극에 교류 전기 신호를 인가하는 적어도 하나의 신호 생성기를 포함하는 것을 특징으로 하는 3차원 이동 공간에서 제스처들을 비접촉 검출 및 인식하는 시스템.
  25. 제23항 또는 제24항에 있어서,
    상기 변형을 검출하기 위한 수단은,
    상기 전기 근접 필드에 배치된 적어도 하나의 수신 전극과,
    상기 수신 전극에 연결되어, 상기 수신 전극으로 결합된 교류 전기 필드 또는 상기 수신 전극에서 방출된 교류 전기 필드의 주파수, 진폭 및/또는 위상의 변화를 검출하기 위한 평가 디바이스를 포함하는 것을 특징으로 하는 3차원 이동 공간에서 제스처들을 비접촉 검출 및 인식하는 시스템.
  26. 제24항 또는 제25항에 있어서,
    상기 교류 신호의 주파수, 진폭, 및/또는 위상은, 조정가능한 것을 특징으로 하는 3차원 이동 공간에서 제스처들을 비접촉 검출 및 인식하는 시스템.
KR1020127022398A 2010-02-10 2011-02-09 ３차원 공간에서 제스처들을 비접촉 검출 및 인식하는 시스템 및 방법 KR101871259B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102010007455A DE102010007455A1 (de) 2010-02-10 2010-02-10 System und Verfahren zum berührungslosen Erfassen und Erkennen von Gesten in einem dreidimensionalen Raum
DE102010007455.1 2010-02-10
PCT/EP2011/051914 WO2011098496A1 (en) 2010-02-10 2011-02-09 System and method for contactless detection and recognition of gestures in a three-dimensional space

Publications (2)

Publication Number Publication Date
KR20120123487A true KR20120123487A (ko) 2012-11-08
KR101871259B1 KR101871259B1 (ko) 2018-06-27

Family

ID=43828364

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127022398A KR101871259B1 (ko) 2010-02-10 2011-02-09 ３차원 공간에서 제스처들을 비접촉 검출 및 인식하는 시스템 및 방법

Country Status (8)

Country Link
US (1) US9921690B2 (ko)
EP (1) EP2430512B1 (ko)
JP (1) JP5812358B2 (ko)
KR (1) KR101871259B1 (ko)
CN (1) CN102870078B (ko)
DE (1) DE102010007455A1 (ko)
ES (1) ES2524987T3 (ko)
WO (1) WO2011098496A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015064991A2 (ko) * 2013-10-28 2015-05-07 서울과학기술대학교 산학협력단 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법
KR20180078997A (ko) 2016-12-30 2018-07-10 에스엘 주식회사 제스처 인식 장치
US10268302B2 (en) 2013-08-13 2019-04-23 Samsung Electronics Co., Ltd. Method and apparatus for recognizing grip state in electronic device
WO2022002742A1 (en) * 2020-06-29 2022-01-06 Jt International Sa Gestures to lock device and enable locking function
KR20220028518A (ko) * 2020-08-28 2022-03-08 한국자동차연구원 모션 인식 기반 제어 장치

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011015806A1 (de) 2011-04-01 2012-10-04 Ident Technology Ag Displayeinrichtung
JP5581553B2 (ja) * 2010-11-15 2014-09-03 株式会社フジクラ 電気機器の入力装置
JP5780823B2 (ja) * 2011-04-28 2015-09-16 株式会社Ｎｔｔドコモ 表示装置、表示装置の制御方法及びプログラム
US9507454B1 (en) * 2011-09-19 2016-11-29 Parade Technologies, Ltd. Enhanced linearity of gestures on a touch-sensitive surface
DE102011119082A1 (de) * 2011-11-21 2013-05-23 Übi UG (haftungsbeschränkt) Vorrichtungsanordnung zur Schaffung eines interaktiven Bildschirms aus einem Bildschirm
US9323379B2 (en) 2011-12-09 2016-04-26 Microchip Technology Germany Gmbh Electronic device with a user interface that has more than two degrees of freedom, the user interface comprising a touch-sensitive surface and contact-free detection means
US20140365412A1 (en) * 2012-02-01 2014-12-11 Yosef Mizrachi Method and system for improving prediction in online gaming
US20150220150A1 (en) * 2012-02-14 2015-08-06 Google Inc. Virtual touch user interface system and methods
JP5853755B2 (ja) * 2012-02-17 2016-02-09 株式会社豊田中央研究所 入力装置
DE102012103032B3 (de) 2012-04-05 2013-07-04 Reis Group Holding Gmbh & Co. Kg Verfahren zur Bedienung eines Industrieroboters
US9323985B2 (en) * 2012-08-16 2016-04-26 Microchip Technology Incorporated Automatic gesture recognition for a sensor system
US9552068B2 (en) 2012-08-27 2017-01-24 Microchip Technology Germany Gmbh Input device with hand posture control
US20140298672A1 (en) * 2012-09-27 2014-10-09 Analog Devices Technology Locking and unlocking of contacless gesture-based user interface of device having contactless gesture detection system
PL2925199T3 (pl) * 2012-11-29 2017-09-29 Vorwerk & Co. Interholding Gmbh Robot kuchenny z misą i mieszadłem w misie
CN103885530A (zh) * 2012-12-20 2014-06-25 联想(北京)有限公司 一种控制方法以及一种电子设备
FR3000817B1 (fr) * 2013-01-04 2016-04-01 Epawn Commande d'une station d'accueil par mouvement de dispositif mobile
JP2014164624A (ja) * 2013-02-26 2014-09-08 Smk Corp 表示装置
KR102106354B1 (ko) * 2013-03-21 2020-05-04 삼성전자주식회사 전자장치에서 터치 입력을 이용한 동작 제어 방법 및 장치
CN104076910B (zh) * 2013-03-25 2017-11-03 联想(北京)有限公司 一种信息处理的方法及电子设备
JP6125310B2 (ja) * 2013-04-26 2017-05-10 アルパイン株式会社 入力装置及びコンピュータプログラム
JP6126904B2 (ja) * 2013-05-13 2017-05-10 株式会社Ｎｔｔドコモ 電子機器、軌跡補正方法、プログラム
DE102013208999B4 (de) * 2013-05-15 2015-11-12 EDISEN SENSOR SYSTEME GmbH & Co. KG Verfahren und Vorrichtung für ein kapazitives berührungsloses Eingabesystem auf Basis einer einzigen Sensorfläche
DE102013008807A1 (de) 2013-05-24 2014-11-27 Balluff Gmbh Verfahren und Schaltungsanordnung zur Aktivierung und Parametrisierung einer elektrischen Einrichtung
US9625997B2 (en) 2013-07-19 2017-04-18 Microchip Technology Incorporated Human interface device and method
CN104344497A (zh) * 2013-08-07 2015-02-11 珠海格力电器股份有限公司 空调器及其控制方法、装置
CN103440049B (zh) * 2013-08-28 2017-05-31 深圳超多维光电子有限公司 一种输入装置及输入方法
US9665204B2 (en) 2013-10-04 2017-05-30 Microchip Technology Incorporated Continuous circle gesture detection for a sensor system
US9652137B2 (en) * 2013-10-31 2017-05-16 Tencent Technology (Shenzhen) Company Limited Method and device for confirming and executing payment operations
JP6307860B2 (ja) * 2013-12-03 2018-04-11 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
CN104699232A (zh) * 2013-12-09 2015-06-10 联想(北京)有限公司 三维位置检测装置、电子设备和方法
CN104793724B (zh) * 2014-01-16 2018-12-21 北京三星通信技术研究有限公司 空中书写处理方法及装置
CN105934738B (zh) * 2014-01-28 2020-04-03 索尼公司 信息处理设备、信息处理方法以及程序
US9921739B2 (en) * 2014-03-03 2018-03-20 Microchip Technology Incorporated System and method for gesture control
US10459623B2 (en) * 2014-04-17 2019-10-29 Microchip Technology Incorporated Touch detection in a capacitive sensor system
US9740338B2 (en) 2014-05-22 2017-08-22 Ubi interactive inc. System and methods for providing a three-dimensional touch screen
US9958946B2 (en) 2014-06-06 2018-05-01 Microsoft Technology Licensing, Llc Switching input rails without a release command in a natural user interface
US9552069B2 (en) 2014-07-11 2017-01-24 Microsoft Technology Licensing, Llc 3D gesture recognition
JP2016038905A (ja) * 2014-08-08 2016-03-22 パナソニックＩｐマネジメント株式会社 入力装置および機器制御方法
US10649488B2 (en) * 2014-08-20 2020-05-12 Microchip Technology Germany Gmbh Electrode arrangement for gesture detection and tracking
US9665725B2 (en) * 2015-02-06 2017-05-30 Microchip Technology Incorporated Gesture based access control method and system
CN104834377A (zh) * 2015-05-05 2015-08-12 成都上生活网络科技有限公司 一种基于3d手势识别的音频控制方法
JP6481513B2 (ja) * 2015-05-28 2019-03-13 アイシン精機株式会社 操作装置
US9946397B2 (en) * 2015-06-15 2018-04-17 Microchip Technology Incorporated Sensor design for enhanced touch and gesture decoding
CN104992156A (zh) * 2015-07-07 2015-10-21 济南大学 基于手势与多语义之间柔性映射的手势操控方法
US10444892B2 (en) * 2015-10-07 2019-10-15 Microchip Technology Incorporated Capacitance measurement device with reduced noise
CN105151048A (zh) * 2015-10-22 2015-12-16 上海擎感智能科技有限公司 一种车载终端手势识别控制方法及系统
CN107562239A (zh) * 2016-07-01 2018-01-09 南昌欧菲光科技有限公司 压力感应装置和具有其的显示设备
WO2018147254A1 (ja) 2017-02-10 2018-08-16 パナソニックＩｐマネジメント株式会社 車両用入力装置
US11609692B2 (en) * 2017-04-07 2023-03-21 Hewlett-Packard Development Company, L.P. Cursor adjustments
CN111033452B (zh) * 2017-09-04 2024-04-09 株式会社和冠 空间位置指示系统
US10878231B2 (en) 2018-05-10 2020-12-29 International Business Machines Corporation Writing recognition using wearable pressure sensing device
CN110069137B (zh) * 2019-04-30 2022-07-08 徐州重型机械有限公司 手势控制方法、控制装置和控制系统
CN110673736B (zh) * 2019-09-30 2023-04-07 广东万家乐燃气具有限公司 一种手势识别控制方法、控制装置以及存储介质
JP2023119599A (ja) * 2020-07-16 2023-08-29 アルプスアルパイン株式会社 ジェスチャ判定装置
CN114506754B (zh) * 2020-11-17 2023-12-05 上海三菱电梯有限公司 非接触按钮操作识别系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060161871A1 (en) * 2004-07-30 2006-07-20 Apple Computer, Inc. Proximity detector in handheld device
WO2008116642A2 (de) * 2007-03-26 2008-10-02 Ident Technology Ag Mobiles kommunikationsgerät und eingabeeinrichtung hierfür
US20080266271A1 (en) * 2004-06-09 2008-10-30 Koninklijke Philips Electronics, N.V. Input System

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7532205B2 (en) * 1992-06-08 2009-05-12 Synaptics, Inc. Object position detector with edge motion feature and gesture recognition
GB2286247A (en) 1994-02-03 1995-08-09 Massachusetts Inst Technology Capacitive position detection
US5844415A (en) 1994-02-03 1998-12-01 Massachusetts Institute Of Technology Method for three-dimensional positions, orientation and mass distribution
EP2256605B1 (en) * 1998-01-26 2017-12-06 Apple Inc. Method and apparatus for integrating manual input
JP2004213269A (ja) * 2002-12-27 2004-07-29 Toshiba Corp 文字入力装置
US7549131B2 (en) * 2002-12-31 2009-06-16 Apple Inc. Method of controlling movement of a cursor on a screen and a computer readable medium containing such a method as a program code
JP2005056059A (ja) * 2003-08-01 2005-03-03 Canon Inc 撮像部を備えた頭部搭載型ディスプレイを用いた入力装置および方法
US7379563B2 (en) 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
WO2008007372A2 (en) * 2006-07-12 2008-01-17 N-Trig Ltd. Hover and touch detection for a digitizer
JP4730784B2 (ja) 2006-08-09 2011-07-20 アルパイン株式会社 車載表示システム
US8284165B2 (en) 2006-10-13 2012-10-09 Sony Corporation Information display apparatus with proximity detection performance and information display method using the same
JP4766340B2 (ja) * 2006-10-13 2011-09-07 ソニー株式会社 近接検知型情報表示装置およびこれを使用した情報表示方法
US8232970B2 (en) * 2007-01-03 2012-07-31 Apple Inc. Scan sequence generator
DE102007020873A1 (de) 2007-04-26 2008-10-30 Ident Technology Ag Sensoreinrichtung, sowie Verfahren zur Generierung von hinsichtlich der Position oder Positionsänderung von Gliedmaßen indikativen Signalen
US8390579B2 (en) * 2008-03-14 2013-03-05 France Telecom System for classifying gestures
US8526767B2 (en) * 2008-05-01 2013-09-03 Atmel Corporation Gesture recognition
US20090327974A1 (en) 2008-06-26 2009-12-31 Microsoft Corporation User interface for gestural control
US8390577B2 (en) * 2008-07-25 2013-03-05 Intuilab Continuous recognition of multi-touch gestures

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080266271A1 (en) * 2004-06-09 2008-10-30 Koninklijke Philips Electronics, N.V. Input System
US20060161871A1 (en) * 2004-07-30 2006-07-20 Apple Computer, Inc. Proximity detector in handheld device
WO2008116642A2 (de) * 2007-03-26 2008-10-02 Ident Technology Ag Mobiles kommunikationsgerät und eingabeeinrichtung hierfür

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10268302B2 (en) 2013-08-13 2019-04-23 Samsung Electronics Co., Ltd. Method and apparatus for recognizing grip state in electronic device
WO2015064991A2 (ko) * 2013-10-28 2015-05-07 서울과학기술대학교 산학협력단 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법
WO2015064991A3 (ko) * 2013-10-28 2015-06-25 서울과학기술대학교 산학협력단 비접촉 동작 제어가 가능한 스마트 디바이스 및 이를 이용한 비접촉 동작 제어 방법
KR20180078997A (ko) 2016-12-30 2018-07-10 에스엘 주식회사 제스처 인식 장치
WO2022002742A1 (en) * 2020-06-29 2022-01-06 Jt International Sa Gestures to lock device and enable locking function
KR20220028518A (ko) * 2020-08-28 2022-03-08 한국자동차연구원 모션 인식 기반 제어 장치

Also Published As

Publication number Publication date
DE102010007455A1 (de) 2011-08-11
CN102870078B (zh) 2016-07-06
ES2524987T3 (es) 2014-12-16
EP2430512B1 (en) 2014-10-01
WO2011098496A1 (en) 2011-08-18
US9921690B2 (en) 2018-03-20
EP2430512A1 (en) 2012-03-21
JP2013519933A (ja) 2013-05-30
JP5812358B2 (ja) 2015-11-11
KR101871259B1 (ko) 2018-06-27
US20120313882A1 (en) 2012-12-13
CN102870078A (zh) 2013-01-09

Similar Documents

Publication Publication Date Title
KR101871259B1 (ko) ３차원 공간에서 제스처들을 비접촉 검출 및 인식하는 시스템 및 방법
CN105849673A (zh) 基于自然三维手势的人机导览方法
US10025388B2 (en) Touchless human machine interface
EP2804083A1 (en) Screen unlocking system and method
JP5250135B1 (ja) タッチパネルシステム、電子情報機器及び指示体位置検出方法
WO2014109262A1 (ja) タッチパネルシステム
US10198627B2 (en) Gesture identification with natural images
CN111095164A (zh) 用于依据姿态来检测用户输入的方法和设备
KR102398042B1 (ko) 휴먼 인터페이스 디바이스 및 방법
CN102736770B (zh) 多点手势识别方法及多点平移手势的识别装置
US10551934B2 (en) Gesture recognition method, apparatus and device, computer program product therefor
KR101860138B1 (ko) 오브젝트 생성 및 오브젝트의 변환이 가능한 동작 인식 센서를 이용한 3차원 입력 장치
KR101269107B1 (ko) 카메라를 이용한 손동작 인식 방법 및 장치
KR20140104734A (ko) 차동 터치 센싱 시스템의 좌표 선택 회로 및 방법
CN104123026A (zh) 一种触摸屏触摸轨迹运动方向识别的方法
EP2843516A2 (en) Improved touch detection for a touch input device
EP4325337A1 (en) System and method for recognizing position of automotive display
WO2021246089A1 (ja) ジェスチャ認識装置、システム及びそのプログラム
KR101671831B1 (ko) 동작 인식 센서를 이용한 3차원 입력 장치
KR101723221B1 (ko) 마커를 사용하지 않은 사람 팔벌림 제스처 인식방법
EP3839700A1 (en) Gesture recognition system for kitchen machines
KR20150113627A (ko) 깊이 센서 기반의 공간 터치 제어장치 및 방법
TWI529608B (zh) 一種手勢辨識追蹤方法及其系統
KR20140097907A (ko) 카메라 기반 명령 입력 장치 및 그 방법
CN107526508A (zh) 电子装置、滑动操作处理方法及滑动操作处理系统

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant