KR20200123262A - 센서 시스템을 위한 자동 제스처 인식 - Google Patents

센서 시스템을 위한 자동 제스처 인식 Download PDF

Info

Publication number
KR20200123262A
KR20200123262A KR1020207029857A KR20207029857A KR20200123262A KR 20200123262 A KR20200123262 A KR 20200123262A KR 1020207029857 A KR1020207029857 A KR 1020207029857A KR 20207029857 A KR20207029857 A KR 20207029857A KR 20200123262 A KR20200123262 A KR 20200123262A
Authority
KR
South Korea
Prior art keywords
gesture
hidden markov
sensor
recognition
markov models
Prior art date
Application number
KR1020207029857A
Other languages
English (en)
Other versions
KR102380885B1 (ko
Inventor
악셀 헤임
오이겐 로스
롤랜드 아우바우어
Original Assignee
마이크로칩 테크놀로지 저머니 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로칩 테크놀로지 저머니 게엠베하 filed Critical 마이크로칩 테크놀로지 저머니 게엠베하
Publication of KR20200123262A publication Critical patent/KR20200123262A/ko
Application granted granted Critical
Publication of KR102380885B1 publication Critical patent/KR102380885B1/ko

Links

Images

Classifications

    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

제스처 인식 방법은, 하나 이상의 제스처-관련 신호들을 연관된 복수의 검출 센서들을 이용하여 검출하는 것; 그리고 자동 인식 기술을 이용하여 상기 하나 이상의 제스처-관련 신호들로부터 검출된 제스처를 평가하여 상기 제스처가 소정 세트의 제스처들 중 하나에 대응하는지를 결정하는 것을 포함한다.

Description

센서 시스템을 위한 자동 제스처 인식{AUTOMATIC GESTURE RECOGNITION FOR A SENSOR SYSTEM}
관련 출원에 대한 상호 참조
본 출원은 2012년 8월 16일 출원된 미국 가출원 번호 61/684,039 호의 우선 이익을 주장하며, 상기 미국 가출원은 그 전체가 여기에 완전히 설명된 것처럼 본 출원에 참조로 통합된다.
기술 분야
본 개시는 센서 시스템들을 위한 방법들 및 시스템들에 관한 것이며, 특히 이러한 시스템들을 위한 자동 제스처 인식에 관한 것이다. 보다 상세하게, 본 개시는 제스처들의 병진(translation) 및/또는 스케일링에 불변하고 손/손가락과 센서 시스템 사이의 비교적 큰 거리를 위한 제스처 인식 시스템에 관한 것이다.
터치 없는 검출 및 제스처들의 인식을 위한 시스템들이 알려져 있다. 이러한 시스템들은 용량형(예컨대, 표면 용량형, 투영식 용량형, 상호 용량형, 또는 자체 용량형), 적외선, 광학 이미징, 분산 신호, 초음파 또는 음향 펄스 인식 센서 기술에 기초할 수 있다.
예를 들어, 용량형 센서 시스템들은, 교류 전기장을 생성하고 이 전기장 내에 있는 센서 전극에서 얻어진 전위차(즉, 전압)를 측정함으로써 실현될 수 있다. 구현에 따라, 단일 전극이 사용될 수 있거나, 또는 송신 전극 및 하나 이상의 수신 전극들이 사용될 수 있다. 센서 전극(들)에서의 전압은 센서 전극과 그의 전기적 환경 사이의 커패시턴스에 대한 척도이다. 즉, 그 전압은 특히 전극 배열에 의해 제공된 검출 공간 내에서 제스처를 수행할 수 있는 인간의 손가락이나 손과 같은 오브젝트들에 의해 영향을 받는다. 또한, 이 전압으로부터, 예를 들어, 손가락이나 제스처의 거리가 추론될 수 있다. 이 정보는 인간-기계 인터페이스들에 사용될 수 있다.
3차원 포지셔닝 시스템이라고 가정하면, 제스처 검출을 위한 간단한 최고 레벨의 접근법은 x/y 위치 추정치를 자동 제스처 인식 시스템에의 입력으로 간주하고 시작/정지 기준으로 z-거리를 사용하는 것이다. 상기 위치 추정치는 센서 데이터가 처리되는 하나 이상의 스테이지들의 결과이고(교정, 교정된 센서 값과 거리의 비선형 관계, 거리의 삼각 함수인 위치) 그리고 각각의 스테이지는 추가의 불확실성을 도입하며 그래서 x/y/z 추정치를 사용하는 것은 앞선 처리 스테이지들로부터의 데이터를 사용하는 것보다 쉽게 에러들이 발생할 수 있다.
본 개시의 이들 및 다른 특징들은 첨부 도면들과 결합된 이하의 설명을 참조하면 보다 완전하게 이해될 수 있을 것이다. 하지만, 본 개시의 다양한 실시예들 및 이들의 다수의 특정 세부 사항들을 나타내는 다음의 설명은 예시로서 주어지고 한정하고자 하는 것이 아님을 이해해야 한다. 많은 대체들, 수정들, 추가들 및/또는 재배열들이 본 개시의 사상을 벗어나지 않는 본 개시의 범위 내에서 행해질 수 있고, 본 개시는 모든 이러한 대체들, 수정들, 추가들 및/또는 재배열들을 포함한다.
실시예들에 따른 제스처 인식 방법은, 하나 이상의 제스처-관련 신호들을 연관된 복수의 검출 센서들을 이용하여 검출하는 것; 그리고 자동 인식 기술을 이용하여 상기 하나 이상의 제스처-관련 신호들로부터 검출된 제스처를 평가하여 상기 제스처가 소정 세트의 제스처들 중 하나에 대응하는지를 결정하는 것을 포함한다. 몇몇 실시예들에 따르면, 타겟 오브젝트와 적어도 하나의 센서 사이의 거리가 감소하고 그리고 상기 타겟 오브젝트와 적어도 하나의 센서 사이의 거리가 증가하고 또한 소정의 복수의 신호 샘플들의 단기 분산값 또는 동등한 측정값이 문턱치보다 작은 경우에, 상기 제스처의 시작이 결정된다. 몇몇 실시예들에 따르면, 주어진 시간에서 타겟 오브젝트와 모든 센서들 사이의 거리들이 감소하고/하거나 소정의 복수의 신호 샘플들의 단기 분산값 또는 동등한 측정값이 문턱치보다 작고/작거나 신호 변화들이 상기 주어진 시간 이후에는 소정의 복수의 신호 샘플들에 대한 소정 문턱치보다 작은 경우에, 상기 제스처의 정지가 결정된다.
몇몇 실시예들에 따르면, 각각의 제스처는 하나 이상의 은닉 마르코프 모델(Hidden Markov Model; HMM)들로 표현된다. 몇몇 실시예들에 따르면, 제스처를 평가하는 것은 하나 이상의 HMM들에 대한 확률 측정값들을 평가하는 것을 포함한다. 몇몇 실시예들에 따르면, 상기 HMM들의 관찰 매트릭스들이 연관되는 특징들은 비(non)-양자화된 또는 양자화된 센서 신호 레벨들, x/y/z 위치, 거리들, 방향, 방위(orientation), 각도들 및/또는 이들의 시간에 관한 1차, 2차 또는 고차 도함수(derivative)들, 또는 이들의 임의의 결합이다. 몇몇 실시예들에 따르면, 상기 특징들은 2개의 양자화 레벨들로 양자화된 상기 센서 신호 레벨들의 1차 도함수들이다.
실시예들에 따른, 제스처 인식을 위한 시스템은, 연관된 복수의 검출 센서들을 이용하여 하나 이상의 제스처-관련 신호들을 검출하기 위한 센서 배열; 및 제스처가 소정 세트의 제스처들 중 하나에 대응하는지를 결정하기 위해 자동 인식 기술을 이용하여 상기 하나 이상의 제스처-관련 신호들로부터 검출된 상기 제스처를 평가하기 위한 모듈을 포함한다.
몇몇 실시예들에서, 상기 제스처의 시작은 타겟 오브젝트와 적어도 하나의 센서 사이의 거리가 감소하고 상기 타겟 오브젝트와 적어도 하나의 센서 사이의 거리가 증가하고 그리고 소정의 복수의 신호 샘플들의 단기 분산값 또는 동등한 측정값이 문턱치보다 작은 경우에 결정된다. 몇몇 실시예들에서, 주어진 시간에서 타겟 오브젝트와 모든 센서들 사이의 거리들이 감소하고/하거나 소정의 복수의 신호 샘플들의 단기 분산값 또는 동등한 측정값이 문턱치보다 작고/작거나 신호 변화들이 상기 주어진 시간 이후에는 소정의 복수의 신호 샘플들에 대한 소정 문턱치보다 작은 경우에, 상기 제스처의 정지가 결정된다.
하나 이상의 비(non)-일시적 기계 판독가능 프로그램 명령어들을 포함하는, 실시예들에 따른 컴퓨터 판독가능 매체로서, 상기 명령어들은, 복수의 검출 센서들을 이용하여 하나 이상의 제스처-관련 신호들을 수신하고, 그리고 제스처가 소정 세트의 제스처들 중 하나에 대응하는지를 결정하기 위해 자동 인식 기술을 이용하여 상기 하나 이상의 제스처-관련 신호들로부터 검출된 상기 제스처를 평가하기 위한 명령어들이다.
몇몇 실시예들에서, 타겟 오브젝트와 적어도 하나의 센서 사이의 거리가 감소하고 상기 타겟 오브젝트와 적어도 하나의 센서 사이의 거리가 증가하고 그리고 소정의 복수의 신호 샘플들의 단기 분산 또는 동등한 측정값이 문턱치보다 작은 경우에, 제스처의 시작이 결정된다. 몇몇 실시예들에서, 주어진 시간에서 타겟 오브젝트와 모든 센서들 사이의 거리들이 감소하고/하거나 소정의 복수의 신호 샘플들의 단기 분산 또는 동등한 측정값이 문턱치보다 작고/작거나 신호 변화들이 상기 주어진 시간 이후에는 소정의 복수의 신호 샘플들에 대한 소정 문턱치보다 작은 경우에, 상기 제스처의 정지가 결정된다.
첨부되고 본 명세서의 일부를 형성하는 도면들은 본 개시의 특정 측면들을 묘사하기 위해 포함된다. 도면들에 도시된 특징들은 반드시 실척으로 도시된 것은 아님을 유의해야 한다. 본 개시 및 그 이점들은 첨부 도면들과 결합된 이하의 설명을 참조하면 보다 완전하게 이해될 수 있을 것이며, 도면들에서 같은 참조 번호들은 동일한 기능들을 가리킨다.
도 1은 예시적인 용량형 감지 시스템을 포함하는 키보드를 개략적으로 도시한 도면이다.
도 2는 예시적인 용량형 감지 시스템을 위한 전극 레이아웃을 도시한 도면이다.
도 3은 손가락-전극 거리와 전극 신호들의 측정값 사이의 관계를 도시한 도면이다.
도 4는 예시적으로 정의된 제스처들을 도시한 도면이다.
도 5a는 체크 제스처에 대한 예시적인 은닉 마르코프 모델(Hidden Markov Model) 관찰 확률 매트릭스를 도시한 도면이다.
도 5b는 예시적인 체크 제스처를 도시한 도면이다.
도 6a는 시작 이벤트의 예시적인 결정을 도시한 도면이다.
도 6b는 예시적인 시계 방향 원형 제스처를 도시한 도면이다.
도 7은 예시적인 정지 기준들을 도시한 도면이다.
도 8은 예시적인 선형 및 원형 은닉 마르코프 모델들의 상태 다이어그램들 및 상태 천이 확률 매트릭스들을 도시한 도면이다.
도 9는 예시적인 선형 및 원형 은닉 마르코프 모델들의 초기 상태 분포들 및 천이 매트릭스들을 도시한 도면이다.
도 10은 실시예들에 따른 프로세스 흐름도를 도시한 도면이다.
도 11은 예시적인 원형 제스처와 그 결과의 특징 벡터들을 도시한 도면이다.
도 12는 실시예들에 따른 제스처 인식의 예시적인 테스트 결과들을 도시한 도면이다.
도 13은 실시예들에 따른 예시적인 시스템을 도시한 도면이다.
본 개시 및 다양한 특징들 및 그의 유리한 세부 사항들은, 첨부 도면들에 도시되고 이하 상세하게 설명된 예시적인 - 그러므로 비제한적인 - 실시예들을 참조하여 보다 상세하게 설명된다. 하지만, 바람직한 실시예들을 나타내는 상세한 설명 및 특정 예들은 예시로서만 주어지고 한정하고자 하는 것이 아님을 이해해야 한다. 알려져 있는 프로그래밍 기술들, 컴퓨터 소프트웨어, 하드웨어, 운영 플랫폼들 및 프로토콜들의 설명들은 상세한 본 개시를 쓸데없이 애매하게 하지 않도록 생략될 수 있다. 기본적인 발명의 개념의 사상 및/또는 범위 내의 다양한 대체들, 수정들, 추가들 및/또는 재배열들은 본 개시로부터 이 기술분야의 당업자들에게 명백하게 될 것이다.
실시예들에 따르면, 둘 이상의 센서 전극들을 갖는 센서 시스템의 앞에서 수행된 소정의 손 제스처들을 신뢰할 수 있게 자동 인식할 수 있는 시스템들이 제공되어 상기 전극들의 측정 데이터를 제공한다. 실시예들에 따르면, 상기 인식은 제스처들의 병진 및/또는 스케일링에 불변하고 손가락/손과 각각의 센서 시스템 사이의 z-축 거리들의 큰 범위를 위한 것이다. 다양한 실시예들에 따르면, 손 제스처 인식을 위한 향상된 특징 추출 및 제스처 검출을 구비한 은닉 마르코프(Hidden Markov) 인식부가 제공될 수 있다.
편의를 위해 실시예들이 용량형 센서 시스템과 관련하여 설명되지만, 거리 또는 깊이 정보를 제공할 수 있는 임의의 적당한 센서 시스템이 사용될 수 있다. 또한, 실시예들이 3차원(x/y/z) 센서 시스템과 관련하여 설명되지만, 제스처 인식을 위해 제안된 방법은 또한 2차원 센서 시스템들(z=0)에도 적용될 수 있다. 적당한 센서 시스템들의 예들은 저항, 용량형(예컨대, 표면 용량형, 투영식 용량형, 상호 용량형, 또는 자체 용량형), 표면 음향파, 적외선, 광학 또는 비디오 이미징, 하나 이상의 포토 다이오드들, 분산 신호, 초음파, 및 음향 펄스 인식 센서 기술에 기초하는 센서 시스템들을 포함하지만, 이들로 한정되는 것은 아니다. 따라서, 도면들은 단지 예이다.
이제 도면들을 보면, 특히 도 1을 보면, 센서 구성이 도시되어 있으며 대체로 도면부호 100으로 확인된다. 특히, 도 1은 용량형 센서 시스템과 같은 내장된 센서 시스템에 있어서 PC 키보드(103) 위의 손가락(102)과 같은 사용자 입력 오브젝트를 도시한다. 영역들(104a-104d)은 키들 바로 밑에 있는 센서 전극들의 위치들을 특정한다. 손가락(102)과 직사각형 영역들(104a-104d) 사이의 라인들(106)은 손가락 끝에서 센서 전극들까지의 최단 경로들을 나타낸다. 영역들(104a-104d)에 의해 x/y 차원으로 한정된 직사각형 영역(107)은 '액티브 영역'으로 지칭되고, 액티브 영역(108) 위의 직육면체 모양의 공간은 '액티브 공간'으로 지칭된다.
실시예들이 독립형 키보드 내에 내장된 센서 시스템으로서 도시되었지만, 모바일 폰, mp3 플레이어, PDA, 태블릿 컴퓨터, 컴퓨터, 리모트 컨트롤, 라디오, 컴퓨터 마우스, 터치-감응 디스플레이, 및 텔레비전과 같이, 자체적으로 사용자 인터페이스이거나 사용자 인터페이스를 포함하는 전자 디바이스와 연관된 센서 시스템들을 가진 실시예들이 사용될 수 있음에 유의한다. 사용자 입력 오브젝트는 스타일러스(예를 들어, 작은 펜 모양의 기기) 또는 디지털 펜과 같은 임의의 물건일 수 있다. 이러한 의미에서 사용자 입력 오브젝트는 사용자의 손이나 손가락일 수도 있다.
도 2는 일부 키들이 제외된 키보드(103)를 도시하며, 센서 시스템을 보다 상세하게 보여준다. 특히, 하단(EB)(104a), 좌측(EL)(104d), 상단(ET)(104c), 및 우측(ER)(104b) 전극들을 갖는 센서 시스템을 지닌, 하부의(underlying) 인쇄 회로 기판이 도시되어 있다.
도 3은 센서의 측정값(수직축)의 크기를 센서 전극과 손가락 끝 사이의 거리(수평축)의 함수로서 질적으로 보여준다. 거리가 클수록 측정값은 작아진다. 본 발명의 균등한 실시예들에서, 센서 값은 거리에 따라 증가할 수 있다. 무한대로 증가하는 거리에 대한 점근적인 오프셋값(302)은 일반적으로 알려져 있지 않으며, 또한 시간이 지남에 따라 변경될 수 있다.
일부 실시예들에서, 센서 시스템은 각각의 센서 전극에 대하여 소정 샘플링 레이트(f_s)로 이산 시간 측정값들을 제공한다. 전형적으로, 전처리 스테이지에서, 센서 신호들은 애플리케이션에 따라, 전형적으로 최대 f_max=<15-20Hz까지인 손 제스처들의 주파수 범위와 매칭하도록 저역-통과 필터링되고, 여기서 f_s > 2*f_max이다. 하나 이상의 전극들에 대한 이 신호들의 경우에는, 목적은 키보드나 액티브 영역 위에서 수행된 손 제스처들의 신뢰할 수 있는 자동 인식을 각각 제공하는 것이다.
도 4에서, 실시예에 따르면, 8개의 특정 제스처들의 예가 정의되어 있다. 그러나, 다른 실시예들에 따르면, 다른 제스처들이 정의될 수 있다. 도시된 예에서, 제스처들은 4개의 "플릭(flick)들", 즉 4개의 주요 방향들(우측(402), 좌측(404), 상측(406), 하측(408))로의 빠른 선형 손가락 움직임들, 시계 방향(410) 및 반시계 방향(412)의 원들, '확인' 또는 '체크' 제스처(414), 및 일련의 연속적인 짧은 좌<->우 움직임들인 취소 제스처(416)이다.
자동 음성 인식 및 필기 인식과 같은 패턴 인식의 일반적인 접근법은 소정 세트의 음소들, 단어들 또는 문자들 중 가장 가능성 있는 것을 각각 추정하기 위해 은닉 마르코프 모델(Hidden Markov Model; HMM)들 및 트렐리스(trellis) 계산들을 이용하는 것이다. HMM λ:=(A,B,π)는 M개의 출력 심볼들 또는 "특징들"을 생성할 수 있는 N개의 상태들을 갖는 유한 확률 상태 머신이다. 그것은 3개의 파라미터들, 즉 NxN 크기의 상태 천이 확률 분포 매트릭스 A, 각각의 상태-특징 맵(map)에 대한 확률을 포함하는 NxM 심볼 확률 분포 매트릭스 B, 및 Nx1 초기 상태 분포 벡터 π에 의해 설명된다. 트렐리스는 시간 차원을 상태 다이어그램에 추가하여 효율적인 계산들을 가능하게 하는 그래프이다. 여기에 논의된 실시예들은 1차 HMM들에 관한 것이지만, 다른 실시예들에서는 보다 높은 고차 HMM들이 사용될 수 있다.
제스처 인식에서, 예를 들어, 각각의 HMM은 제스처를 나타낸다. 제스처는 제스처 조각들로 분할될 수 있으며, 이 조각들의 특징들은 그의 할당된 HMM의 상태들로 표현된다. 특징들은 제스처를 수행하는 동안에 검출된 센서 신호들로부터, 전형적으로 등거리의 이산-시간 인스턴스들에서 추출된다. 이러한 특징들은 예를 들어, 양자화되지 않은 또는 양자화된 신호 레벨들, x/y/z 위치, 거리들, 방향, 방위(orientation), 각도들 및/또는 이들의 시간에 관한 1차, 2차 또는 고차 도함수(derivative)들, 또는 이들의 임의의 결합을 포함한다. 만약 예를 들어, 사용된 특징이 x/y 위치의 시간에 관한 1차 도함수, 즉 x/y 속도이면, 제스처를 검출하는 동안 얻어진 특징 시퀀스는 x/y 속도 벡터들의 시퀀스이다. 이 시퀀스의 길이는 제스처의 일시적인 지속 시간에 의존한다. 서로 다른 사람들이 동일한 제스처를 수행할 때, 예를 들어 센서 시스템 앞에서 "체크" 제스처를 수행할 때, 제스처의 지속 시간, 움직임 속도 및/또는 제스처의 모양은 조금씩 다를 수 있다. 따라서, 해당 특징 시퀀스들의 변화들도 또한 있을 것이다.
HMM은 각각의 시간 인스턴스에서 단일 특징을 나타낼 뿐만 아니라 모든 가능한 특징 벡터들에 대한 확률 분포를 나타내기 때문에 이 변화들을 통합시킬 수 있다. 그 상태들 사이의 천이들에 대한 확률들 외에도 이 확률 분포 매트릭스들(B)을 얻기 위해, 각각의 HMM은 소위 트레이닝 제스처 세트의 특징 시퀀스들과 트레이닝될 필요가 있다. 트레이닝 동안, HMM 확률 분포들은 이 HMM에 주어진 트레이닝 시퀀스들의 조건부 확률을 최대화하기 위해 최적화된다. 따라서, HMM은 HMM과 트레이닝된 모든 제스처들의 특징 시퀀스들을 나타내고 있다. HMM에 필요한 상태들의 수(N)는 특히 해당 제스처의 복잡도에 의존한다. 각각의 상태에 관해서, 각각의 상태는 단일 관찰 확률 분포(매트릭스(B)의 행(row))에 속하며, 제스처의 특징 시퀀스에 서로 다른 특징들이 많으면 많을수록, 그것을 나타내는데 더 많은 상태들이 필요하다. 제스처 인식에서 은닉 마르코프 모델들의 사용에 관한 추가적인 세부 사항들은 "System and Method for Multidimensional Gesture Analysis"라는 발명의 명칭의 공동 양도된 미국 특허 번호 8,280,732 호에서 찾을 수 있으며, 상기 미국 특허는 그 전체가 여기에 완전히 설명된 것처럼 본 출원에 참조로 통합된다.
애플리케이션에 따라, 서로 다른 HMM 모델 토폴로지들이 가능한데, 예를 들어 도 8에 도시된 바와 같은, (종종 음성 인식에 사용되고 그리고 현재 또는 다음 상태만으로의 상태 천이들을 갖는) 선형 모델들 또는 (종종 이미지 처리에 사용되고 그리고 마지막 상태가 첫 번째 상태로의 비-제로(non-zero) 천이 확률을 갖는) 원형 모델들이 있다.
실시예들에 따르면, 플릭들(402, 404, 406, 408) 및 확인 제스처(414)와 같이(도 4) 서로 다른 시작 및 끝 지점을 갖는 제스처들에 대해서는, 선형 모델들이 바람직하다. 원들(410, 412) 및 취소 제스처(416)와 같이 서로 다르지 않은 시작 및 끝 지점을 갖는 제스처들에 대해서는, 원형 모델들이 바람직하다. 게다가, 모든 상태들 사이의 비-제로 천이 확률들을 갖는 완전히 연결된 모델들은 예를 들어, 거부되어야 하는 제스처들을 위한 소위 "쓰레기(garbage)" HMM에 사용될 수 있다.
트레이닝 전에 자주 사용되는 HMM 초기화는 도 9에 도시되어 있으며, 상태 천이 매트릭스들(A)의 선형 및 원형 특성을 드러낸다. HMM 트레이닝 동안, A 및 B 매트릭스들의 비-제로 엔트리들은 변경될 것이다. 그러나, 제로 엔트리들은 제로 엔트리들로 남아있을 것이고, 따라서 모델 토폴로지도 또한 마찬가지일 것이다.
인식 알고리즘뿐만 아니라, 각각의 제스처에 대한 매트릭스들(A 및 B)을 최적화하는 트레이닝 알고리즘 둘 다에의 입력은 특징들의 시간적 시퀀스들이며, 여기서 각각의 시퀀스는 하나의 제스처 수행에 대응한다.
제스처의 시작 및 정지 시간의 지식은 인식 성능에 중요할 수 있다. 이후, 다양한 실시예들은 시작/정지 기준들의 결합을 사용하고, 그리고 HMM들(이들로 한정되지 않음)과의 사용에 대해서는 매우 단순하면서도 그럼에도 스케일링 및 천이에 불변이고 따라서 매우 강건한 신호 특징을 사용한다.
도 5a 및 5b는 "체크" 제스처 및 예시적인 센서들(EB, EL, ET, ER)에 대한 특징 시퀀스의 예를 보여주며, 특징 벡터는 시간에 따른 손가락 끝과 4개의 센서 전극들 사이의 거리들의 1차 도함수로 이루어진다. 도 5a의 특징 시퀀스 매트릭스의 각 열은 이산-시간 인스턴스에 대응한다. 예를 들어, 매트릭스의 (2,2) 위치의 값 "-4.1"은 시간 인스턴스 2에서 전극(E2)으로부터 멀리 상대적으로 빠른 이동을 나타내고, 동시에 4행의 값 "0.4"는 전극(E4) 쪽으로의 상대적으로 느린 움직임을 나타낸다.
제스처의 시작 및 정지의 검출에 대해서, 다음의 동작 가정들이 수행될 수 있다: A) 제스처는 외부로부터 액티브 공간(또는 z=0인 경우의 액티브 영역)에 진입할 때 시작하거나, 아니면 액티브 공간 내에서 휴식 기간 이후 움직임의 시작과 함께 시작한다(즉, 손가락은 제스처들 사이의 액티브 공간을 떠날 필요가 없다). B) 제스처는 액티브 공간 내에서 휴식할 때 또는 액티브 공간을 떠날 때 끝나거나, 또는 수행된 제스처가 소정 세트의 제스처들 중 하나일 확률이 문턱치를 초과할 때 끝난다.
위에 언급한 바와 같이, 이 가정들로부터 시작 및 정지 검출에 대한 기준들이 직접 추론된다.
시작 검출:
A1) 손가락 끝과 적어도 하나의 센서 사이의 거리는 증가하고 그리고 손가락 끝과 적어도 하나의 센서 사이의 거리는 감소한다(또는, 적어도 하나의 전극의 신호 레벨은 증가하고 그리고 적어도 하나의 다른 전극의 신호 레벨은 감소한다). (일정한 z-높이에서 액티브 공간 내에서의 손의 움직임은 항상 적어도 하나의 전극과의 거리 증가 및 적어도 하나의 다른 전극과의 거리 감소로 이어진다.) Z=0에 대해, 3D 인식 문제는 2D 터치 제스처 인식 문제가 된다. 증가 혹은 감소 검출은 문턱치 거리 또는 신호 레벨 변화의 검출을 포함할 수 있다.
A2) 예를 들어, 10개의 신호 샘플들에 걸쳐 센서 신호의 단시간 분산값 또는 유사한 측정값이 문턱치를 초과해야 한다(손가락은 충분히 빨리 움직여야 한다). 기준들 둘 다가 동시에 충족되면, 제스처의 시작이 검출되는 것으로 가정된다. 시작 검출은 검출된 제스처의 시작 직후, 위의(또는 유사한) 기준들을 다시 체크함으로써 확인될 수 있다. 확인이 네거티브이면, 제스처 인식은 중단된다.
정지 검출:
B1) 전극과 손의 거리들은 예를 들어 nD=10 샘플들에 걸쳐 모든 전극들에 대해 증가한다(또는 모든 센서들의 신호 레벨들은 감소한다). (이것은 일정한 z-거리에서 액티브 공간 내의 움직임에 대해서는 가능하지 않다.)
B2) 예를 들어 nV=10 신호 샘플들에 걸쳐 센서 신호의 단시간 분산값 또는 유사한 측정값은 문턱치를 초과해서는 안된다(손가락은 충분히 느리게 움직인다).
B3) B1) 또는 B2)의 기준이 이산 시간 인스턴스(T_E)에서 충족되면, 제스처 끝은 각각 시간 T_E-nD 또는 T_E-nV에 있도록 검출된다.
제스처의 시작과 정지 사이의 시간이 소정 시간 간격 내에 있지 않으면, 제스처들은 가능한 제스처들의 세트로부터 배제될 수 있다.
도 6a는 도 6b에 도시된 시계 방향 원 제스처에 대한 시작 이벤트의 결정을 보여주고, 여기서 다음의 기준들이 적용된다: A1) >=1 전극의 신호 레벨이 증가하고 그리고 >=1 다른 전극의 신호 레벨이 감소한다(이는 액티브 공간 내의 손가락 움직임에 대응한다). A2) 센서 신호의 단시간 분산값 또는 유사한 측정값이 문턱치를 초과한다(손가락은 충분히 빨리 움직인다).
도 7은, 모든 전극들의 신호 레벨들이 감소한다는(이는 액티브 공간을 떠나는 손가락에 대응한다) B1) 기준이 적용되는 제스처 정지 검출을 보여준다.
도 10은 시작/정지 검출을 포함하는 전체 제스처 인식 프로세스를 도시하는 흐름도(1000)이다. 프로세스의 시작(1004)에서, (모든 전극들로부터의 센서 값들로 이루어진) 각각의 입력 신호 샘플에 대해, HMM 확률들의 계산에 의한 제스처 인식이 이미 실행되고 있는지의 여부(액티브=참 또는 액티브=거짓)가 먼저 체크된다(단계(1004)). 후자(액티브=거짓)의 경우에는 시작 기준들이 평가된다(단계(1008)). (단계(1022)에서 결정되는 바와 같이) 시작 기준들이 충족되면, 액티브 플래그는 '참'으로 설정되고(단계(1024)) 그리고 실제 제스처 인식이 시작된다(단계(1016)). 문턱치를 초과하는 확률이 결정되며(단계(1020)); 상기 기준들이 충족되면, 인식된 제스처가 출력되고(단계(1014)) 그리고 액티브는 거짓으로 설정된다(단계(1018)). 그렇지 않으면, 프로세스는 종료된다(단계(1026)).
액티브가 입력 샘플에 대해 참이면(단계(1004)), 정지 기준들이 평가된다(단계(1006)). 정지 기준들이 충족되면(단계(1010)), 제스처 인식이 완료되고, 그 인식 결과가 평가되고(단계(1012)) 출력되며(단계(1014)), 그리고 액티브는 거짓으로 설정된다(단계(1018)). 그렇지 않으면, 제스처 인식이 진행된다(단계(1016)).
도 11은, 모든 전극들에 대한 신호 레벨의 변화가 되는, 액티브 영역 위의 일정한 z-거리에서 시계 방향으로 원을 그리는 손가락의 예와, 그 결과로 생긴 특징 벡터들을 보여준다. 시간 단계 1에서, 손가락은 전극들(ER 및 EB)에 가까워지고, 전극들(EL 및 ET)로부터는 멀어진다.
이것은 전극들(ER 및 EB)의 신호 레벨들의 증가, 및 전극들(EL 및 ET)의 신호 레벨들의 감소로 이어진다. 시간 단계 3에서, 손가락은 여전히 ET로부터 멀어지고 그리고 EL에 가까워지지만, 이제는 ER로부터 멀어지고 EL에 가까워진다. 이것은 전극들(EB 및 EL)의 신호 레벨들의 증가 및 전극들(ET 및 ER)의 신호 레벨들의 감소로 이어지며, 기타 다른 시간 단계들에서도 위와 같이 적용된다.
몇몇 실시예들에 따르면, 성능 평가를 위해, HMM들(즉, 각각의 제스처)은 각각의 제스처를 소정 횟수만큼 수행한 하나의 세트의 사람들로부터의 데이터를 이용하여 트레이닝되었다. HMM들의 트레이닝에 대해서는, L. R. Rabiner: "A tutorial on Hidden Markov Models und selected applications in speech recognition". Proceedings of the IEEE, Vol. 77 No.2, Feb. 1989.를 참조할 수 있다.
객관적으로 인식 레이트를 평가하기 위해, 추가적인 테스트 제스처 데이터베이스가 또 하나의 분리된 세트의 사람들로부터 채택되었다. 달성된 제스처 인식 레이트들은 (퍼센트로) 도 12에 도시되어 있다. 매트릭스의 행들은 수행된 제스처들을 보여주고 열들은 인식된 제스처들을 보여준다. "거부" 열은 거부된 제스처들을 보여준다. 가비지(garbage) 모델은, 의도되지 않았고 정의되지 않은 모든 손 움직임들을 나타낸다. 가비지 모델은 제 1 세트의 모든 사람들의 모든 트레이닝 데이터, 즉 그들의 모든 제스처들을 이용하여 트레이닝된다. "합계"의 열은 모든 인식된 제스처들의 확률들의 합을 보여주며, 따라서 100이어야 한다. 모든 정의된 제스처들에 대해서는, 적어도 95%의 인식 레이트들이 달성될 수 있다. 인식되지 않은 제스처들 중 많은 제스처들이 거부되었는데, 이것은 다른 제스처의 거짓 검출이 거부보다 불편하다고 여겨지기 때문에 유리하다.
제안된 방법은 도 1 또는 도 2와 같이 정확히 4개의 전극들/센서들을 갖는 센서 시스템들이나 전극 레이아웃만으로 한정되지 않는다. 그것은 임의의 많은 수의, 즉 2개 이상 무한대까지의 센서들을 갖는 시스템들에 적용된다. 예를 들어, 그것은 둥근 모양이나 또 다른 모양으로 단지 2개의 전극들, 즉 좌측 전극(EL) 및 우측 전극(ER)만을 갖는 시스템일 수도 있다.
센서 신호들의 단시간 분산값을 각각의 채널에 대한 문턱치와 비교하는 대신에, 이 분산값들의 가중된 합을 단일 문턱치와 비교하거나 또는 액티브 움직임을 나타내는 신호의 임의의 다른 측정값을 사용하는 것도 또한 가능하다.
다양한 실시예들은 센서들이 거리 종속 측정 데이터를 제공하는 임의의 센서 시스템에 적용될 수 있다. 이러한 시스템들은 용량성 및 저항성 터치 센서들, 초음파 센서들, 레이더, 표면 음향 센서들을 포함한다. 개시된 실시예들은 HMM들을 이용하는 제스처 인식으로 한정되지 않으며, 또한 동적 시간 워핑(Dynamic Time Warping), 신경망 네트워크들 또는 다른 자동 인식 기술들에도 사용될 수 있다.
이제 도 13을 보면, 실시예들에 따른, 시작/정지 검출을 포함하는 제스처 인식을 위한 센서 시스템(1300)의 특정 구현의 블록도가 도시되어 있다. 도 13의 시스템은 특히 용량형 감지 시스템에 유용할 수 있다. 상기 시스템(1300)은 감지 제어기(1301), 감지 전극들(1302) 및 호스트 시스템(1303)을 포함한다. 감지 전극들(1302)은 도 1에 도시된 바와 같은 구성을 구현할 수 있다. 호스트(1303)는 셀 폰들, 랩톱 컴퓨터들, I/O 디바이스들, 광 스위치들, 커피 머신들, 의료 입력 디바이스들 등과 같이 터치 센서 신호들을 이용할 수 있는 임의의 시스템일 수 있다.
도시된 예에서, TX 신호 발생기(1304)는 송신기 신호(VTX)를 송신 전극(TXD)에 제공한다. 수신 전극들의 신호들(RX0-RX4)이 필터링 등을 수행하기 위해 신호 컨디셔닝 모듈들(1306)에서 수신된다. 신호 컨디셔닝 모듈들의 출력들은 ADC들(1307)에 제공되고, 그리고 버스(1308)를 통해 신호 처리 유닛(1308)에 제공된다. 신호 처리 유닛(1308)은 제스처 인식의 기능성을 구현할 수 있다. 결과적으로 생긴 출력들은 IO 유닛(1318)을 통해 호스트(1303)에 제공될 수 있다.
상기 시스템은 내부 클록(1309), 플래시 메모리와 같은 메모리(1312), 전압 기준부(1310), 전원 관리부(1314), 저전력 웨이크-업(1316), 리셋 제어부(1322), 및 통신 제어부(1320)와 같은 다양한 추가 모듈들을 더 포함할 수 있다.
다음의 참고문헌들은 은닉 마르코프 모델들의 사용에 관한 추가 정보를 제공한다:
L. E. Baum 등: "A maximization technique occurring in the statistical analysis of probabilistic functions of Markov chains", Ann. Math. Statist., vol. 41. no. 1. pp. 164-171, 1970.
E. Behrends: Introduction to Markov Chains, Viehweg Verlag, 2000.
L. R. Rabiner: "A tutorial on Hidden Markov Models und selected applications in speech recognition". Proceedings of the IEEE, Vol. 77 No.2, Feb. 1989.
A. J. Viterbi: "Error bounds for convolutional codes and an asymptotically optimum decoding algorithm". IEEE Transactions on Information Theory, Vol. 13, Apr. 1967.
Welch: "Hidden Markov Models and the Baum- Welch Algorithm". IEEE Information Theory Society Newsletter, Dec. 2003.
본 발명은 그 특정 실시예들에 관하여 개시되었지만, 이 실시예들은 단지 예로서, 본 발명을 한정하지 않는다. 식별항목 [요약서] 및 [과제의 해결 수단]의 설명을 포함하는 본 발명의 개시된 실시예들의 설명은 총망라하려는 것이 아니고 또한 본 명세서에 개시된 정확한 형태들로 본 발명을 제한하려는 것은 아니다(그리고 특히, 식별항목 [요약서] 및 [과제의 해결 수단] 내에 임의의 특정 실시예, 특징 또는 기능을 포함시키는 것은 본 발명의 범위를 이러한 실시예, 특징 또는 기능으로 한정하려는 것은 아니다). 오히려, 그러한 설명은 식별항목 [요약서] 및 [과제의 해결 수단]에 설명된 임의의 이러한 실시예, 특징 또는 기능을 포함하는 임의의 개시된 특정 실시예, 특징 또는 기능으로 본 발명을 한정함 없이, 이 기술분야의 당업자에게 본 발명을 이해시킬 자료(context)를 제공하기 위한 예시적인 실시예들, 특징들 또는 기능들을 설명하려는 것이다. 본 발명의 특정 실시예들 및 예들은 여기서는 단지 예시의 목적으로 본 명세서에 설명되었지만, 관련 기술분야의 당업자들이라면 인식하고 이해할 다양한 균등적 개량들이 본 발명의 사상 및 범위 내에서 가능하다. 나타낸 바와 같이, 이 개량들은 본 발명의 예시적인 실시예들의 전술한 설명을 고려하여 본 발명에 대해 행해질 수 있으며, 본 발명의 사상 및 범위 내에 포함되어야 한다. 따라서, 본 발명은 그 특정 실시예들을 참조하여 여기에 설명되었지만, 일정 범위의 개량, 다양한 변경들 및 대체들이 전술한 개시들 내에서 이루어지며, 그리고 일부 경우들에는 본 발명의 실시예들의 몇몇 특징들은 개시된 본 발명의 범위 및 사상을 벗어나지 않는 다른 특징들의 대응 사용 없이 이용될 것임을 이해할 것이다. 그러므로, 많은 개량들이, 특정 상황 또는 재료를 본 발명의 본질적인 범위 및 사상에 맞추기 위해 이루어질 수 있다.
본 명세서 전체에 걸쳐, "일 실시예", "실시예", 또는 "특정 실시예" 또는 유사한 용어를 언급하는 것은 상기 실시예와 관련하여 기술된 특정한 특징, 구조, 또는 특성이 적어도 하나의 실시예에 포함되며 모든 실시예들에 반드시 존재하는 것은 아님을 의미한다. 따라서, 본 명세서 전체에 걸쳐 여러 곳에 "일 실시예에서", "실시예에서", 또는 "특정 실시예에서"의 문구들 또는 유사한 용어가 각각 사용되는 것은 반드시 동일한 실시예를 언급하는 것은 아니다. 게다가, 임의의 특정 실시예의 특정한 특징들, 구조들, 또는 특성들은 임의의 적당한 방법으로 하나 이상의 다른 실시예들과 결합될 수 있다. 본 명세서에서 설명되고 예시된 실시예들의 다른 변경들 및 개량들이 본 개시의 교시들을 고려하여 가능하고 그리고 본 발명의 사상 및 범위의 일부분으로 여겨져야 함을 이해해야 한다.
본 명세서의 설명에서, 본 발명의 실시예들의 완전한 이해를 제공하기 위해 구성요소들 및/또는 방법들의 예들과 같은 다수의 특정한 상세가 제공된다. 하지만, 관련 기술의 당업자는 하나 이상의 특정한 상세 없이도 실시예가 실시될 수 있거나, 또는 다른 장치들, 시스템들, 조립체들, 방법들, 구성요소들, 재료들, 및/또는 일부분들 등을 써서 실시될 수 있음을 인식할 것이다. 다른 예들에 있어서는, 잘 알려진 구조들, 구성요소들, 시스템들, 재료들, 또는 동작들은 본 발명의 실시예들의 특징들을 애매하게 하지 않기 위해 구체적으로 제시되지 않거나 상세하게 설명되지 않는다. 본 발명은 특정 실시예를 이용하여 예시될 수 있지만, 이 예시는 본 발명을 임의의 특정 실시예로 한정하지 않으며, 또한 이 기술 분야의 당업자는 추가 실시예들이 쉽게 이해될 수 있고 또한 본 발명의 일부임을 인식할 것이다.
C, C++, 자바, 어셈블리 언어 등을 포함하는 임의의 적당한 프로그래밍 언어가 본 명세서에 개시된 본 발명의 실시예들의 루틴들, 방법들 또는 프로그램들을 실행하는데 사용될 수 있다. 절차 또는 오브젝트 지향과 같은 서로 다른 프로그래밍 기술들이 사용될 수 있다. 임의의 특정 루틴이 단일 컴퓨터 처리 디바이스 또는 다수의 컴퓨터 처리 디바이스들 상에, 그리고 단일 컴퓨터 프로세서 또는 다수의 컴퓨터 프로세서들 상에서 실행될 수 있다. 데이터는 단일 저장 매체에 저장될 수 있거나 또는 다수의 저장 매체들을 통해 분배될 수 있고, 그리고 단일 데이터베이스 또는 다수의 데이터베이스들 내에 (또는 다른 데이터 저장 기술들) 상주할 수 있다. 단계들, 동작들, 또는 계산들이 특정 순서로 나타날 수 있지만, 이 순서는 서로 다른 실시예들에서 변경될 수 있다. 몇몇 실시예들에서, 복수의 단계들이 본 명세서에 순차적인 것으로 제시된 범위에서, 대안의 실시예들에서는 이러한 단계들의 얼마간의 결합이 동시에 수행될 수 있다. 본 명세서에 설명된 일련의 동작들은 중단되거나 일시 중지될 수 있고, 그렇지 않으면 운영 시스템, 커널(kernel) 등과 같은 또 하나의 프로세스에 의해 제어될 수 있다. 루틴들은 운영 시스템 환경에서 동작할 수 있거나 또는 자체적인 독립형 루틴들로서 동작할 수 있다. 본 명세서에 설명된 기능들, 루틴들, 방법들, 단계들 및 동작들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의 결합으로 수행될 수 있다.
본 명세서에 설명된 실시예들은 소프트웨어 또는 하드웨어 또는 둘 다의 결합 내 제어 로직의 형태로 구현될 수 있다. 상기 제어 로직은 정보 처리 디바이스에게 다양한 실시예들에 개시된 단계들의 세트를 수행할 수 있게 지시하도록 구성된 복수의 명령어들로서, 컴퓨터-판독가능 매체와 같은 정보 저장 매체에 저장될 수 있다. 본 개시 및 본 명세서에 제공된 교시들에 기초하여, 이 기술분야의 당업자는 본 발명을 구현할 다른 방식들 및/또는 방법들을 알 수 있을 것이다.
본 명세서에 개시된 임의의 단계들, 동작들, 방법들, 루틴들 또는 이들의 일부분들을 소프트웨어 프로그래밍 또는 코드로 구현하는 것도 또한 본 발명의 사상 및 범위 내에 있으며, 여기에서 이러한 소프트웨어 프로그래밍 또는 코드는, 컴퓨터-판독가능 매체에 저장될 수 있고 그리고 컴퓨터가 본 명세서에 개시된 임의의 단계들, 동작들, 방법들, 루틴들 또는 이들의 일부분들을 수행할 수 있게 하는 프로세서에 의해 동작될 수 있다. 본 발명은 주문형 집적 회로, 프로그래머블 로직 디바이스, 필드 프로그래머블 게이트 어레이 등을 이용함으로써, 하나 이상의 범용 디지털 컴퓨터들에 소프트웨어 프로그래밍 또는 코드를 사용하여 구현될 수 있다. 광학, 화학, 생물학, 양자학 또는 나노 공학(nanoengineered) 시스템들, 구성요소들 및 메커니즘들이 사용될 수 있다. 일반적으로, 본 발명의 기능들은 이 기술분야에서 알려져 있는 임의의 수단으로 달성될 수 있다. 예를 들어, 분산 또는 네트워크 시스템들, 구성요소들 및 회로들이 사용될 수 있다. 또 하나의 예에서, 데이터의 통신 또는 전송(아니면 한 장소에서 다른 장소로의 이동)은 유선이나 무선, 또는 임의의 다른 수단에 의한 것일 수 있다.
"컴퓨터-판독가능 매체"는 명령어 실행 시스템, 장치, 시스템 또는 디바이스에 의해 또는 상기 명령어 실행 시스템, 장치, 시스템 또는 디바이스와 연결하여 사용하기 위한, 프로그램을 포함하거나 저장할 수 있는 임의의 매체일 수 있다. 상기 컴퓨터 판독가능 매체는 단지 예를 들어, 전자, 자기, 광학, 전자기, 적외선, 또는 반도체의 시스템, 장치, 시스템, 디바이스, 또는 컴퓨터 메모리일 수 있으나, 이에 한정되는 것은 아니다. 이러한 컴퓨터-판독가능 매체는 일반적으로 기계 판독가능하며, 그리고 사람이 읽을 수 있거나(예컨대, 소스 코드) 기계 판독가능한(예컨대, 오브젝트 코드) 소프트웨어 프로그래밍 또는 코드를 포함한다. 비(non)-일시적 컴퓨터-판독가능 매체들의 예들은 랜덤 액세스 메모리들, 판독-전용 메모리들, 하드 드라이브들, 데이터 카트리지들, 자기 테이프들, 플로피 디스켓들, 플래시 메모리 드라이브들, 광학 데이터 저장 디바이스들, 콤팩트-디스크 판독-전용 메모리들, 및 다른 적절한 컴퓨터 메모리들과 데이터 저장 디바이스들을 포함할 수 있다. 예시적인 실시예에서, 소프트웨어 구성요소들의 일부 혹은 모두는 단일 서버 컴퓨터에 또는 별개의 서버 컴퓨터들의 임의의 결합에 상주할 수 있다. 이 기술분야의 당업자가 이해할 수 있는 바와 같이, 본 명세서에 개시된 실시예를 구현하는 컴퓨터 프로그램 제품은 컴퓨팅 환경에서 하나 이상의 프로세서들에 의해 번역될 수 있는 컴퓨터 명령어들을 저장하는 하나 이상의 비-일시적 컴퓨터 판독가능 매체들을 포함할 수 있다.
"프로세서"는 데이터, 신호들 또는 다른 정보를 처리하는 임의의 하드웨어 시스템, 메커니즘 또는 구성요소를 포함한다. 프로세서는 범용 중앙 처리 유닛, 다수의 처리 유닛들, 기능성을 달성하기 위한 전용 회로부, 또는 다른 시스템들을 구비한 시스템을 포함할 수 있다. 처리는 지리적 위치에 한정되거나 시간 제한들을 가질 필요가 없다. 예를 들어, 프로세서는 그의 기능들을 "실시간", "오프라인", "배치(batch) 모드" 등으로 수행할 수 있다. 처리의 일부들은 서로 다른 시간들에서 및 서로 다른 위치들에서 서로 다른(혹은 동일한) 처리 시스템들에 의해 수행될 수 있다.
본 명세서에서 사용된 바와 같은, "포함한다", "포함하는", "가진다", "갖는" 또는 이들의 임의의 다른 변형의 용어들은 비-배타적으로 포함(non-exclusive inclusion)하는 것을 의미한다. 예를 들어, 구성요소들의 리스트를 포함하는 프로세스, 제품, 물건, 또는 장치는 반드시 그 구성요소들만으로 제한되는 것은 아니라, 명시적으로 나열되지 않았거나 이러한 프로세스, 제품, 물건, 또는 장치에 고유한 다른 구성요소들을 포함할 수 있다.
또한, 본 명세서에 사용된 "또는"의 용어는 달리 지적되지 않는다면 일반적으로 "및/또는"을 의미한다. 예를 들어, 조건 A 또는 B는 다음 중 어느 하나에 의해 만족된다: A가 참이고(또는 존재하고) B는 거짓이다(또는 존재하지 않는다), A가 거짓이고(또는 존재하지 않고) B가 참이다(또는 존재한다), 및 A와 B는 둘 다 참이다(또는 존재한다). 다음에 오는 청구범위를 포함하여 본 명세서에서 사용된 바와 같은, 선행 용어의 부정관사 "a" 또는 "an"(그리고 선행 기초가 "a"나 "an"일 때의 정관사 "the(상기)")는 청구범위 내에서 분명하게 달리 지적되지 않는다면 (즉, 참조 기호 "a" 또는 "an"이 단지 단수만을 혹은 복수만을 명확하게 가리킨다고 지적되지 않는다면) 이러한 용어의 단수 및 복수를 둘 다 포함한다. 또한, 본 명세서의 상세한 설명에서 그리고 다음의 청구범위 전체에 걸쳐 사용된 바와 같은, "in(내(內))"의 의미는 문맥이 명확하게 달리 지시하지 않는 한 "in" 및 "on(상(上))"을 포함한다.
도면들/도표들에 도시된 하나 이상의 요소들은 더 분리되거나 집적되는 방식으로 또한 구현될 수 있고 특정 애플리케이션에 따라 유용하며, 또는 특정 경우들에서는 작동 불능으로 제거되거나 렌더링될 수 있음이 이해될 것이다. 또한, 도면들에 도시된 임의의 신호 화살표들은 달리 특별히 언급되지 않는 한, 단지 예시로서 고려되어야 하고 이들로 한정되지 않는다.

Claims (30)

  1. 비-터치 제스처 인식을 위한 방법으로서,
    복수의 제스처-관련 신호들을 연관된 복수의 검출 센서들을 이용하여 검출하는 것; 그리고
    상기 비-터치 제스처가 소정 세트의 제스처들 중 하나의 제스처에 해당하는지를 결정하기 위해 시작 이벤트가 결정된 이후에 자동 인식 기술을 이용하여 상기 복수의 제스처-관련 신호들로부터 검출된 비-터치 제스처를 평가하는 것을 포함하고,
    상기 시작 이벤트를 결정함에 있어서, 타겟 오브젝트와 적어도 하나의 센서 사이의 거리가 감소하고 그리고 상기 타겟 오브젝트와 적어도 또 하나의 센서 사이의 거리가 증가하고 그리고 소정의 복수의 신호 샘플들에 걸친 단기 분산값 또는 동등한 측정값이 문턱치보다 큰 경우에, 상기 시작 이벤트가 결정되는, 비-터치 제스처 인식을 위한 방법.
  2. 제 1 항에 있어서,
    상기 제스처를 평가하는 것은 제스처의 정지를 결정하는 것을 포함하는, 비-터치 제스처 인식을 위한 방법.
  3. 제 2 항에 있어서,
    주어진 시간에서는 상기 타겟 오브젝트와 모든 센서들 사이의 거리들이 감소하고 그리고 소정의 복수의 신호 샘플들에 걸친 단기 분산값 또는 동등한 측정값이 문턱치보다 작고, 상기 주어진 시간 이후에는 신호 변화들이 소정의 복수의 신호 샘플들에 대한 소정 문턱치보다 작은 경우에, 상기 제스처의 상기 정지가 결정되는, 비-터치 제스처 인식을 위한 방법.
  4. 제 1 항에 있어서,
    각각의 제스처는 하나 이상의 은닉 마르코프 모델들(Hidden Markov Models)로 표현되는, 비-터치 제스처 인식을 위한 방법.
  5. 제 4 항에 있어서,
    제스처를 평가하는 것은 하나 이상의 은닉 마르코프 모델들에 대한 확률 측정값들을 평가하는 것을 포함하는, 비-터치 제스처 인식을 위한 방법.
  6. 제 4 항에 있어서,
    상기 하나 이상의 은닉 마르코프 모델들의 관찰 매트릭스들이 연관되는 특징들은 비(non)-양자화된 또는 양자화된 센서 신호 레벨들, x/y/z 위치, 거리들, 방향, 방위(orientation), 각도들 및 이들의 시간에 관한 1차, 2차 또는 고차 도함수(derivative)들, 또는 이들의 임의의 결합인, 비-터치 제스처 인식을 위한 방법.
  7. 제 4 항에 있어서,
    상기 하나 이상의 은닉 마르코프 모델들의 관찰 매트릭스들이 연관되는 특징들은 2개의 양자화 레벨들로 양자화된 센서 신호 레벨들의 1차 도함수들인, 비-터치 제스처 인식을 위한 방법.
  8. 제 5 항에 있어서,
    각각의 새로운 신호 샘플 또는 특징에 대해, 각각의 은닉 마르코프 모델의 상기 확률이 업데이트되는, 비-터치 제스처 인식을 위한 방법.
  9. 제 8 항에 있어서,
    은닉 마르코프 모델의 상기 확률이 소정 문턱치를 초과하면, 상기 인식은 정지되는, 비-터치 제스처 인식을 위한 방법.
  10. 센서 구조부 및 관련 검출 전극들에 의해 발생된 교류 전기장을 이용하는 제스처 인식을 위한 시스템으로서,
    비-터치 제스처가 수행되고, 전극 신호들은 상기 제스처의 시작과 정지 사이에서 은닉 마르코프 모델들을 사용하여 평가되고, 제스처의 결정을 위한 시작 및 정지 기준들이 결정되고, 그리고 상기 은닉 마르코프 모델들의 확률들을 평가하는데 사용된 특징 시퀀스들은 2개의 양자화 레벨들로 양자화된 센서 신호 레벨들의 1차 도함수들이고,
    상기 제스처의 상기 시작을 결정함에 있어서, 타겟 오브젝트와 적어도 하나의 검출 전극 사이의 거리가 감소하고 그리고 상기 타겟 오브젝트와 적어도 또 하나의 검출 전극 사이의 거리가 증가하고 그리고 소정의 복수의 신호 샘플들에 걸친 단기 분산값 또는 동등한 측정값이 문턱치보다 큰 경우에, 상기 시작이 결정되는, 제스처 인식을 위한 시스템.
  11. 제스처 인식을 위한 시스템으로서,
    연관된 복수의 검출 센서들을 이용하여 복수의 제스처-관련 신호들을 검출하기 위한 센서 구조부; 및
    비-터치 제스처가 소정 세트의 제스처들 중 하나의 제스처에 해당하는지를 결정하기 위해 시작 이벤트가 결정된 이후에 자동 인식 기술을 이용하여 상기 복수의 제스처-관련 신호들로부터 검출된 상기 비-터치 제스처를 평가하기 위한 모듈을 포함하고,
    상기 시작 이벤트는, 타겟 오브젝트와 적어도 하나의 센서 사이의 거리가 감소하고 그리고 상기 타겟 오브젝트와 적어도 또 하나의 센서 사이의 거리가 증가하고 그리고 소정의 복수의 신호 샘플들에 걸친 단기 분산값 또는 동등한 측정값이 문턱치보다 큰 경우에 결정되는, 제스처 인식을 위한 시스템.
  12. 제 11 항에 있어서,
    상기 센서 구조부는 교류 전기장을 생성하도록 구성되고 그리고 관련 검출 전극들을 포함하고,
    전극 신호들은 하나 이상의 은닉 마르코프 모델들(Hidden Markov Models)을 사용하여 평가되는, 제스처 인식을 위한 시스템.
  13. 제 12 항에 있어서,
    상기 센서 구조부는 상기 교류 전기장을 생성하기 위한 송신 전극 및 적어도 4개의 수신 전극들을 포함하는, 제스처 인식을 위한 시스템.
  14. 제 11 항에 있어서,
    상기 제스처의 정지는, 주어진 시간에서는 상기 타겟 오브젝트와 모든 센서들 사이의 거리들이 감소하고 그리고 소정의 복수의 신호 샘플들에 걸친 단기 분산값 또는 동등한 측정값이 문턱치보다 작고, 상기 주어진 시간 이후에는 신호 변화들이 소정의 복수의 신호 샘플들에 대한 소정 문턱치보다 작은 경우에, 결정되는, 제스처 인식을 위한 시스템.
  15. 제 11 항에 있어서,
    각각의 제스처는 하나 이상의 은닉 마르코프 모델들로 표현되는, 제스처 인식을 위한 시스템.
  16. 제 15 항에 있어서,
    제스처를 평가하는 것은 하나 이상의 은닉 마르코프 모델들에 대한 확률 측정값들을 평가하는 것을 포함하는, 제스처 인식을 위한 시스템.
  17. 제 15 항에 있어서,
    상기 하나 이상의 은닉 마르코프 모델들의 관찰 매트릭스들이 연관되는 특징들은 비(non)-양자화된 또는 양자화된 센서 신호 레벨들, x/y/z 위치, 거리들, 방향, 방위(orientation), 각도들 및 이들의 시간에 관한 1차, 2차 또는 고차 도함수들, 또는 이들의 임의의 결합인, 제스처 인식을 위한 시스템.
  18. 제 15 항에 있어서,
    상기 하나 이상의 은닉 마르코프 모델들의 관찰 매트릭스들이 연관되는 특징들은 2개의 양자화 레벨들로 양자화된 센서 신호 레벨들의 1차 도함수들인, 제스처 인식을 위한 시스템.
  19. 제 16 항에 있어서,
    각각의 새로운 신호 샘플 또는 특징에 대해, 각각의 은닉 마르코프 모델의 상기 확률은 업데이트되는, 제스처 인식을 위한 시스템.
  20. 제 19 항에 있어서,
    은닉 마르코프 모델의 상기 확률이 소정 문턱치를 초과하면, 상기 인식은 정지되는, 제스처 인식을 위한 시스템.
  21. 하나 이상의 비(non)-일시적 기계 판독가능 프로그램 명령어들을 포함하는 컴퓨터 판독가능 매체로서,
    상기 명령어들은,
    복수의 검출 센서들을 이용하여 복수의 제스처-관련 신호들을 수신하고, 그리고
    비-터치 제스처가 소정 세트의 제스처들 중 하나의 제스처에 해당하는지를 결정하기 위해 시작 이벤트가 결정된 이후에 자동 인식 기술을 이용하여 상기 복수의 제스처-관련 신호들로부터 검출된 상기 비-터치 제스처를 평가하며,
    상기 시작 이벤트는, 타겟 오브젝트와 적어도 하나의 센서 사이의 거리가 감소하고 그리고 상기 타겟 오브젝트와 적어도 또 하나의 센서 사이의 거리가 증가하고 그리고 소정의 복수의 신호 샘플들에 걸친 단기 분산값 또는 동등한 측정값이 문턱치보다 큰 경우에, 결정되는, 컴퓨터 판독가능 매체.
  22. 제 21 항에 있어서,
    상기 제스처의 정지는, 주어진 시간에서는 상기 타겟 오브젝트와 모든 센서들 사이의 거리들이 감소하고 그리고 소정의 복수의 신호 샘플들에 걸친 단기 분산값 또는 동등한 측정값이 문턱치보다 작고, 상기 주어진 시간 이후에는 신호 변화들이 소정의 복수의 신호 샘플들에 대한 소정 문턱치보다 작은 경우에, 결정되는, 컴퓨터 판독가능 매체.
  23. 제 21 항에 있어서,
    각각의 제스처는 하나 이상의 은닉 마르코프 모델들로 표현되는, 컴퓨터 판독가능 매체.
  24. 제 23 항에 있어서,
    제스처를 평가하는 것은 하나 이상의 은닉 마르코프 모델들에 대한 확률 측정값을 평가하는 것을 포함하는, 컴퓨터 판독가능 매체.
  25. 제 23 항에 있어서,
    상기 은닉 마르코프 모델들의 관찰 매트릭스들이 연관되는 특징들은 비(non)-양자화된 또는 양자화된 센서 신호 레벨들, x/y/z 위치, 거리들, 방향, 방위(orientation), 각도들 및 이들의 시간에 관한 1차, 2차 또는 고차 도함수들, 또는 이들의 임의의 결합인, 컴퓨터 판독가능 매체.
  26. 제 23 항에 있어서,
    상기 은닉 마르코프 모델들의 관찰 매트릭스들이 연관되는 특징들은 2개의 양자화 레벨들로 양자화된 센서 신호 레벨들의 1차 도함수들인, 컴퓨터 판독가능 매체.
  27. 제 24 항에 있어서,
    각각의 새로운 신호 샘플 또는 특징에 대해, 각각의 은닉 마르코프 모델의 상기 확률은 업데이트되는, 컴퓨터 판독가능 매체.
  28. 제 27 항에 있어서,
    은닉 마르코프 모델의 상기 확률이 소정 문턱치를 초과하면, 상기 인식은 정지되는, 컴퓨터 판독가능 매체.
  29. 제스처 인식을 위한 방법으로서,
    복수의 제스처-관련 신호들을 연관된 복수의 검출 센서들을 이용하여 검출하는 것 - 제스처는 표면을 터치하지 않고도 수행됨 -; 그리고
    상기 제스처가 소정 세트의 제스처들 중 하나의 제스처에 해당하는지를 결정하기 위해 시작 이벤트가 결정된 이후에 자동 인식 기술을 이용하여 상기 복수의 제스처-관련 신호들로부터 검출된 상기 제스처를 평가하는 것을 포함하고,
    각각의 제스처는 하나 이상의 은닉 마르코프 모델들(Hidden Markov Models; HMM)로 표현되고, 상기 하나 이상의 은닉 마르코프 모델들의 관찰 매트릭스들이 연관되는 특징들은 2개의 양자화 레벨들로 양자화된 센서 신호 레벨들의 1차 도함수들이고,
    상기 시작 이벤트를 결정함에 있어서, 타겟 오브젝트와 적어도 하나의 센서 사이의 거리가 감소하고 그리고 상기 타겟 오브젝트와 적어도 또 하나의 센서 사이의 거리가 증가하고 그리고 소정의 복수의 신호 샘플들에 걸친 단기 분산값 또는 동등한 측정값이 문턱치보다 큰 경우에, 상기 시작 이벤트가 결정되는, 제스처 인식을 위한 방법.
  30. 제스처 인식을 위한 시스템으로서,
    복수의 제스처-관련 신호들을 연관된 복수의 검출 센서들을 이용하여 검출하기 위한 센서 구조부; 및
    비-터치 제스처가 소정 세트의 제스처들 중 하나의 제스처에 해당하는지를 결정하기 위해 시작 이벤트가 결정된 이후에 자동 인식 기술을 이용하여 상기 복수의 제스처-관련 신호들로부터 검출된 상기 비-터치 제스처를 평가하기 위한 모듈을 포함하고,
    각각의 제스처는 하나 이상의 은닉 마르코프 모델들(Hidden Markov Models)로 표현되고, 상기 하나 이상의 은닉 마르코프 모델들의 관찰 매트릭스들이 연관되는 특징들은 2개의 양자화 레벨들로 양자화된 센서 신호 레벨들의 1차 도함수들이고,
    상기 시작 이벤트를 결정함에 있어서, 타겟 오브젝트와 적어도 하나의 센서 사이의 거리가 감소하고 그리고 상기 타겟 오브젝트와 적어도 또 하나의 센서 사이의 거리가 증가하고 그리고 소정의 복수의 신호 샘플들에 걸친 단기 분산값 또는 동등한 측정값이 문턱치보다 큰 경우에, 상기 시작 이벤트가 결정되는, 제스처 인식을 위한 시스템.
KR1020207029857A 2012-08-16 2013-08-15 센서 시스템을 위한 자동 제스처 인식 KR102380885B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201261684039P 2012-08-16 2012-08-16
US61/684,039 2012-08-16
US13/967,314 US9323985B2 (en) 2012-08-16 2013-08-14 Automatic gesture recognition for a sensor system
US13/967,314 2013-08-14
PCT/EP2013/067098 WO2014029691A1 (en) 2012-08-16 2013-08-15 Automatic gesture recognition for a sensor system
KR20157006066A KR20150043386A (ko) 2012-08-16 2013-08-15 센서 시스템을 위한 자동 제스처 인식

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR20157006066A Division KR20150043386A (ko) 2012-08-16 2013-08-15 센서 시스템을 위한 자동 제스처 인식

Publications (2)

Publication Number Publication Date
KR20200123262A true KR20200123262A (ko) 2020-10-28
KR102380885B1 KR102380885B1 (ko) 2022-04-01

Family

ID=50100052

Family Applications (2)

Application Number Title Priority Date Filing Date
KR20157006066A KR20150043386A (ko) 2012-08-16 2013-08-15 센서 시스템을 위한 자동 제스처 인식
KR1020207029857A KR102380885B1 (ko) 2012-08-16 2013-08-15 센서 시스템을 위한 자동 제스처 인식

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR20157006066A KR20150043386A (ko) 2012-08-16 2013-08-15 센서 시스템을 위한 자동 제스처 인식

Country Status (7)

Country Link
US (1) US9323985B2 (ko)
EP (1) EP2885687B1 (ko)
JP (1) JP2015524977A (ko)
KR (2) KR20150043386A (ko)
CN (1) CN104662491B (ko)
TW (1) TWI564785B (ko)
WO (1) WO2014029691A1 (ko)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9625997B2 (en) 2013-07-19 2017-04-18 Microchip Technology Incorporated Human interface device and method
US9665204B2 (en) * 2013-10-04 2017-05-30 Microchip Technology Incorporated Continuous circle gesture detection for a sensor system
US9817521B2 (en) 2013-11-02 2017-11-14 At&T Intellectual Property I, L.P. Gesture detection
US10025431B2 (en) 2013-11-13 2018-07-17 At&T Intellectual Property I, L.P. Gesture detection
US20150253860A1 (en) * 2014-03-07 2015-09-10 Fresenius Medical Care Holdings, Inc. E-field sensing of non-contact gesture input for controlling a medical device
KR20170009979A (ko) * 2014-05-28 2017-01-25 톰슨 라이센싱 터치 입력을 위한 방법 및 시스템
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US10042525B2 (en) * 2014-07-01 2018-08-07 De'longhi Appliances S.R.L. Coffee machine and relative method for commanding it
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US10268321B2 (en) 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
CN107430445B (zh) 2015-02-13 2020-09-01 斯旺解决方案公司 用于控制终端装置的系统和方法
KR102307055B1 (ko) * 2015-04-28 2021-10-01 삼성전자주식회사 이벤트 기반 센서의 출력에 기초하여 정적 패턴을 추출하는 방법 및 장치
WO2016176574A1 (en) 2015-04-30 2016-11-03 Google Inc. Wide-field radar-based gesture recognition
KR102328589B1 (ko) 2015-04-30 2021-11-17 구글 엘엘씨 제스처 추적 및 인식을 위한 rf―기반 마이크로―모션 추적
WO2016176606A1 (en) 2015-04-30 2016-11-03 Google Inc. Type-agnostic rf signal representations
US9693592B2 (en) 2015-05-27 2017-07-04 Google Inc. Attaching electronic components to interactive textiles
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US9507974B1 (en) * 2015-06-10 2016-11-29 Hand Held Products, Inc. Indicia-reading systems having an interface with a user's nervous system
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US10359929B2 (en) * 2015-11-09 2019-07-23 Analog Devices, Inc. Slider and gesture recognition using capacitive sensing
US9857881B2 (en) 2015-12-31 2018-01-02 Microsoft Technology Licensing, Llc Electrical device for hand gestures detection
CN105744434B (zh) * 2016-02-25 2019-01-11 深圳市广懋创新科技有限公司 一种基于手势识别的智能音箱控制方法及系统
US10492302B2 (en) 2016-05-03 2019-11-26 Google Llc Connecting an electronic component to an interactive textile
US10285456B2 (en) 2016-05-16 2019-05-14 Google Llc Interactive fabric
WO2017200570A1 (en) 2016-05-16 2017-11-23 Google Llc Interactive object with multiple electronics modules
US10929767B2 (en) 2016-05-25 2021-02-23 International Business Machines Corporation Method for complex events detection using hidden markov models
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
KR102635976B1 (ko) * 2016-12-30 2024-02-13 에스엘 주식회사 제스처 인식 장치
US20200026360A1 (en) * 2018-07-19 2020-01-23 Infineon Technologies Ag Gesture Detection System and Method Using Radar Sensors
US11416077B2 (en) 2018-07-19 2022-08-16 Infineon Technologies Ag Gesture detection system and method using a radar sensor
JP7298447B2 (ja) 2019-11-08 2023-06-27 横河電機株式会社 検出装置、検出方法及び検出プログラム
CN114515146B (zh) * 2020-11-17 2024-03-22 北京机械设备研究所 基于电学测量的智能手势识别方法及系统
DE102020215252A1 (de) 2020-12-03 2022-06-09 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur radarbasierten Gestenklassifikation und Radarsensor
CN112883849A (zh) * 2021-02-02 2021-06-01 北京小米松果电子有限公司 识别手势的方法、装置、存储介质及终端设备
CN117742502B (zh) * 2024-02-08 2024-05-03 安徽大学 一种基于电容、距离传感器的双模态手势识别系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120025904A (ko) * 2010-09-08 2012-03-16 고려대학교 산학협력단 언터치 방식의 제스쳐 인식 방법 및 장치
KR101141936B1 (ko) * 2010-10-29 2012-05-07 동명대학교산학협력단 광류장 기반의 손 이미지 영역 검출 방법 및 그 검출 방법에 의한 손동작 인식 방법

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6028271A (en) * 1992-06-08 2000-02-22 Synaptics, Inc. Object position detector with edge motion feature and gesture recognition
EP0849697B1 (en) * 1996-12-20 2003-02-12 Hitachi Europe Limited A hand gesture recognition system and method
TW200907764A (en) * 2007-08-01 2009-02-16 Unique Instr Co Ltd Three-dimensional virtual input and simulation apparatus
WO2009026337A1 (en) * 2007-08-20 2009-02-26 Gesturetek, Inc. Enhanced rejection of out-of-vocabulary words
US9261979B2 (en) * 2007-08-20 2016-02-16 Qualcomm Incorporated Gesture-based mobile interaction
US8225343B2 (en) * 2008-01-11 2012-07-17 Sony Computer Entertainment America Llc Gesture cataloging and recognition
US8280732B2 (en) 2008-03-27 2012-10-02 Wolfgang Richter System and method for multidimensional gesture analysis
US20090322701A1 (en) * 2008-06-30 2009-12-31 Tyco Electronics Corporation Method and apparatus for detecting two simultaneous touches and gestures on a resistive touchscreen
US20100071965A1 (en) 2008-09-23 2010-03-25 Panasonic Corporation System and method for grab and drop gesture recognition
US9009053B2 (en) * 2008-11-10 2015-04-14 Google Inc. Multisensory speech detection
US20100153890A1 (en) 2008-12-11 2010-06-17 Nokia Corporation Method, Apparatus and Computer Program Product for Providing a Predictive Model for Drawing Using Touch Screen Devices
US7996793B2 (en) * 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
FR2950713A1 (fr) * 2009-09-29 2011-04-01 Movea Sa Systeme et procede de reconnaissance de gestes
US8922485B1 (en) * 2009-12-18 2014-12-30 Google Inc. Behavioral recognition on mobile devices
DE102010007455B4 (de) 2010-02-10 2024-06-27 Microchip Technology Germany Gmbh System und Verfahren zum berührungslosen Erfassen und Erkennen von Gesten in einem dreidimensionalen Raum
US20110283241A1 (en) * 2010-05-14 2011-11-17 Google Inc. Touch Gesture Actions From A Device's Lock Screen
US8457353B2 (en) * 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
US8253684B1 (en) * 2010-11-02 2012-08-28 Google Inc. Position and orientation determination for a mobile computing device
US20120226981A1 (en) * 2011-03-02 2012-09-06 Microsoft Corporation Controlling electronic devices in a multimedia system through a natural user interface
US8760395B2 (en) * 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
JP2013080015A (ja) * 2011-09-30 2013-05-02 Toshiba Corp 音声認識装置および音声認識方法
US8862104B2 (en) * 2012-06-29 2014-10-14 Intel Corporation System and method for gesture-based management

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120025904A (ko) * 2010-09-08 2012-03-16 고려대학교 산학협력단 언터치 방식의 제스쳐 인식 방법 및 장치
KR101141936B1 (ko) * 2010-10-29 2012-05-07 동명대학교산학협력단 광류장 기반의 손 이미지 영역 검출 방법 및 그 검출 방법에 의한 손동작 인식 방법

Also Published As

Publication number Publication date
KR20150043386A (ko) 2015-04-22
JP2015524977A (ja) 2015-08-27
US9323985B2 (en) 2016-04-26
KR102380885B1 (ko) 2022-04-01
WO2014029691A1 (en) 2014-02-27
CN104662491B (zh) 2018-01-19
EP2885687B1 (en) 2019-06-05
US20140050354A1 (en) 2014-02-20
EP2885687A1 (en) 2015-06-24
TWI564785B (zh) 2017-01-01
CN104662491A (zh) 2015-05-27
TW201413568A (zh) 2014-04-01

Similar Documents

Publication Publication Date Title
KR102380885B1 (ko) 센서 시스템을 위한 자동 제스처 인식
CN107644642B (zh) 语义识别方法、装置、存储介质及电子设备
US9535506B2 (en) Efficient gesture processing
EP3215981B1 (en) Nonparametric model for detection of spatially diverse temporal patterns
WO2015167810A1 (en) Touch panel scan control
US9746929B2 (en) Gesture recognition using gesture elements
EP2895943B1 (en) Noise detection and correction routines
EP2840471A1 (en) Method, device, and electronic terminal for unlocking
US20150149801A1 (en) Complex wakeup gesture framework
WO2014055791A1 (en) Incremental feature-based gesture-keyboard decoding
CN108351715B (zh) 应用于人体触摸的常驻传感器设备
WO2019206279A1 (zh) 智能设备控制方法
Lin et al. Tracking touched trajectory on capacitive touch panels using an adjustable weighted prediction covariance matrix
US20240192806A1 (en) Diffusion-based handedness classification for touch-based input
Darbar et al. Magitext: Around device magnetic interaction for 3d space text entry in smartphone
US11755149B1 (en) Systems and methods for using statistical inference to enhance the precision of sparsified capacitive-touch and other human-interface devices
US11762515B1 (en) Touch and hover sensing on single-layer segmented sheets
Marasović et al. User-dependent gesture recognition on Android handheld devices
Mali et al. Hand gestures recognition using inertial sensors through deep learning
US9323358B2 (en) Correcting location errors in tactile input device
WO2015016894A1 (en) Gesture detection

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant