KR20130141657A - 제스처 인식을 위한 시스템 및 방법 - Google Patents

제스처 인식을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20130141657A
KR20130141657A KR1020137019996A KR20137019996A KR20130141657A KR 20130141657 A KR20130141657 A KR 20130141657A KR 1020137019996 A KR1020137019996 A KR 1020137019996A KR 20137019996 A KR20137019996 A KR 20137019996A KR 20130141657 A KR20130141657 A KR 20130141657A
Authority
KR
South Korea
Prior art keywords
gesture
model
sequence
user
input images
Prior art date
Application number
KR1020137019996A
Other languages
English (en)
Inventor
지에 조우
푸 쳉
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20130141657A publication Critical patent/KR20130141657A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/84—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using probabilistic graphical models from image or video features, e.g. Markov models or Bayesian networks
    • G06V10/85—Markov-related models; Markov random fields
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

제스처 스포팅 및 인식을 위한 시스템 및 방법이 제공된다. 사용자의 손 궤적의 은닉 마르코프 모델들(HMM) 및 기하학적 특징 분포들을 사용해서 적응 제스처 인식을 달성하는 시스템 및 방법이 또한 제공된다. 본 시스템 및 방법은 특정 사용자의 입력 이미지들의 시퀀스를 획득하고(202), 사용자의 손 궤적(a hand trajectory)으로부터 추출된 제스처 모델 및 기하학적 특징들에 기초하여 입력 이미지들의 시퀀스로부터 특정 사용자의 제스처를 인식한다(204). 제스처 모델의 상태 전이점들이 검출되고, 제스처의 검출된 상태 전이점들 및 개시점의 상대 위치들에 기초하여 사용자의 손 궤적의 기하학적 특징들이 추출된다. 본 시스템 및 방법은 적응 데이터에 기초하여 특정 사용자에 대해 제스처 모델 및 기하학적 특징 분포를 또한 적응시킨다(206).

Description

제스처 인식을 위한 시스템 및 방법{SYSTEM AND METHOD FOR GESTURE RECOGNITION}
본 발명은 일반적으로 컴퓨터 그래픽 프로세싱 및 제스처 인식 시스템들에 관한 것으로, 특히, 제스처 스포팅 및 인식을 위한 시스템 및 방법에 관한 것이다. 또한, 적응 제스처 인식을 달성하기 위해 사용자의 손의 궤적의 은닉 마르코프 모델(HMM) 및 기하학적 특징 분포들을 사용하는 시스템들 및 방법들이 제공된다.
수화 인식, 멀티 모드 휴먼 컴퓨터 상호 작용, 가상 현실 및 로봇 제어에서의 잠정적인 사용으로 인해 제스처 인식은 점점 더 많은 주목을 받고 있다. 대부분의 제스처 인식 방법들은 입력 이미지들의 관측된 시퀀스들을 훈련 샘플들 또는 모델과 매치한다. 입력 시퀀스는 샘플들 또는 모델이 가장 잘 매치하는 제스처 클래스로서 분류된다. 동적 시간 워핑(DTW), 연속 동적 프로그래밍(CDP), 은닉 마르코프 모델(HMM) 및 조건부 랜덤 필드(CRF)가 제스처 분류기들의 일례들이다.
HMM 매치는 제스처 인식을 위해 가장 널리 사용되는 기술이다. 그러나, 이러한 종류의 방법은, 제스처 인식에 효과적임을 증명한, 손의 궤적의 기하학적 정보를 사용할 수 없다. 손 궤적을 사용하는 이전 방법들에서, 손 궤적은 전체로서 취해지고, x 및 y 축의 평균 손의 위치, 관측된 손들의 x 및 y 위치들의 왜도(skewness) 등의, 궤적의 모양을 반영하는 일부 기하학적 특징들이 인식을 위한 베이지안 분류기(Bayesian classifier)의 입력으로서 추출된다. 그러나, 이 방법은 손 제스처를 정확하게 기술할 수 없다.
온라인 제스처 인식의 경우, 제스처 스포팅, 즉, 제스처의 개시점 및 종료점의 결정은 매우 중요하지만 어려운 일이다. 제스처 스포팅을 위한 두 타입들의 방식들: 직접적인 방식 및 간접적인 방식이 있다. 직접적인 방식에서, 속도, 가속도 및 궤적 곡률(trajectory curvature) 등의 움직임 파라미터들이 먼저 계산되고, 이러한 파라미터들의 갑작스런 변경들이 발견되어 후보 제스처 경계들이 식별된다. 그러나, 이러한 방법들은 충분히 정확하지 않다. 간접적인 방식들은 제스처 스포팅 및 제스처 인식을 조합한다. 입력 시퀀스에 대하여, 간접적인 방식들은 훈련 샘플들 또는 모델들과 매치될 때 높은 인식 스코어들을 제공하는 간격들을 찾아서, 제스처들의 일시적인 세그먼트화 및 인식을 동시에 달성한다. 그러나, 이러한 방법들은 대개 시간 소모적이고, 제스처들의 일부 거짓 검출이 발생할 수 있다. 한 종래의 방식은 시스템의 속도뿐만 아니라 정확성을 향상시키기 위해 전지 기법(a pruning strategy)을 사용하기를 제안한다. 그러나, 본 방법은 손 궤적의 단일점과 단일 모델 상태 간의 양립성(compatibility)에 기초하여 간단히 전지한다. 현재 관측의 공산이 임계값 미만이면, 매치 가설(match hypothesis)은 전지될 것이다. 이 간단한 기법에 기초한 전지 분류기는 훈련 데이터에 쉽게 과적응될 수 있다.
따라서, 더 정확하고 강력한 제스처 스포팅 및 인식 기술들이 필요하다.
게다가, 상이한 사용자들의 제스처들은 통상 속도, 개시점 및 종료점, 회전점들의 각도들 등의 면에서 상이하다. 따라서, 인식 시스템을 특정 사용자들에게 적응시키기 위해 분류기들을 어떻게 조정할 지를 연구하는 것이 매우 중요하다.
이전에, 소수의 연구가들만이 적응 제스처 인식을 연구해왔다. 한 종래 기술은 새로운 샘플들로 HMM 모델들을 재훈련해서 제스처 시스템의 적응을 달성한다. 그러나, 이 방법은 이전 샘플들의 정보를 손실하고, 잡음 데이터에 민감하다. 다른 기술은 Baum-Welch 방법의 온라인 버전을 사용해서 제스처 분류기들의 온라인 학습 및 갱신을 실현하고, 간단한 제스처 온라인을 학습할 수 있는 시스템을 개발한다. 그러나, 이 방법의 갱신 속도는 매우 느리다.
적응 제스처 인식에 대한 소수의 연구들만이 있었지만, 적응 음성 인식을 위한 다수의 방법들이 발표되어 왔다. 이러한 한 연구는 최대 사후(MAP) 파라미터 추정을 통해 HMM 모델을 갱신한다. 파라미터들의 이전 분포들을 사용해서, 강력한 파라미터 추정 및 갱신을 획득하기 위해 덜 새로운 데이터가 요구된다. 이 방법의 단점은, 새로운 샘플들이 대응 클래스의 HMM 모델만을 갱신할 수 있어서, 갱신 속도를 감소시킨다. 최대 공산 선형 회귀(MLLR)가 적응 음성 인식을 위해 널리 사용된다. 모델이 변환 후에 새로운 샘플들과 더 잘 매치할 수 있도록, 새로운 샘플들을 사용해서 모델 파라미터들의 선형 변환들의 집합을 추정한다. 모든 모델 파라미터들은 전역적인 선형 변환을 공유하거나, 또는 상이한 그룹들로 클러스터링할 수 있으며, 파라미터들의 각각의 그룹은 동일한 선형 변환을 공유한다. MLLR은 MAP의 단점을 극복할 수 있으며, 모델 갱신 속도을 향상시킬 수 있다.
따라서, 이러한 기술들을 사용하는 시스템이 특정 사용자에게 적응될 수 있도록 적응 제스처 인식을 달성하기 위한 기술들이 필요하다.
제스처 스포팅 및 인식을 위한 시스템 및 방법이 제공된다. 본 발명의 시스템 및 방법은 입력 이미지들의 시퀀스에서의 움직임 파라미터들의 갑작스런 변경들의 검출, 은닉 마르코프 모델(HMM) 매치 및 궤적 기하학적 특징들의 추출을 조합함으로써 더 정확하고 강력한 제스처 스포팅 및 인식을 달성한다.
본 발명의 일 양상에 따라, 사용자에 의해 실행되는 제스처를 스포팅하는 방법이 제공되며, 본 방법은 사용자의 입력 이미지들의 시퀀스를 획득하는 단계, 후보 개시점들로서 입력 이미지들의 시퀀스에서의 움직임 파라미터들의 갑작스런 변경들을 검출하는 단계, 입력 이미지들의 시퀀스를 제스처 모델과 매치하는 단계, 매치된 제스처 모델의 상태 전이점들을 검출하는 단계, 검출된 상태 전이점들 및 후보 개시점들에 기초하여 사용자의 손 궤적의 기하학적 특징들을 추출하는 단계, 매치된 제스처 모델 및 추출된 기하학적 특징들에 기초하여 제스처의 종료점 및 제스처 클래스를 결정하는 단계, 및 제스처의 실제 개시점을 결정하기 위해 제스처의 결정된 종료점으로부터 이미지들을 역추적하는 단계를 포함한다.
본 발명의 다른 양상에 따라, 사용자에 의해 실행되는 제스처를 스포팅하는 시스템은 사용자의 입력 이미지들의 시퀀스를 획득하는 이미지 포착 디바이스, 후보 개시점들로서 입력 이미지들의 시퀀스에서의 움직임 파라미터들의 갑작스런 변경들을 검출하는 객체 검출기 및 추적기, 입력 이미지들의 시퀀스를 제스처 모델과 매치하는 모델 매처(a model matcher), 매치된 제스처 모델의 상태 전이점들을 검출하는 전이 검출기, 검출된 상태 전이점들 및 후보 개시점들에 기초하여 사용자의 손 궤적의 기하학적 특징들을 추출하는 특징 추출기, 및 매치된 제스처 모델 및 추출된 기하학적 특징들에 기초하여 제스처의 종료점 및 제스처 클래스를 결정하고, 제스처의 실제 개시점을 결정하기 위해 제스처의 결정된 종료점으로부터 이미지들을 역추적하는 제스처 인식기를 포함한다.
적응 제스처 인식을 달성하기 위해 은닉 마르코프 모델(HMM) 및 기하학적 특징 분포들을 사용하는 제스처 인식을 위한 시스템 및 방법이 제공된다. 상이한 사용자들의 제스처들은 통상 속도, 개시점 및 종료점, 회전점들의 각도들 등의 면에서 상이하다. 본 발명은 시스템이 특정 사용자들에게 적응할 수 있도록 제스처 인식의 적응을 위한 방법을 제공한다.
본 발명의 일 양상에 따라, 사용자에 의해 실행되는 제스처를 인식하는 방법이 제공되며, 본 방법은 특정 사용자의 입력 이미지들의 시퀀스를 획득하는 단계 및 사용자의 손 궤적으로부터 추출된 제스처 모델 및 기하학적 특징들에 기초하여 입력 이미지들의 시퀀스로부터 특정 사용자의 제스처를 인식하는 단계를 포함한다.
본 발명의 다른 양상에 따라, 사용자에 의해 실행되는 제스처를 인식하는 시스템은 특정 사용자의 입력 이미지들의 시퀀스를 획득하는 이미지 포착 디바이스 및 사용자의 손 궤적으로부터 추출된 제스처 모델 및 기하학적 특징들에 기초하여 입력 이미지들의 시퀀스로부터 특정 사용자의 제스처를 인식하는 제스처 인식기를 포함한다.
본 발명의 이들 및 여타 양상들, 특징들 및 장점들은, 첨부 도면들과 함께 판독될, 양호한 실시예들의 이하의 상세한 설명으로부터 기술되거나 또는 명백해질 것이다.
도면들에서, 유사한 참조 부호들은 도면들에 걸쳐 유사한 요소들을 나타낸다.
도 1은 본 발명의 일 양상에 따른 제스처 스포팅 및 인식을 위한 시스템의 일례의 도면이다.
도 2는 본 발명의 일 양상에 따른 제스처 인식을 위한 일례의 방법의 흐름도이다.
도 3은 본 발명의 일 양상에 따른 제스처 스포팅 및 인식을 위한 일례의 방법의 흐름도이다.
도 4는 사용자에 의해 실행되는 세그먼트화된 궤적 "0"으로부터 추출된 상태 전이점들의 일례들을 도시한다.
도 5는 본 발명의 일 양상에 따라 은닉 마르코프 모델들(HMM) 및 기하학적 특징 분포들을 사용해서 제스처 인식 시스템을 훈련하기 위한 일례의 방법의 흐름도이다.
도 6은 본 발명의 일 양상에 따라 특정 사용자에 제스처 인식 시스템을 적응시키기 위한 일례의 방법의 흐름도이다.
도면(들)은 본 발명의 개념들을 설명하기 위한 것으로, 본 발명을 설명하기 위한 반드시 오직 하나의 가능한 구성이 아님을 알아야만 한다.
도면들에 도시된 요소들은 각종 형태들의 하드웨어, 소프트웨어, 또는 그 조합들의 형태로 구현될 수 있음을 알아야만 한다. 양호하게, 이러한 요소들은, 프로세서, 메모리 및 입력/출력 인터페이스들을 포함할 수 있는, 하나의 또는 그 이상의 적절히 프로그래밍된 범용 디바이스들에서 하드웨어 및 소프트웨어의 조합으로 구현된다.
본 설명은 본 발명의 원리들을 설명한다. 따라서, 본 명세서에 명확하게 기술 또는 도시되지 않더라도, 본 발명의 원리들을 구현하고 본 발명의 범위 내에 포함되는 각종 구성들을 당업자가 창안할 수 있음을 알 것이다.
본 명세서에 인용된 모든 일례들 및 조건적 언어는 본 기술 분야를 발전시키기 위해 발명인에 의해 기여된 본 발명의 원리들 및 개념들을 독자가 이해하는 것을 돕기 위한 교육학적인 목적들을 위해 의도된 것이며, 구체적으로 인용된 일례들 및 조건들로 제한되지 않는 것으로 해석될 것이다.
더욱이, 본 발명의 원리들, 양상들, 및 실시예들 뿐만 아니라 그 특정 일례들을 인용하는 본 명세서에서의 모든 문장들은, 구조적 및 기능적 동등물들을 모두 포함하도록 의도된 것이다. 또한, 이러한 동등물들은 현재 공지된 동등물들 뿐만 아니라 차후에 개발될 동등물들, 즉, 구조와 무관하게, 동일한 기능을 실행하는 개발된 임의의 요소들을 모두 포함하도록 의도된 것이다.
따라서, 예를 들어, 본 명세서에 제시된 블록도들은 본 발명의 원리들을 구현하는 예시적인 회로의 개념적인 도면들을 나타내는 것임을 당업자는 알 것이다. 유사하게, 임의의 플로챠트들, 흐름도들, 상태 전이도들, 의사 코드 등이, 컴퓨터 또는 프로세서가 명확하게 도시되든 도시되지 않든 간에, 컴퓨터 판독 가능 매체로 실제로 표현되어서 컴퓨터 또는 프로세서에 의해 실행될 수 있는 각종 프로세스들을 나타냄을 알 것이다.
도면들에 도시된 각종 요소들의 기능들은 적합한 소프트웨어와 연관해서 소프트웨어를 실행할 수 있는 하드웨어 뿐만 아니라 전용 하드웨어를 사용해서 제공될 수 있다. 프로세서에 의해 제공될 때, 단일 전용 프로세서에 의해, 단일 공유 프로세서에 의해, 또는 일부가 공유될 수 있는 복수의 개별 프로세서들에 의해, 기능들이 제공될 수 있다. 게다가, 용어 "프로세서" 또는 "제어기"의 명확한 사용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 나타내는 것으로 해석되어서는 안 되고, 제한 없이, 디지털 신호 프로세서("DSP") 하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리("ROM"), 랜덤 액세스 메모리("RAM"), 및 비휘발성 스토리지를 함축적으로 포함할 수 있다.
종래의 및/또는 커스텀의 다른 하드웨어가 또한 포함될 수 있다. 유사하게, 도면들에 도시된 임의의 스위치들은 오직 개념적인 것이다. 그 기능은 프로그램 로직의 동작을 통해, 전용 로직을 통해, 프로그램 제어 및 전용 로직의 상호 작용을 통해, 또는 심지어 수동으로 실행될 수 있으며, 특정 기술은 문맥으로부터 더 구체적으로 이해되는 바와 같이 구현인에 의해 선택될 수 있다.
청구항들에서, 지정된 기능을 실행하기 위한 수단으로서 표현된 임의의 요소는, 예를 들어, a) 기능을 실행하는 회로 요소들의 조합 또는 b) 기능을 실행하기 위해 소프트웨어를 실행하기 위한 적합한 회로와 결합된, 펌웨어, 마이크로코드 등을 포함하는, 임의의 형태의 소프트웨어를 포함하는 기능을 실행하는 임의의 방법을 망라하도록 의도된 것이다. 이러한 청구항들에 의해 정의된 본 발명은, 각종 인용된 수단에 의해 제공된 기능들이 청구항들이 요구하는 방식으로 함께 결합 및 야기된다는 사실에 속한다. 따라서, 이러한 기능들을 제공할 수 있는 임의의 수단은 본 명세서에 도시된 바와 동등하다고 간주된다.
입력 이미지들의 시퀀스에서의 움직임 파라미터들의 갑작스런 변경들의 검출, 은닉 마르코프 모델(HMM) 매치 및 궤적 기하학적 특징들의 추출을 조합하는 제스처 스포팅 및 인식을 달성하기 위한 시스템 및 방법이 제공된다. 포착된 비디오 이미지들의 입력 시퀀스가 제공되면, 비정상적인 속도 및 가속도 또는 심한 궤적 곡률들 등의 움직임 파라미터들의 갑작스런 변경들이 사용자에 의해 실행되는 제스처의 후보 개시/종료점들로서 검출될 것이다. 이 후보 개시점들로부터, 손 궤적은 HMM 모델, 즉, 각각의 제스처 클래스의 제스처 모델과 매치될 것이다. 단일 관측 분류기뿐만 아니라 손 궤적의 기하학적 특징들은 매치 가설들을 전지하는데 사용된다.
입력 시퀀스에 대하여, 검출된 해당 점들은 HMM 모델과 매치되고, HMM 모델의 상태들이 변경되는 점들이 비터비 알고리즘 또는 함수를 통해 발견된다. 이 점들은 상태 전이점들이라고 한다. 기하학적 특징들은 제스처의 상태 전이점들 및 개시점의 상대 위치들에 기초하여 제스처 모델로부터 추출된다. 이 기하학적 특징들은 종래의 방법들보다 더 정확하게 손 제스처를 기술한다. 상태 전이점들은 통상 궤적이 변경되기 시작하는 점들에 대응하고, 손 궤적을 전체로 취하고 손 궤적의 통계적 속성에 기초하여 기하학적 특징을 추출하는 종래의 방법들과 대조적으로, 이 점들 및 개시점의 상대 위치들에 기초한 추출 특징들은 제스처의 모양의 특성을 매우 잘 반영할 수 있다.
게다가, 기하학적 특징들의 추출이 HMM 모델들의 매치에 통합됨에 따라, 제스처의 타입의 인식을 도울 뿐만 아니라, 전지를 위해 추출된 기하학적 특징들을 사용하기 쉽다. 예를 들어, 상태 전이점에서 추출된 기하학적 특징들의 공산이 임계값 미만이면, 이 매치 가설은 전지될 것이다. 즉, 일부 프레임에서, 프레임을 HMM 모델의 임의의 상태와 매치하는 비용이 너무 높다고 결정되면, 본 발명의 시스템 및 방법은, 소정의 모델이 입력 시퀀스와 잘 매치하지 않으며, 다음 프레임들의 상태들과의 매치를 정지할 것이라고 결론 내린다.
전지를 위한 기하학적 특징들의 통합은 오직 단일 관측만을 사용하는 것보다 더 정확하고 강력하다. 손 궤적과 제스처 클래스 간의 HMM 모델 및 기하학적 특징 분포들의 조합에 기초하여 계산된 모델 매치 스코어가 임계값보다 더 클 때, 제스처는 세그먼트화 및 인식된다. 움직임 파라미터들의 갑작스런 변경들의 검출, HMM 모델 매치 및 궤적 기하학적 특징 추출의 이러한 조합은 기존 제스처 스포팅 방법들을 능가한다.
이제 도면들을 참조하면, 본 발명의 일 실시예에 따른 일례의 시스템 컴포넌트들이 도 1에 도시되어 있다. 이미지 포착 디바이스(102)는 제스처를 실행하는 사용자의 이미지들을 포착하기 위해 제공될 수 있다. 이미지 포착 디바이스는 임의의 공지된 이미지 포착 디바이스일 수 있으며, 디지털 스틸 카메라, 디지털 비디오 레코더, 웹 캡 등을 포함할 수 있음을 알 것이다. 포착된 이미지들은 프로세싱 디바이스(104), 예를 들어, 컴퓨터에 입력된다. 컴퓨터는 하나의 또는 그 이상의 중앙 처리 장치들(CPU) 등의 하드웨어, 랜덤 액세스 메모리(RAM) 및/또는 판독 전용 메모리(ROM) 등의 메모리(106) 및 키보드, 커서 제어 디바이스(예를 들어, 마우스 또는 조이스틱) 및 디스플레이 디바이스 등의 입력/출력(I/O) 사용자 인터페이스(들)(108)를 가진 임의의 각종 공지된 컴퓨터 플랫폼들에서 구현된다. 컴퓨터 플랫폼은 운영 체제 및 마이크로 명령 코드를 또한 포함한다. 본 명세서에 기술된 각종 프로세스들 및 기능들은 운영 체제를 통해 실행되는 마이크로 명령 코드의 일부 또는 소프트웨어 응용 프로그램의 일부(또는 그 조합)일 수 있다. 일 실시예에서, 소프트웨어 응용 프로그램은 프로세싱 디바이스(104) 등의 임의의 적합한 머신에 의해 업로드 및 실행될 수 있는, 프로그램 기억 디바이스에서 명백히 구현된다. 또한, 각종 다른 주변 장치들은 병렬 포트, 직렬 포트 또는 범용 직렬 버스(USB) 등의 각종 인터페이스들 및 버스 구조들에 의해 컴퓨터 플랫폼에 연결될 수 있다. 다른 주변 장치들은 추가 기억 디바이스들(110) 및 프린터(도시되지 않음)를 포함할 수 있다.
소프트웨어 프로그램은, 이미지들의 포착된 시퀀스에서 사용자에 의해 실행되는 제스처들을 인식하기 위해 메모리(106)에 저장된, 제스처 인식기라고도 공지된, 제스처 인식 모듈(112)을 포함한다. 제스처 인식 모듈(112)은, 관심 객체, 예를 들어, 사용자의 손을 검출하고, 포착된 이미지들의 시퀀스에 걸쳐 관심 객체를 추적하는 객체 검출기 및 추적기(114)를 포함한다. 모델 매처(116)는 HMM 모델들(118)의 데이터베이스에 저장된 적어도 하나의 HMM 모델과 검출 및 추적된 객체를 매치하기 위해 제공된다. 각각의 제스처 타입은 그와 연관된 HMM 모델을 가진다. 입력 시퀀스는 어떤 제스처 타입이 입력 시퀀스와 가장 잘 매치하는 지를 찾기 위해 상이한 제스처 타입들에 대응하는 모든 HMM 모델들과 매치된다. 예를 들어, 포착된 비디오의 각각의 프레임으로부터의 특징들의 시퀀스인 입력 시퀀스 및 상태들의 시퀀스인 제스처 모델이 제공되면, 모델 매처(116)는 각각의 프레임과 각각의 상태 간의 대응 관계를 찾는다. 모델 매처(116)는 비터비 알고리즘 또는 함수, 포워드 알고리즘 또는 함수, 포워드-백워드 알고리즘 또는 함수 등을 사용해서 매치를 실현할 수 있다.
제스처 인식 모듈(112)은 HMM 모델의 상태들이 변경되는 점들을 검출하기 위한 전이 검출기(120)를 더 포함한다. 이 점들은 상태 전이점들이라고 하며, 전이 검출기(120)에 의해 사용되는, 무엇보다, 비터비 알고리즘 또는 함수를 통해 발견 또는 검출된다. 기하학적 특징들은 특징 추출기(122)에 의해 제스처의 상태 전이점들 및 개시점의 상대 위치들에 기초하여 추출된다.
제스처 인식 모듈(112)은, 매치하는 HMM 모델을 찾기 위해 실행되는 계산들의 수를 감소시켜서 제스처 스포팅 및 검출 프로세스의 속도를 향상시키는데 사용되는, 전지기(a pruner)라고도 공지된, 전지 알고리즘 또는 함수(124)를 더 포함한다. 예를 들어, 포착된 비디오의 각각의 프레임으로부터의 특징들의 시퀀스인 입력 시퀀스 및 상태들의 시퀀스인 제스처 모델이 제공되면, 각각의 프레임과 각각의 상태 간의 대응 관계가 발견된다. 그러나, 일부 프레임에서, 전지 알고리즘 또는 함수(124)가 프레임을 임의의 상태와 매치하는 비용이 너무 높다고 생각하면, 전지 알고리즘 또는 함수(124)는 후속 프레임들을 상태들과 매치하는 것을 정지할 것이며, 소정의 모델이 입력 시퀀스와 잘 매치하지 않는다고 결론 내린다.
또한, 제스처 인식 모듈(112)은 각각의 제스처 클래스에 대해 HMM 모델들을 적응시키고 특정 사용자의 기하학적 특징 분포들을 증가하여 학습하는데 사용되는 최대 공산 선형 회귀(MLLR) 함수를 포함한다. HMM 모델들 및 기하학적 특징 분포들을 동시에 갱신해서, 제스처 인식 시스템은 사용자에게 빨리 적응할 수 있다.
도 2는 본 발명의 일 양상에 따른 제스처 인식을 위한 일례의 방법의 흐름도이다. 처음에, 프로세싱 디바이스(104)는 이미지 포착 디바이스(102)에 의해 포착된 입력 이미지들의 시퀀스를 획득한다(단계 202). 그 후, 제스처 인식 모듈(112)은 HMM 모델들 및 기하학적 특징들을 사용해서 제스처 인식을 실행한다(단계 204). 단계 204는 도 3 내지 도 4와 관련해서 더 후술될 것이다. 단계 206에서, 제스처 인식 모듈(112)은 특정 사용자의 각각의 제스처 클래스에 대해 HMM 모델들 및 기하학적 특징 분포들을 적응시킨다. 단계 206은 도 5 내지 도 6과 관련해서 더 후술될 것이다.
도 3은 본 발명의 일 양상에 따른 제스처 스포팅 및 인식을 위한 일례의 방법의 흐름도이다.
1.1 후보 개시점들 검출
처음에, 단계 302에서, 이미지들의 입력 시퀀스가 이미지 포착 디바이스(102)에 의해 포착된다. 단계 304에서, 객체 검출기 및 추적기(114)는 입력 시퀀스에서 후보 개시점들을 검출하고 시퀀스에 걸쳐 후보 개시점들을 추적한다. 손 위치 및 속도 등의 특징들은 입력 시퀀스의 각각의 프레임에서 검출된 손들을 나타내는데 사용된다. 이 특징들은 사용자의 얼굴의 위치 및 폭에 의해 정규화된다.
직접적인 제스처 스포팅 방식들처럼, 후보 개시점들은 입력 시퀀스에서의 움직임 파라미터들의 갑작스런 변경들로서 검출된다. 비정상적인 속도들 또는 심한 궤적 곡률들을 가진 점들이 후보 개시점들로서 검출된다. 통상 이 방법을 사용하는 다수의 거짓 양성 검출들이 있다. 이 점들을 제스처 경계들로서 사용하는, 직접적인 제스처 스포팅 방법들은 매우 정확하지도 강력하지도 않다. 본 발명의 방법은 상이한 기법을 사용한다. 손 궤적은 이러한 후보 개시점들로부터의 각각의 제스처 클래스의 HMM 모델과 매치되어서, 본 방법은 직접적인 및 간접적인 제스처 스포팅 방법의 이점들을 조합할 수 있다.
1.2 HMM 모델 매치
단계 306에서, 후술되는 바와 같이, 입력 이미지들의 시퀀스가 모델 매처(116)를 통해 HMM 모델(118)과 매치된다.
Q = {Q1, Q2, ...}를 특징 벡터들의 연속 시퀀스라고 하자. 여기서, Qj는 입력 이미지들의 입력 프레임 j로부터 추출된 특징 벡터이다. 손 위치 및 속도 등의 특징들은 각각의 프레임에서 검출된 손들을 나타내는데 사용된다. 이 특징들은 제스처를 실행하는 사용자의 얼굴의 위치 및 폭에 의해 정규화된다.
Figure pct00001
를 제스처 g에 대해 m+1 상태들을 가진 좌-우(left-right) HMM 모델이라고 하자. 각각의 상태 Mi g는 각각의 관측 벡터 Qj의 공산을 제공하는 가우시안 관측 밀도(Gaussian observation density)와 연관된다. Baum-Welch 알고리즘 또는 함수는 HMM 모델을 훈련하는데 사용될 것이다. Baum-Welch 알고리즘 또는 함수에 의해 통상 실행되는 바와 같이, 궤적 길이에 따라 각각의 모델에 대한 상태들의 수가 정해진다. 전이 확률들은 학습 임무를 간소화하도록 고정된다. 즉, 매 전이마다, 모델이 다음 상태로 이동하거나 또는 동일한 상태를 유지할 가능성이 동일하다.
상태 k로부터 상태 i로 전이할 전이 확률을 ak ,i라고 표기하고, 모델 상태 Mi g와 매치할 때 특징 벡터 Qj의 공산을
Figure pct00002
라고 표기하자. C는 섹션 1.1에 기술된 방법을 사용해서 검출된 후보 개시점 집합이라고 하자. M0 g는 이하와 같은 특별 상태이다
Figure pct00003
따라서, HMM 모델 매치는 이 후보 개시점들에서만 시작한다. 처음 j개의 입력 특징 벡터들(Q1, ..., Qj)를 처음 i+1 개의 모델 상태들(M0 g, ..., Mi g)과 매치할 때 최대 확률을 V(i,j)라고 표기하자. 그러면, 이하의 식이 구해진다.
Figure pct00004
(Q1, ..., Qj)와 (M0 g, ..., Mi g) 간의 최대 매치 스코어, SH(i,j)를 V(i,j)의 로그라고 하자:
Figure pct00005
수학식 2의 속성에 기초하여, 동적 프로그래밍(DP)이 최대 매치 스코어를 효율적으로 계산하는데 사용된다. DP는 (i,j)로 인덱싱된 표를 사용해서 구현된다. 새로운 특징 벡터 Qn이 입력 프레임으로부터 추출될 때, 프레임 n에 대응하는 표의 슬라이스가 계산되고, 2개의 정보 피스들이 셀 (i,n)에 저장된다: 1) i = 0, ..., m인 동안, SH(i,n)의 값, 및 2) 수학식 2를 최소화하는데 사용되는 전임자(predecessor) k. 여기서, SH(i,n)은 모델 및 프레임 i에서 종료하는 입력 시퀀스 간의 최적 매치 스코어이고, k는 이전 프레임이 최적 매치로 대응하는 상태이다. SH(m,n)은 모델 및 프레임 n에서 종료하는 입력 시퀀스 간의 최적 정렬에 대응한다. 최적 동적 프로그래밍(DP) 경로, 즉, HMM 모델의 최적 상태 시퀀스는 역추적을 사용해서 획득될 수 있다. 기존의 간접적인 방법들은 통상 SH(m,n)을 사용해서 제스처 스포팅을 달성한다. 즉, SH(m,n)이 임계값보다 더 크면, 제스처 종료점은 프레임 n으로서 검출되고, 제스처 개시점은 최적 DP 경로를 역추적함으로써 발견될 수 있다.
시스템의 속도 및 정확성을 향상시키기 위해, 종래의 시스템들은 전지 기법을 사용한다. 전지 기법은 현재 관측의 공산에 기초하여 전지한다:
Figure pct00006
이면, 셀(i,j)는 전지될 것이고, 그곳을 지나는 모든 경로가 거부될 것이다. 여기서, τ(i)는 모델 상태 i의 임계값이고 훈련 데이터로부터 학습된다. 그러나, 이 간단한 전지 기법은 충분히 정확하지 않다.
1.3 기하학적 특징 추출
본 발명의 방법에서, 기하학적 특징들의 추출은 HMM 모델 매치 프로시져에 통합된다. 입력 시퀀스에 있어서, HMM 모델의 상태 시퀀스는, 전이 검출기(120)를 통해, 단계 308에서 결정된다. HMM 상태들이 변경되는 점들이 검출된다. 도 4는 세그먼트화된 궤적 "O"로부터 추출된 상태 전이점들의 일부 일례들을 제공한다. 궤적은 사용자에 의해 실행되며 이미지 포착 디바이스(102)에 의해 포착된다. 검은 점들은 상태 전이점들이다. 상태 전이점들의 위치들은 모든 궤적들과 유사해서, 후술되는 바와 같이, 단계 310에서 특징 추출기(122)를 통해, 기하학적 특징들이 제스처의 상태 전이점들 및 개시점의 상대 위치들에 기초하여 추출됨을 알 수 있다.
제스처의 개시점을 (x0, y0) 이라고 표기하자. 전이점(xt, yt)에서 추출된 기하학적 특징들은 xt - x0, yt - y0을, 및
Figure pct00007
을 포함한다. 이 간단한 특징들은 손 궤적들의 기하학적 정보를 잘 기술할 수 있다.
각각의 제스처 클래스에 있어서, 그와 연관된 HMM 모델은 훈련 샘플들의 기하학적 특징들을 추출하는데 사용된다. 기하학적 특징들은 가우스 분포들을 따르도록 가정된다. 기하학적 특징들의 분포들은 훈련 샘플들로부터 학습된다. 그 후, 각각의 제스처 클래스는 HMM 모델 및 기하학적 특징 분포와 연관된다. 제스처 g의 기하학적 특징 분포들은 Fg = {F1 g, ..., Fm g} 라고 표기하자. 여기서, m은 Mg의 상태 수와 관련되며, Fi g는 HMM 모델의 상태가 i-1로부터 i로 변경하는 점에서 추출된 기하학적 특징들의 분포이다. 기하학적 특징들의 추출이 HMM 모델 매치 프로시져에 통합되기에, 전지를 위해 기하학적 특징들을 사용하기가 쉽다. 예를 들어, 프레임 F가 상태 전이 프레임이면, 기하학적 특징들은 프레임 F에 기초하여 추출된다. 추출된 기하학적 특징의 확률이 임계값보다 더 낮으면, 이 매치는 전지될 것이다. 즉, 다음 프레임들의 모델의 상태들과의 매치는 모델 매처(116)에 의해 정지될 것이며, 매치할 적어도 하나의 제2 제스처 모델이 선택될 것이다. 전지 프로시져는 이제 수학식 4와 관련해서 후술될 것이다.
단계 312에서, 전지 함수 또는 전지기(124)는 이하의 조건이 만족되면 셀 (i,j)를 전지할 것이다:
Figure pct00008
여기서, pre(i)는 HMM 모델 매치 중의 상태 i의 전임자이고, Gj는 점 j에서 추출된 기하학적 특징들이며, t(i)는 훈련 샘플들로부터 학습하는 임계값이고,
Figure pct00009
및 τ(i)는 섹션 1.2에 정의되어 있다.
단계 314에서, (Q1, ..., Qn) 및 (M0 g, ..., Mm g) 간의 총 매치 스코어는 제스처 인식 모듈(112)에 의해 다음과 같이 계산된다:
Figure pct00010
여기서, α는 계수이고, SH(m,n)은 HMM 매치 스코어이며, Gj (i)는 HMM 상태가 i-1로부터 i로 변경하는 점에서 추출된 기하학적 특징들이다. 제스처의 일시적인 세그먼트화는 간접적인 방법들처럼 달성된다. 즉, S(m,n)이 임계값보다 더 크면, 제스처 종료점은 프레임 n으로서 검출되고(단계 216), 제스처 개시점은 최적 DP 경로를 역추적함으로써 발견될 수 있다(단계 218). 수학식 4 및 수학식 5를 사용해서, 본 방법은 제스처 스포팅 및 인식을 위해 손 궤적의 HMM 및 기하학적 특징들을 조합해서, 시스템의 정확성을 향상시킬 수 있다.
다른 실시예에서, 적응 제스처 인식을 달성하기 위해 은닉 마르코프 모델들(HMM) 및 기하학적 특징 분포들을 사용하는 제스처 인식을 위한 시스템 및 방법이 제공된다. 본 발명의 시스템 및 방법은 제스처 인식의 사용자의 손 궤적의 HMM 모델들 및 기하학적 특징들을 조합한다. 입력 시퀀스에 있어서, 검출된 관심 객체, 예를 들어, 손은 추적되고 HMM 모델과 매치된다. HMM 모델의 상태들이 변경되는 점들은 비터비 알고리즘 또는 함수, 포워드 알고리즘 또는 함수, 포워드-백워드 알고리즘 또는 함수 등을 통해 발견된다. 이 점들은 상태 전이점들이라고 한다. 기하학적 특징들은 제스처의 상태 전이점들 및 개시점의 상대 위치들에 기초하여 추출된다. 적응 데이터, 즉, 특정 사용자가 실행한 제스처들이 제공되면, 최대 공산 선형 회귀(MLLR) 방법이 특정 사용자의 각각의 제스처 클래스에 대해 HMM 모델들을 적응시키고 기하학적 특징 분포들을 증가하여 학습하는데 사용된다. HMM 모델들 및 기하학적 특징 분포들을 동시에 갱신해서, 제스처 인식 시스템은 특정 사용자에게 빨리 적응할 수 있다.
2.1 HMM 및 궤적 기하학적 특징들을 조합하는 제스처 인식
도 5를 참조하면, 본 발명의 일 양상에 따라 은닉 마르코프 모델들(HMM) 및 기하학적 특징 분포들을 사용해서 제스처 인식 시스템을 훈련하기 위한 일례의 방법의 흐름도가 도시되어 있다.
처음에, 단계 502에서, 이미지들의 입력 시퀀스가 이미지 포착 디바이스(102)에 의해 획득 또는 포착된다. 단계 504에서, 객체 검출기 및 추적기(114)는 입력 시퀀스에서 관심 객체, 예를 들어, 사용자의 손을 검출하고 시퀀스에 걸쳐 객체를 추적한다. 손 위치 및 속도 등의 특징들은 입력 시퀀스의 각각의 프레임에서 검출된 손들을 나타내는데 사용된다. 이 특징들은 사용자의 얼굴의 위치 및 폭에 의해 정규화된다. 이미지의 프레임에서의 얼굴 중심 위치 (xf, yf), 얼굴의 폭 w, 및 손 위치(xh, yh)가 제공되면, 정규화된 손 위치는 xhn = (xh-xf)/w, yhn = (yh-yf)/w 이다. 즉, 절대 좌표들이 얼굴 중심에 대하여 상대 좌표들로 변경된다.
단계 506에서, 가우스 관측 밀도들을 가진 좌-우 HMM 모델이 검출된 손들을 제스처 모델과 매치하고 제스처 클래스를 결정하는데 사용된다. 예를 들어, 포착된 비디오의 각각의 프레임으로부터의 특징들의 시퀀스인 입력 시퀀스 및 상태들의 시퀀스인 제스처 모델이 제공되면, 모델 매처(116)는, 예를 들어, 비터비 알고리즘 또는 함수, 포워드 알고리즘 또는 함수, 또는 포워드-백워드 알고리즘 또는 함수를 통해 각각의 프레임 및 각각의 상태 간의 대응 관계를 찾는다.
다음으로, 단계 508에서, 입력 시퀀스에 있어서, 매치된 HMM 모델의 상태 시퀀스가 비터비 알고리즘 또는 함수를 사용해서 전이 검출기(120)에 의해 검출된다. HMM 모델의 상태들이 변경되는 점들이 검출된다. 단계 510에서, 기하학적 특징들은 특징 추출기(122)를 통해 제스처의 상태 전이점들 및 개시점의 상대 위치들에 기초하여 추출된다. 제스처의 개시점을 (x0, y0)라고 하자. 전이점(xt, yt)에서 추출된 기하학적 특징들은 xt - x0, yt - y0을, 및
Figure pct00011
을 포함한다. 입력 시퀀스가 제공되면, 모든 상태 전이점들에서 추출된 특징들은 입력 시퀀스의 기하학적 특징들을 형성한다. 이 간단한 특징들은 손 궤적들의 기하학적 정보를 잘 기술할 수 있다.
각각의 제스처 클래스에 있어서, 좌-우 HMM 모델이 훈련되고, 이 HMM 모델은 훈련 샘플들의 기하학적 특징들을 추출하는데 사용된다. 기하학적 특징들은 가우스 분포들을 따르도록 가정된다. 기하학적 특징들의 분포들은 훈련 샘플들로부터 학습된다. 그 후, 단계 512에서, 각각의 제스처 클래스는 HMM 모델 및 그 기하학적 특징 분포와 연관되고, 단계 514에서, 연관된 HMM 모델 및 기하학적 특징 분포가 저장된다.
i번째 제스처 클래스와 연관된 HMM 모델 및 기하학적 특징 분포를, 각각, λi 및 qi라고 표기하자. 세그먼트화된 손 궤적 O = {O1, O2, ..., Or}(즉, 검출 및 추적된 객체)을 i번째 제스처 클래스와 매치하기 위해, 기하학적 특징들 G = {G1, G2, ..., GN}가 λi를 사용해서 추출된다. 매치 스코어는 다음과 같이 제스처 인식 모듈(112)에 의해 계산된다:
Figure pct00012
여기서, α는 계수이고, p(O|λi)는 HMM 모델이 λi가 주어진 경우의 손 궤적 O의 확률이다. p(O|λi)는 포워드-백워드 알고리즘 또는 함수를 사용해서 계산될 수 있다. 입력 손 궤적은 매치 스코어가 최고인 제스처 클래스로서 분류될 것이다. 따라서, 수학식 6을 사용해서, 본 발명의 시스템 및 방법은 제스처 인식을 위해 사용자의 손 궤적(예를 들어, 검출 및 추적된 객체)의 HMM 모델들 및 기하학적 특징들을 조합할 수 있다.
2.2 제스처 인식의 적응
도 6은 본 발명의 일 양상에 따라 특정 사용자에 제스처 인식 시스템을 적응시키기 위한 일례의 방법의 흐름도이다. 적응 데이터(즉, 특정 사용자가 실행한 제스처들)가 제공되면, 본 발명의 시스템 및 방법은 최대 공산 선형 회귀(MLLR) 함수를 사용해서 각각의 제스처 클래스에 대해 HMM 모델들을 적응시키고 기하학적 특징 분포들을 증가하여 학습한다.
처음에, 단계 602에서, 이미지들의 입력 시퀀스가 이미지 포착 디바이스(102)에 의해 포착된다. 단계 604에서, 객체 검출기 및 추적기(114)는 입력 시퀀스에서 관심 객체를 검출하고 시퀀스에 걸쳐 객체를 추적한다. 단계 606에서, 가우스 관측 밀도들을 가진 좌-우 HMM 모델이 제스처 클래스를 모델링하는데 사용된다. 단계 608에서, 결정된 제스처 클래스와 연관된 기하학적 특징 분포들이 검색된다.
다음으로, 단계 610에서, HMM 모델은 최대 공산 선형 회귀(MLLR) 함수를 사용해서 특정 사용자에 대해 적응된다. 최대 공산 선형 회귀(MLLR)는 적응 음성 인식을 위해 널리 사용된다. 모델이 변환 후에 새로운 샘플들과 더 잘 매치할 수 있도록, 새로운 샘플들을 사용해서 모델 파라미터들의 선형 변환들의 집합을 추정한다. 표준 MLLR 방식에서, 가우스 밀도들의 평균 벡터들이 수학식 7에 따라 갱신된다.
Figure pct00013
여기서, W는 n×(n+1) 행렬이고 (n은 관측 특징 벡터의 차원수(dimensionality)이며) ξ는 확장된 평균 벡터이다: ξT = [1, μ1, ..., μn]. 적응 데이터, O가 일련의 T 관측들이라고 가정하자: O = o1 ... oT. 수학식 7의 W를 계산하기 위해, 최대화될 목적 함수는 적응 데이터를 생성하는 공산이다:
Figure pct00014
여기서, θ는 O를 생성하는 가능한 상태 시퀀스이고, λ는 모델 파라미터들의 집합이다. 보조 함수를 최대화함으로써
Figure pct00015
여기서, λ는 모델 파라미터들의 현재 집합이고,
Figure pct00016
는 모델 파라미터들의 재추정된 집합이며, 수학식 8의 목적 함수가 또한 최대화된다. W에 대하여 수학식 9의 최대화는 기대값-최대화(EM) 알고리즘 또는 함수로 해결될 수 있다.
그 후, 단계 612에서, 시스템은 선정된 수의 적응 샘플들에 대한 기하학적 특징 분포의 평균 및 공분산 행렬을 재추정함으로써 사용자에 대한 기하학적 특징 분포들을 증가하여 학습한다. 제스처 g의 현재 기하학적 특징 분포들을 Fg = {F1 g, ..., Fm g}라고 표기하자. 여기서, Fi g는 HMM 모델의 상태가 i-1로부터 i로 변경하는 점에서 추출된 기하학적 특징들의 분포이다. Fi g의 평균 및 공분산 행렬을, 각각, μi g 및 ∑i g 라고 가정하자. 제스처 g의 적응 데이터가 제공되면, 기하학적 특징들이 데이터로부터 추출되고, 상태가 i-1로부터 i로 변경되는 적응 데이터의 점들에서 추출된 기하학적 특징들이 집합 X = {x1, ...xk} 를 형성한다고 하자. 여기서, xi는 제스처 g의 i번째 적응 샘플로부터 추출된 특징들이고, k는 제스처 g의 적응 샘플들의 수이다. 그 후, 기하학적 특징 분포는 다음과 같이 갱신된다:
Figure pct00017
여기서,
Figure pct00018
및
Figure pct00019
는, 각각, Fi g의 재추정된 평균 및 공분산 행렬이다.
HMM 모델들 및 기하학적 특징 분포들을 동시에 갱신해서, 제스처 인식 시스템은 사용자에게 빨리 적응할 수 있다. 그 후, 특정 사용자에 대해 적응된 HMM 모델 및 학습된 기하학적 특징 분포들은 기억 디바이스(110)에 저장된다(단계 614).
제스처 인식을 위한 시스템 및 방법이 기술되었다. 제스처 모델들(예를 들어, HMM 모델들) 및 기하학적 특징 분포들이 제스처 인식을 실행하는데 사용된다. 적응 데이터(즉, 특정 사용자가 실행한 제스처들)에 기초하여, HMM 모델들 및 기하학적 특징 분포들이 모두 갱신된다. 이러한 방식으로, 시스템은 특정 사용자에 적응할 수 있다.
본 발명의 교시들을 포함하는 실시예들이 본 명세서에 상세히 도시 및 기술되었지만, 당업자는 본 교시들을 여전히 포함하는 다수의 다른 변형된 실시예들을 쉽게 창안할 수 있다. (제한이 아니라 예시적으로 의도된) 제스처 인식을 위한 시스템 및 방법의 양호한 실시예들이 기술되었지만, 상술된 교시들의 견지에서 변경들 및 변형들이 당업자에 의해 달성될 수 있음이 주목된다. 따라서, 첨부된 청구항들에 의해 서술된 본 발명의 범위 내에 있는 기술된 본 발명의 특정 실시예들에서 변경들이 달성될 수 있음을 알 것이다.

Claims (30)

  1. 사용자에 의해 실행되는 제스처를 인식하는 방법으로서,
    특정 사용자의 입력 이미지들의 시퀀스를 획득하는 단계(202); 및
    상기 사용자의 손 궤적(a hand trajectory)으로부터 추출된 제스처 모델 및 기하학적 특징들에 기초하여 상기 입력 이미지들의 시퀀스로부터 상기 특정 사용자의 제스처를 인식하는 단계(204)
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 제스처 모델은 은닉 마르코프 모델(HMM)인 방법.
  3. 제1항에 있어서,
    상기 인식하는 단계는
    사용자의 입력 이미지들의 시퀀스를 획득하는 단계(302);
    후보 개시점들로서 상기 입력 이미지들의 시퀀스에서의 움직임 파라미터들의 갑작스런 변경들을 검출하는 단계(304);
    상기 입력 이미지들의 시퀀스를 제스처 모델과 매치하는 단계(306);
    상기 매치된 제스처 모델의 상태 전이점들을 검출하는 단계(308);
    상기 검출된 상태 전이점들 및 후보 개시점들에 기초하여 상기 사용자의 손 궤적의 기하학적 특징들을 추출하는 단계(310);
    매치된 제스처 모델 및 추출된 기하학적 특징들에 기초하여 상기 제스처의 종료점 및 제스처 클래스를 결정하는 단계(316); 및
    상기 제스처의 실제 개시점을 결정하기 위해 상기 제스처의 결정된 종료점으로부터 상기 이미지들을 역추적하는 단계(318)
    를 더 포함하는 방법.
  4. 제3항에 있어서,
    상기 제스처의 종료점을 결정하는 단계는
    상기 입력 이미지들의 시퀀스의 각각의 프레임에 대해 제스처 모델 매치 스코어를 결정하는 단계(314); 및
    상기 제스처의 종료점을 포함하는 프레임으로서 제1 미리결정된 임계값보다 더 큰 제스처 모델 매치 스코어를 가진 프레임을 선택하는 단계(316)
    를 더 포함하는 방법.
  5. 제4항에 있어서,
    상기 추출된 기하학적 특징들 및 결정된 제스처 클래스에 기초하여 상기 입력 이미지들의 시퀀스의 적어도 하나의 프레임의 제스처 모델 매치 스코어를 전지(pruning)하는 단계(312)를 더 포함하는 방법.
  6. 제4항에 있어서,
    한 프레임에 나타나는 상기 추출된 기하학적 특징의 확률이 제2 미리결정된 임계값 미만이면 매치를 위한 제2 제스처 모델을 선택하는 단계를 더 포함하는 방법.
  7. 제6항에 있어서,
    상기 제2 미리결정된 임계값은 상기 결정된 제스처 클래스에 기초하는 방법.
  8. 제3항에 있어서,
    상기 이미지들을 역추적하는 단계는 동적 프로그래밍(DP) 함수에 의해 실행되는 방법.
  9. 제1항에 있어서,
    상기 인식하는 단계는
    상기 입력 이미지들의 시퀀스의 각각의 프레임에서 적어도 하나의 객체를 검출 및 추적하는 단계(504); 및
    상기 제스처 모델을 결정하기 위해 상기 검출 및 추적된 적어도 하나의 객체의 특징들을 매치하는 단계(506)
    를 더 포함하는 방법.
  10. 제9항에 있어서,
    상기 인식하는 단계는
    상기 제스처 모델의 상태 전이점들을 검출하는 단계(508); 및
    상기 제스처의 검출된 상태 전이점들 및 개시점의 상대 위치들에 기초하여 상기 사용자의 손 궤적의 기하학적 특징들을 추출하는 단계(510)
    를 더 포함하는 방법.
  11. 제10항에 있어서,
    상기 인식하는 단계는
    상기 제스처 모델 및 추출된 기하학적 특징들을 사용해서 각각의 제스처 클래스에 대해 검출 및 추적된 적어도 하나의 객체의 매치 스코어를 계산하는 단계; 및
    최고 매치 스코어를 가진 제스처 클래스로서 상기 검출 및 추적된 적어도 하나의 객체를 분류하는 단계
    를 더 포함하는 방법.
  12. 제1항에 있어서,
    상기 특정 사용자에 의해 실행되는 제스처들에 기초하여 상기 특정 사용자에 대해 상기 제스처 모델 및 기하학적 특징 분포를 적응시키는 단계(206)를 더 포함하는 방법.
  13. 제12항에 있어서,
    최대 공산 선형 회귀(MLLR) 함수가 상기 특정 사용자로부터의 제스처 샘플들로 상기 제스처 모델을 갱신하는데 사용되는(610) 방법.
  14. 제13항에 있어서,
    미리결정된 수의 적응 샘플들에 대한 상기 기하학적 특징 분포의 평균 및 공분산 행렬을 재추정함으로써 상기 특정 사용자에 대해 상기 기하학적 특징 분포를 증가하여 학습하는 단계(612)를 더 포함하는 방법.
  15. 제14항에 있어서,
    상기 특정 사용자에 대해 상기 갱신된 제스처 모델 및 학습된 기하학적 특징 분포를 저장하는 단계(614)를 더 포함하는 방법.
  16. 사용자에 의해 실행되는 제스처를 인식하는 시스템(100)으로서,
    특정 사용자의 입력 이미지들의 시퀀스를 획득하는 이미지 포착 디바이스(102); 및
    상기 사용자의 손 궤적으로부터 추출된 제스처 모델 및 기하학적 특징들에 기초하여 상기 입력 이미지들의 시퀀스로부터 상기 특정 사용자의 제스처를 인식하는 제스처 인식기(112)
    를 포함하는 시스템(100).
  17. 제16항에 있어서,
    상기 제스처 모델은 은닉 마르코프 모델(HMM)인 시스템(100).
  18. 제16항에 있어서,
    후보 개시점들로서 상기 입력 이미지들의 시퀀스에서의 움직임 파라미터들의 갑작스런 변경들을 검출하는 객체 검출기 및 추적기(114);
    상기 입력 이미지들의 시퀀스를 제스처 모델과 매치하는 모델 매처(a model matcher)(116);
    상기 매치된 제스처 모델의 상태 전이점들을 검출하는 전이 검출기(120);
    상기 검출된 상태 전이점들 및 후보 개시점들에 기초하여 상기 사용자의 손 궤적의 기하학적 특징들을 추출하는 특징 추출기(122)를 더 포함하고;
    상기 제스처 인식기(112)는 매치된 제스처 모델 및 추출된 기하학적 특징들에 기초하여 상기 제스처의 종료점 및 제스처 클래스를 결정하고, 상기 제스처의 실제 개시점을 결정하기 위해 상기 제스처의 결정된 종료점으로부터 상기 이미지들을 역추적하는 시스템(100).
  19. 제18항에 있어서,
    상기 제스처 인식기(112)는 상기 입력 이미지들의 시퀀스의 각각의 프레임에 대한 제스처 모델 매치 스코어를 결정하고, 상기 제스처의 종료점을 포함하는 프레임으로서 제1 미리결정된 임계값보다 더 큰 제스처 모델 매치 스코어를 가진 프레임을 선택하도록 더 구성되는 시스템(100).
  20. 제19항에 있어서,
    상기 추출된 기하학적 특징들 및 결정된 제스처 클래스에 기초하여 상기 입력 이미지들의 시퀀스의 적어도 하나의 프레임의 제스처 모델 매치 스코어를 거부하는 전지기(pruner)(124)를 더 포함하는 시스템(100).
  21. 제19항에 있어서,
    상기 모델 매처(116)는 한 프레임에 나타나는 상기 추출된 기하학적 특징의 확률이 제2 미리결정된 임계값 미만이면 매치를 위한 제2 제스처 모델을 선택하도록 더 구성되는 시스템(100).
  22. 제21항에 있어서,
    상기 제2 미리결정된 임계값은 상기 결정된 제스처 클래스에 기초하는 시스템(100).
  23. 제18항에 있어서,
    상기 제스처 인식기(112)는 상기 이미지들의 역추적하는 동적 프로그래밍(DP) 함수를 포함하는 시스템(100).
  24. 제16항에 있어서,
    상기 입력 이미지들의 시퀀스의 각각의 프레임에서 적어도 하나의 객체를 검출 및 추적하는 객체 검출기 및 추적기(114); 및
    상기 제스처 모델을 결정하기 위해 상기 검출 및 추적된 적어도 하나의 객체의 특징들을 매치하는 모델 매처(116)
    를 더 포함하는 시스템(100).
  25. 제24항에 있어서,
    상기 제스처 모델의 상태 전이점들을 검출하는 전이 검출기(120); 및
    상기 제스처의 검출된 상태 전이점들 및 개시점의 상대 위치들에 기초하여 상기 사용자의 손 궤적의 기하학적 특징들을 추출하는 특징 추출기(122)
    를 더 포함하는 시스템(100).
  26. 제25항에 있어서,
    상기 제스처 인식기(112)는 상기 제스처 모델 및 추출된 기하학적 특징들을 사용해서 각각의 제스처 클래스에 대해 검출 및 추적된 적어도 하나의 객체의 매치 스코어를 계산하고, 최고 매치 스코어를 가진 제스처 클래스로서 상기 검출 및 추적된 적어도 하나의 객체를 분류하도록 더 구성되는 시스템(100).
  27. 제16항에 있어서,
    상기 제스처 인식기(112)는 상기 특정 사용자에 의해 실행되는 제스처들에 기초하여 상기 특정 사용자에 대해 상기 제스처 모델 및 기하학적 특징 분포를 적응시키도록 더 구성되는 시스템(100).
  28. 제27항에 있어서,
    상기 제스처 인식기(112)는 상기 특정 사용자로부터의 제스처 샘플들로 상기 제스처 모델을 갱신하기 위해 최대 공산 선형 회귀(MLLR) 함수를 포함하는 스템(100).
  29. 제28항에 있어서,
    상기 제스처 인식기(112)는 미리결정된 수의 적응 샘플들에 대한 상기 기하학적 특징 분포의 평균 및 공분산 행렬을 재추정함으로써 상기 특정 사용자에 대해 상기 기하학적 특징 분포를 증가하여 학습하도록 더 구성되는 시스템(100).
  30. 제29항에 있어서,
    상기 제스처 인식기(112)는
    상기 특정 사용자에 대해 상기 갱신된 제스처 모델 및 학습된 기하학적 특징 분포를 기억 디바이스(110)에 저장하도록 더 구성되는 시스템(100).
KR1020137019996A 2010-12-29 2010-12-29 제스처 인식을 위한 시스템 및 방법 KR20130141657A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2010/002191 WO2012088626A1 (en) 2010-12-29 2010-12-29 System and method for gesture recognition

Publications (1)

Publication Number Publication Date
KR20130141657A true KR20130141657A (ko) 2013-12-26

Family

ID=46382146

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137019996A KR20130141657A (ko) 2010-12-29 2010-12-29 제스처 인식을 위한 시스템 및 방법

Country Status (5)

Country Link
US (1) US9323337B2 (ko)
EP (1) EP2659335A4 (ko)
KR (1) KR20130141657A (ko)
CN (1) CN103415825B (ko)
WO (1) WO2012088626A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101596600B1 (ko) * 2014-11-28 2016-02-23 계명대학교 산학협력단 사용자 패턴 기반의 동작 인식 보정 장치 및 그 방법

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9268405B2 (en) * 2012-06-15 2016-02-23 International Business Machines Corporation Adaptive gesture-based method, system and computer program product for preventing and rehabilitating an injury
CN105164700B (zh) * 2012-10-11 2019-12-24 开文公司 使用概率模型在视觉数据中检测对象
US9501171B1 (en) * 2012-10-15 2016-11-22 Famous Industries, Inc. Gesture fingerprinting
WO2014062730A1 (en) 2012-10-15 2014-04-24 Famous Industries, Inc. Efficient manipulation of surfaces in multi-dimensional space using energy agents
US10908929B2 (en) 2012-10-15 2021-02-02 Famous Industries, Inc. Human versus bot detection using gesture fingerprinting
US10877780B2 (en) 2012-10-15 2020-12-29 Famous Industries, Inc. Visibility detection using gesture fingerprinting
CN103971109A (zh) * 2013-02-04 2014-08-06 佳能株式会社 用于提取特征以及用于识别轨迹的方法和设备
JP6051991B2 (ja) * 2013-03-21 2016-12-27 富士通株式会社 信号処理装置、信号処理方法、及び信号処理プログラム
JP2014182748A (ja) * 2013-03-21 2014-09-29 Fujitsu Ltd 信号処理装置、信号処理方法、及び信号処理プログラム
US10295338B2 (en) 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
TWI506461B (zh) * 2013-07-16 2015-11-01 Univ Nat Taiwan Science Tech 人體動作的辨識方法與裝置
KR102190484B1 (ko) * 2013-11-11 2020-12-11 삼성전자주식회사 인식기 학습 방법 및 장치, 데이터 인식 방법 및 장치
CN103839047B (zh) * 2013-12-30 2017-12-29 华为技术有限公司 一种人体运动轨迹的识别方法及装置
CN104766038B (zh) * 2014-01-02 2018-05-18 株式会社理光 手掌开合动作识别方法和装置
TW201543268A (zh) * 2014-01-07 2015-11-16 Thomson Licensing 用於使用手勢控制媒體播放之系統及方法
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
CN105279526B (zh) * 2014-06-13 2019-11-29 佳能株式会社 分割轨迹的方法和装置
US10852838B2 (en) 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
JP6434532B2 (ja) * 2014-07-02 2018-12-05 コヴィディエン リミテッド パートナーシップ 気管を検出するためのシステム
US20160078287A1 (en) 2014-08-29 2016-03-17 Konica Minola Laboratory U.S.A., Inc. Method and system of temporal segmentation for gesture analysis
US10083233B2 (en) * 2014-09-09 2018-09-25 Microsoft Technology Licensing, Llc Video processing for motor task analysis
CN106155294A (zh) * 2015-04-15 2016-11-23 中兴通讯股份有限公司 一种处理账单的方法及装置
US10109219B2 (en) 2015-04-16 2018-10-23 Robert Bosch Gmbh System and method for automated sign language recognition
CN104915003A (zh) * 2015-05-29 2015-09-16 深圳奥比中光科技有限公司 一种体感控制参数调整的方法、体感交互系统及电子设备
US20160377447A1 (en) * 2015-06-25 2016-12-29 International Business Machines Corporation Cognitive needs-based trip planning
CN105005769B (zh) * 2015-07-08 2018-05-15 山东大学 一种基于深度信息的手语识别方法
KR20170130582A (ko) * 2015-08-04 2017-11-28 구글 엘엘씨 가상현실에서 시선 인터렉션을 위한 호버 행동
US10019637B2 (en) * 2015-11-13 2018-07-10 Honda Motor Co., Ltd. Method and system for moving object detection with single camera
WO2017088050A1 (en) * 2015-11-26 2017-06-01 Sportlogiq Inc. Systems and methods for object tracking and localization in videos with adaptive image representation
CN106200964B (zh) * 2016-07-06 2018-10-26 浙江大学 一种虚拟现实中基于移动轨迹识别进行人机交互的方法
WO2018017399A1 (en) * 2016-07-20 2018-01-25 Usens, Inc. Method and system for 3d hand skeleton tracking
CN106502401B (zh) * 2016-10-31 2020-01-10 宇龙计算机通信科技(深圳)有限公司 一种图像控制方法及装置
CN106920092A (zh) * 2016-12-23 2017-07-04 阿里巴巴集团控股有限公司 一种虚拟资源分配方法、客户端及服务器
WO2019016764A1 (en) * 2017-07-21 2019-01-24 Sage Senses Inc. METHOD, SYSTEM AND APPARATUS FOR RECOGNIZING GESTURES
EP3707693A1 (en) * 2017-11-08 2020-09-16 Signall Technologies Zrt Computer vision based sign language interpreter
US11720814B2 (en) * 2017-12-29 2023-08-08 Samsung Electronics Co., Ltd. Method and system for classifying time-series data
US10671355B2 (en) * 2018-01-21 2020-06-02 Microsoft Technology Licensing, Llc. Code completion with machine learning
CN108388882B (zh) * 2018-03-16 2021-09-21 中山大学 基于全局-局部rgb-d多模态的手势识别方法
US10990358B2 (en) 2018-03-29 2021-04-27 Microsoft Technology Licensing, Llc. Code completion for overloaded methods
US11645576B2 (en) 2018-04-29 2023-05-09 Microsoft Technology Licensing, Llc. Code completion for languages with hierarchical structures
CN109446994B (zh) * 2018-10-30 2020-10-30 北京达佳互联信息技术有限公司 手势关键点检测方法、装置、电子设备及存储介质
CN111382599A (zh) * 2018-12-27 2020-07-07 北京搜狗科技发展有限公司 一种图像处理方法、装置和电子设备
CN109710076B (zh) * 2018-12-30 2022-05-03 厦门盈趣科技股份有限公司 一种电路板自动检测方法及装置
CN109858380A (zh) * 2019-01-04 2019-06-07 广州大学 可扩展手势识别方法、装置、系统、手势识别终端和介质
CN111831101A (zh) * 2019-04-22 2020-10-27 四川大学 一种基于Leap Motion的多特征动态手势识别方法
US11307667B2 (en) * 2019-06-03 2022-04-19 Arizona Board Of Regents On Behalf Of Arizona State University Systems and methods for facilitating accessible virtual education
CN111625087A (zh) * 2020-04-28 2020-09-04 中南民族大学 一种手势采集与识别系统
CN114515146B (zh) * 2020-11-17 2024-03-22 北京机械设备研究所 基于电学测量的智能手势识别方法及系统
US11978438B1 (en) * 2021-03-29 2024-05-07 Amazon Technologies, Inc. Machine learning model updating
CN113610124B (zh) * 2021-07-23 2024-04-19 中国地质大学（武汉） 基于马尔可夫链蒙特卡洛的人手轨迹生成方法和系统
CN117932713A (zh) * 2024-03-18 2024-04-26 中南民族大学 云原生cad软件手势交互几何建模方法、系统、装置及设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
US6072494A (en) * 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
US7095401B2 (en) * 2000-11-02 2006-08-22 Siemens Corporate Research, Inc. System and method for gesture interface
AU2003217587A1 (en) * 2002-02-15 2003-09-09 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7366645B2 (en) * 2002-05-06 2008-04-29 Jezekiel Ben-Arie Method of recognition of human motion, vector sequences and speech
US7184591B2 (en) * 2003-05-21 2007-02-27 Microsoft Corporation Systems and methods for adaptive handwriting recognition
US7983478B2 (en) * 2007-08-10 2011-07-19 Microsoft Corporation Hidden markov model based handwriting/calligraphy generation
CN101836207B (zh) * 2007-08-20 2017-03-01 高通股份有限公司 超出词汇的词的增强的拒绝
US7970176B2 (en) * 2007-10-02 2011-06-28 Omek Interactive, Inc. Method and system for gesture classification
WO2010011923A1 (en) * 2008-07-24 2010-01-28 Gesturetek, Inc. Enhanced detection of circular engagement gesture
CN102165396B (zh) * 2008-07-25 2014-10-29 高通股份有限公司 挥动约定姿态的增强检测
CN101763515B (zh) 2009-09-23 2012-03-21 中国科学院自动化研究所 一种基于计算机视觉的实时手势交互方法
FR2950713A1 (fr) * 2009-09-29 2011-04-01 Movea Sa Systeme et procede de reconnaissance de gestes
EP2579955B1 (en) * 2010-06-11 2020-07-08 Harmonix Music Systems, Inc. Dance game and tutorial

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101596600B1 (ko) * 2014-11-28 2016-02-23 계명대학교 산학협력단 사용자 패턴 기반의 동작 인식 보정 장치 및 그 방법
WO2016085122A1 (ko) * 2014-11-28 2016-06-02 계명대학교 산학협력단 사용자 패턴 기반의 동작 인식 보정 장치 및 그 방법

Also Published As

Publication number Publication date
CN103415825A (zh) 2013-11-27
US9323337B2 (en) 2016-04-26
WO2012088626A1 (en) 2012-07-05
CN103415825B (zh) 2016-06-01
US20130294651A1 (en) 2013-11-07
EP2659335A1 (en) 2013-11-06
EP2659335A4 (en) 2016-05-18

Similar Documents

Publication Publication Date Title
KR20130141657A (ko) 제스처 인식을 위한 시스템 및 방법
JP6625220B2 (ja) シーン内のオブジェクトのアクションを検出する方法及びシステム
US8005263B2 (en) Hand sign recognition using label assignment
Pfister et al. Domain-adaptive discriminative one-shot learning of gestures
Chen et al. Hand gesture recognition using a real-time tracking method and hidden Markov models
US8837773B2 (en) Apparatus which detects moving object from image and method thereof
JP4625074B2 (ja) サインに基づく人間−機械相互作用
CN107851192B (zh) 用于检测人脸部分及人脸的设备和方法
US20170220120A1 (en) System and method for controlling playback of media using gestures
Han et al. Automatic skin segmentation and tracking in sign language recognition
CN103793926B (zh) 基于样本重选择的目标跟踪方法
Elmezain et al. Hand trajectory-based gesture spotting and recognition using HMM
JP6756406B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
Alon et al. Accurate and efficient gesture spotting via pruning and subgesture reasoning
CN103093199A (zh) 基于在线识别的特定人脸跟踪方法
Silanon et al. Hand motion analysis for Thai alphabet recognition using HMM
CN110717385A (zh) 一种动态手势识别方法
CN114743124A (zh) 一种弹载平台实时目标跟踪方法
Choudhury et al. A CNN-LSTM based ensemble framework for in-air handwritten Assamese character recognition
Ristin et al. Local context priors for object proposal generation
US20200257372A1 (en) Out-of-vocabulary gesture recognition filter
JP2017033175A (ja) 画像処理装置、画像処理方法及びプログラム
Kelly et al. Recognition of spatiotemporal gestures in sign language using gesture threshold hmms
Jeong et al. Facial landmark detection based on an ensemble of local weighted regressors during real driving situation
Elmezain et al. Ldcrfs-based hand gesture recognition

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application