KR102334272B1 - 트레이닝가능한 센서 기반의 제스처 인식 - Google Patents

트레이닝가능한 센서 기반의 제스처 인식 Download PDF

Info

Publication number
KR102334272B1
KR102334272B1 KR1020167028640A KR20167028640A KR102334272B1 KR 102334272 B1 KR102334272 B1 KR 102334272B1 KR 1020167028640 A KR1020167028640 A KR 1020167028640A KR 20167028640 A KR20167028640 A KR 20167028640A KR 102334272 B1 KR102334272 B1 KR 102334272B1
Authority
KR
South Korea
Prior art keywords
gesture
sensor
sensor output
identified
user
Prior art date
Application number
KR1020167028640A
Other languages
English (en)
Other versions
KR20160132988A (ko
Inventor
멍크 리
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20160132988A publication Critical patent/KR20160132988A/ko
Application granted granted Critical
Publication of KR102334272B1 publication Critical patent/KR102334272B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

많은 컴퓨팅 시나리오에서, 디바이스는 적어도 하나의 센서를 포함하며, 센서의 센서 출력에 따라 사용자에 의해 수행된 제스처를 인식하고, 제스처를 인식하면 특정 동작을 수행하도록 구성된다. 그러나, 많은 디바이스들은 이러한 제스처들로 사전 구성되며, 인식은 디바이스의 센서에 특유하고, 특정 사용자가 제스처를 수행하는 방식에 특유하지 않다. 여기에서는 사용자가 제스처를 수행하는 동안 디바이스에 의해 제공된 임의의 센서의 센서 출력을 모니터링함으로써 디바이스가 새로운 제스처를 인식할 수 있게 하며, 인식 확신에 도달할 때까지 반복된 제스처 수행을 선택적으로 요청하는 기술이 제시된다. 디바이스의 특정 센서의 센서 출력에 따라 제스처를 인식하도록 트레이닝되면, 그 후에 디바이스는 사용자에 의해 수행된 제스처를 인식할 수 있고 연관된 동작을 실행할 수 있다.

Description

트레이닝가능한 센서 기반의 제스처 인식{TRAINABLE SENSOR-BASED GESTURE RECOGNITION}
컴퓨팅 분야 내에서, 많은 시나리오들은, 사용자에 의해 수행되며 디바이스의 센서에 의해 인식되는 제스처(gesture)를 수반한다. 많은 이러한 시나리오에서, 디바이스는 가속도계, 마이크로폰 및/또는 터치 감지형 디스플레이와 같은 하나 이상의 센서를 특징으로 한다. 디바이스는, 귀에 전화기를 올리고, 터치 감지형 디스플레이 상에서 “핀치(pinch)” 제스처를 수행하고, 수평 표면 상에 전화기를 뒤엎어놓는 것과 같이, 사용자에 의해 수행되는 다수의 제스처를 인식하도록 제조자에 의해 사전프로그램될 수 있다. 디바이스는, 특정 사용자가 통상의 사용자와 유사한 방식으로 제스처를 수행할 때, 디바이스가 센서 출력을 제스처를 나타내는 모델 센서 출력의 것과 비교함으로써 제스처를 인식하는 것이 가능하도록, 예컨대 통상의 사용자에 의해 제스처가 수행될 때 센서의 모델 센서 출력을 식별함으로써, 프로그램될 수 있다.
이 요약은 상세한 설명에서 아래에 더 기재되는 개념의 선택을 단순화된 형태로 소개하고자 제공된다. 이 요약은 청구 내용의 핵심 요인 또는 본질적인 특징을 나타내고자 하는 것이 아니며, 청구 내용의 범위를 한정하는데 사용되고자 하는 것도 아니다.
사전프로그램된 제스처 세트를 이용한 디바이스의 구성은 사용자 입력의 편리한 모드를 가능하게 할 수 있지만, 디바이스의 이러한 인식 특징은 종종 상당히 구성가능하지 않으며, 특히 사용자에게 적응가능하지 않다. 예를 들어, 많은 이러한 인식기들은 제스처의 통상의 예를 근사화하는 센서 출력을 검출하도록 통계적으로 트레이닝되는데, 부정 오류(false negatives)(예컨대, 사용자가 통상의 사용자와 다르게 수행하기 때문에 수행된 제스처를 인식하지 못함) 및 긍정 오류(false positives)(예컨대, 제스처와 연관된 센서 출력의 범위를 너무 광범위하게 하여, 제스처 아닌 변화가 제스처로서 잘못 해석됨) 둘 다에 있어서 부정확한 인식 프로세스를 일으킨다. 또한, 사용자의 제스처 선호도가 종종 사용자의 디바이스들 사이에 휴대 가능하지 않고, 또는 디바이스가 이용할 수 있는 센서 세트의 변경에 적응가능하지 않다.
여기에서는 새로운 제스처를 인식하고 인식 모드 동안 제스처를 검출하면 수행될 동작에 새로운 제스처를 할당하도록 사용자에 의한 디바이스의 구성을 가능하게 하는 기술이 제시된다. 이들 기술에 따르면, 인식 모드에 있는 동안, 디바이스는 사용자가 제스처를 수행하는 동안 디바이스의 하나 이상의 센서의 센서 출력을 모니터링하고 제스처에 대응하는 식별된 센서 출력의 세트를 식별한다. 그러면 디바이스는, 디바이스가 센서의 식별된 센서 출력을 검출할 때 수행되어야 할 제스처와 동작의 연관을 수락할 수 있다. 이 방식으로, 디바이스는, 여기에 제시된 기술에 따라, 사용자가 새로운 제스처를 지정하고, 사용자에 의해 수행된 특정 방식에 따라 제스처를 교정하고(calibrate), 그리고/또는 디바이스에 의해 수행가능한 동작 및 제스처의 연관을 구성할 수 있게 할 수 있다.
전술한 목적 및 관련 목적의 달성을 위해, 다음의 설명과 첨부 도면은 특정 예시적인 양상 및 구현을 서술한다. 이들은 하나 이상의 양상들이 채용될 수 있는 다양한 방식들 중의 몇몇을 나타낸 것이다. 본 개시의 다른 양상, 이점 및 신규의 특징들이 첨부 도면과 함께 고려될 때 다음의 상세한 설명으로부터 명백하게 될 것이다.
도 1은 제스처 세트를 식별하고 사용자에 의한 제스처의 수행을 검출하면 이러한 제스처를 수행하도록 구성된 디바이스를 특징으로 하는 예시적인 시나리오의 예시이다.
도 2는 여기에 제시된 기술에 따라 사용자에 의해 수행되며 동작과 연관될 제스처와 연관된 센서의 식별된 센서 출력을 식별하도록 구성되는 디바이스 및 사용자에 의한 제스처의 수행을 검출하면 동작의 수행을 특징으로 하는 예시적인 시나리오의 예시이다.
도 3은 여기에 제시된 기술에 따라 제스처를 인식하고 연관된 동작을 수행하도록 디바이스를 구성하는 제1 예시적인 방법의 예시이다.
도 4는 여기에 제시된 기술에 따라 제스처를 인식하고 연관된 동작을 수행하기 위한 시스템을 포함하는 예시적인 디바이스를 예시한 컴포넌트 블록도이다.
도 5는 여기에 서술된 프로비전 중의 하나 이상을 구현하도록 구성된 프로세서 실행가능 명령어들을 포함하는 예시적인 컴퓨터 판독가능 매체의 예시이다.
도 6은 여기에 제공된 기술이 이용될 수 있는 예시적인 이동 디바이스의 예시이다.
도 7은 여기에 제시된 기술에 따라 사용자에 의해 이용되는 복수의 디바이스들 사이에 제스처 정보의 공유를 가능하게 하는 제스처 프로파일 서비스를 특징으로 하는 예시적인 시나리오의 예시이다.
도 8은 여기에 제시된 기술에 따라 디바이스에 의해 수행된 새로운 제스처를 검출하면 트레이닝 모드를 호출하기 위한 기술을 특징으로 하는 예시적인 시나리오의 예시이다.
도 9는 여기에 제시된 기술에 따라 사용자에 의해 수행된 제스처를 식별하는 센서들의 모음으로부터 식별된 센서 출력의 식별을 특징으로 하는 예시적인 시나리오의 예시이다.
도 10은 여기에 제시된 기술에 따라 동작이 제스처를 검출한 센서와 컨텍스트 관련되는 경우에 제스처에 응답하여 동작의 실행을 특징으로 하는 예시적인 시나리오의 예시이다.
도 11은 본 기술의 일부가 구현 및/또는 이용될 수 있는 예시적인 컴퓨팅 환경의 예시이다.
이제 청구 내용은 도면을 참조하여 기재되며, 유사한 참조 번호는 전반에 걸쳐 유사한 구성요소를 지칭하는데 사용된다. 다음의 기재에 있어서, 설명을 위한 목적으로, 다수의 구체적 세부사항들은 청구 내용의 완전한 이해를 제공하기 위해 서술된다. 그러나, 청구 내용은 이들 구체적 세부사항 없이도 실시될 수 있다는 것이 분명하다. 다른 경우로, 청구 내용을 기재하는 것을 용이하게 하기 위해 구조 및 디바이스는 블록도 형태로 도시된다.
A. 소개
도 1은 사용자(102)에 의해 수행된 제스처(110)를 검출하고 제스처에 응답하여 동작(114)을 수행하도록 구성되는 디바이스(104)의 사용자(102)를 특징으로 하는 예시적인 시나리오(100)의 예시이다. 이 예시적인 시나리오(100)에서, 디바이스(104)는 디바이스의 배향 및/또는 모션을 검출할 수 있는 가속도계를 포함한 제1 센서(106), 및 주변 사운드를 검출할 수 있는 마이크로폰을 포함한 제2 센서(106)를 특징으로 한다. 디바이스(104)는 센서 출력(108)을 각각의 제스처(110)와 연관되어 있는 모델 센서 출력(112)과 비교함으로써 사용자에 의해 수행된 제스처(110)를 검출하도록 사전구성된다. 모델 센서 출력(112)은, 예컨대 통상의 사용자가 제스처(110)를 수행할 때 각자의 센서(106)의 센서 출력(108)의 모델, 또는 제스처(110)의 수행 중의 센서 출력(108)을 근사화하도록 합성된 템플릿 또는 추상적 개념을 포함할 수 있다. 디바이스(104)는 또한, 각각의 제스처(110)를 검출하면 수행되어야 할, 디바이스(104)의 제조자 또는 개발자에 의해 선택된 동작들의 세트(114)로 사전구성된다. 예를 들어, 사용자(102)가 그 또는 그녀의 귀로 디바이스(104)를 올리고 마이크로폰으로 말하기를 시작하는 제1 제스처(110)를 검출하면, 디바이스(104)는 사용자(102)로부터의 질의를 수신하는 동작(114)을 수행할 수 있다. 사용자(102)가 디바이스를 흔드는 제2 제스처(110)를 검출하면, 디바이스(102)는 가청 설정과 무음 설정 간에 디바이스(104)의 볼륨을 토글하는 동작(114)을 수행할 수 있다. 사용자(102)가 수평 표면 상에 디바이스(102)를 뒤엎어놓는 제3 제스처(110)를 검출하면, 디바이스(104)는 디바이스(104)의 잠금 기능을 활성화하는 동작(114)을 수행할 수 있다. 추가적으로, 디바이스(104)는 각각의 제스처(110)에 대한 특정 센서(106)만 사용하도록 사전구성될 수 있으며, 예컨대 제1 제스처(110)는 둘 다의 센서(106)의 센서 출력(108)을 모델 센서 출력(112)과 비교함으로써 검출될 수 있지만, 제2 제스처(110)는 제1 센서(106)의 센서 출력(108)만 사용하여 검출될 수 있다.
따라서, 사용(116) 중에 사용자(102)는 디바이스(104)를 흔드는 것과 같은 제스처(110)를 수행할 수 있다. 디바이스(104)는 각자의 센서(106)의 센서 출력(108)을 모니터링할 수 있고, 제스처(110)를 검출하기 위해 모델 센서 출력(112)을 각자의 센서(106)의 센서 출력(108)과 비교할 수 있다. 이러한 검출시, 디바이스(104)는 수행된 제스처(108)와 연관된 동작(114)을 수행할 수 있다. 이 방식으로, 디바이스(104)는 사용자(102)에 의한 제스처(110)의 수행이 디바이스(104)의 동작을 제어할 수 있게 할 수 있다.
그러나, 디바이스(102)가 도 1의 예시적인 시나리오(100)에 따라 사용자(102)에 의해 수행된 제스처를 인식하도록 제조자나 개발자에 의해 사전구성될 때, 다양한 단점들이 생길 수 있다는 것을 알 수 있을 것이다.
제1 예로서, 통상의 사용자가 제스처(110)를 수행하는 방식이 특정 사용자(102)의 방식에 대응하지 않을 수 있다. 예를 들어, 디바이스(104)를 흔드는 것과 같은 제스처(110)에 대하여, 상이한 사용자들(102)이 상이한 지속기간, 빈도, 강도, 및 방향으로 흔드는 것을 수행할 수 있다. 인식 프로세스에서 긍정 오류의 비율을 증가시키는 일 없이 임의의 사용자(102)에 의해 수행되는 “흔들기” 제스처(110)를 인식하도록 디바이스(104)를 구성하는 것은 어려울 수 있다(예컨대, 디바이스(104)를 흔드는 임의의 방식을 단순히 제스처(110)로서 해석하는 것은, 디바이스(104)가 주머니에 휴대되는 동안 디바이스의 진동과 같은 다른 이벤트 중에 동작(114)을 수행하게 할 수 있음).
제2 예로서, 사용자(102)는 디바이스(104)의 센서(106)가 인식하는 것이 가능한 새로운 제스처(110)를 생성하기를 원할 수 있다. 그러나, 도 1의 예시적인 시나리오(100)에 예시된 바와 같이 구성된 디바이스(104)는 미리 정의된 제스처(110)의 특정 세트만 인식하는 것이 가능할 수 있고, 새로운 제스처(110)를 정의하고 기술할 수 있는 사용자(104)의 능력을 제공하지 않을 수 있다. 추가적으로, 사용자(102)는 새로운 또는 이전의 인식된 제스처(110)를 특정 동작(114)과 연관시키기를 원할 수 있지만, 디바이스(104)는 사용자(102)가 제스처(110)와 동작(114) 간의 연관을 지정하는 것을 강건하게 허용하지 않을 수 있으며, 예컨대, 디바이스(104)는 “핀치” 터치 기반의 제스처(110)를 “줌아웃” 동작(114)과만 연관시키도록 사전프로그램될 수 있고 사용자(102)가 이 제스처(110)를 또다른 동작(114)에 재할당하는 것을 허용하지 않을 수 있다.
제3 예로서, 사용자(102)는 디바이스(104)의 세트를 사용할 수 있거나, 또는 제1 디바이스(104)로부터 제2 디바이스(104)로 전환할 수 있다. 사용자(102)는 제2 디바이스(104)를 사용하면서 여전히 제1 디바이스(102) 상에서 정의되었던 제스처(110)를 이용하기를 원할 수 있지만, 제2 디바이스(104) 상의 인식된 제스처(110) 및 연관된 동작(114)의 사전프로그램된 세트는 제1 디바이스(104)에 의해 제공되는 것과 상이할 수 있다. 즉, 디바이스(104)는 통상적으로 사용자(102)가 이용하는 제스처(110) 및 이러한 제스처(110)에 응답하는 동작(114)에 관한 정보를 교환하지 않는다.
제4 예로서, 특정 디바이스(104) 상의 센서 세트(106)는 바뀔 수 있거나, 또는 사용자(102)의 제1 디바이스(104)와 제2 디바이스(104) 사이에 상이할 수 있다. 따라서, 제2 센서(106)가 제1 센서(106)와 같이 제스처(110)를 인식하는 것이 가능하더라도, 디바이스(104)가 제1 센서(106) 또는 센서 세트를 사용한 제스처(110)의 인식을 제2 센서(106) 또는 센서 세트를 사용한 제스처(110)의 인식으로 번역하는 것이 어려울 수 있다. 이들 및 기타 이유로, 인식된 제스처(108) 및 수행된 동작(114)을 조정할 수 있는 사용자(102)의 중요한 능력 없이, 디바이스의 제조자나 개발자에 의해 제공된 제스처를 인식하기 위한 디바이스(104)의 사전구성은, 사용자(102)에 의한 디바이스(104)의 사용능력에 제한을 가져다줄 수 있다.
B. 제시하는 기술
도 2는 사용자(102)의 선호도로 제스처(110)의 인식 및 동작(114)의 수행을 조정할 수 있는 디바이스(104)를 특징으로 하는 예시적인 시나리오(200)의 예시를 제시한다. 이 예시적인 시나리오(200)에서, 디바이스(104)는 트레이닝 모드(202)를 제공할 수 있으며, 사용자(102)는 사용자(102)가 공지된 제스처(110)를 수행하는 특정 방식 또는 새로운 제스처(110)를 인식하도록 디바이스(104)를 트레이닝할 수 있다. 예를 들어, 디바이스(104)는 가속도계를 포함한 제1 센서(106) 및 마이크로폰을 포함한 제2 센서(106)를 포함할 수 있다. 디바이스(104)는 제스처(110)의 하나 이상의 제스처 수행(204)을 수행하도록 사용자(102)에게 요청할 수 있고, 각각의 제스처 수행(204) 동안 각각의 센서(106)의 센서 출력(108)을 모니터링할 수 있다. 제스처(110)의 제스처 수행(204) 동안 하나 이상의 센서(106)의 센서 출력(108)의 대응도를 검출하면, 디바이스(104)는 제스처(110)와 연관되어 있는 하나 이상의 센서(108)의 식별된 센서 출력(208)을 식별할 수 있다. 예를 들어, 사용자(102)가 디바이스를 흔드는 것과 같은 제스처(110)를 수행하는 동안, 디바이스(104)는 각각의 이러한 제스처 수행(204) 동안 가속도계가 센서 출력(108)의 일관된 세트를 제공한다고 결정할 수 있지만, 마이크로폰으로부터는 이러한 일관된 센서 출력(108)을 검출할 수 없을 수 있다. 따라서, 디바이스(104)는 제스처(110)를 식별한 것으로서 제1 센서(106)로부터 식별된 센서 출력(208)을 식별할 수 있다. 디바이스(104)는 또한, 사용자(102)에 의한 제스처(110)의 수행을 검출하면 사용자(102)가 디바이스(104)에 의해 수행될 동작(114)을 선택할 수 있게 할 수 있고, 제스처(110), 식별된 센서 출력(208), 및 동작(114)의 연관을 저장할 수 있다.
도 2의 예시적인 시나리오에 더 예시된 바와 같이, 인식 모드(210) 동안 사용자(102)는 제스처(110)를 수행할 수 있다. 디바이스(104)는 센서(108)의 센서 출력(108)을 트레이닝 모드(202) 동안 결정되는 바와 같은 각각의 제스처(110)와 연관된 식별된 센서 출력(208)과 비교할 수 있다. 일치를 검출하면, 디바이스(104)는 제스처(110)가 수행되었다고 결정할 수 있고, 제스처(110)와 연관된 동작(114)을 수행할 수 있다. 이 방식으로, 여기에 제시된 기술에 따라, 디바이스(104)는 사용자(102)가 디바이스(104)에게 새로운 제스처(110)를 가르치고 사용자가 공지된 제스처를 수행하는 특정 방식을 인식하는데 있어서 디바이스(104)를 트레이낭하게 할 수 있다.
C. 예시적인 실시예
도 3은 하나 이상의 센서를 포함하는 디바이스(104)가 사용자(102)에 의해 수행된 제스처(110)를 검출하면 동작(114)을 수행할 수 있게 하는 예시적인 방법(300)으로서 예시된, 여기에 제시되는 기술의 예시적인 제1 실시예의 예시를 제시한다. 예시적인 제1 방법(300)은, 예컨대 프로세서를 갖는 디바이스의 메모리 컴포넌트(예컨대, 메모리 회로, 하드 디스크 드라이브의 플래터, 고체 상태 저장 디바이스, 또는 자기 또는 광학 디스크)에 저장된 명령어 세트로서 구현될 수 있으며, 명령어들은 프로세서 상에서 실행될 때 디바이스로 하여금 여기에 제시된 기술에 따라 동작하게 한다. 예시적인 제1 방법(300)은 302에서 시작하며, 디바이스의 프로세서 상에서 명령어를 실행하는 것(304)을 수반한다. 구체적으로, 프로세서 상의 명령어들의 실행은 디바이스(104)로 하여금, 트레이닝 모드(202) 동안(306), 사용자(102)가 제스처(110)를 수행하는 동안에 제스처(110)를 식별하는 식별된 센서 출력(208)을 검출하도록 센서(106)를 모니터링하게 한다(308). 프로세서(104) 상의 명령어들의 실행은 또한 디바이스로 하여금, 트레이닝 모드(202) 동안(306), 센서(106)의 식별된 센서 출력(208)을 제스처(110)와 연관시키고(310) 동작을 제스처(110)와 연관시키게 한다(312). 프로세서 상의 명령어들의 실행은 또한 디바이스(104)로 하여금, 인식 모드(210) 동안(314), 센서(106)의 센서 출력(108)을 모니터링하게 하고(316), 센서 출력(106)이 제스처(110)와 연관된 식별된 센서 출력(208)과 일치함을 검출하면 제스처(110)와 연관된 동작(114)을 수행하게 한다(318). 이 방식으로, 예시적인 제1 방법(300)은 여기에 제시된 기술에 따라 디바이스가 제스처(110)를 인식하고 그와 연관된 동작(114)을 수행하게 하며, 그리하여 320에서 종료한다.
도 4는 예시적인 디바이스(402)가 사용자(102)에 의해 수행된 제스처(110)와 연관된 동작(114)을 수행할 수 있게 하는 예시적인 시스템(408)을 포함한 예시적인 디바이스(402)로서 예시된, 여기에 제시된 기술의 제2 실시예를 특징으로 하는 예시적인 시나리오(440)의 예시를 제시한다. 예시적인 디바이스(402)는 또한, 프로세서(404), 메모리(406), 및 센서 출력(108)을 제공하는 적어도 하나의 센서(106)를 포함한다. 예시적인 시스템(406)의 하나 이상의 컴포넌트는, 예컨대 프로세서(404) 상에서 실행될 때 예시적인 디바이스(402)가 여기에 제시된 기술의 적어도 일부를 수행하게 하는, 예시적인 디바이스(402)의 메모리 컴포넌트에 저장된 명령어들로서 구현될 수 있다. 대안으로서(도시되지는 않음), 예시적인 시스템(406)의 하나 이상의 컴포넌트는, 예컨대, 컴포넌트들의 상호동작이 여기에 제시된 기술의 변형의 수행을 완료하도록 여기에 제시된 기술의 적어도 일부를 수행하는, 특별히 설계된 SoC(semiconductor-on-a-chip) 또는 FPGA(field-programmable gate array)의 구성과 같은 휘발성 또는 비휘발성 논리 회로로서 구현될 수 있다. 예시적인 시스템(406)은, 사용자(102)가 제스처(110)를 수행하는 동안, 제스처(110)를 식별하는 식별된 센서 출력(208)을 검출하도록 센서(106)의 센서 출력(108)을 모니터링하고, 제스처(110)에 대한 식별된 센서 출력(208)을 예시적인 디바이스(402)의 메모리(406)에 저장하는 제스처 트레이너(410)를 포함한다. 예시적인 시스템(408)은 또한, 사용자(102)로부터 제스처(110)와 연관될 동작(114)을 수신하면, 제스처(110)와 동작(114)의 연관을 예시적인 디바이스(402)의 메모리(406)에 저장하는 동작 연관기(associator)(412)를 포함한다. 예시적인 시스템(408)은 또한, 제스처(110)를 식별하는 식별된 센서 출력(208)을 검출하도록 센서(106)의 센서 출력(108)을 모니터링하고 예시적인 디바이스(402)가 식별된 센서 출력(208)과 연관된 제스처(110)와 메모리(406)에서 연관된 동작(114)을 수행하게 하는 제스처 인식기(414)를 포함한다. 이 방식으로, 예시적인 시스템(408)은 여기에 제시된 기술에 따라 예시적인 디바이스(402)가 사용자(102)에 의한 제스처(110)의 수행에 응답하여 동작(114)을 수행할 수 있게 한다.
또 다른 실시예는, 여기에 제시된 기술을 적용하도록 구성된 컴퓨터 실행가능 명령어들을 포함하는 컴퓨터 판독가능한 매체를 수반한다. 이러한 컴퓨터 판독가능한 매체는, 예컨대 디바이스의 프로세서에 의해 실행될 때 디바이스로 하여금 여기에 제시된 기술을 구현하게 하는 컴퓨터 판독가능 명령어 세트를 인코딩한, 메모리 반도체(예컨대, SRAM(static random access memory), DRAM(dynamic random access memory) 및/또는 SDRAM(synchronous dynamic random access memory) 기술을 이용한 반도체), 하드 디스크 드라이브의 플래터, 플래시 메모리 디바이스, 또는 (CD-R, DVD-R, 또는 플로피 디스크와 같은)자기 또는 광학 디스크와 같은 유형의(tangible) 디바이스를 수반한 컴퓨터 판독가능한 메모리 디바이스를 포함할 수 있다. 이러한 컴퓨터 판독가능한 매체는 또한, 다양한 물리적 현상(예컨대, 전자기 신호, 사운드파 신호, 또는 광학 신호)을 통해 또는 다양한 유선 시나리오(예컨대, 이더넷 또는 광섬유 케이블을 통해) 및/또는 무선 시나리오(예컨대, Wifi와 같은 WLAN(wireless local area network), 블루투스와 같은 PAN(personal area network), 또는 셀룰러 또는 라디오 네트워크)로 전파될 수 있으며 디바이스의 프로세서에 의해 실행될 때 디바이스로 하여금 여기에 제시된 기술을 구현하게 하는 컴퓨터 판독가능 명령어 세트를 인코딩한 신호와 같은 다양한 타입의 통신 매체를 (컴퓨터 판독가능한 메모리 디바이스를 제외하는 기술 클래스로서) 포함할 수 있다.
이들 방식으로 고안될 수 있는 예시적인 컴퓨터 판독가능한 매체가 도 5에 예시되어 있으며, 구현(500)은 컴퓨터 판독가능 데이터(504)가 인코딩되어 있는 컴퓨터 판독가능한 메모리 디바이스(502)(예컨대, CD-R, DVD-R, 또는 하드 디스크 드라이브의 플래터)를 포함한다. 이 컴퓨터 판독가능 데이터(504)는 이어서, 디바이스(104)의 프로세서(404) 상에서 실행가능하며 디바이스(104)로 하여금 여기에 서술된 원리에 따라 동작하게 하는 컴퓨터 명령어 세트(506)를 포함한다. 제1의 이러한 실시예에서, 디바이스(104)의 프로세서(404) 상의 명령어들(506)의 실행은 디바이스로 하여금, 도 3의 예시적인 방법(300)과 같이, 사용자(102)에 의해 수행된 제스처(110)의 검출에 응답하여 동작(114)을 수행하도록 디바이스를 구성하는 방법(508)을 수행하게 할 수 있다. 제2의 이러한 실시예에서, 프로세서(404) 상의 명령어들(506)의 실행은, 도 4의 예시적인 디바이스(402)의 예시적인 시스템(408)과 같이, 사용자(102)에 의해 수행된 제스처(110)에 응답하여 동작(114)을 수행하기 위한 시스템의 하나 이상의 시스템의 하나 이상의 컴포넌트를 구현할 수 있다. 많은 이러한 컴퓨터 판독가능한 매체는 여기에 제시된 기술에 따라 동작하도록 구성되는 당해 기술 분야에서의 통상의 지식을 가진 자에 의해 고안될 수 있다.
D. 변형
여기에서 설명되는 기술은 많은 양상에서 변형되어 고안될 수 있으며, 일부 변형은 이들 및 기타 기술의 다른 변형에 관련하여 추가적인 이점을 제시하고/하거나 단점을 감소시킬 수 있다. 또한, 일부 변형은 조합하여 구현될 수 있고, 일부 조합은 공동 협약을 통해 추가의 이점 및/또는 감소된 단점을 특징으로 할 수 있다. 변형은 이러한 실시예에 대해 개별 및/또는 공동 이점을 부여하도록 다양한 실시예(예컨대, 도 3의 예시적인 제1 방법(300), 도 4의 예시적인 디바이스(402) 및/또는 예시적인 시스템(408), 및 도 5의 예시적인 컴퓨터 판독가능한 메모리 디바이스(502))에 통합될 수 있다.
D1. 시나리오
이들 기술의 실시예 중에 다양할 수 있는 제1 양상은 이러한 기술이 이용될 수 있는 시나리오에 관한 것이다.
이 제1 양상의 제1 변형예로서, 여기에 제공된 기술은, 워크스테이션, 서버, 랩톱, 태블릿 및 팜톱-팩터 이동 디바이스, 이동 전화, 휴대용 게임 디바이스, 휴대용 미디어 플레이어, 텔레비전과 같은 미디어 디스플레이 디바이스, 어플라이언스, 홈 자동화 디바이스, 의료 디바이스, 및 안경, 헤드셋, 이어피스 및 손목시계와 같은 착용가능한 컴퓨팅 디바이스와 같은 다양한 디바이스(104)에 대해 수행될 수 있다.
이 제1 양상의 제2 변형예로서, 여기에 제공된 기술은, 스틸 이미지 또는 동영상을 제공하는 카메라, 주변 사운드의 샘플링을 제공하는 마이크로폰, 숫자나 스타일러스를 통해 사용자(102)로부터의 터치 입력을 제공하는 터치 감지형 디스플레이, 모션 검출을 제공하는 모션 검출기, 온도 판독을 제공하는 온도 센서, 광선 레이더 데이터를 제공하는 레이더 검출기, 사용자(102)의 생체 식별자를 제공하는 생체 센서, 디바이스(104)의 배향 및/또는 모션의 판독을 제공하는 가속도계 또는 자이로스코프, 및 디바이스(104)의 방향성 배향을 제공하는 컴퍼스(compass)와 같이 많은 유형의 센서 출력(108)을 제공하는 많은 유형의 센서(106)와 함께 사용될 수 있다.
이 제1 양상의 제3 변형예로서, 여기에 제시된 기술은 디바이스(104)가, 디바이스(104)의 배향 및/또는 모션의 조작, 디바이스(104)의 터치 감지형 디스플레이 상에 제스처를 그리거나 디바이스(104)의 압력 감지 요소를 짜내는 것과 같은 사용자의 디바이스(104)와의 물리적 상호작용, 손 사인과 같은 사용자(102)의 손이나 팔로 수행된 수동 제스처, 디바이스(104)의 마이크로폰에 내뿜는 것과 같은 사용자(102)에 의해 수행된 사운드, 사용자(102)의 얼굴 표정, 자세, 또는 보행을 포함하는 많은 유형의 제스처(110)를 검출할 수 있게 한다.
이 제1 양상의 제4 변형예로서, 여기에 제시된 기술은 디바이스(104)가, 이러한 제스처(110)에 응답하여, 애플리케이션을 호출하거나, 메시지를 보내거나, 디바이스(402)의 디스플레이 상에 이미지나 텍스트를 디스플레이하거나, 디바이스(402)에 부착된 LED(light-emitting diode)와 같은 주변 디바이스를 작동시키는 것과 같은 다양한 동작(114)을 수행할 수 있게 한다.
도 6은, 사용자(102)의 머리(612)의 귀(614)에 착용할 수 있는 하우징(604)을 포함하며 사용자(102)의 귀(614) 부근에 위치할 수 있는 스피커(606), 마이크로폰(608) 및 관성 센서(610)(예컨대, 가속도계)를 포함한 이어피스 디바이스(602)를 포함하는 하나의 이러한 디바이스를 특징으로 하는 예시적인 시나리오(600)의 예시이다. 사용자(102)에 의한 착용 중에, 디바이스(104)는 머리를 좌우로 흔들거나 머리를 위아래로 끄덕이는 것과 같이 사용자(102)의 머리(612)로 수행되는 하나 이상의 제스처(110)를 검출할 수 있다. 이러한 제스처(110)는 각각의 센서(106)의 센서 출력(108)을 모니터링함으로써, 예컨대 관성 센서(610)의 센서 출력(108)의 변화에 따라 이어피스 디바이스(604)의 배향의 변화를 검출함으로써 검출될 수 있다. 여기에 제시된 기술에 따라, 이어피스 디바이스(640)는 사용자(102)가 머리(612)를 한 쪽으로 치우치거나 말하는 동안 아래를 보는 것과 같이 사용자(102)의 머리(612)로 수행할 수 있는 새로운 제스처(110)를 지정할 수 있게 할 수 있으며, 사용자(102)에 의한 이러한 제스처(110)를 검출하면 이어피스 디바이스(604)에 의해 수행될 동작(114)을 사용자(102)가 지정할 수 있게 해줄 수 있다. 많은 이러한 변형들이 여기에 제시된 기술의 실시예에 포함될 수 있다.
D2. 제스처 프로파일
도 8은 여기에 제시된 기술의 실시예 중에 다양할 수 있는 제2 양상을 특징으로 하는 예시적인 시나리오의 예시를 제시하며, 동작(114)을 수행하도록 사용자(102)에 의해 정의되고 디바이스(104)에 의해 적용되는 제스처 세트(110)를 저장한 제스처 프로파일(702)의 생성을 수반한다. 이 예시적인 시나리오(700)에서, 사용자(102)는 3개의 디바이스(104)를 소유하는데, 각각은 디바이스(104)의 배향 및/또는 모션의 변화를 검출하도록 가속도계(106)를 각각 이용하는 전화 디바이스와 태블릿 디바이스 및 디바이스(104)의 베어링(bearing)을 검출하는 것이 가능한 컴퍼스(106)를 포함한 지오포지셔닝(geopositioning) 디바이스와 같은 다양한 형태의 센서 출력(108)을 제공하는 센서 세트(106)를 갖는다. 여기에 제공된 기술을 이용하여, 사용자(102)는 가속도계 센서(106)의 식별된 센서 출력(208)에 따라 제1 디바이스(104)를 흔들고 수평 표면 상에 제1 디바이스(104)를 뒤엎어놓는 것과 같은 제스처 세트(110)를 인식하도록 제1 디바이스(104)를 구성하고, 또한 사용자(102)가 제1 디바이스(104)로 각각의 제스처(110)를 수행할 때 수행될 동작(114)을 지정한다. 그러나, 사용자(102)는 또한, 제스처(110)를 인식하고 동작(114)을 제스처(110)와 연관시키기 위해 각각의 디바이스(104)를 보유해야 할 필요없이 제2 디바이스(104) 및 제3 디바이스(104)로 이러한 제스처(110)를 사용하기 원할 수 있으며, 즉 사용자(102)는 단순히, 일관적인 제스처 인터페이스를 제공하도록 디바이스들(104)에 걸쳐 제스처 정보가 동기화되기를 원할 수 있다.
도 7의 예시적인 시나리오(2700)에 더 예시된 바와 같이, 제1 디바이스(104)의 제스처 프로파일(704)을 저장하도록 그리고 다른 디바이스(104)에 제스처 프로파일(704)을 전달하도록, 제스처 프로파일 서비스(702)가 제공될 수 있으며, 디바이스 각각이 각각의 디바이스(104)의 센서(106)를 사용하여 제스처 프로파일(702)을 적용할 수 있다. 제2 디바이스(104)는 또한 가속도계 센서(106)를 가질 수 있고, 제1 디바이스(104)의 가속도계 센서(106)에 의해 식별되는 식별된 센서 출력(208)을 이용하는 것이 가능할 수 있다. 그러나, 제3 디바이스(104)는 제스처(110)를 검출하도록 가속도계 센서(106)의 식별된 센서 출력(208)을 이용할 수 없는 컴퍼스 센서(106)만 가질 수 있다. 따라서, 제3 디바이스(706)는 제스처(110)를 인식하기 위하여 디바이스(104)를 재트레이닝(retrain)하도록 사용자(102)에게 요청할 수 있고, 사용자(104)로부터의 수락을 수신하면, 제스처(110)를 검출하기 위해 컴퍼스 센서(106)의 식별된 센서 출력(208)을 식별하도록 트레이닝 모드(202)로 들어갈 수 있다. 대안으로서, 제3 디바이스(104) 및/또는 제스처 프로파일 서비스(704)는 제3 디바이스(104)의 컴퍼스 센서(106)와 제1 디바이스(104)의 가속도계 센서(106) 간의 불일치를 검출할 수 있고, 가속도계 센서(106)에 대한 각각의 제스처(110)의 식별된 센서 출력(208)을 제3 디바이스(104)에 의한 사용을 위해 컴퍼스 센서(106)의 식별된 센서 출력(208)으로 번역하기를 시도할 수 있다. 이 방식으로, 제스처 프로파일 서비스(704)는 사용자(102)의 디바이스 세트(104)가 여기에 제시된 기술에 따라 사용자(102)에 의해 수행된 제스처(110)를 인식하고 이에 응답하게 할 수 있다.
D3. 트레이닝 모드 개시
여기에 제시된 기술의 실시예들 중에 다양할 수 있는 제3 양상은, 사용자(102)에 의해 수행될 각자의 제스처(110)에 대하여 디바이스(104)의 각자의 센서(106)의 식별된 센서 출력(208)을 식별하기 위하여 디바이스(104)의 트레이닝 모드(202)의 개시를 수반한다.
이 제3 양상의 제1 변형예로서, 디바이스(104)는 사용자(102)의 요청시 또는 새로 획득된 디바이스(104)에 대한 셋업 프로세스와 같은 디바이스(104)의 초기 활성화시 트레이닝 모드(202)로 전이할(transition) 수 있다.
이 제3 양상의 제2 변형예로서, 디바이스(104)는 추가 센서의 디바이스(104)에의 추가와 같이 디바이스(104)가 액세스할 수 있는 센서 세트(106)의 변경을 검출하면 트레이닝 모드(202)로 전이할 수 있다. 또한, 센서(106)의 추가, 변경 및/또는 제거는 디바이스(104)가 사용자(102)에 의해 수행된 제스처(110)를 검출하는 방식을 변경할 수 있으며, 예컨대 디바이스(104)는 제1 센서(106)의 식별된 제스처 출력(208)으로 제스처(110)를 충분히 검출할 수 있지만, 제2의 추가 센서(106)에 대해 식별된 제스처 출력(108)도 또한 사용함으로써 제스처(110)를 보다 정확하게 검출할 수 있다. 따라서, 이러한 검출시, 디바이스(104)는 사용자(102)가 제스처(110)를 수행하는 동안 추가 센서의 식별된 센서 출력(208)을 검출하도록 트레이닝 모드(202)로 전이할 수 있다.
도 8은 이 제3 양상의 제3 변형예를 특징으로 하는 예시적인 시나리오(800)의 예시를 제시하며, 디바이스(104)는 식별된 센서 출력(208)과 연관되지 않은, 제스처(110)의 사용자(102)에 의한 수행을 나타내는 센서 입력(108)을 검출한다. 제1 예로서, 사용자(102)는 디바이스(104)에 의해 아직 인식되지 않은 새로운 제스처(110)를 수행하고 있을 수 있다. 제2 예로서, 사용자(102)는, 디바이스(104)에 의해 인식되지만, 디바이스(104)가 종종 제스처(110)를 인식하지 못하도록 인식 확신 임계치(recognition confidence threshold) 내에서 디바이스(104)가 현재 인식하는 바와 상이한 방식으로 사용자(102)에 의해 수행되는 제스처(110)를 수행하고 있을 수 있다. 사용자(104)가 인식되지 않은 제스처(110)를 수행하고 있거나 수행하였음을 나타내는 센서 출력(108)을 검출하면, 디바이스(104)는 제스처(110)에 대해 식별된 센서 출력(208)을 선택할 수 있고, 사용자(102)가 동작(114)에 제스처(110)를 할당할 수 있게 해주도록 트레이닝 모드(202)로 전이할 수 있다.
이 제3 양상의 제4 변형예로서, 디바이스(104)는 디바이스(104)의 하나 이상의 센서(106)가 잘못 교정됨(miscalibrated)을 검출할 수 있다(예컨대, 카메라가 이전 배향으로부터 다소 회전되었을 수 있음). 예를 들어, 센서(106)는, 다른 센서(106)의 센서 데이터(108)와 일관되지 않거나 동일 센서(106)로부터의 과거 센서 데이터(108)와 일관되지 않거나 또는 특정 상황에서 예상되는 결과를 갖는 센서 데이터(108)를 제공하고 있을 수 있다. 이러한 잘못된 교정은 센서 데이터(108)를 변경할 수 있고, 식별된 센서 출력(208)과의 일치 검출을 손상시킬 수 있으며, 디바이스(102)는 재트레이닝된다면 제스처(110)를 검출하도록 센서(106)를 사용하는 것이 가능하도록 유지될 수 있다. 따라서, 센서(106)의 이러한 잘못된 교정을 검출하면, 디바이스(104)는 제스처(110)를 인식하기 위해 디바이스(104)를 재트레이닝하도록 트레이닝 모드(202)로 전이할 수 있다.
이 제3 양상의 제5 변형예로서, 디바이스(104)는 도 7의 예시적인 시나리오(700)에서의 제3 디바이스(104)와 같이 제1 디바이스(104)의 센서(106)와 호환가능하지 않은 식별된 센서 출력(208)에 따라 식별되는 제스처(110)를 지정하는 제스처 프로파일(702)을 (예컨대, 제2 디바이스(104) 또는 제스처 프로파일 서비스(704)로부터)수신할 수 있다. 따라서, 디바이스(104)는 제스처(110)를 인식하기 위해 센서(106)를 트레이닝하도록 트레이닝 모드(202)로 전이할 수 있다. 이들 및 기타 변형은 여기에 제시된 기술에 따라 새로운 제스처(110)를 검출하기 위해 또는 공지된 제스처(110)의 검출 또는 응답을 조정하기 위해 트레이닝 모드(202)로 전이하도록 디바이스(104)에 프롬프트하는데 이용될 수 있다.
D4. 트레이닝 모드
여기에 제시된 기술의 실시예들 중에 다양할 수 있는 제4 양상은, 각자의 제스처(110)에 대한 식별된 센서 출력(208) 및 이에 응답하여 수행될 동작(114)을 식별하도록 디바이스(104)의 트레이닝 모드(202)의 구성을 수반한다.
이 제4 양상의 제1 예로서, 사용자(102)가 제스처(110)를 수행하는 동안 하나 이상의 센서(106)의 하나 이상의 센서 출력(108)으로부터 제스처(110)의 식별을 가능하게 하는 식별된 센서 출력(208)을 식별하기 위하여 많은 유형의 학습 기술이 트레이닝 모드(202)에 포함될 수 있다. 이러한 학습 기술은, 예컨대 산술평균, 중간값, 모드, 및 표준 편차와 같은 통계적 기술에 의한 평가, 베이지안(Bayesian) 알고리즘, 퍼지 로직, 인공 신경망, 및 유전 알고리즘을 포함할 수 있다.
이 제4 양상의 제2 변형예로서, 트레이닝 모드(202)는 사용자(102)에 의한 제스처(110)의 둘 이상의 제스처 수행(702)을 수반할 수 있으며, 예컨대, 사용자(102)는 더 높은 인식 정확도를 가능하게 하기 위하여 제스처(110)를 반복적으로 수행할 수 있다. 디바이스(104)는, 사용자(102)에 의한 제스처(110)의 각자의 적어도 2개의 제스처 수행(702) 동안, 제스처 수행(702) 중에 제스처(110)를 식별하는 식별된 센서 출력(208)을 검출하도록 센서(106)를 모니터링하고, 각자의 제스처 수행(702)의 식별된 센서 출력(208)에 따라 식별된 센서 출력(208)을 결정할 수 있다(예컨대, 식별된 센서 출력(208)에서의 편차 범위를 식별하는 정밀도 인식 임계치와 함께 식별된 센서 출력(208)의 통계적 평균으로서). 하나의 이러한 변형예에서, 디바이스(104)는 인식 확신(recognition confidence)을 결정하도록 각자의 제스처 수행(902) 중에 식별된 센서 출력(208)을 비교할 수 있고, 인식 확인이 인식 확신 임계치를 넘는 동안에는 제스처 수행(902)을 반복하도록 사용자(102)에게 지시할 수 있으며, 인식 확신이 인식 확신 임계치 내에 있음을 결정하면, 디바이스(104)는 식별된 센서 출력(208)을 제스처(110)와 연관시킬 수 있다.
이 제4 양상의 제3 변형예로서, 트레이닝 모드(202)가 사용자(102)에 의해 호출될 수 있고, 디바이스(104)는 제스처(110)가 트레이닝 시작 요청과 트레이닝 완료 요청 사이에 사용자(102)에 의해 수행되고 있다고 추정할 수 있다. 따라서 디바이스(104)는 이 트레이닝 기간 동안 제스처(110)에 대한 센서(106)의 식별된 센서 출력(208)을 결정하도록 각자의 센서(106)의 센서 출력(108)을 분석할 수 있고, 이러한 식별을 완료하면 인식 모드(210)로 다시 전이할 수 있다. 부가의 변형예로서, 디바이스(104)는 제스처(110)가 사용자(102)에 의해 수행되고 있을 때 트레이닝 기간 중의 적어도 하나의 제한된 기간을 식별할 수 있다(즉, 전체 트레이닝 기간보다 더 짧음). 예를 들어, 디바이스(104)는, 트레이닝 기간(202) 중에, 사용자(102)가 제스처(110)를 수행하기 전의 트레이닝 기간의 시작에서의 일시정지, 제스처(110)의 각자의 제스처 수행(702) 사이의 일시정지, 및/또는 사용자(102)가 제스처(110)를 완료한 후의 트레이닝 기간의 끝에서의 일시정지를 검출할 수 있다. 따라서 디바이스(104)는 제한된 기간(들) 중에만 식별된 센서 출력(208)을 선택할 수 있다.
이 제4 양상의 제4 변형예로서, 디바이스(104)가 적어도 2개의 센서(106)를 포함하는 경우에, 트레이닝 모드(202)는 각자의 센서(106)의 센서 출력(108)을 사용하여 식별된 센서 출력(208)을 결정하는 것을 수반할 수 있다. 하나의 이러한 변형예로서, 디바이스(104)는 제스처(110)를 검출하도록 둘 다의 센서(106)를 함께 이용할 수 있고, 예컨대, 사용자(102)가 디바이스(104)를 흔드는 동안, 가속도계는 디바이스(104)의 모션 변경을 검출할 수 있으며, 스피커는 가속도계에 의해 검출된 모션 변경과 동시에 일어난, 스피커를 지나치는 공기 중 사운드의 변동을 검출한다. 이 변형예에 따라, 사용자(102)가 제스처를 수행하는 동안, 디바이스(104)는 제스처(110)를 함께 식별하는 센서(108)의 식별된 센서 출력(208)을 검출하도록 각자의 센서(106)를 모니터링할 수 있고, 디바이스(104)의 메모리에 각각의 센서(106)의 식별된 센서 출력(208)을 저장할 수 있다. 인식 모드(210) 동안, 디바이스(104)는 제스처(110)를 검출하기 위하여 대응하는 식별된 센서 출력(208)과의 비교를 위해 각자의 적어도 2개의 센서(108)의 센서 출력(108)을 모니터링할 수 있다.
도 9는 이 제4 양상의 제5 변형예를 특징으로 하는 예시적인 시나리오(900)의 예시를 제시하며, 트레이닝 모드(202) 동안, 디바이스(104)는 적어도 2개의 센서(106) 중에 특정 제스처(110)를 결정할 수 있는 인식 센서와 특정 제스처(110)를 결정할 수 없는 비인식(non-recognizing) 센서로 구별한다. 이 예시적인 시나리오(900)에서, 디바이스(104)는 가속도계 센서(106), 마이크로폰 센서(106), 및 광 센서(106)를 포함하며, 각각은 상이한 물리적 도메인(예컨대, 모션, 사운드, 및 광)에 대해 센서 출력(108)을 제공한다. 사용자(102)가 디바이스(104)를 흔드는 것과 같은 제스처(110)의 제스처 수행 세트(902)를 완료하는 동안, 각자의 센서(106)는 상이하게 응답할 수 있으며, 예컨대 가속도계 센서(106)는 흔드는 모션의 변동을 일관되게 나타내는 센서 출력(108)을 나타낼 수 있고, 마이크로폰 센서(106)는 마이크로폰을 지나치는 공기 중 사운드의 변화를 일관되게 나타내는 센서 출력(108)을 나타낼 수 있다. 그러나, 광 센서(106)는 각각의 제스처 수행(902) 동안 센서 출력(108)의 일관된 패턴을 반영하지 않을 수 있다. 따라서, 디바이스(104)는, 제스처(110)를 식별하는 식별된 센서 출력(208)을 제공하는 적어도 하나의 인식 센서(예컨대, 가속도계 센서(106) 및 마이크로폰 센서(106)) 및 제스처(110)를 식별하는 식별된 센서 출력(108)을 제공하지 않는 적어도 하나의 비인식 센서(예컨대, 광 센서(106))를 포함할 수 있다. 디바이스는 인식 센서의 식별된 센서 출력(208)을 저장할 수 있고, 비인식 센서의 식별된 센서 출력(208)을 제외하면서(904) 모든 이러한 제스처 수행(902)에 적용되는 식별된 센서 출력(208)을 제공하도록 제스처 수행(902)에 걸쳐 이러한 센서(106)의 센서 출력(108)을 선택적으로 정규화할 수 있다.
이 제4 양상의 제6 변형예로서, 트레이닝 모드(202) 동안, 디바이스(104)는 특정 제스처(110)를 검출할 수 있는 센서(106)를 식별하도록 사용자(102)에게 요청할 수 있다. 예를 들어, 사용자(102)는 디바이스(104)를 흔드는 것과 같은 특정 제스처(110)가 광 센서(106)보다 가속도계 센서(106)에 의해 보다 용이하게 검출가능하다고 이해할 수 있으며, 디바이스(104)의 트레이닝 모드를 돕도록 이 차이를 지정할 수 있다. 사용자(102)로부터 적어도 하나의 선택된 센서(106)를 수신하면, 디바이스(104)는 사용자(102)가 제스처(110)를 식별하는 식별된 센서 출력(208)을 검출하도록 제스처(110)를 수행하는 동안 선택된 센서만 모니터링할 수 있고, 선택된 센서(106)의 식별된 센서 출력(208)만 저장할 수 있다.
이 제4 양상의 이 제6 변형예의 부가의 예로서, 디바이스(104)의 각자의 센서(106)는 하나 이상의 센서 양식(sensor modality)과 연관될 수 있다(예컨대, 광 센서(106)는 광 레벨의 변경을 검출할 수 있고, 모션 센서(106)는 디바이스 근방의 모션을 검출할 수 있고, 생체 센서는 얼굴 표정과 같은 사용자(102)의 생체 특징을 검출할 수 있고, 스틸 카메라는 광 레벨, 근방의 모션, 및 사용자(102)의 생체 특징의 변경을 검출할 수 있음). 따라서, 디바이스(104)는 각자의 센서(106)의 센서 양식을 식별할 수 있고, 어느 유형의 센서 양식이 사용자(102)가 인식하기를 원하는 제스처(110)(예컨대, 모션 기반의 제스처, 광 기반의 제스처, 또는 생체 기반의 제스처를 인식함)에 대응하는지의 옵션을 사용자(102)에게 제시할 수 있다. 사용자(102)가 제스처(110)를 수행하는 동안, 디바이스(104)는 선택된 센서 양식과 연관되어 있는 센서(104)만 모니터링할 수 있고, 이러한 센서(106)의 식별된 센서 출력(208)만 메모리에 저장할 수 있다. 여기에 제시된 기술에 따라 제스처(110)의 인식을 가능하게 하는 식별된 센서 출력(208)을 결정하기 위하여 많은 이러한 변형이 디바이스(104)의 트레이닝 모드(202)에 포함될 수 있다.
D5. 동작 수행
여기에 제시된 기술의 실시예 중에 다양할 수 있는 제5 양상은, 제스처(110)의 인식에 응답하여 동작(114)을 수행하는 방식을 수반한다.
이 제6 양상의 제1 변형예로서, 동작(102)은 디바이스(104)의 실행 모드, 애플리케이션, 또는 애플리케이션 상태와 같은 디바이스(104)의 컨텍스트(context)와 연관될 수 있다. 예를 들어, 인식된 제스처(110)는, 디바이스(104)가 제1 애플리케이션을 실행하고 있는 경우에는 제1 동작(114)이, 그리고 디바이스(104)가 제2 애플리케이션을 실행하고 있는 경우에는 제2 동작(114)이 수행되게 할 수 있다(예컨대, 이메일 애플리케이션을 사용하는 동안 디바이스(104)를 흔드는 것은 이메일 애플리케이션이 새로운 메일을 페칭하게 하는 반면, 미디어 재생 애플리케이션을 사용하는 동안 디바이스(104)를 흔드는 것은 미디어 재생 애플리케이션이 플레이리스트 내의 다음 미디어 항목으로 스킵하게 함). 따라서, 제스처(110)의 검출에 응답하여, 디바이스(104)는 현재 디바이스 컨텐스트를 검출할 수 있고, 제스처(110) 및 디바이스(104)의 현재 디바이스 컨텍스트 둘 다와 연관되어 있는 동작(114)을 수행할 수 있다.
도 10은 이 제5 양상의 제2 변형예를 특징으로 하는 예시적인 시나리오(1000)의 예시를 제시하며, 제스처(110)에 응답하여 수행되는 동작(114)은 제스처(110)가 검출된 센서(106)와 관련된다. 이 예시적인 시나리오(1000)에서, 디바이스(104)는 가속도계 센서(104)의 센서 입력(108)에 따라 검출될 수 있는 디바이스(104)를 흔드는 것을 수반한 제1 제스처(110) 및 사용자(102)가 손가락(1002)으로 디바이스(104)의 마이크로폰 센서(106)를 탭핑하는 것을 수반한 제2 제스처(110)를 인식하는 것이 가능할 수 있다. 둘 다의 제스처(1000)의 결과, 이메일 클라이언트가 사용자(102)에게 새로운 메시지를 통지하는 방식을 선택하는 것과 같이, 디바이스(104)의 이메일 클라이언트를 이용한 동작(114)이 개시될 수 있다. 그러나, 동작(114)이 수행되는 특정 방식(예컨대, 통지 유형)은 동작(110)을 검출하는 특정 센서(106)와 관련될 수 있다. 예를 들어, 디바이스(104)를 흔드는 동작(114)이 촉각 입력으로서 구성될 수 있고 디바이스(104)가 진동 모듈을 통한 것과 같은 촉각 방식으로 이러한 통지를 제공하게 할 수 있으며, 마이크로폰 센서(106)를 탭핑하는 동작(114)이 사운드 입력으로서 구성될 수 있고 디바이스(104)가 오디오 큐를 통한 것과 같은 가청 방식으로 이러한 통지를 제공하게 할 수 있다. 제스처(110)에 응답하는 동작(110)의 수행에 있어서 이들 및 기타 변형은 여기에 제시된 기술의 변형에 포함될 수 있다.
E. 컴퓨팅 환경
여기에서 설명되는 기술은 많은 양상에서 변형되어 고안될 수 있으며, 일부 변형은 이들 및 기타 기술의 다른 변형에 관련하여 추가적인 이점을 제시하고/하거나 단점을 감소시킬 수 있다. 또한, 일부 변형은 조합하여 구현될 수 있고, 일부 조합은 공동 협약을 통해 추가의 이점 및/또는 감소된 단점을 특징으로 할 수 있다. 변형은 이러한 실시예에 대해 개별 및/또는 공동 이점을 부여하도록 다양한 실시예에 포함될 수 있다.
도 11 및 다음의 설명은 여기에 서술된 방책 중의 하나 이상의 실시예를 구현하도록 적합한 컴퓨팅 환경의 간략하고 일반적인 설명을 제공한다. 도 11의 운영 환경은 적합한 운영 환경의 단지 하나의 예일 뿐이며 운영 환경의 사용 또는 기능의 범위에 대해 어떠한 한정도 제안하도록 의도되지 않는다. 예시적인 컴퓨팅 디바이스는, 개인용 컴퓨터, 서버 컴퓨터, 핸드헬드 또는 랩톱 디바이스, (이동 전화, PDA, 미디어 플레이어 등과 같은)이동 디바이스, 멀티프로세서 시스템, 소비자 전자기기, 미니 컴퓨터, 메인프레임 컴퓨터, 임의의 상기 시스템 또는 디바이스를 포함하는 분산형 컴퓨팅 환경 등을 포함하지만, 이에 한정되는 것은 아니다.
요구되는 것은 아니지만, 실시예는 일반적으로 하나 이상의 컴퓨팅 디바이스에 의해 실행되는 “컴퓨터 판독가능한 명령어”에 관련하여 기재된다. 컴퓨터 판독가능한 명령어는 컴퓨터 판독가능한 매체(아래에 설명됨)를 통해 분포될 수 있다. 컴퓨터 판독가능한 명령어는 특정 작업을 수행하거나 특정 추상 데이터 타입을 구현하는 함수, 객체, API(Application Programming Interfaces), 데이터 구조 등과 같은 프로그램 모듈로서 구현될 수 있다. 통상적으로, 컴퓨터 판독가능한 명령어의 기능은 다양한 환경에서 원하는 대로 결합되거나 분산될 수 있다.
도 11은 여기에 제공된 하나 이상의 실시예를 구현하도록 구성된 컴퓨팅 디바이스(1102)를 포함하는 시스템(1100)의 예를 예시한다. 하나의 구성에서, 컴퓨팅 디바이스(1102)는 적어도 하나의 프로세싱 유닛(1106) 및 메모리(1108)를 포함한다. 컴퓨팅 디바이스의 정확한 구성 및 타입에 따라, 메모리(1108)는 (예를 들어, RAM과 같은)휘발성, (예를 들어, ROM, 플래시 메모리와 같은)비휘발성 또는 이 둘의 일부 조합일 수 있다. 이 구성은 도 11에서 점선(1104)에 의해 예시되어 있다.
다른 실시예에서, 디바이스(1102)는 추가의 특징 및/또는 기능을 포함할 수 있다. 예를 들어, 디바이스(1102)는 또한, 자기 스토리지, 광학 스토리지 등을 포함하지만 이에 한정되는 것은 아닌 추가적인 스토리지(예컨대, 이동식 및/또는 비이동식)를 포함할 수 있다. 이러한 추가적인 스토리지는 도 11에서 스토리지(1110)로 예시되어 있다. 하나의 실시예에서, 여기에 제공된 하나 이상의 실시예를 구현하기 위한 컴퓨터 판독가능한 명령어는 스토리지(1110)에 있을 수 있다. 스토리지(1110)는 또한, 운영 체제, 애플리케이션 프로그램 등을 구현하기 위한 다른 컴퓨터 판독가능한 명령어를 저장할 수 있다. 컴퓨터 판독가능한 명령어는 예를 들어 프로세싱 유닛(1106)에 의한 실행을 위해 메모리(1108)에 로딩될 수 있다.
여기에서 사용된 용어 “컴퓨터 판독가능한 매체”는 컴퓨터 저장 매체를 포함한다. 컴퓨터 저장 매체는 컴퓨터 판독가능한 명령어 또는 기타 데이터와 같은 정보의 저장을 위해 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 이동식 및 비이동식 매체를 포함한다. 메모리(1108) 및 스토리지(1110)는 컴퓨터 저장 매체의 예이다. 컴퓨터 저장 매체는, RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD 또는 기타 광학 스토리지, 자기 카세트, 자기 테이프, 자기 디스크 스토리지 또는 기타 자기 스토리지 디바이스, 또는 원하는 정보를 저장하는데 사용될 수 있으며 디바이스(1102)에 의해 액세스될 수 있는 임의의 기타 매체를 포함하지만, 이에 한정되는 것은 아니다. 임의의 이러한 컴퓨터 저장 매체는 디바이스(1102)의 일부일 수 있다.
디바이스(1102)는 또한 디바이스(1102)가 다른 디바이스와 통신할 수 있게 해주는 통신 접속(들)(1116)을 포함할 수 있다. 통신 접속(들)(1116)은 모뎀, NIC(Network Interface Card), 집적 네트워크 인터페이스, 무선 주파수 송신기/수신기, 적외선 포트, USB 접속, 또는 컴퓨팅 디바이스(1102)를 다른 컴퓨팅 디바이스에 접속시키는 다른 인터페이스를 포함할 수 있지만, 이에 한정되는 것은 아니다. 통신 접속(들)(1116)은 유선 접속 또는 무선 접속을 포함할 수 있다. 통신 접속(들)(1116)은 통신 매체를 전송하고/하거나 수신할 수 있다.
용어 “컴퓨터 판독가능한 매체”는 통신 매체를 포함할 수 있다. 통신 매체는 통상적으로 반송파 또는 기타 수송 메커니즘과 같은 “변조된 데이터 신호”로 컴퓨터 판독가능한 명령어 또는 기타 데이터를 구현하며, 임의의 정보 전달 매체를 포함한다. 용어 “변조된 데이터 신호”는 신호에 정보를 인코딩하는 방식으로 그의 특성 중의 하나 이상이 설정되거나 변경된 신호를 포함할 수 있다.
디바이스(1102)는 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스, 적외선 카메라, 비디오 입력 디바이스 및/또는 임의의 기타 입력 디바이스와 같은 입력 디바이스(들)(1114)를 포함할 수 있다. 하나 이상의 디스플레이, 스피커, 프린터, 및/또는 임의의 기타 출력 디바이스와 같은 출력 디바이스(들)(1112)도 또한 디바이스(1102)에 포함될 수 있다. 입력 디바이스(들)(1114) 및 출력 디바이스(들)(1112)는 유선 접속, 무선 접속, 또는 이들의 임의의 조합을 통해 디바이스(1102)에 접속될 수 있다. 하나의 실시예에서, 또다른 컴퓨팅 디바이스로부터의 입력 디바이스 또는 출력 디바이스가 컴퓨팅 디바이스(1102)에 대한 입력 디바이스(들)(1114) 또는 출력 디바이스(들)(1112)로서 사용될 수 있다.
컴퓨팅 디바이스(1102)의 컴포넌트들은 버스와 같은 다양한 상호접속부에 의해 접속될 수 있다. 이러한 상호접속부는 PCI Express와 같은 PCI(Peripheral Component Interconnect), USB(Universal Serial Bus), Firewire (IEEE 1394), 광학 버스 구조 등을 포함할 수 있다. 다른 실시예에서, 컴퓨팅 디바이스(1102)의 컴포넌트들은 네트워크에 의해 상호접속될 수 있다. 예를 들어, 메모리(1108)는 네트워크에 의해 상호접속된 상이한 물리적 위치에 위치된 복수의 물리적 메모리 유닛들로 구성될 수 있다.
당해 기술 분야에서의 숙련자라면 컴퓨터 판독가능한 명령어를 저장하는데 이용된 스토리지 디바이스가 네트워크에 걸쳐 분산될 수 있다는 것을 알 것이다. 예를 들어, 네트워크(1118)를 통해 액세스가능한 컴퓨팅 디바이스(1120)가 여기에 제공된 하나 이상의 실시예를 구현하기 위한 컴퓨터 판독가능한 명령어를 저장할 수 있다. 컴퓨팅 디바이스(1102)는 컴퓨팅 디바이스(1120)에 액세스하고 실행을 위해 컴퓨터 판독가능한 명령어의 일부 또는 전부를 다운로드할 수 있다. 대안으로서, 컴퓨팅 디바이스(1102)는 필요한 바에 따라 컴퓨터 판독가능한 명령어의 조각들을 다운로드할 수 있고, 또는 일부 명령어는 컴퓨팅 디바이스(1102)에서 일부는 컴퓨팅 디바이스(1120)에서 실행될 수 있다.
F. 용어의 사용
구조적 특징 및/또는 방법 동작에 특정한 언어로 내용이 기재되었지만, 첨부된 청구항에 정의된 내용은 반드시 상기 기재된 구체적 특징 또는 동작에 한정되는 것이 아님을 이해하여야 한다. 오히려, 상기 기재된 구체적 특징 및 동작은 청구항을 구현하는 예시적인 형태로서 개시된 것이다.
본 출원에서 사용될 때, 용어 “컴포넌트”, “모듈”, “시스템”, “인터페이스” 등은 일반적으로, 하드웨어든, 하드웨어와 소프트웨어의 조합이든, 소프트웨어이든, 또는 실행 중인 소프트웨어이든 컴퓨터 관련 엔티티를 지칭하는 것으로 의도된다. 예를 들어, 컴포넌트는 프로세서 상에서 실행 중인 프로세스, 프로세서, 객체, 실행, 실행 쓰레드, 프로그램, 및/또는 컴퓨터일 수 있지만, 이에 한정되는 것은 아니다. 예시로써, 컨트롤러 상에서 실행 중인 애플리케이션과 컨트롤러 둘 다 컴포넌트일 수 있다. 하나 이상의 컴포넌트가 프로세스 및/또는 실행 쓰레드 내에 상주할 수 있고, 컴포넌트는 하나의 컴퓨터 상에 로컬라이징되고/되거나 둘 이상의 컴퓨터 사이에 분산될 수 있다.
또한, 청구 내용은 개시된 내용을 구현하도록 컴퓨터를 제어하기 위해 소프트웨어, 펌웨어, 하드웨어, 또는 이들의 임의의 조합을 생성하도록 표준 프로그래밍 및/또는 엔지니어링 기술을 사용하는 방법, 장치, 또는 제조 물품으로서 구현될 수 있다. 여기에서 사용될 때 용어 “제조 물품”은 임의의 컴퓨터 판독가능한 디바이스, 반송파, 또는 매체로부터 액세스 가능한 컴퓨터 프로그램을 망라하도록 의도된다. 물론, 당해 기술 분야에서의 숙련자는 청구 내용의 범위 또는 진정한 의미로부터 벗어나지 않고서 이 구성에 많은 수정이 행해질 수 있다는 것을 알 수 있을 것이다.
실시예의 다양한 동작들이 여기에 제공되어 있다. 하나의 실시예에서, 기재된 동작들 중의 하나 이상은 하나 이상의 컴퓨터 판독가능한 매체 상에 저장된 컴퓨터 판독가능한 명령어를 구성할 수 있으며, 이는 컴퓨팅 디바이스에 의해 실행되면 컴퓨팅 디바이스로 하여금 기재된 동작들을 수행하게 할 것이다. 동작들의 일부 또는 전부가 기재되어 있는 순서는 이들 동작들이 반드시 순서에 따라야 함을 의미하는 것으로 해석되어서는 안 된다. 본 출원의 이익을 누리는 분야에서의 숙련자에 의해 대안의 순서가 인식될 것이다. 또한, 모든 동작들이 반드시 여기에 제공된 각각의 실시예에 제시되는 것은 아님을 이해할 것이다.
더욱이, 용어 “예시적인”은 예, 사례, 또는 예시로서 작용함을 의미하도록 여기에서 사용된다. “예시적인”으로서 여기에 기재된 임의의 양상 또는 설계가 반드시 다른 양상 또는 설계 이상으로 유리한 것으로 해석되어야 하는 것은 아니다. 오히려, 용어 예시적인의 사용은 구체적인 방식으로 개념을 제시하고자 하는 것이다. 본 출원에서 사용될 때, 용어 “또는”은 배타적인 “또는”이라기보다는 포괄적인 “또는”을 의미하도록 의도된다. 즉, 달리 명시된다거나 문맥으로부터 명확하지 않은 한, “X는 A 또는 B를 채용한다”는 임의의 자연 포괄적인 치환을 의미하도록 의도된다. 즉, X가 A를 채용하거나 X가 B를 채용하거나 또는 X가 A 및 B 둘 다를 채용하는 경우, “X는 A 또는 B를 채용한다”는 임의의 전술한 사례에 대해 충족된다. 또한, 본 출원 및 첨부된 청구항에서 사용되는 관사 "a” 및 “an”은, 단수 형태를 지시하도록 달리 명시된다거나 문맥으로부터 명확하지 않은 한, 일반적으로 “하나 이상”을 의미하는 것으로 해석될 수 있다.
또한, 본 개시가 하나 이상의 구현에 관련하여 도시되고 기재되었지만, 본 명세서 및 첨부 도면을 읽고 이해하는 것을 기반으로 등가의 대안 및 수정이 당해 기술 분야에서의 숙련자들에게 떠오를 것이다. 본 개시는 모든 이러한 수정 및 대안을 포함하며 다음의 청구항의 범위에 의해서만 한정된다. 상기 기재된 컴포넌트(예컨대, 요소, 자원 등)에 의해 수행되는 다양한 기능에 특히 관련하여, 이러한 컴포넌트를 기재하는데 사용된 용어는 달리 나타내지 않는 한, 본 개시의 여기에 예시된 예시적인 구현에서의 기능을 수행하는 개시된 구조와 구조적으로 등가가 아니더라도, 기재된 컴포넌트의 명시된 기능을 수행하는 임의의 컴포넌트(예컨대, 기능적으로 등가임)에 대응하는 것으로 의도된다. 또한, 본 개시의 특정 특징이 여러 구현 중의 하나에만 관련하여 개시되었지만, 이러한 특징은 임의의 주어진 또는 특정 애플리케이션에 대하여 원하고 유리할 수 있는 대로 다른 구현의 하나 이상의 다른 특징과 결합될 수 있다. 또한, 용어 “포함한다”, “갖는”, “갖는다”, “구비한”, 또는 이들의 변형어가 상세한 설명이나 청구항에서 사용되는 경우에, 이러한 용어는 용어 “포함하는”과 유사한 방식으로 포괄적인 것으로 의도된다.

Claims (20)

  1. 프로세서 및 센서 출력을 제공하는 센서를 갖는 디바이스의 사용자에 의해 수행된 제스처와 연관된 동작을 수행하는 방법에 있어서,
    상기 프로세서 상에서 명령어들을 실행하는 단계를 포함하며, 상기 명령어들은 상기 디바이스로 하여금,
    사용자로부터 트레이닝(training) 시작 요청을 수신하면, 상기 디바이스를 트레이닝 모드로 전이하게(transition) 하고;
    상기 트레이닝 모드 동안,
    사용자가 제스처를 수행하는 동안, 상기 트레이닝 시작 요청과 트레이닝 완료 요청 사이의 트레이닝 기간 동안 상기 제스처를 식별하는 식별된 센서 출력을 검출하도록 상기 센서를 모니터링하고;
    상기 트레이닝 기간 동안, 상기 트레이닝 기간보다 더 짧은 제한된 기간 - 상기 제한된 기간 동안 상기 식별된 센서 출력이 상기 제스처를 식별함 - 을 식별하고;
    상기 제한된 기간 동안 상기 센서의 식별된 센서 출력을 상기 제스처와 연관시키고;
    동작을 상기 제스처와 연관시키게 하고;
    사용자로부터 트레이닝 완료 요청을 수신하면, 상기 디바이스를 인식(recognition) 모드로 전이하게 하고;
    상기 인식 모드 동안,
    상기 센서의 센서 출력을 모니터링하고;
    상기 센서 출력이 상기 제스처와 연관된 상기 식별된 센서 출력과 일치함을 검출하면, 상기 제스처와 연관된 상기 동작을 수행하게 하는 것인, 제스처와 연관된 동작 수행 방법.
  2. 청구항 1에 있어서, 상기 프로세서 상에서 상기 명령어들을 실행하는 단계는 또한, 상기 디바이스로 하여금, 추가 센서의 상기 디바이스에의 추가를 검출하면, 사용자가 제스처를 수행하는 동안 상기 추가 센서의 식별된 센서 출력을 검출하도록 상기 디바이스를 상기 트레이닝 모드로 전이하게 하는 것인, 제스처와 연관된 동작 수행 방법.
  3. 청구항 1에 있어서, 상기 프로세서 상에서 상기 명령어들을 실행하는 단계는 또한, 상기 디바이스로 하여금, 인식 확신 임계치(recognition confidence threshold) 내에서 센서의 식별된 센서 출력과 연관되지 않은 제스처를 검출하면, 상기 제스처를 인식하도록 상기 센서를 재트레이닝(retrain)하기 위해 상기 디바이스를 상기 트레이닝 모드로 전이하게 하는 것인, 제스처와 연관된 동작 수행 방법.
  4. 청구항 1에 있어서, 상기 프로세서 상에서 상기 명령어들을 실행하는 단계는 또한, 상기 디바이스로 하여금, 상기 제스처와 연관된 상기 식별된 센서 출력의 인식 정확도를 감소시키는 센서의 잘못 교정됨(miscalibration)을 검출하면, 상기 제스처를 인식하도록 상기 센서를 재트레이닝하기 위해 상기 디바이스를 상기 트레이닝 모드로 전이하게 하는 것인, 제스처와 연관된 동작 수행 방법.
  5. 청구항 1에 있어서, 상기 프로세서 상에서 상기 명령어들을 실행하는 단계는 또한, 상기 디바이스로 하여금, 상기 디바이스의 센서와 호환가능하지 않은 식별된 센서 출력과 연관되어 있는 선택된 제스처를 지정하는 제스처 프로파일을 수신하면, 상기 제스처를 인식하도록 상기 센서를 트레이닝하기 위해 상기 디바이스를 상기 트레이닝 모드로 전이하게 하는 것인, 제스처와 연관된 동작 수행 방법.
  6. 청구항 1에 있어서, 상기 프로세서 상에서 상기 명령어들을 실행하는 단계는 또한, 상기 디바이스로 하여금, 동작과 연관되지 않은 검출된 제스처를 식별하는 상기 센서의 센서 출력을 검출하면, 상기 검출된 제스처를 적어도 하나의 동작과 연관시키도록 사용자에게 요청하게 하는 것인, 제스처와 연관된 동작 수행 방법.
  7. 청구항 1에 있어서, 상기 식별된 센서 출력을 검출하도록 상기 센서를 모니터링하는 것은,
    사용자에 의한 제스처의 적어도 2회의 제스처 수행 각각 동안, 상기 제스처 수행 동안 상기 제스처를 식별하는 식별된 센서 출력을 검출하도록 상기 센서를 모니터링하고;
    상기 적어도 2회의 제스처 수행 각각의 식별된 센서 출력에 따라 상기 식별된 센서 출력을 결정하는 것을 더 포함하는 것인, 제스처와 연관된 동작 수행 방법.
  8. 청구항 7에 있어서, 상기 식별된 센서 출력을 결정하는 것은,
    인식 확신을 결정하도록 상기 적어도 2회의 제스처 수행 각각 동안에 식별된 센서 출력을 비교하고;
    상기 인식 확신이 인식 확신 임계치를 넘는 동안, 상기 제스처 수행을 반복하도록 사용자에게 지시하고;
    상기 인식 확신 임계치 내에서 상기 인식 확신을 결정하면, 상기 식별된 센서 출력을 상기 제스처와 연관시키는 것을 더 포함하는 것인, 제스처와 연관된 동작 수행 방법.
  9. 청구항 1에 있어서, 상기 식별된 센서 출력과 상기 제스처 간의 연관은 제스처 프로파일에 저장되며, 상기 방법은, 상기 프로세서 상에서, 상기 디바이스로 하여금 제스처 프로파일 서비스에 상기 제스처 프로파일을 보내게 하는 명령어들을 실행하는 단계를 더 포함하는 것인, 제스처와 연관된 동작 수행 방법.
  10. 청구항 1에 있어서, 상기 프로세서 상에서, 상기 디바이스로 하여금 제스처 프로파일 서비스로부터 제스처 프로파일을 리트리브(retrieve)하게 하는 명령어들을 실행하는 단계를 더 포함하며, 상기 제스처 프로파일은 적어도 하나의 센서의 식별된 센서 출력 및 동작과 제스처의 연관을 포함하는 것인, 제스처와 연관된 동작 수행 방법.
  11. 청구항 10에 있어서, 상기 프로세서 상에서, 상기 디바이스로 하여금, 상기 제스처 프로파일의, 상기 적어도 하나의 센서의 식별된 센서 출력이, 둘 이상의 센서 - 이 중의 적어도 하나의 센서는 상기 디바이스에 없음 - 의 둘 이상의 센서 출력을 포함한다는 것을 검출하는 것에 응답하여, 상기 디바이스를 상기 트레이닝 모드로 전이하게 하는 명령어들을 실행하는 단계를 더 포함하는, 제스처와 연관된 동작 수행 방법.
  12. 청구항 10에 있어서, 상기 프로세서 상에서, 상기 디바이스로 하여금,
    상기 제스처 프로파일의, 상기 적어도 하나의 센서의 식별된 센서 출력이, 둘 이상의 센서 - 이 중의 적어도 하나의 센서는 상기 디바이스에 없음 - 의 둘 이상의 센서 출력을 포함한다는 것을 검출하고;
    상기 디바이스에 없는 상기 적어도 하나의 센서의 적어도 하나의 센서 출력을, 상기 디바이스의 일부인 센서의 번역된 센서 출력으로 번역하게 하는
    명령어들을 실행하는 단계를 더 포함하는, 제스처와 연관된 동작 수행 방법.
  13. 사용자에 의해 수행된 제스처와 연관된 동작을 수행하는 디바이스에 있어서,
    메모리;
    적어도 2개의 센서 출력을 제공하는 적어도 2개의 센서;
    제스처 트레이너로서,
    사용자가 제스처를 수행하는 동안, 상기 제스처를 식별하는 하나 이상의 식별된 센서 출력을 검출하도록 상기 적어도 2개의 센서를 모니터링하되, 상기 하나 이상의 식별된 센서 출력을 검출하는 것은,
    트레이닝 시작 요청과 트레이닝 완료 요청 사이의 트레이닝 기간 동안, 상기 트레이닝 기간보다 더 짧은 제한된 기간 - 상기 제한된 기간 동안 상기 하나 이상의 식별된 센서 출력이 상기 제스처를 식별하고, 상기 트레이닝 시작 요청 및 상기 트레이닝 완료 요청은 상기 사용자로부터 수신됨 - 을 식별하고;
    상기 제한된 기간 동안, 상기 제스처를 식별하는 식별된 센서 출력을 제공하는 적어도 하나의 인식 센서를 식별하고;
    상기 제스처를 식별하는 식별된 센서 출력을 제공하지 않는 적어도 하나의 비-인식(non-recognizing) 센서를 식별하는 것
    을 포함하며,
    상기 제스처를 함께 식별하는 상기 하나 이상의 식별된 센서 출력을 상기 메모리에 저장 - 상기 저장은, 상기 적어도 하나의 비-인식 센서의 식별된 센서 출력을 제외함 - 하는, 상기 제스처 트레이너;
    사용자로부터 상기 제스처와 연관될 동작을 수신하면, 상기 제스처와 상기 동작의 연관을 상기 메모리에 저장하는 동작 연관기(associator); 및
    제스처 인식기로서,
    상기 제스처를 식별하는 하나 이상의 식별된 센서 출력을 검출하도록 상기 적어도 2개의 센서의 적어도 2개의 센서 출력을 모니터링하고;
    상기 하나 이상의 식별된 센서 출력과 연관된 상기 제스처와, 상기 메모리 내에서 연관되어 있는 동작을 수행하는,
    상기 제스처 인식기
    를 포함하는, 제스처와 연관된 동작을 수행하는 디바이스.
  14. 청구항 13에 있어서,
    상기 제스처를 식별하는 식별된 센서 출력을 검출하는 것은,
    상기 적어도 2개의 센서 중에, 상기 제스처를 식별하는 적어도 하나의 선택된 센서를 식별하도록 사용자에게 요청하고;
    사용자가 제스처를 수행하는 동안, 상기 제스처를 식별하는 식별된 센서 출력을 검출하도록 상기 적어도 하나의 선택된 센서만 모니터링하는 것을 더 포함하고,
    상기 하나 이상의 식별된 센서 출력을 상기 메모리에 저장하는 것은, 적어도 하나의 선택된 센서 각각의 식별된 센서 출력만 상기 메모리에 저장하는 것을 더 포함하는 것인, 제스처와 연관된 동작을 수행하는 디바이스.
  15. 청구항 14에 있어서,
    각각의 디바이스가 적어도 하나의 센서 양식(sensor modality)과 연관되고,
    상기 적어도 하나의 선택된 센서를 식별하도록 사용자에게 요청하는 것은,
    상기 디바이스의 적어도 하나의 센서와 각각 연관된 적어도 2개의 센서 양식 중에, 상기 제스처를 식별하는 적어도 하나의 선택된 센서 양식을 식별하도록 사용자에게 요청하는 것을 더 포함하고;
    상기 식별된 센서 출력을 검출하는 것은,
    사용자가 제스처를 수행하는 동안, 상기 제스처를 식별하는 식별된 센서 출력을 검출하도록 적어도 하나의 선택된 센서 양식과 연관된 적어도 하나의 센서만 모니터링하는 것을 더 포함하고,
    상기 식별된 센서 출력을 상기 메모리에 저장하는 것은, 적어도 하나의 선택된 센서 양식과 연관된 적어도 하나의 센서의 식별된 센서 출력만 상기 메모리에 저장하는 것을 더 포함하는 것인, 제스처와 연관된 동작을 수행하는 디바이스.
  16. 명령어들을 저장한 유형의(tangible) 컴퓨터 판독가능한 메모리 디바이스에 있어서, 상기 명령어들은, 센서를 갖는 컴퓨팅 디바이스의 프로세서 상에서 실행될 때, 상기 컴퓨팅 디바이스로 하여금,
    사용자로부터 트레이닝 시작 요청을 수신하면, 트레이닝 모드로 전이하고;
    상기 트레이닝 모드 동안,
    사용자가 제스처를 수행하는 동안, 상기 트레이닝 시작 요청과 트레이닝 완료 요청 사이의 트레이닝 기간 동안 상기 제스처를 식별하는 식별된 센서 출력을 검출하도록 상기 센서를 모니터링하고;
    상기 트레이닝 기간 동안, 상기 트레이닝 기간보다 더 짧은 제한된 기간 - 상기 제한된 기간 동안 상기 식별된 센서 출력이 상기 제스처를 식별함 - 을 식별하고;
    상기 제한된 기간 동안 상기 센서의 식별된 센서 출력을 상기 제스처와 연관시키고;
    동작을 상기 제스처와 연관시키고;
    사용자로부터 트레이닝 완료 요청을 수신하면, 인식 모드로 전이하게 하고;
    상기 인식 모드 동안,
    상기 센서의 센서 출력을 모니터링하고;
    상기 센서 출력이 상기 제스처와 연관된 상기 식별된 센서 출력과 일치함을 검출하면, 상기 제스처와 연관된 상기 동작을 수행함으로써,
    사용자에 의해 수행된 제스처와 연관된 동작을 수행하게 하는 것인, 유형의 컴퓨터 판독가능한 메모리 디바이스.
  17. 청구항 16에 있어서, 상기 프로세서 상에서 상기 명령어들을 실행하는 것은 또한, 상기 컴퓨팅 디바이스로 하여금,
    상기 동작 및 상기 센서의 식별된 센서 출력과 상기 제스처의 연관을 제스처 프로파일에 저장하고;
    상기 제스처 프로파일을 제스처 프로파일 서비스에 보내게 하는 것인, 유형의 컴퓨터 판독가능한 메모리 디바이스.
  18. 청구항 16에 있어서, 상기 프로세서 상에서 상기 명령어들을 실행하는 것은 또한, 상기 컴퓨팅 디바이스로 하여금, 제스처 프로파일 서비스로부터 제스처 프로파일을 리트리브하게 하고, 상기 제스처 프로파일은 센서의 식별된 센서 출력 및 동작과 제스처의 적어도 하나의 연관을 포함하는 것인, 유형의 컴퓨터 판독가능한 메모리 디바이스.
  19. 청구항 16에 있어서,
    상기 동작은 상기 컴퓨팅 디바이스의 디바이스 컨텍스트(device context)와 더 연관되고,
    상기 동작을 수행하는 것은, 상기 센서 출력이 상기 제스처와 연관된 식별된 센서 출력과 일치하면서 상기 컴퓨팅 디바이스의 현재 디바이스 컨텍스트가 상기 동작과 연관된 디바이스 컨텍스트와 일치함을 검출하면, 상기 제스처와 연관된 동작을 수행하는 것을 더 포함하는 것인, 유형의 컴퓨터 판독가능한 메모리 디바이스.
  20. 청구항 16에 있어서,
    상기 컴퓨팅 디바이스는 적어도 2개의 센서를 포함하고;
    상기 동작은, 상기 제스처와 연관되어 있는 식별된 센서 출력을 제공하는 센서와 더 연관되며,
    상기 동작을 수행하는 것은, 상기 센서 출력이 상기 제스처와 연관된 식별된 센서 출력과 일치함을 검출하면, 상기 제스처와 그리고 상기 센서 출력을 제공하는 센서와 연관된 동작을 수행하는 것을 더 포함하는 것인, 유형의 컴퓨터 판독가능한 메모리 디바이스.
KR1020167028640A 2014-03-15 2015-03-12 트레이닝가능한 센서 기반의 제스처 인식 KR102334272B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/214,707 2014-03-15
US14/214,707 US9405377B2 (en) 2014-03-15 2014-03-15 Trainable sensor-based gesture recognition
PCT/US2015/020048 WO2015142593A1 (en) 2014-03-15 2015-03-12 Trainable sensor-based gesture recognition

Publications (2)

Publication Number Publication Date
KR20160132988A KR20160132988A (ko) 2016-11-21
KR102334272B1 true KR102334272B1 (ko) 2021-12-01

Family

ID=52774570

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167028640A KR102334272B1 (ko) 2014-03-15 2015-03-12 트레이닝가능한 센서 기반의 제스처 인식

Country Status (6)

Country Link
US (1) US9405377B2 (ko)
EP (1) EP3120222B1 (ko)
KR (1) KR102334272B1 (ko)
CN (1) CN106104424B (ko)
TW (1) TW201535168A (ko)
WO (1) WO2015142593A1 (ko)

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
DE212014000045U1 (de) 2013-02-07 2015-09-24 Apple Inc. Sprach-Trigger für einen digitalen Assistenten
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US20150283703A1 (en) * 2014-04-03 2015-10-08 Brain Corporation Apparatus and methods for remotely controlling robotic devices
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9824079B1 (en) 2014-07-11 2017-11-21 Google Llc Providing actions for mobile onscreen content
WO2016069866A2 (en) 2014-10-30 2016-05-06 Smartear, Inc. Smart flexible interactive earplug
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10078803B2 (en) 2015-06-15 2018-09-18 Google Llc Screen-analysis based device security
US20160378747A1 (en) * 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US9633495B2 (en) * 2015-08-03 2017-04-25 Caterpillar Inc. System and method for wirelessly authenticating a device having a sensor
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
USD798843S1 (en) 2016-01-19 2017-10-03 Smartear, Inc. In-ear utility device
USD794611S1 (en) 2016-01-19 2017-08-15 Smartear, Inc. In-ear utility device
USD795224S1 (en) 2016-03-08 2017-08-22 Smartear, Inc. In-ear utility device
US10045130B2 (en) 2016-05-25 2018-08-07 Smartear, Inc. In-ear utility device having voice recognition
US9838771B1 (en) 2016-05-25 2017-12-05 Smartear, Inc. In-ear utility device having a humidity sensor
US20170347177A1 (en) 2016-05-25 2017-11-30 Smartear, Inc. In-Ear Utility Device Having Sensors
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10852829B2 (en) * 2016-09-13 2020-12-01 Bragi GmbH Measurement of facial muscle EMG potentials for predictive analysis using a smart wearable system and method
US10535005B1 (en) 2016-10-26 2020-01-14 Google Llc Providing contextual actions for mobile onscreen content
EP3340103A1 (en) * 2016-12-21 2018-06-27 Axis AB Method for identifying events in a motion video
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
WO2018141409A1 (en) * 2017-02-06 2018-08-09 Telefonaktiebolaget Lm Ericsson (Publ) Initiating a control operation in response to a head gesture
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US10303715B2 (en) 2017-05-16 2019-05-28 Apple Inc. Intelligent automated assistant for media exploration
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10410634B2 (en) 2017-05-18 2019-09-10 Smartear, Inc. Ear-borne audio device conversation recording and compressed data transmission
CN109519079B (zh) * 2017-09-18 2022-08-30 法雷奥舒适驾驶助手公司 交通工具的机载系统和发送命令到停靠区接入系统的方法
US10582285B2 (en) 2017-09-30 2020-03-03 Smartear, Inc. Comfort tip with pressure relief valves and horn
USD883491S1 (en) 2017-09-30 2020-05-05 Smartear, Inc. In-ear device
GB2574786B (en) * 2017-10-12 2020-12-02 Wexler David Electronic body percussion
CN108227924A (zh) * 2018-01-02 2018-06-29 联想(北京)有限公司 用于电子设备的方法及电子设备
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
GB2572437A (en) * 2018-03-29 2019-10-02 Francisca Jones Maria Display apparatus
CN110415386A (zh) * 2018-04-27 2019-11-05 开利公司 基于姿势的进入控制系统的预编程场景数据的建模
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
KR102449905B1 (ko) 2018-05-11 2022-10-04 삼성전자주식회사 전자 장치 및 이의 제어 방법
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
WO2021016484A1 (en) * 2019-07-25 2021-01-28 Apple Inc. Machine-learning based gesture recognition
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
TWI722674B (zh) * 2019-11-21 2021-03-21 國立雲林科技大學 姿態影像訊號與運動訊號之訊號匹配系統以及訊號匹配方法
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11183193B1 (en) 2020-05-11 2021-11-23 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11714544B2 (en) * 2020-06-25 2023-08-01 Microsoft Technology Licensing, Llc Gesture definition for multi-screen devices
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11789542B2 (en) * 2020-10-21 2023-10-17 International Business Machines Corporation Sensor agnostic gesture detection
DE102022126772A1 (de) 2022-10-13 2024-04-18 Bayerische Motoren Werke Aktiengesellschaft Anwenderschnittstelle, Fortbewegungsmittel und Verfahren zur Interaktion mit einem Fortbewegungsmittel

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090051648A1 (en) * 2007-08-20 2009-02-26 Gesturetek, Inc. Gesture-based mobile interaction
US20100188328A1 (en) * 2009-01-29 2010-07-29 Microsoft Corporation Environmental gesture recognition
US20130328763A1 (en) * 2011-10-17 2013-12-12 Stephen G. Latta Multiple sensor gesture recognition

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004027685A2 (en) * 2002-09-19 2004-04-01 The Penn State Research Foundation Prosody based audio/visual co-analysis for co-verbal gesture recognition
US8952895B2 (en) 2011-06-03 2015-02-10 Apple Inc. Motion-based device operations
EP2191397B1 (en) * 2007-08-20 2019-01-23 Qualcomm Incorporated Enhanced rejection of out-of-vocabulary words
US8187182B2 (en) 2008-08-29 2012-05-29 Dp Technologies, Inc. Sensor fusion for activity identification
US20100064261A1 (en) * 2008-09-09 2010-03-11 Microsoft Corporation Portable electronic device with relative gesture recognition mode
US7996793B2 (en) * 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
WO2011140701A1 (en) 2010-05-11 2011-11-17 Nokia Corporation Method and apparatus for determining user context
US8253684B1 (en) 2010-11-02 2012-08-28 Google Inc. Position and orientation determination for a mobile computing device
WO2012093393A1 (en) 2011-01-07 2012-07-12 Seal Mobile Id Ltd Method and system for unobtrusive mobile device user recognition
US8756173B2 (en) 2011-01-19 2014-06-17 Qualcomm Incorporated Machine learning of known or unknown motion states with sensor fusion
US9189252B2 (en) 2011-12-30 2015-11-17 Microsoft Technology Licensing, Llc Context-based device action prediction
US8429103B1 (en) 2012-06-22 2013-04-23 Google Inc. Native machine learning service for user adaptation on a mobile platform
US9785217B2 (en) * 2012-09-28 2017-10-10 Synaptics Incorporated System and method for low power input object detection and interaction
US9104417B2 (en) * 2013-05-08 2015-08-11 Cywee Group Limited Electronic apparatus capable of being waked up through detecting motions
CN105612475B (zh) * 2013-08-07 2020-02-11 耐克创新有限合伙公司 具有姿态识别和功率管理的腕戴式运动装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090051648A1 (en) * 2007-08-20 2009-02-26 Gesturetek, Inc. Gesture-based mobile interaction
US20100188328A1 (en) * 2009-01-29 2010-07-29 Microsoft Corporation Environmental gesture recognition
US20130328763A1 (en) * 2011-10-17 2013-12-12 Stephen G. Latta Multiple sensor gesture recognition

Also Published As

Publication number Publication date
TW201535168A (zh) 2015-09-16
US20150261298A1 (en) 2015-09-17
CN106104424A (zh) 2016-11-09
US9405377B2 (en) 2016-08-02
KR20160132988A (ko) 2016-11-21
CN106104424B (zh) 2019-04-30
EP3120222A1 (en) 2017-01-25
EP3120222B1 (en) 2018-06-27
WO2015142593A1 (en) 2015-09-24

Similar Documents

Publication Publication Date Title
KR102334272B1 (ko) 트레이닝가능한 센서 기반의 제스처 인식
US20180329488A1 (en) Audio-visual interaction with user devices
CN108023934B (zh) 电子装置及其控制方法
US9767338B2 (en) Method for identifying fingerprint and electronic device thereof
US9261979B2 (en) Gesture-based mobile interaction
US10049662B2 (en) Method and electronic device for providing content
US10248224B2 (en) Input based on interactions with a physical hinge
KR102616850B1 (ko) 전자 장치, 전자 장치와 결합 가능한 외부 디바이스 및 이의 디스플레이 방법
CN104937612A (zh) 通过用户生成的知识进行协同学习
US20160124512A1 (en) Gesture recognition using gesture elements
US20150109200A1 (en) Identifying gestures corresponding to functions
KR102592907B1 (ko) 텍스트 입력 디바이스 및 그 방법
US9996310B1 (en) Content prioritization for a display array
TW202001500A (zh) 用於可穿戴設備的資訊處理方法和裝置
US11817097B2 (en) Electronic apparatus and assistant service providing method thereof
EP3757818B1 (en) Systems and methods for automatic service activation on a computing device
US11803393B2 (en) Systems and methods for automatic service activation on a computing device
US11199906B1 (en) Global user input management
US20240146350A1 (en) Smart ring
KR20210109722A (ko) 사용자의 발화 상태에 기초하여 제어 정보를 생성하는 디바이스 및 그 제어 방법
WO2023129174A1 (en) Single gesture authentication and application execution
TWI544400B (zh) 應用程式啟動方法及系統，及相關電腦程式產品
CN112181129A (zh) 一种设备控制方法、装置、设备和机器可读介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant