KR20180020262A - 착용가능 컴퓨팅 디바이스들의 마이크로모션 기반 입력 제스쳐 제어를 위한 기술들 - Google Patents

착용가능 컴퓨팅 디바이스들의 마이크로모션 기반 입력 제스쳐 제어를 위한 기술들 Download PDF

Info

Publication number
KR20180020262A
KR20180020262A KR1020187002078A KR20187002078A KR20180020262A KR 20180020262 A KR20180020262 A KR 20180020262A KR 1020187002078 A KR1020187002078 A KR 1020187002078A KR 20187002078 A KR20187002078 A KR 20187002078A KR 20180020262 A KR20180020262 A KR 20180020262A
Authority
KR
South Korea
Prior art keywords
gesture
micro
sequence
motion
steps
Prior art date
Application number
KR1020187002078A
Other languages
English (en)
Other versions
KR102492724B1 (ko
Inventor
커 한
진쿠이 런
쉰 왕
리리 마
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20180020262A publication Critical patent/KR20180020262A/ko
Application granted granted Critical
Publication of KR102492724B1 publication Critical patent/KR102492724B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

마이크로모션 기반 입력 제스쳐들을 검출하기 위한 기술은 센서들을 포함하는 손목 착용가능 컴퓨팅 디바이스를 포함하고, 그러한 센서들로부터 마이크로모션 상태들을 위한 값들이 결정될 수 있다. 각각의 마이크로모션 상태는 검출된 제스쳐 스텝들의 시퀀스가 입력 제스쳐에 연관된 입력 제스쳐 모델과 매칭하는지를 결정하기 위해 이용되는 손목 착용가능 컴퓨팅 디바이스의 모션 관련 특성을 나타낸다. 입력 제스쳐 모델은 요구되는 제스쳐 스텝들의 요구되는 시퀀스를 정의하며, 그로부터 입력 제스쳐가 결정될 수 있다.

Description

착용가능 컴퓨팅 디바이스들의 마이크로모션 기반 입력 제스쳐 제어를 위한 기술들
모바일 컴퓨팅 디바이스들은 개인적 용도, 사업용 용도, 및 사회적 용도를 위한 중요한 도구가 되어 왔다. 기술적인 진보들이 모바일 컴퓨팅 디바이스들의 크기를 작게 하고 처리 능력을 증가시킴에 따라, 일부 모바일 컴퓨팅 디바이스들은 사용자가 손으로 들고/거나 착용할 크기를 가질 수 있다. 그러한 사용자 착용 모바일 컴퓨팅 디바이스들은 예를 들어 착용자의 생체 정보를 모니터링하는 것(예를 들어, 생체 정보 피드백 디바이스), 착용자의 물리적 활동을 추적하는 것[예를 들어, 피트니스 트랙커 디바이스(fitness tracker device)], 및/또는 디바이스의 위치를 추적하는 것[예를 들어, GPS(Global Positioning System) 네비게이션 디바이스]과 같은 다양한 기능들을 수행하기 위해 이용될 수 있다. 따라서, 일부 사용자 착용 모바일 컴퓨팅 디바이스들은 특정 위치에 착용되거나, 사용자의 특정한 신체 부분, 예컨대 사용자의 손목 둘레에 착용되도록 구성될 수 있다.
전형적으로, 최신의 사용자 착용 모바일 컴퓨팅 디바이스들은 지속적으로 사용자와 상호작용하고(예를 들어, 센서 공급 데이터를 지속적으로 수집함), 그에 의해 디바이스를 끄거나 켤 필요가 없게 된다. 사용자 지시 상호작용들(user-directed interactions)을 위하여, 사용자 착용 모바일 컴퓨팅 디바이스들은 디스플레이, 버튼들 등과 같은 하나 이상의 물리적 사용자 인터페이스 디바이스를 포함할 수 있다. 그러나, 그러한 물리적 사용자 인터페이스 디바이스들은 전력 및/또는 프로세서 집약적일 수 있고, 특정한 조건들 하에서, 그러한 물리적 사용자 인터페이스 디바이스들과의 상호작용은 착용자에게 번거로운 일일 수 있다. 따라서, 추가적으로 또는 대안적으로, 그러한 사용자 착용 모바일 컴퓨팅 디바이스들은 착용자로부터의 특정 제스쳐들을 검출하기 위해 사용자 착용 모바일 컴퓨팅 디바이스들의 다양한 센서들로부터의 데이터를 이용하여 제스쳐 입력을 수신하도록 구성될 수 있다.
본 명세서에 설명되는 개념들은 제한이 아닌 예시로서 첨부 도면들에 도시된다. 도시를 단순하고 명확하게 하기 위해, 도면들에 도시되는 구성요소들이 반드시 비례에 맞춰 그려지지는 않는다. 적절하다고 생각되는 경우, 대응하거나 유사한 구성요소들을 나타내기 위해 도면들 간에서 참조 부호들이 반복되었다.
도 1은 마이크로모션 기반 입력 제스쳐 제어를 위한 손목 착용가능 컴퓨팅 디바이스의 적어도 하나의 실시예의 단순화된 블록도이다.
도 2는 사용자의 팔뚝 또는 손목에 착용된 도 1의 손목 착용가능 컴퓨팅 디바이스의 적어도 하나의 실시예의 단순화된 도면이다.
도 3은 도 1의 손목 착용가능 컴퓨팅 디바이스의 환경의 적어도 하나의 실시예의 단순화된 블록도이다.
도 4는 도 1의 손목 착용가능 컴퓨팅 디바이스에 의해 실행될 수 있는 마이크로모션 기반 입력 제스쳐들을 이용하여 손목 착용가능 컴퓨팅 디바이스를 제어하기 위한 방법의 적어도 하나의 실시예의 단순화된 흐름도이다.
도 5는 도 1의 손목 착용가능 컴퓨팅 디바이스의 다양한 센서들에 의해 검출될 수 있는 대응하는 가능한 값들을 갖는 마이크로모션 상태 테이블의 예시적인 실시예이다.
도 6은 도 1의 손목 착용가능 컴퓨팅 디바이스의 다양한 센서들에 의해 검출될 수 있는 입력 제스쳐 모델의 각각의 마이크로모션에 대응하는 허용가능한 입력 값들을 포함하는 입력 제스쳐 모델의 예시적인 실시예이다.
도 7은 예시적인 제스쳐 시퀀스 내의 각각의 제스쳐 스텝의 다양한 마이크로모션 상태들을 위한 수신된 마이크로모션 값들을 포함하는 검출된 제스쳐 스텝들의 제스쳐 시퀀스의 예시적인 실시예이다.
도 8은 예시적인 제스쳐 시퀀스 내의 각각의 제스쳐 스텝의 다양한 마이크로모션 상태들을 위한 수신된 마이크로모션 값들을 포함하는 검출된 제스쳐 스텝들의 제스쳐 시퀀스의 다른 예시적인 실시예이다.
도 9a - 도 9c는 도 1의 손목 착용가능 컴퓨팅 디바이스를 착용하고 있는 사용자에 의해 수행될 수 있는 핑거 스냅 입력 제스쳐의 단순화된 도면들이다.
도 10a - 도 10d는 도 1의 손목 착용가능 컴퓨팅 디바이스를 착용하고 있는 사용자에 의해 수행될 수 있는 프론트핸드 더블 노크 입력 제스쳐의 단순화된 도면들이다.
도 11a - 도 11d는 도 1의 손목 착용가능 컴퓨팅 디바이스를 착용하고 있는 사용자에 의해 수행될 수 있는 백핸드 더블 노크 입력 제스쳐의 단순화된 도면들이다.
도 12a - 도 12c는 도 1의 손목 착용가능 컴퓨팅 디바이스를 착용하고 있는 사용자에 의해 수행될 수 있는 손목 회전 왕복 입력 제스쳐의 단순화된 도면들이다.
도 13a - 도 13d는 도 1의 손목 착용가능 컴퓨팅 디바이스를 착용하고 있는 사용자에 의해 수행될 수 있는 더블 핸드 클랩 입력 제스쳐의 단순화된 도면들이다.
도 14a - 도 14c는 도 1의 손목 착용가능 컴퓨팅 디바이스를 착용하고 있는 사용자에 의해 수행될 수 있는 셀레브레이션 입력 제스쳐의 단순화된 도면들이다.
본 개시내용의 개념들은 다양한 수정들 및 대안적인 형태들을 허용하지만, 그것의 구체적인 실시예들이 도면에 예시로서 도시되고 본 명세서에 상세하게 설명될 것이다. 그러나, 본 개시내용의 개념들을 개시된 특정 형태들로 한정하려는 의도는 없으며, 반대로, 본 개시내용 및 첨부된 청구항들에 일관되는 모든 수정들, 등가물들, 및 대안들을 커버하도록 의도된다는 것이 이해되어야 한다.
본 명세서에서 "일 실시예", "실시예", "예시적인 실시예" 등의 언급은 설명되는 실시예가 특정한 특징, 구조 또는 특성을 포함할 수 있음을 나타내지만, 모든 실시예가 반드시 그 특정한 특징, 구조 또는 특성을 포함할 수도 있고 포함하지 않을 수도 있다. 또한, 그러한 구문들이 반드시 동일 실시예를 지칭하지는 않는다. 또한, 특정한 특징, 구조 또는 특성이 실시예에 관련하여 설명될 때, 명시적으로 설명되는지의 여부에 상관없이, 그러한 특징, 구조 또는 특성을 다른 실시예들에 관련하여 실시하는 것은 본 기술분야의 통상의 기술자의 지식 범위 내에 있다고 할 수 있다. 추가적으로, "A, B 및 C 중 적어도 하나"의 형태로 된 목록 내에 포함된 항목들은 (A); (B); (C); (A 및 B); (A 및 C); (B 및 C); 또는 (A, B 및 C)를 의미할 수 있음을 알아야 한다. 마찬가지로, "A, B 또는 C 중 적어도 하나"의 형태로 된 목록 내의 항목들은 (A); (B); (C); (A 및 B); (A 및 C); (B 및 C) 또는 (A, B 및 C)를 의미할 수 있다.
개시된 실시예들은 일부 경우들에서 하드웨어, 펌웨어, 소프트웨어 또는 그들의 임의의 조합으로 구현될 수 있다. 개시된 실시예들은 또한 하나 이상의 일시적 또는 비일시적 머신 판독가능한(예를 들어, 컴퓨터 판독가능한) 저장 매체에 의해 운반되거나 그러한 저장 매체에 저장되며 하나 이상의 프로세서에 의해 판독되고 실행될 수 있는 명령어들로서 구현될 수 있다. 머신 판독가능한 저장 매체는 머신에 의해 판독가능한 형태로 정보를 저장하거나 전송하기 위한 임의의 저장 디바이스, 메커니즘, 또는 다른 물리적 구조물로서 구현될 수 있다(예를 들어, 휘발성 또는 비휘발성 메모리, 미디어 디스크, 또는 다른 미디어 디바이스).
도면들에서, 일부 구조적 또는 방법적 특징들은 구체적인 배열들 및/또는 순서들로 도시될 수 있다. 그러나, 그러한 구체적인 배열들 및/또는 순서들이 필수적이지는 않을 수 있음을 알아야 한다. 오히려, 일부 실시예들에서, 그러한 특징들은 예시적인 도면들에 도시된 것과는 다른 방식 및/또는 순서로 배열될 수 있다. 추가적으로, 특정한 도면에서의 구조적 또는 방법적 특징의 포함은 그러한 특징이 모든 실시예들에서 요구된다는 것을 암시하도록 의도하지 않으며, 일부 실시예들에서는 포함되지 않을 수 있고, 다른 특징들과 조합될 수 있다.
이제 도 1을 참조하면, 예시적인 실시예에서, 손목 착용가능 컴퓨팅 디바이스(100)는 마이크로모션 기반 입력 제스쳐들을 검출하도록 구성된다. 마이크로모션들은 손목 착용가능 컴퓨팅 디바이스(100)의 다양한 하드웨어 및/또는 소프트웨어 기반 센서를 이용하여 검출될 수 있고 조합 시에 손목 착용가능 컴퓨팅 디바이스(100)의 제스쳐를 정의할 수 있는(즉, 개별 마이크로모션들은 전체 제스쳐의 컴포넌트들임), 손목 착용가능 컴퓨팅 디바이스(100)의 모션 관련 특성들[예를 들어, 이동, 배향, 충격(impact) 등]이다. 아래에 더 상세하게 설명되는 바와 같이, 사용 시에, 손목 착용가능 컴퓨팅 디바이스(100)는 마이크로모션을 검출하고, 검출된 마이크로모션을 복수의 입력 제스쳐 모델과 비교하며, 입력 제스쳐 모델들 각각은 입력 제스쳐를 정의한다. 각각의 입력 제스쳐 모델은 미리 결정된 순서로 수행되고 검출되는 경우에 입력 제스쳐의 검출을 야기하는, 마이크로모션들의 그룹 및 마이크로모션들 각각을 위한 허용가능한 값들에 의해 정의되는 복수의 요구되는 제스쳐 스텝, 또는 제스쳐 시퀀스로 구성되며, 그러한 제스쳐 스텝들 또는 제스쳐 시퀀스는 한다. 결과적으로, 입력 제스쳐는 예를 들어 검출된 입력 제스쳐에 맵핑된 미리 정의된 액션을 갖는 현재 실행 중인 애플리케이션에 의해, 손목 착용가능 컴퓨팅 디바이스(100)의 액션 또는 이벤트를 구동할 수 있다.
일부 실시예들에서, 손목 착용가능 컴퓨팅 디바이스(100)는 사용자의 손목 및/또는 팔뚝 상에 또는 손목 및/또는 팔뚝 둘레에 착용될 수 있으며 본 명세서에 설명된 다양한 기능을 수행할 수 있는 임의의 타입의 모바일 컴퓨팅 디바이스로서 구현될 수 있고, 그러한 디바이스는 손목 착용가능 컴퓨팅 디바이스, 스마트 워치, 손목 착용가능 소비자 전자 디바이스, 또는 사용자의 손목 및/또는 팔뚝 상에 또는 손목 및/또는 팔뚝 둘레에 착용될 수 있는 임의의 다른 타입의 컴퓨팅 디바이스를 포함하지만 그에 한정되지는 않는다. 예를 들어, 일부 실시예들에서, 손목 착용가능 컴퓨팅 디바이스(100)는 예시로서 사용자의 손목(200)에 착용된, 도 2에 도시된 것과 같은 스마트 팔찌로서 구현될 수 있다. 물론, 손목 착용가능 컴퓨팅 디바이스(100)를 손목(200)에 착용하는 것을 수용하기 위해, 손목 착용가능 컴퓨팅 디바이스(100)는 팔찌, 손목시계, 또는 손목, 팔뚝, 또는 사용자의 신체의 임의의 다른 부분을 수용하도록 구성된 개구를 포함하는 임의의 다른 물체의 형상으로 되어 있을 수 있다. 일부 실시예들에서, 손목 착용가능 컴퓨팅 디바이스(100)는 손목(200) 둘레에 착용되도록 구성된 링 또는 다른 타입의 인클로저 내에 하우징될 수 있다.
사용 시에, 사용자는 손목 착용가능 컴퓨팅 디바이스(100)의 하나 이상의 양태 및/또는 특성을 제어하기 위해, 손목 착용가능 컴퓨팅 디바이스(100)와 상호작용할 수 있다. 그와 같이 하기 위해, 사용자는 팔을 움직이거나, 손목의 이전(previous) 위치에 대한 손목(200)의 위치 또는 이동에 영향을 주는 다른 신체 액션을 수행할 수 있다. 예를 들어, 사용자는 손목 착용가능 컴퓨팅 디바이스(100)의 배향 또는 위치가 변경되도록[즉, 사용자의 손목(200)에 대해 이동되도록], 자신의 손목(200), 팔뚝, 손 등을 상승/하강, 신장/수축, 또는 회전시킬 수 있다. 손목 착용가능 컴퓨팅 디바이스(100)의 각각의 이동은 예시로서 도 2에 도시된 바와 같이 'x', 'y' 및 'z' 좌표(즉, 3차원 축 데이터)를 결정하기 위해 x축(202), y축(204), 및 z축을 포함하는 3차원 축에 기초하여 결정되는 복수의 마이크로모션 상태로 번역된다. 추가적으로, 손목 착용가능 컴퓨팅 디바이스(100)의 이동은 손목 착용가능 컴퓨팅 디바이스(100)의 다양한 센서들을 이용하여 결정될 수 있다.
다시 도 1을 참조하면, 예시적인 손목 착용가능 컴퓨팅 디바이스(100)는 프로세서(102), 입출력(I/O) 서브시스템(104), 메모리(106), 복수의 센서(108), 및 데이터 저장소(116)를 포함한다. 물론, 다른 실시예들에서, 손목 착용가능 컴퓨팅 디바이스(100)는 서버, 라우터, 스위치, 또는 다른 네트워크 디바이스 내에서 흔하게 발견되는 것들과 같은 대안적인 또는 추가의 컴포넌트들을 포함할 수 있다. 추가로, 일부 실시예들에서, 예시적인 컴포넌트들 중 하나 이상은 다른 컴포넌트 내에 포함될 수 있거나 다르게는 그것의 일부분을 형성할 수 있다. 예를 들어, 메모리(106), 또는 그것의 일부분들은 일부 실시예들에서 하나 이상의 프로세서(102)에 통합될 수 있다.
프로세서(102)는 본 명세서에 설명된 기능들을 수행할 수 있는 임의의 타입의 프로세서로서 구현될 수 있다. 프로세서(102)는 싱글 또는 멀티 코어 프로세서(들), 디지털 신호 프로세서, 마이크로컨트롤러, 또는 다른 프로세서 또는 처리/제어 회로로서 구현될 수 있다. 메모리(106)는 본 명세서에 설명된 기능들을 수행할 수 있는 임의의 타입의 휘발성 또는 비휘발성 메모리 또는 데이터 저장소로서 구현될 수 있다. 동작 시에, 메모리(106)는 운영 체제들, 애플리케이션들, 프로그램들, 라이브러리들, 및 드라이버들과 같이, 손목 착용가능 컴퓨팅 디바이스(100)의 동작 동안 이용되는 다양한 데이터 및 소프트웨어를 저장할 수 있다. 메모리(106)는 프로세서(102), 메모리(106), 및 손목 착용가능 컴퓨팅 디바이스(100)의 다른 컴포넌트들과의 입력/출력 동작들을 용이하게 하기 위한, 회로 및/또는 컴포넌트들로서 구현될 수 있는 I/O 서브시스템(104)을 통해 프로세서(102)에 통신가능하게 연결된다. 예를 들어, I/O 서브시스템(104)은 입력/출력 동작들을 용이하게 하기 위해, 메모리 제어기 허브들, 입력/출력 제어 허브들, 펌웨어 디바이스들, 통신 링크들(즉, 포인트-투-포인트 링크들, 버스 링크들, 와이어들, 케이블들, 광 가이드들, 인쇄 회로 보드 트레이스들 등), 및/또는 다른 컴포넌트들 및 서브시스템들로서 구현될 수 있거나 다르게는 그것들을 포함할 수 있다. 일부 실시예들에서, I/O 서브시스템(104)은 SoC(system-on-a-chip)의 일부분을 형성할 수 있고, 프로세서들(102), 메모리(106), 및 손목 착용가능 컴퓨팅 디바이스(100)의 다른 컴포넌트들과 함께 단일 집적 회로 칩 상에 통합될 수 있다.
데이터 저장소(116)는 예를 들어 메모리 디바이스들 및 회로들, 메모리 카드들, 하드 디스크 드라이브들, 고체 상태 드라이브들, 또는 다른 데이터 저장 디바이스들과 같이, 단기 또는 장기 데이터 저장을 위해 구성된 임의의 타입의 디바이스 또는 디바이스들로서 구현될 수 있다. 데이터 저장소(116) 및/또는 메모리(106)는 손목 착용가능 컴퓨팅 디바이스(100)의 동작 동안 유용한 다양한 다른 데이터를 저장할 수 있다. 추가적으로, 예시적인 데이터 저장소(116)는 검출된 마이크로모션 상태들을 입력 제스쳐들에 매칭하기 위한 복수의 입력 제스쳐 모델(118)을 포함한다. 아래에 더 상세하게 논의되는 바와 같이, 입력 제스쳐 모델들(118) 내의 각각의 입력 제스쳐 모델은 제스쳐 시퀀스 내의 각각의 제스쳐 스텝에서의 각각의 마이크로모션 상태에 대해 대응하는 마이크로모션 상태들 및 허용가능한 값들을 갖는 별개의 제스쳐 스텝들의 제스쳐 시퀀스에 의해 정의된다(도 6 참조). 그와 같이, 손목 착용가능 컴퓨팅 디바이스(100)는 입력 제스쳐 모델들(118) 내의 특정 입력 제스쳐 모델의 각각의 제스쳐 스텝이 대응하는 제스쳐 시퀀스 내에서 수행될 때 입력 제스쳐를 검출할 수 있다.
전통적인 모바일 컴퓨팅 디바이스 제스쳐 검출 모델들[예를 들어 HMM(Hidden Markov Model), DTW(Dynamic Time Warping), FSM(Finite State Machine)]이 계산이 어렵거나(예를 들어, HMM), 모델 크기가 크거나(예를 들어, DTW), 또는 어휘 확장이 불가능한(예를 들어, FSM) 것과는 달리, 예시적인 입력 제스쳐 모델들(118)은 계산을 수행하기 위해 추상적 특징들[예를 들어, 최대, 최소, 제로 크로스 레이트(zero cross rate) 등]을 이용하지 않고, 오히려 입력 제스쳐들이 검출될 수 있는 사용자의 손목(200)의 마이크로모션들의 물리적 의미(예를 들어, 이동, 회전, 배향, 충격 등)에 의존한다. 따라서, 각각의 입력 제스쳐 모델의 크기, 및 그에 따른 집합적으로의 입력 제스쳐 모델들(118)[즉, 제스쳐 어휘집(gesture vocabulary)]의 크기는 HMM 및 DTW보다 작을 수 있다. 또한, 제스쳐 어휘집은 입력 제스쳐 모델들(118) 중 하나 이상을 편집 또는 추가함으로써 조절 및/또는 확장될 수 있다. 특정 입력 제스쳐 모델들(118)은 구체적인 실시예에 따라 달라질 수 있음을 알아야 한다.
도 1에 도시된 바와 같이, 손목 착용가능 컴퓨팅 디바이스(100)는 또한 손목 착용가능 컴퓨팅 디바이스(100)의 가속도, 배향, 및/또는 다른 관성 특성들에 연관된 데이터(즉, 신호들)를 수집하도록 구성된 하나 이상의 센서(108)를 포함한다. 물론, 일부 실시예들에서, 센서들(108)은 본 명세서에 설명된 기능들 및/또는 손목 착용가능 컴퓨팅 디바이스(100)의 다른 기능들을 수행하는 데에 있어서 손목 착용가능 컴퓨팅 디바이스(100)에 의해 이용될 수 있는 다른 데이터를 수집할 수 있다. 따라서, 다양한 실시예들에서, 센서들(108)은 예를 들어 생체측정 센서들, 근접 센서들, 광학 센서들, 광 센서들, 오디오 센서들, 온도 센서들, 모션 센서들, 압전 센서들, 위치 센서들, 및/또는 본 명세서에 설명된 기능들을 수행할 수 있는 다른 타입의 센서들로서 구현될 수 있거나, 다르게는 그것들을 포함할 수 있다. 물론, 손목 착용가능 컴퓨팅 디바이스(100)는 또한 (예를 들어, 감지된 신호들을 수집 및/또는 컨디셔닝하기 위해) 센서들(122)의 사용을 용이하게 하도록 구성된 추가의 컴포넌트들 및/또는 디바이스들을 포함할 수 있다.
도시된 실시예에서, 센서들(108)은 손목(200)에 대한 손목 착용가능 컴퓨팅 디바이스(100)의 회전, 충격, 배향, 및 이동을 결정하기 위해, 가속도계(110), 자이로스코프(112), 및/또는 자력계(114)를 포함한다. 물론, 일부 실시예들에서, 센서들(108)은 복수의 가속도계, 자이로스코프, 및/또는 자력계, 및/또는 가속도계(110) 및 자력계(114)로부터의 입력에 기초하여 손목 착용가능 컴퓨팅 디바이스(100)의 각 속도를 계산하도록 구성된 소프트웨어 자이로스코프 센서와 같은 다른 센서들을 포함할 수 있음을 알아야 한다. 가속도계(110)는 (예를 들어, 손목 착용가능 컴퓨팅 디바이스(100)의 3차원 축들 각각을 따라) 손목 착용가능 컴퓨팅 디바이스(100)의 가속도 및/또는 다른 모션을 측정하도록 구성된 임의의 센서, 회로, 및/또는 다른 컴포넌트들로서 구현될 수 있다. 자이로스코프(112)는 미리 정의된 좌표계에 대한 손목 착용가능 컴퓨팅 디바이스(100)의 각도 배향을 측정하도록 구성된 임의의 센서, 회로, 및/또는 다른 컴포넌트들로서 구현될 수 있다. 즉, 자이로스코프(112)는 손목 착용가능 컴퓨팅 디바이스(100)의 롤(roll), 피치, 및/또는 편요각(yaw)를 측정할 수 있다. 자력계(114)는 자기장, 및/또는 손목 착용가능 컴퓨팅 디바이스(100)가 가리키고 있는 (예를 들어, 정북에 대하여) 방향을 결정하는 데에 유용한 다른 정보를 측정하도록 구성된 임의의 센서, 회로, 및/또는 다른 컴포넌트들로서 구현될 수 있다(예를 들어, 나침반). 물론, 손목 착용가능 컴퓨팅 디바이스(100)는 또한 센서들(108)(예를 들어, 관성 측정 유닛)의 사용을 용이하게 하도록 구성된 컴포넌트들 및/또는 디바이스들을 포함할 수 있다.
일부 실시예들에서, 손목 착용가능 컴퓨팅 디바이스(100)는 하나 이상의 사용자 인터페이스 디바이스(120)를 추가적으로 포함할 수 있다. 사용자 인터페이스 디바이스들(120)은 버튼, 디스플레이[예를 들어, LCD(liquid crystal display), OLED(organic light emitting diode)], 터치스크린(예를 들어, 용량성, 적외선, 광학, 저항성 등), 조절가능한 손잡이(adjustable knob), 조절가능한 슬라이더, 스위치, 조명[예를 들어, LED(light emitting diode)], 카메라, 마이크로폰, 스피커, 및/또는 사용자 입력을 수신하고/하거나 사용자에게 출력을 제공할 수 있는 임의의 다른 타입의 디바이스와 같은 물리적 사용자 인터페이스 디바이스를 통해, 사용자로부터 입력을 수신하고/거나 사용자에게 출력을 제공하도록 구성된 임의의 타입의 디바이스 또는 디바이스들로서 구현될 수 있다.
일부 실시예들에서, 손목 착용가능 컴퓨팅 디바이스(100)는 통신 회로(122)를 추가적으로 포함할 수 있다. 통신 회로(122)는 네트워크(도시되지 않음)를 통한 손목 착용가능 컴퓨팅 디바이스(100)와 다른 원격 디바이스들 사이의 통신을 가능하게 할 수 있는 임의의 통신 회로, 디바이스, 또는 그것들의 집합으로서 구현될 수 있다. 통신 회로(122)는 그러한 통신을 실시하기 위해, 임의의 하나 이상의 통신 기술(예를 들어, 유선 또는 무선 통신), 및 관련 프로토콜들(예를 들어, Ethernet, Bluetooth®, Wi-Fi®, WiMAX 등)을 사용하도록 구성될 수 있다.
이제 도 3을 참조하면, 사용 중에, 손목 착용가능 컴퓨팅 디바이스(100)는 입력 제스쳐들을 검출하기 위한 환경(300)을 확립한다. 손목 착용가능 컴퓨팅 디바이스(100)의 예시적인 환경(300)은 센서 데이터 처리 모듈(310), 마이크로모션 검출 모듈(316), 및 입력 제스쳐 인식 모듈(318)을 포함한다. 추가적으로, 예시적인 환경(300)은 센서 데이터 데이터베이스(302), 마이크로모션 데이터베이스(304), 및 입력 제스쳐 모델 데이터베이스(306)를 포함하고, 그것들 각각은 예시적인 환경(300)의 모듈들 및/또는 서브모듈들 중 하나 이상에 의해 액세스될 수 있다.
환경(300)의 모듈들, 로직, 및/또는 다른 컴포넌트들 각각은 하드웨어, 소프트웨어, 펌웨어 또는 그것들의 조합으로 구현될 수 있다. 예를 들어, 환경(300)의 모듈들, 로직, 및 다른 컴포넌트들 각각은 손목 착용가능 컴퓨팅 디바이스(100)의 프로세서(102) 또는 다른 하드웨어 컴포넌트들의 일부분을 형성할 수 있거나, 다르게는 그것들에 의해 확립될 수 있다. 그와 같이, 일부 실시예들에서, 환경(300)의 모듈들 중 하나 이상은 전기 디바이스들의 컬렉션 또는 회로(예를 들어, 센서 데이터 처리 회로, 입력 제스쳐 인식 회로, 마이크로모션 검출 회로 등)로서 구현될 수 있다. 손목 착용가능 컴퓨팅 디바이스(100)는 컴퓨팅 디바이스 내에서 흔하게 발견되는 다른 컴포넌트들, 서브컴포넌트들, 모듈들, 서브모듈들, 및 디바이스들을 포함할 수 있으며, 그것들은 설명을 명확하게 하기 위해 도 3에는 도시되지 않는다는 것이 이해되어야 한다. 추가로, 일부 실시예들에서, 예시적인 모듈들 중 하나 이상은 독립적인 모듈일 수 있거나 다른 모듈의 일부분을 형성할 수 있다.
센서 데이터 처리 모듈(310)은 센서들(108)에 의해 캡쳐되는 센서 데이터를 처리하고, 손목 착용가능 컴퓨팅 디바이스(100)의 이전에 결정된 위치에 대한 손목 착용가능 컴퓨팅 디바이스(100)의 현재 회전, 이동, 방향, 배향, 및/또는 다른 제스쳐 양태를 결정하도록 구성된다. 구체적으로, 센서 데이터 처리 모듈(310)은 센서들(108) 중 하나 이상에 의해 캡쳐되는 센서 데이터 신호들을 수집하기 위한 센서 데이터 수집 모듈(312), 및 수집된 센서 데이터 신호들을 처리하기 위한 센서 데이터 처리 모듈(314)을 포함한다. 일부 실시예들에서, 센서 데이터 수집 모듈(312)은 수집된 센서 데이터 신호들을 센서 데이터 데이터베이스(302) 내에 저장하도록 구성될 수 있다. 추가로, 일부 실시예들에서, 센서 데이터 처리 모듈(314)은 추가의 처리를 위해 센서 데이터 신호들을 증폭, 필터링, 고립(isolating), 여기, 양자화, 선형화(linearizing), 변환, 또는 다르게 조작함으로써, 센서 데이터 신호들을 처리하거나 다르게 컨디셔닝하도록 구성될 수 있다. 예를 들어, 일부 실시예들에서, 센서 데이터 처리 모듈(314)은 고주파수 잡음을 감소시키기 위한 필터들을 포함할 수 있다. 일부 실시예들에서, 센서 데이터 처리 모듈(314)은 처리된 센서 데이터 신호들을 센서 데이터 데이터베이스(302) 내에 저장하도록 구성될 수 있다.
마이크로모션 검출 모듈(316)은 센서 데이터 데이터베이스 내에 저장된 처리된 센서 데이터 신호들과 같은 센서 데이터 신호들에 기초하여 마이크로모션들을 인식하고, 마이크로모션들을 검출된 스텝들의 시퀀스에 대한 스텝으로서 입력 제스쳐 모델들[예를 들어, 입력 제스쳐 모델들(118)]에 추가하도록 구성된다. 예를 들어, 마이크로모션 검출 모듈(316)은 가속도계(110), 자이로스코프(112), 및/또는 자력계(114)에 의해 제공되는 센서 데이터 신호들에 기초하여 마이크로모션을 결정하도록 구성될 수 있다. 그렇게 하기 위해, 일부 실시예들에서, 마이크로모션 검출 모듈(316)은 센서 데이터 신호들을, 마이크로모션 데이터베이스(304) 내에 저장될 수 있는 미리 결정된 마이크로모션들의 집합과 비교하도록 구성될 수 있다. 예를 들어, 도 5의 마이크로모션 상태 테이블(500)의 예시적인 실시예에서, 마이크로모션 상태 테이블(500)은 다양한 마이크로모션 상태들(502), 및 센서 데이터 신호들에 기초하여 마이크로모션 상태들(502) 각각에 대해 결정될 수 있는 대응하는 허용가능한 값들(504)을 포함한다. 허용가능한 값들(504)은 수치 값들(예를 들어, 배향 또는 모션을 나타내는 수치 값), 또는 기저 수치 값들에 기초한 정성 값들(qualitatⅳe values)(예를 들어, "저속 이동", "고속 이동" 등)로서 정의될 수 있음을 알아야 한다. 일부 실시예들에서, 마이크로모션 상태 테이블(500)은 마이크로모션 데이터베이스(304) 내에 저장될 수 있다.
예시적인 마이크로모션 상태 테이블(500)은 모션 마이크로모션 상태(506), 배향 마이크로모션 상태(508), 회전-x 마이크로모션 상태(510), 회전-y 마이크로모션 상태(512), 회전-z 마이크로모션 상태(514), 선형 모션-x 마이크로모션 상태(516), 선형 모션-y 마이크로모션 상태(518), 선형 모션-z 마이크로모션 상태(520), 충격 마이크로모션 상태(522), 및 쉐이킹 마이크로모션 상태(524)를 포함한다. 모션 마이크로모션 상태(506)는 정지(즉, 대체로 모션이 없음), 저속 이동, 및 고속 이동을 포함하는 3개의 가능한 모션 상태 값을 포함한다. 배향 마이크로모션 상태(508)는 포지티브 X 배향 상태, 포지티브 Y 배향 상태, 포지티브 Z 배향 상태, 네거티브 X 배향 상태, 네거티브 Y 배향 상태, 네거티브 Z 배향 상태, 및 알려지지 않은 배향 상태를 포함하는 7개의 가능한 배향 상태 값을 포함한다.
회전-x 마이크로모션 상태(510)는 저속, 고속, 및 없음을 포함하는 3개의 가능한 회전 값을 포함한다. 저속 및 고속 값들은 x축(202)에 대한 손목 착용가능 컴퓨팅 디바이스(100)의 회전에 기초하여, 포지티브 또는 네거티브 값일 수 있다[예를 들어, x축(202)을 따른 네거티브 X 방향에서는 저속, 또는 x축(202)을 따른 포지티브 X 방향에서는 고속 등]. 회전-y 마이크로모션 상태(512)는 저속, 고속, 및 없음을 포함하는 3개의 가능한 값을 포함한다. 저속 및 고속 값들은 y축(204)에 대한 손목 착용가능 컴퓨팅 디바이스(100)의 회전에 기초하여, 포지티브 또는 네거티브 값일 수 있다[예를 들어, y축(204)을 따른 네거티브 Y 방향에서는 저속, 또는 y축(204)을 따른 포지티브 Y 방향에서는 고속 등]. 회전-z 마이크로모션 상태(514)는 저속, 고속, 및 없음을 포함하는 3개의 가능한 값을 포함한다. 저속 및 고속 값들은 z축(206)에 대한 손목 착용가능 컴퓨팅 디바이스(100)의 회전에 기초하여, 포지티브 또는 네거티브 값일 수 있다[예를 들어, z축(206)을 따른 네거티브 Z 방향에서는 저속, 또는 z축(206)을 따른 포지티브 Z 방향에서는 고속 등].
선형 모션-x 마이크로모션 상태(516)는 포지티브 X 선형 모션, 네거티브 X 선형 모션, 및 없음[예를 들어, x축(202)에 대한 선형 모션 없음]을 포함하는 3개의 가능한 값을 포함한다. 선형 모션-y 마이크로모션 상태(518)는 포지티브 Y 선형 모션, 네거티브 Y 선형 모션, 및 없음[예를 들어, y축(204)에 대한 선형 모션 없음]을 포함하는 3개의 가능한 값을 포함한다. 선형 모션-z 마이크로모션 상태(520)는 포지티브 Z 선형 모션, 네거티브 Z 선형 모션, 및 없음[예를 들어, z 축(206)에 대한 선형 모션 없음]을 포함하는 3개의 가능한 값을 포함한다. 충격 마이크로모션 상태(522)는 없음, 작음, 및 큼을 포함하는 3개의 가능한 값을 포함한다. 쉐이킹 마이크로모션 상태(524)는 예(즉, 쉐이킹) 및 아니오(즉, 쉐이킹 없음)를 포함하는 2개의 가능한 값을 포함한다.
다시 도 3을 참조하면, 마이크로모션 검출 모듈(316)은 복수의 미리 결정된 임계값에 기초하여 마이크로모션 상태들의 값들을 결정할 수 있다. 일부 실시예들에서, 복수의 임계값 중 하나 이상은 예를 들어 과거의 마이크로모션 상태들의 분석 및 그것의 결과들에 기초하여 시간에 따라 변경될 수 있음을 알아야 한다. 예를 들어, 일부 실시예들에서, 마이크로모션 검출 모듈(316)은 미리 결정된 시간 윈도우(예를 들어, 1초) 내에 캡쳐된 3축에 걸친 가속 데이터의 표준 편차의 수치에 기초하여 모션 마이크로모션 상태(506)를 결정할 수 있다. 그러한 실시예에서, 마이크로모션 검출 모듈(316)은 표준 편차의 수치가 40mg 미만인 경우(g는 중력 가속도임) 모션 마이크로모션 상태(506)를 정지라고 결정할 수 있다. 또한, 마이크로모션 검출 모듈(316)은 표준 편차의 수치가 60mg 초과 300mg 미만인 경우에는 모션 마이크로모션 상태(506)를 저속 이동이라고 결정하고, 표준 편차의 수치가 300mg 이상인 경우에는 모션 마이크로모션 상태를 고속 이동이라고 결정할 수 있다.
마찬가지로, 일부 실시예들에서, 마이크로모션 검출 모듈(316)은 3축 가속 데이터에 기초하여 배향 마이크로모션 상태(508)를 결정할 수 있다. 예를 들어, 마이크로모션 검출 모듈(316)은 모션 마이크로모션 상태(506)가 정지 또는 저속 이동일 때 어느 축이 최대 절대 값을 갖는지에 기초하여 배향 마이크로모션 상태(508)를 결정할 수 있고, 모션 마이크로모션 상태(506)가 고속 이동과 동일한 경우에는 배향 마이크로모션 상태(508)가 알려지지 않음이라고 결정할 수 있다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 마이크로모션 검출 모듈(316)은 미리 결정된 시간 윈도우(예를 들어, 2초) 내에 계산되거나 감지되거나 캡쳐된 3축 자이로 데이터(three-axis gyro data)의 적분(integration)에 기초하여, 회전 마이크로모션 상태들[즉, 회전-x 마이크로모션 상태(510), 회전-y 마이크로모션 상태(512), 및 회전-z 마이크로모션 상태(514)]을 결정할 수 있다. 그러한 실시예에서, 마이크로모션 검출 모듈(316)은 회전 마이크로모션 상태를, 적분의 절대값이 초당 5도 미만인 경우에는 회전 없음과 동일하고, 적분의 절대값이 초당 5도 이상 내지 초당 10도 미만인 경우에는 저속 회전과 동일하고, 적분의 절대값이 초당 10도 이상인 경우에는 고속 회전과 동일하다고 결정할 수 있다.
추가적으로 또는 대안적으로, 일부 실시예들에서, 마이크로모션 검출 모듈(316)은 미리 결정된 시간 윈도우(예를 들어, 1초) 내에서 캡쳐된, 평균이 제거된(mean removed) 3축 가속도의 적분에 기초하여, 선형 마이크로모션 상태들[즉, 선형 모션-x 마이크로모션 상태(516), 선형 모션-y 마이크로모션 상태(518), 선형 모션-z 마이크로모션 상태(520)]을 결정할 수 있다. 그러한 실시예들에서, 마이크로모션 검출 모듈(316)은 적분의 절대값이 70mg(g는 중력 가속도) 미만인 경우에는 선형 마이크로모션 상태가 선형 모션 없음과 동일하다고 결정할 수 있고, 적분의 절대값이 70mg 이상인 경우에는 선형 마이크로모션 상태가 선형 모션과 동일하다고 결정할 수 있다.
일부 실시예들에서, 추가적으로 또는 대안적으로 마이크로모션 검출 모듈(316)은 미리 결정된 시간 윈도우(예를 들어, .05초) 내에 캡쳐된 가속도 크기의 표준 편차에 기초하여 충격 마이크로모션 상태(522)를 결정할 수 있다. 그러한 실시예들에서, 마이크로모션 검출 모듈(316)은 표준 편차가 200mg(g는 중력 가속도) 미만인 경우에는 충격 마이크로모션 상태(522)가 충격 없음과 동일하다고 결정할 수 있고, 표준 편차가 300mg 초과 1000mg 이하인 경우에는 충격 마이크로모션 상태가 작은 충격과 동일하다고 결정할 수 있고, 표준 편차가 1000mg 초과인 경우에는 충격 마이크로모션 상태가 큰 충격과 동일하다고 결정할 수 있다.
추가적으로 또는 대안적으로, 일부 실시예들에서, 마이크로모션 검출 모듈(316)은 미리 결정된 시간 윈도우(예를 들어, 5초) 내에 캡쳐된 가속도 크기의 중력 크로스 카운트(gravity cross-counts)의 수에 기초하여 쉐이킹 마이크로모션 상태(524)를 결정할 수 있다. 그러한 실시예들에서, 마이크로모션 검출 모듈(316)은 중력 크로스 카운트의 수가 8 미만인 경우에는 쉐이킹 마이크로모션 상태(524)를 쉐이킹 없음이라고 결정하고, 중력 크로스 카운트의 수가 8 이상인 경우에는 쉐이킹 마이크로모션 상태를 쉐이킹이라고 결정할 수 있다.
도 3을 다시 참조하면, 입력 제스쳐 인식 모듈(318)은 검출된 마이크로모션들에 기초하여 입력 제스쳐들을 검출하도록 구성된다. 그와 같이 하기 위해, 입력 제스쳐 인식 모듈(318)은 검출된 제스쳐 스텝들의 제스쳐 시퀀스를 입력 제스쳐 모델들[예를 들어, 입력 제스쳐 모델들(118)]의 요구되는 제스쳐 스텝들과 비교하도록 구성된다. 위에서 설명된 바와 같이, 입력 제스쳐 모델의 제스쳐 시퀀스 내의 각각의 제스쳐 스텝은 복수의 마이크로모션, 및 관련 허용가능한 값들(예를 들어, 센서 데이터 신호들로부터 해석되는 값들)로서 구현된다. 즉, 각각의 입력 제스쳐 모델은 각각의 입력 제스쳐에 대해 미리 정의된 제스쳐 스텝들의 제스쳐 시퀀스로서 구현되고, 각각의 제스쳐 스텝은 대응하는 입력 제스쳐 내의 특정 제스쳐 스텝을 구성하거나 정의하는 마이크로모션들에 대한 허용가능한 값들을 포함한다. 따라서, 입력 제스쳐들을 검출하기 위해, 입력 제스쳐 인식 모듈(318)은 검출된 마이크로모션들에 기초하여, 입력 제스쳐 모델들(118)의 특정 입력 제스쳐 모델 내의 각각의 제스쳐 스텝이 순차적으로 수행되는지를 결정한다.
예를 들어, 이제 도 6을 참조하면, 핑거 스냅 입력 제스쳐(도 9a - 도 9c를 참조)에 대하여 아래에 더 상세하게 설명될 핑거 스냅 입력 제스쳐 모델(finger-snap input gesture model)(600)의 예시적인 실시예는 6개의 제스쳐 스텝(604-614)[즉, 제1 제스쳐 스텝(604), 제2 제스쳐 스텝(606), 제3 제스쳐 스텝(608), 제4 제스쳐 스텝(610), 제5 제스쳐 스텝(612), 및 제6 제스쳐 스텝(614)]으로 구성된 요구되는 제스쳐 스텝들(602)의 시퀀스를 포함한다. 핑거 스냅 입력 제스쳐 모델(600)의 각각의 제스쳐 스텝은 복수의 마이크로모션 상태(502), 및 그 제스쳐 스텝을 위한 대응하는 허용가능한 값들에 의해 정의된다. 그와 같이, 입력 제스쳐 인식 모듈(318)은 제스쳐 스텝들 각각에 대한 각각의 마이크로모션 상태(502)에 대한 값들이 핑거 스냅 입력 제스쳐 모델(600)과 매칭한다고 결정한 때에 핑거 스탭 제스쳐를 검출할 수 있다. 입력 제스쳐의 검출 시에, 입력 제스쳐 인식 모듈(318)은 예를 들어 API(application program interface)를 통해, 손목 착용가능 컴퓨팅 디바이스(100) 상에서 현재 실행되는 소프트웨어 애플리케이션에 표시를 제공할 수 있다. 따라서, 소프트웨어 애플리케이션은 표시에 기초하여 요구되는 태스크를 수행할 수 있다.
예를 들어, 제1 제스쳐 스텝(604)(즉, 제스쳐 스텝 1)은 모션 마이크로모션 상태(506)가 정지일 것(즉, 모션 없음); 배향 마이크로모션 상태(508)가 포지티브 Z 배향, 네거티브 X 배향, 또는 네거티브 Y 배향 중 하나일 것; 회전-x 마이크로모션 상태(510)가 없음일 것[즉, x축(202)을 따른 회전 없음]; 선형 모션-x 마이크로모션 상태(516), 선형 모션-y 마이크로모션 상태(518), 및 선형 모션-z 마이크로모션 상태(520)가 없음일 것(즉, 선형 모션이 없음); 충격 마이크로모션 상태(522)가 없음일 것; 및 쉐이킹 마이크로모션 상태(524)가 아님일 것(즉, 쉐이킹이 없음)을 요구한다. 추가로, 회전-y 마이크로모션 상태(512) 및 회전-z 마이크로모션 상태(514)는 제1 스텝(604)에 적용가능하지 않다. 즉, 회전-y 마이크로모션 상태(512) 및 회전-z 마이크로모션 상태(514)에 대응하는 값들은 제1 제스쳐 스텝(604)에 무관하다.
상이한 입력 제스쳐들은 더 적거나 더 많은 제스쳐 스텝들을 가질 수 있고, 추가의, 더 적은, 또는 대안적인 대응하는 허용가능한 값들을 포함할 수 있음을 알아야 한다. 일부 실시예들에서, 다른 입력 제스쳐 모델들의 마이크로모션 상태들은 추가의 또는 대안적인 마이크로모션 상태들을 포함할 수 있음을 더 알아야 한다. 예를 들어, 예시적인 핑거 스냅 입력 제스쳐 모델(600)은 스텝들 사이에서 경과(elapse)할 수 있는 최대 시간 양(즉, 지속시간 임계값)을 나타내기 위해, 최대 델타 시간(616)을 추가의 마이크로모션 상태로서 포함한다.
이제 도 4를 참조하면, 사용 중에, 손목 착용가능 컴퓨팅 디바이스(100)는 마이크로모션 기반 입력 제스쳐들을 검출하기 위한 방법(400)을 실행할 수 있다. 예시적인 방법(400)은 도 4의 블록(402)에서 시작하며, 거기에서 손목 착용가능 컴퓨팅 디바이스(100)는 임의의 마이크로모션 관련 센서 데이터가 수신되었는지를 결정한다. 즉, 손목 착용가능 컴퓨팅 디바이스(100)는, 마이크로모션들에 대응하는 센서 데이터(즉, 센서 데이터 신호들)가 센서들(108)[예를 들어, 가속도계(110), 자이로스코프(112), 자력계(114) 등]에 의해 감지되었고 처리를 위해 손목 착용가능 컴퓨팅 디바이스(100)에 의해 수집되었는지를 결정한다. 일부 실시예들에서, 마이크로모션 관련 센서 데이터는 미리 결정된 시간 간격으로 수집될 수 있고, 예컨대 타이머에 의해 트리거될 수 있다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 마이크로모션 관련 센서 데이터는 이벤트의 발생 시에, 예컨대 마이크로모션이 검출된 것에 의해 수집될 수 있다[즉, 이벤트 구동(event-drⅳen)]. 마이크로모션 관련 센서가 수집되지 않은 경우, 방법(400)은 블록(402)으로 루프백하여, 수신된 마이크로모션 관련 센서 데이터에 관한 모니터링을 계속하고; 그렇지 않으면, 방법(400)은 블록(404)으로 진행한다.
블록(404)에서, 손목 착용가능 컴퓨팅 디바이스(100)는 수집된 마이크로모션 센서 데이터에 기초하여, 각각의 마이크로모션 상태에 대한 값을 결정한다. 일부 실시예들에서, 값들을 결정하기 위해, 손목 착용가능 컴퓨팅 디바이스(100)는 마이크로모션 센서 데이터로부터 마이크로모션 상태 값들을 생성하기 위한 증폭, 필터링, 변환, 고립, 및/또는 임의의 다른 신호 컨디셔닝 방법의 적용에 의해, 블록(406)에서 마이크로모션 데이터 신호들을 처리하거나 다르게 컨디셔닝할 수 있다. 그러한 실시예들에서, 예를 들어, 손목 착용가능 컴퓨팅 디바이스(100)는 가속도계(110), 자이로스코프(112), 및/또는 자력계(114)로부터 수신된 마이크로모션 센서 데이터를 처리할 수 있다. 블록(408)에서, 손목 착용가능 컴퓨팅 디바이스(100)는 블록(404)에서 각각의 마이크로모션 상태에 대해 결정된 값들에 기초하여 현재 제스쳐 스텝을 결정한다.
블록(410)에서, 손목 착용가능 컴퓨팅 디바이스(100)는 블록(408)에서 결정된 현재 제스쳐 스텝을 검출된 제스쳐 스텝들의 시퀀스에 첨부한다. 예를 들어, 이제 도 7을 참조하면, 3개의 제스쳐 스텝(702-706)을 포함하는 검출된 제스쳐 스텝들(700)의 제스쳐 시퀀스의 예시적인 실시예에서, 제3 제스쳐 스텝(706)을 둘러싸는 강조된 직사각형에 의해 나타난 바와 같이, 제3 제스쳐 스텝(706)은 검출된 제스쳐 스텝들(700)의 제스쳐 시퀀스에 추가된 현재 제스쳐 스텝에 대응한다.
도 4를 다시 참조하면, 블록(412)에서, 손목 착용가능 컴퓨팅 디바이스(100)는 검출된 제스쳐 스텝들의 시퀀스를 입력 제스쳐 모델들(118) 각각과 비교한다. 블록(414)에서, 손목 착용가능 컴퓨팅 디바이스(100)는 비교에 의해 입력 제스쳐 매치가 유발되었는지를 결정한다. 즉, 손목 착용가능 컴퓨팅 디바이스(100)는 검출된 제스쳐 스텝들의 제스쳐 시퀀스의 제스쳐 스텝들 및 마이크로모션 상태들에 대한 대응하는 마이크로모션 값들이, 입력 제스쳐 모델들(118) 중 임의의 것의 제스쳐 스텝들 및 마이크로모션 상태들에 대한 대응하는 허용가능한 마이크로모션 값들과 매칭하는지를 결정한다.
예를 들어, 위에서 설명된 바와 같이, 도 6의 예시적인 핑거 스냅 입력 제스쳐 모델(600)에서, 입력 제스쳐는 6개의 제스쳐 스텝(604-614) 각각이 핑거 스냅 입력 제스쳐 모델(600)[즉, 요구되는 제스쳐 스텝들(602)의 시퀀스]에 의해 정의되는 순차적 순서로 수행될 때 검출될 수 있다. 따라서, 예를 들어, 손목 착용가능 컴퓨팅 디바이스(100)는 도 7의 검출된 제스쳐 스텝들(700)의 시퀀스[즉, 제1 제스쳐 스텝(702), 제2 제스쳐 스텝(704), 및 제3 제스쳐 스텝(706)]를, 예시적인 핑거 스냅 입력 제스쳐 모델(600)을 포함할 수 있는 각각의 입력 제스쳐 모델과 비교할 수 있다.
도 4를 다시 참조하면, 블록(414)에서 손목 착용가능 컴퓨팅 디바이스(100)가 입력 제스쳐 매치가 없었다고 결정하는 경우, 방법(400)은 블록(416)으로 진행한다. 블록(416)에서, 손목 착용가능 컴퓨팅 디바이스(100)는 검출된 제스쳐 스텝들의 시퀀스의 제스쳐 스텝들 및 대응하는 마이크로모션 값들이 입력 제스쳐 모델들(118) 중 임의의 것의 제스쳐 스텝들 중 적어도 하나의 일부 및 대응하는 허용가능한 마이크로모션 값들과 매칭하는지를 결정한다. 그와 같이 하기 위해, 손목 착용가능 컴퓨팅 디바이스(100)는 블록(416)에서의 비교 동안, 검출된 제스쳐 스텝들의 시퀀스가 요구되는 제스쳐 스텝들의 요구되는 시퀀스를 정의하는 입력 제스쳐 모델의 적어도 제1 개수의 제스쳐 스텝들에 대응하는지를 결정할 수 있다(즉, 제1 개수의 제스쳐 스텝은 검출된 스텝들의 시퀀스 내의 검출된 제스쳐 스텝들의 수에 대응함).
예를 들어, 도 6 및 도 7을 다시 참조하면, 손목 착용가능 컴퓨팅 디바이스(100)는 3개의 제스쳐 스텝으로 구성되는 도 7의 검출된 제스쳐 스텝들(700)의 시퀀스를, 요구되는 제스쳐 스텝들(602)의 시퀀스의 처음 3개의 스텝과 비교할 수 있다. 도 6의 요구되는 제스쳐 스텝들(602)의 예시적인 시퀀스에서, 제3 제스쳐 스텝(608)(즉, 스텝 3)은 모션 마이크로모션 상태(506)가 고속 이동 모션일 것; 배향 마이크로모션 상태(508)가 알려지지 않음일 것; 회전-x 마이크로모션 상태(510)가 x축(202)을 따른 고속 회전일 것; 선형 모션-x 마이크로모션 상태(516), 선형 모션-y 마이크로모션 상태(518), 및 선형 모션-z 마이크로모션 상태(520)가 없음일 것(즉, 선형 모션이 없음); 충격 마이크로모션 상태(522)가 작음 또는 큼일 것; 및 쉐이킹 마이크로모션 상태(524)가 없음일 것(즉, 쉐이킹이 없음)을 요구한다. 제1 제스쳐 스텝(604)과 마찬가지로, 제3 제스쳐 스텝(608)의 회전-y 마이크로모션 상태(512) 및 회전-z 마이크로모션 상태(514)는 적용가능하지 않다. 또한, 제3 제스쳐 스텝(608)은 200 밀리초의 최대 델타 시간을 갖는다. 즉, 제2 제스쳐 스텝(606)과 제3 제스쳐 스텝(608) 사이의 시간 양[예를 들어, 도 7의 제3 제스쳐 스텝(706)의 최대 델타 시간(616)]이 최대 델타 시간(예를 들어, 200ms)을 초과하는 경우, 제스쳐 스텝들은 매칭하지 않을 것이다. 도 7에 도시된 바와 같이, 검출된 제스쳐 스텝들(700)의 제스쳐 시퀀스의 제3 제스쳐 스텝(706)은 요구되는 제스쳐 스텝들(602)의 시퀀스의 제3 제스쳐 시퀀스(608)의 마이크로모션 상태들을 위한 허용가능한 값들을 포함한다. 또한, 검출된 제스쳐 스텝들(700)의 제스쳐 시퀀스의 제1 제스쳐 스텝(702) 및 제2 제스쳐 스텝(704) 각각은 요구되는 제스쳐 스텝들(602)의 시퀀스의 제1 제스쳐 스텝(604) 및 제2 제스쳐 스텝(606)의 마이크로모션 상태들을 위한 허용가능한 값들을 포함한다.
따라서, 도 4를 다시 참조하면, 검출된 제스쳐 스텝들의 제스쳐 시퀀스의 각각의 제스쳐 스텝이 적어도 하나의 입력 제스쳐 모델(118)의 요구되는 제스쳐 스텝들의 제스쳐 시퀀스의 각각의 제스쳐 스텝의 마이크로모션 상태들을 위한 허용가능한 값들을 포함하는 실시예에서, 방법(400)은 블록(416)으로부터 블록(402)으로 복귀하여, 수신된 마이크로모션 관련 센서 데이터에 관한 모니터링을 계속한다. 그러나, 검출된 제스쳐 스텝들의 제스쳐 시퀀스가 입력 제스쳐 모델들(118) 중 임의의 것을 위한 요구되는 제스쳐 스텝들의 제스쳐 시퀀스의 각각의 제스쳐 스텝의 마이크로모션 상태들을 위한 허용가능한 값들을 포함하지 않는 경우, 방법은 블록(420)으로 진행한다. 블록(420)에서, 손목 착용가능 컴퓨팅 디바이스(100)는 블록(402)으로 복귀하여 수신된 마이크로모션 관련 센서 데이터에 관한 모니터링을 계속하기 전에, 검출된 제스쳐 스텝들의 제스쳐 시퀀스를 업데이트한다. 예를 들어, 일부 실시예들에서, 손목 착용가능 컴퓨팅 디바이스(100)는 검출된 제스쳐 스텝들의 제스쳐 시퀀스를 클리어하거나, 블록(410)에서 첨부된 가장 최근에 추가된 제스쳐 스텝만을 검출된 제스쳐 스텝들의 제스쳐 시퀀스 내에 유지하거나, 검출된 제스쳐 스텝들의 제스쳐 시퀀스 내에서 가장 오래된 제스쳐 스텝을 제거할 수 있다. 검출된 제스쳐 스텝들의 시퀀스 내에 하나 이상의 시퀀스 스텝이 남아있는 실시예들에서, 방법(400)은 블록(412)으로 복귀하여, 검출된 제스쳐 스텝들의 업데이트된 제스쳐 시퀀스를 입력 제스쳐 모델들(118)에 비교하는 것을 수행할 수 있다.
블록(414)에서 손목 착용가능 컴퓨팅 디바이스(100)가 입력 제스쳐 매치가 있었음을 결정하는 경우, 방법(400)은 블록(418)로 진행하며, 거기에서 손목 착용가능 컴퓨팅 디바이스(100)는 매칭된 입력 제스쳐의 표시를 제공한다. 예를 들어, 손목 착용가능 컴퓨팅 디바이스는 예를 들어 API를 통해, 매칭된 입력 제스쳐의 표시를 애플리케이션에 제공할 수 있다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 손목 착용가능 컴퓨팅 디바이스(100)는 입력 제스쳐가 식별되었다는 표시(예를 들어, 촉각, 청각, 또는 시각 표시)를 사용자에게 제공할 수 있다.
이제 도 8을 참조하면, 검출된 제스쳐 스텝들(800)의 제스쳐 시퀀스의 예시적인 실시예는 6개의 제스쳐 스텝(802-812)[즉, 제1 제스쳐 스텝(802), 제2 제스쳐 스텝(804), 제3 제스쳐 스텝(806), 제4 제스쳐 스텝(808), 제5 제스쳐 스텝(810), 및 제6 제스쳐 스텝(812)]을 포함한다. 제6 제스쳐 스텝(812)을 둘러싸는 강조된 직사각형에 의해 나타난 바와 같이, 제6 제스쳐 스텝(812)은 도 4의 블록(410)에서 검출된 제스쳐 스텝들(800)의 시퀀스에 첨부된 마이크로모션 값들의 제스쳐 스텝에 대응한다. 그와 같이, 도 4의 블록(416)을 다시 참조하면, 손목 착용가능 컴퓨팅 디바이스(100)는 6개의 제스쳐 스텝으로 구성되는 도 8의 검출된 제스쳐 스텝들(800)의 제스쳐 시퀀스를, 요구되는 제스쳐 스텝들(602)의 제스쳐 시퀀스의 제스쳐 스텝들의 6개 전부와 순차적 순서로 비교할 수 있다. 도 6 및 도 8에 도시된 바와 같이, 검출된 제스쳐 스텝들의 제스쳐 시퀀스의 각각의 제스쳐 스텝은 요구되는 제스쳐 스텝들(602)의 제스쳐 시퀀스의 각각의 제스쳐 스텝의 마이크로모션 상태들을 위한 허용가능한 값들을 포함한다. 그 결과로서, 입력 제스쳐 매치가 검출된다. 따라서, 도 4를 다시 참조하면, 그러한 실시예에서, 방법(400)은 검출된 스텝들의 시퀀스를 업데이트하기 위해 블록(420)으로 진행하기 전에, 위에서 설명된 것과 같은 블록(418)으로 진행된다.
이제 도 9a - 도 9c를 참조하면, 핑거 스냅 입력 제스쳐(finger-snap input gesture)의 예시적인 실시예는 손목 착용가능 컴퓨팅 디바이스(100)가 핑거 스냅 입력 제스쳐 동안 사용자의 손목(200)에 착용되는 것을 포함한다. 도 9a 내지 도 9c의 예시적인 핑거 스냅 입력 제스쳐는 핑거 스냅 입력 제스쳐를 실행하기 위한 초기 시작 손 배향(initial starting hand orientation)일 수 있는 도 9a에 도시된 제1 핑거 스냅 손 배향(900), 핑거 스냅 입력 제스쳐의 실행 동안의 중간 손 배향일 수 있는 도 9b에 도시된 제2 핑거 스냅 손 배향(910), 및 핑거 스냅 입력 제스쳐의 완료 시의 최종 손 배향일 수 있는 도 9c에 도시된 제3 핑거 스냅 손 배향(920)을 포함한다.
이제 도 10a - 도 10d를 참조하면, 프론트핸드 더블 노크 입력 제스쳐(front-hand double-knock input gesture)의 예시적인 실시예는 더블 노크 입력 제스쳐 동안 손목 착용가능 컴퓨팅 디바이스(100)가 사용자의 손목(200)에 착용되는 것을 포함한다. 도 10a - 도 10d의 예시적인 프론트핸드 더블 노크 입력 제스쳐는 테이블 상단과 같은 표면(1002) 상에서 프론트핸드 더블 노크 입력 제스쳐를 실행하기 위한 초기 시작 손 배향일 수 있는 도 10a의 제1 프론트핸드 더블 노크 손 배향(1000)을 포함한다. 이제 도 10b를 참조하면, 제2 프론트핸드 더블 노크 손 배향(1010)은 표면(1002)을 향하는 사용자의 손가락 마디가 잠시 동안 표면(1002)과 접촉하도록 손목(200)이 하강된 것을 도시한다. 도 10c에서, 도 10c의 제3 프론트핸드 더블 노크 손 배향(1020)은 사용자가 대체로 도 10a의 제1 프론트핸드 더블 노크 손 배향(1000)으로 손목(200)을 다시 상승시킨 것을 도시한다. 도 10d에서, 도 10d의 제4 프론트핸드 더블 노크 손 배향(1030)은 사용자의 손가락 마디를 향하는 표면(1002)이 표면(1002)과 접촉하도록 사용자가 손목을 다시 하강시킨 것을 도시한다.
이제 도 11a - 도 11d를 참조하면, 백핸드 더블 노크 입력 제스쳐(backhand double-knock input gesture)의 예시적인 실시예는 백핸드 더블 노크 입력 제스쳐 동안 손목 착용가능 컴퓨팅 디바이스(100)가 사용자의 손목(200)에 착용되는 것을 포함한다. 도 11a - 도 11d의 예시적인 백핸드 더블 노크 입력 제스쳐는 표면(1002) 상에 백핸드 더블 노크 입력 제스쳐를 실행하기 위한 초기 시작 손 배향일 수 있는 도 11a의 제1 백핸드 더블 노크 손 배향(1100)을 포함한다. 이제 도 11b를 참조하면, 제2 백핸드 더블 노크 손 배향(1110)은 사용자의 손가락 마디를 향하는 표면(1002)이 잠시 동안 표면(1002)과 접촉하도록 손목(200)이 하강된 것을 도시한다. 도 11c에서, 도 11c의 제3 백핸드 더블 노크 손 배향(1120)은 사용자가 대체로 도 11a의 제1 백핸드 더블 노크 손 배향(1100)으로 손목(200)을 다시 상승시킨 것을 도시한다. 도 11d에서, 도 11d의 제4 백핸드 더블 노크 손 배향(1130)은 사용자의 손가락 마디를 향하는 표면(1002)이 표면(1002)과 접촉하도록 사용자가 손목을 다시 하강시킨 것을 도시한다.
이제 도 12a - 도 12c를 참조하면, 손목 회전 왕복 입력 제스쳐(wrist rotation back-and-forth input gesture)의 예시적인 실시예는 손목 착용가능 컴퓨팅 디바이스(100)가 손목 회전 왕복 입력 제스쳐 동안 사용자의 손목(200)에 착용되는 것을 포함한다. 도 12a - 도 12c의 예시적인 손목 회전 왕복 입력 제스쳐는 손목 회전 왕복 입력 제스쳐를 실행하기 위한 초기 시작 손 배향일 수 있는 도 12a의 제1 손목 회전 왕복 손 배향(1200), 사용자의 손목(200)이 x축(202)에 대해 회전된 것을 보여주는 손목 회전 왕복 입력 제스쳐의 실행 동안의 중간 손 배향일 수 있는 도 12b의 제2 손목 회전 왕복 손 배향(1210), 및 손목(200)이 대체로 제1 손목 회전 왕복 손 배향(1200)까지 x축(202)에 대해 회전된 것을 보여주는 손목 회전 왕복 입력 제스쳐의 완료 시의 최종 손 배향일 수 있는 도 12c에 도시된 제3 손목 회전 왕복 손 배향(1220)을 포함한다.
이제 도 13a - 도 13d를 참조하면, 더블 핸드 클랩 입력 제스쳐(double hand clap input gesture)의 예시적인 실시예는 더블 핸드 클랩 입력 제스쳐 동안 손목 착용가능 컴퓨팅 디바이스(100)가 사용자의 손목(200)에 착용되는 것을 포함한다. 도 13a - 도 13d의 예시적인 더블 핸드 클랩 입력 제스쳐는 사용자의 각각의 손이 초기에 소정 거리만큼 분리되어 있는 것을 도시하는 도 13a에 보여진 것과 같은 제1 더블 핸드 클랩 손 배향(1300)을 포함하고, 이것은 더블 핸드 클랩 입력 제스쳐의 실행을 위한 초기 시작 배향일 수 있다. 도 13b에서, 제2 더블 핸드 클랩 배향(1310)은, 사용자의 손바닥들이 도 13a의 제3 더블 핸드 클랩 손 배향(1320)에 도시된 바와 같이 다시 분리되기 전의 소정 기간 동안 서로 접촉하게 된 것을 도시한다. 마지막으로, 도 13d에서, 제4 더블 핸드 클랩 손 배향(1330)은 사용자의 손바닥들이 다시 서로 접촉하게 된 것을 도시한다.
이제 도 14a - 도 14c를 참조하면, 셀레브레이션 입력 제스쳐(celebration input gesture)의 예시적인 실시예는 손목 착용가능 컴퓨팅 디바이스(100)가 셀레브레이션 입력 제스쳐 동안 사용자의 손목(200)에 착용되는 것을 포함한다. 도 14a - 도 14c의 예시적인 셀레브레이션 입력 제스쳐는 도 14a에 도시된 것과 같은 제1 셀레브레이션 손 배향(1400)을 포함하고, 여기서 사용자의 손목(200)은 사용자의 옆에서 움직이지 않은 채로 놓여있고, 이것은 셀레브레이션 입력 제스쳐를 실행하기 위한 초기 시작 손 배향일 수 있다. 도 14b에서, 제2 셀레브레이션 손 배향(1410)은 손목(200)이 대체로 어깨보다 높은 수준으로 상승된 것을 도시하고 있으며, 이는 셀레브레이션 입력 제스쳐의 실행 동안 중간 손 배향일 수 있다. 마지막으로, 도 14c는 셀레브레이션 입력 제스쳐의 완료 시의 최종 손 배향일 수 있는 제3 셀레브레이션 손 배향(1420)을 도시하고, 여기서 손목(200)은 제1 셀레브레이션 손 배향(1400)보다 높은 수준으로, 그리고 제2 셀레브레이션 손 배향(1410)보다 낮은 수준으로 하강된다.
앞에서 설명된 바와 같이, 각각의 입력 제스쳐는 대응하는 입력 제스쳐 모델을 갖는다. 따라서, 도 9a - 도 9c의 핑거 스냅 입력 제스쳐(finger-snap input gesture), 프론트핸드 더블 노크 입력 제스쳐, 백핸드 더블 노크 입력 제스쳐, 왕복 손목 회전 입력 제스쳐, 더블 핸드 클랩 입력 제스쳐, 및 셀레브레이션 제스쳐 입력 제스쳐 각각이 검출되어야 하는 실시예에서, 각각의 입력 제스쳐는 핑거 스탭 입력 제스쳐 모델, 프론트핸드 더블 노크 입력 제스쳐 모델 등과 같은 대응하는 모델을 갖는다.
예
이하에서는 본 명세서에 개시된 기술들의 실례들이 제공된다. 기술들의 실시예는 이하에 설명되는 예들 중의 임의의 하나 이상의 예, 및 그러한 예들의 임의의 조합을 포함할 수 있다.
예 1은 입력 제스쳐의 마이크로모션 상태들을 검출하기 위한 손목 착용가능 컴퓨팅 디바이스를 포함하고, 그 손목 착용가능 컴퓨팅 디바이스는 (ⅰ) 손목 착용가능 컴퓨팅 디바이스의 하나 이상의 센서로부터 센서 데이터를 수신하고, (ⅱ) 수신된 센서 데이터에 기초하여 복수의 마이크로모션 상태 각각에 대한 현재 값을 결정하고 - 마이크로모션 상태들 각각은 손목 착용가능 컴퓨팅 디바이스의 모션 관련 특성을 나타냄 - , (ⅲ) 마이크로모션 상태들의 현재 값들에 기초하여 복수의 제스쳐 스텝 중의 현재 제스쳐 스텝을 결정하고, (ⅳ) 현재 제스쳐 스텝을 검출된 제스쳐 스텝들의 시퀀스에 첨부하기 위한 - 검출된 제스쳐 스텝들의 시퀀스는 하나 이상의 이전에 검출된 제스쳐 스텝을 포함하고, 이전에 검출된 제스쳐 스텝들 각각은 복수의 마이크로모션 상태 각각에 대한 연관된 이전 값들에 의해 정의됨 - 마이크로모션 검출 모듈; 및 검출된 제스쳐 스텝들의 시퀀스가 입력 제스쳐에 연관된 입력 제스쳐 모델과 매칭하는지를 결정하기 위한 입력 제스쳐 인식 모듈 - 입력 제스쳐 모델은 요구되는 제스쳐 스텝들의 요구되는 시퀀스를 정의함 - 을 포함한다.
예 2는 예 1의 발명의 주제를 포함하고, 검출된 제스쳐 스텝들의 시퀀스가 입력 제스쳐 모델과 매칭하는지를 결정하는 것은, 검출된 제스쳐 스텝들의 시퀀스 중의 각각의 검출된 제스쳐 스텝을 요구되는 제스쳐 스텝들의 요구되는 시퀀스 중의 대응하는 요구되는 제스쳐 스텝과 순차적 순서로 비교하는 것을 포함한다.
예 3은 예 1 및 예 2 중 임의의 것의 발명의 주제를 포함하고, 입력 제스쳐 인식 모듈은 또한 검출된 제스쳐 스텝들의 시퀀스가 요구되는 제스쳐 스텝들의 요구되는 시퀀스와 순차적으로 매칭한다는 결정에 응답하여 입력 제스쳐를 식별하기 위한 것이다.
예 4는 예 1 내지 예 3 중 임의의 것의 발명의 주제를 포함하고, 입력 제스쳐 인식 모듈은 또한 검출된 제스쳐 스텝들의 시퀀스가 요구되는 제스쳐 스텝들의 요구되는 시퀀스와 순차적으로 매칭한다는 결정에 응답하여 입력 제스쳐의 표시를 손목 착용가능 컴퓨팅 디바이스의 애플리케이션에 제공하기 위한 것이다.
예 5는 예 1 내지 예 4 중 임의의 것의 발명의 주제를 포함하고, 마이크로모션 검출 모듈은 또한 (i) 검출된 제스쳐 스텝들의 시퀀스가 복수의 입력 제스쳐 모델 중의 적어도 하나의 입력 제스쳐 모델의 적어도 일부와 매칭한다는 입력 제스쳐 인식 모듈에 의한 결정에 응답하여, 센서 데이터에 기초하여 복수의 마이크로모션 상태 각각에 대한 후속 값을 결정하고, (ⅱ) 마이크로모션 상태들의 후속 값들에 기초하여 복수의 제스쳐 스텝 중의 후속 제스쳐 스텝을 결정하고, (ⅲ) 후속 제스쳐 스텝을 검출된 제스쳐 스텝들의 시퀀스에 첨부하여, 검출된 제스쳐 스텝들의 업데이트된 시퀀스를 생성하기 위한 것이고, 입력 제스쳐 인식 모듈은 또한 검출된 제스쳐 스텝들의 업데이트된 시퀀스가 입력 제스쳐에 연관된 입력 제스쳐 모델과 매칭하는지를 결정하기 위한 것이다.
예 6은 예 1 내지 예 5 중의 임의의 것의 발명의 주제를 포함하고, 마이크로모션 검출 모듈은 또한 검출된 제스쳐 스텝들의 시퀀스가 복수의 입력 제스쳐 모델 중의 적어도 하나의 입력 제스쳐 모델의 적어도 일부와 매칭하지 않는다는 입력 제스쳐 인식 모듈에 의한 결정에 응답하여, 검출된 제스쳐 스텝들의 시퀀스를 업데이트하기 위한 것이고, 복수의 입력 제스쳐 모델 중의 각각의 입력 제스쳐 모델은 요구되는 제스쳐 스텝들의 대응하는 요구되는 시퀀스를 정의한다.
예 7은 예 1 내지 예 6 중 임의의 것의 발명의 주제를 포함하고, 검출된 제스쳐 스텝들의 시퀀스를 업데이트하는 것은, 검출된 제스쳐 스텝들의 시퀀스를 클리어하는 것, 검출된 제스쳐 스텝들의 시퀀스 내에서 가장 최근에 첨부된 제스쳐 스텝만을 유지하는 것, 또는 검출된 제스쳐 스텝들의 시퀀스로부터 가장 오래된 제스쳐 스텝을 제거하는 것을 포함한다.
예 8은 예 1 내지 예 7 중 임의의 것의 발명의 주제를 포함하고, 손목 착용가능 컴퓨팅 디바이스의 하나 이상의 센서로부터 센서 데이터를 수신하는 것은, 손목 착용가능 컴퓨팅 디바이스의 가속도계로부터 센서 데이터를 수신하는 것을 포함한다.
예 9는 예 1 내지 예 8 중 임의의 것의 발명의 주제를 포함하고, 손목 착용가능 컴퓨팅 디바이스의 하나 이상의 센서로부터 센서 데이터를 수신하는 것은, 손목 착용가능 컴퓨팅 디바이스의 자이로스코프로부터 센서 데이터를 수신하는 것을 포함한다
예 10은 예 1 내지 예 9 중 임의의 것의 발명의 주제를 포함하고, 손목 착용가능 컴퓨팅 디바이스의 하나 이상의 센서로부터 센서 데이터를 수신하는 것은, 손목 착용가능 컴퓨팅 디바이스의 자력계로부터 센서 데이터를 수신하는 것을 포함한다
예 11은 예 1 내지 예 10 중 임의의 것의 발명의 주제를 포함하고, 복수의 마이크로모션 상태 중의 마이크로모션 상태들 각각에 대한 현재 값을 결정하는 것은, 모션 마이크로모션 상태, 배향 마이크로모션 상태, 회전 마이크로모션 상태, 선형 모션 마이크로모션 상태, 충격 마이크로모션 상태, 및 쉐이킹 마이크로모션 상태 중 적어도 하나에 대한 현재 값을 결정하는 것을 포함한다.
예 12는 예 1 내지 예 11 중 임의의 것의 발명의 주제를 포함하고, 회전 마이크로모션 상태에 대한 현재 값을 결정하는 것은, x축을 따른 제1 회전, y축을 따른 제2 회전, 및 z축을 따른 제3 회전 중 적어도 하나에 대한 현재 값을 결정하는 것을 포함한다.
예 13은 예 1 내지 예 12 중 임의의 것의 발명의 주제를 포함하고, 선형 모션 마이크로모션 상태에 대한 현재 값을 결정하는 것은, x축에 대응하는 제1 선형 모션 마이크로모션 상태, y축에 대응하는 제2 선형 모션 마이크로모션 상태, 및 z축에 대응하는 제3 선형 모션 마이크로모션 상태 중 적어도 하나에 대한 현재 값을 결정하는 것을 포함한다.
예 14는 예 1 내지 예 13 중 임의의 것의 발명의 주제를 포함하고, 검출된 제스쳐 스텝들의 시퀀스의 각각의 제스쳐 스텝을 입력 제스쳐 모델의 각각의 제스쳐 스텝과 비교하는 것은, 검출된 제스쳐 스텝들의 시퀀스의 각각의 제스쳐 스텝을 핑거 스냅 입력 제스쳐 모델, 프론트핸드 더블 노크 입력 제스쳐 모델, 백핸드 더블 노크 입력 제스쳐 모델, 왕복 손목 회전 입력 제스쳐 모델, 더블 핸드 클랩 입력 제스쳐 모델, 및 셀레브레이션 제스쳐 입력 제스쳐 모델 중 적어도 하나와 비교하는 것을 포함한다.
예 15는 예 1 내지 예 14 중 임의의 것의 발명의 주제를 포함하고, 현재 값을 결정하는 것은 3차원 축에 대한 이동, 배향, 회전, 및 방향 중 적어도 하나를 결정하는 것을 포함한다.
예 16은 입력 제스쳐의 마이크로모션 상태들을 검출하기 위한 방법을 포함하고, 방법은 손목 착용가능 컴퓨팅 디바이스에 의해, 손목 착용가능 컴퓨팅 디바이스의 하나 이상의 센서로부터의 센서 데이터를 수신하는 단계; 손목 착용가능 컴퓨팅 디바이스에 의해, 수신된 센서 데이터에 기초하여 복수의 마이크로모션 상태 각각에 대한 현재 값을 결정하는 단계 - 마이크로모션 상태들 각각은 손목 착용가능 컴퓨팅 디바이스의 모션 관련 특성을 나타냄 - ; 손목 착용가능 컴퓨팅 디바이스에 의해, 마이크로모션 상태들의 현재 값들에 기초하여 복수의 제스쳐 스텝 중의 현재 제스쳐 스텝을 결정하는 단계; 손목 착용가능 컴퓨팅 디바이스에 의해, 현재 제스쳐 스텝을 검출된 제스쳐 스텝들의 시퀀스에 첨부하는 단계 - 검출된 제스쳐 스텝들의 시퀀스는 하나 이상의 이전에 검출된 제스쳐 스텝을 포함하고, 이전에 검출된 제스쳐 스텝들 각각은 복수의 마이크로모션 상태 각각에 대한 연관된 이전 값들에 의해 정의됨 - ; 및 손목 착용가능 컴퓨팅 디바이스에 의해, 검출된 제스쳐 스텝들의 시퀀스가 입력 제스쳐에 연관된 입력 제스쳐 모델과 매칭하는지를 결정하는 단계 - 입력 제스쳐 모델은 요구되는 제스쳐 스텝들의 요구되는 시퀀스를 정의함 - 를 포함한다.
예 17은 예 16의 발명의 주제를 포함하고, 검출된 제스쳐 스텝들의 시퀀스가 입력 제스쳐 모델과 매칭하는지를 결정하는 단계는, 검출된 제스쳐 스텝들의 시퀀스 중의 각각의 검출된 제스쳐 스텝을 요구되는 제스쳐 스텝들의 요구되는 시퀀스 중의 대응하는 요구되는 제스쳐 스텝과 순차적 순서로 비교하는 단계를 포함한다.
예 18은 예 16 및 예 17 중 임의의 것의 발명의 주제를 포함하고, 손목 착용가능 컴퓨팅 디바이스에 의해, 검출된 제스쳐 스텝들의 시퀀스가 요구되는 제스쳐 스텝들의 요구되는 시퀀스와 순차적으로 매칭한다는 결정에 응답하여 입력 제스쳐를 식별하는 단계를 더 포함한다.
예 19는 예 16 내지 예 18 중 임의의 것의 발명의 주제를 포함하고, 손목 착용가능 컴퓨팅 디바이스에 의해, 검출된 제스쳐 스텝들의 시퀀스가 요구되는 제스쳐 스텝들의 요구되는 시퀀스와 순차적으로 매칭한다는 결정에 응답하여 입력 제스쳐의 표시를 손목 착용가능 컴퓨팅 디바이스의 애플리케이션에 제공하는 단계를 더 포함한다.
예 20은 예 16 내지 예 19 중 임의의 것의 발명의 주제를 포함하고, 검출된 제스쳐 스텝들의 시퀀스가 복수의 입력 제스쳐 모델 중의 적어도 하나의 입력 제스쳐 모델의 적어도 일부와 매칭한다는 결정에 응답하여, 손목 착용가능 컴퓨팅 디바이스에 의해, 센서 데이터에 기초하여 복수의 마이크로모션 상태 각각에 대한 후속 값을 결정하는 단계; 손목 착용가능 컴퓨팅 디바이스에 의해, 마이크로모션 상태들의 후속 값들에 기초하여 복수의 제스쳐 스텝 중의 후속 제스쳐 스텝을 결정하는 단계; 손목 착용가능 컴퓨팅 디바이스에 의해, 후속 제스쳐 스텝을 검출된 제스쳐 스텝들의 시퀀스에 첨부하여, 검출된 제스쳐 스텝들의 업데이트된 시퀀스를 생성하는 단계; 및 손목 착용가능 컴퓨팅 디바이스에 의해, 검출된 제스쳐 스텝들의 업데이트된 시퀀스가 입력 제스쳐에 연관된 입력 제스쳐 모델과 매칭하는지를 결정하는 단계를 더 포함한다.
예 21은 예 16 내지 예 20 중 임의의 것의 발명의 주제를 포함하고, 검출된 제스쳐 스텝들의 시퀀스가 복수의 입력 제스쳐 모델 중의 적어도 하나의 입력 제스쳐 모델의 적어도 일부와 매칭하지 않는다는 결정에 응답하여, 검출된 제스쳐 스텝들의 시퀀스를 업데이트하는 단계를 더 포함하고, 복수의 입력 제스쳐 모델 중의 각각의 입력 제스쳐 모델은 요구되는 제스쳐 스텝들의 대응하는 요구되는 시퀀스를 정의한다.
예 22는 예 16 내지 예 21 중 임의의 것의 발명의 주제를 포함하고, 검출된 제스쳐 스텝들의 시퀀스를 업데이트하는 단계는, 검출된 제스쳐 스텝들의 시퀀스를 클리어하는 단계, 검출된 제스쳐 스텝들의 시퀀스 내에서 가장 최근에 첨부된 제스쳐 스텝만을 유지하는 단계, 또는 검출된 제스쳐 스텝들의 시퀀스로부터 가장 오래된 제스쳐 스텝을 제거하는 단계를 포함한다.
예 23은 예 16 내지 예 22 중 임의의 것의 발명의 주제를 포함하고, 손목 착용가능 컴퓨팅 디바이스의 하나 이상의 센서로부터 센서 데이터를 수신하는 단계는, 손목 착용가능 컴퓨팅 디바이스의 가속도계로부터 센서 데이터를 수신하는 단계를 포함한다.
예 24는 예 16 내지 예 23 중 임의의 것의 발명의 주제를 포함하고, 손목 착용가능 컴퓨팅 디바이스의 하나 이상의 센서로부터 센서 데이터를 수신하는 단계는, 손목 착용가능 컴퓨팅 디바이스의 자이로스코프로부터 센서 데이터를 수신하는 단계를 포함한다.
예 25는 예 16 내지 예 24 중 임의의 것의 발명의 주제를 포함하고, 손목 착용가능 컴퓨팅 디바이스의 하나 이상의 센서로부터 센서 데이터를 수신하는 단계는, 손목 착용가능 컴퓨팅 디바이스의 자력계로부터 센서 데이터를 수신하는 단계를 포함한다.
예 26은 예 16 내지 예 25 중 임의의 것의 발명의 주제를 포함하고, 복수의 마이크로모션 상태 중의 마이크로모션 상태들 각각에 대한 현재 값을 결정하는 단계는, 모션 마이크로모션 상태, 배향 마이크로모션 상태, 회전 마이크로모션 상태, 선형 모션 마이크로모션 상태, 충격 마이크로모션 상태, 및 쉐이킹 마이크로모션 상태 중 적어도 하나에 대한 현재 값을 결정하는 단계를 포함한다.
예 27은 예 16 내지 예 26 중 임의의 것의 발명의 주제를 포함하고, 회전 마이크로모션 상태에 대한 현재 값을 결정하는 단계는, x축을 따른 제1 회전, y축을 따른 제2 회전, 및 z축을 따른 제3 회전 중 적어도 하나에 대한 현재 값을 결정하는 단계를 포함한다.
예 28은 예 16 내지 예 27 중 임의의 것의 발명의 주제를 포함하고, 선형 모션 마이크로모션 상태에 대한 현재 값을 결정하는 단계는, x축에 대응하는 제1 선형 모션 마이크로모션 상태, y축에 대응하는 제2 선형 모션 마이크로모션 상태, 및 z축에 대응하는 제3 선형 모션 마이크로모션 상태 중 적어도 하나에 대한 현재 값을 결정하는 단계를 포함한다.
예 29는 예 16 내지 예 28 중 임의의 것의 발명의 주제를 포함하고, 검출된 제스쳐 스텝들의 시퀀스의 각각의 제스쳐 스텝을 입력 제스쳐 모델의 각각의 제스쳐 스텝과 비교하는 단계는, 검출된 제스쳐 스텝들의 시퀀스의 각각의 제스쳐 스텝을 핑거 스냅 입력 제스쳐 모델, 프론트핸드 더블 노크 입력 제스쳐 모델, 백핸드 더블 노크 입력 제스쳐 모델, 왕복 손목 회전 입력 제스쳐 모델, 더블 핸드 클랩 입력 제스쳐 모델, 및 셀레브레이션 제스쳐 입력 제스쳐 모델 중 적어도 하나와 비교하는 단계를 포함한다.
예 30은 예 16 내지 예 29 중 임의의 것의 발명의 주제를 포함하고, 현재 값을 결정하는 단계는 3차원 축에 대한 이동, 배향, 회전, 및 방향 중 적어도 하나를 결정하는 단계를 포함한다.
예 31은 프로세서; 및 프로세서에 의해 실행될 때, 컴퓨팅 디바이스로 하여금 예 16 내지 예 30 중 임의의 것의 방법을 수행하게 하는 복수의 명령어가 저장되어 있는 메모리를 포함하는 컴퓨팅 디바이스를 포함한다.
예 32는 실행되는 것에 응답하여, 컴퓨팅 디바이스가 예 16 내지 예 30 중 임의의 것의 방법을 수행하게 초래하는 저장된 복수의 명령어를 포함하는 하나 이상의 머신 판독가능한 저장 매체를 포함한다.
예 33은 입력 제스쳐의 마이크로모션 상태들을 검출하기 위한 손목 착용가능 컴퓨팅 디바이스를 포함하고, 손목 착용가능 컴퓨팅 디바이스는 손목 착용가능 컴퓨팅 디바이스의 하나 이상의 센서로부터 센서 데이터를 수신하기 위한 수단; 수신된 센서 데이터에 기초하여 복수의 마이크로모션 상태 각각에 대한 현재 값을 결정하기 위한 수단 - 마이크로모션 상태들 각각은 손목 착용가능 컴퓨팅 디바이스의 모션 관련 특성을 나타냄 - ; 마이크로모션 상태들의 현재 값들에 기초하여 복수의 제스쳐 스텝 중의 현재 제스쳐 스텝을 결정하기 위한 수단; 현재 제스쳐 스텝을 검출된 제스쳐 스텝들의 시퀀스에 첨부하기 위한 수단 - 검출된 제스쳐 스텝들의 시퀀스는 하나 이상의 이전에 검출된 제스쳐 스텝을 포함하고, 이전에 검출된 제스쳐 스텝들 각각은 복수의 마이크로모션 상태 각각에 대한 연관된 이전 값들에 의해 정의됨 - ; 및 검출된 제스쳐 스텝들의 시퀀스가 입력 제스쳐에 연관된 입력 제스쳐 모델과 매칭하는지를 결정하기 위한 수단 - 입력 제스쳐 모델은 요구되는 제스쳐 스텝들의 요구되는 시퀀스를 정의함 - 을 포함한다.
예 34는 예 33의 발명의 주제를 포함하고, 검출된 제스쳐 스텝들의 시퀀스가 입력 제스쳐 모델과 매칭하는지를 결정하기 위한 수단은, 검출된 제스쳐 스텝들의 시퀀스 중의 각각의 검출된 제스쳐 스텝을 요구되는 제스쳐 스텝들의 요구되는 시퀀스 중의 대응하는 요구되는 제스쳐 스텝과 순차적 순서로 비교하는 수단을 포함한다.
예 35는 예 33 및 예 34 중 임의의 것의 발명의 주제를 포함하고, 검출된 제스쳐 스텝들의 시퀀스가 요구되는 제스쳐 스텝들의 요구되는 시퀀스와 순차적으로 매칭한다는 결정에 응답하여 입력 제스쳐를 식별하기 위한 수단을 더 포함한다.
예 36은 예 33 내지 예 35 중 임의의 것의 발명의 주제를 포함하고, 검출된 제스쳐 스텝들의 시퀀스가 요구되는 제스쳐 스텝들의 요구되는 시퀀스와 순차적으로 매칭한다는 결정에 응답하여 입력 제스쳐의 표시를 손목 착용가능 컴퓨팅 디바이스의 애플리케이션에 제공하기 위한 수단을 더 포함한다.
예 37은 예 33 내지 예 36 중 임의의 것의 발명의 주제를 포함하고, 검출된 제스쳐 스텝들의 시퀀스가 복수의 입력 제스쳐 모델 중의 적어도 하나의 입력 제스쳐 모델의 적어도 일부와 매칭한다는 결정에 응답하여, 센서 데이터에 기초하여 복수의 마이크로모션 상태 각각에 대한 후속 값을 결정하기 위한 수단; 마이크로모션 상태들의 후속 값들에 기초하여 복수의 제스쳐 스텝 중의 후속 제스쳐 스텝을 결정하기 위한 수단; 후속 제스쳐 스텝을 검출된 제스쳐 스텝들의 시퀀스에 첨부하여, 검출된 제스쳐 스텝들의 업데이트된 시퀀스를 생성하기 위한 수단; 및 검출된 제스쳐 스텝들의 업데이트된 시퀀스가 입력 제스쳐에 연관된 입력 제스쳐 모델과 매칭하는지를 결정하기 위한 수단을 더 포함한다.
예 38은 예 33 내지 예 37 중 임의의 것의 발명의 주제를 포함하고, 검출된 제스쳐 스텝들의 시퀀스가 복수의 입력 제스쳐 모델 중의 적어도 하나의 입력 제스쳐 모델의 적어도 일부와 매칭하지 않는다는 결정에 응답하여, 검출된 제스쳐 스텝들의 시퀀스를 업데이트하기 위한 수단을 더 포함하고, 복수의 입력 제스쳐 모델 중의 각각의 입력 제스쳐 모델은 요구되는 제스쳐 스텝들의 대응하는 요구되는 시퀀스를 정의한다.
예 39는 예 33 내지 예 38 중 임의의 것의 발명의 주제를 포함하고, 검출된 제스쳐 스텝들의 시퀀스를 업데이트하기 위한 수단은, 검출된 제스쳐 스텝들의 시퀀스를 클리어하기 위한 수단, 검출된 제스쳐 스텝들의 시퀀스 내에서 가장 최근에 첨부된 제스쳐 스텝만을 유지하기 위한 수단, 또는 검출된 제스쳐 스텝들의 시퀀스로부터 가장 오래된 제스쳐 스텝을 제거하기 위한 수단을 포함한다.
예 40은 예 33 내지 예 39 중 임의의 것의 발명의 주제를 포함하고, 손목 착용가능 컴퓨팅 디바이스의 하나 이상의 센서로부터 센서 데이터를 수신하기 위한 수단은, 손목 착용가능 컴퓨팅 디바이스의 가속도계로부터 센서 데이터를 수신하기 위한 수단을 포함한다.
예 41은 예 33 내지 예 40 중 임의의 것의 발명의 주제를 포함하고, 손목 착용가능 컴퓨팅 디바이스의 하나 이상의 센서로부터 센서 데이터를 수신하기 위한 수단은, 손목 착용가능 컴퓨팅 디바이스의 자이로스코프로부터 센서 데이터를 수신하기 위한 수단을 포함한다.
예 42는 예 33 내지 예 41 중 임의의 것의 발명의 주제를 포함하고, 손목 착용가능 컴퓨팅 디바이스의 하나 이상의 센서로부터 센서 데이터를 수신하기 위한 수단은, 손목 착용가능 컴퓨팅 디바이스의 자력계로부터 센서 데이터를 수신하기 위한 수단을 포함한다.
예 43은 예 33 내지 예 42 중 임의의 것의 발명의 주제를 포함하고, 복수의 마이크로모션 상태 중의 마이크로모션 상태들 각각에 대한 현재 값을 결정하기 위한 수단은, 모션 마이크로모션 상태, 배향 마이크로모션 상태, 회전 마이크로모션 상태, 선형 모션 마이크로모션 상태, 충격 마이크로모션 상태, 및 쉐이킹 마이크로모션 상태 중 적어도 하나에 대한 현재 값을 결정하기 위한 수단을 포함한다.
예 44는 예 33 내지 예 43 중 임의의 것의 발명의 주제를 포함하고, 회전 마이크로모션 상태에 대한 현재 값을 결정하기 위한 수단은, x축을 따른 제1 회전, y축을 따른 제2 회전, 및 z축을 따른 제3 회전 중 적어도 하나에 대한 현재 값을 결정하기 위한 수단을 포함한다.
예 45는 예 33 내지 예 44 중 임의의 것의 발명의 주제를 포함하고, 선형 모션 마이크로모션 상태에 대한 현재 값을 결정하기 위한 수단은, x축에 대응하는 제1 선형 모션 마이크로모션 상태, y축에 대응하는 제2 선형 모션 마이크로모션 상태, 및 z축에 대응하는 제3 선형 모션 마이크로모션 상태 중 적어도 하나에 대한 현재 값을 결정하기 위한 수단을 포함한다.
예 46은 예 33 내지 예 45 중 임의의 것의 발명의 주제를 포함하고, 검출된 제스쳐 스텝들의 시퀀스의 각각의 제스쳐 스텝을 입력 제스쳐 모델의 각각의 제스쳐 스텝과 비교하기 위한 수단은, 검출된 제스쳐 스텝들의 시퀀스의 각각의 제스쳐 스텝을 핑거 스냅 입력 제스쳐 모델, 프론트핸드 더블 노크 입력 제스쳐 모델, 백핸드 더블 노크 입력 제스쳐 모델, 왕복 손목 회전 입력 제스쳐 모델, 더블 핸드 클랩 입력 제스쳐 모델, 및 셀레브레이션 제스쳐 입력 제스쳐 모델 중 적어도 하나와 비교하기 위한 수단을 포함한다.
예 47은 예 33 내지 예 46 중 임의의 것의 발명의 주제를 포함하고, 현재 값을 결정하기 위한 수단은 3차원 축에 대한 이동, 배향, 회전, 및 방향 중 적어도 하나를 결정하기 위한 수단을 포함한다.

Claims (25)

  1. 입력 제스쳐의 마이크로모션 상태들(micro-motion states)을 검출하기 위한 손목 착용가능 컴퓨팅 디바이스(wrist-wearable computing device)로서,
    (i) 상기 손목 착용가능 컴퓨팅 디바이스의 하나 이상의 센서로부터 센서 데이터를 수신하고, (ⅱ) 수신된 센서 데이터에 기초하여 복수의 마이크로모션 상태 각각에 대한 현재 값을 결정하고 - 상기 마이크로모션 상태들 각각은 상기 손목 착용가능 컴퓨팅 디바이스의 모션 관련 특성을 나타냄 - , (ⅲ) 상기 마이크로모션 상태들의 상기 현재 값들에 기초하여 복수의 제스쳐 스텝 중의 현재 제스쳐 스텝을 결정하고, (ⅳ) 상기 현재 제스쳐 스텝을 검출된 제스쳐 스텝들의 시퀀스에 첨부하기 위한 - 상기 검출된 제스쳐 스텝들의 시퀀스는 하나 이상의 이전에 검출된 제스쳐 스텝을 포함하고, 상기 이전에 검출된 제스쳐 스텝들 각각은 상기 복수의 마이크로모션 상태 각각에 대한 연관된 이전 값들에 의해 정의됨 - 마이크로모션 검출 모듈; 및
    상기 검출된 제스쳐 스텝들의 시퀀스가 입력 제스쳐에 연관된 입력 제스쳐 모델과 매칭하는지를 결정하기 위한 입력 제스쳐 인식 모듈 - 상기 입력 제스쳐 모델은 요구되는 제스쳐 스텝들의 요구되는 시퀀스를 정의함 -
    을 포함하는 손목 착용가능 컴퓨팅 디바이스.
  2. 제1항에 있어서, 상기 검출된 제스쳐 스텝들의 시퀀스가 입력 제스쳐 모델과 매칭하는지를 결정하는 것은, 상기 검출된 제스쳐 스텝들의 시퀀스 중의 각각의 검출된 제스쳐 스텝을 요구되는 제스쳐 스텝들의 요구되는 시퀀스 중의 대응하는 요구되는 제스쳐 스텝과 순차적 순서로 비교하는 것을 포함하는, 손목 착용가능 컴퓨팅 디바이스.
  3. 제2항에 있어서, 상기 입력 제스쳐 인식 모듈은 추가로, 상기 검출된 제스쳐 스텝들의 시퀀스가 상기 요구되는 제스쳐 스텝들의 요구되는 시퀀스와 순차적으로 매칭한다는 결정에 응답하여 상기 입력 제스쳐를 식별하기 위한 것인, 손목 착용가능 컴퓨팅 디바이스.
  4. 제3항에 있어서, 상기 입력 제스쳐 인식 모듈은 추가로, 상기 검출된 제스쳐 스텝들의 시퀀스가 상기 요구되는 제스쳐 스텝들의 요구되는 시퀀스와 순차적으로 매칭한다는 결정에 응답하여 상기 입력 제스쳐의 표시를 상기 손목 착용가능 컴퓨팅 디바이스의 애플리케이션에 제공하기 위한 것인, 손목 착용가능 컴퓨팅 디바이스.
  5. 제1항에 있어서, 상기 마이크로모션 검출 모듈은 추가로, (i) 상기 검출된 제스쳐 스텝들의 시퀀스가 복수의 입력 제스쳐 모델 중의 적어도 하나의 입력 제스쳐 모델의 적어도 일부와 매칭한다는 상기 입력 제스쳐 인식 모듈에 의한 결정에 응답하여, 상기 센서 데이터에 기초하여 상기 복수의 마이크로모션 상태 각각에 대한 후속 값을 결정하고, (ⅱ) 상기 마이크로모션 상태들의 후속 값들에 기초하여 상기 복수의 제스쳐 스텝 중의 후속 제스쳐 스텝을 결정하고, (ⅲ) 상기 후속 제스쳐 스텝을 상기 검출된 제스쳐 스텝들의 시퀀스에 첨부하여, 검출된 제스쳐 스텝들의 업데이트된 시퀀스를 생성하기 위한 것이고,
    상기 입력 제스쳐 인식 모듈은 추가로, 상기 검출된 제스쳐 스텝들의 업데이트된 시퀀스가 상기 입력 제스쳐에 연관된 입력 제스쳐 모델과 매칭하는지를 결정하기 위한 것인, 손목 착용가능 컴퓨팅 디바이스.
  6. 제1항에 있어서, 상기 마이크로모션 검출 모듈은 추가로, 상기 검출된 제스쳐 스텝들의 시퀀스가 복수의 입력 제스쳐 모델 중의 적어도 하나의 입력 제스쳐 모델의 적어도 일부와 매칭하지 않는다는 상기 입력 제스쳐 인식 모듈에 의한 결정에 응답하여, 상기 검출된 제스쳐 스텝들의 시퀀스를 업데이트하기 위한 것이고, 상기 복수의 입력 제스쳐 모델 중의 각각의 입력 제스쳐 모델은 요구되는 제스쳐 스텝들의 대응하는 요구되는 시퀀스를 정의하는, 손목 착용가능 컴퓨팅 디바이스.
  7. 제6항에 있어서, 상기 검출된 제스쳐 스텝들의 시퀀스를 업데이트하는 것은, 상기 검출된 제스쳐 스텝들의 시퀀스를 클리어하는 것, 상기 검출된 제스쳐 스텝들의 시퀀스 내에서 가장 최근에 첨부된 제스쳐 스텝만을 유지하는 것, 및 상기 검출된 제스쳐 스텝들의 시퀀스로부터 가장 오래된 제스쳐 스텝을 제거하는 것 중 하나를 포함하는, 손목 착용가능 컴퓨팅 디바이스.
  8. 제1항에 있어서, 상기 손목 착용가능 컴퓨팅 디바이스의 하나 이상의 센서로부터 센서 데이터를 수신하는 것은, 상기 손목 착용가능 컴퓨팅 디바이스의 가속도계, 상기 손목 착용가능 컴퓨팅 디바이스의 자이로스코프, 및 상기 손목 착용가능 컴퓨팅 디바이스의 자력계(magnetometer) 중 적어도 하나로부터 상기 센서 데이터를 수신하는 것을 포함하는, 손목 착용가능 컴퓨팅 디바이스.
  9. 제1항에 있어서, 복수의 마이크로모션 상태 중의 마이크로모션 상태들 각각에 대한 현재 값을 결정하는 것은, 모션 마이크로모션 상태, 배향 마이크로모션 상태, 회전 마이크로모션 상태, 선형 모션 마이크로모션 상태, 충격 마이크로모션 상태, 및 쉐이킹 마이크로모션 상태 중 적어도 하나에 대한 현재 값을 결정하는 것을 포함하는, 손목 착용가능 컴퓨팅 디바이스.
  10. 제9항에 있어서, 상기 회전 마이크로모션 상태에 대한 현재 값을 결정하는 것은, x축을 따른 제1 회전, y축을 따른 제2 회전, 및 z축을 따른 제3 회전 중 적어도 하나에 대한 현재 값을 결정하는 것을 포함하는, 손목 착용가능 컴퓨팅 디바이스.
  11. 제9항에 있어서, 선형 모션 마이크로모션 상태에 대한 현재 값을 결정하는 것은, x축에 대응하는 제1 선형 모션 마이크로모션 상태, y축에 대응하는 제2 선형 모션 마이크로모션 상태, 및 z축에 대응하는 제3 선형 모션 마이크로모션 상태 중 적어도 하나에 대한 현재 값을 결정하는 것을 포함하는, 손목 착용가능 컴퓨팅 디바이스.
  12. 제1항에 있어서, 상기 현재 값을 결정하는 것은 3차원 축에 대한 이동, 배향, 회전, 및 방향 중 적어도 하나를 결정하는 것을 포함하는, 손목 착용가능 컴퓨팅 디바이스.
  13. 입력 제스쳐의 마이크로모션 상태들을 검출하기 위한 방법으로서,
    손목 착용가능 컴퓨팅 디바이스에 의해, 상기 손목 착용가능 컴퓨팅 디바이스의 하나 이상의 센서로부터의 센서 데이터를 수신하는 단계;
    상기 손목 착용가능 컴퓨팅 디바이스에 의해, 수신된 센서 데이터에 기초하여 복수의 마이크로모션 상태 각각에 대한 현재 값을 결정하는 단계 - 상기 마이크로모션 상태들 각각은 상기 손목 착용가능 컴퓨팅 디바이스의 모션 관련 특성을 나타냄 - ;
    상기 손목 착용가능 컴퓨팅 디바이스에 의해, 상기 마이크로모션 상태들의 상기 현재 값들에 기초하여 복수의 제스쳐 스텝 중의 현재 제스쳐 스텝을 결정하는 단계;
    상기 손목 착용가능 컴퓨팅 디바이스에 의해, 상기 현재 제스쳐 스텝을 검출된 제스쳐 스텝들의 시퀀스에 첨부하는 단계 - 상기 검출된 제스쳐 스텝들의 시퀀스는 하나 이상의 이전에 검출된 제스쳐 스텝을 포함하고, 상기 이전에 검출된 제스쳐 스텝들 각각은 상기 복수의 마이크로모션 상태 각각에 대한 연관된 이전 값들에 의해 정의됨 - ; 및
    상기 손목 착용가능 컴퓨팅 디바이스에 의해, 상기 검출된 제스쳐 스텝들의 시퀀스가 입력 제스쳐에 연관된 입력 제스쳐 모델과 매칭하는지를 결정하는 단계 - 상기 입력 제스쳐 모델은 요구되는 제스쳐 스텝들의 요구되는 시퀀스를 정의함 -
    를 포함하는 방법.
  14. 제13항에 있어서, 상기 검출된 제스쳐 스텝들의 시퀀스가 입력 제스쳐 모델과 매칭하는지를 결정하는 단계는, 상기 검출된 제스쳐 스텝들의 시퀀스 중의 각각의 검출된 제스쳐 스텝을 요구되는 제스쳐 스텝들의 요구되는 시퀀스 중의 대응하는 요구되는 제스쳐 스텝과 순차적 순서로 비교하는 단계를 포함하는, 방법.
  15. 제14항에 있어서, 상기 손목 착용가능 컴퓨팅 디바이스에 의해, 상기 검출된 제스쳐 스텝들의 시퀀스가 상기 요구되는 제스쳐 스텝들의 요구되는 시퀀스와 순차적으로 매칭한다는 결정에 응답하여 상기 입력 제스쳐를 식별하는 단계를 더 포함하는 방법.
  16. 제13항에 있어서, 상기 검출된 제스쳐 스텝들의 시퀀스가 복수의 입력 제스쳐 모델 중의 적어도 하나의 입력 제스쳐 모델의 적어도 일부와 매칭한다는 결정에 응답하여,
    상기 손목 착용가능 컴퓨팅 디바이스에 의해, 상기 센서 데이터에 기초하여 상기 복수의 마이크로모션 상태 각각에 대한 후속 값을 결정하는 단계;
    상기 손목 착용가능 컴퓨팅 디바이스에 의해, 상기 마이크로모션 상태들의 후속 값들에 기초하여 상기 복수의 제스쳐 스텝 중의 후속 제스쳐 스텝을 결정하는 단계;
    상기 손목 착용가능 컴퓨팅 디바이스에 의해, 상기 후속 제스쳐 스텝을 상기 검출된 제스쳐 스텝들의 시퀀스에 첨부하여, 검출된 제스쳐 스텝들의 업데이트된 시퀀스를 생성하는 단계; 및
    상기 손목 착용가능 컴퓨팅 디바이스에 의해, 상기 검출된 제스쳐 스텝들의 업데이트된 시퀀스가 상기 입력 제스쳐에 연관된 입력 제스쳐 모델과 매칭하는지를 결정하는 단계
    를 더 포함하는 방법.
  17. 제13항에 있어서, 상기 검출된 제스쳐 스텝들의 시퀀스가 복수의 입력 제스쳐 모델 중의 적어도 하나의 입력 제스쳐 모델의 적어도 일부와 매칭하지 않는다는 결정에 응답하여, 상기 검출된 제스쳐 스텝들의 시퀀스를 업데이트하는 단계를 더 포함하고, 상기 복수의 입력 제스쳐 모델 중의 각각의 입력 제스쳐 모델은 요구되는 제스쳐 스텝들의 대응하는 요구되는 시퀀스를 정의하는, 방법.
  18. 제17항에 있어서, 상기 검출된 제스쳐 스텝들의 시퀀스를 업데이트하는 단계는, 상기 검출된 제스쳐 스텝들의 시퀀스를 클리어하는 단계, 상기 검출된 제스쳐 스텝들의 시퀀스 내에서 가장 최근에 첨부된 제스쳐 스텝만을 유지하는 단계, 및 상기 검출된 제스쳐 스텝들의 시퀀스로부터 가장 오래된 제스쳐 스텝을 제거하는 단계 중 하나를 포함하는, 방법.
  19. 제13항에 있어서, 상기 손목 착용가능 컴퓨팅 디바이스의 하나 이상의 센서로부터 센서 데이터를 수신하는 단계는, 상기 손목 착용가능 컴퓨팅 디바이스의 가속도계, 상기 손목 착용가능 컴퓨팅 디바이스의 자이로스코프, 및 상기 손목 착용가능 컴퓨팅 디바이스의 자력계 중 적어도 하나로부터의 상기 센서 데이터를 수신하는 단계를 포함하는, 방법.
  20. 제13항에 있어서, 상기 복수의 마이크로모션 상태 중의 마이크로모션 상태들 각각에 대한 현재 값을 결정하는 단계는, 모션 마이크로모션 상태, 배향 마이크로모션 상태, 회전 마이크로모션 상태, 선형 모션 마이크로모션 상태, 충격 마이크로모션 상태, 및 쉐이킹 마이크로모션 상태 중 적어도 하나에 대한 현재 값을 결정하는 단계를 포함하는, 방법.
  21. 제20항에 있어서, 상기 회전 마이크로모션 상태에 대한 현재 값을 결정하는 단계는, x축을 따른 제1 회전, y축을 따른 제2 회전, 및 z축을 따른 제3 회전 중 적어도 하나에 대한 현재 값을 결정하는 단계를 포함하는, 방법.
  22. 제20항에 있어서, 선형 모션 마이크로모션 상태에 대한 현재 값을 결정하는 단계는, x축에 대응하는 제1 선형 모션 마이크로모션 상태, y축에 대응하는 제2 선형 모션 마이크로모션 상태, 및 z축에 대응하는 제3 선형 모션 마이크로모션 상태 중 적어도 하나에 대한 현재 값을 결정하는 단계를 포함하는, 방법.
  23. 제13항에 있어서, 상기 현재 값을 결정하는 단계는 3차원 축에 대한 이동, 배향, 회전, 및 방향 중 적어도 하나를 결정하는 단계를 포함하는, 방법.
  24. 컴퓨팅 디바이스로서,
    프로세서; 및
    상기 프로세서에 의해 실행될 때, 상기 컴퓨팅 디바이스로 하여금 제13항 내지 제23항 중 어느 한 항의 방법을 수행하게 하는 복수의 명령어가 저장되어 있는 메모리
    를 포함하는 컴퓨팅 디바이스.
  25. 하나 이상의 머신 판독가능한 저장 매체로서,
    실행되는 것에 응답하여, 컴퓨팅 디바이스가 제13항 내지 제23항 중 어느 한 항의 방법을 수행하게 초래하는 저장된 복수의 명령어를 포함하는, 하나 이상의 머신 판독가능한 저장 매체.
KR1020187002078A 2015-06-26 2015-06-26 착용가능 컴퓨팅 디바이스들의 마이크로모션 기반 입력 제스쳐 제어를 위한 기술들 KR102492724B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/082551 WO2016206117A1 (en) 2015-06-26 2015-06-26 Technologies for micro-motion-based input gesture control of wearable computing devices

Publications (2)

Publication Number Publication Date
KR20180020262A true KR20180020262A (ko) 2018-02-27
KR102492724B1 KR102492724B1 (ko) 2023-01-27

Family

ID=57584598

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187002078A KR102492724B1 (ko) 2015-06-26 2015-06-26 착용가능 컴퓨팅 디바이스들의 마이크로모션 기반 입력 제스쳐 제어를 위한 기술들

Country Status (6)

Country Link
US (1) US10585489B2 (ko)
EP (1) EP3314368A4 (ko)
JP (1) JP6640249B2 (ko)
KR (1) KR102492724B1 (ko)
CN (1) CN108027643B (ko)
WO (1) WO2016206117A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9939908B2 (en) * 2015-09-28 2018-04-10 Paypal, Inc. Multi-device authentication
CN105467852A (zh) * 2015-12-29 2016-04-06 惠州Tcl移动通信有限公司 一种基于智能手表的智能家居控制方法及智能手表
US10503968B2 (en) 2016-03-22 2019-12-10 Intel Corporation Identifying a local coordinate system for gesture recognition
US10852920B2 (en) * 2016-06-30 2020-12-01 Wipro Limited Method and system for automating execution of processes
CN109715065A (zh) * 2016-08-15 2019-05-03 乔治亚技术研究公司 电子设备及其控制方法
GB2574786B (en) * 2017-10-12 2020-12-02 Wexler David Electronic body percussion
US11195000B2 (en) * 2018-02-13 2021-12-07 FLIR Belgium BVBA Swipe gesture detection systems and methods
US11422692B2 (en) * 2018-09-28 2022-08-23 Apple Inc. System and method of controlling devices using motion gestures
US11256822B2 (en) * 2019-07-22 2022-02-22 Whitestar Communications, Inc. Systems and methods of gesture triggered automatic erasure on a private network
WO2021016325A1 (en) * 2019-07-24 2021-01-28 Norm, Inc. A table with one or more tap gesture-activated light indicators
USD917940S1 (en) 2019-07-24 2021-05-04 Norm, Inc. Table
US11457861B1 (en) 2019-12-31 2022-10-04 Express Scripts Strategic Development, Inc. Systems and methods for using wearable computing devices to detect gestures of patient prescription adherence
CN112817443A (zh) * 2021-01-22 2021-05-18 歌尔科技有限公司 基于手势的显示界面控制方法、装置、设备及存储介质
US12093464B2 (en) 2021-09-03 2024-09-17 Meta Platforms Technologies, Llc Systems for interpreting a digit-to-digit gesture by a user differently based on roll values of a wrist-wearable device worn by the user, and methods of use thereof
WO2023034631A1 (en) * 2021-09-03 2023-03-09 Meta Platforms Technologies, Llc Systems for interpreting a digit-to-digit gesture by a user differently based on roll values of a wrist- wearable device worn by the user, and methods of use thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080052438A (ko) * 2006-12-06 2008-06-11 팔로 알토 리서치 센터 인코포레이티드 텍스트 입력을 위한 연속적인 탭의 사용
JP2010537320A (ja) * 2007-08-20 2010-12-02 ジェスチャー テック，インコーポレイテッド 高度な語彙外単語の拒否
JP2015069396A (ja) * 2013-09-30 2015-04-13 富士通株式会社 プログラム、情報処理装置、および方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007531113A (ja) * 2004-03-23 2007-11-01 富士通株式会社 携帯装置の傾斜及び並進運動成分の識別
US20050212760A1 (en) * 2004-03-23 2005-09-29 Marvit David L Gesture based user interface supporting preexisting symbols
US8682608B2 (en) * 2009-05-27 2014-03-25 Panasonic Corporation Behavior recognition apparatus
US20120313847A1 (en) 2011-06-09 2012-12-13 Nokia Corporation Method and apparatus for contextual gesture recognition
US20130053007A1 (en) * 2011-08-24 2013-02-28 Microsoft Corporation Gesture-based input mode selection for mobile devices
US20130147701A1 (en) 2011-12-13 2013-06-13 Research In Motion Limited Methods and devices for identifying a gesture
US9971412B2 (en) 2013-12-20 2018-05-15 Lenovo (Singapore) Pte. Ltd. Enabling device features according to gesture input
US20160059120A1 (en) * 2014-08-28 2016-03-03 Aquimo, Llc Method of using motion states of a control device for control of a system
CN104616336B (zh) * 2015-02-26 2018-05-01 苏州大学 一种动画构建方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080052438A (ko) * 2006-12-06 2008-06-11 팔로 알토 리서치 센터 인코포레이티드 텍스트 입력을 위한 연속적인 탭의 사용
JP2010537320A (ja) * 2007-08-20 2010-12-02 ジェスチャー テック，インコーポレイテッド 高度な語彙外単語の拒否
JP2015069396A (ja) * 2013-09-30 2015-04-13 富士通株式会社 プログラム、情報処理装置、および方法

Also Published As

Publication number Publication date
EP3314368A4 (en) 2019-01-16
EP3314368A1 (en) 2018-05-02
CN108027643B (zh) 2021-11-02
US10585489B2 (en) 2020-03-10
JP6640249B2 (ja) 2020-02-05
JP2018523200A (ja) 2018-08-16
KR102492724B1 (ko) 2023-01-27
CN108027643A (zh) 2018-05-11
WO2016206117A1 (en) 2016-12-29
US20180164892A1 (en) 2018-06-14

Similar Documents

Publication Publication Date Title
KR102492724B1 (ko) 착용가능 컴퓨팅 디바이스들의 마이크로모션 기반 입력 제스쳐 제어를 위한 기술들
US10353476B2 (en) Efficient gesture processing
KR102038638B1 (ko) 가상 현실에서 핸드 헬드 디바이스를 트랙킹하는 시스템
CN107667328B (zh) 用于在增强和/或虚拟现实环境中跟踪手持设备的系统
KR102334271B1 (ko) 제스처 파라미터 튜닝
EP3625644B1 (en) Sensor based component activation
US9459698B2 (en) Gesture based power management system and method
KR102347067B1 (ko) 제스처를 통해 외부 장치를 제어하는 휴대용 장치 및 그 동작방법
US9885734B2 (en) Method of motion processing and related mobile device and microcontroller unit
EP3289435B1 (en) User interface control using impact gestures
US11054917B2 (en) Wearable device and control method, and smart control system
TW201118662A (en) Trace-generating systems and methods thereof
CN114167984A (zh) 设备控制方法、装置、存储介质及电子设备
US20170199586A1 (en) Gesture control method for interacting with a mobile or wearable device utilizing novel approach to formatting and interpreting orientation data
JP2015176176A (ja) 情報入出力装置及び情報入出力方法
JP6891891B2 (ja) 情報処理装置
CN104615275B (zh) 文字输入方法和装置
Bi et al. Ramt: Real-time attitude and motion tracking for mobile devices in moving vehicle
US20170199578A1 (en) Gesture control method for interacting with a mobile or wearable device
Han et al. Novel multiple-functional IMU-based wearable air mouse for the simultaneous operation with (Air) keyboards
KR102346904B1 (ko) 제스처 인식 장치 및 방법
CN110709754A (zh) 一种角度识别方法及设备
CN110083226B (zh) 虚空间定位方法及装置
Chu et al. A study of motion recognition system using a smart phone
KR20200046764A (ko) 제스처 인식 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)