KR20190105664A - 광학 센서를 사용해 검출된 모션 제스처 입력 - Google Patents

광학 센서를 사용해 검출된 모션 제스처 입력 Download PDF

Info

Publication number
KR20190105664A
KR20190105664A KR1020197025917A KR20197025917A KR20190105664A KR 20190105664 A KR20190105664 A KR 20190105664A KR 1020197025917 A KR1020197025917 A KR 1020197025917A KR 20197025917 A KR20197025917 A KR 20197025917A KR 20190105664 A KR20190105664 A KR 20190105664A
Authority
KR
South Korea
Prior art keywords
light
wearer
skin
optical sensor
gesture
Prior art date
Application number
KR1020197025917A
Other languages
English (en)
Other versions
KR102310776B1 (ko
Inventor
에산 마니
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20190105664A publication Critical patent/KR20190105664A/ko
Application granted granted Critical
Publication of KR102310776B1 publication Critical patent/KR102310776B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

착용가능한 디바이스를 착용하고 있는 사용자의 제스처들을 인식하는 데 사용될 수 있는 광학 센서를 갖는 착용가능한 디바이스가 개시된다. 광원들이 착용가능한 디바이스의 후면 또는 피부-대향 면 상에 위치설정될 수 있고, 광학 센서가 광원들 근처에 위치설정될 수 있다. 동작 동안, 광이 광원들로부터 방출되고 광학 센서를 사용하여 감지될 수 있다. 감지된 광의 변화는 사용자 제스처들을 인식하는 데 사용될 수 있다. 예를 들어, 광원으로부터 방출된 광은 착용자의 피부에서 반사될 수 있고, 반사된 광은 광학 센서를 사용하여 감지될 수 있다. 착용자가 특정 방식으로 제스처를 취할 때, 반사된 광은 근육 수축, 디바이스 시프트, 피부 신장, 또는 광학 센서와 착용자의 피부 사이의 변화하는 거리로 인해 인지가능하게 변화할 수 있다. 인식된 제스처들은 착용가능한 디바이스와 상호작용하기 위한 커맨드들로서 해석될 수 있다.

Description

광학 센서를 사용해 검출된 모션 제스처 입력{MOTION GESTURE INPUT DETECTED USING OPTICAL SENSORS}
본 출원은 대체로 광학 센서에 관한 것으로, 보다 상세하게는, 착용가능한 디바이스의 광학 센서들을 사용하여 착용자의 제스처들을 인식하는 것에 관한 것이다.
향상된 기능성 및 사용자 상호작용을 위한 새로운 기회를 제공하기 위해 다양한 사용자 디바이스들 내에 광학 센서들이 통합되었다. 광을 검출하는 것, 근접을 검출하는 것, 사진을 촬영하는 것 등을 위한 광학 센서들이 모바일 폰(예를 들어, 스마트폰), 태블릿 컴퓨터, 착용가능한 디바이스(예를 들어, 시계, 안경 등), 및 다른 컴퓨팅 디바이스 내에 통합되어, 소프트웨어 개발자들로 하여금 엔터테인먼트, 생산성, 건강 등을 위한 매력적인 소프트웨어 애플리케이션들("앱(app)들")을 생성할 수 있게 하였다. 일부 경우들에서, 광학 센서들은 디바이스와 상호작용하기 위한 다양한 다른 입력 메커니즘들(예를 들어, 터치스크린, 버튼, 음성 커맨드를 위한 마이크로폰 등)과 함께 작동한다.
그러나, 많은 디바이스들은 디바이스 크기 제약, 디스플레이 크기 제약, 동작 제약 등으로 인해 제한된 디바이스 상호작용 및 제어 능력들을 가질 수 있다. 예를 들어, 작거나 얇은 사용자 디바이스들은 사용자 입력을 수신하기 위한 제한된 수의 물리적 버튼들을 가질 수 있다. 유사하게, 소형 사용자 디바이스들은, 가상 버튼들 또는 다른 가상 사용자 인터페이스 요소들을 제공하기 위한 제한된 공간을 갖는 터치스크린을 가질 수 있다. 또한, 일부 디바이스들은 특정 위치들 또는 특정 동작 조건들에서 사용하기에 번거롭거나 불편한 버튼들 또는 다른 상호작용 요소들을 가질 수 있다. 예를 들어, 양손을 사용하여 디바이스와 상호작용하는 것(예를 들어, 한 손으로 디바이스를 잡고서 다른 손으로는 인터페이스 요소들을 사용하는 것)은 번거로울 수 있다. 다른 예에서, 사용자의 손들이 다른 식으로 점유되거나 이용불가능한 동안에(예를 들어, 장갑을 착용할 때, 식료품을 운반할 때, 어린이의 손을 잡을 때, 운전할 때 등) 작은 버튼들을 누르거나 터치스크린 기능들을 사용하는 것은 어려울 수 있다. 또 다른 예들에서, 디바이스 상호작용은 다양한 다른 방식들로 제한될 수 있다.
제스처들을 결정하기 위한 착용가능한 사용자 디바이스들 및 방법들이 개시된다. 제스처들을 결정하기 위한 예시적인 방법은, 착용가능한 사용자 디바이스로부터 광이 방출되게 하는 단계, 착용자의 피부에 의해 반사되는 광의 일부분을 감지하는 단계, 및 광의 감지된 부분의 변화에 기초하여 착용자에 의해 취해진 제스처를 결정하는 단계를 포함할 수 있다. 일례에서, 광의 감지된 부분의 변화는 착용가능한 사용자 디바이스의 광학 센서와 착용자의 피부 사이의 거리의 변화에 대응하고, 착용자의 피부에 의해 반사되는 광의 일부분을 감지하는 단계는 광학 센서를 사용하여 광의 부분을 감지하는 단계를 포함한다. 다른 예에서, 광의 감지된 부분의 변화는 착용자의 피부에 의해 반사된 광의 감지된 부분의 세기의 변화에 대응한다. 또 다른 예에서, 착용가능한 사용자 디바이스로부터 광이 방출되게 하는 단계는 광이 제1 LED로부터 제1 파장에서 그리고 제2 LED로부터 제1 파장과 상이한 제2 파장에서 방출되게 하는 단계를 포함할 수 있다. 또 다른 예에서, 착용가능한 사용자 디바이스로부터 광이 방출되게 하는 단계는 광이 착용가능한 디바이스에 대해 일정한 각도로 방출되게 하는 단계를 포함할 수 있으며, 여기서 방출된 광은 수직이 아닌 각도로 착용자의 피부에 입사한다. 다른 예에서, 착용자의 피부에 의해 반사되는 광의 일부분을 감지하는 단계는 제1 LED와 제2 LED 사이에 위치설정된 광학 센서를 사용하여 광의 감지된 부분에 기초하여 신호를 발생시키는 단계를 포함할 수 있으며, 여기서 착용가능한 사용자 디바이스로부터 광이 방출되게 하는 단계는 광이 제1 LED 및 제2 LED로부터 방출되게 하는 단계를 포함할 수 있다. 다른 예에서, 광의 감지된 부분의 변화에 기초하여 제스처를 결정하는 단계는 착용자의 피부에 의해 반사되는 광의 부분을 감지하는 데 사용되는 광학 센서에 의해 생성된 신호의 도함수에서 양의 피크, 음의 피크, 및 제로 크로싱을 식별하는 단계를 포함할 수 있다. 또 다른 예에서, 제스처는 주먹 쥐기를 포함한다.
예시적인 비일시적 컴퓨터 판독가능 저장 매체는 전술한 예시적인 방법들 중 임의의 것을 수행하기 위한 컴퓨터 실행가능 명령어들을 포함할 수 있다. 데이터베이스가 비일시적인 컴퓨터 판독가능 저장 매체에 연결될 수 있으며, 데이터베이스는 제스처 인식 데이터를 포함할 수 있다. 예시적인 시스템은 비일시적 컴퓨터 판독가능 저장 매체, 및 컴퓨터 실행가능 명령어들을 실행할 수 있는 프로세서를 포함할 수 있다.
제스처들을 결정하기 위한 예시적인 착용가능한 디바이스는 착용가능한 디바이스가 착용될 때 착용자의 피부를 향하여 디바이스로부터 광을 방출하도록 구성된 광원, 착용자의 피부에 의해 반사된 광의 일부분을 감지하는 것에 기초하여 신호를 생성하도록 구성된 광학 센서, 신호의 변화에 기초하여 착용자에 의해 취해진 제스처를 결정하기 위한 컴퓨터 실행가능 명령어들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체, 및 신호를 수신하도록 연결된 프로세서를 포함할 수 있으며, 여기서 프로세서는 컴퓨터 실행가능 명령어들을 실행할 수 있다. 일례에서, 신호의 변화는 광학 센서와 착용자의 피부 사이의 거리의 변화에 대응한다. 다른 예에서, 광학 센서에 의해 생성된 신호는 착용자의 피부에 의해 반사된 광의 감지된 부분의 세기에 기초하여 변화한다. 또 다른 예에서, 광원은 제1 파장에서 광을 방출하도록 구성된 제1 LED 및 제1 파장과 상이한 제2 파장에서 광을 방출하도록 구성된 제2 LED를 포함할 수 있다. 또 다른 예에서, 광원은 제1 LED 및 제2 LED를 포함할 수 있고, 광학 센서는 제1 LED와 제2 LED 사이에 위치설정될 수 있다. 다른 예에서, 광원은 수직이 아닌 각도로 착용자의 피부에 입사하도록 광을 지향시키기 위해 착용가능한 디바이스에 대해 기울어진다. 다른 예에서, 제스처를 결정하기 위한 컴퓨터 실행가능 명령어들은 신호의 도함수에서 양의 피크, 음의 피크, 및 제로 크로싱을 식별함으로써 제스처를 결정하기 위한 컴퓨터 실행가능 명령어들을 포함한다. 또 다른 예에서, 제스처는 주먹 쥐기를 포함한다. 또 다른 예에서, 광학 센서는 광원에 의해 방출된 광의 파장에 대응하는 광의 파장을 감지하도록 구성된다.
제스처들을 결정하기 위한 예시적인 시스템은, 착용가능한 사용자 디바이스가 착용될 때 착용가능한 사용자 디바이스로부터 착용자의 피부를 향하여 광을 방출하도록 구성된 광원; 착용자의 피부에 의해 반사된 광의 일부분을 감지하는 것에 기초하여 신호를 생성하도록 구성된 광학 센서; 신호의 변화에 기초하여 착용자에 의해 취해진 제스처를 결정하기 위한 컴퓨터 실행가능 명령어들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체; 신호를 수신하도록 연결된 프로세서 - 프로세서는 컴퓨터 실행가능 명령어들을 실행할 수 있음 -; 및 프로세서에 연결된 통신 모듈 - 통신 모듈은 모바일 디바이스와 통신하도록 구성됨 - 을 포함할 수 있다. 일례에서, 비일시적 컴퓨터 판독가능 저장 매체는 제스처를 결정하는 것에 응답하여 통신 모듈을 통해 모바일 디바이스에 커맨드를 전달하기 위한 명령어들을 추가로 포함한다.
착용자의 손목에 착용된 착용가능한 디바이스를 사용하여 손 제스처를 간접적으로 결정하기 위한 예시적인 컴퓨터 구현 방법은, 착용가능한 디바이스의 광원으로부터 착용자의 손목을 향하여 광이 방출되게 하는 단계 - 광원은 착용자의 손목의 피부에 근접하게 위치설정됨 -; 착용가능한 디바이스의 광학 센서를 사용하여 착용자의 손목의 피부에 의해 반사되는 광의 일부분을 감지하는 단계 - 광학 센서는 착용자의 손목의 피부에 근접하게 위치설정됨 -; 착용자의 손목의 피부에 의해 반사되는 광의 감지된 부분의 변화에 기초하여 착용자에 의해 취해진 손 제스처를 간접적으로 결정하는 단계 - 변화는 광학 센서와 착용자의 손목의 피부 사이의 거리가 손 제스처로 인해 증가하거나 감소하는 것으로부터 기인함 - 를 포함할 수 있다. 일례에서, 광학 센서와 착용자의 손목의 피부 사이의 거리는 손 제스처로 인해 1/8 인치 미만으로 증가하거나 감소한다. 다른 예에서, 광의 감지된 부분의 변화는, 광학 센서와 착용자의 손목의 피부 사이의 증가하거나 감소하는 거리에 기초하여 광의 감지된 부분의 세기가 증가하거나 감소하는 것에 대응할 수 있다. 또 다른 예로서, 착용자에 의해 취해진 손 제스처를 간접적으로 결정하는 단계는 착용자의 손 움직임을 직접적으로 감지하지 않고 착용자의 손목의 피부에 의해 반사되는 광의 감지된 부분의 변화를 감지하는 단계를 포함한다.
도 1은 사용자의 피부 근처에 있는 예시적인 착용가능한 디바이스를 도시한다.
도 2는 사용자의 피부로부터 일정한 거리만큼 분리된 예시적인 착용가능한 디바이스를 도시한다.
도 3a는 예시적인 착용가능한 디바이스의 피부-대향 면 또는 후면을 도시한다.
도 3b는 예시적인 착용가능한 디바이스의 정면 또는 전면을 도시한다.
도 4는 예시적인 착용가능한 디바이스를 착용하고 있는 사용자의 펼친 손(open hand)을 도시한다.
도 5는 예시적인 착용가능한 디바이스를 착용하고 있는 사용자의 꽉 쥔 주먹(clenched fist)을 도시한다.
도 6은 착용가능한 디바이스의 광학 센서로부터의 감지된 신호의 예시적인 파형을 도시한다.
도 7은 착용가능한 디바이스의 광학 센서로부터의 감지된 신호의 예시적인 도함수 파형을 도시한다.
도 8은 제스처 인식 임계치들을 갖는 예시적인 도함수 파형을 도시한다.
도 9는 착용가능한 디바이스의 광학 센서를 사용하여 제스처들을 결정하기 위한 예시적인 프로세스를 도시한다.
도 10은 광학 센서를 사용하여 제스처들을 인식하고 인식된 제스처들에 대응하는 기능들을 수행하기 위한 예시적인 프로세스를 도시한다.
도 11은 제스처들을 검출하기 위한 예시적인 시스템을 도시한다.
예들의 다음 설명에서, 첨부된 도면들이 참조되며, 실시될 수 있는 특정 예들이 도면들 내에서 예시로서 도시된다. 다양한 예들의 범위를 벗어나지 않으면서 다른 예들이 사용될 수 있고, 구조적 변경이 행해질 수 있다는 것이 이해되어야 한다.
본 출원은 광학 센서를 갖는 착용가능한 디바이스에 관한 것이며, 광학 센서는 디바이스를 착용하고 있는 사용자의 제스처들을 인식하는 데 사용될 수 있다. 일례에서, 하나 이상의 광원은 시계, 손목밴드, 팔밴드, 다리밴드, 가슴밴드, 머리밴드 등과 같은 착용가능한 디바이스의 후면 또는 피부-대향 면 상에 위치설정될 수 있다. 광학 센서는 착용가능한 디바이스의 동일한 면 상에서 하나 이상의 광원 근처에 위치설정될 수 있다. 동작 동안, 광이 하나 이상의 광원으로부터 방출되고 광학 센서를 사용하여 감지될 수 있다. 디바이스를 착용하고 있는 사용자의 움직임에 의해 야기되는 감지된 광의 변화는 사용자 제스처들을 인식하는 데 사용될 수 있다. 예를 들어, 광원으로부터 방출된 광은 착용자의 피부에서 반사될 수 있고, 반사된 광은 광학 센서를 사용하여 감지될 수 있다. 착용자가, 디바이스가 착용되는 팔의 주먹을 쥐는 것과 같은 어떤 방식으로 제스처를 취할 때, 반사된 광은, 근육 수축, 손목 상에서의 디바이스의 시프트, 피부 신장(skin stretching), 광학 센서와 착용자의 피부 사이의 변화하는 거리 등으로 인해 인지가능하게 변화할 수 있다. 입사각, 세기, 위치, 파장 등의 변화와 같은, 반사되고 감지된 광의 다양한 변화하는 특징들은 의도적 제스처를 인식하기 위해 사용될 수 있다.
일부 예들에서, 착용가능한 디바이스 내에 광학 센서를 통합하고 그것을 사용하여 착용자 제스처들을 인식하는 것은, 착용가능한 디바이스와 상호작용하는 편리한 방법을 제공할 수 있다. 이러한 제스처 인식은 터치스크린, 버튼, 다이얼 등과 같은 다른 인터페이스들을 보완하거나 또는 심지어 대체할 수 있고, 그것은, 디스플레이 요소를 선택하는 것, 상이한 뷰로 내비게이팅하는 것, 시간을 변경하는 것, 디스플레이를 변경하는 것, 전화 호에 응답하는 것, 또는 다양한 다른 기능들 중 임의의 것과 같은 동일하거나 유사한 기능들을 수행하는 데 사용될 수 있다. 일부 예들에서, 그러한 제스처 인식은 한 손 또는 핸즈프리 디바이스 동작을 제공할 수 있으며, 이는 (예를 들어, 식료품을 운반하거나, 운전하는 것 등일 때) 편의성뿐만 아니라 안전성을 제공할 수 있다. 많은 다른 응용들이 가능하고, 본 명세서에서 논의되는 바와 같은 제스처 인식이 다양한 다른 이점들을 제공하고 많은 다른 방법들로 사용자의 경험을 향상시킬 수 있다는 것이 이해되어야 한다.
도 1은 착용자의 피부 표면(116) 근처에 있는 예시적인 착용가능한 디바이스(100)를 도시한다. 일례에서, 착용가능한 디바이스(100)는 (예를 들어, 팔찌, 손목시계, 손목밴드 등으로서) 사용자의 손목에 착용되도록 구성될 수 있으며, 피부 표면(116)은 사용자가 디바이스를 착용하기 위해 선호하는 방법에 따라(예를 들어, 연관된 디스플레이가, 손바닥 근처 또는 손의 후면 근처에 있음) 사용자의 손목 주위의 어디나 될 수 있다. 착용가능한 디바이스(100)는, 다른 것들 중에서도, 광원(104), 광원(106), 및 광학 센서(102)를 포함할 수 있다.
광원들(104, 106) 각각은 발광 다이오드(LED) 또는 다른 광원을 포함할 수 있다. 일부 예들에서, 광원들은 디바이스가 정상적으로 착용될 때 방출된 광의 대부분이 광학 센서(102)를 향하여 다시 반사되도록 기울어질 수 있다(예를 들어, 방출된 광이 수직이 아닌 각도로 착용자의 피부에 입사할 수 있도록 기울어짐). 광원들을 기울이는 것은 또한, 광원과 센서 사이의 아크 발생(arcing)(예를 들어, 방출된 광이 먼저 사용자의 피부에서 반사되지 않고서 센서에 도달하는 것)을 회피할 수 있다. 예를 들어, 광원(104)은 광학 센서(102)를 향하여 수직으로부터 60도 기울어져서, 방출된 광(108)의 대부분이, 반사된 광(110)에 의해 도시된 바와 같이, 광학 센서(102)를 향하여 피부 표면(116)에서 반사되도록 할 수 있다. 유사하게, 광원(106)은 광학 센서(102)를 향하여 수직으로부터 60도 기울어져서, 방출된 광(112)의 대부분이, 반사된 광(114)에 의해 도시된 바와 같이, 광학 센서(102)를 향하여 피부 표면(116)에서 반사되도록 할 수 있다. 다른 예들에서, 광원들(104, 106)은 보다 급격하게 수직으로(예를 들어, 광학 센서(102)를 향하여 수직으로부터 30도) 또는 보다 급격하게 수평으로 기울어질 수 있다.
광원들(104, 106)은 반사된 광(110) 및 반사된 광(114)의 변화의 강건한(robust) 인식을 위해 다양한 상이한 방식들로 구성될 수 있다. 일례에서, 광원들(104, 106)은 900 nm 범위 내의 적외선 광을 방출하는 LED들을 포함할 수 있다. 다른 예들에서, 광원(104)은 광원(106)에 의해 방출되는 광의 파장과 상이한 파장을 갖는 광을 방출하도록 구성될 수 있다. 이들 예에서, 광원(104)에 의해 방출된 광 및 광원(106)에 의해 방출된 광은, 그것들이 광학 센서(102)에 의해 구별될 수 있고 가시, 자외선, 적외선, 또는 다른 파장들일 수 있도록 선택될 수 있다. 광원들(104, 106)은 또한, 방출된 광을 상이한 주파수들에서 펄싱(pulsing)하는 것, 교번하는 간격들로 광을 방출하는 것 등과 같은 것에 의해서, 구별되는 반사된 광 인식을 허용하도록 상이하게 동작될 수 있다. 일부 예들에서, 2개의 별개의 광원들을 갖는 것은 국부적인 움직임들 또는 전체적인 디바이스 움직임들 사이를(예를 들어, 특정 근육들이 수축하는 것 대비 전체적인 디바이스가 균일하게 시프팅하는 것) 구별하는 데 도움을 줄 수 있다. 그러나, 또 다른 예들에서, 착용가능한 디바이스(100)는 단일 광원(예를 들어, 광원(104) 또는 광원(106) 중 어느 하나), 2개 초과의 광원들, 하나 초과의 광학 센서, 또는 다양한 다른 조합들을 포함할 수 있거나, 또는 전용 광원 없이 피부 표면(116)에 의해 반사된 주변 조명의 변화를 검출할 수 있는 광학 센서를 포함할 수 있다.
광학 센서(102)는 광을 전류, 전압, 또는 다른 신호로 변환할 수 있는 광다이오드 또는 다른 광검출기를 포함할 수 있다. 일례에서, 광학 센서(102)는 감지된 광을, 센서에 의해 수신된 광의 양에 대응하는 크기 또는 값을 갖는 신호(예컨대, 전류, 전압 등)로 변환할 수 있다. 일부 예들에서, 광학 센서(102)는 특정 파장들의 광(예를 들어, 광원들(104, 106)에 의해 생성된 것들)을 감지하면서 다른 것들은 감지하지 않도록 구성될 수 있다. 도 1에 도시된 바와 같이, 피부 표면(116)과 착용가능한 디바이스(100) 사이의 거리(118)는 반사된 광(110) 및 반사된 광(114)이 착용가능한 디바이스(100)의 피부-대향 면 상에서 어디에 입사할지를 지시할 수 있다. 방출된 광 및 반사된 광이 간략화를 위해 직선들로서 도 1에 도시되어 있지만, 광이 더 큰 빔으로 확산되고 상이한 각도들로 반사될 수 있다는 것을 이해해야 한다. 도 1의 예에서, 거리(118)가 착용가능한 디바이스(100)와 피부 표면(116)을 분리시키므로, 반사된 광(110) 및 반사된 광(114)이 광학 센서(102)의 에지들에 부딪히는 것으로 도시된다(예를 들어, 직선들에 의해 표현된 광의 대부분이 에지들에 부딪힘). 일례에서, 반사된 광(110) 및 반사된 광(114)의 많은 부분이 센서보다는 착용가능한 디바이스의 본체에 부딪힐 수 있으므로, 광학 센서(102)는 비교적 작은 양의 감지된 광을 나타내는 신호를 생성할 수 있다.
대조적으로, 도 2는, 착용가능한 디바이스(100)가 도 1의 거리(118)보다 클 수 있는 거리(220)만큼 피부 표면(116)으로부터 분리된 것을 도시한다. 광원들(104, 106)은 방출된 광(222) 및 방출된 광(226)을 생성할 수 있으며, 이들은 각각 반사된 광(224) 및 반사된 광(228)으로서 피부 표면(116)에서 반사될 수 있다. 거리(220)는 반사된 광(224) 및 반사된 광(228)이 광학 센서(102)의 중심 근처에서 센서에 부딪히게 할 수 있다(이는 도 1에서와 같이, 센서의 에지들에 부딪히는 것과 반대된다). 도 2의 간략화된 직선 광이 간략화를 위해 도시된 것이고, 광은 더 큰 빔으로 확산하고 상이한 각도들로 반사될 수 있음이 이해되어야 한다. 이와 같이, 도 2에 도시된 보다 중심에 있는(centered) 광 입사는, 다른 곳에서 광의 확산이 입사된 것보다 더 많은 광의 확산이 센서에 의해 수신될 수 있음을 의미할 수 있다. 중심 근처에 입사하는 광의 확산이 더 많으므로, 광학 센서(102)는 비교적 큰 양의 감지된 광을 나타내는 신호를 생성할 수 있으며, 이는 반사된 광(224) 및 반사된 광(228)의 대부분이 다른 컴포넌트들보다는 센서 자체에 부딪힐 수 있기 때문이다(예를 들어, 착용가능한 디바이스(100)의 본체보다는 센서에 입사함). 광학 센서(102)는 따라서 착용가능한 디바이스(100)와 피부 표면(116) 사이의 거리를 나타낼 수 있는 별개의 신호들을 생성할 수 있다.
일부 예들에서, 사용자의 손 제스처는 도 1의 거리(118)와 도 2의 거리(220)의 차이를 설명할 수 있다. 도 4 내지 도 8을 참조하여 이하에서 보다 상세히 논의되는 바와 같이, 사용자는 주먹을 쥐는 것, 손가락을 움직이는 것, 손목을 구부리는 것 등에 의해 제스처를 취할 수 있으며, 이는 착용가능한 디바이스(100)와 피부 표면(116) 사이의 거리가 변화하게(예를 들어, 도 1의 거리(118)로부터 도 2의 거리(220)로 변화하게) 할 수 있다. 일부 예들에서, 사용자의 제스처는 적어도 착용가능한 디바이스와 연관된 손목 스트랩에서의 약간의 시프트 또는 사용자의 피부에서의 변형을 야기할 수 있으며, 이는 착용가능한 디바이스와 사용자의 피부 사이의 거리의 변화를 야기할 수 있다. 유사하게, 일부 경우들에서, 근육을 수축시키는 것은 손목이 확장되는 것을 야기할 수 있고, 이는 또한 착용가능한 디바이스와 사용자의 피부 사이의 거리를 변경할 수 있다. 제스처와 연관된 많은 다른 인자들이 착용가능한 디바이스와 사용자의 피부 사이의 거리의 변화를 야기할 수 있다는 것이 이해되어야 한다. 상이한 거리들에 기초하여 광학 센서(102)에 의해 생성된 상이한 신호들은, 사용자가 착용가능한 디바이스와 상호작용하기 위해 의도적으로 제스처를 취할 때를 인식하는 데 사용될 수 있다.
다른 예들에서, 착용가능한 디바이스와 피부 표면 사이의 거리 이외의 인자들이 제스처를 인식하는 데 사용될 수 있다. 예를 들어, 피부 신장, 사용자 땀 등은 광학 센서(102)가 검출할 수 있는 반사된 광의 인지가능한 변화를 야기할 수 있다. 일부 예들에서, 광원들(104, 106)은, 적어도 부분적으로 외부 피부층을 침투하고 근육 수축, 힘줄 시프트, 조직 압박, 피부 신장, 밀도 변화, 압력 변화 등에 기초하여 상이한 방식들로 반사될 수 있는 광을 생성할 수 있다. 다양한 예들 중 임의의 것에서, 광학 센서(102)는 반사된 광을 감지하고, 방출된 광이 센서에 입사되기 전에 어떻게 변경되는가에 기초하여 신호들을 생성할 수 있다. 광학 센서(102)에 의해 생성된 신호들의 변화는 착용자 활동을 인식하는 데 사용될 수 있다.
본 명세서에서 논의된 바와 같은 제스처 인식은, 제스처를 취하는 손의 움직임을 직접적으로 감지하는 것과는 대조적으로, 착용자의 손목에서 발생하는 작은 변화를 감지함으로써 간접적으로 손 제스처들을 결정하는 데 사용될 수 있다는 것이 이해되어야 한다. 예를 들어, 의도적 제스처가 주먹을 쥐고 펴는 것을 포함할 수 있는 동안, 착용가능한 디바이스의 광학 센서와 착용자의 손목의 피부 사이의 증가하거나 감소하는 거리(예를 들어, 1/8 인치 미만으로 변화함)가 감지되고, 주먹을 쥐고 펴는 것의 모션(예를 들어, 손가락 및 손바닥 움직임들)을 직접적으로 검출하는 대신에 제스처를 간접적으로 인식하는 데 사용될 수 있다. 광이 착용자의 손목의 피부를 향하여 방출되고, 착용자의 손목의 피부에서 반사되고, 착용자의 손목의 피부에 근접하게 위치설정된 광학 센서에 의해 감지될 수 있다. 감지된 광의 세기는 광학 센서와 착용자의 손목의 피부 사이의 증가하거나 감소하는 거리에 기초하여 증가하거나 감소할 수 있으며, 이러한 변화하는 거리는 전술한 바와 같이 의도적 손 제스처로부터 기인할 수 있다. 따라서, 방출되고 착용자의 손목에서 감지된 광의 작은 변화를 모니터링함으로써, 손 제스처는 직접적으로 손가락 또는 손바닥 움직임을 감지하지 않고 간접적으로 인식될 수 있다.
본 명세서에서 논의된 제스처 인식은, 손목에 착용되는 착용가능한 디바이스들 이외에 그리고 손목 이외의 다양한 다른 신체 부분들에 적용될 수 있으며, 본 명세서에서 논의된 손목-착용 디바이스들은 광학 센서들을 사용한 제스처 인식의 비-제한적인 예들로서 제공된다는 것이 또한 이해되어야 한다. 예를 들어, 본 명세서의 예들에 따른 제스처 인식은 팔밴드, 다리밴드, 가슴밴드, 머리밴드 등에 디바이스를 사용하여 수행될 수 있다. 디바이스 및 피부 움직임들이 검출될 수 있고, 그러한 검출된 움직임들은 제스처를 결정하는 데 사용될 수 있다. 예를 들면, 머리밴드 내의 착용가능한 디바이스는, 사용자가 한쪽 또는 양쪽의 눈썹을 올려서 머리밴드 디바이스로 하여금 이마의 피부를 시프트하고/하거나 인지가능하게 변경하게 하는 것으로부터, 의도적 제스처를 인식할 수 있다. 유사하게, 다리밴드 또는 발목밴드 내의 착용가능한 디바이스는, 사용자가 다리를 구부리는 것, 발을 움직이는 것 등을 행하여 다리밴드 또는 발목밴드 디바이스로 하여금 다리, 발목, 또는 발의 피부를 시프트하고/하거나 인지가능하게 변경하게 하는 것으로부터, 의도적 제스처를 인식할 수 있다. 본 명세서에서 논의된 예들에서와 같이, 디바이스 시프트, 거리 변화, 피부 움직임 등을 야기하는 임의의 움직임들이 검출되고 제스처를 결정하는 데 사용될 수 있다. 따라서, 본 명세서에서 논의된 다양한 예들은 신체 상에서 어디에서든 피부의 임의의 부분 근처에 착용될 수 있는 다양한 디바이스들에 적용될 수 있고, 제스처들은 그러한 다양한 디바이스들의 광학 센서 신호들의 변화로부터 결정될 수 있다.
본 명세서에서 논의된 바와 같이 제스처들을 인식하는 데 사용될 수 있는 광원들, 광학 센서들, 및 착용가능한 디바이스들의 비율들, 간격, 레이아웃은 도 1 및 도 2에 도시된 그러한 예들과 다를 수 있다는 것이 또한 이해되어야 한다. 예를 들어, 광원들 및 광학 센서들은 도시된 크기의 일부일 수 있고, 광원들 및 광학 센서들은 훨씬 더 작은 공간에서 서로에 인접하게 위치설정될 수 있다. 또한, 거리들(118, 220)은 과장될 수 있고, 일부 경우들에서, 광학 센서(102)는 인간의 눈으로 인지될 수 없는 거리들의 차이들을 검출할 수 있다. 예를 들어, 착용가능한 디바이스와 사용자의 피부 사이의 거리의 변화는 제스처를 취할 때 착용자에게 명백하지 않을 수 있지만, 광학 센서(102)는 (예를 들어, 제스처 동안 손목 둘레의 약간의 변화에 기초하여) 거리의 약간의 차이를 인식하기에 충분히 민감할 수 있다.
착용가능한 디바이스(100)는 디스플레이, 터치스크린, 버튼, 다이얼, 중앙 처리 장치, 메모리, 카메라, 표시등, 오실레이터, 클록, 무선 송수신기, 배터리, 모션 센서, 광 센서, 터치 센서, 다른 센서들 등과 같은, 여기에 도시되거나 설명되지 않은 다양한 다른 컴포넌트들을 포함할 수 있다는 것이 또한 이해되어야 한다. 또한, 본 명세서에서 논의된 바와 같이 광학 센서를 사용한 제스처 인식은, 다양한 상이한 기능들을 갖는 다양한 상이한 착용가능한 디바이스들에서 구현될 수 있다는 것이 이해되어야 한다.
도 3a는 예시적인 착용가능한 디바이스(100)의 피부-대향 면 또는 후면을 도시한다. 일례에서, 착용가능한 디바이스(100)는 사용자의 손목에 디바이스를 고정하기 위한 손목 스트랩(330)에 부착될 수 있는 손목 시계 또는 다른 착용가능한 디바이스를 포함한다. 도시된 바와 같이, 착용가능한 디바이스(100)의 피부-대향 면 또는 후면은 광학 센서(102)에 의해 분리된 광원들(104, 106)을 포함할 수 있다. 광원들(104, 106)은 유리, 플라스틱, 또는 다른 투명 창들 뒤에 위치설정될 수 있는 LED들을 포함할 수 있거나, 또는 동일한 창 뒤에 위치설정될 수 있다. 일부 예들에서, 광학 센서(102)는 또한 동일한 또는 상이한 유리, 플라스틱, 또는 다른 투명 창 뒤에 위치설정될 수 있다. 광학 센서(102), 및 특히 광학 센서(102)의 감지 또는 검출 영역은, 팔의 털 및 다른 피부 표면 변형들로부터의 간섭을 회피하는 크기로 될 수 있다. 예를 들어, 광학 센서(102)는 일반적인 팔의 털보다 몇 배 더 큰 크기로 될 수 있어서, 센서는 반사된 광을 감지하는 것이 쉽게 차단되지 않을 수 있다.
제스처들을 인식하는 데 사용될 수 있는 광원들 및 광학 센서들의 비율들, 간격, 또는 레이아웃은 도 3a에 도시된 예들과 다를 수 있다는 것이 이해되어야 한다. 예를 들어, 광원들(104, 106) 및 광학 센서(102)는 손목 스트랩(330) 내에 위치설정될 수 있고, 손목 스트랩(330)은 착용가능한 디바이스(100)로부터의 소스 전력으로의 배선을 포함하고, 착용가능한 디바이스(100)와의 통신을 인에이블할 수 있다. 다른 예들에서, 광원들(104, 106) 및 광학 센서(102)는 상이하게(예를 들어, 손목 스트랩(330)과 일직선으로) 배향될 수 있다.
도 3b는 손목 스트랩(330)에 고정된 예시적인 착용가능한 디바이스(100)의 정면 또는 전면을 도시한다. 일례에서, 착용가능한 디바이스(100)는 전면 상에 디스플레이(332)를 포함할 수 있으며, 사용자는 제스처들을 사용하여 디스플레이(332) 상에 나타난 정보와 상호작용할 수 있다. 예를 들어, 이미지, 데이터, 가상 버튼, 클록, 애플리케이션, 음악 트랙 등이 디스플레이(332) 상에 표시될 수 있고, 사용자는 특정 제스처들을 수행하여, 선택들을 수행하고, 새로운 디스플레이로 진행하고, 디스플레이를 인에이블하고, 홈 스크린으로 복귀하고, 앞으로 내비게이팅하고, 뒤로 내비게이팅하고, 통지를 열고, 정보를 스크롤하고, 애플리케이션들을 스크롤하고, 노래들을 스크롤하고, 음악 재생을 일시 정지하고, 오디오 파일 재생을 시작하고, 전화 호에 응답하고, 가상 어시스턴트를 사용하고, 또는 다양한 다른 기능들 중 임의의 것을 수행할 수 있다. 도 4 및 도 5를 참조하여 이하에서 보다 상세히 논의되는 바와 같이, 다양한 제스처들이 이들 기능을 사용하는 데 사용될 수 있다.
일부 예들에서, 디스플레이(332)는 착용가능한 디바이스(100)와 상호작용하기 위해 제스처들에 추가하여 또는 그 대신에 사용될 수 있는 터치스크린 기능을 포함할 수 있다. 유사하게, 착용가능한 디바이스(100)는 버튼, 다이얼, 중앙 처리 장치, 메모리, 카메라, 표시등, 오실레이터, 클록, 무선 송수신기, 배터리, 모션 센서, 광 센서, 터치 센서, 다른 센서들 등과 같은, 도 3a 또는 도 3b에 도시되거나 여기에 설명되지 않은 다양한 다른 컴포넌트들을 포함할 수 있다.
도 4는 예시적인 착용가능한 디바이스(100)를 착용하고 있는 사용자의 펼친 손을 도시한다. 전술한 바와 같이, 사용자는, 사용자의 피부로 지향되고, 사용자의 피부에서 반사되고, 광학 센서에 의해 감지된 광의 인지가능한 변화를 야기할 수 있는 다양한 제스처를 사용하여 착용가능한 디바이스(100)와 상호작용할 수 있다. 다양한 움직임이 광학 센서에 의해 생성되는 신호를 변경할 수 있는 반사된 광에 대한 변화를 야기할 수 있으며, 이러한 변경된 신호는 의도적 제스처로서 해석될 수 있다. 의도적 제스처로서 해석될 수 있는 움직임들은 손가락의 움직임, 손 움직임, 손목 움직임, 전체적인 팔 움직임 등을 포함할 수 있다. 예를 들어, 도 4의 펼쳐진 손은, 착용가능한 디바이스(100)와 상호작용하기 위한 의도적 제스처로서, 도 5에 도시된 바와 같이 주먹이 쥐어지고 도 4에 도시된 위치로 다시 펼쳐지거나 주먹이 펴질 수 있다.
특히, 도 5의 착용자의 손목은 도 4의 착용자의 손목과 비교해 적어도 약간 변경될 수 있다(예를 들어, 둘레가 확대되거나, 피부가 신장되거나, 근육이 수축되거나, 힘줄이 시프트되거나, 조직이 압박되는 등). 도 4에 도시된 바와 같은 펼친 손을 갖는 것으로부터 도 5에 도시된 바와 같은 꽉 쥔 주먹을 갖는 것으로의 손목의 적어도 약간의 변경은, 착용가능한 디바이스(100)와 착용자의 피부 사이의 거리가 변화하게(예를 들어, 증가 또는 감소) 할 수 있다. 전술한 바와 같이, 착용가능한 디바이스(100)와 연관된 광학 센서는 디바이스와 착용자의 피부 사이의 거리가 변화할 때 변화하는 신호를 생성함으로써, 사용자의 주먹을 쥐는 모션이 사용자의 주먹을 펴는 후속 모션과 함께 인지될 수 있다. 일부 예들에서, 사용자의 주먹을 연속적으로 쥐고 펴는 것은 (예를 들어, 가상 버튼을 선택하고, 전화 호에 응답하고, 앞으로 내비게이팅하는 것 등을 위한 마우스 커서 클릭 또는 터치스크린 누르기와 동등한 것처럼) 의도적 제스처로서 인식될 수 있다.
다른 예들에서, 다른 모션들이 착용가능한 디바이스(100)와 상호작용하기 위한 제스처들로서 사용될 수 있다. 예를 들면, 착용자가 엄지를 안쪽으로 움직여 손바닥을 터치하고, 이어서 엄지를 그것의 자연스러운 위치(예를 들어, 도 4에 도시된 위치)로 다시 풀 수 있다. 다른 예에서, 착용자는 손가락들(예를 들어, 엄지 이외의 손가락들)을 수축시켜 손바닥을 터치하고, 이어서 그것들을 그것들의 자연스러운 위치로 다시 풀 수 있다. 또 다른 예에서, 착용자는 개별 손가락(예를 들어, 집게 손가락, 가운데 손가락 등)을 수축시켜 손바닥을 터치하고, 이어서 손가락을 그것의 자연스러운 위치로 풀 수 있다. 또 다른 예들에서, 착용자는 손목에서 아래쪽으로 손을 구부리고(예를 들면, 구부림(flexion)), 손목에서 위쪽으로 손을 구부리고(예를 들어, 신전(extension)), 손을 비틀고(예를 들어, 회내(pronation) 또는 회외(supination)), 좌측 또는 우측으로 손을 기울이고(예를 들어, 요골측 편위(radial deviation) 또는 척골측 편위(ulnar deviation)), 또는 광학 센서가 입사 광의 변화를 감지하는 것에 의해 인지될 수 있는 손목에서의 적어도 약간의 변경들을 야기할 수 있는 다양한 다른 의도적 모션들 중 임의의 것을 수행할 수 있다.
일부 예들에서, 착용가능한 디바이스(100)는 상이한 기능들을 수행하기 위한 상이한 제스처들을 고유하게 인식하는 것뿐만 아니라 동일한 제스처들을 수행하는 상이한 방법들을 상이한 사용자 의도를 나타내는 것으로서 고유하게 인식하도록 구성될 수 있다. 예를 들어, 착용자는, (예를 들어, 단순한 마우스 커서 클릭과 더블-클릭 사이의 차이에서와 같이) 연속으로 빠르게 주먹을 쥐고 펴는 것과 연관된 것과 상이한 기능을 요청하기 위해, 주먹을 쥐고, 특정 시간 동안 주먹 쥔 손을 유지하고, 이어서 손을 펼 수 있다. 다른 예에서, 착용자는 하나의 기능(예를 들어, 앞으로 내비게이팅하는 것)을 요청하기 위해 하나의 방향으로 손을 비틀 수 있고, 상이한 기능(예를 들어, 뒤로 내비게이팅하는 것)을 요청하기 위해 다른 방향으로 손을 비틀 수 있다. 또 다른 예에서, 착용자가 하나의 기능(예를 들어, 선택)을 요청하기 위해 손바닥에 엄지를 터치하고, 상이한 기능(예를 들어, 홈 스크린으로 복귀)을 요청하기 위해 손바닥에 손가락들을 터치할 수 있다. 다양한 상이한 모션들이 인지되고 다양한 상이한 기능들과 연관될 수 있다는 것이 이해되어야 한다. 그러나, 다른 예들에서, 상이한 모션들의 그룹 중 임의의 것은 각각 동일한 기능을 위한 사용자 요청으로서 인지될 수 있다(예를 들어, 주먹 쥐기, 손목 굽히기, 또는 엄지 터치 중 임의의 것이 동일한 기능을 위한 요청으로서 해석될 수 있다).
손목 형상, 크기, 근육계, 및 다른 특성들이 상이한 사용자들에 대해 달라지므로, 착용가능한 디바이스(100)는 일부 예들에서 특정 착용자에 대해 맞춰지기 위해 학습 또는 훈련을 수행하도록 구성될 수 있다. 예를 들면, 착용가능한 디바이스(100)와 연관된 애플리케이션은 특정 움직임들을 수행하도록 착용자에게 지시할 수 있다(예를 들어, 디바이스 디스플레이 상에 커맨드를 표시하는 것, 커맨드를 들릴 수 있게 재생하는 것 등에 의해 주먹을 쥐고 펴도록 지시함). 착용자가 움직임들을 수행함에 따라, 착용가능한 디바이스(100)는 광학 센서에 의해 생성된 신호들이 요청된 움직임들에 응답하여 어떻게 변화하는가를 모니터링할 수 있다. 착용가능한 디바이스(100)는 이어서 미래에 특정 착용자의 의도적 제스처를 인식하기 위하여, 광학 센서 신호들의 변화들을 특정 움직임들과 연관시킬 수 있다. 일부 경우들에서, 착용가능한 디바이스(100)는 상이한 손들에 착용하도록 또는 손목의 상이한 위치들(예를 들어, 손바닥 면 또는 후면)에 착용하도록 상이하게 훈련될 수 있다. 일부 예들에서, 광학 센서 신호의 특정 변화들 및 연관된 제스처들이 데이터베이스에(예를 들어, 디바이스 상의, 디바이스로부터 원격의, 또는 다른 디바이스 상의 메모리 등에) 저장될 수 있고, 광학 센서 신호의 감지된 변화들은 저장된 데이터와 비교되어 특정 제스처를 인식할 수 있다.
도 6은 착용가능한 디바이스의 광학 센서로부터의(예를 들어, 전술한 착용가능한 디바이스(100)의 광학 센서(102)로부터와 같은) 감지된 신호의 예시적인 파형을 도시한다. 일례에서, 수직축은 시간에 따른(예를 들어, 수평축 상의 초 단위) 광학 센서에 의해 생성된 신호의 크기에 대응할 수 있다. 이러한 신호는 전류, 전압, 또는 감지된 광을 나타내는 유사한 신호에 대응할 수 있다. 예를 들어, 신호는 비교, 계산, 및 제스처 인식을 가능하게 하기 위해 스케일에 따라 양자화될 수 있는(예를 들어, 24 비트의 정밀도로 디지털화될 수 있음) 밀리암페어 단위의 전류일 수 있다.
도 6의 파형은 본 명세서에서 논의된 바와 같은 광학 센서를 갖는 착용가능한 디바이스를 착용하고 있는 사용자가 6개의 반복된 제스처들을 수행하는 것에 대응할 수 있으며, 각 제스처는 수 초의 간격에 의해 분리된다. 예를 들어, 각각의 스파이크 또는 제스처 이벤트(640)는 연속으로 빠르게 착용자의 주먹을 쥐고 펴는 것에 대응할 수 있다. 표시된 바와 같이, 주먹 쥐기(642)는 증가하는 크기에 대응할 수 있고, 이후의 주먹 펴기(644)는 감소하는 크기에 대응할 수 있다. 일부 예들에서, 연속으로 빠르게 증가하는 크기와 감소하는 크기의 조합은 의도적 제스처로서 인식될 수 있다.
도 6에 도시된 예에서, 착용가능한 디바이스는 대응하는 착용자에 대해 시프트됨으로써, 주먹을 폈을 때보다 주먹을 쥐었을 때 더 많은 광이 감지되었을 수 있다. 이와 같이, 파형은 주먹 쥐기(642)의 경우에 크기가 상승하고 이어서 주먹 펴기(644)의 경우에 크기가 하락하는 것으로 나타날 수 있다. 그러나, 다른 예들에서, 신호 및 연관된 파형은 상이한 착용자들에 대해 또는 동일한 착용자가 상이한 제스처를 수행하는 것에 대해 달라질 수 있다. 예를 들어, 크기는 상이한 사용자에 대해 또는 상이한 제스처(예를 들어, 손목을 굽힘)에 대해 연속하여 먼저 하락하고 이어서 상승할 수 있다. 다른 예에서, 제스처 이벤트(640)와 연관된 스파이크의 피크 크기는 상이한 사용자들 또는 상이한 제스처들에 대해 더 낮거나 더 높을 수 있다. 유사하게, 제스처 이벤트와 연관된 스파이크의 폭 또는 기울기가 상이한 사용자들 또는 상이한 제스처들에 대해 달라질 수 있다(예를 들면, 특정 사용자 요청을 나타내기 위해 꽉 쥔 주먹을 유지할 때 더 넓어짐). 다양한 상이한 제스처들 및 착용자 특성들이 제스처 이벤트들(예를 들어, 특정 사용자 의도를 나타내는 의도적 사용자 제스처들)을 인식하는 데 사용될 수 있는 다양한 상이한 파형들을 생성할 수 있다는 것이 이해되어야 한다. 또한, 일부 예들에서 착용가능한 디바이스가 고유 신호들을 특정 착용자의 제스처들과 연관시키도록 훈련되거나 학습할 수 있다는 것이 이해되어야 한다.
일부 예들에서, 광학 센서 신호가 상이한 사용자들 및 상이한 제스처들에 대해 어떻게 달라질 수 있는지가 주어지면, 광학 센서 신호의 도함수는 (예를 들어, 노이즈, 우발적인 움직임들, 미광 공해현상(stray light pollution) 등을 무시하면서) 강건한 제스처 인식을 달성하는 데 사용될 수 있다. 도 7은 착용가능한 디바이스의 광학 센서로부터의 감지된 신호의 예시적인 도함수 파형을 도시한다. 일례에서, 도 7의 도함수 파형은 도 6의 원시 신호 파형에 대응할 수 있다. 일부 예들에서, 양의 피크들(750), 음의 피크들(752), 및 제로 크로싱들(754)은 착용가능한 디바이스와 상호작용하기 위한 의도적 사용자 제스처를 긍정적으로(positively) 식별하는 데 사용될 수 있다. 예를 들어, 양의 피크(750) 다음에 제로 크로싱(754), 다음에 음의 피크(752)의 발생을 갖는 것은, 인식된 제스처 이벤트(756)(직사각형으로 표시됨)를 식별하는 데 충분할 수 있다. 다른 예에서, 순서가 달라져서, 음의 피크 다음에 제로 크로싱 및 양의 피크가 이어질 수 있고 또한 인식된 제스처 이벤트로서 식별될 수 있도록 할 수 있다. 또 다른 예에서, 특정 시간 윈도우 내에서의 양의 피크, 음의 피크, 및 제로 크로싱의 발생을 갖는 것은, 제스처를 인식하기에 충분할 수 있다.
일부 예들에서, 제스처 인식 임계치들은, 노이즈 또는 다른 우연한 데이터를 필터링하고, 착용가능한 디바이스와 상호작용하기 위한 의도적 사용자 제스처들을 정확하게 인식하는 데 사용될 수 있다. 도 8은 양의 임계치(860) 및 음의 임계치(862)를 포함하는, 제스처 인식 임계치들을 갖는 예시적인 도함수 파형을 도시한다. 일례에서, 의도적 제스처를 인식하기 위한 목적으로, 도함수 파형에서 양 또는 음의 피크는, 양의 임계치(860) 및 음의 임계치(862) 밖에 있을 때와 같이, 미리결정된 임계치들 밖에 있을 때 인식될 수 있다. 일부 예들에서, 피크들 또는 임계치들 내의 다른 데이터 움직임들은 무시될 수 있다. 예를 들면, 경미한 진동들 또는 우발적인 손 모션들은 원시 광학 센서 신호 내에서 뿐만 아니라 원시 광학 센서 신호의 도함수 내에서 중요한 움직임들을 야기할 수 있다. 이러한 움직임들로부터 제스처들을 잘못 인식하는 것을(예를 들어, 긍정 오류들(false positive)) 회피하기 위해, 제스처 인식 임계치들이 사용되어 긍정적 제스처 인식을 임계치들 밖의 중요한 움직임의 인스턴스들로 제한할 수 있다.
다른 예들에서, 다양한 다른 기술들 및 데이터가, 노이즈 및 다른 우연한 데이터를 필터링하면서 의도적 사용자 제스처들을 긍정적으로 인식하는 데 사용될 수 있다. 예를 들어, 오목 변화들, 제로 크로싱들, 피크들 사이의 시간, 피크 기울기, 피크 폭, 및 다른 데이터 특성들이, 특정한 예상된 신호 거동으로 제스처 인식을 제한하는 데 사용될 수 있다. 이러한 방식으로, 착용가능한 디바이스는 적합한 경우에 사용자 제스처들을 정확하게 인식하고 그에 응답하며, 어떤 것도 의도되지 않은 경우에는 사용자 상호작용을 인식하는 것을 회피할 수 있다.
도 9는 착용가능한 디바이스 내의 광학 센서를 사용하여 제스처들을 결정하기 위한 본 명세서에서 논의된 다양한 예들에 따라 사용될 수 있는 예시적인 프로세스(970)를 도시한다. 블록(972)에서, 광이 착용가능한 사용자 디바이스로부터 방출되게 할 수 있다. 예를 들어, 도 1의 착용가능한 디바이스(100)의 광원(104) 및/또는 광원(106)을 참조하여 전술한 바와 같이 광이 방출될 수 있다. 광원은, 디바이스가 정상적으로 착용될 때 방출된 광의 대부분이 광학 센서(예를 들어, 광학 센서(102))를 향하여 다시 반사되도록 기울어질 수 있는(예를 들어, 방출된 광이 수직이 아닌 각도로 착용자의 피부에 입사할 수 있도록 기울어짐) 발광 다이오드(LED)를 포함할 수 있다. 일부 예들에서, 2개의 광원이 사용될 수 있으며, 각각의 광원은 다른 광원의 것과 상이한 파장을 갖는 광을 방출하도록 구성될 수 있다. 이러한 예들에서, 개별 광원들에 의해 방출된 광은, 그것들이 광학 센서에 의해 구별될 수 있고 가시, 자외선, 적외선, 또는 다른 파장들일 수 있도록, 선택될 수 있다. 광원들은 또한, 방출된 광을 상이한 주파수들에서 펄싱하는 것, 교번하는 간격들로 광을 방출하는 것 등과 같은 것에 의해서, 구별되는 반사된 광 인식을 허용하도록 상이하게 동작될 수 있다. 일부 예들에서, 2개의 별개의 광원들을 갖는 것은 국부적인 움직임들 또는 전체적인 디바이스 움직임들 사이를(예를 들어, 특정 근육들이 수축하는 것 대비 전체적인 디바이스가 균일하게 시프팅하는 것) 구별하는 데 도움을 줄 수 있다. 그러나, 또 다른 예들에서, 착용가능한 디바이스는 단일 광원, 2개 초과의 광원들, 하나 초과의 광학 센서, 또는 다양한 다른 조합들을 포함할 수 있거나, 또는 전용 광원 없이 피부 표면에 의해 반사된 주변 조명의 변화를 검출할 수 있는 광학 센서를 포함할 수 있다.
다시 도 9를 참조하면, 블록(974)에서, 사용자의 피부에 의해 반사되는 광이 감지될 수 있다. 예를 들어, 반사된 광은 광학 센서(102)를 참조하여 전술한 바와 같이 감지될 수 있다. 전류, 전압, 또는 센서에 입사한 광의 상대적 양을 나타내는 다른 신호(예를 들어, 수신된 광의 세기)를 생성하는 포토다이오드를 이용해 감지되는 것과 같은, 다양한 방법들로 광이 감지될 수 있다. 일부 예들에서, 광학 센서는 착용가능한 디바이스와 연관된 광원들로부터 방출된 광과 유사한 특성들(예를 들어, 파장)을 갖는 광을 주로 또는 전용으로 감지하도록 구성될 수 있다. 일례에서, 사용자의 피부 표면과 착용가능한 디바이스 사이의 거리는 반사된 광이 착용가능한 디바이스의 피부-대향 면 상에서 어디에 입사할지를 지시할 수 있으며, 이는 센서에서 수신된 광의 세기에 영향을 줄 수 있다. 예를 들어, 착용자의 피부에 대한 제1 위치에서, 광학 센서는 상대적으로 작은 양의 감지된 광을 나타내는 신호를 생성할 수 있는 한편, 착용자의 피부에 대한 다른 위치에서, 광학 센서는 센서에 대해 광이 입사하는 위치에서의 시프트가 주어질 때 상대적으로 큰 양의 감지된 광을 나타내는 신호를 생성할 수 있다. 따라서 착용자의 피부에 대한 착용가능한 디바이스 및 광학 센서의 움직임들은, 광학 센서에 의해 생성된 신호로 하여금 센서에서 수신된 광의 세기가 변화함에 따라 변화하게 할 수 있다.
다시 도 9를 참조하면, 블록(976)에서, 제스처는 감지된 광의 변화에 기초하여 결정될 수 있다. 예를 들어, 제스처 이벤트는 (예를 들어, 도 6을 참조하여 논의된 바와 같은) 원시 광학 센서 신호로부터, 또는 (예를 들어, 도 7 또는 도 8을 참조하여 논의된 바와 같은) 광학 센서 신호의 도함수로부터 결정될 수 있다. 다양한 움직임들이 반사된 광에 대한 변화들을 야기할 수 있으며, 이는 광학 센서에 의해 생성된 신호를 변경할 수 있고, 이러한 변경된 신호는 의도적 제스처로서 해석될 수 있다. 의도적 제스처로서 해석될 수 있는 움직임들은 손가락의 움직임, 손 움직임, 손목 움직임, 전체적인 팔 움직임 등을 포함할 수 있다. 예를 들어, 손목시계 형 착용가능한 디바이스의 경우, 착용자의 손목은 꽉 쥔 주먹과 펼친 손 사이에서 적어도 약간 변경될 수 있다(예를 들어, 둘레가 확대되거나, 피부가 신장되거나, 근육이 수축되거나, 힘줄이 시프트되거나, 조직이 압박되는 등). 펼친 손을 갖는 것으로부터 꽉 쥔 주먹을 갖는 것으로의 손목의 적어도 약간의 변경은, 착용가능한 디바이스와 착용자의 피부 사이의 거리가 변화하게(예를 들어, 증가 또는 감소) 할 수 있다. 전술한 바와 같이, 착용가능한 디바이스와 연관된 광학 센서는 디바이스와 착용자의 피부 사이의 거리가 변화할 때 변화하는 신호를 생성함으로써, 사용자의 주먹을 쥐는 모션이 사용자의 주먹을 펴는 후속 모션과 함께 인지될 수 있다. 일부 예들에서, 사용자의 주먹을 연속적으로 쥐고 펴는 것은 (예를 들어, 가상 버튼을 선택하고, 전화 호에 응답하고, 앞으로 내비게이팅하는 것 등을 위한 마우스 커서 클릭 또는 터치스크린 누르기와 동등한 것처럼) 의도적 제스처인 것으로 결정될 수 있다.
일부 예들에서, 광학 센서 신호의 도함수가 제스처 인식에 사용될 수 있다. 예를 들어, 광학 센서 신호의 도함수에서 양의 피크 다음에 제로 크로싱, 다음에 음의 피크의 발생을 갖는 것은, 의도적 제스처를 결정하기에 충분할 수 있다. 다른 예에서, 순서가 달라져서, 음의 피크 다음에 제로 크로싱 및 양의 피크가 이어질 수 있고 또한 의도적 제스처로서 식별될 수 있도록 할 수 있다. 또 다른 예에서, 특정 시간 윈도우 내에서의 양의 피크, 음의 피크, 및 제로 크로싱의 발생을 갖는 것은, 광학 센서 신호의 도함수에서 의도적 제스처를 결정하기에 충분할 수 있다.
다른 예들에서, 다양한 다른 기술들 및 데이터가, 노이즈 및 다른 우연한 데이터를 필터링하면서 의도적 사용자 제스처들을 긍정적으로 결정하는 데 사용될 수 있다. 예를 들어, 오목 변화들, 제로 크로싱들, 피크들 사이의 시간, 피크 기울기, 피크 폭, 및 다른 데이터 특성들이, 특정한 예상된 신호 거동으로 제스처 인식을 제한하는 데 사용될 수 있다. 이러한 방식으로, 착용가능한 디바이스는 적합한 경우에 사용자 제스처들을 정확하게 결정하고 그에 응답하며, 어떤 것도 의도되지 않은 경우에는 사용자 상호작용을 인식하는 것을 회피할 수 있다.
일부 예들에서, 결정된 제스처는 특정 사용자 요청과 연관될 수 있으며, 착용가능한 디바이스는 사용자 요청(예를 들어, 가상 버튼을 선택하고, 상이한 뷰로 내비게이팅하고, 전화 호에 응답하고, 상이한 노래로 전진하는 것 등의 요청)에 적절하게 응답할 수 있다. 따라서 제스처 인식은 일부 예들에서, 사용자가 버튼들을 누르거나 터치스크린을 터치하는 것 등을 하지 않고서, 착용가능한 디바이스와 상호작용하도록 하는 데 사용될 수 있다.
도 10은, 광학 센서를 사용하여 제스처들을 인식하고 인식된 제스처들에 대응하는 기능들을 수행하기 위해 본 명세서에서 논의된 다양한 예들에 따라 사용될 수 있는, 예시적인 프로세스(1080)를 도시한다. 블록(1082)에서, 제스처 인식은 착용가능한 디바이스와의 사용자 연계(engagement) 시 인에이블될 수 있다. 일부 예들에서, 제스처 인식을 위한 착용가능한 디바이스 내에 통합된 광원들 및 광학 센서는, 의도적 제스처들이 있을 것 같지 않을 때(예를 들어, 착용자가 디바이스를 사용하고 있지 않을 때, 아무도 디바이스를 착용하고 있지 않을 때, 착용자가 달리고 있을 때 등) 디스에이블되거나, 오프로 유지되거나, 또는 제스처 인식 이외의 기능들에 사용될 수 있다. 광원들 및 광학 센서를 사용하는 제스처 인식을 디스에이블시키는 것은 배터리 전력을 보존하고, 잘못된 제스처 검출을 피하고, 그것들이 자유롭게 다른 기능들에 사용될 수 있게 하는 것 등을 수행할 수 있다.
사용자가 디바이스와 연계되어 있음을 인식할 시, 제스처 인식은 자동으로 인에이블될 수 있다(예를 들어, 광원들 및 광학 센서는 제스처들을 인식하기 위해 인에이블될 수 있다). 다양한 방법들이 사용자가 착용가능한 디바이스와 연계되어 있음을 인식하는 데 사용될 수 있다. 예를 들면, 착용가능한 디바이스 내의 다른 센서들이, 사용자가 착용가능한 디바이스를 들어올렸다는 것, 사용자의 얼굴을 향해 그것을 기울였다는 것, 및 디스플레이를 보고 있다는 것을 검출하는 데 사용될 수 있다(예를 들어, 가속도계, 자이로스코프, 카메라, 근접 센서, 광 센서 등을 사용함). 또 다른 예에서, 사용자는 착용가능한 디바이스와의 연계를 시작하기 위해 버튼을 누르고, 터치스크린을 터치하고, 커맨드를 말하고, 디바이스를 흔드는 등을 수행할 수 있다. 또 다른 예에서, 착용가능한 디바이스 내의 센서들은 사용자가 능동적 제스처 인식을 인에이블하기 전에 디스플레이를 움직이고 능동적으로 디스플레이를 보고 있는 것 둘 모두를 하고 있지 않음을 검출하는 데 사용될 수 있는데, 이는 움직임이 아티팩트들 및 잘못된 제스처 검출을 초래할 수 있기 때문이다. 또 다른 예들에서, 광원들 및 광학 센서는 사용자가 디바이스를 사용하고 있지 않는 시간들에 인에이블될 수 있지만, 광학 센서에 의해 생성된 신호들을 사용자 연계가 검출될 때까지 무시하거나 폐기될 수 있다.
블록(1084)에서, (예를 들어, 프로세스(970)의 블록(972)을 참조하여 설명된 바와 같이) 광이 착용가능한 사용자 디바이스로부터 방출되게 될 수 있다. 블록(1086)에서, (예를 들어, 프로세스(970)의 블록(974)을 참조하여 설명된 바와 같이) 광이 사용자의 피부에 의해 반사됨이 감지될 수 있다. 블록(1088)에서, 감지된 광의 변화가 의도적 사용자 제스처(예를 들어, 착용가능한 디바이스에 의한 기능적 응답을 야기하도록 의도된 제스처)를 나타내는지 여부에 관한 결정이 이루어질 수 있다. 예를 들어, 의도적 제스처는 (예를 들어, 도 6을 참조하여 논의된 바와 같은) 원시 광학 센서 신호로부터, 또는 (예를 들어, 도 7 또는 도 8을 참조하여 논의된 바와 같은) 광학 센서 신호의 도함수로부터 인식될 수 있다.
어떠한 제스처도 감지된 광의 변화에 의해 나타나지 않는 경우(예를 들어, 블록(1088)의 "아니오" 분기), 블록(1084)에서 광이 다시 방출되게 될 수 있고, 블록(1086)에서 반사된 광이 다시 감지될 수 있다. 일부 예들에서, 사용자가 의도적 제스처를 수행했는지 여부를 결정하기 위해, 광이 방출되게 하고 반사된 광을 감지하게 하는 폴링 사이클들이 반복될 수 있다. 연속적 폴링 사이클들은 시간 간격에 의해 분리될 수 있거나, 또는 그것들은 제스처가 검출되거나 다른 이벤트가 사이클을 중단시킬 때까지(예를 들어, 디바이스의 전원이 오프되는 것, 사용자 연계가 종료되는 것, 타임아웃 기간이 경과하는 것 등) 연속적일 수 있다.
제스처가 감지된 광의 변화에 의해 나타나는 경우(예를 들어, 블록(1088)의 "예" 분기), 인식된 제스처에 대응하는 기능이 블록(1090)에서 수행될 수 있다. 예를 들어, 특정한 인식된 제스처는 착신 호에 응답하려는 사용자의 원하는 의도를 나타낼 수 있어서, 착신 호에 응답하는 기능이 수행될 수 있다. 다른 예들에서, 다른 상황들에서의 인식된 제스처들은 사용자의 의도적 제스처를 인식할 시 수행될 수 있는 다양한 다른 기능들에 대응할 수 있다(예를 들어, 앞으로 내비게이팅하는 것, 뒤로 내비게이팅하는 것, 음악을 일시 정지하는 것, 통지를 여는 것 등). 일부 예들에서, 블록(1090)에서 인식된 제스처에 대응하는 기능을 수행한 후, 제스처 인식은, 사용자가 제스처들을 사용하여 착용가능한 디바이스와 계속해서 상호작용하도록 허용하는 것을 계속할 수 있다(예를 들어, 블록(1084)). 다른 예들에서, 제스처 인식은 블록(1090)에서의 기능의 수행 시, 또는 착용가능한 디바이스의 전원이 오프되거나, 사용자가 디바이스를 사용하는 것을 중단하거나, 타임아웃 기간이 경과할 때, 디스에이블될 수 있다.
본 명세서의 다양한 예들은 제스처 인식이 착용가능한 디바이스와 상호작용하기 위해 사용될 수 있는 방법을 설명하지만, 제스처 인식은 다른 디바이스들과 상호작용하기 위해서도 사용될 수 있음이 이해되어야 한다. 일부 예들에서, 사용자는, 착용가능한 디바이스가 모바일 폰, 텔레비전, 오디오 시스템, 미디어 재생기, 게임 콘솔, 조명 시스템, 보안 시스템, 태블릿 컴퓨터 등과 같은 다양한 다른 디바이스들 중 임의의 것에 전달할 수 있는 제스처들을 사용하여 커맨드들을 효과적으로 생성할 수 있다. 예를 들면, 착용가능한 디바이스는 (예를 들어, Wi-Fi, 블루투스, 인터넷 등을 통해) 미디어 재생기와 통신할 수 있고, 착용자는 인식가능한 제스처를 수행할 수 있다. 제스처를 인식하는 것에 응답하여, 착용가능한 디바이스는 메뉴를 내비게이팅하거나, 재생을 일시 정지하거나, 표시할 컨텐츠를 선택하는 등과 같은, 대응하는 커맨드를 미디어 재생기에 전송할 수 있다. 다른 예에서, 착용가능한 디바이스는 (예를 들어, 블루투스를 통해) 모바일 전화와 통신할 수 있고, 착용자는 인식가능한 제스처를 수행할 수 있다. 제스처를 인식하는 것에 응답하여, 착용가능한 디바이스는 전화 호에 응답하거나, 벨소리를 무음으로 하거나, 전화의 위치를 찾는 데 도움을 주도록 소리를 방출하는 등과 같은, 대응하는 커맨드를 모바일 전화에 전송할 수 있다. 제스처 인식은 여전히 많은 다른 디바이스-대-디바이스 상호작용들에 채용될 수 있음이 이해되어야 한다.
또한, 본 명세서의 다양한 예들은 제스처 인식이 광원 및 광학 센서를 사용하여 달성될 수 있는 방법을 설명하지만, 다양한 다른 센서들 및 요소들이 착용가능한 디바이스와 상호작용하기 위한 의도적 사용자 제스처들을 인식하기 위해 광원 및 광학 센서와 함께 사용될 수 있다는 것이 이해되어야 한다. 예를 들어, 가속도계들 및/또는 자이로스코프들은 움직임을 검출하고, 광학 센서 신호들이 다른 랜덤 사용자 움직임들의 아티팩트들 대신에 의도적 제스처들을 나타내는지 여부를 결정하는 데 사용될 수 있다. 유사하게, 특정 제스처들은 고유 가속도계 및/또는 자이로스코프 신호들과 동시에 고유 광학 센서 신호들을 생성할 수 있으며, 그러한 신호들의 조합의 동시 발생은 의도적 제스처를 긍정적으로 인식하는 데 사용될 수 있다. 다른 예들에서, 다른 디바이스 요소들, 센서들, 및 신호 조합들이, 잘못된 제스처 검출을 피하고 의도적 사용자 제스처들을 정확하게 인식하는 데 사용될 수 있다.
제스처들을 결정하는 것에 관련된 전술한 기능들 중 하나 이상은 도 11에 도시된 시스템(1100)과 유사하거나 동일한 시스템에 의해 수행될 수 있다. 시스템(1100)은 비일시적 컴퓨터 판독가능 저장 매체, 예컨대 메모리(1102) 또는 저장 디바이스(1101)에 저장되고, 프로세서(1105)에 의해 실행되는 명령어들을 포함할 수 있다. 명령어들은 또한 명령어 실행 시스템, 장치 또는 디바이스(예컨대, 컴퓨터 기반 시스템, 프로세서-포함 시스템, 또는 다른 시스템 등)로부터 명령어들을 페치하여 명령어들을 실행할 수 있는 명령어 실행 시스템, 장치 또는 디바이스에 의해 또는 그와 관련하여 사용하기 위한 임의의 비일시적 컴퓨터 판독 가능 저장 매체 내에 저장 및/또는 전달될 수 있다. 본 문서와 관련하여, "비일시적 컴퓨터 판독가능 저장 매체"는 명령어 실행 시스템, 장치, 또는 디바이스에 의해 또는 그와 관련하여 사용하기 위한 프로그램을 포함하거나 저장할 수 있는 임의의 매체일 수 있다. 비일시적 컴퓨터 판독가능 저장 매체는 전자, 자기, 광학, 전자기, 적외선, 또는 반도체 시스템, 장치 또는 디바이스, 휴대용 컴퓨터 디스켓(자기형), 랜덤 액세스 메모리(RAM)(자기형), 판독 전용 메모리(ROM)(자기형), 소거가능 프로그래머블 판독 전용 메모리(EPROM)(자기형), CD, CD-R, CD-RW, DVD, DVD-R, 또는 DVD-RW와 같은 휴대용 광 디스크, 또는 콤팩트 플래시 카드, 보안 디지털 카드(secured digital card), USB 메모리 디바이스, 메모리 스틱과 같은 플래시 메모리 등, 또는 임의의 유형의 데이터베이스를 포함할 수 있지만, 이에 한정되지 않는다.
명령어들은 또한 명령어 실행 시스템, 장치, 또는 디바이스(예컨대, 컴퓨터 기반 시스템, 프로세서-포함 시스템, 또는 다른 시스템)로부터 명령어들을 페치하고 명령어들을 실행할 수 있는 명령어 실행 시스템, 장치, 또는 디바이스에 의해 또는 그와 관련하여 사용하기 위한 임의의 전송 매체 내에서 전파될 수 있다. 본 문헌의 맥락에서, "전송 매체"는 명령어 실행 시스템, 장치, 또는 디바이스에 의해, 또는 그와 관련하여 사용하기 위한 프로그램을 전달, 전파, 또는 전송할 수 있는 임의의 매체일 수 있다. 전송 매체는 전자, 자기, 광학, 전자기, 또는 적외선형 유선 또는 무선 전파 매체를 포함할 수 있지만, 이에 한정되지 않는다.
시스템(1100)은 또한, 프로세서(1105)가 시스템(1100)의 다른 컴포넌트들뿐만 아니라 주변기기들, 디바이스들, 서버들, 데이터베이스들 등과 통신할 수 있게 하는, I/O 모듈(1103)과 같은 입력/출력("I/O") 모듈을 포함할 수 있다. 예를 들어, I/O 모듈(1103)은, 프로세서(1105)가 LAN, WAN, Wi-Fi, 블루투스, 셀룰러 등을 포함한 유선 또는 무선 통신 수단을 통하여 외부 디바이스와 통신할 수 있게 하는, 송수신기, 라디오, 모뎀 등을 포함할 수 있다.
시스템(1100)은 터치를 검출하고 정보를 표시하기 위한, 프로세서(1105)에 연결된 터치 감응형 디스플레이(1107)를 추가로 포함할 수 있다. 시스템이 도 11의 컴포넌트들 및 구성으로 제한되지 않고, 다양한 예들에 따른 다수의 구성들에서 다른 또는 추가적인 컴포넌트들을 포함할 수 있다는 것을 이해할 것이다. 또한, 시스템(1100)의 컴포넌트들은 단일 디바이스 내에 포함될 수 있거나, 다수의 디바이스 사이에 분산될 있다. 일부 예들에서, 프로세서(1105)는 터치 감응형 디스플레이(1107) 내에 위치될 수 있다.
따라서, 전술한 바에 따르면, 본 개시내용의 일부 예들은 제스처들을 결정하기 위한 컴퓨터 구현 방법에 관한 것이며, 방법은: 착용가능한 사용자 디바이스로부터 광이 방출되게 하는 단계; 착용자의 피부에 의해 반사되는 광의 일부분을 감지하는 단계; 및 광의 감지된 부분의 변화에 기초하여 착용자에 의해 취해진 제스처를 결정하는 단계를 포함한다. 앞서 개시된 예들 중 하나 이상에 추가적으로 또는 대안적으로, 일부 예들에서 광의 감지된 부분의 변화는 착용가능한 사용자 디바이스의 광학 센서와 착용자의 피부 사이의 거리의 변화에 대응하고; 착용자의 피부에 의해 반사되는 광의 일부분을 감지하는 단계는 광학 센서를 사용하여 광의 부분을 감지하는 단계를 포함한다. 앞서 개시된 예들 중 하나 이상에 추가적으로 또는 대안적으로, 일부 예들에서 광의 감지된 부분의 변화는 착용자의 피부에 의해 반사된 광의 감지된 부분의 세기의 변화에 대응한다. 앞서 개시된 예들 중 하나 이상에 추가적으로 또는 대안적으로, 일부 예들에서 착용가능한 사용자 디바이스로부터 광이 방출되게 하는 단계는, 광이 제1 LED로부터 제1 파장에서 그리고 제2 LED로부터 제1 파장과 상이한 제2 파장에서 방출되게 하는 단계를 포함한다. 앞서 개시된 예들 중 하나 이상에 추가적으로 또는 대안적으로, 일부 예들에서 착용가능한 사용자 디바이스로부터 광이 방출되게 하는 단계는 광이 착용가능한 디바이스에 대해 일정한 각도로 방출되게 하는 단계를 포함하며, 여기서 방출된 광은 수직이 아닌 각도로 착용자의 피부에 입사한다. 앞서 개시된 예들 중 하나 이상에 추가적으로 또는 대안적으로, 일부 예들에서 착용자의 피부에 의해 반사되는 광의 일부분을 감지하는 단계는 제1 LED와 제2 LED 사이에 위치설정된 광학 센서를 사용하여 광의 감지된 부분에 기초하여 신호를 발생시키는 단계를 포함하며, 착용가능한 사용자 디바이스로부터 광이 방출되게 하는 단계는 광이 제1 LED 및 제2 LED로부터 방출되게 하는 단계를 포함한다. 앞서 개시된 예들 중 하나 이상에 추가적으로 또는 대안적으로, 일부 예들에서 광의 감지된 부분의 변화에 기초하여 제스처를 결정하는 단계는, 착용자의 피부에 의해 반사되는 광의 부분을 감지하는 데 사용되는 광학 센서에 의해 생성된 신호의 도함수에서 양의 피크, 음의 피크, 및 제로 크로싱을 식별하는 단계를 포함한다. 앞서 개시된 예들 중 하나 이상에 추가적으로 또는 대안적으로, 일부 예들에서 제스처는 주먹 쥐기를 포함한다.
전술한 바에 따르면, 본 개시내용의 다른 예들은 전술한 방법들 중 임의의 것을 수행하기 위한 컴퓨터 실행가능 명령어들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체에 관한 것이며; 데이터베이스가 비일시적 컴퓨터 판독가능 저장 매체에 연결될 수 있으며, 여기서 데이터베이스는 제스처 인식 데이터를 포함한다.
전술한 바에 따르면, 본 개시내용의 다른 예들은 전술한 비일시적 컴퓨터 판독가능 저장 매체, 및 컴퓨터 실행가능 명령어들을 실행할 수 있는 프로세서를 포함하는 시스템에 관한 것이다.
전술한 바에 따르면, 본 개시내용의 다른 예들은 제스처들을 결정하기 위한 착용가능한 디바이스에 관한 것이며, 디바이스는: 착용가능한 디바이스가 착용될 때 착용자의 피부를 향하여 디바이스로부터 광을 방출하도록 구성된 광원; 착용자의 피부에 의해 반사된 광의 일부분을 감지하는 것에 기초하여 신호를 생성하도록 구성된 광학 센서; 신호의 변화에 기초하여 착용자에 의해 취해진 제스처를 결정하기 위한 컴퓨터 실행가능 명령어들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체; 및 신호를 수신하도록 연결된 프로세서를 포함하며, 여기서 프로세서는 컴퓨터 실행가능 명령어들을 실행할 수 있다. 앞서 개시된 예들 중 하나 이상에 추가적으로 또는 대안적으로, 일부 예들에서 신호의 변화는 광학 센서와 착용자의 피부 사이의 거리의 변화에 대응한다. 앞서 개시된 예들 중 하나 이상에 추가적으로 또는 대안적으로, 일부 예들에서 광학 센서에 의해 생성된 신호는 착용자의 피부에 의해 반사된 광의 감지된 부분의 세기에 기초하여 변화한다. 앞서 개시된 예들 중 하나 이상에 추가적으로 또는 대안적으로, 일부 예들에서 광원은 제1 파장에서 광을 방출하도록 구성된 제1 LED 및 제1 파장과 상이한 제2 파장에서 광을 방출하도록 구성된 제2 LED를 포함한다. 앞서 개시된 예들 중 하나 이상에 추가적으로 또는 대안적으로, 일부 예들에서 광원은 제1 LED 및 제 2 LED를 포함하며; 광학 센서는 제1 LED와 제2 LED 사이에 위치설정된다. 앞서 개시된 예들 중 하나 이상에 추가적으로 또는 대안적으로, 일부 예들에서 광원은 수직이 아닌 각도로 착용자의 피부에 입사하도록 광을 지향시키기 위해 착용가능한 디바이스에 대해 기울어진다. 앞서 개시된 예들 중 하나 이상에 추가적으로 또는 대안적으로, 일부 예들에서 제스처를 결정하기 위한 컴퓨터 실행가능 명령어들은 신호의 도함수에서 양의 피크, 음의 피크, 및 제로 크로싱을 식별함으로써 제스처를 결정하기 위한 컴퓨터 실행가능 명령어들을 포함한다. 앞서 개시된 예들 중 하나 이상에 추가적으로 또는 대안적으로, 일부 예들에서 제스처는 주먹 쥐기를 포함한다. 앞서 개시된 예들 중 하나 이상에 추가적으로 또는 대안적으로, 일부 예들에서 광학 센서는 광원에 의해 방출된 광의 파장에 대응하는 광의 파장을 감지하도록 구성된다.
전술한 바에 따르면, 본 개시내용의 다른 예들은 제스처들을 결정하기 위한 시스템에 관한 것이며, 시스템은: 착용가능한 사용자 디바이스가 착용될 때 착용자의 피부를 향하여 착용가능한 사용자 디바이스로부터 광을 방출하도록 구성된 광원; 착용자의 피부에 의해 반사된 광의 일부분을 감지하는 것에 기초하여 신호를 생성하도록 구성된 광학 센서; 신호의 변화에 기초하여 착용자에 의해 취해진 제스처를 결정하기 위한 컴퓨터 실행가능 명령어들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체; 신호를 수신하도록 연결된 프로세서 - 프로세서는 컴퓨터 실행가능 명령어들을 실행할 수 있음 -; 및 프로세서에 연결된 통신 모듈 - 통신 모듈은 모바일 디바이스와 통신하도록 구성됨 - 을 포함한다. 앞서 개시된 예들 중 하나 이상에 추가적으로 또는 대안적으로, 일부 예들에서 비일시적 컴퓨터 판독가능 저장 매체는 제스처를 결정하는 것에 응답하여 통신 모듈을 통해 모바일 디바이스에 커맨드를 전달하기 위한 명령어들을 추가로 포함한다.
전술한 바에 따르면, 본 개시내용의 다른 예들은 착용자의 손목에 착용된 착용가능한 디바이스를 사용하여 손 제스처를 간접적으로 결정하기 위한 컴퓨터 구현 방법에 관한 것이며, 방법은: 착용가능한 디바이스의 광원으로부터 착용자의 손목을 향하여 광이 방출되게 하는 단계 - 광원은 착용자의 손목의 피부에 근접하게 위치설정됨 -; 착용가능한 디바이스의 광학 센서를 사용하여 착용자의 손목의 피부에 의해 반사되는 광의 일부분을 감지하는 단계 - 광학 센서는 착용자의 손목의 피부에 근접하게 위치설정됨 -; 착용자의 손목의 피부에 의해 반사되는 광의 감지된 부분의 변화에 기초하여 착용자에 의해 취해진 손 제스처를 간접적으로 결정하는 단계 - 변화는 광학 센서와 착용자의 손목의 피부 사이의 거리가 손 제스처로 인해 증가하거나 감소하는 것으로부터 기인함 - 를 포함한다. 앞서 개시된 예들 중 하나 이상에 추가적으로 또는 대안적으로, 일부 예들에서 광학 센서와 착용자의 손목의 피부 사이의 거리는 손 제스처로 인해 1/8 인치 미만으로 증가하거나 감소한다. 앞서 개시된 예들 중 하나 이상에 추가적으로 또는 대안적으로, 일부 예들에서 광의 감지된 부분의 변화는, 광학 센서와 착용자의 손목의 피부 사이의 증가하거나 감소하는 거리에 기초하여 광의 감지된 부분의 세기가 증가하거나 감소하는 것에 대응한다. 앞서 개시된 예들 중 하나 이상에 추가적으로 또는 대안적으로, 일부 예들에서 착용자에 의해 취해진 손 제스처를 간접적으로 결정하는 단계는 착용자의 손 움직임을 직접적으로 감지하지 않고 착용자의 손목의 피부에 의해 반사되는 광의 감지된 부분의 변화를 감지하는 단계를 포함한다.
예들이 첨부의 도면들을 참조하여 충분히 설명되었지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 다양한 변경들 및 수정들이 명백할 것이라는 것에 주목하여야 한다. 그러한 변경들 및 수정들은 첨부된 청구범위에 의해 정의되는 바와 같은 다양한 예들의 범주 내에 포함되는 것으로서 이해되어야 한다.

Claims (20)

  1. 제스처들을 결정하기 위한 컴퓨터 구현 방법으로서,
    착용가능한 사용자 디바이스로부터 광이 방출되게 하는 단계;
    착용자의 피부에 의해 반사되는 상기 광의 일부분을 감지하는 단계; 및
    상기 광의 감지된 부분의 변화들에 기초하여 상기 착용자에 의해 취해진 제스처를 결정하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 광의 상기 감지된 부분의 상기 변화들은 상기 착용가능한 사용자 디바이스의 광학 센서와 상기 착용자의 피부 사이의 거리의 변화에 대응하고,
    상기 착용자의 피부에 의해 반사되는 상기 광의 상기 일부분을 감지하는 단계는, 상기 광학 센서를 사용하여 상기 광의 상기 일부분을 감지하는 단계를 포함하는, 방법.
  3. 제1항에 있어서,
    상기 광의 상기 감지된 부분의 상기 변화들은 상기 착용자의 피부에 의해 반사된 상기 광의 상기 감지된 부분의 세기 변화에 대응하는, 방법.
  4. 제1항에 있어서,
    상기 착용가능한 사용자 디바이스로부터 상기 광이 방출되게 하는 단계는,
    상기 광이 제1 LED로부터 제1 파장에서, 그리고 제2 LED로부터 상기 제1 파장과 상이한 제2 파장에서 방출되게 하는 단계를 포함하는, 방법.
  5. 제1항에 있어서,
    상기 착용가능한 사용자 디바이스로부터 상기 광이 방출되게 하는 단계는,
    상기 광이 상기 착용가능한 디바이스에 대해 일정한 각도로 방출되게 하는 단계를 포함하고, 상기 방출된 광은 수직이 아닌 각도로 상기 착용자의 피부에 입사하는, 방법.
  6. 제1항에 있어서,
    상기 착용자의 피부에 의해 반사되는 상기 광의 일부분을 감지하는 단계는, 제1 LED와 제2 LED 사이에 위치설정되는 광학 센서를 사용하여 상기 광의 상기 감지된 부분에 기초하여 신호를 발생시키는 단계를 포함하고,
    상기 착용가능한 사용자 디바이스로부터 상기 광이 방출되게 하는 단계는, 상기 제1 LED 및 상기 제2 LED로부터 상기 광이 방출되게 하는 단계를 포함하는, 방법.
  7. 제1항에 있어서,
    상기 광의 상기 감지된 부분의 변화들에 기초하여 상기 제스처를 결정하는 단계는,
    상기 착용자의 피부에 의해 반사되는 상기 광의 상기 일부분을 감지하는 데 사용되는 광학 센서에 의해 생성된 신호의 도함수에서 양의 피크, 음의 피크, 및 제로 크로싱을 식별하는 단계를 포함하는, 방법.
  8. 제1항에 있어서,
    상기 제스처는 주먹 쥐기를 포함하는, 방법.
  9. 제스처들을 결정하기 위한 착용가능한 디바이스로서,
    상기 착용가능한 디바이스가 착용될 때 착용자의 피부를 향하여 상기 디바이스로부터 광을 방출하도록 구성된 광원;
    상기 착용자의 피부에 의해 반사된 상기 광의 일부분을 감지하는 것에 기초하여 신호를 생성하도록 구성된 광학 센서;
    상기 신호의 변화들에 기초하여 상기 착용자에 의해 취해진 제스처를 결정하기 위한 컴퓨터 실행가능 명령어들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체; 및
    상기 신호를 수신하도록 연결된 프로세서 - 상기 프로세서는 상기 컴퓨터 실행가능 명령어들을 실행할 수 있음 -
    를 포함하는 착용가능한 디바이스.
  10. 제9항에 있어서,
    상기 신호의 상기 변화들은 상기 광학 센서와 상기 착용자의 피부 사이의 거리의 변화에 대응하는, 착용가능한 디바이스.
  11. 제9항에 있어서,
    상기 광학 센서에 의해 생성된 상기 신호는 상기 착용자의 피부에 의해 반사된 상기 광의 감지된 부분의 세기에 기초하여 변화하는, 착용가능한 디바이스.
  12. 제9항에 있어서,
    상기 광원은 제1 파장에서 광을 방출하도록 구성된 제1 LED, 및 상기 제1 파장과 상이한 제2 파장에서 광을 방출하도록 구성된 제2 LED를 포함하는, 착용가능한 디바이스.
  13. 제9항에 있어서,
    상기 광원은 제1 LED 및 제2 LED를 포함하고,
    상기 광학 센서는 상기 제1 LED와 상기 제2 LED 사이에 위치설정되는, 착용가능한 디바이스.
  14. 제9항에 있어서,
    상기 광원은 수직이 아닌 각도로 상기 착용자의 피부에 입사하도록 광을 지향시키기 위해 상기 착용가능한 디바이스에 대해 일정한 각도로 기울어지는(angled), 착용가능한 디바이스.
  15. 제9항에 있어서,
    상기 제스처를 결정하기 위한 상기 컴퓨터 실행가능 명령어들은, 상기 신호의 도함수에서 양의 피크, 음의 피크, 및 제로 크로싱을 식별함으로써 상기 제스처를 결정하기 위한 컴퓨터 실행가능 명령어들을 포함하는, 착용가능한 디바이스.
  16. 제9항에 있어서,
    상기 제스처는 주먹 쥐기를 포함하는, 착용가능한 디바이스.
  17. 제9항에 있어서,
    상기 광학 센서는 상기 광원에 의해 방출되는 광의 파장에 대응하는 광의 파장을 감지하도록 구성되는, 착용가능한 디바이스.
  18. 제스처들을 결정하기 위한 시스템으로서,
    착용가능한 사용자 디바이스가 착용될 때 착용자의 피부를 향하여 상기 착용가능한 사용자 디바이스로부터 광을 방출하도록 구성된 광원;
    상기 착용자의 피부에 의해 반사된 상기 광의 일부분을 감지하는 것에 기초하여 신호를 생성하도록 구성된 광학 센서;
    상기 신호의 변화들에 기초하여 상기 착용자에 의해 취해진 제스처를 결정하기 위한 컴퓨터 실행가능 명령어들을 포함하는 비일시적 컴퓨터 판독가능 저장 매체;
    상기 신호를 수신하도록 연결된 프로세서 - 상기 프로세서는 상기 컴퓨터 실행가능 명령어들을 실행할 수 있음 -; 및
    상기 프로세서에 연결된 통신 모듈 - 상기 통신 모듈은 모바일 디바이스와 통신하도록 구성됨 -
    을 포함하는 시스템.
  19. 제18항에 있어서,
    상기 비일시적 컴퓨터 판독가능 저장 매체는 상기 제스처를 결정하는 것에 응답하여 상기 통신 모듈을 통해 상기 모바일 디바이스에 커맨드를 전달하기 위한 명령어들을 추가로 포함하는, 시스템.
  20. 착용자의 손목에 착용된 착용가능한 디바이스를 사용하여 손 제스처를 간접적으로 결정하기 위한 컴퓨터 구현 방법으로서,
    상기 착용가능한 디바이스의 광원으로부터 착용자의 손목을 향하여 광이 방출되게 하는 단계 - 상기 광원은 상기 착용자의 손목의 피부에 근접하게 위치설정됨 -;
    상기 착용가능한 디바이스의 광학 센서를 사용하여 상기 착용자의 손목의 상기 피부에 의해 반사되는 상기 광의 일부분을 감지하는 단계 - 상기 광학 센서는 상기 착용자의 손목의 상기 피부에 근접하게 위치설정됨 -;
    상기 착용자의 손목의 상기 피부에 의해 반사되는 상기 광의 감지된 부분의 변화에 기초하여 상기 착용자에 의해 취해진 손 제스처를 간접적으로 결정하는 단계 - 상기 변화는 상기 광학 센서와 상기 착용자의 손목의 상기 피부 사이의 거리가 상기 손 제스처로 인해 증가하거나 감소하는 것으로부터 기인함 -
    를 포함하는 컴퓨터 구현 방법.
KR1020197025917A 2014-02-10 2014-02-10 광학 센서를 사용해 검출된 모션 제스처 입력 KR102310776B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020187023045A KR102019969B1 (ko) 2014-02-10 2014-02-10 광학 센서를 사용해 검출된 모션 제스처 입력
PCT/US2014/015647 WO2015119637A1 (en) 2014-02-10 2014-02-10 Motion gesture input detected using optical sensors

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020187023045A Division KR102019969B1 (ko) 2014-02-10 2014-02-10 광학 센서를 사용해 검출된 모션 제스처 입력

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020207029213A Division KR20200119912A (ko) 2014-02-10 2014-02-10 광학 센서를 사용해 검출된 모션 제스처 입력

Publications (2)

Publication Number Publication Date
KR20190105664A true KR20190105664A (ko) 2019-09-17
KR102310776B1 KR102310776B1 (ko) 2021-10-07

Family

ID=50185052

Family Applications (4)

Application Number Title Priority Date Filing Date
KR1020207029213A KR20200119912A (ko) 2014-02-10 2014-02-10 광학 센서를 사용해 검출된 모션 제스처 입력
KR1020197025917A KR102310776B1 (ko) 2014-02-10 2014-02-10 광학 센서를 사용해 검출된 모션 제스처 입력
KR1020187023045A KR102019969B1 (ko) 2014-02-10 2014-02-10 광학 센서를 사용해 검출된 모션 제스처 입력
KR1020167021846A KR20160117479A (ko) 2014-02-10 2014-02-10 광학 센서를 사용해 검출된 모션 제스처 입력

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020207029213A KR20200119912A (ko) 2014-02-10 2014-02-10 광학 센서를 사용해 검출된 모션 제스처 입력

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020187023045A KR102019969B1 (ko) 2014-02-10 2014-02-10 광학 센서를 사용해 검출된 모션 제스처 입력
KR1020167021846A KR20160117479A (ko) 2014-02-10 2014-02-10 광학 센서를 사용해 검출된 모션 제스처 입력

Country Status (7)

Country Link
US (2) US20160357265A1 (ko)
EP (1) EP3100134B1 (ko)
JP (1) JP6427598B2 (ko)
KR (4) KR20200119912A (ko)
CN (2) CN106062666B (ko)
AU (3) AU2014381638B2 (ko)
WO (1) WO2015119637A1 (ko)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015102588A1 (en) 2013-12-30 2015-07-09 Apple Inc. User identification system based on plethysmography
KR20200119912A (ko) 2014-02-10 2020-10-20 애플 인크. 광학 센서를 사용해 검출된 모션 제스처 입력
EP3105655A1 (en) * 2014-02-12 2016-12-21 Koninklijke Philips N.V. Movement detection apparatus for detecting a hand movement
WO2015176228A1 (zh) * 2014-05-20 2015-11-26 华为技术有限公司 手势操作智能穿戴设备的方法和智能穿戴设备
TWI558982B (zh) * 2014-09-24 2016-11-21 原相科技股份有限公司 光學感測器及光學感測系統
US10488936B2 (en) 2014-09-30 2019-11-26 Apple Inc. Motion and gesture input from a wearable device
US10863309B2 (en) * 2015-04-15 2020-12-08 Huawei Technologies Co., Ltd. Message sending method in local area network, local area network gateway, and wearable device
CN105162979B (zh) * 2015-08-26 2019-02-05 Oppo广东移动通信有限公司 一种来电静音控制方法及智能手表
US9939899B2 (en) 2015-09-25 2018-04-10 Apple Inc. Motion and gesture input from a wearable device
US11036318B2 (en) * 2015-09-30 2021-06-15 Apple Inc. Capacitive touch or proximity detection for crown
CN106020446A (zh) * 2016-05-05 2016-10-12 广东小天才科技有限公司 一种智能穿戴设备的操作控制方法和系统
CN106020444A (zh) * 2016-05-05 2016-10-12 广东小天才科技有限公司 一种智能穿戴设备的操作控制方法和系统
TWI585711B (zh) * 2016-05-24 2017-06-01 泰金寶電通股份有限公司 獲得保養信息的方法、分享保養信息的方法及其電子裝置
GB2552219A (en) * 2016-07-15 2018-01-17 Sony Interactive Entertainment Inc Wearable input device
US10178178B2 (en) * 2016-09-21 2019-01-08 Semiconductor Components Industries, Llc Low power sensor communication using two or fewer wires
US10478099B2 (en) 2016-09-22 2019-11-19 Apple Inc. Systems and methods for determining axial orientation and location of a user's wrist
WO2018058462A1 (zh) * 2016-09-29 2018-04-05 深圳市柔宇科技有限公司 控制方法、控制装置及智能穿戴设备
US10120455B2 (en) * 2016-12-28 2018-11-06 Industrial Technology Research Institute Control device and control method
JP6982619B2 (ja) * 2017-01-18 2021-12-17 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. ウェアラブルデバイスによりもたらされる紅斑の検出
US10598786B2 (en) * 2017-06-25 2020-03-24 Pixart Imaging Inc. Object state determining apparatus and object state determining method
US10558278B2 (en) 2017-07-11 2020-02-11 Apple Inc. Interacting with an electronic device through physical movement
WO2019018992A1 (zh) * 2017-07-24 2019-01-31 深圳市柔宇科技有限公司 手势识别方法、头部可穿戴设备和手势识别装置
EP3477452B1 (en) * 2017-10-27 2022-07-06 Vestel Elektronik Sanayi ve Ticaret A.S. Electronic device and method of operating an electronic device
KR20190059443A (ko) 2017-11-23 2019-05-31 주식회사 라온즈 웨어러블 및 휴대 스마트 디바이스용 광학 센싱 모듈
US10867159B2 (en) * 2018-03-09 2020-12-15 Apple Inc. Electronic device including palm biometric sensor layer and related methods
EP3570260A1 (en) * 2018-05-15 2019-11-20 Koninklijke Philips N.V. Wrist-worn medical alert device for conveying an emergency message to a caregiver
CN109240490A (zh) * 2018-08-14 2019-01-18 歌尔科技有限公司 智能穿戴设备及基于其的交互控制方法、系统
CN109271026B (zh) * 2018-09-14 2022-03-15 歌尔科技有限公司 可穿戴设备及实现鼠标功能方法、系统、装置、存储介质
US11422692B2 (en) 2018-09-28 2022-08-23 Apple Inc. System and method of controlling devices using motion gestures
CN109692471A (zh) * 2018-12-29 2019-04-30 歌尔科技有限公司 一种可穿戴设备以及交互方法
CN113366412A (zh) * 2019-01-28 2021-09-07 ams传感器新加坡私人有限公司 包括可操作以响应用户的手指移动来控制设备的光电模块的设备
CN113994190A (zh) * 2019-06-28 2022-01-28 3M创新有限公司 使用颜色感测对可穿戴对象的材料表面进行状态检测
CN112462932A (zh) * 2019-09-06 2021-03-09 苹果公司 带可穿戴或手持设备基于自混合干涉测量的手势输入系统
CN110658889A (zh) * 2019-09-23 2020-01-07 上海闻泰信息技术有限公司 可穿戴设备控制方法、装置、设备及存储介质
CN110703923A (zh) * 2019-10-25 2020-01-17 胡团伟 基于腕部或手部皮肤三维形状变化的指令输出方法及设备
KR20210052874A (ko) 2019-11-01 2021-05-11 삼성전자주식회사 복수의 센서 신호를 이용하여 사용자의 제스처를 인식하는 전자 장치
EP3864495A1 (en) 2019-12-19 2021-08-18 Google LLC Direct manipulation of display device using wearable computing device
US11016535B1 (en) * 2020-01-21 2021-05-25 Pixart Imaging Inc. Electronic device capable of detecting wearing state or touching state
US11397466B2 (en) * 2020-03-31 2022-07-26 Apple Inc. Skin-to-skin contact detection
US11397468B2 (en) 2020-03-31 2022-07-26 Apple Inc. Skin-to-skin contact detection
IT202000011221A1 (it) * 2020-05-15 2021-11-15 St Microelectronics Srl Sistema e metodo di rilevamento del sollevamento e dell'abbassamento di un piede di un utilizzatore con la finalita' di abilitare una funzionalita' di un dispositivo dell'utilizzatore, e dispositivo dell'utilizzatore
CN112416130B (zh) * 2020-11-24 2023-03-21 谢昊 一种智能运动检测装置及方法
US20220173088A1 (en) * 2020-12-02 2022-06-02 Asti Global Inc., Taiwan Method of manufacturing a display module and full screen image display device including a display module prepared in accordance with the aforementioned method
US11460919B1 (en) * 2021-03-16 2022-10-04 Zeit Technologies Corporation Wearable gesture detector
CN113370272B (zh) * 2021-05-27 2022-12-13 西安交通大学 一种多段连续体机器人的位姿监测系统及方法
CN113672093B (zh) * 2021-08-27 2024-02-02 歌尔科技有限公司 一种手势识别方法、装置、穿戴设备主体及穿戴设备
CN114722968A (zh) * 2022-04-29 2022-07-08 中国科学院深圳先进技术研究院 一种识别肢体运动意图的方法及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008027252A (ja) * 2006-07-21 2008-02-07 Brother Ind Ltd 操作信号出力装置及び操作システム
KR20090034642A (ko) * 2007-10-04 2009-04-08 박가람 팔찌형 키보드와 이를 이용한 키 입력방법
JP2009539541A (ja) * 2006-06-12 2009-11-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 皮膚観察装置、皮膚を観察する方法、観察装置、皮膚を照射治療する方法、及びｏｌｅｄの使用
KR20110022520A (ko) * 2009-08-27 2011-03-07 한국전자통신연구원 손가락 움직임 검출 장치 및 그 방법

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4819197A (en) * 1987-10-01 1989-04-04 Canadian Patents And Development Limited-Societe Canadienne Des Brevets Et D'exploitation Limitee Peak detector and imaging system
US6747632B2 (en) 1997-03-06 2004-06-08 Harmonic Research, Inc. Wireless control device
JP2001133300A (ja) 1999-11-04 2001-05-18 Sony Corp 動作認識装置及び動作認識方法、並びに力触覚提示装置及びその制御方法
US6738044B2 (en) * 2000-08-07 2004-05-18 The Regents Of The University Of California Wireless, relative-motion computer input device
JP2002360530A (ja) * 2001-06-11 2002-12-17 Waatekkusu:Kk 脈波センサ及び脈拍数検出装置
US7123351B1 (en) 2002-08-20 2006-10-17 Schaefer Philip R Method and apparatus for measuring distances using light
ATE533092T1 (de) * 2003-12-17 2011-11-15 Eta Sa Mft Horlogere Suisse Tragbares elektronisches gerät, das mit einem drucksensor ausgerüstet ist
JP4379214B2 (ja) 2004-06-10 2009-12-09 日本電気株式会社 携帯端末装置
WO2008010581A1 (fr) * 2006-07-21 2008-01-24 Brother Kogyo Kabushiki Kaisha Dispositif opérationnel et système opérationnel
US20080256494A1 (en) * 2007-04-16 2008-10-16 Greenfield Mfg Co Inc Touchless hand gesture device controller
CN101655739B (zh) * 2008-08-22 2012-07-04 原创奈米科技股份有限公司 一种三次元虚拟输入与仿真的装置
US8289162B2 (en) * 2008-12-22 2012-10-16 Wimm Labs, Inc. Gesture-based user interface for a wearable portable device
JP5543929B2 (ja) * 2009-02-05 2014-07-09 国立大学法人大阪大学 入力デバイス、ウェアラブルコンピュータ、及び入力方法
US8294105B2 (en) 2009-05-22 2012-10-23 Motorola Mobility Llc Electronic device with sensing assembly and method for interpreting offset gestures
JP4548542B1 (ja) * 2009-06-30 2010-09-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP4988016B2 (ja) * 2009-08-27 2012-08-01 韓國電子通信研究院 指の動き検出装置およびその方法
CN201548915U (zh) * 2009-10-21 2010-08-11 昆盈企业股份有限公司 穿戴式输入装置
US8669842B2 (en) * 2009-12-18 2014-03-11 Electronics And Telecommunications Research Institute Apparatus and method for controlling contents player
US9241635B2 (en) * 2010-09-30 2016-01-26 Fitbit, Inc. Portable monitoring devices for processing applications and processing analysis of physiological conditions of a user associated with the portable monitoring device
US9188460B2 (en) * 2010-09-30 2015-11-17 Fitbit, Inc. Methods, systems and devices for generating real-time activity data updates to display devices
JP2012181639A (ja) 2011-03-01 2012-09-20 Stanley Electric Co Ltd 操作入力装置
US8930300B2 (en) * 2011-03-31 2015-01-06 Qualcomm Incorporated Systems, methods, and apparatuses for classifying user activity using temporal combining in a mobile device
KR101765771B1 (ko) * 2011-05-05 2017-08-07 맥심 인터그래이티드 프로덕츠 인코포레이티드 다중 세그먼트 포토다이오드 및 하나 또는 소수의 조명 소스를 이용하는 제스처 검출 방법
US20120280900A1 (en) * 2011-05-06 2012-11-08 Nokia Corporation Gesture recognition using plural sensors
CN102801409B (zh) * 2011-05-23 2014-11-26 烟台瑞和控电信息系统有限公司 一种基于手势识别的智能开关
US20130033418A1 (en) * 2011-08-05 2013-02-07 Qualcomm Incorporated Gesture detection using proximity or light sensors
GB2502087A (en) * 2012-05-16 2013-11-20 St Microelectronics Res & Dev Gesture recognition
CN203241934U (zh) * 2012-05-15 2013-10-16 意法半导体有限公司 用于手势识别的系统、用户输入装置及处理器
US9348462B2 (en) * 2012-06-13 2016-05-24 Maxim Integrated Products, Inc. Gesture detection and recognition based upon measurement and tracking of light intensity ratios within an array of photodetectors
CN104245244B (zh) 2012-09-21 2016-01-20 艾罗伯特公司 移动机器人上的接近度感测
CN104027103A (zh) 2013-03-06 2014-09-10 精工爱普生株式会社 生物体信息检测装置以及脉搏计
US20150051473A1 (en) * 2013-08-15 2015-02-19 Covidien Lp Systems and methods for photoacoustic spectroscopy
JP6275839B2 (ja) * 2013-08-23 2018-02-07 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． リモコン装置、情報処理方法およびシステム
CN105745907A (zh) 2013-11-22 2016-07-06 夏普株式会社 通信终端、通信终端的控制方法以及控制程序
EP4071581A1 (en) * 2013-11-29 2022-10-12 Motiv Inc. Wearable computing device
US9513703B2 (en) * 2013-12-27 2016-12-06 Intel Corporation Gesture-based waking and control system for wearable devices
KR20200119912A (ko) 2014-02-10 2020-10-20 애플 인크. 광학 센서를 사용해 검출된 모션 제스처 입력

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009539541A (ja) * 2006-06-12 2009-11-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 皮膚観察装置、皮膚を観察する方法、観察装置、皮膚を照射治療する方法、及びｏｌｅｄの使用
JP2008027252A (ja) * 2006-07-21 2008-02-07 Brother Ind Ltd 操作信号出力装置及び操作システム
KR20090034642A (ko) * 2007-10-04 2009-04-08 박가람 팔찌형 키보드와 이를 이용한 키 입력방법
KR20110022520A (ko) * 2009-08-27 2011-03-07 한국전자통신연구원 손가락 움직임 검출 장치 및 그 방법

Also Published As

Publication number Publication date
EP3100134B1 (en) 2019-10-16
CN106062666A (zh) 2016-10-26
US20210157414A1 (en) 2021-05-27
EP3100134A1 (en) 2016-12-07
AU2018204039B2 (en) 2020-07-23
AU2020257155A1 (en) 2020-11-19
AU2018204039A1 (en) 2018-06-21
US11422635B2 (en) 2022-08-23
AU2020257155B2 (en) 2022-06-02
KR102310776B1 (ko) 2021-10-07
US20160357265A1 (en) 2016-12-08
KR102019969B1 (ko) 2019-09-09
KR20200119912A (ko) 2020-10-20
CN106062666B (zh) 2019-03-15
CN110045824A (zh) 2019-07-23
WO2015119637A1 (en) 2015-08-13
KR20180093113A (ko) 2018-08-20
JP6427598B2 (ja) 2018-11-21
JP2017510912A (ja) 2017-04-13
CN110045824B (zh) 2022-06-17
AU2014381638B2 (en) 2018-03-08
KR20160117479A (ko) 2016-10-10
AU2014381638A1 (en) 2016-09-22

Similar Documents

Publication Publication Date Title
US11422635B2 (en) Optical sensing device
US10191558B2 (en) Multipurpose controllers and methods
JP6669069B2 (ja) 検出装置、検出方法、制御装置、および制御方法
US10042388B2 (en) Systems and methods for a wearable touch-sensitive device
US9218055B2 (en) Devices, systems, and methods for empathetic computing
Metzger et al. Freedigiter: A contact-free device for gesture control
KR102437106B1 (ko) 마찰음을 이용하는 장치 및 방법
US20150323998A1 (en) Enhanced user interface for a wearable electronic device
US20150297140A1 (en) User stress detection and mitigation
Boldu et al. Thumb-In-Motion: Evaluating Thumb-to-Ring Microgestures for Athletic Activity
JP6725913B2 (ja) 光学センサを使用して検出されるモーションジェスチャ入力
Simpson et al. Evaluation of tooth-click triggering and speech recognition in assistive technology for computer access
Vega Gálvez [mu] Jawstures: jaw-teeth microgestures for discreet hands-and-eyes-free mobile device interaction
WO2022223741A1 (en) Wearable control system and method to control an ear-worn device
Hock Interactive Belt
Gorla Active mobile interface for smart health

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination
A107 Divisional application of patent
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2020101002729; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20201110

Effective date: 20210722

GRNO Decision to grant (after opposition)
GRNT Written decision to grant