KR102330655B1 - 자동 제스처 및 손가락 인식을 위한 정맥 스캐닝 디바이스 - Google Patents

자동 제스처 및 손가락 인식을 위한 정맥 스캐닝 디바이스 Download PDF

Info

Publication number
KR102330655B1
KR102330655B1 KR1020207004366A KR20207004366A KR102330655B1 KR 102330655 B1 KR102330655 B1 KR 102330655B1 KR 1020207004366 A KR1020207004366 A KR 1020207004366A KR 20207004366 A KR20207004366 A KR 20207004366A KR 102330655 B1 KR102330655 B1 KR 102330655B1
Authority
KR
South Korea
Prior art keywords
images
hand
gesture
user
examples
Prior art date
Application number
KR1020207004366A
Other languages
English (en)
Other versions
KR20200031133A (ko
Inventor
마이클 알. 브레넌
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20200031133A publication Critical patent/KR20200031133A/ko
Application granted granted Critical
Publication of KR102330655B1 publication Critical patent/KR102330655B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06K9/00355—
    • G06K9/00389—
    • G06K9/00885—
    • G06K9/03—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G06V40/113—Recognition of static hand signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K2009/00932—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Abstract

본 발명은 사용자의 정맥들의 하나 이상의 특성에 기초하여 사용자의 제스처 및/또는 손가락 위치들을 자동적으로 결정할 수 있는 디바이스 및 그의 동작을 위한 방법들에 관한 것이다. 디바이스는 사용자의 손의 하나 이상의 이미지를 캡처하기 위한 하나 이상의 센서(예컨대, 카메라)를 포함할 수 있다. 디바이스는 이미지(들)를 디지털 표현들로 변환할 수 있고, 정맥들의 디지털 이미지(들)를 하나 이상의 포즈에 상관시킬 수 있다. 포즈(들)로부터, 디바이스는 사용자의 손 움직임들을 결정할 수 있고, 하나 이상의 제스처 및/또는 손가락 위치가 손 움직임들로부터 결정될 수 있다. 디바이스는 제스처들 및/또는 손가락 위치들을 하나 이상의 입력 명령들로서 해석할 수 있고, 디바이스는 입력 커맨드(들)에 기초하여 동작을 수행할 수 있다. 본 발명의 예들은 가상 현실 애플리케이션들에서 사용자 입력 커맨드들을 사용하는 것을 포함한다.

Description

자동 제스처 및 손가락 인식을 위한 정맥 스캐닝 디바이스
관련 출원들에 대한 상호 참조
본 출원은 2017년 9월 29일자로 출원된 미국 특허 출원 제62/565,364호의 이익을 주장하며, 이 미국 특허 출원의 내용은 모든 목적들을 위해 그 전체가 참고로 본 명세서에 포함된다.
기술분야
본 발명은 일반적으로 사용자의 정맥들의 하나 이상의 이미지를 캡처하도록 구성된 디바이스에 관한 것이다. 보다 구체적으로, 본 개시내용은 사용자의 정맥들의 이미지들을 사용하여 제스처 및/또는 손가락 위치들을 자동으로 결정하고 터치 및 음성 입력을 요구하지 않으면서 제스처 및/또는 손가락 위치들을 디바이스에 입력으로서 수신할 수 있는 디바이스에 관한 것이다.
많은 기존의 휴대용 전자 디바이스들은 사용자가 명령들을 디바이스들에 통신하거나 디바이스들을 제어하기 위한 방법으로서 음성 또는 터치 입력을 사용한다. 일례는 보이스 명령 시스템이며, 이는 예를 들어 사람의 이름을 말함으로써 전화 번호의 다이얼링을 개시하기 위해, 특정 구두 명령들을 동작들에 매핑시킬 수 있다. 다른 예는 터치 입력 시스템이며, 여기서 사용자는 일련의 가상 버튼들을 터치하거나 터치 제스처를 수행함으로써 스피커들의 볼륨을 조정하는 것과 같은 특정 디바이스 설정을 선택할 수 있다. 음성 및 터치 입력은 디바이스를 제어하기 위한 효과적인 방식일 수 있지만, 구두 명령을 말하거나 터치 제스처를 수행하는 사용자의 능력이 제한될 수 있는 상황들이 있을 수 있다.
본 발명은, 사용자의 정맥들의 하나 이상의 특성 및 사용자가 포즈들 및/또는 손 움직임들(예컨대, 손가락 움직임들)을 수행함에 따른 특성들의 변화들에 기초하여, 사용자의 제스처 및/또는 손가락 위치들을 자동으로 결정할 수 있는 디바이스를 동작시키기 위한 디바이스 및 방법들에 관한 것이다. 디바이스는 사용자의 손의 하나 이상의 이미지를 캡처하기 위한 하나 이상의 센서(예컨대, 카메라)를 포함할 수 있다. 디바이스는 이미지(들)를 디지털 표현들로 변환할 수 있고, 정맥들의 디지털 이미지(들)를 하나 이상의 포즈에 상관시킬 수 있다. 포즈(들)로부터, 디바이스는 사용자의 손 움직임들(예컨대, 손가락 움직임들)을 결정할 수 있고, 하나 이상의 제스처 및/또는 손가락 위치가 손 움직임들(예컨대, 손가락 움직임들)로부터 결정될 수 있다. 디바이스는 제스처들 및/또는 손가락 위치들을 하나 이상의 입력 명령으로서 해석할 수 있고, 디바이스는 입력 명령(들)에 기초하여 동작을 수행할 수 있다. 사용자의 정맥들의 움직임들을 검출하고 움직임들을 입력 명령들과 연관시킴으로써, 디바이스는, 예를 들어, 음성 및 터치 입력에 더하여 또는 그 대신에, 다른 수단을 통해 사용자 입력 명령들을 수신할 수 있다. 본 개시내용의 예들은 가상 현실(VR)(증강 현실(AR) 및 혼합 현실(MR)을 포함함) 애플리케이션들에서 사용자 입력 명령들을 사용하는 것을 포함한다.
도 1a 내지 도 1c는 본 개시내용의 예들이 구현될 수 있는 시스템들을 도시한다.
도 2는 본 개시내용의 예들에 따른 호스트 디바이스와 무선으로 통신하는 예시적인 웨어러블 디바이스를 도시한다.
도 3은 본 개시내용의 예들에 따른 예시적인 웨어러블 디바이스의 블록도를 도시한다.
도 4a 및 도 4b는 본 개시내용의 예들에 따른 예시적인 사용자의 손의 평면도들을 도시한다.
도 5a는 본 개시내용의 예들에 따른 PPG 신호를 결정하기 위한 예시적인 디바이스의 하면의 평면도를 도시한다.
도 5b는 본 개시내용의 예들에 따른 디바이스의 크라운 상에 위치된 하나 이상의 센서를 갖는 예시적인 웨어러블 디바이스의 사시도를 도시한다.
도 5c는 본 개시내용의 예들에 따른 스트랩 상에 위치한 하나 이상의 센서를 갖는 예시적인 웨어러블 디바이스의 사시도를 도시한다.
도 6a는 본 개시내용의 예들에 따른 제스처 및/또는 손가락 위치들을 검출하기 위한 예시적인 프로세스를 도시한다.
도 6b 및 도 6c는 본 개시내용의 예들에 따른 사용자의 정맥들의 이미지들의 예시적인 디지털 표현들을 도시한다.
도 6d는 본 개시내용의 예들에 따른, 사용자의 제스처 및/또는 손가락 위치들을 예측하기 위한 예시적인 프로세스를 도시한다.
도 7a는 본 개시내용의 예들에 따른 하나 이상의 제스처 및/또는 손가락 위치를 기록하기 위한 예시적인 프로세스를 도시한다.
도 7b는 본 개시내용의 예들에 따른 하나 이상의 제스처 및/또는 손가락 위치를 예측하고 예측을 기록하기 위한 예시적인 프로세스를 도시한다.
예들의 다음 설명에서, 첨부된 도면들이 참조되며, 실시될 수 있는 특정 예들이 도면들 내에서 예시로서 도시된다. 다양한 예들의 범주를 벗어나지 않으면서 다른 예들이 이용될 수 있고 구조적 변경이 행해질 수 있다는 것이 이해되어야 한다. 본 명세서에 기술되거나 언급된 하나 이상의 양태 및/또는 특징의 철저한 이해를 제공하기 위해 다수의 구체적인 세부사항들이 기재된다. 그러나, 본 명세서에 기술되거나 언급된 하나 이상의 양태 및/또는 특징이 이 구체적인 세부사항들의 일부 또는 전부 없이 실시될 수 있다는 것이 통상의 기술자에게 명백할 것이다. 다른 경우들에서, 공지된 프로세스 단계들 및/또는 구조들은 본 명세서에 기술되거나 언급된 양태들 및/또는 특징들의 일부를 모호하게 하지 않도록 상세히 기술되지 않았다.
본 발명은, 사용자의 정맥들의 하나 이상의 특성 및 사용자가 포즈들 및/또는 손 움직임들(예컨대, 손가락 움직임들)을 수행함에 따른 특성들의 변화들에 기초하여, 사용자의 제스처 및/또는 손가락 위치들을 자동으로 결정할 수 있는 디바이스를 동작시키기 위한 디바이스 및 방법들에 관한 것이다. 디바이스는 사용자의 손의 하나 이상의 이미지를 캡처하기 위한 하나 이상의 센서(예컨대, 카메라)를 포함할 수 있다. 디바이스는 이미지(들)를 디지털 표현들로 변환할 수 있고, 정맥들의 디지털 이미지(들)를 하나 이상의 포즈에 상관시킬 수 있다. 포즈(들)로부터, 디바이스는 사용자의 손 움직임들(예컨대, 손가락 움직임들)을 결정할 수 있고, 하나 이상의 제스처 및/또는 손가락 위치가 손 움직임들(예컨대, 손가락 움직임들)로부터 결정될 수 있다. 디바이스는 제스처들 및/또는 손가락 위치들을 하나 이상의 입력 명령으로서 해석할 수 있고, 디바이스는 입력 커맨드(들)에 기초하여 동작을 수행할 수 있다. 사용자의 정맥들의 움직임들을 검출하고 움직임들을 입력 명령들과 연관시킴으로써, 디바이스는, 예를 들어, 음성 및 터치 입력에 더하여 또는 그 대신에, 다른 수단을 통해 사용자 입력 명령들을 수신할 수 있다.
본 개시내용에 따른 장치들 및 방법들의 대표적인 응용들이 이 섹션에 기술된다. 이 예들은 단지 맥락을 부가하고 설명된 예의 이해를 돕기 위하여 제공된다. 따라서, 기술된 예들이 구체적인 세부사항들의 일부 또는 전부가 없어도 실시될 수 있다는 것이 통상의 기술자에게 명백할 것이다. 다른 응용예들도 가능하며, 따라서 이하의 예들은 제한하는 것으로 간주되어서는 안된다.
도 1a 내지 도 1c는 본 발명의 예가 구현될 수 있는 시스템을 도시한다. 도 1a는 터치 스크린(124)을 포함할 수 있는 예시적인 모바일 전화기(136)를 도시한다. 도 1b는 터치 스크린(126)을 포함할 수 있는 예시적인 미디어 플레이어(140)를 도시한다. 도 1c는 터치 스크린(128)을 포함할 수 있고 스트랩(146)을 사용하여 사용자에게 부착될 수 있는 예시적인 웨어러블 디바이스(144)를 도시한다. 개시될 바와 같이, 도 1a 내지 도 1c의 시스템들은 근적외선 정맥 스캐닝 디바이스 및 그의 동작을 위한 방법들을 이용할 수 있다.
도 2는 본 개시내용의 예들에 따른 호스트 디바이스와 무선으로 통신하는 예시적인 웨어러블 디바이스를 도시한다. 웨어러블 디바이스(244)는 스트랩(246)에 연결된 전면부(face portion)(204)를 갖는 손목시계형 디바이스일 수 있다. 전면부(204)는 웨어러블 디바이스(244)가 어디에 착용되도록 의도되어 있는지에 따라 적절한 크기로 되어 있을 수 있는, 예컨대, 터치스크린 디스플레이(228)를 포함할 수 있다. 사용자는 터치스크린 디스플레이(228) 상에서 웨어러블 디바이스(244)에 의해 제시되는 정보를 볼 수 있고, 터치스크린 디스플레이(228)를 터치함으로써 웨어러블 디바이스(244)에 입력을 제공할 수 있다. 일부 예들에서, 터치스크린 디스플레이(228)는 전면부(204)의 전방 표면의 대부분 또는 전체를 점유할 수 있다.
전면부(204)의 반대편은 배면부(back portion)(205)일 수 있다. 배면부(205)는 (아래에서 논의되는) 생리학적 정보를 측정하기 위한 하나 이상의 센서를 포함할 수 있다. 또한, (디바이스에 포함된 다른 컴포넌트들에 더하여 또는 그 대신에) 배면부(205)는, 아래에서 논의되는 바와 같이, 정맥 스캐닝을 위한 근적외선/적외선(near-IR/IR) 카메라들을 포함할 수 있다.
스트랩(246)(본 명세서에서 손목밴드 또는 손목 스트랩으로도 지칭됨)이 제공되어, 웨어러블 디바이스(244)는 사용자에 의해 (예컨대, 사용자의 손목 둘레에) 벗겨질 수 있게 착용될 수 있다. 일부 예들에서, 스트랩(246)은 가요성 재료(예컨대, 직물, 가요성 플라스틱, 피혁, 체인 링크 또는 금속 또는 다른 강성 재료들로 제조된 가요성으로 인터리브(interleave)된 판 또는 링크)를 포함할 수 있으며, (예컨대 힌지, 루프, 또는 다른 적합한 부착 디바이스 또는 홀더에 의해) 전면부(204)에 연결될 수 있다. 일부 예들에서, 스트랩(246)은 클래스프(208)에 의해 연결된 강성 재료의 2개 이상의 섹션들로 제조될 수 있다. 하나 이상의 힌지가 (예컨대, 사용자가 웨어러블 디바이스(244)를 착용하고 벗게 할 수 있도록) 전면부(204)와 스트랩(246)의 근위 단부들(212A, 212B)의 연결부 및/또는 스트랩(246)의 길이를 따르는 다른 곳에 위치될 수 있다. 스트랩(246)의 상이한 부분들은 상이한 재료들을 포함할 수 있다. 예를 들어, 스트랩(246)은 강성 섹션들과 교번하는 가요성 또는 확장가능형 섹션들을 포함할 수 있다. 일부 예들에서, 스트랩(246)은 제거가능한 섹션들을 포함하여, 웨어러블 디바이스(244)가 특정 사용자의 손목 크기를 수용하도록 크기조정되게 할 수 있다. 일부 예들에서, 스트랩(246)은 전면부(204) 뒤에서 또는 그것을 관통하여 이어지는 연속적 스트랩 부재의 부분들을 포함할 수 있다. 전면부(204)는 스트랩(246)으로부터 분리가능하거나, 스트랩(246)에 영구적으로 부착되거나, 또는 스트랩(246)과 일체형으로 형성될 수 있다.
일부 예들에서, 스트랩(246)은 스트랩(246)의 원위 단부들의 연결 및 연결해제를 용이하게 할 수 있는 클래스프(208)를 포함할 수 있다. 일부 예들에서, 클래스프(208)는 버클들, 자기 클래스프들, 기계적 클래스프들, 스냅 클로저들 등을 포함할 수 있다. 일부 예들에서, 웨어러블 디바이스(244)는 특정 사용자의 손목 크기를 수용하도록 크기조정될 수 있다. 따라서, 웨어러블 디바이스(244)는 클래스프(208)와 맞물림으로써 사용자의 신체에(예컨대, 사용자의 손목 둘레에) 고정될 수 있다. 클래스프(208)는 사용자의 신체로부터 웨어러블 디바이스(244)를 제거하는 것을 용이하게 하기 위해 차후에 분리(disengage)될 수 있다.
다른 예들에서, 스트랩(246)은 (예컨대, 탄성 직물들, 팽창가능한 금속 링크들, 또는 탄성 및 비탄성 섹션들의 조합을 포함한) 탄성 재료의 연속적 밴드로서 형성되어, 전면부(204)에 연결된 스트랩(246)에 의해 형성된 밴드를 늘림으로써 웨어러블 디바이스(244)가 착용되고 벗겨지게 할 수 있다. 일부 경우들에서, 클래스프(208)가 필요하지 않을 수도 있다.
(존재할 수 있는 임의의 클래스프를 포함한) 스트랩(246)은 웨어러블 디바이스(244)로 하여금 임의의 주어진 시간에 디바이스가 사용자에 의해 착용되어 있는지 여부를 결정하게 할 수 있는 하나 이상의 센서를 포함할 수 있다. 웨어러블 디바이스는 디바이스가 현재 착용되어 있는지 여부에 따라 상이하게 동작할 수 있다. 예를 들어, 웨어러블 디바이스(244)는 그것이 착용되어 있지 않을 때 다양한 사용자 인터페이스 및/또는 RF 인터페이스 컴포넌트들을 비활성화시킬 수 있다. 또한, 일부 예들에서, 웨어러블 디바이스(244)는 사용자가 웨어러블 디바이스(244)를 착용하거나 벗을 때 호스트 디바이스(236)에 통지할 수 있다. 또한, 스트랩(246)은 (디바이스에 포함된 다른 구성요소에 더하여 또는 그 대신에) 아래에서 논의되는 바와 같이, 정맥 스캐닝을 위한 근적외선/적외선 카메라들을 포함할 수 있다.
웨어러블 디바이스(244)는 또한 크라운(218)을 포함할 수 있다. 크라운(218)은 기계적 컴포넌트(예컨대, 시계를 감기 위한 스템 또는 샤프트 상단의 캡)일 수 있다. 사용자는 웨어러블 디바이스에 입력을 제공하기 위해 크라운을 누르고, 회전시키고/회전시키거나 터치할 수 있다. 예를 들어, 크라운(218)은 다수의(예컨대, 2 개의) 회전 방향들로(예컨대, 전방 및 후방, 또는 시계 방향 및 반시계 방향으로) 회전할 수 있다. 크라운(218)은 또한 (예컨대, 버튼과 같이) 터치스크린 디스플레이(228)를 향해 푸시될 수 있고/있거나 터치스크린 디스플레이(228)로부터 멀어지게 당겨질 수 있다. 크라운(218)은, 예를 들어, 사용자가 크라운을 터치하고 있는지 여부를 검출할 수 있는 용량성 터치 기술들(예컨대, 자기 정전용량, 상호 정전용량) 또는 다른 적합한 기술들을 사용하는 터치 감응형일 수 있다. 일부 예들에서, 크라운(218)은 또한 크라운(218)에 대한 물체(예컨대, 손가락)의 터치 및/또는 근접성을 검출하기 위한 센서의 일부로서 사용될 수 있다. 크라운(218)은 또한, 일부 예들에서, 하나 이상의 방향으로 틸팅하거나, 적어도 부분적으로 웨어러블 디바이스(244)의 하우징의 주변부 둘레의 트랙을 따라 슬라이딩하도록 추가로 구성될 수 있다. 일부 예들에서, 하나 초과의 크라운(218)이 웨어러블 디바이스(244)에 포함될 수 있다. 또한, 크라운(218)은 (디바이스에 포함된 다른 컴포넌트들에 더하여 또는 그 대신에) 아래에서 논의되는 바와 같이, 정맥 스캐닝을 위한 근적외선/적외선 카메라들을 포함할 수 있다.
호스트 디바이스(236)는 웨어러블 디바이스(244)와 통신할 수 있는 임의의 디바이스일 수 있다. 호스트 디바이스(236)는 도면에서 스마트 폰으로서 도시되지만, 본 개시내용의 예들은 다른 디바이스들, 예컨대 태블릿 컴퓨터, 미디어 플레이어, 임의의 유형의 모바일 디바이스, 랩톱 또는 데스크톱 컴퓨터 등을 포함할 수 있다. 호스트 디바이스들의 다른 예들은 판매 시점 단말기, 보안 시스템, 환경 제어 시스템 등을 포함할 수 있다. 호스트 디바이스(236)는 예를 들어, 블루투스 또는 Wi-Fi와 같은 프로토콜들을 이용하여 웨어러블 디바이스(244)와 무선으로 통신할 수 있다. 일부 예들에서, 웨어러블 디바이스(244)는 전기 커넥터(도시되지 않음)를 포함할 수 있으며, 이는, (예컨대, 적합한 케이블들을 이용함으로써) 호스트 디바이스(236) 및/또는 다른 디바이스들에 대한 유선 연결을 제공하는 데 사용될 수 있다. 예를 들어, 커넥터는 웨어러블 디바이스(244)의 온보드 배터리(도시되지 않음)를 충전하기 위해 전력 공급원에 연결하는 데 사용될 수 있다.
일부 예들에서, 웨어러블 디바이스(244)와 호스트 디바이스(236)는 호스트 디바이스(236) 상에서 이용가능한 기능성을 향상시키기 위해 상호동작할 수 있다. 예를 들어, 웨어러블 디바이스(244)와 호스트 디바이스(236)는 블루투스와 같은 무선 통신 기술을 이용하여 페어링(pairing)을 설정할 수 있다. 디바이스들이 페어링되어 있는 동안, 호스트 디바이스(236)는 선택된 이벤트들(예컨대, 전화 호출, 텍스트 메시지, 또는 이메일 메시지를 수신하는 것)의 통지들을 웨어러블 디바이스(244)로 송신할 수 있고, 웨어러블 디바이스(244)는 대응하는 경보들을 사용자에게 제시할 수 있다. 웨어러블 디바이스(244)는 또한 사용자가 (예컨대, 전화 호출에 응답하기 위해 또는 텍스트 메시지에 답하기 위해) 경보에 응답할 수 있는 입력 인터페이스를 제공할 수 있다. 일부 예들에서, 웨어러블 디바이스(244)는 또한 사용자가, 호스트 디바이스(236) 상의 액션, 예컨대 호스트 디바이스(236)를 잠금해제하거나 그것의 디스플레이 스크린을 켜는 것, 전화를 거는 것, 텍스트 메시지를 보내는 것, 또는 호스트 디바이스(236)의 미디어 재생 동작들을 제어하는 것을 가능할 수 있게 하는, 사용자 인터페이스를 제공할 수 있다. 본 명세서에서 기술된 기법들은 광범위한 호스트 디바이스 기능들이, 웨어러블 디바이스(244)를 통해 인터페이스를 제공함으로써 향상될 수 있도록 구성될 수 있다.
웨어러블 디바이스(244) 및 호스트 디바이스(236)는 예시적이며, 변형들 및 수정들이 가능하다는 것이 이해될 것이다. 예를 들어, 웨어러블 디바이스(244)는 시계, 팔찌 등을 포함한, 다양한 착용가능한 물품들에서 구현될 수 있다. 일부 예들에서, 웨어러블 디바이스(244)는 호스트 디바이스(236)가 웨어러블 디바이스(244)와 통신하는지 여부와 무관하게 동작할 수 있고; 별개의 호스트 디바이스가 요구되지 않을 수 있다.
도 3은 본 개시내용의 예들에 따른 예시적인 웨어러블 디바이스의 블록도를 도시한다. 디바이스(344)는 프로세싱 서브시스템(302), 저장 서브시스템(304), 사용자 인터페이스(306), RF 인터페이스(308), 커넥터 인터페이스(310), 전력 서브시스템(312), 디바이스 센서들(314), 및 스트랩 센서들(316)을 포함할 수 있다. 디바이스(344)는 또한 다른 컴포넌트들(명시적으로 도시되지 않음)을 포함할 수 있다.
저장 서브시스템(304)은, 예를 들어, 자기 저장 매체, 플래시 메모리, 다른 반도체 메모리(예컨대, DRAM, SRAM), 또는 임의의 다른 비일시적 저장 매체, 또는 매체들의 조합을 사용하여 구현될 수 있으며, 휘발성 및/또는 비휘발성 매체들을 포함할 수 있다. 일부 예들에서, 저장 서브시스템(304)은 오디오 파일들, 비디오 파일들, 이미지 또는 아트워크 파일들과 같은 미디어 항목들을 저장할 수 있다. 저장 서브시스템(304)은 또한 사용자의 연락처들(예컨대, 이름들, 주소들, 전화 번호들 등)로부터의 정보, 사용자의 스케줄링된 약속들 및 이벤트들, 노트들에 대한 정보, 및/또는 다른 유형들의 정보에 관한 정보를 저장할 수 있다. 일부 예들에서, 저장 서브시스템(304)은 또한 프로세싱 서브시스템(302)에 의해 실행될 하나 이상의 애플리케이션 프로그램("앱")(334)(예컨대, 비디오 게임 프로그램들, 개인 정보 관리 프로그램들, 미디어 재생 프로그램들, 특정의 호스트 디바이스들 및/또는 호스트 디바이스 기능성들과 연관된 인터페이스 프로그램들 등)을 저장할 수 있다.
사용자 인터페이스(306)는 입력 및 출력 디바이스들의 임의의 조합을 포함할 수 있다. 사용자는 디바이스(344)의 기능성을 호출하기 위해 사용자 인터페이스(306)에 포함된 입력 디바이스들을 동작시킬 수 있고, 사용자 인터페이스(306)의 출력 디바이스들을 통해 디바이스(344)로부터의 출력을 보고, 듣고, 그리고/또는 다른 방식으로 경험할 수 있다.
출력 디바이스들의 예들은 디스플레이(320), 스피커들(322), 및 햅틱 출력 생성기(324)를 포함할 수 있다. 디스플레이(320)는 콤팩트 디스플레이 기술들(예컨대, 액정 디스플레이(LCD), 발광 다이오드(LED), 유기 발광 다이오드(OLED) 등)을 사용하여 구현될 수 있다. 일부 예들에서, 디스플레이(320)는 가요성 디스플레이 요소 또는 만곡된-유리 디스플레이 요소를 포함하여, 디바이스(344)가 원하는 형상에 일치하게 할 수 있다. 하나 이상의 스피커(322)는 전자 신호들을 가청 음파들로 변환할 수 있는 임의의 기술을 포함한, 소형 폼 팩터 스피커 기술들을 사용하여 제공될 수 있다. 일부 예들에서, 스피커들(322)은 톤들(예컨대, 비핑(beeping) 또는 링잉(ringing))을 생성하는 데 사용될 수 있고, 음성 또는 음악과 같은 사운드들을 임의의 특정 정도의 충실도(fidelity)로 재현(reproduce)할 수 있지만, 그럴 필요는 없다. 햅틱 출력 생성기(324)는, 예컨대, 전자 신호들을 진동들로 변환할 수 있는 디바이스일 수 있다. 일부 예들에서, 진동들은 디바이스(344)를 착용한 사용자에 의해 느껴질만큼 충분히 강하지만 별개의 사운드들을 생성할만큼 그렇게 강하지는 않을 수 있다.
입력 디바이스들의 예들은 마이크로폰(326), 터치 센서(328), 및 카메라(329)를 포함할 수 있다. 마이크로폰(326)은 음파들을 전자 신호들로 변환하는 임의의 디바이스를 포함할 수 있다. 일부 예들에서, 마이크로폰(326)은 사용자가 말하는 특정 단어들의 표현을 제공하도록 충분히 민감할 수 있다. 다른 예들에서, 마이크로폰(326)은 특정 사운드들의 고품질 전자적 표현을 꼭 제공하는 것은 아니면서 일반적인 주변 사운드 레벨들의 표시들을 제공하는 데 사용가능할 수 있다.
터치 센서(328)는, 예를 들어 접촉들을 센서의 표면 상의 특정 지점(들) 또는 영역에 국한시키는 능력을 갖는 용량성 센서 어레이를 포함할 수 있다. 일부 예들에서, 터치 센서(328)는 다수의 동시 접촉들을 구별할 수 있다. 일부 예들에서, 터치 센서(328)는 디스플레이(320) 위에 덮어씌워져 터치스크린 인터페이스(예컨대, 도 2의 터치스크린 디스플레이(228))를 제공할 수 있으며, 프로세싱 서브시스템(302)은, 디스플레이(320) 상에 현재 무엇이 디스플레이되는지에 따라 터치 이벤트들(하나 이상의 접촉으로 행해진 탭들 및/또는 다른 제스처들을 포함함)을 특정 사용자 입력들로 변환할 수 있다.
카메라(329)는, CMOS 센서와 같은 이미지 센서 및 이미지를 이미지 센서 상으로 포커싱하도록 배열된 광학 컴포넌트들(예컨대, 렌즈들)을, 이미징 컴포넌트들을 사용하여 스틸 및/또는 비디오 이미지들을 캡처하여 저장하도록 동작가능한 제어 로직과 함께 포함하는, 예를 들어, 콤팩트 디지털 카메라를 포함할 수 있다. 이미지들은, 예를 들어, 저장 서브시스템(304)에 저장될 수 있고/있거나 저장을 위해 디바이스(344)에 의해 다른 디바이스들로 전송될 수 있다. 구현에 따라, 광학 컴포넌트들은 고정 초점 거리 또는 가변 초점 거리를 제공할 수 있다. 일부 예들에서, 가변 초점 거리에 의해, 오토포커싱이 제공될 수 있다. 일부 예들에서, 카메라(329)는 전면 부재의 에지(예컨대, 도 2의 페이스 부분(204)의 상부 에지)를 따라 배치될 수 있고, 사용자가 바코드 또는 QR 코드와 같은 환경 내의 근방의 물체들의 이미지들을 캡처할 수 있도록 배향될 수 있다. 다른 예들에서, 카메라(329)는 (예컨대, 사용자의 이미지들을 캡처하기 위해) 페이스 부분의 전방 표면 상에 배치될 수 있다. 일부 예들에서, 카메라는 배면부(예컨대, 도 2 에 도시된 배면부(205)) 상에 위치될 수 있고, 사용자의 이미지들(예컨대, 사용자의 손)을 캡처할 수 있다. 구현예에 따라, 임의의 수의 카메라들이 제공될 수 있다.
일부 예들에서, 사용자 인터페이스(306)는 헤드셋과 같은 보조 디바이스로 출력을 제공할 수 있고/있거나 그로부터 입력을 수신할 수 있다. 예를 들어, 오디오 잭(330)은 오디오 케이블(예컨대, 표준 2.5-mm 또는 3.5-mm 오디오 케이블)을 통해 보조 디바이스에 연결될 수 있다. 오디오 잭(330)은 입력 및/또는 출력 경로들을 포함할 수 있다. 따라서, 오디오 잭(330)은 보조 디바이스에 오디오를 제공할 수 있고/있거나 보조 디바이스로부터 오디오를 수신할 수 있다. 일부 예들에서, 무선 연결 인터페이스가 보조 디바이스와 통신하는 데 사용될 수 있다.
프로세싱 서브시스템(302)은 하나 이상의 집적회로(예컨대, 하나 이상의 단일-코어 또는 멀티-코어 마이크로프로세서 또는 마이크로컨트롤러)로서 구현될 있다. 동작시, 프로세싱 시스템(302)은 디바이스(344)의 동작을 제어할 수 있다. 일부 예들에서, 프로세싱 서브시스템(302)은 프로그램 코드에 응답하여 다양한 프로그램들을 실행할 수 있고, 다수의 동시에 실행되는 프로그램들 또는 프로세스들을 유지할 수 있다. 임의의 주어진 시간에, 실행될 프로그램 코드의 일부 또는 전부는 프로세싱 서브시스템(302)에 그리고/또는 저장 서브시스템(304)과 같은 저장 매체들에 저장될 수 있다.
적합한 프로그래밍을 통해, 프로세싱 서브시스템(302)은 디바이스(344)에 다양한 기능성을 제공할 수 있다. 예를 들어, 프로세싱 서브시스템(302)은 운영 시스템(OS)(332) 및 다양한 앱들(334), 예컨대 전화-인터페이스 애플리케이션, 텍스트-메시지-인터페이스 애플리케이션, 미디어 인터페이스 애플리케이션, 피트니스 애플리케이션, 및/또는 다른 애플리케이션들을 실행할 수 있다. 일부 예들에서, 이 앱들(334)의 일부 또는 전부는, 예를 들어, 호스트 디바이스로 송신될 메시지들을 생성하는 것에 의해 그리고/또는 호스트 디바이스로부터 메시지들을 수신하고 해석하는 것에 의해, 호스트 디바이스와 상호작용할 수 있다. 일부 예들에서, 애플리케이션 프로그램들의 일부 또는 전부는 디바이스(344)에 로컬로 동작할 수 있다. 예를 들어, 디바이스(344)가 저장 서브시스템(304)에 저장된 로컬 미디어 라이브러리를 갖는 경우, 미디어 인터페이스 애플리케이션은 로컬로 저장된 미디어 항목들을 선택 및 재생하기 위한 사용자 인터페이스를 제공할 수 있다. 프로세싱 서브시스템(302)은 또한, 예를 들어, 제스처 프로세싱 코드(336)(원하는 바에 따라, OS(332)의 일부이거나 별개로 제공될 수 있음)를 실행함으로써, 손목-제스처-기반 제어를 제공할 수 있다.
RF(라디오 주파수) 인터페이스(308)는 디바이스(344)가 다양한 호스트 디바이스들과 무선으로 통신하게 해줄 수 있다. RF 인터페이스(308)는 (예컨대, Wi-Fi/IEEE 802.11 패밀리 표준들을 사용하는) 무선 매체, 블루투스, 또는 무선 데이터 통신을 위한 다른 프로토콜들을 통해 데이터 통신을 가능하게 해주기 위해, 안테나 및 지원 회로부와 같은 RF 트랜시버 컴포넌트들을 포함할 수 있다. RF 인터페이스(308)는 하드웨어(예컨대, 드라이버 회로, 안테나, 변조기/복조기, 인코더/디코더, 및 다른 아날로그 및/또는 디지털 신호 처리 회로) 및 소프트웨어 컴포넌트들의 조합을 사용하여 구현될 수 있다. 일부 예들에서, RF 인터페이스(308)는 (예컨대, ISO/IEC 18092 표준들 또는 이와 유사한 것을 구현하는) 근거리 통신(near-field communication)("NFC") 능력을 제공할 수 있다. 일부 예들에서, NFC는 매우 짧은 범위(예컨대, 20 센티미터 이하)에 걸쳐 디바이스들 사이의 무선 데이터 교환을 지원할 수 있다. 다수의 상이한 무선 통신 프로토콜들 및 연관된 하드웨어가 RF 인터페이스(308) 내에 통합될 수 있다.
커넥터 인터페이스(310)는 디바이스(344)가 유선 통신 경로를 통해, 예를 들어, USB(Universal Serial Bus), UART(universal asynchronous receiver/transmitter), 또는 유선 데이터 통신을 위한 다른 프로토콜들을 사용하여, 다양한 호스트 디바이스들과 통신하게 해줄 수 있다. 일부 예들에서, 커넥터 인터페이스(310)는 전력 포트를 제공하여, 디바이스(344)가, 예를 들어, 배터리(340)를 충전시키기 위해, 전력을 수신하게 해줄 수 있다. 예를 들어, 커넥터 인터페이스(310)는 미니-USB 커넥터 또는 커스텀 커넥터와 같은 커넥터는 물론, 지원 회로부를 포함할 수 있다. 일부 예들에서, 커넥터는 전용 전력 및 접지 접속부들은 물론, 상이한 통신 기술들을 병렬적으로 구현하는 데 사용될 수 있는 디지털 데이터 접속부들을 제공할 수 있는 커스텀 커넥터일 수 있다. 예를 들어, 2개의 핀들이 USB 데이터 핀들(D+ 및 D-)로서 배정될 수 있고, 2개의 다른 핀들이 (예컨대, UART 인터페이스를 구현하는) 직렬 송신/수신 핀들로서 배정될 수 있다. 특정의 통신 기술들에 대한 핀들의 배정은 하드웨어일 수 있거나, 연결이 확립되는 동안에 협상될 수 있다. 일부 예들에서, 커넥터는 또한 오디오 및/또는 비디오 신호들을 위한 연결부들을 제공할 수 있으며, 이는 호스트 디바이스로 또는 그로부터, 아날로그 및/또는 디지털 포맷들로 전송될 수 있다.
일부 예들에서, 커넥터 인터페이스(310) 및/또는 RF 인터페이스(308)는 호스트 디바이스로부터 디바이스(344)로(또는 그 반대로) 데이터가 전달될 수 있는 동기화 동작들을 지원하는 데 사용될 수 있다. 예를 들어, 하기에 기술되는 바와 같이, 사용자는 소정 정보를 디바이스(344)에 대해 커스터마이즈할 수 있다(예컨대, 손목-제스처 제어에 관련된 설정들). 사용자 인터페이스(306)가 데이터-입력 동작들을 지원할 수 있지만, 사용자는, (예컨대, 실제 또는 가상 영숫자 키보드를 포함한) 보다 큰 인터페이스를 가질 수 있는 별개의 디바이스(예컨대, 태블릿 또는 스마트폰) 상에서 커스터마이즈된 정보를 정의하는 것이 보다 편리하다는 것을 알 수 있다. 커스터마이즈된 정보는 동기화 동작을 통해 웨어러블 디바이스로 전송될 수 있다. 동기화 동작들은 또한 미디어 항목, 애플리케이션 프로그램, 개인 데이터, 및/또는 운영 시스템 프로그램과 같은 다른 유형들의 데이터를 저장 서브시스템(304)에 로딩 및/또는 업데이트하는 데 사용될 수 있다. 동기화 동작들은 명시적 사용자 요청에 응답하여 그리고/또는 자동으로, 예컨대, 디바이스(344)가 특정의 호스트 디바이스와의 통신을 재개할 때 또는 어느 하나의 디바이스가 동기화된 정보의 자신의 사본에 대한 업데이트를 수신하는 것에 응답하여, 수행될 수 있다.
디바이스 센서들(314)은 디바이스(344) 주위의 외부 조건들에 관련된 정보를 제공할 수 있는 다양한 전자, 기계, 전자기계, 광학, 및/또는 다른 장치를 포함할 수 있다. 센서들(314)은, 예를 들어, 원하는 바에 따라 스트리밍 기반으로, 또는 프로세스 서브시스템(302)에 의한 폴링(polling)에 응답하여, 디지털 신호들을 프로세싱 서브시스템(302)에 제공할 수 있다. 임의의 유형 및 조합의 디바이스 센서들이 사용될 수 있다. 예를 들어, 디바이스 센서들(314)은 가속도계(342), 자력계(344), 자이로스코프 센서(346), GPS(글로벌 포지셔닝 시스템) 수신기(348), 광 센서들(362), 및 기압 센서들(364)을 포함할 수 있다. 디바이스 센서들(314) 중 하나 이상은 디바이스(344)의 위치 및/또는 움직임에 관한 정보를 제공할 수 있다. 예를 들어, 가속도계(342)는, 예를 들어, 압전 또는 다른 컴포넌트들을 연관된 전자장치들과 함께 사용하여, 하나 이상의 축을 따르는 (예컨대, 자유낙하에 대한) 가속도를 감지하여, 신호를 생성할 수 있다. 자력계(344)는 주변 자기장(예컨대, 지구의 자기장)을 감지할 수 있고, 나침반 방향으로서 해석될 수 있는, 대응하는 전기 신호를 생성할 수 있다. 자이로스코프 센서(346)는, 예를 들어, 하나 이상의 MEMS(micro-electro-mechanical systems) 자이로스코프 및 관련된 제어 및 감지 회로부를 사용하여, 하나 이상의 방향에서의 회전 움직임을 감지할 수 있다. GPS 수신기(348)는 GPS 위성들로부터 수신된 신호들에 기초하여 위치를 결정할 수 있다. 광학 센서들(362)은, 예를 들어, 사용자와 연관된 광명명도(PPG) 정보를 결정하는 데 사용되는 광의 하나의 또는 광학적 특성들을 감지할 수 있다. 일부 예들에서, 광학 센서들(362)은 주변광 특성들을 결정하기 위해 주변광 센서들(ALS)을 포함할 수 있다. 기압 센서들(364)은 디바이스의 수직 위치 정보를 해결하기 위해 대기압을 감지할 수 있다.
다른 센서들이 또한 이들 예들에 추가하여 또는 그 대신에 포함될 수 있다. 예를 들어, 사운드 센서는, 예를 들어, 주변 사운드의 데시벨 레벨을 결정하기 위해 마이크로폰(326)을 연관된 회로부 및/또는 프로그램 코드와 함께 포함할 수 있다. 온도 센서들, 근접 센서들, 초음파 센서들, 또는 이와 유사한 것이 또한 포함될 수 있다.
스트랩 센서들(316)은 디바이스(344)가 현재 착용되어 있는지 여부에 관한 정보뿐만 아니라, 사용자의 손목의 움직임으로 인해 스트랩 상에 작용하고 있을 수 있는 힘에 관한 정보를 제공할 수 있는 다양한 전자, 기계, 전자기계, 광학, 또는 다른 디바이스들을 포함할 수 있다. 예를 들어, 스트랩 센서들(316)은 후술되는 바와 같이 광학 센서들 및/또는 하나 이상의 카메라를 포함할 수 있다. 일부 예들에서, 스트랩 센서들(316)로부터의 신호들은 예를 들어, 제스처 프로세싱 코드(336)를 이용하여 분석되어, 센서 신호들에 기초한 손목 제스처들 및/또는 손가락 위치들을 식별할 수 있다. 이러한 제스처들 및/또는 손가락 위치들은 디바이스(344)의 동작들을 제어하는 데 사용될 수 있다.
전력 서브시스템(312)은 디바이스(344)에 대한 전력 및 전력 관리 능력을 제공할 수 있다. 예를 들어, 전력 서브시스템(312)은 배터리(340)(예컨대, 재충전가능한 배터리) 및 배터리(340)로부터의 전력을 전기 전력을 요구할 수 있는 디바이스(344)의 다른 컴포넌트들로 분배하기 위한 연관된 회로부를 포함할 수 있다. 일부 예들에서, 전력 서브시스템(312)은 또한, 예를 들어, 커넥터 인터페이스(310)가 전원에 연결될 수 있을 때 배터리(340)를 충전하도록 동작가능한 회로부를 포함할 수 있다. 일부 예들에서, 전력 서브시스템(312)은 커넥터 인터페이스(310)에 의존하지 않으면서 배터리(340)를 충전하기 위한, 유도 충전기와 같은 "무선" 충전기를 포함할 수 있다. 일부 예들에서, 전력 서브시스템(312)은 또한 배터리(340)에 부가하여 또는 그 대신에, 다른 전원들(예컨대, 태양 전지)을 포함할 수 있다.
일부 예들에서, 전력 서브시스템(312)은 전력 소모를 효율적으로 관리하기 위해 디바이스(344) 내의 컴포넌트들로의 전력 분배를 제어할 수 있다. 예를 들어, 전력 서브시스템(312)은, 스트랩 센서들(316) 또는 다른 센서들이 디바이스(344)가 사용자에 의해 착용되어 있지 않다고 나타낼 때, 자동으로 디바이스(344)를 "하이버네이션(hibernation)"(또는 슬립/비활성) 상태에 둘 수 있다. 하이버네이션 상태는 전력 소모를 감소시키도록 설계될 수 있다. 예를 들어, 사용자 인터페이스(306)(또는 그 컴포넌트들), RF 인터페이스(308), 커넥터 인터페이스(310), 및/또는 디바이스 센서들(314)은 전원이 차단(power down)될(예컨대, 저전력 상태로 또는 완전히 턴 오프될) 수 있는 반면에, 스트랩 센서들(316)은 사용자가 디바이스(344)를 착용할 때를 검출하기 위해 (연속적으로 또는 간격을 두고) 전력이 공급(power up)될 수 있다. 일부 예들에서, 디바이스(344)가 착용되어 있는 동안, 전력 서브시스템(312)은 디바이스 센서들(314) 및/또는 스트랩 센서들(316)에 의해 검출된 디바이스(344)의 움직임 및/또는 배향에 따라 디스플레이(320) 및/또는 다른 컴포넌트들을 턴 온 또는 오프시킬 수 있다. 예를 들어, 디바이스(344)가 사용자의 손목에 착용되도록 설계될 수 있는 경우, 전력 서브시스템(312)은, 가속도계(342)에 의해 제공된 정보에 기초하여, 전형적으로 손목시계의 전면을 보는 것과 연관된 바와 같은, 사용자의 손목의 들어올림(raising) 및 롤링(rolling)을 검출할 수 있다. 이 검출된 움직임에 응답하여, 전력 서브시스템(312)은 디스플레이(320) 및/또는 터치 센서(328)를 자동으로 턴 온시킬 수 있다. 이와 유사하게, 전력 서브시스템(312)은 사용자의 손목이 중립 위치(예컨대, 축 늘어져 있음)로 복귀되었음을 검출하는 것에 응답하여 디스플레이(320) 및/또는 터치 센서(328)를 자동으로 턴 오프시킬 수 있다. 아래에서 논의되는 바와 같이, 일부 예들에서, 디바이스를 깨우거나(wake up)(예컨대, 더 높은 전력 소비를 이용하여 비활성 상태로부터 활성 상태로 스위칭함) 디바이스를 하이버네이션 상태로 두기 위한 사용자의 손목의 축 배향을 결정하기 위해 다른 센서들이 사용될 수 있다.
전력 서브시스템(312)은 또한, 이용가능한 전력의 소스 및 양에 기초하여 디바이스(344)의 다른 컴포넌트들의 전력 소모를 조절하는 것, 배터리(340) 내의 전력을 모니터링 및 저장하는 것, 저장된 전력이 최소 레벨 아래로 하락하는 경우 사용자 경고들을 생성하는 것 등과 같은, 다른 전력 관리 능력들을 제공할 수 있다.
일부 예들에서, 전력 서브시스템(312)의 제어 기능들은 프로세싱 서브시스템(302) 상에서 실행되고 있는 프로그램 코드에 응답하여 프로세싱 서브시스템(302)에 의해 생성되는 제어 신호들에 응답하여 동작하는 프로그램가능 또는 제어가능 회로들을 사용하여, 또는 별개의 마이크로프로세서 또는 마이크로컨트롤러 유닛(MCU)(360)으로서 구현될 수 있다.
본 개시내용의 예들은 도 3에 도시된 블록도에 대한 변형들 및 수정들을 포함할 수 있다. 예를 들어, 스트랩 센서들(316)은 수정될 수 있고, 디바이스(344)는 사용자가 입력을 제공하기 위해 동작시킬 수 있는 사용자-동작가능한 제어부(예컨대, 크라운(318)과 같은 버튼 또는 스위치)를 포함할 수 있다. 크라운(318)은 하나 이상의 센서(338)(예컨대, 카메라)를 포함할 수 있다. 제어부들이 또한, 예를 들어, 디스플레이(320)를 켜거나 끄고, 스피커들(322)로부터의 사운드들을 음소거 또는 음소거 해제하는 등을 위해 제공될 수 있다. 디바이스(344)는 임의의 유형들 및 조합의 센서들을 포함할 수 있고, 일부 예들에서, 주어진 유형의 다수의 센서들을 포함할 수 있다.
일부 예들에서, 사용자 인터페이스는 앞서 기술된 컴포넌트들 중 임의의 것 또는 전부의 임의의 조합뿐만 아니라, 명시적으로 기술되지 않은 다른 컴포넌트들을 포함할 수 있다. 예를 들어, 사용자 인터페이스는 단지 터치스크린만을, 또는 터치스크린과 스피커, 또는 터치스크린과 햅틱 디바이스를 포함할 수 있다. 웨어러블 디바이스가 RF 인터페이스를 포함하는 경우, 커넥터 인터페이스가 생략될 수 있고, 디바이스(344)와 다른 디바이스들 사이의 통신은 무선 통신 프로토콜들을 이용하여 이행될 수 있다. (예컨대, 디바이스(344)의 배터리를 충전하기 위한) 유선 전력 연결부가 임의의 데이터 연결을 위해 별도로 제공될 수 있다.
또한, 디바이스가 기능 블록들을 참조하여 설명되지만, 이들 블록들이 설명의 편리함을 위해 정의되며 컴포넌트 부분들의 특정 물리적 배열을 의미하도록 의도되지 않는다는 것이 이해될 것이다. 또한, 블록들은 물리적으로 개별 컴포넌트들에 대응할 필요는 없다. 블록들은, (예컨대, 프로세서를 프로그래밍하거나 적절한 제어 회로를 제공함으로써) 다양한 동작들을 수행하도록 구성될 수 있으며, 다양한 블록들은, 초기 구성이 획득되는 방법에 따라 재구성가능하거나 재구성가능하지 않을 수 있다. 본 개시내용의 예들은 회로 및 소프트웨어의 임의의 조합을 사용하여 구현된 전자 디바이스들을 포함한, 다양한 장치들에서 실현될 수 있다. 또한, 본 개시내용의 예들은 도면에 도시된 모든 블록이 주어진 웨어러블 디바이스에서 구현될 것을 요구하는 것으로 제한되지 않는다.
호스트 디바이스(예컨대, 도 2의 호스트 디바이스(236))는 전술한 블록들과 유사한 블록들(예컨대, 프로세서, 저장 매체, 사용자 인터페이스 디바이스, 데이터 통신 인터페이스 등) 및/또는 다른 블록들 또는 컴포넌트들을 이용하여 전자 디바이스로서 구현될 수 있다. 특정 웨어러블 디바이스와 통신할 수 있는 임의의 전자 디바이스는 그 웨어러블 디바이스에 관한 호스트 디바이스로서 작용할 수 있다. 호스트 디바이스와 무선 디바이스 사이의 통신은, 두 디바이스 모두가 프로그래밍되거나, 또는 다른 식으로 사용하도록 구성되는 임의의 통신 프로토콜(또는 프로토콜들의 조합)에 따라 구현될 수 있다. 일부 예들에서, 그러한 프로토콜들(예컨대, 블루투스)이 사용될 수 있다. 일부 예들에서, 맞춤 메시지 포맷 및 신택스(syntax)(예를 들어, 디지털 데이터 전송 내의 특정 바이트들 또는 바이트들의 시퀀스들을 해석하기 위한 규칙들의 세트를 포함함)가 정의될 수 있고, 메시지들이 표준 시리얼 프로토콜들(예컨대, 소정 블루투스 표준들로 정의된 가상 시리얼 포트)을 이용하여 전송될 수 있다.
본 개시내용의 예들은 근적외선 및/또는 적외선 센서들을 사용하여 사용자의 정맥들을 스캐닝하기 위한 시스템들 및 방법들을 포함할 수 있다. 사용자의 정맥들을 스캐닝하는 것은, 예컨대 하나 이상의 제스처 및/또는 손가락 위치를 검출하기 위해 사용될 수 있는데, 여기서 하나 이상의 제스처 및/또는 손가락 위치는 터치 또는 가청 입력을 사용할 수 없는 제스처들일 수 있다. 도 4a 및 도 4b는 본 개시내용의 예들에 따른 예시적인 사용자의 손의 평면도들을 도시한다. 사용자의 손(401)은 복수의 정맥들(403A)을 포함하는 손(401A)으로 도시된 손바닥 면, 및 복수의 정맥들(403B)을 포함하는 손(401B)으로 도시된 등측 면(dorsal side)을 포함할 수 있다. 하나 이상의 휴대용 전자 디바이스는 사용자의 정맥들(403)의 복수의 이미지들을 캡처하기 위해 하나 이상의 센서(예컨대, 카메라)를 이용할 수 있다. 일부 예들에서, 복수의 이미지들이 상이한 시간들(예컨대, 연속적인 시간 프레임들)에서 촬영될 수 있다. 디바이스는 복수의 이미지들에 도시된 정맥들을 사용자의 관절들 및 하나 이상의 포즈(예컨대, 손 포즈)에 상관시킬 수 있다. 포즈(들)로부터, 사용자의 손 움직임(예컨대, 손가락 움직임)이 결정될 수 있다. 디바이스는 (예컨대, 통계적 모델과 비교함으로써) 하나 이상의 제스처 및/또는 손가락 위치를 사용자의 손 움직임(예컨대, 손가락 움직임들)에 매칭시킬 수 있고, 결정된 제스처(들) 및/또는 손가락 위치들과 연관된 하나 이상의 디바이스 기능(예컨대, 전화 통화를 행함)을 수행할 수 있다.
도 5a는 본 개시내용의 예들에 따른 PPG 신호를 결정하기 위한 예시적인 디바이스의 하면의 평면도를 도시한다. 디바이스(544)는 광 방출기들(506, 516) 및 광 센서(504)를 포함할 수 있다. 광 방출기(506)로부터의 광은 사용자의 피부에 입사될 수 있고, 다시 반사되어 광 센서(504)에 의해 검출될 수 있다. 유사하게, 광 방출기(516)로부터의 광은 사용자의 피부에 입사될 수 있고, 다시 반사되어 광 센서(504)에 의해 검출될 수 있다. 하나 이상의 광 방출기-광 센서 쌍이 추가적으로 또는 대안적으로 사용자의 손(예컨대, 도 4a 및 도 4b에 도시된 사용자의 손(401))의 하나 이상의 이미지를 캡처하는 데 사용될 수 있다.
일부 예들에서, 디바이스는 디바이스의 크라운 상에 위치된 하나 이상의 센서를 포함할 수 있다. 도 5b는 본 개시내용의 예들에 따른 디바이스의 크라운 상에 위치된 하나 이상의 센서를 갖는 예시적인 웨어러블 디바이스의 사시도를 도시한다. 디바이스(544)는 전면부(504) 및 스트랩(546)을 포함할 수 있다. 스트랩(546)은 스트랩 홀더들(도시되지 않음)을 사용하여 전면부(504)에 연결될 수 있다. 크라운은 조작될 수 있는 기계적 컴포넌트(예컨대, 시계를 감기하기 위한 스템 또는 샤프트 상단의 캡)일 수 있다. 예를 들어, 크라운은 눌려지고, 회전되고, 터치되고, 하나 이상의 방향으로 틸팅되고/되거나, 적어도 부분적으로 디바이스(544)의 하우징의 주변부 둘레의 트랙을 따라 슬라이딩할 수 있다. 크라운은 또한 사용자의 손의 하나 이상의 이미지를 캡처하기 위한 하나 이상의 센서(538)(예컨대, 카메라)를 포함할 수 있다.
일부 예들에서, 디바이스는 디바이스에 부착된 스트랩 상에 위치된 하나 이상의 센서를 포함할 수 있다. 도 5c는 본 개시내용의 예들에 따른 스트랩 상에 위치한 하나 이상의 센서를 갖는 예시적인 웨어러블 디바이스의 사시도를 도시한다. 일부 예들에서, 스트랩(546)은 복수의 가요성 섹션들 및/또는 복수의 강성 섹션들을 포함할 수 있다. 일부 예들에서, 가요성 섹션들은, 예를 들어, 사용자의 손목이 연장될 때 확장되도록 구성될 수 있다. 센서들(516)은 탄성 섹션들, 강성 섹션들, 또는 둘 모두 상에 위치될 수 있다. 센서들(516)은 사용자의 손의 하나 이상의 이미지를 캡처하는 데 사용될 수 있다.
일부 예들에서, 디바이스는 디바이스 및/또는 디바이스에 부착된 액세서리들을 따라 다수의 위치들에 위치된 센서(들)를 포함할 수 있다. 센서들은 예를 들어 상이한 정보를 캡처하기 위해 상이한 위치들에 위치될 수 있다. 예를 들어, 적어도 하나의 센서(예컨대, 도 5a에 도시된 광 방출기(506)-광 센서(504) 쌍)가 사용자의 손의 등측 면을 이미징하도록 구성될 수 있는 반면, 적어도 하나의 다른 센서(예컨대, 도 5c에 도시된 센서들(538))는 사용자의 손의 손바닥 면을 이미징하도록 구성될 수 있다.
위에서 논의된 바와 같이, 디바이스는 하나 이상의 디바이스 기능을 수행하기 위한 제스처 및/또는 손가락 위치들을 검출하는 데 사용될 수 있는, 사용자의 정맥들의 하나 이상의 이미지를 촬영하기 위한 하나 이상의 센서(예컨대, 카메라)를 포함할 수 있다. 도 6a는 본 개시내용의 예들에 따른 제스처를 검출하기 위한 프로세스를 도시한다. 프로세스(650)는 복수의 시간 프레임들에 걸쳐 복수의 이미지들을 캡처하는 단계(단계(652))를 포함할 수 있다. 일부 예들에서, 복수의 이미지들은 하나 이상의 센서(예컨대, 도 5b에 도시된 센서들(538), 도 5c에 도시된 센서들(516) 등)를 사용하여 캡처될 수 있다. 일부 예들에서, 복수의 이미지들(예컨대, 정맥 이식편의 이미지들)이 대표적인 디지털 이미지들로 변환될 수 있다. 예를 들어, 도 6b에 도시된 바와 같이, 사용자의 손은 하나 이상의 센서를 사용하여 제1 시간 프레임 동안 캡처될 수 있는 제1 포즈(611)를 가질 수 있다. 디바이스는 이미지를 디지털 이미지(613)와 같은 디지털 표현으로 변환할 수 있다. 디지털 이미지(613)는 정맥들의 디지털 표현들(예컨대, 디지털 정맥(603A), 디지털 정맥(603B), 디지털 정맥(603C) 등)을 포함할 수 있다. 일부 경우들에서, 복수의 이미지들 중 하나 이상의(예컨대, 연속적인) 이미지가 사용자의 손의 상이한 포즈들을 포함할 수 있다. 다른 경우들에서, 복수의 이미지들 중 하나 이상은 사용자의 손의 동일한 포즈를 포함할 수 있다. 일부 예들에서, 시간 프레임은 미리 결정된 양의 시간을 포함할 수 있다. 일부 경우들에서, 디바이스는 시간 프레임들 사이의 미리 결정된 지연 시간을 대기할 수 있다.
단계(654)에서, 복수의 이미지들 내의 하나 이상의 특징부(예컨대, 도 4a 및 도 4b에 도시된 사용자의 정맥들(403))는 사용자의 관절들 및/또는 하나 이상의 포즈와 상관될 수 있다. 상관은 정맥들의 하나 이상의 특성(예컨대, 위치, 상대 간격, 형상, 혈류 등)을 하나 이상의 사용자의 관절 및/또는 하나 이상의 포즈에 매칭시키는 것을 포함할 수 있다. 이미지들 및/또는 상관들로부터, 디바이스는 사용자의 손 포즈를 결정할 수 있다(프로세스(650)의 단계(656)). 예를 들어, 도 6b에 도시된 바와 같이, 디바이스는 정맥들의 형상, 각도 및/또는 크기(예컨대, 디지털 정맥(603C)에 대한 디지털 정맥(603B)의 배향, 디지털 정맥(603C)의 형상 등)에 기초하여 사용자의 집게 손가락이 뻗어있는지 여부를 결정할 수 있다.
일부 예들에서, 포즈(들)는 사용자의 관절들의 움직임으로 인해 변할 수 있으며, 여기서 움직임은 또한 사용자의 정맥들의 특성들에 영향을 미칠 수 있다. 단계(658)에서, 사용자의 손 움직임들(예컨대, 손가락 움직임들)은 포즈(들)로부터 결정될 수 있다. 일부 예들에서, 사용자의 손 움직임들(예컨대, 손가락 움직임들)은 포즈(들) 사이의 차이들을 이용하여 결정될 수 있다. 예를 들어, 제1 시간 프레임 동안, 사용자의 손은 제1 포즈를 가질 수 있다(예컨대, 사용자의 손가락들은 도 6b에 도시된 바와 같이 펼쳐질 수 있다). 제1 이미지는 인접 정맥들(예컨대, 디지털 정맥(603B) 및 디지털 정맥(603C)) 사이의 제1 간격 및 각도를 캡처할 수 있다. 후속(예컨대, 제2) 시간 프레임 동안, 사용자의 손은 제2 포즈(615)를 가질 수 있고(예컨대, 사용자의 손가락들은 도 6c에 도시된 바와 같이 클로즈될 수 있음), 이는 사용자의 관절들의 움직임으로 인해 제1 포즈와 상이할 수 있다. 제2 이미지는 (예컨대, 도 6c에 도시된 바와 같이, 사용자의 왼손의 등측 면과 같은 동일한 시점으로부터) 촬영될 수 있고, 디바이스는 이미지를 디지털 이미지(617)와 같은 디지털 표현으로 변환할 수 있다. 디바이스는 디지털 정맥(603D)을 사용자의 약손가락에, 디지털 정맥(603E)을 사용자의 가운뎃 손가락에, 그리고 디지털 정맥(603F)을 사용자의 집게 손가락에 상관시킬 수 있다. 사용자의 움직임(들)은 디지털 이미지들에서 하나 이상의 차이를 야기할 수 있다. 예를 들어, 디지털 정맥(603C)은 디지털 정맥(603F)과 동일한 손가락과 상관될 수 있고, 디지털 정맥들의 위치들의 차이들은 사용자의 움직임들에 기인할 수 있다.
일부 예들에서, 결정된 손 움직임들(예컨대, 손가락 움직임들)은 (예컨대, 사용자의 손 움직임들(예컨대, 손가락 움직임들), 제스처들, 및/또는 손가락 위치들의 결정의 정확도를 개선하기 위해) 미리 결정된 통계적 모델과 비교될 수 있다. 일부 경우들에 있어서, 미리 결정된 통계적 모델은 하나 이상의 동적으로 예측된 포즈 및/또는 하나 이상의 상관된 관절을 포함할 수 있다. 예를 들어, 시스템은 사용자의 제 3 포즈가 무엇일 수 있는지를 예측하기 위해 제1 및 제2 포즈들을 통계적 모델과 매칭시킬 수 있다. 예측은 하나 이상의 디바이스 기능(아래에서 논의됨)을 수행하는 데 지연을 방지하기 위해 및/또는 편의를 위해(예컨대, 사용자가 제3 포즈를 수행할 필요가 없음) 사용될 수 있다.
단계(660)에서, 하나 이상의 제스처 및/또는 손가락 위치는 사용자의 손 움직임들(예컨대, 손가락 움직임들)에 기초하여 동적으로 결정될 수 있다. 예를 들어, 제스처 및/또는 손가락 위치들은 복수의 시간 프레임들에 걸쳐 포즈들의 순서와 연관될 수 있다. 위에서 주어진 예를 사용하여, 펼쳐진 사용자의 손가락들의 제1 포즈에 뒤이은 클로즈된 사용자의 손가락들의 제2 포즈는 휴대용 전자 디바이스 상의 애플리케이션을 닫는 제스처와 연관될 수 있다. 제스처들 및/또는 손가락 위치들과 사용자의 움직임들 사이의 연관은 미리 결정될 수 있다(예컨대, 라이브러리 파일 내에 위치됨).
일부 예들에서, 사용자의 손 움직임(예컨대, 손가락 움직임)은 하나 이상의 새로운 제스처 및/또는 포즈를 포함할 수 있다. 예를 들어, 새로운 제스처는 사용자가 손 움직임(예컨대, 손가락 움직임)을 수행할 때 미리 결정된 제스처들의 라이브러리 파일 내에 포함되지 않은 제스처일 수 있다. 디바이스는 사용자가 새로운 제스처 및/또는 포즈를 수행했음을 결정할 수 있고, (아래에서 논의되는 바와 같이) 새로운 제스처 및/또는 포즈를 기록할 수 있다. 디바이스는 새로운 제스처 및/또는 포즈를 라이브러리 파일 내에 추가할 수 있다.
단계(662)에서, 디바이스는 결정된 제스처 및/또는 포즈를 사용하여 하나 이상의 디바이스 기능을 수행할 수 있다. 디바이스 기능들의 예들은, 전화 통화를 하고, 애플리케이션을 턴 온하는 것, 애플리케이션과 연관된 동작을 수행하는 것, 새로운 제스처 및/또는 손가락 위치들을 기록하는 것, 디스플레이 상에 메시지를 디스플레이하는 것, 및 가상 물체들과 상호작용하는 것을 포함할 수 있지만, 이들로 제한되지 않는다. 예를 들어, 사용자는 3 차원 공간 내의 가상 물체들과 상호작용할 수 있다. 예로서, 예시적인 디바이스의 디스플레이 상에서, 3 개의 컵들이 테이블의 상부에 위치될 수 있다. "픽업" 제스처 및/또는 포즈(예컨대, 물체가 픽업되고 있는 것처럼 사용자의 손가락들이 휘어짐)의 결정시, 사용자가 제스처 및/또는 포즈를 공중에 수행하고 있는 동안 스크린 상에서 가상 컵들 중 하나가 픽업되는 것으로 디스플레이될 수 있다. 후속하여, "드롭" 제스처 및/또는 포즈(예컨대, 물체가 드롭되고 있는 것처럼 사용자의 손가락들이 오픈됨)의 결정시, 사용자가 제스처 및/또는 포즈를 공중에 수행하고 있는 동안 스크린 상에서 가상 컵이 드롭되고 부서지는 것으로 디스플레이될 수 있다. 이러한 방식으로, 본 명세서에 개시된 예들을 통해 사용자의 제스처 및/또는 손가락 위치들을 결정하는 것이 가상 현실(VR) 애플리케이션들에 사용될 수 있다.
일부 예들에서, 디바이스는, 도 6d에 도시된 바와 같이, 사용자가 제스처(들) 및/또는 포즈들을 완료하기 전에 사용자의 제스처(들) 및/또는 포즈들을 예측하는 것이 가능할 수 있다. 프로세스(670)는 복수의 시간 프레임들에 걸쳐 복수의 이미지들을 캡처하는 단계를 포함할 수 있다(단계(672)). 일부 예들에서, 복수의 이미지들은 하나 이상의 센서(예컨대, 도 3에 도시된 센서들(338))를 사용하여 캡처될 수 있다. 시간 프레임은 미리 결정된 양의 시간을 포함할 수 있다. 일부 경우들에서, 디바이스는 시간 프레임들 사이의 미리 결정된 지연 시간을 대기할 수 있다. 일부 예들에서, 복수의 이미지들은 대표적인 디지털 이미지들로 변환될 수 있는 정맥 이식편의 이미지들일 수 있다. 단계(674)에서, 복수의 이미지들 내의 하나 이상의 특징부(예컨대, 도 4a 및 도 4b에 도시된 사용자의 정맥들(403))는 사용자의 관절들 및/또는 하나 이상의 제1 포즈와 상관될 수 있다. 상관은 정맥들의 하나 이상의 특성(예컨대, 위치, 상대 간격, 형상, 혈류 등)을 사용자의 관절(들) 및/또는 제1 포즈(들)에 매칭시키는 것을 포함할 수 있다.
일부 예들에서, 제1 포즈(들)는 사용자의 관절들의 움직임으로 인해 변할 수 있으며, 여기서 움직임은 또한 사용자의 정맥들의 특성들에 영향을 미칠 수 있다. 예를 들어, 복수의 시간 프레임들 동안, 사용자의 손은 제1 포즈를 수행할 수 있다(예컨대, 사용자의 손가락들은 수화 언어로 문자 "M"을 표시할 수 있다). 디바이스는 사용자의 정맥들의 제1 이미지를 촬영할 수 있고, 캡처된 제1 이미지를 대표 디지털 제1 이미지로 변환할 수 있고, (예컨대, 위에서 논의된 단계(672) 및 단계(674)로부터) 정맥들을 사용자의 관절들에 상관시킬 수 있다.
단계(676)에서, 디바이스는 제2 복수의 시간 프레임들에 걸쳐 제2 복수의 이미지들을 캡처할 수 있다. 일부 예들에서, 제2 복수의 시간 프레임들은 단계(672)에서 기술된 제1 복수의 시간 프레임들 바로 뒤에 올 수 있다. 일부 예들에서, 제2 복수의 시간 프레임들은 제1 복수의 시간 프레임들 바로 뒤에 오지 않고 나중에 발생할 수 있다.
단계(678)에서, 제2 복수의 이미지들 내의 하나 이상의 특징부(예컨대, 도 4a 및 도 4b에 도시된 사용자의 정맥들(403))는 사용자의 관절들 및/또는 하나 이상의 제2 포즈와 상관될 수 있다. 상관은 정맥들의 하나 이상의 특성(예컨대, 위치, 상대 간격, 형상, 혈류 등)을 하나 이상의 사용자의 관절 및/또는 하나 이상의 제2 포즈에 매칭시키는 것을 포함할 수 있다. 일부 예들에서, 제1 및 제2 포즈들은 상이한 포즈들일 수 있다. 다른 예들에서, 제1 및 제2 포즈들은 실질적으로 동일한 포즈일 수 있다.
예를 들어, 제2 시간 프레임에서, 사용자의 손이 제2 포즈를 수행할 수 있고(예컨대, 사용자의 손가락들이 수화 언어로 문자 "O"를 표시함), 이는 사용자의 관절들의 움직임으로 인해 제1 포즈와 상이할 수 있다. 디바이스는 캡처된 제2 이미지를 대표 제2 디지털 이미지로 변환할 수 있고, 정맥들을 사용자의 관절들에 상관시킬 수 있다.
단계(680)에서, 미래의 포즈 및/또는 제스처는 상관된 제1 및 제2 포즈들에 기초하여(예컨대, 위에서 논의된 단계들(672 내지 678)로부터) 단계(678) 다음에 동적으로 예측될 수 있다. 일부 예들에서, 예측은 제1 및 제2 복수의 이미지들 내의 정맥들의 하나 이상의 특성(예컨대, 위치, 상대 간격, 형상, 혈류 등)을 결정하는 것, 및 하나 이상의 특성에 기초하여 제3 포즈를 예측하는 것을 포함할 수 있다. 추가적으로 또는 대안적으로, 예측은 하나 이상의 패턴(예컨대, 라이브러리 파일 내에 저장됨)에 기초할 수 있다. 다른 예들에서, 예측된 포즈들 또는 제스처들은 가능한 포즈들 또는 제스처들의 유한 세트에 기초할 수 있다. 예를 들어, 예측된 제3 포즈는, 각자 수화 언어로 "M" 및 "O"의 제1 및 제2 포즈에 기초하여, 수화 언어로 문자 "M"과 연관될 수 있다. 가능한 포즈들 또는 제스처들은 그와 연관된 소정의 신뢰 값을 가질 수 있는데, 여기서 더 높은 신뢰 값들은 예측이 정확할 더 높은 확률을 나타낼 수 있다. 위의 예를 사용하여, 문자 "M"의 예측된 포즈는 문자 "X"의 예측된 포즈보다 더 높은 신뢰 값을 가질 수 있다. 예측의 정확도에 기초하여, 디바이스는 신뢰 값을 동적으로 변경할 수 있다. 일부 경우들에서, 사용자는 예측이 정확했는지 여부에 관한 표시를 제공할 수 있다.
단계(682)에서, 예측의 성공은 (예컨대, 신뢰 값에 기초하여) 결정될 수 있다. 제스처 및/또는 포즈가 성공적으로 예측되는 경우, 하나 이상의 제스처 및/또는 포즈가 예측에 기초하여 결정될 수 있을 때, 프로세스는 단계(684)로 진행할 수 있다. 일부 예들에서, 예측된 포즈들 또는 제스처들은 예측된 포즈들 또는 제스처들의 정확도를 결정하기 위해 미리 결정된 통계적 모델과 비교될 수 있다. 다른 예들에서, 예측된 포즈들 또는 제스처들의 성공은 이전의 포즈들에 기초하여 결정될 수 있다. 예를 들어, 위의 예에 따라, 포즈들의 순서가 수화 언어로 정확한 단어 "MOM"을 스펠링하기 때문에, 수화 언어로 "M"의 제3 포즈는 성공적으로 예측된 것으로 결정될 수 있다. 제스처 및/또는 포즈가 성공적으로 예측되지 않은 경우, 예측 프로세스는 더 많은 이미지들을 캡처하기 위해 단계(676)로 복귀할 수 있다. 예를 들어, 캡처된 이미지들이 정확한 예측을 행하기에 충분하지 않을 수 있고(예컨대, 캡처된 이미지들이 충분한 샘플들을 포함하지 않을 수 있음), 따라서 예측된 포즈 또는 제스처의 신뢰도를 증가시키기 위해 더 많은 캡처된 이미지들이 촬영될 수 있다. 일부 예들에서, 성공적이지 못한 예측의 결정 시에, 디바이스는, 도 6a에 기술된 프로세스와 유사하게, 예측된 포즈 및/또는 제스처 없이 하나 이상의 제스처 및/또는 포즈를 선택적으로 결정할 수 있다.
단계(684)에서, 성공적인 포즈 및/또는 제스처 예측의 결정 시에 상관된 포즈들 및 예측된 포즈들 및/또는 제스처들로부터 하나 이상의 제스처가 동적으로 결정될 수 있다. 일부 예들에서, 결정된 움직임들은 적어도 하나의 예측된 포즈를 포함할 수 있다. 일부 예들에서, 제스처들은 복수의 시간 프레임들에 걸친 사용자의 움직임들(예컨대, 단계들(672 내지 678)로부터 결정된 포즈들의 순서) 및 예측된 포즈 및/또는 제스처(예컨대, 단계(680)로부터)를 이용하여 결정될 수 있다. 일부 예들에서, 단계들(676 및 678)은 제스처(들) 및/또는 포즈의 성공적인 예측이 달성될 때까지 반복될 수 있다.
일부 예들에서, 제스처 및/또는 포즈는 움직임들을 미리 결정된 제스처들 및/또는 포즈들의 라이브러리 파일과 상관시킴으로써 결정될 수 있다. 일부 예들에서, 움직임들은 하나 이상의 새로운 제스처 및/또는 포즈일 수 있다. 예를 들어, 새로운 제스처 및/또는 포즈는 라이브러리 파일 내에 포함되지 않은 제스처 및/또는 포즈일 수 있다. 다른 예들에서, 새로운 제스처 및/또는 포즈가 라이브러리 파일 내에 추가될 수 있다.
단계(686)에서, 결정된 제스처들 및/또는 포즈와 연관된 하나 이상의 디바이스 기능이 수행될 수 있다. 디바이스 기능들의 예들은, 전화 통화를 하고, 애플리케이션을 턴 온하는 것, 애플리케이션과 연관된 동작을 수행하는 것, 새로운 제스처 및/또는 포즈를 기록하는 것, 및 하나 이상의 가상 물체와 상호작용하는 것을 포함할 수 있지만, 이들로 제한되지 않는다. 일부 예들에서, 사용자는 정확한 포즈 및/또는 제스처가 예측되었음을 보장하기 위해 기능을 수행하기 전에 디바이스 기능을 검증하도록 요청받을 수 있다.
제스처 및/또는 포즈를 결정하는 것에 더하여, 디바이스가 제스처들을 기록하는 것이 가능할 수 있다. 도 7a는 본 개시내용의 예들에 따른 하나 이상의 제스처 및/또는 포즈를 기록하기 위한 프로세스를 도시한다. 프로세스(750)는 복수의 시간 프레임들에 걸쳐 복수의 이미지들을 캡처하는 단계(단계(752))을 포함할 수 있다. 일부 예들에서, 복수의 이미지들은 하나 이상의 센서(예컨대, 도 3에 도시된 센서들(338))를 사용하여 캡처될 수 있다. 일부 예들에서, 복수의 이미지들은 대표적인 디지털 이미지들로 변환될 수 있는 정맥 이식편의 이미지들일 수 있다. 일부 경우들에서, 복수의 이미지들 중 하나 이상은 사용자의 손의 동일한 포즈를 포함할 수 있다. 시간 프레임은 미리 결정된 양의 시간을 포함할 수 있다. 일부 경우들에서, 디바이스는 시간 프레임들 사이의 미리 결정된 지연 시간을 대기할 수 있다.
단계(754)에서, 복수의 이미지들 내의 하나 이상의 특징부(예컨대, 도 4a 및 도 4b에 도시된 사용자의 정맥들(403))는 사용자의 관절들 및/또는 하나 이상의 포즈와 상관될 수 있다. 상관은 정맥들의 하나 이상의 특성(예컨대, 위치, 상대 간격, 형상, 혈류 등)을 하나 이상의 사용자의 관절 및/또는 하나 이상의 포즈에 매칭시키는 것을 포함할 수 있다. 예를 들어, 디바이스는 사용자의 손의 등측 면의 이미지를 촬영할 수 있고, 정맥들을 사용자의 각자의 손가락들에 상관시킬 수 있다.
단계(756)에서, 하나 이상의(예컨대, 각각의) 이미지 및/또는 하나 이상의(예컨대, 각각의) 정맥-관절 상관에 대해, 디바이스는 사용자의 손 포즈(들)를 결정할 수 있다. 예를 들어, 디바이스는 정맥들의 형상 및/또는 크기에 기초하여 사용자의 손가락들이 구부러지는지 여부를 결정할 수 있다. 구부러진 손가락들은 예를 들어 가상의 악기를 잡고 있는 것(예컨대, 기타의 목부를 잡고 있음)을 흉내낼 수 있다.
일부 예들에서, 포즈들은 사용자의 관절들의 움직임으로 인해 변할 수 있으며, 여기서 움직임은 또한 사용자의 정맥들의 특성들에 영향을 미칠 수 있다. 예를 들어, 제1 시간 프레임 동안, 사용자의 손은 제1 포즈를 가질 수 있다(예컨대, 사용자의 손가락들 중 세 개가 제1 기타 코드를 나타내는 위치에서 클로즈될 수 있다). 제1 이미지가 캡처될 수 있고, 사용자의 정맥들의 제1 배향 패턴을 나타낼 수 있다. 후속(예컨대, 제2) 시간 프레임 동안, 사용자의 손은 제2 포즈를 가질 수 있다(예컨대, 3 개의 손가락들은 제2 기타 코드를 나타내는 위치에서 펼쳐질 수 있다). 제2 이미지가 캡처될 수 있고, 사용자의 정맥의 제2 배향 패턴을 나타낼 수 있다. 제2 배향 패턴은 제1 배향 패턴과 상이할 수 있다.
단계(758)에서, 사용자의 손 움직임들(예컨대, 손가락 움직임들)은 하나 이상의 포즈로부터 결정될 수 있다. 일부 예들에서, 사용자의 손 움직임들(예컨대, 손가락 움직임들)은 하나 이상의 포즈 사이의 차이들(예컨대, 사용자의 손가락들 각각과 연관된 정맥들의 형상의 변화)로부터 결정될 수 있다. 예를 들어, 제1 포즈의 제1 이미지(예컨대, 제1 기타 코드 위치의 사용자의 클로즈된 손가락들)는 제2 포즈의 제2 이미지(예컨대, 제2 기타 코드 위치의 사용자의 펼쳐진 손가락들)와 비교될 수 있다. 하나 이상의 특징부(예컨대, 정맥들의 위치, 정맥들의 각도 변위 등)에서의 차이들이 검출될 수 있다.
일부 예들에서, 시간 프레임의 지속기간은 (예컨대, 이미지 캡처 및 대응하는 결정들의 주파수를 포함하는) 제스처/포즈 결정의 입도(granularity)를 조정하기 위해 변경될 수 있다. 위에서 주어진 예를 사용하여, 제1 기타 코드 위치로부터 제2 기타 코드 위치로의 사용자의 손가락들의 전환을 캡처하기 위해 시간 프레임의 지속기간이 단축될 수 있다. 일부 경우들에 있어서, 디바이스가 부정확한 제스처 및/또는 포즈 결정들을 행하고 있는 경우, 제스처 및/또는 포즈 결정의 입도는 제스처 및/또는 포즈 결정들의 정확도를 개선하기 위해 조정될 수 있다. 일부 예들에서, 이미지들의 해상도는 제스처 및/또는 포즈 결정의 입도를 향상시키기 위해 증가될 수 있다. 예를 들어, (예컨대, 추가적인 방출기들 또는 센서들을 작동시키거나 사용되지 않는 방출기/센서 쌍들을 채용함으로써) 방출기들과 센서들의 추가의 조합들이 채용될 수 있다. 추가적으로 또는 대안적으로, 상이한 (예컨대, 더 많은) 개수의 이미지들이 동일한 양의 총 시간 지속기간 동안 캡처될 수 있다. 이러한 방식으로, 중간 포즈들(예컨대, 클로즈된 손가락들과 펼쳐진 손가락들 사이의 포즈들)이 캡처될 수 있다. 일부 예들에서, 이러한 지속기간은 신뢰 값 및/또는 사용자 입력에 기초하여 동적으로 변경될 수 있다.
단계(760)에서, 하나 이상의 제스처 및/또는 포즈가 사용자의 손 움직임들(예컨대, 손가락 움직임들)에 기초하여 결정될 수 있다. 예를 들어, 제스처 및/또는 포즈는 복수의 시간 프레임들에 걸쳐 포즈들의 순서와 연관될 수 있다. 위에서 주어진 예를 사용하여, 사용자의 클로즈된 손가락들의 제1 포즈에 뒤이은 사용자의 펼쳐진 손가락들의 제2 포즈는 가상 기타를 연주하는 동안 2 개의 코드들 사이의 이동과 연관될 수 있다. 제스처들 및/또는 포즈들과 사용자의 움직임들 사이의 연관은 미리 결정될 수 있다(예컨대, 라이브러리 파일 내에 위치됨). 예를 들어, 라이브러리 파일 내에서, 복수의 구부러진 손가락 포즈들이 가상 기타의 제스처들과 연관될 수 있다.
일부 예들에서, 사용자의 손 움직임(예컨대, 손가락 움직임)은 하나 이상의 새로운 제스처들 및/또는 포즈들을 포함할 수 있다. 예를 들어, 새로운 제스처 및/또는 포즈는 라이브러리 파일 내에 포함되지 않은 제스처 및/또는 포즈일 수 있다. 디바이스는 사용자가 새로운 제스처 및/또는 포즈를 수행했음을 결정할 수 있고, 새로운 제스처 및/또는 포즈를 기록할 수 있다. 디바이스는 새로운 제스처 및/또는 포즈를 라이브러리 파일 내에 추가할 수 있다. 다른 예에서, 새로운 제스처 및/또는 포즈는 가상 기타 상의 비공통 코드(예컨대, 연관된 통계적 모델에서 샘플을 거의 또는 전혀 갖지 않는 제스처 및/또는 포즈)와 연관될 수 있다.
단계(762)에서, 디바이스는 결정된 제스처들, 포즈들, 및/또는 결정된 제스처들 및/또는 포즈들과 연관된 이미지들을 기록할 수 있다. 일부 예들에서, 제스처들, 포즈들, 및/또는 연관된 이미지들은, 결정된 제스처 및/또는 포즈가 새로운 제스처 및/또는 포즈임을 결정한 후에 기록될 수 있다. 예를 들어, 가상 기타 목 상의 사용자의 손가락 위치가 결정될 수 있지만, 코드는 알려지지 않을 수 있다(예컨대, 라이브러리 파일 내에 저장되지 않음). 사용자는 손가락 위치들(예컨대, 포즈들)을 기록하고 새로운 코드를 하나 이상의 포즈와 연관시킬 수 있다. 일부 예들에서, 기록된 제스처들 및/또는 포즈들 및 연관된 이미지들이 분류될 수 있다. 예를 들어, 구부러진 손가락들을 포함하는 제스처들 및/또는 포즈들은 가상 기타를 위한 제스처들 및/또는 포즈들로서 분류될 수 있다.
일부 예들에서, 기록된 제스처 및/또는 포즈는 독립적일 수 있다. 다시 말하면, 기록된 제스처 및/또는 포즈는 라이브러리 파일 내에 포함되지 않을 수 있고/있거나 라이브러리 파일의 속성에 영향을 미치지 않을 수 있다. 다른 경우들에 있어서, 새로 기록된 제스처 및/또는 포즈는 라이브러리 파일의 일부일 수 있고/있거나 라이브러리 파일의 하나 이상의 속성에 영향을 줄 수 있다.
단계(764)에서, 하나 이상의 라이브러리 파일이, 기록된 이미지들, 포즈들, 및/또는 제스처들에 기초하여 업데이트될 수 있다. 일부 예들에서, 라이브러리 파일을 업데이트하는 단계는 하나 이상의 포즈의 하나 이상의 제스처에 대한 상관관계를 수정하는 단계를 포함할 수 있는데, 여기서 포즈(들) 및/또는 제스처(들)는 기존의 것(즉, 새로운 것이 아님)이 아닐 수 있다. 라이브러리 파일은 기록된 이미지, 포즈들, 및/또는 제스처와 연관된 하나 이상의 정보로 업데이트될 수 있다. 예시적인 정보는 제스처(들), 포즈들, 하나 이상의 이미지, 제스처(들), 포즈들, 및/또는 이미지(들)와 연관된 통계적 모델들, 제스처(들) 및/또는 포즈들과 연관된 하나 이상의 애플리케이션, 및 사용자 특성들을 포함할 수 있지만, 이들로 제한되지 않는다. 추가적으로 또는 대안적으로, 라이브러리 파일을 업데이트하는 단계는 하나 이상의 디바이스 기능에 대한 하나 이상의 제스처 및/또는 포즈의 연관을 추가 및/또는 수정하는 단계를 포함할 수 있다.
일부 예들에서, 디바이스는, 도 7b에 도시된 바와 같이, 사용자가 제스처(들) 및/또는 포즈들을 완료하고 제스처(들) 및/또는 포즈들을 기록하기 전에 사용자의 제스처(들) 및/또는 포즈들을 예측하는 것이 가능할 수 있다. 프로세스(770)는 하나 이상의 시간 프레임에 걸쳐 하나 이상의 이미지를 캡처하는 단계(단계(772))를 포함할 수 있다. 일부 예들에서, 복수의 이미지들은 하나 이상의 센서(예컨대, 도 3에 도시된 센서들(338))를 사용하여 캡처될 수 있다. 일부 예들에서, 복수의 이미지들은 대표적인 디지털 이미지들로 변환될 수 있는 정맥 이식편의 이미지들일 수 있다. 일부 경우들에서, 복수의 이미지들 중 하나 이상은 사용자의 손의 동일한 포즈를 포함할 수 있다. 시간 프레임은 미리 결정된 양의 시간을 포함할 수 있다. 일부 경우들에서, 디바이스는 시간 프레임들 사이의 미리 결정된 지연 시간을 대기할 수 있다.
단계(774)에서, 복수의 이미지들 내의 하나 이상의 특징부(예컨대, 도 4a 및 도 4b에 도시된 사용자의 정맥들(403))는 사용자의 관절들 및/또는 하나 이상의 포즈와 상관될 수 있다. 상관은 정맥들의 하나 이상의 특성(예컨대, 위치, 상대 간격, 형상, 혈류 등)을 하나 이상의 사용자의 관절 및/또는 하나 이상의 포즈에 매칭시키는 것을 포함할 수 있다. 예를 들어, 디바이스는 사용자의 손의 등측 면의 이미지를 촬영할 수 있고, 정맥들을 사용자의 각자의 손가락들에 상관시킬 수 있다. 다른 예에서, 시간 프레임 동안, 사용자의 손은 포즈를 가질 수 있다(예컨대, 사용자의 손가락들 중 세 개가 기타 코드를 나타내는 위치에서 클로즈될 수 있다). 사용자의 정맥들의 이미지가 캡처되어 사용자의 포즈와 상관될 수 있다.
단계(776)에서, 디바이스는 하나 이상의 제2 시간 프레임에 걸쳐 하나 이상의 제2 이미지를 캡처할 수 있다. 일부 예들에서, 제2 복수의 시간 프레임들은 제1 복수의 시간 프레임들 뒤에 올 수 있다(예컨대, 단계(772)). 일부 예들에서, 제2 복수의 시간 프레임들은 제1 복수의 시간 프레임들 바로 뒤에 오지 않고 나중에 발생할 수 있다.
단계(778)에서, 제2 이미지(들) 내의 하나 이상의 특징부(예컨대, 도 4a 및 도 4b에 도시된 사용자의 정맥들(403))는 사용자의 관절들 및/또는 하나 이상의 제2 포즈와 상관될 수 있다. 상관은 정맥들의 하나 이상의 특성(예컨대, 위치, 상대 간격, 형상, 혈류 등)을 하나 이상의 사용자의 관절 및/또는 하나 이상의 제2 포즈에 매칭시키는 것을 포함할 수 있다.
일부 예들에서, 제1 및 제2 포즈들은 상이한 포즈들일 수 있다. 예를 들어, 단계들(772 내지 774)에 기술된 시간 프레임 뒤의 후속(예컨대, 제2) 시간 프레임 동안, 사용자의 손은 제2 포즈를 가질 수 있다(예컨대, 3 개의 손가락들은 제2 기타 코드를 나타내는 위치에서 오픈될 수 있다). 후속 제2 시간 프레임 동안 사용자의 정맥들의 제2 이미지가 캡처되어 사용자의 포즈와 상관될 수 있다. 일부 예들에서, 후속 시간 프레임에서 실질적으로 상이한 제2 포즈의 결정 시, 디바이스는 단계들(776 내지 778) 중 일부 또는 전부로 진행할 수 있다.
다른 예들에서, 제1 및 제2 포즈들은 실질적으로 동일한 포즈일 수 있다. 일부 예들에서, 후속 시간 프레임에서 실질적으로 동일한 제2 포즈의 결정 시에, 캡처된 이미지 및/또는 사용자의 정맥들, 손가락들, 및 포즈들 사이의 상관관계가 무시될 수 있다. 다른 경우들에서, 제1 이미지는 제2 이미지와 동일할 수 있고, 제1 상관은 제2 상관과 동일할 수 있다.
단계(780)에서, 미래의 포즈 및/또는 제스처는 상관된 제1 및 제2 포즈들에 기초하여(예컨대, 위에서 논의된 단계들(772 내지 778)로부터) 동적으로 예측될 수 있다. 일부 예들에서, 예측은 제1 및 제2 복수의 이미지들 내의 정맥들의 하나 이상의 특성(예컨대, 위치, 상대 간격, 형상, 혈류 등)을 결정하는 것, 및 하나 이상의 특성에 기초하여 제3 포즈를 예측하는 것을 포함할 수 있다. 다른 예들에서, 예측된 포즈들 또는 제스처들은 가능한 포즈들 또는 제스처들의 유한 세트에 기초할 수 있다. 예를 들어, 예측된 제3 포즈는 클로즈 및 오픈 기타 코드를 각자 대표하는 제1 및 제2 포즈들에 기초하여 기타 상에 바레 코드(barre chord)(예컨대, 검지 손가락이 펴지고 나머지 손가락들이 구부러짐)를 나타낼 수 있다(예컨대, 사용자는 노래를 따라 연주하기 위한 제스처를 할 수 있다). 다른 예에서, 디바이스는 클로즈된 손가락 및 오픈된 손가락의 제1 및 제2 포즈들에 기초하여 제3 포즈에서 사용자의 손가락들이 클로즈됨을 예측할 수 있다(예컨대, 사용자는 노래의 패턴을 반복하는 것을 나타내는 제스처들 및/또는 포즈들을 수행하고 있을 수 있다).
단계(782)에서, 예측의 성공이 (예컨대, 신뢰 값에 기초하여) 결정될 수 있다. 일부 예들에서, 예측된 포즈들 또는 제스처들은 예측된 포즈들 또는 제스처들의 정확도를 결정하기 위해 미리 결정된 통계적 모델과 비교될 수 있다. 다른 예들에서, 예측된 포즈들 또는 제스처들의 성공은 이전의 포즈들에 기초하여 결정될 수 있다. 예를 들어, 위의 예에 이어서, 바레 코드의 제3 포즈는 기타 코드에 대응하는 포즈들의 순서가 노래를 정확하게 연주할 때 성공적으로 예측되는 것으로 결정될 수 있다.
제스처 및/또는 포즈가 성공적으로 예측되는 경우(예컨대, 예측된 제스처 및/또는 포즈가 모델에 매칭되거나 사용자가 예측을 승인함), 하나 이상의 제스처 및/또는 포즈가 상관된 포즈들 및 예측된 포즈들 및/또는 제스처들로부터 동적으로 결정될 수 있을 때 프로세스가 단계(784)로 진행할 수 있다. 일부 예들에서, 결정된 움직임들은 적어도 하나의 예측된 포즈를 포함할 수 있다. 일부 예들에서, 제스처들 및/또는 포즈들은 복수의 시간 프레임들 및 예측된 포즈 및/또는 제스처(예컨대, 단계(780)로부터)에 걸쳐 사용자의 움직임들(예컨대, 단계들(772 내지 778)로부터 결정된 포즈들의 순서)을 이용하여 결정될 수 있다.
제스처 및/또는 포즈가 성공적으로 예측되지 않은 경우, 예측 프로세스는 추가적이거나 상이한 이미지들을 캡처하기 위해 단계(776)로 복귀할 수 있다. 예를 들어, 캡처된 이미지들은 정확한 예측을 행하기에 충분하지 않을 수 있다(예컨대, 캡처된 이미지들은 충분한 샘플들을 포함하지 않을 수 있다). 그러한 경우에, 더 많은 캡처된 이미지들이 예측된 포즈 또는 제스처의 신뢰도를 증가시키는 데 유용할 수 있다. 다른 예에서, 위의 예에 따라, 바레 코드의 예측된 제3 포즈는 사용자의 검지 손가락이 실제 제3 포즈에서 구부러질 때 성공적이지 않게 예측되는 것으로 결정될 수 있다. 이 예에서, 실제 제3 포즈에서의 사용자의 정맥들의 이미지는 제4 포즈가 예측될 수 있기 전에 캡처되고 상관될 수 있다. 일부 예들에서, 단계들(776, 778)은 하나 이상의 제스처 및/또는 포즈 전에 성공적인 예측이 결정될 수 있을 때까지 반복될 수 있다. 일부 예들에서, 성공적이지 못한 예측의 결정 시에, 디바이스는 예측된 포즈 및/또는 제스처 없이 선택적으로 하나 이상의 제스처 및/또는 포즈를 결정하고 기록할 수 있다.
일부 예들에서, 사용자의 손 움직임(예컨대, 손가락 움직임)은 하나 이상의 새로운 제스처들 및/또는 포즈들을 포함할 수 있다. 예를 들어, 새로운 제스처 및/또는 포즈는 라이브러리 파일 내에 포함되지 않은 제스처 및/또는 포즈일 수 있다. 디바이스는 사용자가 새로운 제스처 및/또는 포즈를 수행했음을 결정할 수 있고, 단계(786)에서 새로운 제스처 및/또는 포즈를 기록할 수 있다. 일부 예들에서, 기록된 제스처들 및/또는 포즈 및 연관된 이미지들이 분류될 수 있다(예컨대, 특정 그룹과 연관됨). 예를 들어, 구부러진 손가락들을 포함하는 제스처들 및/또는 포즈들은 가상 기타를 위한 제스처들 및/또는 포즈들로서 분류될 수 있다.
일부 예들에서, 기록된 제스처 및/또는 포즈는 독립적일 수 있다. 다시 말하면, 기록된 제스처 및/또는 포즈는 라이브러리 파일에 속하지 않을 수 있거나 라이브러리 파일의 어떠한 속성에도 영향을 미치지 않을 수 있다. 다른 경우들에 있어서, 새로 기록된 제스처 및/또는 포즈는 라이브러리 파일의 일부이거나 라이브러리 파일의 하나 이상의 속성에 영향을 줄 수 있다.
단계(788)에서, 하나 이상의 라이브러리 파일이, 기록된 이미지들, 포즈들, 및/또는 제스처들에 기초하여 업데이트될 수 있다. 라이브러리 파일은 기록된 이미지, 포즈들, 및/또는 제스처와 연관된 하나 이상의 정보로 업데이트될 수 있다. 예시적인 정보는 제스처(들), 포즈들, 하나 이상의 이미지, 제스처(들), 포즈들, 및/또는 이미지(들)와 연관된 통계적 모델들, 제스처(들), 포즈들과 연관된 하나 이상의 애플리케이션, 및 사용자 특성들을 포함할 수 있지만, 이들로 제한되지 않는다. 일부 예들에서, 새로 업데이트된 라이브러리 파일은 미래의 예측들, 정확도 결정들 등에 통합될 수 있다. 예를 들어, 노래를 따라 연주하기 위한 제스처들 및/또는 포즈들과 연관된 라이브러리 파일이 업데이트되어, 사용자가 미래에 노래의 악절들을 연주할 때 더 빠르고 더 정확한 상관 및 예측을 허용할 수 있다.
전자 디바이스에 의해 손 제스처들을 결정하기 위한 방법이 개시된다. 방법은, 제1 시간에 손 안의 하나 이상의 정맥의 하나 이상의 제1 이미지를 캡처하는 단계; 제1 시간과 상이한 제2 시간에 손 안의 하나 이상의 정맥의 하나 이상의 제2 이미지를 캡처하는 단계; 하나 이상의 제1 이미지에 기초하여 제1 손 포즈를 결정하는 단계; 하나 이상의 제2 이미지에 기초하여 제2 손 포즈를 결정하는 단계; 및 적어도 제1 및 제2 손 포즈들에 기초하여 제스처를 결정하는 단계를 포함할 수 있다. 추가적으로 또는 대안적으로, 일부 예들에서, 제1 손 포즈의 결정은 하나 이상의 제1 이미지 내의 하나 이상의 정맥을 손의 하나 이상의 관절에 상관시키는 것을 포함하고, 제2 손 포즈의 결정은 하나 이상의 제2 이미지 내의 하나 이상의 정맥을 손의 하나 이상의 관절에 상관시키는 것을 포함하고, 제스처의 결정은, 하나 이상의 손 움직임을 결정하기 위해 제1 및 제2 이미지들 내의 하나 이상의 정맥의 특성들의 하나 이상의 차이를 검출하는 것을 포함하고, 제스처는 하나 이상의 손 움직임에 추가로 기초한다. 추가적으로 또는 대안적으로, 일부 예들에서, 특성들은 위치, 상대 간격, 형상, 변위, 및 혈류 중 하나 이상일 수 있다. 추가적으로 또는 대안적으로, 일부 예들에서, 하나 이상의 제1 이미지 내의 하나 이상의 정맥의 상관 및 하나 이상의 제2 이미지 내의 하나 이상의 정맥의 상관은 적어도 미리 결정된 모델에 기초한다. 추가적으로 또는 대안적으로, 일부 예들에서, 방법은 제1 및 제2 손 포즈들에 기초하여 제3 손 포즈를 예측하는 단계를 추가로 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 방법은 예측이 성공적이었는지 여부를 결정하는 단계; 및 예측이 성공적이지 않았다는 결정에 따라, 제3 시간에 손 안의 하나 이상의 정맥의 하나 이상의 제3 이미지를 캡처하는 단계; 및 적어도 하나 이상의 제3 이미지에 기초하여 제3 손 포즈를 결정하는 단계를 추가로 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 방법은 예측이 성공적이었는지 여부를 결정하는 단계; 및 결정된 예측의 성공에 기초하여 신뢰 값을 동적으로 업데이트하는 단계를 추가로 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 제3 손 포즈를 예측하는 단계는, 연관된 신뢰 값을 결정 또는 수신하는 단계를 포함하고, 예측은 신뢰 값에 기초한다. 추가적으로 또는 대안적으로, 일부 예들에서, 제스처의 결정은 제1 포즈 및 제2 포즈를 포함하는 포즈들의 순서에 기초한다. 추가적으로 또는 대안적으로, 일부 예들에서, 방법은, 제스처의 결정이 정확했는지 여부를 검증하는 단계; 및 제스처가 정확하지 않다는 결정에 따라, 하나 이상의 제1 이미지, 하나 이상의 제2 이미지, 또는 둘 모두를 캡처하는 입도를 동적으로 증가시키는 단계를 추가로 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 방법은 제스처와 연관된 전자 디바이스의 하나 이상의 동작을 결정하는 단계; 및 제스처가 결정된 때에 전자 디바이스 상에서 하나 이상의 동작을 실행하는 단계를 추가로 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 방법은, 제스처가 라이브러리 파일 내에 포함되는지 여부를 결정하는 단계; 및 제스처가 라이브러리 파일 내에 포함되지 않음에 따라, 라이브러리 파일 내에 제스처와 연관된 정보를 기록하는 단계를 추가로 포함하고, 정보는, 제스처, 하나 이상의 제1 이미지, 하나 이상의 제2 이미지, 손 제스처와 연관된 통계적 모델들, 손 제스처와 연관된 하나 이상의 애플리케이션, 및 사용자 특성들 중 하나 이상을 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 방법은 결정된 손 제스처를 이용하여 라이브러리 파일을 업데이트하는 단계를 추가로 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 방법은 손 제스처를 제스처들의 카테고리로 분류하는 단계; 및 손 제스처를 각자의 카테고리 내에 기록하는 단계를 추가로 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 방법은, 제2 디바이스 동작에 대한 하나 이상의 기록된 손 제스처들의 연관을 업데이트하는 단계를 추가로 포함하고, 하나 이상의 기록된 정보는 업데이트 전에 제1 디바이스 동작과 연관된다.
전자 디바이스가 개시된다. 전자 디바이스는, 하나 이상의 센서 - 센서는 손 안의 하나 이상의 정맥의 하나 이상의 제1 이미지를 캡처하도록 구성됨 -; 및 프로세서를 포함할 수 있으며, 프로세서는, 하나 이상의 제1 이미지를 수신하고, 하나 이상의 제2 이미지를 수신하고, 하나 이상의 제1 캡처된 이미지 및 하나 이상의 제2 캡처된 이미지를 각자 제1 및 제2 디지털 표현들로 변환하고, 제1 디지털 표현과 상기 제2 디지털 표현 사이의 하나 이상의 차이를 검출하고, 하나 이상의 차이에 기초하여 하나 이상의 손 움직임을 결정하고, 하나 이상의 결정된 움직임에 기초하여 하나 이상의 손 제스처를 결정하고, 하나 이상의 결정된 손 제스처에 기초하여 전자 디바이스 상에서 하나 이상의 동작을 수행하도록 구성된다. 추가적으로 또는 대안적으로, 일부 예들에서, 하나 이상의 센서는 디바이스의 측면, 디바이스의 하면, 및 디바이스의 스트랩 중 하나 이상에 위치된다. 추가적으로 또는 대안적으로, 일부 예들에서, 하나 이상의 센서는 디바이스의 하면 상에 위치된 PPG 센서들이다. 추가적으로 또는 대안적으로, 일부 예들에서, 하나 이상의 센서는 디바이스의 크라운 상에 위치된 카메라를 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 하나 이상의 센서는 근적외선 센서들, 적외선 센서들, 또는 둘 모두 중 하나 이상이다.
개시된 예들이 첨부의 도면들을 참조하여 충분히 설명되었지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 다양한 변경들 및 수정들이 명백할 것이라는 것에 주목하여야 한다. 그러한 변경들 및 수정들은 첨부된 청구항들에 의해 정의되는 바와 같은 개시된 예들의 범주 내에 포함되는 것으로서 이해되어야 한다.

Claims (20)

  1. 전자 디바이스에 의해 손 제스처들을 결정하기 위한 방법으로서,
    제1 시간에 손 안의 하나 이상의 정맥의 하나 이상의 제1 이미지를 캡처하는 단계;
    상기 제1 시간과 상이한 제2 시간에 상기 손 안의 상기 하나 이상의 정맥의 하나 이상의 제2 이미지를 캡처하는 단계;
    상기 하나 이상의 제1 이미지에 기초하여 제1 손 포즈를 결정하는 단계 - 상기 제1 손 포즈를 결정하는 단계는 상기 하나 이상의 제1 이미지 내의 상기 하나 이상의 정맥을 상기 손의 하나 이상의 관절에 상관시키는 것을 포함함 -;
    상기 하나 이상의 제2 이미지에 기초하여 제2 손 포즈를 결정하는 단계; 및
    적어도 상기 제1 손 포즈 및 상기 제2 손 포즈에 기초하여 제스처를 결정하는 단계를 포함하고,
    상기 제2 손 포즈를 결정하는 단계는 상기 하나 이상의 제2 이미지 내의 상기 하나 이상의 정맥을 상기 손의 하나 이상의 관절에 상관시키는 것을 포함하고,
    상기 제스처를 결정하는 단계는 상기 하나 이상의 제2 이미지 내의 상기 하나 이상의 정맥을 상기 손의 상기 하나 이상의 관절에 매칭시킴으로써 상기 상관을 이용하는 것을 포함하는, 방법.
  2. 제1항에 있어서,
    상기 제스처의 결정은,
    하나 이상의 손 움직임을 결정하기 위해 상기 하나 이상의 제1 이미지 및 상기 하나 이상의 제2 이미지 내의 상기 하나 이상의 정맥의 특성들의 하나 이상의 차이를 검출하는 것을 포함하고, 상기 제스처는 상기 하나 이상의 손 움직임에 추가로 기초하는, 방법.
  3. 제2항에 있어서, 상기 특성들은 위치, 상대 간격, 형상, 변위, 및 혈류 중 하나 이상일 수 있는, 방법.
  4. 제2항에 있어서, 상기 하나 이상의 제1 이미지 내의 상기 하나 이상의 정맥의 상기 상관 및 상기 하나 이상의 제2 이미지 내의 상기 하나 이상의 정맥의 상기 상관은 적어도 미리 결정된 모델에 기초하는, 방법.
  5. 제1항에 있어서, 상기 제1 손 포즈 및 상기 제2 손 포즈에 기초하여 제3 손 포즈를 예측하는 단계를 추가로 포함하는, 방법.
  6. 제5항에 있어서,
    상기 예측이 성공적이지 않았는지 여부를 결정하는 단계; 및
    상기 예측이 성공적이지 않음에 따라,
    제3 시간에 상기 손 안의 상기 하나 이상의 정맥의 하나 이상의 제3 이미지를 캡처하는 단계; 및
    하나 이상의 제3 이미지에 적어도 기초하여 상기 제3 손 포즈를 결정하는 단계를 추가로 포함하는, 방법.
  7. 제5항에 있어서,
    상기 예측이 성공적이었는지 여부를 결정하는 단계; 및
    결정된 상기 예측의 성공에 기초하여 신뢰 값을 동적으로 업데이트하는 단계를 추가로 포함하는, 방법.
  8. 제7항에 있어서, 상기 제3 손 포즈를 예측하는 단계는,
    연관된 신뢰 값을 결정 또는 수신하는 단계를 포함하고, 상기 예측은 상기 신뢰 값에 기초하는, 방법.
  9. 제1항에 있어서, 상기 제스처의 상기 결정은 상기 제1 손 포즈 및 상기 제2 손 포즈를 포함하는 포즈들의 순서에 기초하는, 방법.
  10. 제1항에 있어서,
    상기 결정된 제스처가 부정확하다고 결정하는 단계; 및
    상기 제스처가 부정확함에 따라, 상기 하나 이상의 제1 이미지, 상기 하나 이상의 제2 이미지, 또는 둘 모두를 캡처하는 입도(granularity)를 동적으로 증가시키는 단계를 추가로 포함하는, 방법.
  11. 제1항에 있어서,
    상기 제스처와 연관된 상기 전자 디바이스의 하나 이상의 동작을 결정하는 단계; 및
    상기 제스처가 결정된 때에 상기 전자 디바이스 상에서 상기 하나 이상의 동작을 실행하는 단계를 추가로 포함하는, 방법.
  12. 제1항에 있어서,
    상기 제스처가 라이브러리 파일 내에 포함되는지 여부를 결정하는 단계; 및
    상기 제스처가 상기 라이브러리 파일 내에 포함되지 않음에 따라, 상기 라이브러리 파일 내에 상기 제스처와 연관된 정보를 기록하는 단계를 추가로 포함하고,
    상기 정보는, 상기 제스처, 상기 하나 이상의 제1 이미지, 상기 하나 이상의 제2 이미지, 상기 제스처와 연관된 통계적 모델들, 상기 제스처와 연관된 하나 이상의 애플리케이션, 및 사용자 특성들 중 하나 이상을 포함하는, 방법.
  13. 제1항에 있어서,
    상기 제스처를 이용하여 라이브러리 파일을 업데이트하는 단계를 추가로 포함하는, 방법.
  14. 제13항에 있어서,
    상기 제스처를 제스처들의 카테고리로 분류하는 단계; 및
    상기 제스처를 각자의 카테고리 내에 기록하는 단계를 추가로 포함하는, 방법.
  15. 제12항에 있어서, 상기 방법은,
    제2 디바이스 동작에 대한 상기 기록된 정보의 연관을 업데이트하는 단계를 추가로 포함하고, 상기 기록된 정보는 상기 업데이트 전에 제1 디바이스 동작과 연관되는, 방법.
  16. 전자 디바이스로서,
    하나 이상의 센서 - 상기 하나 이상의 센서는 손 안의 하나 이상의 정맥의 하나 이상의 제1 이미지를 캡처하고 상기 손 안의 상기 하나 이상의 정맥의 하나 이상의 제2 이미지를 캡처하도록 구성됨 -; 및
    프로세서를 포함하며, 상기 프로세서는,
    상기 캡처된 하나 이상의 제1 이미지를 수신하고,
    상기 캡처된 하나 이상의 제2 이미지를 수신하고,
    상기 캡처된 하나 이상의 제1 이미지 및 상기 캡처된 하나 이상의 제2 이미지를 각자 제1 디지털 표현 및 제2 디지털 표현으로 변환하고,
    상기 제1 디지털 표현과 상기 제2 디지털 표현 사이의 하나 이상의 차이를 검출하고,
    상기 하나 이상의 차이에 기초하여 하나 이상의 손 움직임을 결정하고,
    상기 결정된 하나 이상의 손 움직임에 기초하여 하나 이상의 손 제스처를 결정하고,
    상기 결정된 하나 이상의 손 제스처에 기초하여 상기 전자 디바이스 상에서 하나 이상의 동작을 수행하도록 구성되고,
    상기 하나 이상의 손 움직임의 결정은 상기 하나 이상의 제1 이미지 내의 하나 이상의 정맥을 상기 손의 하나 이상의 관절에 상관시키는 것을 포함하고,
    상기 하나 이상이 손 제스처의 결정은 상기 하나 이상의 제1 이미지 내의 상기 하나 이상의 정맥을 상기 손의 상기 하나 이상의 관절에 매칭시킴으로써 상기 상관을 이용하는 것을 포함하는
    전자 디바이스.
  17. 제16항에 있어서, 상기 하나 이상의 센서는 상기 전자 디바이스의 측면, 상기 전자 디바이스의 하면, 및 상기 전자 디바이스의 스트랩 중 하나 이상에 위치되는, 전자 디바이스.
  18. 제17항에 있어서, 상기 하나 이상의 센서는 상기 전자 디바이스의 상기 하면 상에 위치된 PPG 센서들인, 전자 디바이스.
  19. 제16항에 있어서, 상기 하나 이상의 센서는 상기 전자 디바이스의 크라운 상에 위치된 카메라를 포함하는, 전자 디바이스.
  20. 제16항에 있어서, 상기 하나 이상의 센서는 근적외선(near-IR) 센서들, 적외선(IR) 센서들, 또는 둘 모두 중 하나 이상인, 전자 디바이스.
KR1020207004366A 2017-09-29 2018-08-10 자동 제스처 및 손가락 인식을 위한 정맥 스캐닝 디바이스 KR102330655B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762565364P 2017-09-29 2017-09-29
US62/565,364 2017-09-29
PCT/US2018/046375 WO2019067096A1 (en) 2017-09-29 2018-08-10 VEIN SCANNING DEVICE FOR AUTOMATIC RECOGNITION OF GESTURES AND FINGERS

Publications (2)

Publication Number Publication Date
KR20200031133A KR20200031133A (ko) 2020-03-23
KR102330655B1 true KR102330655B1 (ko) 2021-11-23

Family

ID=63405461

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207004366A KR102330655B1 (ko) 2017-09-29 2018-08-10 자동 제스처 및 손가락 인식을 위한 정맥 스캐닝 디바이스

Country Status (5)

Country Link
US (1) US10698497B2 (ko)
KR (1) KR102330655B1 (ko)
CN (1) CN111052047B (ko)
DE (1) DE112018005499T5 (ko)
WO (1) WO2019067096A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017171858A1 (en) * 2016-04-01 2017-10-05 Intel Corporation Gesture capture
US10698497B2 (en) 2017-09-29 2020-06-30 Apple Inc. Vein scanning device for automatic gesture and finger recognition
US10911103B2 (en) * 2018-08-19 2021-02-02 International Forte Group LLC Portable electronic device for facilitating a proximity based interaction with a short range communication enabled object
CN110244844A (zh) * 2019-06-10 2019-09-17 Oppo广东移动通信有限公司 控制方法及相关装置
KR20210034843A (ko) * 2019-09-23 2021-03-31 삼성전자주식회사 차량의 제어 장치 및 방법
US11157086B2 (en) * 2020-01-28 2021-10-26 Pison Technology, Inc. Determining a geographical location based on human gestures
US11199908B2 (en) * 2020-01-28 2021-12-14 Pison Technology, Inc. Wrist-worn device-based inputs for an operating system
CN112270982B (zh) * 2020-11-23 2022-09-30 南京图格医疗科技有限公司 一种远距离手势控制一体化手术室系统
KR20230128562A (ko) * 2021-01-20 2023-09-05 애플 인크. 환경 내의 객체들과 상호작용하기 위한 방법
WO2022266515A1 (en) * 2021-06-18 2022-12-22 Meta Platforms Technologies, Llc Inferring user pose using optical data
WO2023277888A1 (en) * 2021-06-29 2023-01-05 Innopeak Technology, Inc. Multiple perspective hand tracking
US11934586B2 (en) 2022-06-29 2024-03-19 Google Llc Gesture detection via image capture of subdermal tissue from a wrist-pointing camera system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150309629A1 (en) * 2014-04-28 2015-10-29 Qualcomm Incorporated Utilizing real world objects for user input
US20170011210A1 (en) * 2014-02-21 2017-01-12 Samsung Electronics Co., Ltd. Electronic device
US20170147075A1 (en) * 2015-11-24 2017-05-25 Intel Corporation Determination of hand dimensions for hand and gesture recognition with a computing interface

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5483261A (en) 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
US5488204A (en) 1992-06-08 1996-01-30 Synaptics, Incorporated Paintbrush stylus for capacitive touch sensor pad
US5880411A (en) 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
US5825352A (en) 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
US5835079A (en) 1996-06-13 1998-11-10 International Business Machines Corporation Virtual pointing device for touchscreens
US6310610B1 (en) 1997-12-04 2001-10-30 Nortel Networks Limited Intelligent touch display
WO1999038149A1 (en) 1998-01-26 1999-07-29 Wayne Westerman Method and apparatus for integrating manual input
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US6188391B1 (en) 1998-07-09 2001-02-13 Synaptics, Inc. Two-layer capacitive touchpad and method of making same
JP4542637B2 (ja) 1998-11-25 2010-09-15 セイコーエプソン株式会社 携帯情報機器及び情報記憶媒体
JP3800984B2 (ja) 2001-05-21 2006-07-26 ソニー株式会社 ユーザ入力装置
JP2003173237A (ja) 2001-09-28 2003-06-20 Ricoh Co Ltd 情報入出力システム、プログラム及び記憶媒体
US6690387B2 (en) 2001-12-28 2004-02-10 Koninklijke Philips Electronics N.V. Touch-screen image scrolling system and method
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
US9696808B2 (en) 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
CN103324274A (zh) * 2012-03-22 2013-09-25 联想(北京)有限公司 一种人机交互方法和装置
US9170674B2 (en) * 2012-04-09 2015-10-27 Qualcomm Incorporated Gesture-based device control using pressure-sensitive sensors
CN103818349A (zh) * 2012-11-19 2014-05-28 大连天地伟业数码科技有限公司 一种基于静脉识别的汽车驾驶系统
KR20140087866A (ko) * 2012-12-31 2014-07-09 현대자동차주식회사 정맥 영상을 이용한 제스처 인식 방법 및 인식 장치
KR102091028B1 (ko) * 2013-03-14 2020-04-14 삼성전자 주식회사 사용자 기기의 오브젝트 운용 방법 및 장치
CN103558918B (zh) * 2013-11-15 2016-07-27 上海威璞电子科技有限公司 在智能手表中实现手势识别技术的方法
US9679197B1 (en) * 2014-03-13 2017-06-13 Leap Motion, Inc. Biometric aware object detection and tracking
CN106233227B (zh) 2014-03-14 2020-04-28 索尼互动娱乐股份有限公司 具有体积感测的游戏装置
CN104267813A (zh) * 2014-09-25 2015-01-07 上海威璞电子科技有限公司 腕带和手环类产品采用十种手势实现输入或选择的方法
US10488936B2 (en) * 2014-09-30 2019-11-26 Apple Inc. Motion and gesture input from a wearable device
EP3234742A4 (en) * 2014-12-16 2018-08-08 Quan Xiao Methods and apparatus for high intuitive human-computer interface
KR20160090047A (ko) * 2015-01-21 2016-07-29 현대자동차주식회사 차량, 차량의 제어 방법 및 차량에 포함되는 동작 인식 장치
US11106273B2 (en) * 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
US10698497B2 (en) 2017-09-29 2020-06-30 Apple Inc. Vein scanning device for automatic gesture and finger recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170011210A1 (en) * 2014-02-21 2017-01-12 Samsung Electronics Co., Ltd. Electronic device
US20150309629A1 (en) * 2014-04-28 2015-10-29 Qualcomm Incorporated Utilizing real world objects for user input
US20170147075A1 (en) * 2015-11-24 2017-05-25 Intel Corporation Determination of hand dimensions for hand and gesture recognition with a computing interface

Also Published As

Publication number Publication date
WO2019067096A1 (en) 2019-04-04
CN111052047A (zh) 2020-04-21
US10698497B2 (en) 2020-06-30
US20190101991A1 (en) 2019-04-04
DE112018005499T5 (de) 2020-07-09
KR20200031133A (ko) 2020-03-23
CN111052047B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
KR102330655B1 (ko) 자동 제스처 및 손가락 인식을 위한 정맥 스캐닝 디바이스
US10478099B2 (en) Systems and methods for determining axial orientation and location of a user's wrist
US20160299570A1 (en) Wristband device input using wrist movement
US20230179700A1 (en) Providing remote interactions with host device using a wireless device
US9813864B2 (en) Detecting stowing or unstowing of a mobile device
US20160028869A1 (en) Providing remote interactions with host device using a wireless device
US10375227B2 (en) Mobile terminal
US20170308182A1 (en) Mechanical Detection of a Touch Movement Using a Sensor and a Special Surface Pattern System and Method
US20160154777A1 (en) Device and method for outputting response
KR20150141793A (ko) 무선 리시버 및 그 제어 방법
CN110955373A (zh) 一种显示要素的显示方法和电子设备
CN112100528A (zh) 对搜索结果评分模型进行训练的方法、装置、设备、介质
US20230135420A1 (en) Wearable electronic device for displaying virtual object and method of controlling the same
CN107924232A (zh) 电子设备及其控制方法
CN113316756A (zh) 用于控制智能手表的操作的方法、设备和系统
KR101727082B1 (ko) 측면디스플레이부를 구비한 이동단말기를 이용한 게임수행방법 및 프로그램
CN113744736A (zh) 命令词识别方法、装置、电子设备及存储介质
KR101727081B1 (ko) 측면디스플레이부를 구비한 이동단말기를 이용한 게임수행방법 및 프로그램
AU2016100962B4 (en) Wristband device input using wrist movement
KR101714691B1 (ko) 측면디스플레이부를 구비한 이동단말기를 이용한 게임수행방법 및 프로그램
CN109478131A (zh) 音频输入输出方法和终端设备
EP4080329A1 (en) Wearable control system and method to control an ear-worn device
CN110875042B (zh) 指定人群监控方法、装置和存储介质
US20150293608A1 (en) Electronic device and text input method thereof
AU2013403419A1 (en) Wristband device input using wrist movement

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant