KR20220017340A - 제스처를 인식하는 전자 장치 및 그 동작 방법 - Google Patents

제스처를 인식하는 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
KR20220017340A
KR20220017340A KR1020200125201A KR20200125201A KR20220017340A KR 20220017340 A KR20220017340 A KR 20220017340A KR 1020200125201 A KR1020200125201 A KR 1020200125201A KR 20200125201 A KR20200125201 A KR 20200125201A KR 20220017340 A KR20220017340 A KR 20220017340A
Authority
KR
South Korea
Prior art keywords
electronic device
gesture
data
processor
segmentation
Prior art date
Application number
KR1020200125201A
Other languages
English (en)
Inventor
정원석
조용상
유병욱
박성진
임채만
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2021/010173 priority Critical patent/WO2022030968A1/ko
Priority to US17/428,438 priority patent/US11899845B2/en
Publication of KR20220017340A publication Critical patent/KR20220017340A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G04—HOROLOGY
    • G04G—ELECTRONIC TIME-PIECES
    • G04G21/00—Input or output devices integrated in time-pieces
    • G04G21/02—Detectors of external physical values, e.g. temperature
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Abstract

다양한 실시예에 따라서, 전자 장치는, 적어도 하나의 센서, 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 프로세서에 의하여 실행 중인 제 1 어플리케이션으로부터의 제스처 확인 요청을 확인하고, 상기 제스처 확인 요청의 확인에 응답하여, 제스처 어플리케이션에 기반하여 상기 적어도 하나의 센서 중 활성화된 적어도 하나의 제 1 센서 모듈로부터의 적어도 하나의 센싱 데이터를 이용하여 제스처를 확인하고, 상기 확인된 제스처를 상기 제 1 어플리케이션으로 제공하고, 상기 제 1 어플리케이션에 기반하여, 상기 확인된 제스처에 대응하는 적어도 하나의 동작을 수행하도록 설정될 수 있다. 그 밖의 다양한 실시예가 가능하다.

Description

제스처를 인식하는 전자 장치 및 그 동작 방법 {ELECTRONIC DEVICE FOR RECOGNIZING GESTURE AND METHOD FOR OPERATING THEREOF}
다양한 실시예는 제스처를 인식하는 전자 장치 및 그 동작 방법에 관한 것이다.
최근 스마트 폰(smart phone), 태블릿 PC(tablet personal computer), 및 웨어러블(wearable) 장치와 같은 휴대가 가능한 전자 장치의 사용이 증가되고 있으며, 기술의 발전에 따라 생체 신호를 측정하는 기술 또한 발전하고 있다. 아울러, 전자 장치는, 센서(예: 생체 센서 또는 움직임 감지 센서)를 통하여, 전자 장치의 움직임에 대한 정보를 확인할 수 있다. 전자 장치는, 생체 신호 또는 움직임에 대한 정보 중 적어도 하나에 기반하여 사용자가 수행한 제스처를 인식할 수 있다.
전자 장치는, 움직임에 대한 정보를 이용하여, 전자 장치를 착용한 사용자의 신체의 일부의 움직임을 확인할 수 있다. 전자 장치는, 예를 들어 사용자의 팔의 움직임에 대한 정보를 확인할 수 있다. 전자 장치는, 생체 신호를 이용하여, 사용자의 근육의 이완/수축에 대한 정보를 확인할 수 있다. 전자 장치는, 예를 들어, 사용자가 손을 쥐는 경우, 또는 사용자가 손을 쥐었다가 펴는 경우에, 사용자의 근육의 이완/수축을 나타내는 생체 신호에 기반하여, 손의 형태 변화를 확인할 수 있다.
전자 장치는, 제스처가 확인되면 제스처에 대응하는 동작을 수행할 수 있다. 이에 따라, 사용자는, 전자 장치를 착용한 채로 제스처를 수행함으로써 원하는 대로 전자 장치를 조작할 수 있다.
사용자가 임의의 시점에서 제스처를 수행할 가능성이 있다. 이에 따라, 전자 장치는, 제스처 인식을 상시적으로 수행하여야 할 수 있다. 예를 들어, 전자 장치는, 제스처 인식에 요구되는 센싱 신호를 획득할 수 있도록, 관련된 센서들을 상시적으로 턴-온하여야 하며 이에 따라 전력이 낭비될 수 있다. 또한, 전자 장치는, 센서들로부터 획득된 센싱 신호를 처리하여, 처리 결과에 기반한 제스처 인식을 상시적으로 수행함으로써, 그 리소스의 소비 또한 급증할 수 있다.
뿐만 아니라, 제스처 인식을 위하여서는 적절한 센싱 신호의 세그먼테이션(segmentation)이 요구될 수 있다. 예를 들어, 사용자가 전자 장치를 착용하고 걷거나 뛰거나, 또는 팔을 조금만 움직여도, 전자 장치는 이를 인식할 수 있으며, 전자 장치는 해당 신호를 일괄적으로 세그먼테이션 하고, 제스처 인식을 수행하여야 할 수 있다. 기존에는, 동작이 큰 제스처만을 인식하는 제 1 방식이 이용되거나, 또는 상대적으로 긴 시간 구간 동안에서의 신호 파형의 피크-투-피크(peak-to-peak)를 이용하는 제 2 방식이 이용되었다. 하지만, 제 1 방식을 이용하는 경우에는 상대적으로 동작이 작은 제스처를 인식할 수 없었으며, 제 2 방식을 이용하는 경우에는 제스처 인식에 요구되는 시간이 길어 그 즉시성이 저하될 수 있다.
다양한 실시예에 따른 전자 장치 및 그 동작 방법은, 특정 어플리케이션으로부터 제스처 인식 요청이 있는 경우에, 센서를 통하여 제스처를 인식할 수 있다. 다양한 실시예에 따른 전자 장치 및 그 동작 방법은, 센싱된 신호의 일정 시간 구간 동안의 합계를 이용하여 해당 신호를 세그먼테이션 할 지 여부를 결정할 수 있다.
다양한 실시예에 따라서, 전자 장치는, 적어도 하나의 센서, 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 프로세서에 의하여 실행 중인 제 1 어플리케이션으로부터의 제스처 확인 요청을 확인하고, 상기 제스처 확인 요청의 확인에 응답하여, 제스처 어플리케이션에 기반하여 상기 적어도 하나의 센서 중 활성화된 적어도 하나의 제 1 센서 모듈로부터의 적어도 하나의 센싱 데이터를 이용하여 제스처를 확인하고, 상기 확인된 제스처를 상기 제 1 어플리케이션으로 제공하고, 상기 제 1 어플리케이션에 기반하여, 상기 확인된 제스처에 대응하는 적어도 하나의 동작을 수행하도록 설정될 수 있다.
다양한 실시예에 따라서, 전자 장치의 동작 방법은, 상기 전자 장치의 적어도 하나의 프로세서에 의하여 실행 중인 제 1 어플리케이션으로부터의 제스처 확인 요청을 확인하는 동작, 상기 제스처 확인 요청의 확인에 응답하여, 제스처 어플리케이션에 기반하여 상기 전자 장치의 적어도 하나의 센서 중 활성화된 적어도 하나의 제 1 센서 모듈로부터의 적어도 하나의 센싱 데이터를 이용하여 제스처를 확인하는 동작, 상기 확인된 제스처를 상기 제 1 어플리케이션으로 제공하는 동작, 및 상기 제 1 어플리케이션에 기반하여, 상기 확인된 제스처에 대응하는 적어도 하나의 동작을 수행하는 동작을 포함할 수 있다.
다양한 실시예에 따라서, 특정 어플리케이션으로부터 제스처 인식 요청이 있는 경우에, 제스처 어플리케이션을 실행하여 제스처를 인식할 수 있는 전자 장치 및 그 동작 방법이 제공될 수 있다. 이에 따라, 상시적으로 센서가 턴-온될 필요가 없어 전력 소모가 감소할 수 있으며, 상시적으로 제스처 인식을 위한 프로세스가 수행될 필요가 없어 리소스 소모 또한 감소할 수 있다.
다양한 실시예에 따라서, 센싱된 신호의 일정 시간 구간 동안의 합계를 이용하여 해당 신호를 세그먼테이션 할 지 여부를 결정할 수 있는 전자 장치 및 그 동작 방법이 제공될 수 있다. 이에 따라, 상대적으로 동작이 작은 제스처를 인식할 수 있을 뿐만 아니라, 즉각적으로 제스처를 인식이 가능할 수 있다.
도 1은, 다양한 실시예에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는, 다양한 실시예에 따른, 전자 장치의 전면 사시도이다.
도 3은, 다양한 실시예에 따른, 전자 장치의 후면 사시도이다.
도 4은, 다양한 실시예에 따른, 전자 장치의 전개 사시도이다.
도 5는, 다양한 실시예에 따른, 전자 장치의 블록도이다.
도 6a는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 6b는 다양한 실시예에 따른 전자 장치의 블록도를 도시한다.
도 6c는 다양한 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면을 도시한다.
도 7은 다양한 실시예에 따른 전자 장치의 블록도를 도시한다.
도 8은 다양한 실시예에 따른 전자 장치의 블록도를 도시한다.
도 9는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 10은 다양한 실시예에 따른 센싱 데이터 및 합산 데이터를 나타내는 그래프들이다.
도 11은 다양한 실시예에 따른 전자 장치의 제스처 인식 과정을 설명하기 위한 도면이다.
도 12는 다양한 실시예에 따른 전자 장치의 구간 분할 모듈의 동작을 설명하기 위한 도면이다.
도 13a는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 13b는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 14는 다양한 실시예에 따른 복수 타입의 센싱 데이터에 대한 결정 규칙을 설명하기 위한 도면을 도시한다.
도 15는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 16은 다양한 실시예에 따른 세그먼테이션 구간의 오버랩을 설명하기 위한 도면이다.
도 17은 다양한 실시예에 따른 센싱 데이터 및 합산 데이터를 설명하기 위한 파형들을 도시한다.
도 18은 다양한 실시예에 따른 센싱 데이터 및 합산 데이터를 설명하기 위한 파형들을 도시한다.
도 19는 다양한 실시예에 따른 센싱 데이터 및 합산 데이터를 설명하기 위한 파형들을 도시한다.
도 20a는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 20b는 다양한 실시예에 따른 전자 장치를 도시한다.
도 21a는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 21b는 다양한 실시예에 따른 전자 장치를 도시한다.
도 22는 다양한 실시예에 따라 측정된 센싱 데이터를 도시한다.
도 23은, 다양한 실시예에 따른 변수 k가 x축 파라미터이며, 자기 상관을 y축 파라미터로 하는 그래프들을 도시한다.
도 24는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
도 1은, 다양한 실시예에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는, 다양한 실시예에 따른, 전자 장치의 전면 사시도이다. 도 3은, 다양한 실시예에 따른, 전자 장치의 후면 사시도이다. 도 4은, 다양한 실시예에 따른, 전자 장치의 전개 사시도이다.
도 2 내지 도 4를 참조하면, 일 실시예에 따른 전자 장치(200)(예: 도 1의 전자장치(101))는, 제 1 면(또는 전면)(210A), 제 2 면(또는 후면)(210B), 및 제 1 면(210A) 및 제 2 면(210B) 사이의 공간을 둘러싸는 측면(210C)을 포함하는 하우징(210)과, 상기 하우징(210)의 적어도 일부에 연결되고 상기 전자 장치(200)를 사용자의 신체 일부(예: 손목, 또는 발목)에 탈착 가능하게 결착하도록 구성된 결착 부재 (250, 260)를 포함할 수 있다. 다른 실시예(미도시)에서는, 하우징은, 도 2의 제 1 면(210A), 제 2 면(210B) 및 측면(210C)들 중 일부를 형성하는 구조를 지칭할 수도 있다. 일 실시예에 따르면, 제 1 면(210A)은 적어도 일부분이 실질적으로 투명한 전면 플레이트(201)(예: 다양한 코팅 레이어들을 포함하는 글라스 플레이트, 또는 폴리머 플레이트)에 의하여 형성될 수 있다. 제 2 면(210B)은 실질적으로 불투명한 후면 커버(207)에 의하여 형성될 수 있다. 상기 후면 커버(207)는, 예를 들어, 코팅 또는 착색된 유리, 세라믹, 폴리머, 금속(예: 알루미늄, 스테인레스 스틸(STS), 또는 마그네슘), 또는 상기 물질들 중 적어도 둘의 조합에 의하여 형성될 수 있다. 상기 측면(210C)은, 전면 플레이트(201) 및 후면 커버(207)와 결합하며, 금속 및/또는 폴리머를 포함하는 측면 베젤 구조 (또는 "측면 부재")(206)에 의하여 형성될 수 있다. 어떤 실시예에서는, 후면 커버(207) 및 측면 베젤 구조(206)는 일체로 형성되고 동일한 물질(예: 알루미늄과 같은 금속 물질)을 포함할 수 있다. 상기 결착 부재(250, 260)는 다양한 재질 및 형태로 형성될 수 있다. 예를 들어, 직조물, 가죽, 러버, 우레탄, 금속, 세라믹, 또는 상기 물질들 중 적어도 둘의 조합에 의하여 일체형 및 복수의 단위 링크가 서로 유동 가능하도록 형성될 수 있다.
일 실시예에 따르면, 전자 장치(200)의 후면 커버(207)의 일 영역에는 전도성 소재로 형성되는 전극(282, 283)이 형성될 수 있다. 일 실시예에서, 측면 베젤 구조(206)에 추가적인 전극이 형성될 수 있다. 예를 들어, 전자 장치(200)는 ECG 신호를 측정하기 위하여, 2개 전극들(예: 전극(282, 283) 및 측면 베젤 구조(206)에 추가적인 전극을 포함할 수 있다. 일 실시예에서, 도 2 내지 4에 도시하지는 않았지만, 전자 장치(200)는, BIA(bio-electrical impedance analysis) 신호를 측정하기 위하여, 4개 이상의 전극들(예: 4개 또는 8개)을 포함할 수도 있다.
일 실시예에 따르면, 전자 장치(200)는, 디스플레이(220, 도 4 참조), 오디오 모듈(205, 208), 센서 모듈(211), 키 입력 장치(202, 290) 및 커넥터 홀(209) 중 적어도 하나 이상을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(200)는, 구성요소들 중 적어도 하나(예: 키 입력 장치(202, 290), 커넥터 홀(209), 또는 센서 모듈(211))를 생략하거나 다른 구성요소를 추가적으로 포함할 수 있다.
디스플레이(220)는, 예를 들어, 전면 플레이트(201)의 상당 부분을 통하여 노출될 수 있다. 디스플레이(220)의 형태는, 상기 전면 플레이트(201)의 형태에 대응하는 형태일 수 있으며, 원형, 타원형, 또는 다각형과 같은 다양한 형태일 수 있다. 디스플레이(220)는, 터치 감지 회로, 터치의 세기(압력)를 측정할 수 있는 압력 센서, 및/또는 지문 센서와 결합되거나 인접하여 배치될 수 있다.
오디오 모듈(205, 208)은, 마이크 홀(205) 및 스피커 홀(208)을 포함할 수 있다. 마이크 홀(205)은 외부의 소리를 획득하기 위한 마이크가 내부에 배치될 수 있고, 어떤 실시예에서는 소리의 방향을 감지할 수 있도록 복수개의 마이크가 배치될 수 있다. 스피커 홀(208)은, 외부 스피커 및 통화용 리시버로 사용할 수 있다. 어떤 실시예에서는 스피커 홀(208)과 마이크 홀(205)이 하나의 홀로 구현 되거나, 스피커 홀(208) 없이 스피커(예: 피에조 스피커)가 포함될 수 있다.
센서 모듈(211)은, 전자 장치(200)의 내부의 작동 상태, 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(211)은, 예를 들어, 상기 하우징(210)의 제 2 면(210B)에 배치된 생체 센서 모듈(211)(예: HRM 센서)을 포함할 수 있다. 전자 장치(200)는, 도시되지 않은 센서 모듈, 예를 들어, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서 중 적어도 하나를 더 포함할 수 있다.
키 입력 장치(202, 290)는, 하우징(210)의 제 1 면(210A)에 배치되고 적어도 하나의 방향으로 회전 가능한 휠 키(202), 및/또는 하우징(210)의 측면(210C)에 배치된 사이드 키 버튼(290)을 포함할 수 있다. 휠 키는 전면 플레이트(201)의 형태에 대응하는 형태일 수 있다. 다른 실시예에서는, 전자 장치(200)는 상기 언급된 키 입력 장치(202, 290)들 중 일부 또는 전부를 포함하지 않을 수 있고 포함되지 않은 키 입력 장치(202, 290)는 디스플레이(220) 상에 소프트 키와 같은 다른 형태로 구현될 수 있다. 커넥터 홀(209)은, 외부 전자 장치와 전력 및/또는 데이터를 송수신하기 위한 커넥터(예를 들어, USB 커넥터)를 수용할 수 있고 외부 전자 장치와 오디오 신호를 송수신하기 위한 커넥터를 수용할 수 있는 다른 커넥터 홀(미도시)을 포함할 수 있다. 전자 장치(200)는, 예를 들면, 커넥터 홀(209)의 적어도 일부를 덮고, 커넥터 홀에 대한 외부 이물질의 유입을 차단하는 커넥터 커버(미도시)를 더 포함할 수 있다.
결착 부재(250, 260)는 락킹 부재(251, 261)를 이용하여 하우징(210)의 적어도 일부 영역에 탈착 가능하도록 결착될 수 있다. 결착 부재(250, 260)는 고정 부재(252), 고정 부재 체결 홀(253), 밴드 가이드 부재(254), 밴드 고정 고리(255) 중 하나 또는 그 이상을 포함할 수 있다.
고정 부재(252)는 하우징(210)과 결착 부재(250, 260)를 사용자의 신체 일부(예: 손목, 또는 발목)에 고정시키도록 구성될 수 있다. 고정 부재 체결 홀(253)은 고정 부재(252)에 대응하여 하우징(210)과 결착 부재(250, 260)를 사용자의 신체 일부에 고정시킬 수 있다. 밴드 가이드 부재(254)는 고정 부재(252)가 고정 부재 체결 홀(253)과 체결 시 고정 부재(252)의 움직임 범위를 제한하도록 구성됨으로써, 결착 부재(250, 260)가 사용자의 신체 일부에 밀착하여 결착되도록 할 수 있다. 밴드 고정 고리(255)는 고정 부재(252)와 고정 부재 체결 홀(253)이 체결된 상태에서, 결착 부재(250,260)의 움직임 범위를 제한할 수 있다.
도 4를 참조하면, 전자 장치(400)(예: 전자 장치(101), 또는 전자 장치(200))는, 측면 베젤 구조(410), 휠 키(420), 전면 플레이트(201), 디스플레이(220), 제 1 안테나(450), 지지 부재(460)(예: 브라켓), 배터리(470), 제1 인쇄 회로 기판(480), 실링 부재(490), 후면 플레이트(493), 제2 인쇄 회로 기판 (498), 무선 충전용 코일 (499), 후면 커버(207) 및 결착 부재(495, 497)를 포함할 수 있다. 전자 장치(400)의 구성요소들 중 적어도 하나는, 도 2, 또는 도 3의 전자 장치(200)의 구성요소들 중 적어도 하나와 동일, 또는 유사할 수 있으며, 중복되는 설명은 이하 생략한다. 지지 부재(460)는, 전자 장치(400) 내부에 배치되어 측면 베젤 구조(410)와 연결될 수 있거나, 상기 측면 베젤 구조(410)와 일체로 형성될 수 있다. 지지 부재(460)는, 예를 들어, 금속 재질 및/또는 비금속 (예: 폴리머) 재질로 형성될 수 있다. 지지 부재(460)는, 일면에 디스플레이(220)가 결합되고 타면에 제1 인쇄 회로 기판(480)이 결합될 수 있다. 제1 인쇄 회로 기판(480)에는, 프로세서(예: 프로세서(120)), 메모리(예: 프로세서(123)), 및/또는 인터페이스가 장착될 수 있다. 프로세서는, 예를 들어, 중앙처리장치, 어플리케이션 프로세서, GPU(graphic processing unit), 센서 프로세서, 또는 커뮤니케이션 프로세서 중 하나 또는 그 이상을 포함할 수 있다.
일 실시예에 따른, 메모리는, 예를 들어, 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 인터페이스는, 예를 들어, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스), SD카드 인터페이스, 및/또는 오디오 인터페이스를 포함할 수 있다. 인터페이스는, 예를 들어, 전자 장치(400)를 외부 전자 장치와 전기적 또는 물리적으로 연결시킬 수 있으며, USB 커넥터, SD 카드/MMC 커넥터, 또는 오디오 커넥터를 포함할 수 있다.
일 실시예에 따른, 배터리(470)는, 전자 장치(400)의 적어도 하나의 구성 요소에 전력을 공급하기 위한 장치로서, 예를 들면, 재충전 불가능한 1차 전지, 또는 재충전 가능한 2차 전지, 또는 연료 전지를 포함할 수 있다. 배터리(470)의 적어도 일부는, 예를 들어, 제1 인쇄 회로 기판(480)과 실질적으로 동일 평면 상에 배치될 수 있다. 배터리(470)는 전자 장치(400) 내부에 일체로 배치될 수 있고, 전자 장치(400)와 탈부착 가능하게 배치될 수도 있다.
일 실시예에 따른, 제 1 안테나(450)는 디스플레이(220)와 지지부재(460) 사이에 배치될 수 있다. 제 1 안테나(450)는, 예를 들어, NFC(near field communication) 안테나, 무선 충전 안테나, 및/또는 MST(magnetic secure transmission) 안테나를 포함할 수 있다. 제 1 안테나(450)는, 예를 들어, 외부 장치와 근거리 통신을 하거나, 충전에 필요한 전력을 무선으로 송수신 할 수 있고, 근거리 통신 신호 또는 결제 데이터를 포함하는 자기-기반 신호를 송출할 수 있다. 다른 실시예에서는, 측면 베젤 구조(410) 및/또는 상기 지지부재(460)의 일부 또는 그 조합에 의하여 안테나 구조가 형성될 수 있다.
일 실시예에 따른, 실링 부재(490)는 측면 베젤 구조(410)와 후면 플레이트(493) 사이에 위치할 수 있다. 실링 부재(490)는, 외부로부터 측면 베젤 구조(410)와 후면 플레이트(493)에 의해 둘러싸인 공간으로 유입되는 습기와 이물을 차단하도록 구성될 수 있다.
일 실시예에 따른, 후면 플레이트(493)와 후면 커버(207) 사이에는 제2 인쇄 회로 기판(예: PCB(printed circuit board), FPCB(flexible printed circuit board) 또는 RFPCB(rigid-flexible PCB))(498), 무선 충전용 코일(499)이 배치될 수 있다.
도 5는 다양한 실시예에 따른 전자 장치의 블록도를 도시한다.
도 5를 참조하면, 일 실시예에서, 전자 장치(101)는, 디스플레이 모듈(510), 센서 모듈(520), 메모리(530), 및 프로세서(540)를 포함할 수 있다. 일 실시예에서, 디스플레이 모듈(510)은, 도 1의 디스플레이 모듈(160) 또는 도 2의 디스플레이 모듈(220) 중 적어도 하나에 포함될 수 있다. 일 실시예에서, 센서 모듈(520)은, 도 1의 센서 모듈(176) 또는 도 2의 센서 모듈(211) 중 적어도 하나에 포함될 수 있다. 일 실시예에서, 메모리(530)는, 도 1의 메모리(130)에 포함될 수 있다. 일 실시예에서, 프로세서(540)는, 도 1의 프로세서(120)에 포함될 수 있다.
일 실시예에서, 프로세서(540)는, 센서 모듈(520)로부터 센싱 데이터를 획득할 수 있다. 센서 모듈(520)은, 전자 장치(101)의 움직임에 대한 정보를 센싱할 수 있다. 예를 들어, 센서 모듈(520)은, 자이로 센서, 가속도 센서, 또는 지자계 센서 중 적어도 하나를 포함할 수 있으며, 움직임에 대한 정보를 센싱할 수 있다. 센서 모듈(520)은, 전자 장치(101)를 착용한 사용자의 생체 신호를 센싱할 수 있다. 예를 들어, 센서 모듈(520)은, PPG(photoplethysmogram) 센서 또는 심전도(electrocardiography; ECG) 센서 중 적어도 하나를 포함할 수 있으며, 생체 신호를 센싱할 수 있다.
일 실시예에서, 프로세서(540)는, 센서 모듈(520)로부터 획득된 센싱 데이터에 기반하여 제스처를 인식할 수 있다. 프로세서(540)는, 특정 어플리케이션으로부터의 제스처 인식 요청이 확인되면, 제스처 어플리케이션을 실행하여 제스처 인식을 수행할 수 있으며, 이에 따라 프로세서(540)는 상시적으로 제스처를 인식하지 않을 수 있다. 프로세서(540)는, 인식된 제스처에 대응하는 적어도 하나의 동작을 수행할 수 있다. 프로세서(540)는, 예를 들어 인식된 제스처에 대응하는 적어도 하나의 동작에 대한 정보를 디스플레이 모듈(510)에 표시할 수도 있다.
일 실시예에서, 메모리(530)는, 제스처 인식 과정에서 요구되는 적어도 하나의 알고리즘(또는, 모델, 인스트럭션)이 저장될 수 있다. 메모리(530)에는, 복수 개의 알고리즘(또는, 모델, 인스트럭션)의 중간 수행 결과가 임시적으로 저장될 수도 있다. 메모리(530)에는, 적어도 하나의 어플리케이션과, 제스처 인식을 위한 제스처 어플리케이션이 저장될 수 있다. 적어도 하나의 어플리케이션은, 제스처 인식 요청을 제공하고, 수신된 제스처에 대응하는 적어도 하나의 동작을 수행하도록 설정될 수 있다. 메모리(530)에는, 후술할 표 1과 같은 어플리케이션 별 인식 가능 제스처, 제스처 별 특징 값 데이터와 같은 데이터가 저장될 수도 있다.
도 6a는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 도 6a의 실시예는, 도 6b를 참조하여 설명하도록 한다. 도 6b는 다양한 실시예에 따른 전자 장치의 블록도를 도시한다.
도 6a 및 6b를 함께 참조하면, 다양한 실시예에 따라서, 전자 장치(101)(예: 도 5의 프로세서(540), 도 7의 프로세서(710), 보조 프로세서(720), 도 8의 프로세서(810), 또는 보조 프로세서(820) 중 적어도 하나)는, 601 동작에서, 제 1 어플리케이션(301)으로부터의 제스처 확인 요청을 확인할 수 있다. 예를 들어, 전자 장치(101)는, 도 6b에서와 같이 제 1 어플리케이션(301)을 실행할 수 있다. 제 1 어플리케이션(301)에는, 예를 들어 이벤트, 제스처 및/또는 대응하는 적어도 하나의 동작 사이의 연관 정보가 포함될 수 있다. 제스처 어플리케이션(302)는 도 1의 미들웨어(144) 또는 운영체제(142)에 포함될 수 있다. 제 1 어플리케이션(301)은 도 1의 어플리케이션(146)에 포함될 수 있다. 제 1 어플리케이션(301) 및/또는 제스처 어플리케이션(302)은 프로세서(540)에 의하여 실행될 수 있다. 예를 들어, 표 1과 같은 연관 정보가 제 1 어플리케이션(301)(예를 들어, 전화 어플리케이션)에 포함될 수 있다.
이벤트 제스처 대응 동작
수신 전화 이벤트 흔들기(shake) 전화 응답
OCO(open-close-open) 전화 거절
부재중 전화 정보 제공 이벤트 흔들기 부재중 전화의 전화 번호로 전화 걸기
OCO 홈 화면 표시
예를 들어, 제 1 어플리케이션(301)과 연관된 '수신 전화 이벤트'가 발생되었음이 확인되면, 제 1 어플리케이션(301)은 제스처 인식 요청을 발생시킬 수 있다. 또는, 제 1 어플리케이션(301)과 연관된 '부재중 전화 정보 제공 이벤트'가 발생되었음이 확인되면, 제 1 어플리케이션(301)은 제스처 인식 요청을 발생시킬 수 있다. 전자 장치(101)는, 제 1 어플리케이션(301)으로부터 제스처 인식 요청을 확인할 수 있다. 한편, 표 1의 이벤트는 단순히 예시적인 것으로, 이벤트의 종류에는 제한이 없음을 당업자는 이해할 것이다. 또한, 전자 장치(101)는, OCO(open-close-open) 제스처, 흔들기 제스처 이외에도, 손을 돌리는 제스처, 손바닥을 편 채로 이동시키는 제스처, 팔을 들어 올리는 제스처, 엄지 손가락을 이동시키는 제스처, 손을 아래로 내리는 제스처, 또는 손을 위로 올리는 제스처를 인식할 수 있으며, 제스처의 종류에는 제한이 없다. 제스처는, 전자 장치(101)의 이동을 나타내는 정보, 및/또는 사용자의 생체 신호(혈관 이완/수축을 나타내는 신호, 심박 신호)에 기반하여 인식될 수 있다.
다양한 실시예에 따라서, 전자 장치(101)는, 602 동작에서 제스처 어플리케이션에 기반하여 센서 모듈의 적어도 일부를 활성화할 수 있다. 예를 들어, 전자 장치(101)는, 어플리케이션에서 처리 가능한 제스처의 검출을 위한 센서 모듈을 활성화할 수 있다. 전자 장치(101)는, 제스처 인식 요청에 기반하여 비활성화되었던 적어도 하나의 센서 모듈(520)을 활성화할 수 있다. 하나의 예에서, 전자 장치(101)는, 제 1 어플리케이션(301)이 처리 가능한 제스처에 기반하여, 해당 제스처를 센싱하기 위한 적어도 하나의 센서(520)를 활성화할 수 있다. 만약, 활성화가 요구되는 센서가 이미 실행 중인 경우에는, 전자 장치(101)는 해당 센서를 활성화하는 동작을 생략할 수도 있음을 당업자는 이해할 것이다. 하나의 예에서, 전자 장치(101)는, 제스처 인식 요청에 기반하여 제스처 어플리케이션(302)을 실행할 수 있다. 다만, 다양한 예시에서, 제스처 어플리케이션(302)은 제스처 인식 요청이 발생하기 이전에 미 실행되었다가 제스처 인식 요청에 기반하여 실행되도록 구현될 수도 있거나, 또는 제스처 어플리케이션(302)은 제스처 인식 요청과 무관하게 상시 실행되도록 구현될 수도 있다. 한편, 다른 실시예에서는, 제 1 어플리케이션(301)에 제스처 어플리케이션이 포함될 수도 있으며, 예를 들어 제스처 어플리케이션의 인스트럭션이 제 1 어플리케이션(301)에 포함될 수도 있다. 또는, 제스처 어플리케이션은 적어도 하나의 인스트럭션을 의미할 수도 있다.
다양한 실시예에 따라서, 전자 장치(101)는 603 동작에서 제스처 어플리케이션(302)에 기반하여, 활성화된 센서 모듈로부터의 센싱 데이터를 이용하여 제스처를 확인할 수 있다. 제 1 어플리케이션(301)은 제스처 인식 요청을 제스처 어플리케이션(302)로 제공할 수 있다.
다양한 실시예에 따라서, 전자 장치(101)는 605 동작에서 확인된 제스처를 제 1 어플리케이션(301)으로 제공할 수 있다. 제스처 어플리케이션(301)은, 활성화된 센서 모듈(520)로부터의 센싱 데이터에 기반하여 제스처를 확인할 수 있으며, 확인된 제스처를 제 1 어플리케이션(301)으로 제공할 수 있다. 예를 들어, 제스처 어플리케이션(302)은, 센싱 데이터의 일정 구간의 합계의 결과에 기반하여, 센싱 데이터의 세그먼테이션 구간을 확인할 수 있으며, 이에 대하여서는 후술하도록 한다. 제스처 어플리케이션(302)은, 확인된 세그먼테이션 구간에 기반하여 제스처 인식을 수행할 수 있다. 607 동작에서, 전자 장치(101)는, 제 1 어플리케이션(301)에 기반하여, 확인된 제스처에 대응하는 적어도 하나의 동작을 수행할 수 있다. 만약, 제 1 어플리케이션(301)(예: 전화 어플리케이션)의 수신 전화 이벤트 중, 흔들기 제스처가 제공되면, 전자 장치(101)는 전화 응답의 동작을 수행할 수 있다. 만약, 제 1 어플리케이션(301)(예: 전화 어플리케이션)의 수신 전화 이벤트 중, OCO 제스처가 제공되면, 전자 장치(101)는 전화 거절의 동작을 수행할 수 있다. 또는, 전자 장치(101)는 수신 전화 이벤트가 종료될 때까지 별다른 동작을 수행하지 않도록 구현될 수도 있다. 만약, 제 1 어플리케이션(301)(예: 전화 어플리케이션)의 부재중 전화 정보 제공 이벤트 중, 흔들기 제스처가 제공되면, 부재중 전화의 전화 번호로 전화 걸기의 동작을 수행할 수 있다. 만약, 제 1 어플리케이션(301)(예: 전화 어플리케이션)의 부재중 전화 정보 제공 이벤트 중, OCO 제스처가 제공되면, 홈 화면 표시의 동작을 수행할 수 있다.
다양한 실시예에 따른 전자 장치(101)는, 상술한 예시인 전화 어플리케이션 이외에도 카메라 어플리케이션, 또는 알람 어플리케이션에 기반하여서도, 제스처에 대응하는 동작을 수행할 수 있으며, 어플리케이션 종류에는 제한이 없다. 예를 들어, 카메라 어플리케이션이 실행되는 경우, 전자 장치(101)는 OCO 제스처에 대응하여 사진을 촬영할 수 있다. 예를 들어, 알람 어플리케이션이 실행되는 경우, 전자 장치(101)는 흔들기 제스처에 대응하여 알람을 해제할 수 있다. 전자 장치(101)는, 예를 들어 사용자가 팔을 안정적으로 고정하고 제스처를 수행하도록 가이드하는 정보를 출력할 수도 있다.
도 6c는 다양한 실시예에 따른 전자 장치의 동작을 설명하기 위한 도면을 도시한다.
다양한 실시예에 따라서, 프로세서(540)는, 수신 전화 이벤트 발생을 프로세서(540)의 전화 어플리케이션 구동 시작의 호출로서 확인할 수 있다. 이에 따라, 프로세서(540)는, 641 동작에서, 전화 어플리케이션을 구동할 수 있다. 예를 들어, 프로세서(540)는, 수신 전화 이벤트에 대응하는 어플리케이션이 전화 어플리케이션임을 확인하고, 확인된 전화 어플리케이션을 구동할 수 있다. 전화 어플리케이션에는, 예를 들어 표 1에서와 같이, 흔들기 제스처에 대응하여 전화를 응답하고, OCO 제스처에 대응하여 전화를 거절하는 대응 동작의 연관 정보가 설정될 수 있다. 이에 따라, 전화 어플리케이션은, 제스처 어플리케이션을 호출할 수 있으며, 643 동작에서 프로세서(540)는 제스처 어플리케이션을 구동할 수 있다. 예를 들어, 전화 어플리케이션은, 제스처 어플리케이션의 API(또는, 제스처 서버)를 호출할 수 있으며, 호출된 제스처 어플리케이션의 API(또는, 제스처 서버)는 제스처 인식을 위한 일련의 모듈을 구동시킬 수 있다.
제스처 어플리케이션은, 센서 API를 호출할 수 있으며, 이에 따라 센서 모듈(520) 내의 적어도 일부의 센서(예를 들어, PPG 센서, 자이로 센서, 및 선형 가속도 센서(linear accelerator: LACC))가 651 동작에서 구동될 수 있다. 제스처 어플리케이션은, 예를 들어 전화 어플리케이션에서 이용되는 제스처에 대한 정보를 확인할 수 있다. 하나의 예시에서는, 전화 어플리케이션이 인식 가능한 제스처에 대한 정보(예를 들어, 흔들기 제스처 및 OCO 제스처)를 제스처 어플리케이션으로 전달할 수 있다. 또 다른 예시에서는, 제스처 어플리케이션이, 어플리케이션 별 인식 가능한 제스처에 대한 정보를 미리 관리할 수도 있다. 이 경우, 제스처 어플리케이션은 미리 관리중인 정보에 기반하여, 전화 어플리케이션이 인식 가능한 제스처에 대한 정보(예를 들어, 흔들기 제스처 및 OCO 제스처)를 확인할 수도 있다.
제스처 어플리케이션은, 전화 어플리케이션이 인식 가능한 제스처에 대한 정보에 기반하여, 센서 모듈(520) 중 적어도 일부의 센서 모듈, 예를 들어 전화 어플리케이션이 인식 가능한 제스처를 인식하기 위한 센서 모듈을 구동시킬 수도 있다. 다양한 실시예에서, 전자 장치(101)는, 전화 어플리케이션에 대응하는 센서 모듈뿐만 아니라, 추가적으로 세그먼테이션에 이용되는 센싱 데이터를 위한 센서 모듈도 구동시킬 수도 있으며, 이에 대하여서는 후술하도록 한다. 구동된 센서 모듈은, 센싱된 값을 메모리(530) 내의 할당된 메모리(661)에 저장할 수 있다. 제스처 어플리케이션은 주기적으로 메모리(530) 내의 할당된 메모리(661)에서 값을 가져올 수 있다. 하지만, 주기적인 값 리드는, 단순히 예시적인 것이다. 다양한 실시예에서, 프로세서(540)는 메모리(530)를 거치지 않고, 센서 모듈(520)로부터 직접 정보(또는, 데이터)를 수신할 수도 있다.
제스처 어플리케이션은, 주기적으로 수신한 센싱된 값에 기반하여, 이를 세그먼테이션할 지 여부를 판단할 수 있다. 예를 들어, 제스처 어플리케이션은, 누적 데이터에 기반하여 세그먼테이션할 지 여부를 판단할 수 있다. 후술할 것으로, 세그먼테이션이 수행되어야, 이후의 추가적인 인식 동작이 수행될 수 있다. 제스처 어플리케이션은, 세그먼테이션이 수행된 경우에, 세그먼테이션된 값을 이용하여 인식 동작을 수행할 수 있다. 제스처 어플리케이션은, 세그먼테이션을 수행하지 않은 경우에는, 추후 인식 동작을 수행하지 않을 수 있다. 이에 따라, 모든 센싱 데이터에 대하여 인식 동작을 수행하는 경우에 비하여, 불필요한 리소스의 낭비가 감소할 수 있다.
제스처 어플리케이션은, 세그먼테이션된 신호를 이용하여 제스처를 인식할 수 있다. 제스처 어플리케이션은, 제스처 인식이 완료되면, 인식된 결과를 전화 어플리케이션에 제공할 수 있다. 전화 어플리케이션은, 예를 들어 645 동작에서, 제스처에 대응하는 동작을 수행할 수 있다. 만약, 제스처 어플리케이션이 OCO 제스처의 인식 결과를 전화 어플리케이션으로 제공한 경우, 전화 어플리케이션은 OCO 제스처에 대응하는 동작인 전화 거절을 수행할 수 있다. 대응 동작을 수행한 경우, 전화 어플리케이션은 동작 해제를 제스처 어플리케이션에 요청할 수 있다. 647 동작에서, 제스처 어플리케이션은 수신된 요청에 기반하여 실행을 중지(또는, 종료)할 수 있다.
도 7은 다양한 실시예에 따른 전자 장치의 블록도를 도시한다.
다양한 실시예에 따라서, 전자 장치(101)는, 디스플레이 모듈(510), 센서 모듈(520), 메모리들(530a, 530b), 프로세서(710) 및 보조 프로세서(720)를 포함할 수도 있다. 일 실시예에서, 보조 프로세서(720)는, 센서 모듈(520), 메모리(530b), 및 프로세서(710)와 동작적으로 연결될 수 있다. 일 시시예에서, 프로세서(710)는, 디스플레이 모듈(510), 보조 프로세서(720), 및 메모리(530a)에 동작적으로(operably) 연결될 수 있다. 도 7에서는, 프로세서(710)에 메모리(530a)가 연결되는 것과 같이 도시되어 있지만, 이는 예시적인 것으로 메모리(530a)는 프로세서(710)에 포함되도록 구현될 수도 있다. 아울러, 보조 프로세서(720)에 메모리(530b)가 연결되는 것과 같이 도시되어 있지만, 이는 예시적인 것으로 메모리(530b)는 보조 프로세서(720)에 포함되도록 구현될 수도 있다. 메모리(530a) 및 메모리(530b)는 상이한 구성 요소일 수 있거나, 또는 도시되지는 않았지만 하나의 메모리로 구현될 수도 있다. 일 실시예에서, 보조 프로세서(720)는, 도 1의 보조 프로세서(123)에 포함될 수 있다. 일 실시예에서, 보조 프로세서(720)는, 프로세서(710)에 비하여 저전력으로 동작할 수 있다. 일 실시예에서, 보조 프로세서(720)는, MCU(micro controller unit)(예: sensor hub)을 포함할 수 있다. 보조 프로세서(720)는 항상 활성화된 상태일 수 있다. 예를 들어, 프로세서(710)가 슬립 상태인 경우에는, 보조 프로세서(720)는, 센서 모듈(520) 중 적어도 일부로부터의 센싱 데이터를 확인할 수 있다. 보조 프로세서(720)는, 센싱 데이터가 지정된 조건(예: 센싱된 전자 장치(101)의 움직임의 크기가 임계 값 이상)을 만족하는 것을 확인하는 경우에, 프로세서(710)를 웨이크 업 하도록 설정될 수도 있다. 보조 프로세서(720)는, 프로세서(710)가 슬립 상태에서도 확인되어야 할 센싱 데이터에 대한 정보를 처리할 수 있다. 예를 들어, 전자 장치(101)에 걸음걸이 체크가 설정된 경우, 보조 프로세서(720)는, 프로세서(710)가 슬립 상태인 동안에도 걸음걸이 센싱을 위한 센싱 데이터를 지속적으로 확인할 수 있으며, 이를 저장하였다가 프로세서(710)가 웨이크 업 한 이후 전달할 수도 있다.
한편, 상술한 바와 같이, 프로세서(710)는, 제 1 어플리케이션으로부터의 제스처 확인 요청에 기반하여 센서 모듈(520) 중 적어도 하나의 센서로부터의 센싱 데이터를 보조 프로세서(720)를 통하여 획득할 수 있다. 해당 실시예에서는, 보조 프로세서(720)는, 센서 모듈(520)의 적어도 하나의 센서로부터의 적어도 하나의 센싱 데이터를 프로세서(710)로 중계하거나, 또는 일부 가공하여 전달할 수도 있다. 또 다른 예시에서는, 프로세서(710)는, 센서 모듈(520)로부터 직접 센싱 데이터를 수신할 수도 있다. 다양한 실시예에서, 제스처 어플리케이션은, 프로세서(710)에서 실행될 수 있거나, 또는 보조 프로세서(720)에서 실행될 수도 있다. 만약, 보조 프로세서(720)에서 제스처 어플리케이션이 실행되는 경우, 보조 프로세서(720)는 프로세서(710)로부터 제스처 인식 요청을 수신하고, 이에 대응하여 제스처 인식 결과를 제공하도록 설정될 수도 있다. 프로세서(710)에서 실행 중인 어플리케이션은 보조 프로세서(720)로부터 수신한 제스처 인식 결과에 기반하여 대응하는 동작을 수행할 수도 있다. 만약, 프로세서(720)에서 제스처 어플리케이션이 실행되는 경우, 프로세서(720)는 보조 프로세서(720)를 통하여 수신되는 센싱 데이터에 기반하여 제스처를 인식할 수도 있다.
도 8은 다양한 실시예에 따른 전자 장치의 블록도를 도시한다.
다양한 실시예에 따라서, 전자 장치(101)는, 디스플레이 모듈(510), 메모리(530), 프로세서(810), 보조 프로세서(820), 프로세서(810)의 제어 하에 동작하는 제 1 센서 모듈(521) 및 보조 프로세서(820)의 제어 하에 동작하는 제 2 센서 모듈(523)을 포함하도록 구현될 수도 있다. 예를 들어, 제 1 센서 모듈(521)은, 프로세서(810)가 슬립 상태인 경우에 획득이 필요 없는 데이터를 측정하기 위한 적어도 하나의 모듈일 수 있다. 예를 들어, 전자 장치(101)에 포함된 복수 개의 센서들 중, 전자 장치(101)의 설정에 따라서 제 1 센서 모듈(521) 및 제 2 센서 모듈(523)이 구분될 수 있다. 제 2 센서 모듈(523)은, 프로세서(810)가 슬립 상태인 경우에 획득이 필요한 데이터를 측정하기 위한 적어도 하나의 모듈일 수 있다. 예를 들어, 프로세서(810)가 슬립 상태인 경우에도, 사용자의 심전도, 또는 사용자의 걸음걸이 횟수와 같은 정보가 측정되도록 설정될 수도 있으며, 이 경우에는 보조 프로세서(820)는 사용자의 심전도, 또는 사용자의 걸음걸이 횟수를 측정하기 위한 제2 센서 모듈(523)로부터 센싱 데이터가 획득될 수 있다. 일 실시예에 따르면, 보조 프로세서(820)는, 제 2 센서 모듈(523)로부터 획득된 센싱 데이터가 지정된 조건을 만족하는 것을 확인하는 경우에, 프로세서(810)를 웨이크 업 하도록 설정될 수도 있다. 다른 일 실시예에 따르면, 보조 프로세서(820)는, 프로세서(810)가 슬립 상태인 동안에 제 2 센서 모듈(523)로부터 획득된 센싱 데이터를 저장하고, 프로세서(810)가 웨이크 업 한 경우 이를 전달할 수도 있다.
다양한 실시예에 따라서, 프로세서(810)가 제 1 어플리케이션(예를 들어, 전화 어플리케이션)을 실행할 수 있다. 제 1 어플리케이션은, 수신 전화 이벤트와 같은 트리거에 기반하여, 제스처 어플리케이션에 대하여 제스처 인식을 요청할 수 있다. 제스처 어플리케이션은, 프로세서(810)에 의하여 실행될 수 있거나, 또는 보조 프로세서(820)에 의하여 실행될 수도 있다. 만약, 프로세서(810)에 의하여 제스처 어플리케이션이 실행되는 경우, 제스처 어플리케이션은, 제 1 센서 모듈(521) 또는 제 2 센서 모듈(523) 중 적어도 하나로부터의 센싱 데이터에 기반하여 제스처를 인식할 수도 있다.
도 9는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 도 9의 실시예는 도 10을 참조하여 설명하도록 한다. 도 10은 다양한 실시예에 따른 센싱 데이터 및 합산 데이터를 나타내는 그래프들이다.
다양한 실시예에 따라서, 전자 장치(101)(예: 도 5의 프로세서(540), 도 7의 프로세서(710), 보조 프로세서(720), 도 8의 프로세서(810), 또는 보조 프로세서(820) 중 적어도 하나))는, 901 동작에서, 제 1 어플리케이션(301)(예: 도 6b의 제 1 어플리케이션(301))으로부터의 제스처 확인 요청을 확인할 수 있다. 도시하지 않았으나, 전자 장치(101)는 제스처 어플리케이션에 기반하여(예: 도 6b의 제스처 어플리케이션(302)) 센서 모듈(예: 도 5의 센서 모듈(520))의 적어도 일부를 활성화할 수 있다.
다양한 실시예에 따라서, 903 동작에서, 전자 장치(101)는, 제스처 어플리케이션(예: 도 6b의 제스처 어플리케이션(302))에 기반하여, 활성화된 센서 모듈로부터의 센싱 데이터를 획득할 수 있다. 예를 들어, 제스처 어플리케이션은, PPG 센서로부터의, 도 10의 PPG 진폭(PPG Amplitude)의 제 1 센싱 데이터(1010)를 획득할 수 있다. 예를 들어, 제스처 어플리케이션은, 자이로 센서로부터, 자이로 x/y 합성 진폭(GYRX/Y Composite Amplitude)의 제 2 센싱 데이터(1031)를 획득할 수 있다. 전자 장치(101)는, OCO 제스처 및 흔들기 제스처를 모두 관측하기 위한 모든 센싱 데이터를 획득할 수 있다. 전자 장치(101)는, 예를 들어 GYRX 신호 및 GYRY 신호를 각각 관측할 수도 있지만, 도 10에서와 같이 이를 합성한 신호인 GYRX/Y 신호를 관측할 수도 있다.
다양한 실시예에 따라서, 전자 장치(101)는 905 동작에서, 지정된 구간 길이에 대한 센싱 데이터의 합계를 확인할 수 있다. 전자 장치(101)는, 제 1 센싱 데이터(1010)에 대하여 제 1 구간 길이(1011) 동안의 센싱 데이터의 합계를 확인할 수 있다. 도 10에서는, 제 1 센싱 데이터(1010)의 제 1 구간 길이(1011)에 대한 제 1 합산 데이터(1021)가 도시된다. PPG 진폭에 대한 합산 데이터는, PPG 누적 신호 에너지(cumulated signal energy, CSE)로 명명될 수도 있다. 전자 장치(101)는, 제 1 구간 길이(1011)를 슬라이딩하면서, 제 1 합산 데이터(1021)를 확인할 수 있다. 전자 장치(101)는, 제 2 센싱 데이터(1031)에 대하여 제 2 구간 길이(1041) 동안의 센싱 데이터의 합계를 확인할 수 있다. 제 2 구간 길이(1041)는, 제 1 구간 길이(1011)와 동일할 수 있지만, 상이하게 설정될 수도 있다. 제 1 구간 길이(1011)는, 예를 들어 특정 제스처의 동작 길이에 따라 설정(예: 0.96초)될 수 있으나, 제한은 없다.
도 10에서는, 제 2 센싱 데이터(1031)의 제 2 구간 길이(1041)에 대한 제 2 합산 데이터(1051)가 도시된다. 자이로 x/y 합성 진폭(GYRX/Y Composite Amplitude)에 대한 합산 데이터는, 자이로 x/y 합성 누적 신호 에너지(GYRX/Y Composite CSE)로 명명될 수도 있다. 전자 장치(101)는, 제 2 구간 길이(1041)를 슬라이딩하면서, 제 2 합산 데이터(1011)를 확인할 수 있다.
907 동작에서, 전자 장치(101)는 합산 데이터가 지정된 조건을 만족하는지 여부를 판단할 수 있다. 지정된 조건은, 예를 들어 합산 데이터의 크기가 지정된 임계값을 초과하는지 여부, 시간 당 변화율이 지정된 임계 변화율을 초과하는지 여부 및/또는 복수 개의 합산 데이터(plural pieces of summation data) 사이의 비율이 지정된 수치를 초과하는 지 여부일 수 있으나, 제한은 없다. 지정된 조건은, 센싱 데이터의 종류별로 상이하게 설정될 수도 있다. 지정된 조건이 만족되지 않으면(907-아니오), 전자 장치(101)는 센싱 데이터 획득(903 동작) 및 센싱 데이터의 합계의 확인(905 동작)을 반복 수행할 수 있다. 지정된 조건이 만족된 것으로 판단되면(907-예), 전자 장치(101)는 909 동작에서 센싱 데이터에 대응하는 제스처를 확인할 수 있다. 예를 들어, 도 10을 참조하면, 사용자가 전자 장치(101)를 착용하고 OCO 제스처를 수행하는 동안(1061), 전자 장치(101)는 제 1 합산 데이터(1021)가 제 1 지정된 조건을 만족함을 확인할 수 있다. 예를 들어, 제 1 지정된 조건은, 제 1 합산 데이터(1021)에 연관된 제 1 레퍼런스 대비 현재 합산 데이터의 비율이 제 1 임계 비율을 초과하는 것일 수 있으며, 제한은 없다. 전자 장치(101)는, 제 1 지정된 조건의 만족함을 확인함에 기반하여, 제 1 센싱 데이터(1010)에 대한 제스처 인식을 수행할 수 있다. 제스처 인식의 세부 동작에 대하여서는 후술하도록 한다. 전자 장치(101)는, 제 1 센싱 데이터(1010)에 대한 제스처 인식 결과에 기반하여 OCO 제스처를 확인할 수 있다. 예를 들어, 사용자가 전자 장치(101)를 착용하고 흔들기(shake) 제스처를 수행하는 동안(1062), 전자 장치(101)는 제 2 합산 데이터(1051)가 제 2 지정된 조건을 만족함을 확인할 수 있다. 예를 들어, 제 2 지정된 조건은, 제 2 합산 데이터(1051)에 연관된 제 2 레퍼런스 대비 현재 합산 데이터의 비율이 제 2 임계 비율을 초과하는 것일 수 있으며, 제한은 없다. 전자 장치(101)는, 제 2 지정된 조건의 만족함을 확인함에 기반하여, 제 2 센싱 데이터(1031)에 대한 제스처 인식을 수행할 수 있다. 전자 장치(101)는, 제 2 센싱 데이터(1031)에 대한 제스처 인식 결과에 기반하여 흔들기 제스처를 확인할 수 있다.
911 동작에서, 전자 장치(101)는, 확인된 제스처를 제 1 어플리케이션으로 제공할 수 있다. 913 동작에서, 전자 장치(101)는 제 1 어플리케이션에 기반하여, 확인된 제스처에 대응하는 적어도 하나의 동작을 수행할 수 있다. 예를 들어, 제 1 어플리케이션에 의하여 설정된, 제스처 별 대응 동작에 대한 연관 정보에 기반하여, 전자 장치(101)는 확인된 제스처에 대응하는 동작을 수행할 수 있다.
도 11은 다양한 실시예에 따른 전자 장치의 제스처 인식 과정을 설명하기 위한 도면이다.
다양한 실시예에 따르면, 전처리 모듈(1110), 구간 분할 모듈(1120), 피쳐(feature) 연산 모듈(1130), 및 분류기 모듈(1140)은, 도 5의 프로세서(540), 도 7의 프로세서(710), 보조 프로세서(720), 도 8의 프로세서(810) 또는 보조 프로세서(820) 중 적어도 하나에 의하여 실행되는 프로그램(또는, 인스트럭션, 어플리케이션 또는 알고리즘)일 수 있다. 또는, 전처리 모듈(1110), 구간 분할 모듈(1120), 피쳐(feature) 연산 모듈(1130), 및 분류기 모듈(1140)은, 프로세서(540), 보조 프로세서(720), 프로세서(810) 또는 보조 프로세서(820) 중 적어도 하나 내에 배치되거나, 또는 프로세서(540), 보조 프로세서(720), 프로세서(810) 또는 보조 프로세서(820)로부터 독립적으로 배치되는 연산이 가능한 하드웨어로 구현될 수도 있다.
다양한 실시예에 따르면, 전자 장치(101)는, PPG 센서(1101), 선형 가속도(Lacc) 센서(1102), 자이로 센서(1103), 및 그 밖의 적어도 하나의 센서(other sensor)(1104)를 포함할 수 있다. 전처리 모듈(1110)은, 센서들(1101,1102,1103,1104) 중 적어도 하나로부터 센싱 데이터를 수신할 수 있다. 전처리 모듈(1110)은, 수신한 센싱 데이터에 대하여 detrend 처리(1111) 및/또는 업-샘플링(up-sampling) 처리(1112)를 포함하는 전처리를 수행할 수 있다. detrend 처리(1111)는, 시계열 센싱 데이터에 대한 추세 제거를 위한 처리로서, 그 처리 알고리즘에는 제한이 없다. 업-샘플링 처리(1112)는, 수신한 센싱 데이터의 샘플링 레이트를 상향하는 처리일 수 있으며, 그 처리 알고리즘에는 제한이 없다. 아울러, 전처리 모듈(1110)이 수행하는 전처리는, detrend 처리(1111) 및 업-샘플링 처리(1112)에 제한되지 않음을 당업자는 이해할 것이다. 도 11에서는, 전처리된 PPG 센싱 데이터인 제 1 센싱 데이터(1161), 전처리된 자이로 센싱 데이터인 제 2 센싱 데이터(1162), 및 전처리된 선형 가속도 센싱 데이터인 제 3 센싱 데이터(1163)이 도시된다.
다양한 실시예에 따라서, 구간 분할 모듈(1120)은, 전처리 모듈(1110)로부터 제 1 센싱 데이터(1161), 제 2 센싱 데이터(1162), 및/또는 제 3 센싱 데이터(1163)를 수신할 수 있다. 구간 분할 모듈(1120)은, 센싱 데이터들(1161,1162,1163)에 대한 세그먼테이션을 수행하고, 세그먼테이션된 부분을 피쳐 연산 모듈(1130)로 전달할 수 있다. 구간 분할 모듈(1120)은, 수신된 제 1 센싱 데이터(1161), 제 2 센싱 데이터(1162), 및/또는 제 3 센싱 데이터(1163) 각각에 기반하여 제 1 합산 데이터(1171), 제 2 합산 데이터(1172), 및/또는 제 3 합산 데이터(1173) 각각을 생성할 수 있다. 상술한 바와 같이, 구간 분할 모듈(1120)은, 각각의 센싱 데이터에서 기설정된 구간 길이 내의 데이터를 합산하는 방식으로, 합산 데이터를 생성할 수 있다.
예를 들어, 구간 분할 모듈(1120)은, 에너지-비율 기반 관측(energy-ratio based observation)(1121)을 수행할 수 있다. 구간 분할 모듈(1120)은, 어느 하나의 기준 합산 데이터와, 비교 대상 합산 데이터 사이의 비율이, 지정된 수치를 초과하는지 여부를 확인할 수 있다. 만약, 비율이 지정된 수치를 초과하는 경우에, 구간 분할 모듈(1120)은 세그먼테이션을 개시할 수 있다.
예를 들어, 구간 분할 모듈(1120)은, 복수 센서 관측에 대한 소프트/하드 결정(soft/hard decision with multi sensor observation)(1122)을 수행할 수 있다. 예를 들어, 구간 분할 모듈(1120)은, 복수 센서 관측 결과 어느 하나가 세그먼테이션을 위한 조건을 만족하는 경우, 세그먼테이션을 진행할 것인지, 또는 모든 센서 관측 결과가 세그먼테이션을 위한 조건을 만족하는 경우, 세그먼테이션을 진행할 것인지 여부를 선택할 수 있다.
예를 들어, 구간 분할 모듈(1120)은, 센싱 데이터에 대한 세그먼테이션(1123)을 수행할 수 있다. 구간 분할 모듈(1120)은, 세그먼테이션을 실행하고자 하는 경우, 그 개시 시점 및 종료 시점을 결정할 수 있으며, 개시 시점 및 종료 시점에 의하여 분할되는 센싱 데이터를 출력할 수 있다.
다양한 실시예에 따라서, 구간 분할 모듈(1120)은 센싱 데이터를 실시간으로 관측하면서 신호의 변화를 감지하여, 피쳐 연산 모듈(1130)로 제공할 수 있다. 구간 분할 모듈(1120)은, 제스처에 따른 신호 변화를 감지할 수 있다. 아울러, 구간 분할 모듈(1120)은, 제스처가 아닌 일상적인 움직임에 의한 센싱 데이터는 후처리 모듈, 예를 들어 피쳐 연산 모듈(1130)로 제공하지 않을 수 있다. 일상적인 움직임에 의한 센싱 데이터까지 후처리 모듈로 제공된다면, 리소스 낭비가 발생할 수 있다. 이에 따라, 구간 분할 모듈(1120)은 제스처와 유사한 센싱 데이터의 변화를 감지하여, 세그먼테이션을 수행하여야 할 필요가 있다.
다양한 실시예에 따라서, 피쳐 연산 모듈(1130)은, 구간 분할 모듈(1120)로부터 분할된 센싱 데이터를 수신할 수 있다. 피쳐 연산 모듈(1130)은, 분할된 센싱 데이터에 대하여 피쳐의 추출(feature extraction)(1131)을 수행할 수 있다. 사용자에게 제공하는 제스처의 세트가 정해진 경우는, 기존 학습(train)된 데이터에서 각 센서 별로 유효하다고 판단되는 피쳐들이 미리 선별될 수 있으며, 해당 피쳐가 추출될 수 있다. 예를 들어, PPG 신호와 연관된 FFT coefficient에 기반한 피쳐가 제스처를 구분하는데 이용될 수 있으나, 가속도 y축 신호와 연관된 FFT coefficient에 기반한 피쳐의 정확도가 더 높을 수 있다. 이에 따라서, 센서 별로 피쳐 리스트가 미리 선별될 수 있으며, 피쳐 리스트에 포함된 피쳐들에 대한 계산만이 수행되도록 구현될 수도 있다. 제스처 세트가 정해지지 않은 경우에는, 미리 학습이 선행될 수 있으며, 이에 따라 피쳐의 선별 또한 불가능할 수 있다. 이 경우는, 피쳐 연산 모듈(1130)은, 기존 학습된 다른 피쳐들과 상이한 피쳐를 확인할 수 있다. 피쳐 연산 모듈(1130)이 학습을 수행하는 경우, 특정 피쳐는 개인 별로 상이할 수도 있다. 이러한 피쳐들의 선별이 피쳐 연산 모듈(1130)에 의하여 수행될 수도 있다. 피쳐 연산 모듈(1130)은, 센싱 데이터로부터 피쳐를 추출하여 분류기 모듈(1140)로 제공할 수 있다.
다양한 실시예에 따른 분류기 모듈(1140)은, 피쳐 연산 모듈(1130)로부터 수신한 피쳐에 기반하여 제스처를 분류할 수 있다. 예를 들어, 분류기 모듈(1140)은, 학습-기반 모델(learning-based model)(1141)에 기반하여 제스처를 분류할 수 있다. 학습-기반 모델은, 피쳐를 입력값으로 수신하여, 제스처를 출력할 수 있다. 학습-기반 모델은, 대량의 데이터베이스에 기반하여 생성될 수 있으며, 업데이트될 수도 있다. 또는, 분류기 모듈(1140)은, 다른 제스처 결정(other gesture decision) 알고리즘(1142)(예를 들어, 룰-기반 알고리즘)에 기반하여 제스처를 분류할 수도 있다. 제스처를 인식하기 위한 모델(또는, 알고리즘)에는 제한이 없음을 당업자는 이해할 것이다. 추가적인 학습은, 전자 장치(101)에서 수행되거나, 또는 외부 전자 장치에서 추가적인 학습으로 수행된 모델이 업데이트될 수도 있다.
분류기 모듈(1140)은, 이미 학습된 제스처 이외의 입력을 수신한 경우, 해당 제스처에 대한 처리도 수행할 수도 있다. 분류기 모듈(1140)은, 센싱된 데이터 중 특정 데이터(예를 들어, 선형 z축 가속도 값)이 유효하지 않다고 판단된 경우, 해당 데이터에 대응한 피쳐 없이 제스처를 구분할 수 있다. 이에 따라, 분류기 모듈(1140)은, 유효성이 담보될 수 없는 센싱 데이터를 제외한 학습-기반 모델(1141)을 이용하여, 제스처 인식을 수행할 수도 있다. 분류기 모듈(1140)은, 유효성이 담보된 센싱 데이터에 기반한 모델을 이용하여, 피쳐 연산 모듈(1130)로부터 수신한 피쳐를 입력함으로써, 제스처를 인식할 수 있다.
도 12는 다양한 실시예에 따른 전자 장치의 구간 분할 모듈의 동작을 설명하기 위한 도면이다.
다양한 실시예에 따르면, 구간 분할 모듈(1120)은, 센서 선택 모듈(1211), 신호 관측 모듈(1230), 구간 결정 모듈(1240), 및 분할 완료 모듈(1250)을 포함할 수 있다. 센서 선택 모듈(1211), 신호 관측 모듈(1230), 구간 결정 모듈(1240), 및 분할 완료 모듈(1250)은, 도 5의 프로세서(540), 도 7의 보조 프로세서(720), 도 8의 프로세서(810) 또는 보조 프로세서(820) 중 적어도 하나에 의하여 실행되는 프로그램(또는, 어플리케이션 또는 알고리즘)일 수 있다. 또는, 센서 선택 모듈(1211), 신호 관측 모듈(1230), 구간 결정 모듈(1240), 및 분할 완료 모듈(1250)은, 프로세서(540), 보조 프로세서(720), 보조 프로세서(820) 중 적어도 하나 내에 배치되거나, 또는 프로세서(540), 보조 프로세서(720), 보조 프로세서(820) 로부터 독립적으로 배치되는 연산이 가능한 하드웨어로 구현될 수도 있다.
다양한 실시예에 따라서, 센서 선택 모듈(1211)은, 외부 모듈(1201)로부터의 제스처 인식 요청에 포함된 동작 제스처 그룹을 확인할 수 있다. 동작 제스처 그룹에는, 제스처 인식 요청을 제공하는 어플리케이션이 실행 가능한 제스처에 대한 정보가 포함될 수 있다. 예를 들어, 동작 제스처 그룹에는 OCO 제스처, 흔들기 제스처 또는 환경 감지 중 적어도 하나를 포함할 수 있다. 센서 선택 모듈(1211)은, 동작 제스처 그룹에 포함된 제스처에 대한 정보에 기반하여, 관측 센서 그룹을 선택할 수 있다. 관측 센서 그룹은, 동작 제스처 그룹에 포함된 제스처에 대한 정보를 센싱하기 위한 센서를 나타낼 수 있다. 제스처 인식 기능은 다양한 제스처를 지원할 수 있으며, 시나리오 혹은 어플리케이션 별로 사용되는 제스처 그룹이 각각 다를 수 있다. 이에 따라, 해당 제스처 인식 요청에 대하여 유효한 제스처에 해당하는 센서들만 이용하도록 하여 효율적인 구간 분할 동작이 수행될 수 있다. 표 2는 제스처 및 이용되는 센싱 데이터와의 연관 정보의 예시를 도시한다.
센싱 데이터 OCO 제스처 흔들기 제스처 환경 감지
PPG O
GYRX O O
GYRY O O
GYRZ O
GYRM O
LACCX O
LACCY O
LACCZ O
LACCM
OCO 제스처의 경우 주먹을 쥐었다 피는 동작 동안 혈관의 이완 수축으로 인해 PPG 센서가 변화가 있을 뿐만 아니라 주먹을 쥐는 과정에서 손목 근육이 수축되어 자이로 센서의 X축과 Y축에서 변화가 있을 수 있다. 이에 따라, OCO 제스처 인식을 위하여 PPG, GYRX, GYRY의 센싱 데이터가 이용될 수 있다. 흔들기 제스처의 경우 팔을 축으로 손목 자체가 흔들리는 것이기 때문에 GRYX 신호가 크게 변경될 수 있다. 이에 따라, 흔들기 제스처의 인식을 위하여 GYRX의 센싱 데이터가 이용될 수 있다. OCO 제스처와 흔들기 제스처의 신호 변화의 정도는 상당히 차이가 있기 때문에, 구간 분할을 위한 임계 값 또한 상이할 수 있다. 또는, 각 임계값들의 최솟값이 공통의 임계값으로 설정될 수도 있다.
예를 들어, 도 12의 실시예에서, 외부 모듈(1201)로부터 수신되는 제스처 인식 요청의 동작 제스처 그룹에는, OCO 제스처가 포함될 수 있다. 센서 선택 모듈(1211)은, 표 2와 같은 정보에 기반하여, OCO 제스처 인식을 위하여 요구되는 센싱 데이터(예를 들어, PPG, GYRX, GYRY의 센싱 데이터)를 확인할 수 있다. 센서 선택 모듈(1211)은, 이를 나타내는 관측 센서 그룹을 신호 관측 모듈(1230)로 제공할 수 있다.
다양한 실시예에서, 센서 선택 모듈(1211)은, 분할 결정을 위한 센서 그룹을 선택할 수 있다. 분할 결정을 위한 센서 그룹은, 최종적으로 분할을 완료할 지 여부를 결정하는데 이용되는 센싱 데이터를 센싱하기 위한 센서들을 나타낼 수 있다. 예를 들어, 표 2에서와 같은 {GYRY, GYRZ, GYRM, LACCX, LACCY, LACCZ}의 센싱 데이터를 나타내는 분할 결정을 위한 센서 그룹을 분할 완료 모듈(1250)로 제공할 수 있다. 여기에서, 관측 센서 그룹으로서 선택된 센서 및 분할 결정을 위한 센서 그룹으로서 선택된 센서는 적어도 일부 동일한 시간 구간에서 센싱을 수행할 수 있다.
다양한 실시예에 따라서, 신호 관측 모듈(1230)은, 센서 선택 모듈(1211)에 의하여 선택된 관측 센서 그룹에 대응하는 센서들로부터의 센싱 데이터를 관측할 수 있다. 만약, 관측 센서 그룹에 의하여 제 1 센서 및 제 n 센서가 관측 대상으로 결정되고, 제 2 센서가 관측 대상으로 결정되지 않은 경우, 신호 관측 모듈(1230)은 제 1 센서에 대한 관측 상태를 온 상태(1231)로 제어하고, 제 n 센서에 대한 관측 상태를 온 상태(1233)로 제어할 수 있으며, 제 2 센서에 대한 관측 상태를 오프 상태(1232)로 제어할 수 있다. 이에 따라, 신호 관측 모듈(1230)은, 제 1 센서 및 제 n 센서로부터의 센싱 데이터를 수신하고, 제 2 센서로부터의 센싱 데이터는 관측하지 않을 수 있다. 제 2 센서는 구동되지 않을 수도 있다. 예를 들어, 관측 센서 그룹에서 PPG, GYRX, GYRY의 센싱 데이터가 지정된 경우, 신호 관측 모듈(1230)은, PPG 센서 및 자이로 센서로부터의 센싱 데이터를 수신할 수 있으며, 나머지 센서로부터의 센싱 데이터는 관측하지 않도록 설정될 수도 있다.
다양한 실시예에 따라서, 신호 관측 모듈(1230)은, 관측된 센싱 데이터에 대응하는 합산 데이터를 생성할 수 있다. 신호 관측 모듈(1230)은, 예를 들어 수학식 1에 기반하여 합산 데이터를 생성할 수 있다.
Figure pat00001
Xi는 i번째 인덱스에 대응하는 합산 데이터일 수 있다. 인덱스는, 예를 들어 일정 시간에 따라 구분한 구간(예를 들어 일정 샘플링 크기로 샘플링된 샘플 구간)을 특정하기 위한 숫자로, 시계열적인 흐름에 따라 증가할 수 있다. xi는 i번째 인덱스에 대응하는 센싱 데이터, 예를 들어 샘플 신호 값일 수 있다. L은 합산 데이터를 위한 구간 길이(예를 들어, 도 10에서의 구간 길이(1011))일 수 있다. 수학식 1에 따라, i번째 인덱스에 대응하는 센싱 데이터는, i번째 인덱스 이전의 L개의 인덱스들의 샘플 신호 값의 제곱의 합계일 수 있다. 합산 데이터를 이용함으로써, 노이즈가 억제될 수 있다. 미세한 움직임에 의해 발생하는 순간적인 센싱 데이터의 변화들은 노이즈일 수 있으며, 이는 합산 데이터에서 억제될 수 있다. 아울러, 주기적인 신호 파형들이, 합산 데이터에서는 평평하게 처리될 수 있다. 예를 들어, PPG 센싱 데이터 내의 심장이 뛰는 주기에 따른 값, 또는 걷는 환경에서의 보폭에 따른 GYR 센싱 데이터는, 주기적인 파형을 가질 수 있다. 이러한 백 그라운드에서 주기성을 가지고 나타나는 센싱 데이터는, 합산 데이터로 처리되는 경우에 평평하게 처리될 수 있다.
다양한 실시예에 따라서, 신호 관측 모듈(1230)은, 합산 데이터를 이용하여 세그먼테이션의 개시 여부를 판단할 수 있다. 예를 들어, 신호 관측 모듈(1230)은, 이전 시점의 합산 데이터 대비 현재 시점의 합산 데이터의 비율을 이용하여, 세그먼테이션 여부를 판단할 수 있다. 만약, 사용자가 전자 장치(101)를 착용하고 상대적으로 움직임이 적은 상태를 유지하면, 이전 시점의 합산 데이터 대비 현재 시점의 합산 데이터의 비율이 1에 가까운 값으로 확인될 수 있다. 사용자가 전자 장치(101)를 착용하고 상대적으로 크게 움직인 경우, 이전 시점의 합산 데이터 대비 현재 시점의 합산 데이터의 비율이 1보다 큰 값으로 증가하게 될 것이다. 그 비율이 미리 지정된 값을 초과하면, 신호 관측 모듈(1230)은 세그먼테이션을 개시할 것으로 판단할 수 있다. 해당 비율은, 물리적으로는 SINR (Signal to Interference and Noise Ratio)을 의미할 수도 있다. 제스처가 아닌 일상 움직임 및/또는 노이즈는 사용자의 특성 및 사용 환경에 따라 변화할 수 있다. 제스처 발생 여부를 판단할 때, 합산 데이터의 절대값을 기준으로 삼는 것보다, 상대적인 비율을 기준으로 삼는 것이 정확할 수 있다. 신호 관측 모듈(1230)은, 세그먼테이션의 종료 시점을 판단할 수도 있다. 예를 들어, 신호 관측 모듈(1230)은, 합산 데이터에 기반하여 구간 결정 모듈(1240)로 세그먼테이션을 중지하도록 요청할 수도 있다. 예를 들어, 합산 데이터가 지정된 값 이하이거나, 오는 이전 시점의 합산 데이터 대비 현재 시점의 합산 데이터의 비율이 특정 값 이하인 경우에, 신호 관측 모듈(1230)은 세그먼테이션의 중지를 요청할 수도 있으나, 그 중지 요청의 트리거에는 제한이 없다.
다양한 실시예에서, 신호 관측 모듈(1230)은, 세그먼테이션을 개시하기로 결정하면, 합산 데이터를 구간 결정 모듈(1240)로 제공할 수 있다. 구간 결정 모듈(1240)은 제스처 신호 구간의 시작 지점과 끝 지점을 결정할 수 있다. 구간 결정 모듈(1240)은, 구간 결정의 정확도를 높이기 위해 다중 센서 관측을 사용할 경우 각 센서의 관측 결과들을 종합적으로 판단할 수 있다. 예를 들어, 1241 동작에서, 구간 결정 모듈(1240)은 관측 결과를 취합하고, 취합된 결과들에 기반하여 세그먼테이션 구간을 판단할 수 있다. 1242 동작에서, 구간 결정 모듈(1240)은 세그먼테이션 구간의 시작 및 끝 지점을 결정할 수 있다. 구간 결정 모듈(1240)은, 신호 관측 모듈(1230)로부터 수신한 합산 데이터에 기반하여 끝 지점을 결정할 수 있다. 예를 들어, SINR이 특정 임계 값보다 작아지게 되는 순간 제스처 신호 구간에서 벗어났다고 판단하여, 해당 시점보다 지정된 시간 길이만큼 이전 샘플이 끝 지점으로 판단될 수 있다. 다양한 실시예에서, 구간 결정 모듈(1240)은, 미세하게 시작 지점과 끝 지점을 조정하는 파인-튜닝을 수행할 수도 있다. 신호 관측 모듈(1230)에서 결정한 시작 시점은 누적 신호 에너지 그래프가 증가하게 되는 첫 지점을 의미하는 것인데, 이 지점은 실제 제스처 신호의 시작점과 다를 수 있다. 구간 결정 모듈(1240)은 신호 관측 모듈(1230)에 결정한 시작 지점과 끝 지점 사이의 범위에서, 합산 데이터의 빈도가 높은 구간을 결정할 수 있다. 예를 들어, 구간 결정 모듈(1240)은 구간 내 최대 값을 기준으로 특정 비율을 초과하는 구간을 결정함으로써, 파인-튜닝을 수행할 수도 있다.
다양한 실시예에 따라서, 구간 결정 모듈(1240)은, 시작 지점으로부터 지정된 길이를 세그먼테이션 구간으로 결정할 수도 있다. 지정된 길이는 하나의 제스처 신호가 포함될 수 있을 정도의 충분한 길이로 설정될 수 있다. 이 경우, 끝 지점은 신호 관측 모듈(1230)에 의하여 결정된 시작 지점으로부터 지정된 길이 이후의 지점으로 결정될 수 있다. 다양한 실시예에 따라서, 구간 결정 모듈(1240)은 해당 세그먼테이션 구간을 바로 이용할 수도 있거나, 또는 파인-튜닝을 추가적으로 수행할 수도 있다. 예를 들어, 구간 결정 모듈(1240)은, 결정된 끝 지점의 전/후로 수 샘플을 이동시키면서, 합산 데이터가 최대가 되는 지점을 끝 지점으로 재선택함으로써, 파인-튜닝을 수행할 수도 있다.
다양한 실시예에 따라서, 분할 완료 모듈(1250)은, 구간 결정 모듈(1240)으로부터 수신된 세그먼테이션 구간이 유효한지 여부를 확인하고, 유효한 경우 피쳐 연산 모듈(1130)으로 전달할 수 있다. 예를 들어, 분할 완료 모듈(1250)은, 센서 선택 모듈(1211)로부터 분할 결정을 위한 센서 그룹을 수신할 수 있다. 분할 완료 모듈(1250)은, 전달받은 분할 결정을 위한 센서 그룹에 기반한 센싱 데이터를 관측할 수 있다. 표 2의 예시에서는, {GYRY, GYRZ, GYRM, LACCX, LACCY, LACCZ}의 센싱 데이터가 분할 결정을 위한 센싱 데이터로 설정될 수 있다. 분할 완료 모듈(1250)는 {GYRY, GYRZ, GYRM, LACCX, LACCY, LACCZ}의 센싱 데이터에 기반하여 분할 여부를 결정할 수 있다. 분할 완료 모듈(1250)은, 설정된 센싱 데이터에 기반하여, 최종적으로 세그먼테이션 구간을 출력할지 여부를 판단할 수 있다. 하나의 예시로, 사용자가 팔을 흔들면서 특정 제스처를 수행한 경우에도, 팔을 흔드는 동작이 제스처에 비하여 크므로 세그먼테이션이 수행될 수 있다. 하지만, 해당 세그먼테이션 구간에 대한 제스처 인식은 실패할 가능성이 높을 수 있다. 이에 따라, 분할 완료 모듈(1250)은, 제스처 인식이 실패할 가능성이 높을 것으로 판단되는 경우, 세그먼테이션 구간을 출력하지 않을 수도 있다.
도 13a는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
다양한 실시예에 따라서, 전자 장치(101)( 예: 도 5의 프로세서(540), 도 7의 프로세서(710), 보조 프로세서(720), 도 8의 프로세서(810), 또는 보조 프로세서(820) 중 적어도 하나)는, 1301 동작에서, 합산 데이터를 확인할 수 있다. 1303 동작에서, 전자 장치(101)는, 현재 합산 데이터가 이전 합산 데이터보다 큰 지 여부를 판단할 수 있다. 예를 들어, 전자 장치(101)는, i번째 인덱스에서의 센싱 데이터(xi)를 측정할 수 있다. 전자 장치(101)는, 예를 들어 수학식 1에 기반하여, i번째 인덱스에서의 구간 길이(예를 들어, 도 10에서의 구간 길이(1011)) 동안의 합산 데이터(Xi)를 확인할 수 있다. 전자 장치(101)가 i-1번째 인덱스에서도 합산 데이터(Xi-1)를 확인할 것을 상정하도록 한다. 전자 장치(101)는, i번째 인덱스에서의 합산 데이터(Xi)가 i-1번째 인덱스에서도 합산 데이터(Xi-1)보다 큰 지 여부를 판단할 수 있다. i번째 인덱스에서의 합산 데이터(Xi)가 i-1번째 인덱스에서도 합산 데이터(Xi-1)보다 크지 않으면(1303-아니오), 전자 장치(101)는 합산 데이터 확인을 지속할 수 있다. 1303 동작으로부터 1301 동작으로의 반복(iteration)됨에 따라 인덱스는 1씩 증가할 수 있다. 이전 합산 데이터보다 현재 합산 데이터가 큰 지 여부를 판단하는 동작을 제 1 관측이라 명명할 수 있다.
다양한 실시예에 따라서, i번째 인덱스에서의 합산 데이터(Xi)가 i-1번째 인덱스에서도 합산 데이터(Xi-1)보다 크면(1303-예), 전자 장치(101)는 1305 동작에서 현재 합산 데이터를 비교용 데이터(X')로서 저장할 수 있다. 1307 동작에서, 전자 장치(101)는 현재 합산 데이터와 비교용 데이터의 비율이 제 1 임계값을 초과하는지 여부를 판단할 수 있다. 현재 합산 데이터와 비교용 데이터의 비율이 제 1 임계값을 초과하지 않으면(1307-아니오), 전자 장치(101)는 비율이 제 1 임계값을 초과하는지 여부를 반복적으로 수행할 수 있으며, 반복 중에 인덱스는 1씩 증가할 수 있다. 다른 실시예에서, 전자 장치(101)는, 1305 동작에서 현재 합산 데이터를 비교용 데이터로서 저장한 이후에 곧바로 인덱스를 1 증가한 후 1307 동작을 수행하도록 설정될 수도 있다. 현재 합산 데이터와 비교용 데이터의 비율이 제 1 임계값을 초과하면(1307-예), 1309 동작에서 전자 장치(101)는 해당 시점의 인덱스를 시작 인덱스로서 확인할 수 있다. 도시되지는 않았지만, 전자 장치(101)는 1307 동작에서 미리 정하여진 시간의 경과(또는, 미리 정하여진 회수의 인덱스 증가)가 확인되면 전체 동작을 중단할 수도 있다. 또는, 전자 장치(101)는, 어플리케이션의 종료를 확인함에 기반하여, 전체 동작을 중단할 수도 있다. 현재 합산 데이터와 비교용 데이터의 비율이 제 1 임계값 초과인지 여부를 판단하는 동작을 제 2 관측으로 명명할 수 있다. 제 1 임계값은, 예를 들어 3으로 설정될 수 있으나, 제한은 없다.
다양한 실시예에 따라서, 시작 인덱스가 확인되면, 전자 장치(101)는 종료 인덱스를 검출할 수 있다. 예를 들어, 1311 동작에서, 전자 장치(101)는, 현재 합산 데이터와 비교용 데이터의 비율이 제 2 임계값 미만인지 여부를 판단할 수 있다. 현재 합산 데이터와 비교용 데이터의 비율이 제 2 임계값 미만이 아니면(1311-아니오), 전자 장치(101)는 비율이 제 2 임계값 미만인지 여부를 반복적으로 수행할 수 있으며, 반복 중에는 인덱스는 1씩 증가할 수 있다. 현재 합산 데이터와 비교용 데이터의 비율이 제 2 임계값 미만이면(1311-예), 전자 장치(101)는 1313 동작에서, 해당 인덱스를 종료 인덱스로서 확인할 수 있다. 상술한 동작들에 기반하여, 전자 장치(101)는 세그먼테이션 구간의 시작 인덱스 및 종료 인덱스를 확인할 수 있다. 다양한 실시예에서, 전자 장치(101)는, 비교용 데이터를 지정된 주기로 업데이트할 수도 있다.
도 13b는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 도 13b에서의 1321 동작, 1323 동작, 1325 동작, 1327 동작 각각은, 도 13a에서의 1301 동작, 1303 동작, 1305 동작, 1307 동작 각각과 실질적으로 동일할 수 있으므로, 이에 대한 설명은 생략하도록 한다. 현재 합산 데이터와 비교용 데이터의 비율이 제 1 임계값을 초과하면(1327-예), 전자 장치(101)( 예: 도 5의 프로세서(540), 도 7의 프로세서(710), 보조 프로세서(720), 도 8의 프로세서(810), 또는 보조 프로세서(820) 중 적어도 하나)는, 1329 동작에서 시작 인덱스 및 종료 인덱스를 확인할 수 있다. 전자 장치(101)는, 비율이 제 1 임계값을 초과하는 해당 인덱스를 시작 인덱스로서 확인할 수 있다.
아울러, 전자 장치(101)는 시작 인덱스에 지정된 개수의 인덱스를 합산함으로써, 종료 인덱스를 확인할 수 있다. 이는, 시작 인덱스가 확인되면, 곧바로 지정된 길이를 더함으로써 세그먼테이션 구간이 결정됨을 의미할 수 있다. 인덱스의 지정된 개수는 제스처 인식을 위한 충분한 시간에 대응하여 설정될 수 있다. 예를 들어, 지정된 개수가 3초에 대응하는 개수인 경우에는, 시작 인덱스로부터 3초에 대응하는 개수 이후의 인덱스가 종료 인덱스로 확인될 수 있으며, 지정된 개수는 제한이 없으며, 변경될 수도 있다. 도시되지는 않았지만, 전자 장치(101)는 종료 인덱스를 확인한 이후, 상술한 바와 같이 파인-튜닝을 추가적으로 수행할 수도 있다.
도 14는 다양한 실시예에 따른 복수 타입의 센싱 데이터에 대한 결정 규칙을 설명하기 위한 도면을 도시한다.
다양한 실시예에 따라서, 전자 장치(101)(예: 도 5의 프로세서(540), 도 7의 프로세서(710), 보조 프로세서(720), 도 8의 프로세서(810), 또는 보조 프로세서(820) 중 적어도 하나)는, 복수 타입의 센싱 데이터를 획득할 수 있다. 예를 들어, 전자 장치(101)는 PPG 센싱 데이터를 획득하면서, GYRX/Y 센싱 데이터를 획득할 수 있다. 전자 장치(101)는, 1401 동작에서, PPG 제 1 관측을 수행할 수 있다. 전자 장치(101)는, 1411 동작에서, GYRX/Y 제 1 관측을 수행할 수 있다. 상술한 바와 같이, 제 1 관측은, 현재 합산 데이터가 이전 합산 데이터보다 큰지 여부를 판단하는 동작을 포함할 수 있다. 전자 장치(101)는, 1403 동작에서, PPG 제 2 관측을 수행할 수 있다. 전자 장치(101)는, 1413 동작에서, GYRX/Y 제 2 관측을 수행할 수 있다. 상술한 바와 같이, 제 2 관측은, 현재 합산 데이터와 비교용 합산 데이터와의 비율이 지정된 임계값을 초과하는지 여부를 판단하는 동작을 포함할 수 있다. 제 2 관측은, 제 1 관측이 성공한 경우 수행될 수 있다. 제 2 관측의 결과에 따라 세그먼테이션 구간이 결정될 수 있다.
다양한 실시예에 따라서, 전자 장치(101)는 1421 동작에서 결정 규칙을 적용할 수 있다. 하나의 예에서, 전자 장치(101)는, 소프트 결정 규칙을 적용할 수 있다. 소프트 결정 규칙이 적용된 경우, 전자 장치(101)는, 복수 타입의 센싱 데이터 중 어느 하나로부터 세그먼테이션 구간이 결정되면, 세그먼테이션을 수행할 수 있다. 다른 예에서, 전자 장치(101)는, 하드 결정 규칙을 적용할 수 있다. 하드 결정 규칙이 적용된 경우, 전자 장치(101)는, 관측 중인 복수 타입의 센싱 데이터 모두에서 세그먼테이션 구간이 결정되면, 세그먼테이션을 수행할 수 있다. 소프트 결정 규칙이 설정된 경우에는, 노이즈 및 간섭에 강인한 세그먼테이션이 가능할 수 있다. 예를 들어, 사용자가 팔을 흔들면서 걷는 도중에 OCO 제스처를 수행하는 경우에 소프트 결정 규칙이 유리할 수 있다. OCO 제스처에 유효한 센서인 PPG센서 및 자이로 센서로부터의 센싱 데이터를 관측하는 경우, OCO 제스처 이외의 사용자의 팔의 스윙이 노이즈 및/또는 간섭으로서 측정될 수 있다. 소프트 결정 규칙이 적용된다면, 전자 장치(101)는, PPG 센싱 데이터의 SINR만으로도 OCO 제스처를 검출하여 세그먼테이션을 수행할 수 있다. 소프트 결정 규칙은 외부 환경의 영향에도 강건하게 세그먼테이션이 수행될 가능성이 높다. 하드 결정 규칙이 설정된 경우에는, 기설정된 제스처 이외에 다른 일상적인 움직임에 의한 세그먼테이션 가능성이 낮아질 수 있다. 기설정된 제스처가 일상적인 움직임과 확연히 구분되는 경우에는, 하드 결정 규칙의 적용이 유리할 수 있다. 예를 들어, 상대적으로 복잡한 동작이 조합되는 제스처인 경우에는, 세그먼테이션의 개시 여부의 높은 정확도가 요구되며, 이 경우 하드 결정 규칙이 더 유리할 수 있다. 일 실시 예에 따르면, 결정 규칙을 적용하는 1421 동작은, 복수 타입의 센싱 데이터를 획득하는 동작 이전에 수행될 수 있다. 예를 들어, 센싱 데이터를 획득할 센서가 결정되거나 검출해야 하는 제스처가 설정되는 경우 결정 규칙을 적용하고 복수 타입의 센싱 데이터를 획득할 수 있다.
1423 동작에서, 전자 장치(101)는, 시작 및 종료 인덱스를 확인할 수 있다. 하나의 예에서, 전자 장치(101)는, 복수 개의 센서들 중 주요 센서를 기준으로 시작 인덱스 및 종료 인덱스를 선택할 수 있다. 다른 예에서, 전자 장치(101)는, 복수 개의 센서들 중 가장 먼저 시작 인덱스를 검출한 센싱 데이터에 대하여 시작 인덱스 및 종료 인덱스를 선택할 수 있다. 또 다른 예에서, 전자 장치(101)는 복수 개의 센싱 데이터(plural pieces of sensing data)별로 각각 세그먼테이션 구간을 확인하고, 복수 개의 세그먼테이션 구간들 전체를 포함할 수 있는 세그먼테이션 구간을 결정할 수도 있다. 1425 동작에서, 전자 장치(101)는 세그먼테이션을 완료할 수 있다.
도 15는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 도 15의 실시예는 도 16을 참조하여 설명하도록 한다. 도 16은 다양한 실시예에 따른 세그먼테이션 구간의 오버랩을 설명하기 위한 도면이다.
다양한 실시예에 따라서, 전자 장치(101)(예: 도 5의 프로세서(540), 도 7의 프로세서(710), 보조 프로세서(720), 도 8의 프로세서(810), 또는 보조 프로세서(820) 중 적어도 하나)는, 1501 동작에서, 제 1 세그먼테이션 구간을 확인할 수 있다. 1503 동작에서, 전자 장치(101)는 제 1 세그먼테이션 구간에 대한 오버랩 여부를 확인할 수 있다. 예를 들어, 사용자가, 손목시계형 전자 장치(101)를 착용한 경우에, 전화가 수신될 수 있다. 이 경우, 사용자는 흔들기 제스처를 수행하기 이전에, 전자 장치(101)를 착용한 팔을 들고, 팔을 든 이후에 흔들기 제스처를 수행할 수 있다. 도 16의 (a)를 참조하면, 전자 장치(101)는, 센싱 데이터에 대응하는 합산 데이터(1601)를 확인할 수 있다. 사용자가 팔을 드는 동작에 따라서도 세그먼테이션이 수행될 수 있으며, 예를 들어 도 16에서의 제 1 세그먼테이션 구간(1621)이 확인될 수 있다. 이후, 흔들기 제스처에 의한 제 2 세그먼테이션 구간(1623)이 분할되어야 할 수 있다. 하지만, (a)와 같이, 사용자가 팔을 드는 동작과 흔들기 제스처가 오버랩 구간(1622)에서 겹칠 수 있다. 만약, 오버랩 구간(1622)을 제외한 제 2 세그먼테이션 구간(1623)이 결정된다면, 흔들기 제스처에 의한 신호의 일부가 유실되기 때문에, 인식률 저하가 발생할 수 있다. 이에 따라, 전자 장치(101)는, 세그먼테이션 구간 사이의 오버랩 여부를 결정할 수 있다. 1505 동작에서, 전자 장치(101)는, 오버랩 여부에 기반하여 제 2 세그먼테이션 구간을 확인할 수 있다. 만약, 오버랩을 허용하도록 결정되면, 전자 장치(101)는, 도 16의 (b)에서와 같이, 오버랩 구간(1622)이 제 1 세그먼테이션 구간(1621)에도 포함되고, 제 2 세그먼테이션 구간(1623)에도 포함되도록 결정할 수 있다. 예를 들어, 전자 장치(101)는, 상술한 도 12의 분할 완료 모듈(1250)의 판단 결과에 기반하여, 오버랩 여부 및 오버랩 구간(1622)을 결정할 수 있다. 하나의 예에서, 팔을 들어올리는 동작은 자이로 센서 및 선형 가속도 센서로부터의 센싱 데이터의 변경 정도에 따라 판단될 수 있다. 자이로 센서의 센싱 데이터의 파형이 concave 형태 또는 convex 형태가 검출되면, 팔을 들어올리는 동작으로 판단될 수 있다. 전자 장치(101)는, 팔을 들어올리는 동작의 확인을 위하여 설정된 임계값 이상의 크기를 가지는, concave 형태 또는 convex 형태의 자이로 센서의 센싱 데이터가 확인되면, 오버랩을 허용할 것으로 결정할 수 있다. 전자 장치(101)는, 예를 들어 팔을 들어 올리는 동작이 완료된 것으로 확인되는 지점부터 제 2 세그먼테이션 구간을 설정하거나, 또는 완료 지점부터 기 설정된 시간 이전의 지점부터 제 2 세그먼테이션 구간을 설정할 수도 있다.
도 17은 다양한 실시예에 따른 센싱 데이터 및 합산 데이터를 설명하기 위한 파형들을 도시한다.
다양한 실시예에 따라서, 전자 장치(101)(예: 도 5의 프로세서(540), 도 7의 프로세서(710), 보조 프로세서(720), 도 8의 프로세서(810), 또는 보조 프로세서(820) 중 적어도 하나)는, PPG 진폭(PPG amplitude)의 제 1 센싱 데이터(1710) 및 GYRX/Y 합성 진폭(GYRX/Y composite amplitude)의 제 2 센싱 데이터(1730)을 센싱할 수 있다. 전자 장치(101)는, 제 1 센싱 데이터(1710)에 기반하여 제 1 합산 데이터(1720)를 생성할 수 있으며, 제 2 센싱 데이터(1730)에 기반하여 제 2 합산 데이터(1740)를 생성할 수 있다. 전자 장치(101)는, 제 1 합산 데이터(1720)에 대한 제 1 관측(1721)을 수행할 수 있으며, 제 2 합산 데이터(1740)에 대하여 제 1 관측(1741)을 수행할 수 있다. 제 1 관측(1721,1741)은, 현재의 합산 데이터가 이전 합산 데이터보다 큰 지 여부를 판단하는 동작을 포함할 수 있다. 제 1 관측(1721) 결과에 따라 현재의 합산 데이터가 이전 합산 데이터보다 큰 것으로 판단되면, 전자 장치(101)는 제 1 합산 데이터(1720)에 대하여 제 2 관측(1722)을 수행할 수 있다. 전자 장치(101)는, 제 1 합산 데이터(1720)에 대한 제 1 관측(1721) 결과에 따라 이전 합산 데이터보다 큰 현재의 합산 데이터를 참조 값(1725)으로 설정할 수 있다. 전자 장치(101)는, 제 2 관측(1722)으로서, 현재의 합산 데이터 및 참조 값(1725)의 비율이 임계값(1726)(예를 들어, 3)을 초과하는지 여부를 판단할 수 있다. 현재의 합산 데이터 및 참조 값(1725)의 비율이 임계값(1726)(예를 들어, 3)을 초과하는 경우, 전자 장치(101)는, 구간 결정(1723)을 수행할 수 있다. 다양한 실시예에 따라서, 전자 장치(101)는, 구간 결정(1723)의 시작 지점으로부터 지정된 시간 길이를 더하는 방식으로 세그먼테이션 구간을 결정할 수 있으나, 제한은 없다. 전자 장치(101)는, 제 2 합산 데이터(1740)에 대한 제 1 관측(1741) 결과에 따라 이전 합산 데이터보다 큰 현재의 합산 데이터를 참조 값(1745)으로 설정할 수 있다. 전자 장치(101)는, 제 2 관측(1742)으로서, 현재의 합산 데이터 및 참조 값(1745)의 비율이 임계값(1746)(예를 들어, 4)을 초과하는지 여부를 판단할 수 있다. 센싱 데이터의 종류별로 임계값들(1726,1746)이 상이하게 설정될 수 있으나, 이는 예시적인 것으로 동일할 수도 있다. 임계값들(1726,1746)이 너무 작게 설정되면 미약한 움직임에도 세그먼테이션이 수행될 수 있으며, 또는 너무 크게 설정되면 제스처에 의한 센싱 데이터가 상대적으로 작거나 또는 외부의 움직임에 의한 간섭이 존재하는 경우 세그먼테이션이 수행되지 못할 수도 있다. 이러한 트레이드 오프를 고려하여, 임계값들(1726,1746)이 실험적으로 설정될 수도 있다. 현재의 합산 데이터 및 참조 값(1745)의 비율이 임계값(1746)(예를 들어, 4)을 초과하는 경우, 전자 장치(101)는, 구간 결정(1743)을 수행할 수 있다. 만약, 제 2 관측(1722,1742)을 시작한 이후 지정된 시간(예: 0.6초) 이내에 구간 결정이 개시되지 않으면, 전자 장치(101)는 다시 제 1 관측(1721,1741)을 개시할 수도 있다. 이에 따라, 참조값들(1725,1745) 또한 업데이트될 수 있다. 만약, 하드 결정 규칙이 적용된 경우에는, 전자 장치(101)는, 제 1 합산 데이터(1720) 및 제 2 합산 데이터(1740) 모두가 구간 결정을 위한 규칙이 확인됨에 기반하여, 세그먼테이션을 수행할 수 있다. 이 경우, 예를 들어 전자 장치(101)는, 나중에 규칙을 만족한 제 2 합산 데이터(1740)의 규칙 만족 시점에 세그먼테이션을 수행할 수 있다.
다양한 실시예에 따라서, 소프트 결정 규칙이 적용된 경우에는, 전자 장치(101)는, 제 1 합산 데이터(1720) 및 제 2 합산 데이터(1740) 중 어느 하나에서 제 2 관측이 성공하는 경우에, 세그먼테이션을 수행할 수 있다. 예를 들어, 전자 장치(101)는, 먼저 규칙을 만족한 제 1 합산 데이터(1720)의 규칙 만족 시점에 세그먼테이션을 수행할 수 있다. 개인 별, 제스처 별, 전자 장치(101)의 착용 상태 별, 또는 제스처 수행 강도 별로, 반응하는 센서가 상이할 수도 있으므로, 소프트 결정 규칙이 적용될 수 있다. 도 17을 참조하면, 전자 장치(101)는 제 1 합산 데이터(1720)에 대한 제 2 관측(1722)의 성공에 기반하여, 제 2 합산 데이터(1740)에 대하여서도 제 2 관측(1742)을 중단하고 구간 결정(1743)을 수행할 수 있다. 다양한 실시예에 따라서, 전자 장치(101)는, 구간 결정(1743)의 시작 지점으로부터 지정된 시간 길이(예: 1.2초)를 더하는 방식으로 세그먼테이션 구간을 결정할 수 있으나, 제한은 없다. 지정된 시간 길이는, 제스처에 대응하는 센싱 데이터가 수집될 수 있는 충분한 길이로 설정될 수 있다. 또 다른 예에서, 전자 장치(101)는, 구간 결정(1743)의 시작 지점으로부터 지정된 시간 길이(예: 1.2초)를 더하여 임시적으로 세그먼테이션 종료 지점을 결정할 수 있다. 다양한 실시예에 따라서, 전자 장치(101)는, 구간 결정(1723, 1743)의 시작 지점, 종료 지점 및/또는 구간 길이를 센서(예: PPG, GYR)마다 다르게 설정하거나, 또는 동일하게 설정할 수 있다. 예를 들어, 구간 결정(1723)과 구간 결정(1743)의 시작 지점, 종료 지점 및/또는 구간 길이 중 일부는 동일할 수 있다. 전자 장치(101)는, 임시적으로 설정된 종료 지점에서 합산 데이터가 감소함이 확인되면, 임시적으로 설정된 종료 지점을 확정할 수 있다. 만약, 임시적으로 설정된 종료 지점까지 합산 데이터가 증가됨이 확인되면, 전자 장치(101)는 합산 데이터가 감소할 때까지 종료 지점을 조정할 수도 있다. 전자 장치(101)는, 최초 확인된 시작 지점부터 조정된 종료 지점까지를 세그먼테이션 구간으로 설정하거나, 또는 조정된 종료 지점부터 지정된 시간 길이(예: 1.2초) 이전까지의 구간을 세그먼테이션 구간으로 재설정할 수도 있다. 이에 따라, 상대적으로 센싱 데이터가 큰 구간이 세그먼테이션될 가능성이 높아질 수도 있으며, 특히 사용자가 걷거나, 또는 뛰는 경우에 제스처 인식 성공 가능성이 향상될 수 있다.
도 18은 다양한 실시예에 따른 센싱 데이터 및 합산 데이터를 설명하기 위한 파형들을 도시한다.
예를 들어, 사용자가 전자 장치(101)를 팔에 착용하고, 팔은 고정한 채로(또는, 거의 움직이지 않으며) 걷다가 제스처(예: OCO 제스처)를 취하는 상황을 상정하도록 한다. 전자 장치(101)(예: 도 5의 프로세서(540), 도 7의 프로세서(710), 보조 프로세서(720), 도 8의 프로세서(810), 또는 보조 프로세서(820) 중 적어도 하나)는, PPG 진폭(PPG amplitude)의 제 1 센싱 데이터(1830) 및 GYRX/Y 합성 진폭(GYRX/Y composite amplitude)의 제 2 센싱 데이터(1870)을 센싱할 수 있다. 도 18에서 도시된 바와 같이, 사용자의 걸음에 의하여 제 1 센싱 데이터(1830) 및 제 2 센싱 데이터(1870)에는 주기적인 피크들이 존재하는 것을 확인할 수 있다.
다양한 실시예에 따라서, 전자 장치(101)는, 제 1 센싱 데이터(1830)에 기반하여 제 1 합산 데이터(1840)를 생성할 수 있으며, 제 2 센싱 데이터(1870)에 기반하여 제 2 합산 데이터(1880)를 생성할 수 있다. 도 18에 도시된 바와 같이, 제 1 합산 데이터(1840) 및 제 2 합산 데이터(1880)에는 사용자 걸음에 의한 주기적인 피크가 억제된 것을 확인할 수 있다. 전자 장치(101)는, 제 1 합산 데이터(1840)에 대하여 제 1 관측(1841) 및 제 2 관측(1842)을 수행할 수 있다. 제 2 관측(1842)을 수행한 이후 기설정된 시간 이내에 비율이 임계값을 초과하지 않음에 기반하여, 전자 장치(101)는 제 1 관측(1843)을 재수행할 수 있다. 제 1 관측(1843)의 성공에 따라, 전자 장치(101)는 제 2 관측(1844)을 수행할 수 있다. 제 2 관측(1844)의 수행에 따라 전자 장치(101)는 참조값(1846)을 업데이트할 수 있다. 전자 장치(101)는, 제 2 합산 데이터(1880)에 대하여 제 1 관측(1881) 및 제 2 관측(1882)을 수행할 수 있다. 제 1 관측(1881)의 성공에 기반하여, 전자 장치(101)는 참조값(1884)을 설정할 수 있다. 전자 장치(101)는, 제 2 합산 데이터(1880)의 현재 합산 데이터와 참조값(1884)의 비율이 임계값(1885)(예: 4)을 초과함에 기반하여 구간 결정(1883)을 수행할 수 있다. 이에 따라, 전자 장치(101)는 제 1 합산 데이터(1840)에 대하여서도 구간 결정(1845)을 수행할 수 있다. 전자 장치(101)는, 세그먼테이션 구간을 확인할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제1 센서의 센싱 데이터 및 합산 데이터에 기반하여 결정된 제1 센서의 구간 결정에 기반하여 제 2 센서의 구간 결정을 수행할 수 있다. 예를 들어, 전자 장치(101)는 제 2 합산 데이터(1880)의 현재 합산 데이터와 참조값(1884)의 비율이 임계값(1885)(예: 4)을 초과함에 기반하여 구간 결정(1883)에 기반하여 제1 합산 데이터(8140)에 대하여서도 구간 결정(1845)를 수행할 수 있다.
상술한 바와 같이, 사용자가 걷는 경우와 같이 SINR이 상대적으로 약한 경우에서도, 합산 데이터를 이용함에 따라 정확한 세그먼테이션이 가능할 수 있다. 특히, 사용자 걸음에 의한 세그먼테이션이 수행됨이 방지될 수 있다.
도 19는 다양한 실시예에 따른 센싱 데이터 및 합산 데이터를 설명하기 위한 파형들을 도시한다.
예를 들어, 사용자가 전자 장치(101)를 팔에 착용하고, 팔을 흔들면서 걷는 상황을 상정하도록 한다. 전자 장치(101)(예: 도 5의 프로세서(540), 도 7의 프로세서(710), 보조 프로세서(720), 도 8의 프로세서(810), 또는 보조 프로세서(820) 중 적어도 하나)는, PPG 진폭(PPG amplitude)의 제 1 센싱 데이터(1910) 및 GYRX/Y 합성 진폭(GYRX/Y composite amplitude)의 제 2 센싱 데이터(1930)을 센싱할 수 있다. 도 19에 도시된 바와 같이, 제 1 센싱 데이터(1910) 및 제 2 센싱 데이터(1930)의 진폭 변동이 상대적으로 큰 것을 확인할 수 있다. 다양한 실시예에 따라서, 전자 장치(101)는, 제 1 센싱 데이터(1910)에 기반하여 제 1 합산 데이터(1920)를 생성할 수 있으며, 제 2 센싱 데이터(1930)에 기반하여 제 2 합산 데이터(1940)를 생성할 수 있다. 도 19에 도시된 바와 같이, 제 1 합산 데이터(1920)에 대하여 복수 회의 제 2 관측들(1921,1922,1923)이 수행되며, 제 2 합산 데이터(1940)에 대한 복수 회의 제 2 관측들(1941,1942,1943,1944,1945)이 수행되지만, 구간 결정이 수행되지 않음을 확인할 수 있다. 이는, 합산 데이터에서의 변동폭이 센싱 데이터에서의 변동 폭에 비하여 억제됨에서 기인할 수 있다. 아울러, 제 2 관측들의 실패에 따라 참조값이 업데이트될 수 있어 세그먼테이션이 수행됨이 억제될 수 있다. 이에 따라, 센싱 데이터에 기반하여 제스처를 인식하는 비교예와 비교하여 세그먼테이션이 억제될 수 있다. 표 3은, 다양한 실시예에 따라 합산 데이터를 이용한 경우 및 비교 예에 따라서 센싱 데이터를 이용한 경우의 6630 개의 실험에 대하여 제스처 구간 이외 불필요한 구간에 대한 세그먼테이션 진행 횟수의 비교표이다.
센싱 데이터 이용 경우 합산 데이터 이용 경우
6630개의 실험 중 불필요한 센싱 데이터 세그먼테이션 횟수 5238회 2286회
상술한 바와 같이, 다양한 실시예에 따른 경우와 같이, 합산 데이터를 이용한 경우에 불필요한 세그먼테이션의 빈도가 감소할 수 있다.
도 20a는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 도 20a는, 도 20b를 참조하여 설명하도록 한다. 도 20b는 다양한 실시예에 따른 전자 장치를 도시한다.
다양한 실시예에 따라서, 전자 장치(101)(예: 도 5의 프로세서(540), 도 7의 프로세서(710), 보조 프로세서(720), 도 8의 프로세서(810), 또는 보조 프로세서(820) 중 적어도 하나)는, 2001 동작에서, 제 1 어플리케이션(예: 전화 어플리케이션)으로부터 제스처 확인 요청을 확인할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제 1 어플리케이션으로부터 확인된 제스처 확인 요청에 기반하여 적어도 센서 모듈에 포함된 적어도 하나 이상의 센서를 활성화 할 수 있다. 2003 동작에서, 전자 장치(101)는 제스처 어플리케이션에 기반하여 활성화된 센서 모듈로부터의 센싱 데이터를 이용하여 제스처를 확인할 수 있다. 2005 동작에서, 전자 장치(101)는 확인된 제스처를 제 1 어플리케이션으로 제공할 수 있다. 2007 동작에서, 전자 장치(101)는 제 1 어플리케이션에 기반하여, 확인된 제스처에 대응하는 적어도 하나의 동작(예: 전화 수신)의 트리거가 확인된지 여부를 판단할 수 있다. 예를 들어, 전자 장치(101)는, 도 20b에서와 같은 화면(2020)을 표시할 수 있다. 화면(2020)은 전화 어플리케이션이 수신한 제스처에 대응하는 동작인 전화 수신을 수행하기 전에 디스플레이 모듈(예: 도 5의 디스플레이 모듈(510))에 표시하는 화면일 수 있다. 화면(2020)은, 전화 수신을 확인하는 아이콘(2021) 및 전화 수신을 거부하는 아이콘(2022)을 포함할 수 있다. 화면(2020)은, 또는 전화 수신까지 남은 시간(2023)(예를 들어, 3초)을 포함할 수 있다. 사용자는, 전화 수신을 확인하는 아이콘(2021)을 선택할 수도 있으며, 이에 대응하여 전자 장치(101)는 곧바로 전화를 수신할 수 있다. 전화 수신을 확인하는 아이콘(2021)의 선택은 적어도 하나의 동작의 트리거일 수 있다. 또는, 사용자는, 전화 수신을 거부하는 아이콘(2022)을 선택할 수도 있으며, 이에 대응하여 전자 장치(101)는 전화 수신을 수행하지 않을 수도 있다. 또는, 전자 장치(101)는, 남은 시간(2023)이 만료된 이후에 전화를 수신하거나 또는 거부할 수도 있다. 남은 시간(2023)의 만료는, 적어도 하나의 동작의 트리거일 수 있다. 다양한 예시에서, 트리거는 제스처일 수도 있다. 예를 들어, 전자 장치(101)는 동일한(또는, 상이한) 제스처의 추가 검출이 확인되면, 트리거가 발생한 것으로 확인할 수도 있다. 적어도 하나의 동작의 트리거가 확인되면(2007-예), 전자 장치(101)는 2009 동작에서 제 1 어플리케이션에 기반하여, 확인된 제스처에 대응하는 적어도 하나의 동작을 수행할 수 있다. 이에 따라, 사용자가 의도하지 않은 제스처에 의하여 대응 동작이 수행됨이 방지될 수 있다.
도 21a는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다. 도 21a는, 도 21b를 참조하여 설명하도록 한다. 도 21b는 다양한 실시예에 따른 전자 장치를 도시한다.
다양한 실시예에 따라서, 전자 장치(101)(예: 도 5의 프로세서(540), 도 7의 프로세서(710), 보조 프로세서(720), 도 8의 프로세서(810), 또는 보조 프로세서(820) 중 적어도 하나)는, 2101 동작에서, 제 1 어플리케이션으로부터 제스처 확인 요청을 확인할 수 있다. 2103 동작에서, 전자 장치(101)는 제스처 어플리케이션에 기반하여 활성화된 센서 모듈로부터의 센싱 데이터를 이용하여 제스처를 확인할 수 있다. 2105 동작에서, 전자 장치(101)는 확인된 제스처를 제 1 어플리케이션으로 제공할 수 있다. 2107 동작에서, 전자 장치(101)는, 제 1 어플리케이션에 기반하여, 확인된 제스처에 대응하는 적어도 하나의 동작을 수행할 수 있다. 2109 동작에서, 전자 장치(101)는 적어도 하나의 동작 수행을 나타내는 피드백을 제공할 수 있다. 예를 들어, 도 21b에서와 같이, 전자 장치(101)는, “전화가 연결되었습니다”라는 텍스트를 포함하는 어플리케이션 실행 화면(2113)을 표시할 수 있다. 어플리케이션 실행 화면(2113)은 단순히 예시적인 것으로, 추가적으로 발신자에 대한 정보, 전화 통화 시간에 대한 정보, 전화 기능을 제어할 수 있는 아이콘이 더 포함될 수도 있음을 당업자는 이해할 것이다. 또는, 전자 장치(101)는, 시각적 피드백(2111)을 출력할 수도 있다. 예를 들어, 도 21b에서와 같이 전자 장치(101)의 표시 장치 외곽에 배치되는 LED를 통하여 시각적 피드백(2111)이 출력될 수 있으나, 제한은 없다. 도시되지는 않았지만, 전자 장치(101)는, 진동과 같은 촉각적 피드백, 또는 청각적 피드백을 출력할 수도 있다. 예를 들어, 전자 장치(101)는, 전화 수신 시에 제 1 진동 패턴을 출력하다가, 전화가 수신되면 제 2 진동 패턴을 출력할 수도 있다. 이에 따라, 사용자가 의도하지 않은 움직임이 제스처로 인식되어 전화가 사용자 의도치 않도록 수신되는 경우, 사용자가 전화 수신 여부를 확인할 수 있다. 일 실시에에서, 카메라 어플리케이션 실행 중, 제스처를 통하여 사진이 촬영되면, 전자 장치(101)는 팝업과 같은 시각적 피드백, 진동과 같은 촉각적 피드백, 또는 알람과 같은 청각적 피드백 중 적어도 하나를 출력할 수도 있다.
도 22는 다양한 실시예에 따라 측정된 센싱 데이터를 도시한다.
다양한 실시예에 따라서, 전자 장치(101)(예: 도 5의 프로세서(540), 도 7의 프로세서(710), 보조 프로세서(720), 도 8의 프로세서(810), 또는 보조 프로세서(820) 중 적어도 하나)는, 사용자의 주기적인 움직임(예를 들어, 걸음 또는 달리기 에 의한 움직임)을 검출함으로써, 해당 주기적인 움직임에 대하여서는 세그먼테이션을 수행하지 않도록 구현될 수 있다. 도 22에서는, 전자 장치(101)에 의하여 측정되는, x축 선형 가속도(LACCx), y축 선형 가속도(LACCy), z축 선형 가속도(LACCz), x축 자이로 가속도(GYRY), y축 자이로 가속도(GYRY), z축 자이로 가속도(GYRZ)가 도시된다. LACC 센싱 데이터들(2201,2211,2221)과 GYRO 센싱 데이터들(2231,2241,2251)은, 사용자의 주기적인 움직임(예를 들어, 팔의 주기적인 스윙, 걷기, 또는 달리기)이 있는 환경에서 센싱될 수 있다. LACC 센싱 데이터들(2202,2212,2222)과 GYRO 센싱 데이터들(2232,2242,2252)은, 특정 제스처(예를 들어, OCO 제스처)가 수행되는 환경에서 센싱될 수 있다. 사용자의 주기적인 움직임에 의한 센싱 데이터는, 사용자의 의도에 의한 제스처가 아닐 것이며, 이에 따라 세그먼테이션이 수행되지 않을 필요가 있다.
다양한 실시예에 따라서, 전자 장치(101)는 센싱 데이터의 주기성을 확인할 수 있으며, 주기성을 가지는 센싱 데이터에 대한 처리를 홀드(또는, 무시)할 수 있다. 전자 장치(101)는, 센싱 데이터에 대한 자기 상관(auto correlation)을 확인할 수 있으며, 자기 상관에 기반하여 주기성을 확인할 수 있다. 예를 들어, 전자 장치(101)는, 수학식 2에 기반하여 샘플링된 N개의 이산 시계열 데이터 x에 대한 자기 상관 (Rx(k))를 확인할 수 있다.
Figure pat00002
수학식 2에서, N개의 샘플 내의 x(n)은 n번째 인덱스를 의미할 수 있으며, n은 0부터 N-1의 자연수일 수 있다. k는 변수로서, 전자 장치(101)는, N개의 시계열 데이터를 이용하여, k를 변수로 하는 값을 획득할 수 있다.
도 23은, 다양한 실시예에 따른 전자 장치(101)에 의하여 획득되는 변수 k가 x축 파라미터이며, 자기 상관을 y축 파라미터로 하는 그래프들을 도시한다. 도 23을 참조하면, 사용자의 주기적인 움직임이 존재하는 환경에서 측정된 x축 선형 가속도에 대한 자기 상관(2301), y축 선형 가속도에 대한 자기 상관(2311), z축 선형 가속도에 대한 자기 상관(2321), x축 자이로 가속도에 대한 자기 상관(2331), y축 자이로 가속도에 대한 자기 상관(2341), z축 자이로 가속도에 대한 자기 상관(2351)이 도시된다. 아울러, 특정 제스처가 수행된 경우에서의 측정된 x축 선형 가속도에 대한 자기 상관(2302), y축 선형 가속도에 대한 자기 상관(2312), z축 선형 가속도에 대한 자기 상관(2322), x축 자이로 가속도에 대한 자기 상관(2332), y축 자이로 가속도에 대한 자기 상관(2342), z축 자이로 가속도에 대한 자기 상관(2352)이 도시된다. LACC 센싱 데이터와 연관된 자기 상관(2301,2311,2321)과 GYRO 센싱 데이터와 연관된 자기 상관 (2331,2341,2351)은, 사용자의 주기적인 움직임(예를 들어, 팔의 주기적인 스윙, 걷기, 또는 달리기)이 있는 환경에서 획득될 수 있다. LACC 센싱 데이터와 연관된 자기 상관(2302,2312,2322))과 GYRO 센싱 데이터와 연관된 자기 상관(2332,2342,2352)은, 특정 제스처(예를 들어, OCO 제스처)가 수행되는 환경에서 획득될 수 있다. 자기 상관은, k=0일 때 최댓값을 가질 수 있으며, k=0인 경우에 대응하는 엽(lobe)을 주엽(main lobe)로 명명할 수 있으며, 나머지 엽들을 부엽(side lobe)으로 명명할 수 있다. 주기성이 없는 환경에서는, 자기 상관의 주엽이 부엽에 비하여 압도적으로 크며, 주기성이 있는 환경에서는 자기 상관의 주엽이 부엽에 비하여 크긴 하나 압도적이지는 않을 수 있다. 이에 따라, 전자 장치(101)는, 주엽의 크기 및 부엽의 크기에 기반하여, 센싱 데이터 내에 주기성이 존재하는지 여부를 판단할 수 있다.
도 24는 다양한 실시예에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도를 도시한다.
다양한 실시예에 따라서, 전자 장치(101)(예: 도 5의 프로세서(540), 도 7의 프로세서(710), 보조 프로세서(720), 도 8의 프로세서(810), 또는 보조 프로세서(820) 중 적어도 하나)는, 2401 동작에서 세그먼테이션 구간을 확인할 수 있다. 2403 동작에서, 전자 장치(101)는 해당 세그먼테이션 구간에 대하여 자기 상관을 계산할 수 있다. 이에 따라, 도 23에서와 같은, k를 변수로 하는 자기 상관이 획득될 수 있다. 2405 동작에서, 전자 장치(101)는 자기 상관에서 주엽 및 부엽을 구분할 수 있다. 상술한 바와 같이, k=0에서 자기 상관이 최댓값을 가질 수 있다. 전자 장치(101)는, 최댓값에서 가장 가까운 영점교차 지점인 z를 확인할 수 있다. 자기 상관은 영점 대칭인 우함수(even function)이므로 k가 0보다 큰 구간만을 고려하여도 정확도에 영향을 미치지 않을 수 있다. 전자 장치(101)는, 2407 동작에서 부엽의 자기 상관 에너지를 계산할 수 있다. 자기 상관 에너지는, 예를 들어 특정 구간 내의 자기 상관들의 제곱의 합을 의미할 수 있다. 예를 들어, 전자 장치(101)는, 수학식 3에 기반하여 부엽의 자기 상관 에너지를 계산할 수 있다.
Figure pat00003
전자 장치(101)는, 2409 동작에서, 에너지가 기준 이상인지 여부를 판단할 수 있다. 예를 들어, 전자 장치(101)는 수학식 3에 따라 계산된 부엽의 자기 상관 에너지가 임계 에너지(Eth) 이상인지 여부를 판단할 수 있다. 임계 에너지는, 주기성을 가지는 센싱 데이터를 필터링할 수 있도록 설정될 수 있다. 에너지가 기준 이상인 경우에는(2409-예), 전자 장치(101)는 해당 세그먼테이션 부분을 무시하고, 다음 세그먼테이션 구간을 확인할 수 있다. 이에 따라, 높은 주기성을 가지는 세그먼테이션 구간에 대한 처리가 방지될 수 있다. 에너지가 기준 이상이 아닌 경우에는(2409-아니오), 전자 장치(101)는 2411 동작에서 세그먼테이션 구간의 특징을 추출할 수 있으며, 추출된 특징에 기반하여 제스처 인식을 수행할 수 있다. 이에 따라, 비교적 낮은 주기성을 가지는 세그먼테이션 구간만이 처리될 수 있다.
다양한 실시예에 따라서, 전자 장치는, 적어도 하나의 센서(예: 도 5의 센서 모듈(520), 도 8의 제 1 센서 모듈(521), 또는 제 2 센서 모듈(523) 중 적어도 하나), 및 적어도 하나의 프로세서(예: 도 5의 프로세서(540), 도 7의 프로세서(710), 보조 프로세서(720), 도 8의 프로세서(810), 또는 보조 프로세서(820) 중 적어도 하나)를 포함하고, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 프로세서에 의하여 실행 중인 제 1 어플리케이션으로부터의 제스처 확인 요청을 확인하고, 상기 제스처 확인 요청의 확인에 응답하여, 제스처 어플리케이션에 기반하여 상기 적어도 하나의 센서 중 활성화된 적어도 하나의 제 1 센서 모듈로부터의 적어도 하나의 센싱 데이터를 이용하여 제스처를 확인하고, 상기 확인된 제스처를 상기 제 1 어플리케이션으로 제공하고, 상기 제 1 어플리케이션에 기반하여, 상기 확인된 제스처에 대응하는 적어도 하나의 동작을 수행하도록 설정될 수 있다.
다양한 실시예에 따라서, 상기 적어도 하나의 프로세서는, 상기 제스처 확인 요청에 기반하여, 확인 대상의 적어도 하나의 제 1 제스처를 확인하고, 상기 적어도 하나의 제 1 제스처에 대응하는 상기 적어도 하나의 제 1 센서 모듈을 활성화하도록 더 설정될 수 있다.
다양한 실시예에 따라서, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 센싱 데이터를 이용하여 상기 제스처를 확인하는 동작의 적어도 일부로, 상기 적어도 하나의 센싱 데이터에 기반하여, 상기 적어도 하나의 센싱 데이터에 대응하는 적어도 하나의 합산 데이터를 생성하고, 상기 적어도 하나의 합산 데이터가 지정된 조건을 만족함에 기반하여, 상기 적어도 하나의 센싱 데이터 중 일부 구간을 세그먼테이션 구간으로 확인하고, 상기 세그먼테이션 구간에 대한 제스처 인식을 수행하도록 설정될 수 있다.
다양한 실시예에 따라서, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 센싱 데이터에 기반하여, 상기 합산 데이터를 생성하는 동작의 적어도 일부로, 상기 적어도 하나의 센싱 데이터 각각에 대하여, 지정된 개수의 이전 센싱 데이터의 합계를 계산함으로써, 상기 적어도 하나의 센싱 데이터 각각에 대응하는 상기 적어도 하나의 합산 데이터를 생성하도록 설정될 수 있다.
다양한 실시예에 따라서, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 합산 데이터 중 제 1 비교 대상 합산 데이터와 참조용 합산 데이터 사이의 비율이 지정된 임계값을 초과함에 기반하여, 상기 적어도 하나의 합산 데이터가 상기 지정된 조건을 만족하는 것으로 확인하도록 더 설정될 수 있다.
다양한 실시예에 따라서, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 합산 데이터 중 제 2 비교 대상 합산 데이터가 상기 제 2 비교 대상 합산 데이터 직전의 합산 데이터보다 큰 경우, 상기 제 2 비교 대상 합산 데이터를 상기 참조용 합산 데이터로 설정하고, 상기 제 1 비교 대상 합산 데이터와 상기 참조용 합산 데이터 사이의 비율이 상기 지정된 임계값을 초과하는지 여부를 모니터링 개시하도록 더 설정될 수 있다.
다양한 실시예에 따라서, 상기 적어도 하나의 프로세서는, 상기 제 1 비교 대상 합산 데이터와 상기 참조용 합산 데이터 사이의 비율이 상기 지정된 임계값을 초과하는지 여부를 모니터링 개시한 이후, 지정된 임계 시간 이내에 상기 비율이 상기 지정된 제 1 임계값을 초과함이 검출되지 않으면, 상기 적어도 하나의 합산 데이터 중 제 3 비교 대상 합산 데이터가 상기 제 3 비교 대상 합산 데이터 직전의 합산 데이터보다 큰 지 여부를 모니터링하도록 더 설정될 수 있다.
다양한 실시예에 따라서, 상기 적어도 하나의 프로세서는, 상기 세그먼테이션 구간을 확인하는 동작의 적어도 일부로, 상기 제 1 비교 대상 합산 데이터에 대응하는 제 1 센싱 데이터로부터 지정된 시간 길이 이후의 종료 지점에 대응하는 제 2 센싱 데이터까지를 상기 세그먼테이션 구간으로 확인하도록 설정될 수 있다.
다양한 실시예에 따라서, 상기 적어도 하나의 프로세서는, 상기 세그먼테이션 구간을 확인하는 동작의 적어도 일부로, 상기 합산 데이터 중 적어도 일부가 상기 확인된 세그먼테이션 구간의 종료 지점에서 감소하는지 여부에 기반하여, 상기 확인된 세그먼테이션 구간의 종료 지점을 재조정 하도록 설정될 수 있다.
다양한 실시예에 따라서, 상기 적어도 하나의 프로세서는, 상기 세그먼테이션 구간을 확인하는 동작의 적어도 일부로, 제 4 합산 데이터 및 상기 참조용 합산 데이터의 비율이 제 2 임계값 미만인 경우, 상기 제 1 비교 대상 합산 데이터에 대응하는 제 1 센싱 데이터로부터, 제 4 합산 데이터에 대응하는 제 2 센싱 데이터까지를 상기 세그먼테이션 구간으로 확인하도록 설정될 수 있다.
다양한 실시예에 따라서, 상기 적어도 하나의 프로세서는, 상기 세그먼테이션 구간을 확인하는 동작의 적어도 일부로, 제 1 타입의 센싱 데이터에 대응하는 제 1 타입의 합산 데이터에서의 상기 지정된 조건의 만족 및 제 2 타입의 센싱 데이터에 대응하는 제 2 타입의 합산 데이터에서의 상기 지정된 조건의 만족 모두가 확인되는 경우에, 상기 세그먼테이션 구간을 확인하거나, 또는 상기 제 1 타입의 합산 데이터에서의 상기 지정된 조건의 만족, 또는 상기 제 2 타입의 합산 데이터에서의 상기 지정된 조건의 만족 중 어느 하나가 확인되는 경우에, 상기 세그먼테이션 구간을 확인하도록 설정될 수 있다.
다양한 실시예에 따라서, 상기 적어도 하나의 프로세서는, 상기 세그먼테이션 구간에 대하여 상기 제스처 인식을 수행할 지 여부를 판단하도록 더 설정될 수 있다.
다양한 실시예에 따라서, 상기 적어도 하나의 프로세서는, 상기 세그먼테이션 구간에 대하여 상기 제스처 인식을 수행할 지 여부를 판단하는 동작의 적어도 일부로, 상기 적어도 하나의 센서로부터 획득된 다른 적어도 하나의 센싱 데이터에 기반하여 상기 세그먼테이션 구간에 대하여 상기 제스처 인식을 수행할 지 여부를 판단하도록 설정될 수 있다.
다양한 실시예에 따라서, 상기 적어도 하나의 프로세서는, 상기 세그먼테이션 구간을 확인하는 동작의 적어도 일부로, 제 1 세그먼테이션 구간 및 상기 제 1 세그먼테이션 구간 이후의 제 2 세그먼테이션 구간을 확인하고, 상기 제 1 세그먼테이션 구간 중 일부의 구간을 상기 제 2 세그먼테이션 구간에 포함시킬지 여부를 결정하도록 더 설정될 수 있다.
다양한 실시예에 따라서, 상기 적어도 하나의 프로세서는, 상기 확인된 제스처에 대응하는 적어도 하나의 동작을 수행하는 동작의 적어도 일부로, 상기 적어도 하나의 동작을 수행하기 위한 트리거가 검출됨에 기반하여, 상기 적어도 하나의 동작을 수행하도록 설정될 수 있다.
다양한 실시예에 따라서, 상기 적어도 하나의 프로세서는, 상기 확인된 제스처에 대응하는 적어도 하나의 동작을 수행하면서, 상기 적어도 하나의 동작이 수행됨을 나타내는 적어도 하나의 피드백을 출력하도록 더 설정될 수 있다.
다양한 실시예에 따라서, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 동작이 수행됨에 기반하여, 상기 제스처 어플리케이션을 종료하도록 더 설정될 수 있다.
다양한 실시예에 따라서, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 센싱 데이터를 이용하여 제스처를 확인하는 동작의 적어도 일부로, 상기 적어도 하나의 센싱 데이터에 대응하는 자기 상관을 확인하고, 상기 자기 상관이 지정된 조건을 만족하는 경우 상기 적어도 하나의 센싱 데이터에 대하여 제스처를 확인하고, 상기 자기 상관이 상기 지정된 조건을 만족하지 않는 경우 상기 적어도 하나의 센싱 데이터에 대한 제스처 확인을 삼가하도록 설정될 수 있다.
다양한 실시예에 따라서, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 센싱 데이터를 이용하여 제스처를 확인하는 동작의 적어도 일부로, 상기 자기 상관 중 최댓값에 대응하는 제 1 엽(lobe)을 제외한 적어도 하나의 엽의 크기에 기반하여 상기 지정된 조건의 만족 여부를 판단하도록 설정될 수 있다.
다양한 실시예에 따라서, 전자 장치의 동작 방법은, 상기 전자 장치의 적어도 하나의 프로세서에 의하여 실행 중인 제 1 어플리케이션으로부터의 제스처 확인 요청을 확인하는 동작, 상기 제스처 확인 요청의 확인에 응답하여, 제스처 어플리케이션에 기반하여 상기 전자 장치의 적어도 하나의 센서 중 활성화된 적어도 하나의 제 1 센서 모듈로부터의 적어도 하나의 센싱 데이터를 이용하여 제스처를 확인하는 동작, 상기 확인된 제스처를 상기 제 1 어플리케이션으로 제공하는 동작, 및 상기 제 1 어플리케이션에 기반하여, 상기 확인된 제스처에 대응하는 적어도 하나의 동작을 수행하는 동작을 포함할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (20)

  1. 전자 장치에 있어서,
    적어도 하나의 센서, 및
    적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는:
    상기 적어도 하나의 프로세서에 의하여 실행 중인 제 1 어플리케이션으로부터의 제스처 확인 요청을 확인하고,
    상기 제스처 확인 요청의 확인에 응답하여, 제스처 어플리케이션에 기반하여 상기 적어도 하나의 센서 중 활성화된 적어도 하나의 제 1 센서 모듈로부터의 적어도 하나의 센싱 데이터를 이용하여 제스처를 확인하고,
    상기 확인된 제스처를 상기 제 1 어플리케이션으로 제공하고, 및
    상기 제 1 어플리케이션에 기반하여, 상기 확인된 제스처에 대응하는 적어도 하나의 동작을 수행하도록 설정된 전자 장치.
  2. 제 1 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제스처 확인 요청에 기반하여, 확인 대상의 적어도 하나의 제 1 제스처를 확인하고,
    상기 적어도 하나의 제 1 제스처에 대응하는 상기 적어도 하나의 제 1 센서 모듈을 활성화하도록 더 설정된 전자 장치.
  3. 제 1 항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 적어도 하나의 센싱 데이터를 이용하여 상기 제스처를 확인하는 동작의 적어도 일부로,
    상기 적어도 하나의 센싱 데이터에 기반하여, 상기 적어도 하나의 센싱 데이터에 대응하는 적어도 하나의 합산 데이터를 생성하고,
    상기 적어도 하나의 합산 데이터가 지정된 조건을 만족함에 기반하여, 상기 적어도 하나의 센싱 데이터 중 일부 구간을 세그먼테이션 구간으로 확인하고,
    상기 세그먼테이션 구간에 대한 제스처 인식을 수행하도록 설정된 전자 장치.
  4. 제 3 항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 적어도 하나의 센싱 데이터에 기반하여, 상기 합산 데이터를 생성하는 동작의 적어도 일부로,
    상기 적어도 하나의 센싱 데이터 각각에 대하여, 지정된 개수의 이전 센싱 데이터의 합계를 계산함으로써, 상기 적어도 하나의 센싱 데이터 각각에 대응하는 상기 적어도 하나의 합산 데이터를 생성하도록 설정된 전자 장치.
  5. 제 3 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 합산 데이터 중 제 1 비교 대상 합산 데이터와 참조용 합산 데이터 사이의 비율이 지정된 임계값을 초과함에 기반하여, 상기 적어도 하나의 합산 데이터가 상기 지정된 조건을 만족하는 것으로 확인하도록 더 설정된 전자 장치.
  6. 제 5 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 합산 데이터 중 제 2 비교 대상 합산 데이터가 상기 제 2 비교 대상 합산 데이터 직전의 합산 데이터보다 큰 경우, 상기 제 2 비교 대상 합산 데이터를 상기 참조용 합산 데이터로 설정하고, 상기 제 1 비교 대상 합산 데이터와 상기 참조용 합산 데이터 사이의 비율이 상기 지정된 임계값을 초과하는지 여부를 모니터링 개시하도록 더 설정된 전자 장치.
  7. 제 6 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 제 1 비교 대상 합산 데이터와 상기 참조용 합산 데이터 사이의 비율이 상기 지정된 임계값을 초과하는지 여부를 모니터링 개시한 이후, 지정된 임계 시간 이내에 상기 비율이 상기 지정된 제 1 임계값을 초과함이 검출되지 않으면, 상기 적어도 하나의 합산 데이터 중 제 3 비교 대상 합산 데이터가 상기 제 3 비교 대상 합산 데이터 직전의 합산 데이터보다 큰 지 여부를 모니터링하도록 더 설정된 전자 장치.
  8. 제 5 항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 세그먼테이션 구간을 확인하는 동작의 적어도 일부로,
    상기 제 1 비교 대상 합산 데이터에 대응하는 제 1 센싱 데이터로부터 지정된 시간 길이 이후의 종료 지점에 대응하는 제 2 센싱 데이터까지를 상기 세그먼테이션 구간으로 확인하도록 설정된 전자 장치.
  9. 제 7 항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 세그먼테이션 구간을 확인하는 동작의 적어도 일부로,
    상기 합산 데이터 중 적어도 일부가 상기 확인된 세그먼테이션 구간의 종료 지점에서 감소하는지 여부에 기반하여, 상기 확인된 세그먼테이션 구간의 종료 지점을 재조정 하도록 설정된 전자 장치.
  10. 제 5 항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 세그먼테이션 구간을 확인하는 동작의 적어도 일부로,
    제 4 합산 데이터 및 상기 참조용 합산 데이터의 비율이 제 2 임계값 미만인 경우, 상기 제 1 비교 대상 합산 데이터에 대응하는 제 1 센싱 데이터로부터, 제 4 합산 데이터에 대응하는 제 2 센싱 데이터까지를 상기 세그먼테이션 구간으로 확인하도록 설정된 전자 장치.
  11. 제 5 항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 세그먼테이션 구간을 확인하는 동작의 적어도 일부로,
    제 1 타입의 센싱 데이터에 대응하는 제 1 타입의 합산 데이터에서의 상기 지정된 조건의 만족 및 제 2 타입의 센싱 데이터에 대응하는 제 2 타입의 합산 데이터에서의 상기 지정된 조건의 만족 모두가 확인되는 경우에, 상기 세그먼테이션 구간을 확인하거나, 또는
    상기 제 1 타입의 합산 데이터에서의 상기 지정된 조건의 만족, 또는 상기 제 2 타입의 합산 데이터에서의 상기 지정된 조건의 만족 중 어느 하나가 확인되는 경우에, 상기 세그먼테이션 구간을 확인하도록 설정된 전자 장치.
  12. 제 3 항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 세그먼테이션 구간에 대하여 상기 제스처 인식을 수행할 지 여부를 판단하도록 더 설정된 전자 장치.
  13. 제 12 항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 세그먼테이션 구간에 대하여 상기 제스처 인식을 수행할 지 여부를 판단하는 동작의 적어도 일부로,
    상기 적어도 하나의 센서로부터 획득된 다른 적어도 하나의 센싱 데이터에 기반하여 상기 세그먼테이션 구간에 대하여 상기 제스처 인식을 수행할 지 여부를 판단하도록 설정된 전자 장치.
  14. 제 3 항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 세그먼테이션 구간을 확인하는 동작의 적어도 일부로,
    제 1 세그먼테이션 구간 및 상기 제 1 세그먼테이션 구간 이후의 제 2 세그먼테이션 구간을 확인하고,
    상기 제 1 세그먼테이션 구간 중 일부의 구간을 상기 제 2 세그먼테이션 구간에 포함시킬지 여부를 결정하도록 더 설정된 전자 장치.
  15. 제 1 항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 확인된 제스처에 대응하는 적어도 하나의 동작을 수행하는 동작의 적어도 일부로, 상기 적어도 하나의 동작을 수행하기 위한 트리거가 검출됨에 기반하여, 상기 적어도 하나의 동작을 수행하도록 설정된 전자 장치.
  16. 제 1 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 확인된 제스처에 대응하는 적어도 하나의 동작을 수행하면서, 상기 적어도 하나의 동작이 수행됨을 나타내는 적어도 하나의 피드백을 출력하도록 더 설정된 전자 장치.
  17. 제 1 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 동작이 수행됨에 기반하여, 상기 제스처 어플리케이션을 종료하도록 더 설정된 전자 장치.
  18. 제 1 항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 적어도 하나의 센싱 데이터를 이용하여 제스처를 확인하는 동작의 적어도 일부로,
    상기 적어도 하나의 센싱 데이터에 대응하는 자기 상관을 확인하고,
    상기 자기 상관이 지정된 조건을 만족하는 경우 상기 적어도 하나의 센싱 데이터에 대하여 제스처를 확인하고, 상기 자기 상관이 상기 지정된 조건을 만족하지 않는 경우 상기 적어도 하나의 센싱 데이터에 대한 제스처 확인을 삼가하도록 설정된 전자 장치.
  19. 제 18 항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 적어도 하나의 센싱 데이터를 이용하여 제스처를 확인하는 동작의 적어도 일부로,
    상기 자기 상관 중 최댓값에 대응하는 제 1 엽(lobe)을 제외한 적어도 하나의 엽의 크기에 기반하여 상기 지정된 조건의 만족 여부를 판단하도록 설정된 전자 장치.
  20. 전자 장치의 동작 방법에 있어서,
    상기 전자 장치의 적어도 하나의 프로세서에 의하여 실행 중인 제 1 어플리케이션으로부터의 제스처 확인 요청을 확인하는 동작;
    상기 제스처 확인 요청의 확인에 응답하여, 제스처 어플리케이션에 기반하여 상기 전자 장치의 적어도 하나의 센서 중 활성화된 적어도 하나의 제 1 센서 모듈로부터의 적어도 하나의 센싱 데이터를 이용하여 제스처를 확인하는 동작;
    상기 확인된 제스처를 상기 제 1 어플리케이션으로 제공하는 동작, 및
    상기 제 1 어플리케이션에 기반하여, 상기 확인된 제스처에 대응하는 적어도 하나의 동작을 수행하는 동작
    을 포함하는 전자 장치의 동작 방법.
KR1020200125201A 2020-08-04 2020-09-25 제스처를 인식하는 전자 장치 및 그 동작 방법 KR20220017340A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2021/010173 WO2022030968A1 (ko) 2020-08-04 2021-08-03 제스처를 인식하는 전자 장치 및 그 동작 방법
US17/428,438 US11899845B2 (en) 2020-08-04 2021-08-03 Electronic device for recognizing gesture and method for operating the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200097190 2020-08-04
KR20200097190 2020-08-04

Publications (1)

Publication Number Publication Date
KR20220017340A true KR20220017340A (ko) 2022-02-11

Family

ID=80266457

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200125201A KR20220017340A (ko) 2020-08-04 2020-09-25 제스처를 인식하는 전자 장치 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR20220017340A (ko)

Similar Documents

Publication Publication Date Title
US11899845B2 (en) Electronic device for recognizing gesture and method for operating the same
KR20220080972A (ko) 수면 무호흡을 검출하기 위한 방법 및 이를 지원하는 전자 장치
KR20220087658A (ko) 운동 가이드를 제공하는 전자 장치 및 그 동작 방법
US20230190193A1 (en) Wearable device and method for measuring biometric information
KR20220017340A (ko) 제스처를 인식하는 전자 장치 및 그 동작 방법
EP4295759A1 (en) Wearable electronic apparatus for measuring blood pressure and operating method therefor
EP4364653A1 (en) Electronic device and method for measuring body impedance
US20230161384A1 (en) Electronic device for detecting moisture
EP4270117A1 (en) Electronic device including antenna and method therefor
EP4342371A1 (en) Electronic device for measuring biometrics, and operation method therefor
KR20230054967A (ko) 전자 장치 및 신체 임피던스 측정 방법
EP4169447A1 (en) Method for acquiring biometric information and electronic device therefor
EP4316357A1 (en) Method for detecting biometric information, and electronic device supporting same
US20230218201A1 (en) Electronic device for determining users vital sign and method for operating the same
US20230048413A1 (en) Wearable electronic device and method for providing information of brushing teeth in wearable electronic device
US20240032828A1 (en) Biometric information detection method and electronic device for implementing same
EP4318139A1 (en) Electronic device including biometric recognition module
KR20230138373A (ko) 혈관 경직도를 측정하기 위한 전자 장치, 방법 및 저장 매체
KR20220139601A (ko) 전자 장치 및 전자 장치의 낙상 감지 보정 방법
KR20230027986A (ko) 사용자의 건강 지수를 측정하기 위한 방법 및 이를 지원하는 전자 장치
KR20230077575A (ko) 전자 장치 내에서 제스처 인식 성능 개선을 위한 러닝 방법
KR20230075320A (ko) 수분을 감지하기 위한 전자 장치
KR20230023940A (ko) 웨어러블 전자 장치 및 웨어러블 전자 장치에서 양치질 정보 제공 방법
KR20230109314A (ko) 사용자의 생체 사인을 결정하는 전자 장치 및 그 동작 방법
KR20230046168A (ko) 획득된 데이터에 기반하여 화면을 표시하기 위한 전자 장치 및 방법