KR102390876B1 - 가속도 센서를 이용하여 사용자의 활동을 인식하는 방법 및 장치 - Google Patents

가속도 센서를 이용하여 사용자의 활동을 인식하는 방법 및 장치 Download PDF

Info

Publication number
KR102390876B1
KR102390876B1 KR1020150043459A KR20150043459A KR102390876B1 KR 102390876 B1 KR102390876 B1 KR 102390876B1 KR 1020150043459 A KR1020150043459 A KR 1020150043459A KR 20150043459 A KR20150043459 A KR 20150043459A KR 102390876 B1 KR102390876 B1 KR 102390876B1
Authority
KR
South Korea
Prior art keywords
user
movement
movement state
state
time period
Prior art date
Application number
KR1020150043459A
Other languages
English (en)
Other versions
KR20160115546A (ko
Inventor
장지훈
멜니첸코 드미트리
다닐로 도로피에이프
올렉산드르 비아차니노프
세르게이 스트렐코프스키
볼로디므르 마닐로
김두석
박현철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020150043459A priority Critical patent/KR102390876B1/ko
Priority to US15/051,302 priority patent/US9723383B2/en
Priority to CN201680028717.4A priority patent/CN107636683B/zh
Priority to PCT/KR2016/001847 priority patent/WO2016159515A1/en
Publication of KR20160115546A publication Critical patent/KR20160115546A/ko
Application granted granted Critical
Publication of KR102390876B1 publication Critical patent/KR102390876B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G01S19/19—Sporting applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture
    • H04Q2209/43—Arrangements in telecontrol or telemetry systems using a wireless architecture using wireless personal area networks [WPAN], e.g. 802.15, 802.15.1, 802.15.4, Bluetooth or ZigBee
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/80—Arrangements in the sub-station, i.e. sensing device
    • H04Q2209/82—Arrangements in the sub-station, i.e. sensing device where the sensing device takes the initiative of sending data
    • H04Q2209/823—Arrangements in the sub-station, i.e. sensing device where the sensing device takes the initiative of sending data where the data is sent when the measured values exceed a threshold, e.g. sending an alarm
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/80—Arrangements in the sub-station, i.e. sensing device
    • H04Q2209/86—Performing a diagnostic of the sensing device

Abstract

디바이스의 가속도를 측정하는 가속도 센서, 가속도 센서로부터, 제 1 시간 구간 및 제 1 시간 구간에 이웃하는 제 2 시간 구간에서의 디바이스의 가속도 데이터를 획득하고, 제 1 시간 구간에 대응하는 가속도 데이터에 기초하여, 제 1 시간 구간에서의 사용자의 제 1 이동 상태를 결정하고, 제 2 시간 구간에 대응하는 가속도 데이터 및 결정된 제 1 이동 상태를 함께 고려하여 제 2 시간 구간에서의 사용자의 제 2 이동 상태를 결정하는 제어부 및 제 1 이동 상태 및 제 2 이동 상태를 디스플레이하는 디스플레이부를 포함하는, 일 실시예에 따른 디바이스가 게시된다.

Description

가속도 센서를 이용하여 사용자의 활동을 인식하는 방법 및 장치{METHOD AND APPARATUS FOR RECOGNIZING A UERS’S ACTIVITY BY USING A ACCELEROMETER}
본 발명은, 가속도 센서를 이용하여 사용자의 활동을 인식하는 방법 및 이를 위한 장치에 관한 것이다.
센서 기술이 발전함에 따라, 하나의 디바이스에 다양한 센서들이 구비되고 있다. 또한, 디바이스에 구비된 센서를 이용하여 디바이스를 사용하는 사용자의 컨텍스트 또는 활동을 인식하는 기술 또한 발전하고 있다.
사용자의 컨텍스트를 인식하기 위해서는 다양한 센서가 필요할 수 있다. 그러나, 보다 많은 센서를 이용하기 위해서는 보다 큰 전력이 필요하며, 큰 전력 소모는 모바일 디바이스에서 문제될 수 있다. 또한, 다양한 센서가 구비될수록 디바이스의 크기가 커질 수 밖에 없다.
현재, 다양한 센서를 처리하기 위해 센서 전용 프로세서가 사용되고 있다. 센서 전용 프로세서는 디바이스에 구비된 다양한 센서로부터 데이터를 획득하고, 획득된 데이터를 통합 처리하는 프로세서(예를 들어, microcontroller unit, coprocessor 또는 DSP)이다. 센서 전용 프로세서를 이용함으로써, 센서 이용 시 소모되는 전력 소모를 줄일 수 있다.
그러나, 센서 전용 프로세서를 이용하더라도 줄일 수 있는 소모 전력의 양은 한계가 있으며, 디바이스의 가격 또는 디바이스의 크기의 제약으로 다양한 센서를 동시에 이용하는 것이 어려울 수 있다.
따라서, 전력 소모가 적은 센서 또는 최소한의 센서를 이용하여 사용자의 컨텍스트 또는 활동을 인식할 수 있는 기술이 필요하다.
가속도 센서를 이용하여 사용자의 활동을 인식하기 위한 방법 및 이를 위한 장치를 제공하기 위한 다양한 실시예가 제공된다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제 1 측면은, 디바이스의 가속도를 측정하는 가속도 센서, 가속도 센서로부터, 제 1 시간 구간 및 제 1 시간 구간에 이웃하는 제 2 시간 구간에서의 디바이스의 가속도 데이터를 획득하고, 제 1 시간 구간에 대응하는 가속도 데이터에 기초하여, 제 1 시간 구간에서의 사용자의 제 1 이동 상태를 결정하고, 제 2 시간 구간에 대응하는 가속도 데이터 및 결정된 제 1 이동 상태를 함께 고려하여 제 2 시간 구간에서의 사용자의 제 2 이동 상태를 결정하는 제어부 및 제 1 이동 상태 및 제 2 이동 상태를 디스플레이하는 디스플레이부를 포함하는, 디바이스를 제공할 수 있다.
또한, 이동 상태는, 미리 결정된 사용자의 복수의 이동 활동 중 하나를 나타내며, 복수의 이동 활동은 정지 활동, 정차 활동, 걷는 활동, 뛰는 활동, 자전거 운행 활동 및 차 운행 활동 중 적어도 하나를 포함할 수 있다.
또한, 제 2 시간 구간은 제 1 시간 구간과 일부 중첩될 수 있다.
또한, 제어부는, 1 시간 구간에 대응하는 가속도 데이터를 이용하여, 복수의 이동 활동을 구분하기 위한 특징 데이터를 생성하고, 생성된 데이터에 기초하여, 제 1 시간 구간에서의 사용자의 이동 상태를 결정할 수 있다.
또한, 복수의 이동 활동을 구분하는 특징 데이터는, 가속도 데이터의 크기, 표준 편차, 주파수 및 에너지 중 적어도 하나일 수 있다.
또한, 제어부는, 1 시간 구간에서 제 1 이동 상태가 발생하였을 때 제 1 이동 상태의 다음 이동 상태로서 복수의 이동 활동 각각이 발생할 가능성에 기초하여, 제 2 이동 상태를 결정함으로써, 제 1 이동 상태를 고려하여 제 2 이동 상태를 결정할 수 있다.
또한, 제어부는, 2 시간 구간에 대응하는 가속도 데이터를 이용하여, 복수의 이동 활동을 구분하기 위한 특징 데이터를 생성하고, 제 1 이동 상태에 기초하여 임계값을 결정하고, 생성된 데이터를 임계값과 비교하여 제 2 이동 상태를 결정함으로써, 제 1 이동 상태를 고려하여 제 2 이동 상태를 결정할 수 있다.
또한, 특징 데이터는 가속도 데이터의 크기의 평균이고, 제어부는, 속도 데이터의 크기의 평균이 임계값 보다 작은 경우, 제 2 시간 구간에서의 사용자의 이동 상태를 정지 상태로써 판단하고, 임계값은 제 1 시간 구간에서의 디바이스의 사용자의 이동 상태가 정차 상태인 경우 제 1 임계값으로 결정되고, 제 1 시간 구간에서의 디바이스의 사용자의 이동 상태가 정차 상태가 아닌 경우, 제 2 임계값으로 결정되고, 제 1 임계값은 제 2 임계값 보다 작을 수 있다.
또한, 제어부는, 결정된 제 1 이동 상태 및 제 2 이동 상태에 기초하여, 사용자가 위치하는 장소를 결정할 수 있다.
또한, 제어부는, 사용자가 위치하는 장소를 결정함에 따라, 디바이스에 구비된 위치 센서로부터 디바이스의 위치 정보를 획득하고, 디스플레이부는, 획득된 위치 정보를, 결정된 장소의 위치 정보로써 디스플레이할 수 있다.
또한, 본 개시의 제 2 측면은, 가속도 센서로부터, 제 1 시간 구간 및 제 1 시간 구간에 이웃하는 제 2 시간 구간에서의 디바이스의 가속도 데이터를 획득하는 단계, 제 1 시간 구간에 대응하는 가속도 데이터에 기초하여, 제 1 시간 구간에서의 디바이스의 사용자의 제 1 이동 상태를 결정하는 단계, 제 2 시간 구간에 대응하는 가속도 데이터 및 결정된 제 1 이동 상태를 함께 고려하여 제 2 시간 구간에서의 사용자의 제 2 이동 상태를 결정하는 단계 및 제 1 이동 상태 및 제 2 이동 상태를 디스플레이하는 단계를 포함하는, 사용자 활동 인식 방법을 제공할 수 있다.
또한, 이동 상태는, 미리 결정된 사용자의 복수의 이동 활동 중 하나를 나타내며, 복수의 이동 활동은 정지 활동, 정차 활동, 걷는 활동, 뛰는 활동, 자전거 운행 활동 및 차 운행 활동 중 적어도 하나를 포함할 수 있다.
또한, 제 1 시간 구간에서의 디바이스의 사용자의 제 1 이동 상태를 결정하는 단계는, 제 1 시간 구간에 대응하는 가속도 데이터를 이용하여, 복수의 이동 활동을 구분하기 위한 특징 데이터를 생성하고, 생성된 데이터에 기초하여, 제 1 시간 구간에서의 사용자의 이동 상태를 결정하는 단계를 포함할 수 있다.
또한, 제 2 시간 구간에 대응하는 가속도 데이터 및 결정된 제 1 이동 상태를 함께 고려하여 제 2 시간 구간에서의 사용자의 제 2 이동 상태를 결정하는 단계는, 제 1 시간 구간에서 제 1 이동 상태가 발생하였을 때 제 1 이동 상태의 다음 이동 상태로서 복수의 이동 활동 각각이 발생할 가능성에 기초하여, 제 2 이동 상태를 결정하는 단계를 포함할 수 있다.
또한, 제 2 시간 구간에 대응하는 가속도 데이터 및 결정된 제 1 이동 상태를 함께 고려하여 제 2 시간 구간에서의 사용자의 제 2 이동 상태를 결정하는 단계는, 제 2 시간 구간에 대응하는 가속도 데이터를 이용하여, 복수의 이동 활동을 구분하기 위한 특징 데이터를 생성하고, 제 1 이동 상태에 기초하여 임계값을 결정하는 단계, 및 생성된 데이터를 임계값과 비교하여 제 2 이동 상태를 결정하는 단계를 포함할 수 있다.
또한, 특징 데이터는 가속도 데이터의 크기의 평균이고, 생성된 데이터를 임계값과 비교하여 제 2 이동 상태를 결정하는 단계는, 가속도 데이터의 크기의 평균이 임계값 보다 작은 경우, 제 2 시간 구간에서의 사용자의 이동 상태를 정지 상태로써 판단하는 단계를 포함하고, 임계값은 제 1 시간 구간에서의 디바이스의 사용자의 이동 상태가 정차 상태인 경우 제 1 임계값으로 결정되고, 제 1 시간 구간에서의 디바이스의 사용자의 이동 상태가 정차 상태가 아닌 경우, 제 2 임계값으로 결정되고, 제 1 임계값은 제 2 임계값 보다 작은 것일 수 있다.
또한, 사용자 활동 인식 방법은, 결정된 제 1 이동 상태 및 제 2 이동 상태에 기초하여, 사용자가 위치하는 장소를 결정하는 단계를 더 포함할 수 있다.
또한, 사용자 활동 인식 방법은, 사용자가 위치하는 장소를 결정함에 따라, 디바이스에 구비된 위치 센서로부터 디바이스의 위치 정보를 획득하는 단계, 및 획득된 위치 정보를, 결정된 장소의 위치 정보로써 디스플레이하는 단계를 더 포함할 수 있다.
또한, 본 개시의 제 3 측면은, 디바이스의 가속도를 측정하는 가속도 센서, 디바이스의 사용자가 이동함에 따라, 사용자의 디바이스에 구비된 가속도 센서로부터, 디바이스의 가속도 데이터를 획득하고, 획득된 가속도 데이터에 기초하여, 사용자의 이동 상태를 결정하고, 사용자의 이동 상태에 기초하여, 가속도 데이터가 획득된 시간 구간에서의 사용자가 위치하는 장소를 결정하는 제어부, 및 결정된 장소를 가속도 데이터가 획득된 시간 구간에서의 사용자가 위치하는 장소로써 디스플레이하는 디스플레이부를 포함할 수 있다.
또한, 제어부는, 가속도 데이터가 획득된 시간 구간에서의 사용자가 위치하는 장소를 결정함에 따라, 디바이스에 구비된 위치 센서로부터 디바이스의 위치 정보를 획득하고, 디스플레이부는, 획득된 위치 정보를, 결정된 장소의 위치 정보로써 디스플레이할 수 있다.
도 1는 본 발명의 일 실시예에 따른, 디바이스가 디바이스의 가속도 정보를 이용하여 사용자의 이동 상태를 결정하는 방법을 설명하기 위한 도면이다.
도 2a는 본 발명의 일 실시예에 따른, 디바이스가 디바이스의 가속도 데이터를 처리하는 방법을 설명하기 위한 도면이다.
도 2b은 본 발명의 일 실시예에 따른, 디바이스가 가속도 데이터가 이루는 벡터를 결정하는 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른, 디바이스가 이전 이동 상태를 고려하여, 현재 이동 상태를 결정하는 방법을 나타내는 흐름도이다.
도 4a는 본 발명의 일 실시예에 따른, 디바이스가 프레임의 특징에 기초하여, 사용자의 이동 상태를 결정하는 방법을 설명하기 위한 흐름도이다.
도 4b 내지 도 4c는 본 발명의 일 실시예에 따른,사용자의 이동 상태를 결정하기 위한 임계값이다.
도 4d는 본 발명의 일 실시예에 따른, 디바이스가 가속도 데이터가 이루는 벡터의 특징에 기초하여, 사용자의 이동 상태를 결정하는 방법을 설명하기 위한 도면이다.
도 5a는 본 발명의 일 실시예에 따른, 디바이스가 가속도 데이터의 특징에 기초하여 복수의 이동 활동 중 하나를 사용자의 이동 상태로써 결정하는 방법을 설명하기 위한 흐름도이다.
도 5b 내지 도 5c는 본 발명의 일 실시예에 따른, 디바이스가 가속도 데이터의 특징에 기초하여 복수의 이동 활동 중 하나를 사용자의 이동 상태로써 결정하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른, 디바이스가 이전 이동 상태를 고려하여, 현재 이동 상태를 결정하는 방법을 나타내는 흐름도이다.
도 7a는, 본 발명의 일 실시예에 따른, 현재 이동 상태에 따른 다음 이동 상태의 발생 가능성을 나타내는 테이블이다.
도 7b는, 본 발명의 일 실시예에 따른, 디바이스가 이전 이동 상태에 기초하여, 현재 이동 상태를 결정하는 방법을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른, 디바이스가 이전 이동 상태에 기초하여, 현재 이동 상태의 신뢰도를 결정하는 방법을 나타내는 도면이다.
도 9는 본 발명의 일 실시예에 따른, 디바이스가 사용자의 이동 상태에 기초하여, 이동 상태와 관련된 서비스를 제공하는 방법을 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따른, 디바이스가 사용자의 이동 상태에 기초하여, 사용자가 위치하는 장소를 결정하는 방법을 나타내는 도면이다.
도 11은 본 발명의 일 실시예에 따른, 시간에 따른 사용자의 이동 상태를 나타내는 테이블이다.
도 12a는 본 발명의 일 실시예에 따른, 디바이스가 사용자의 이동 상태에 기초하여, 장소를 결정하는 방법을 설명하기 위한 도면이다.
도 12b는 본 발명의 일 실시예에 따른, 디바이스가 사용자의 확인에 기초하여, 사용자의 장소를 결정하는 방법을 나타내는 도면이다.
도 12c는 본 발명의 다른 실시예에 따른, 디바이스가 사용자의 확인에 기초하여, 사용자의 장소를 결정하는 방법을 나타내는 도면이다.
도 13은 본 발명의 일 실시예에 따른, 디바이스가 사용자의 이동 상태에 기초하여, 사용자가 위치하는 장소를 결정하는 방법을 나타내는 도면이다.
도 14는 본 발명의 일 실시예에 따른, 디바이스가 각각의 이동 활동들이 디바이스의 이동 상태로서 결정된 빈도수에 기초하여, 사용자가 위치하는 장소를 결정하는 방법을 나타내는 도면이다.
도 15a는 본 발명의 일 실시예에 따른, 디바이스가 사용자의 이동 상태에 기초하여, 사용자의 생활 패턴을 결정하는 방법을 설명하기 위한 도면이다.
도 15b는 디바이스가 사용자의 이동 패턴에 기초하여 이동 목적을 결정하고, 이동 목적과 관련된 서비스를 제공하는 방법을 설명하기 위한 도면이다.
도 16은 본 발명의 일 실시예에 따른, 디바이스가 사용자의 이동 상태에 기초하여, 사용자의 프로필을 생성하는 방법을 설명하기 위한 도면이다.
도 17은 본 발명의 일 실시예에 따른, 디바이스가 사용자가 위치하는 주요 장소를 디스플레이하는 방법을 설명하기 위한 도면이다.
도 18은 본 발명의 일 실시예에 따른, 디바이스가 장소에 따라 자동으로 수행될 서비스를 설정하는 방법을 나타내는 도면이다.
도 19는 본 발명의 일 실시예에 따른, 사용자의 이동 상태로부터 결정되는 사용자 정보 중 사용자에게 제공할 정보를 선택하기 위한 사용자 인터페이스를 도시한다.
도 20은 본 발명의 일 실시예에 따른, 디바이스가 사용자의 주차 위치를 제공하는 방법을 설명하기 위한 도면이다.
도 21은 본 발명의 일 실시예에 따른, 디바이스에 대한 블록도를 도시한다.
도 22는 본 개시의 다른 실시 예에 따른 디바이스의 구성을 나타내는 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서 “사용자의 이동 상태”는 사용자의 복수의 이동 활동 중 하나를 나타낼 수 있다. 사용자의 복수의 이동 활동은 정지하기, 걷기, 뛰기, 계단 오르내리기, 언덕 오르내리기, 엘리베이터 타기, 에스컬레이터 타기, 자전거 타기, 자동차 타기, 버스 타기, 지하철 타기 등을 포함할 수 있으나, 이에 제한되지 않는다.
명세서 전체에서, “사용자의 이동 패턴”은, 시간에 따라 사용자가 위치하는 장소, 장소의 이동 순서, 하나의 장소에 머무르는 시간, 평균 이동 시작 시간, 평균 이동 종료 시간, 평균 이동 소요 시간 및 이동 시 사용자의 이동 수단을 포함할 수 있으나, 이에 제한되지 않는다. 이동 수단은, 걷기, 자전거, 자동차, 지하철, 버스를 포함할 수 있으나, 이에 제한되지 않는다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1는 본 발명의 일 실시예에 따른, 디바이스(100)가 디바이스(100)의 가속도 정보를 이용하여 사용자의 이동 상태를 결정하는 방법을 설명하기 위한 도면이다.
도 1를 참조하면, 디바이스(100)는 디바이스(100)의 가속도 정보를 이용하여 사용자의 이동 상태를 결정할 수 있다. 예를 들어, 도 1에 도시된 바와 같이, 디바이스(100)는 디바이스(100)의 사용자가 차 운행 상태임을 나타낼 수 있다.
사용자의 이동 상태는 사용자의 복수의 이동 활동 중 하나를 나타낼 수 있다. 사용자의 복수의 이동 활동은 정지하기, 걷기, 뛰기, 계단 오르내리기, 언덕 오르내리기, 엘리베이터 타기, 에스컬레이터 타기, 자전거 타기, 자동차 타기, 버스 타기, 지하철 타기 등을 포함할 수 있으나, 이에 제한되지 않는다.
복수의 이동 활동의 목록은 디바이스(100)에 저장되어 있을 수 있다. 또한, 복수의 이동 활동의 목록은 외부 서버로부터 수신될 수 있다. 또한, 복수의 이동 활동의 목록은, 사용자의 활동에 기초하여 변경될 수도 있다.
디바이스(100)는 디바이스(100)에 구비된 가속도 센서를 이용하여 디바이스(100)의 X, Y 및 Z 방향의 가속도 센서값을 획득할 수 있다. 디바이스(100)의 가속도 센서값은 사용자의 이동 상태에 따라 일정한 패턴을 나타낼 수 있다. 예를 들어, 사용자가 정지하고 있을 때 사용자가 걷고 있을 때 또는 사용자가 자전거를 타고 있을 때에, 사용자와 함께 움직이는 디바이스(100)의 시간에 따른 가속도 센서값은 서로 다른 패턴을 나타낼 수 있다.
이에 따라, 디바이스(100)는 복수의 이동 활동에 따른 가속도 데이터의 패턴을 미리 학습하고, 학습된 패턴에 기초하여 사용자의 이동 상태를 결정할 수 있다. 이 경우, 디바이스(100)는 머신 러닝(Machine Learning) 방법으로 복수의 이동 활동에 따른 가속도 데이터의 패턴을 학습할 수 있다. 머신 러닝 방법은, 컨벌루션 뉴럴 네트워크(Convolution neural network), 지지 벡터 머신(Support vector machine) 등 일수 있으나, 이에 제한되지 않는다.
또한, 디바이스(100)는 시간에 따라 획득된 가속도 데이터에 기초하여, 시간에 따른 사용자의 이동 상태를 결정하고, 시간에 따른 사용자의 이동 상태에 기초하여, 가속도 데이터가 획득된 시점의 사용자가 위치하는 장소를 결정할 수 있다.
또한, 디바이스(100)는 시간에 따른 사용자의 이동 상태에 기초하여, 사용자의 생활 패턴을 결정할 수 있다. 또한, 디바이스(100)는 시간에 따른 사용자의 장소 변화에 기초하여 사용자의 이동 패턴을 결정할 수 있다.
도 2a는 본 발명의 일 실시예에 따른, 디바이스(100)가 디바이스(100)의 가속도 데이터를 처리하는 방법을 설명하기 위한 도면이다.
도 2a를 참조하면, 디바이스(100)는 하나의 시간 구간에서의 이동 상태를 결정할 수 있다.
디바이스(100)는 기 결정된 시간 간격으로 디바이스(100)의 가속도 데이터를 샘플링할 수 있다. 예를 들어, 샘플링 주기(Sampling period)는 10ms, 20ms 또는 50ms 일 수 있으나 이에 제한되지 않는다. 이때, 센서의 하드웨어적 특성으로 샘플의 획득 시점이 일정하지 않은 경우, 디바이스(100)는 획득된 샘플에 보간법(Interpolation)을 적용하여 샘플링 주기에서 획득될 수 있는 샘플의 값을 추정할 수 있다.
디바이스(100)는 하나의 샘플링 시점에서, 서로 직교하는 방향의 복수의 데이터를 획득할 수 있다. 예를 들어, 디바이스(100)는 하나의 샘플링 시점에서, 디바이스(100) 내의 하나의 지점을 기준으로 X, Y, Z 축 방향의 가속도 데이터를 획득할 수 있다. 명세서 전체에서, 하나의 샘플링 시점에서 획득된 X, Y, Z 축 방향의 가속도 데이터는 하나의 샘플링 시점에 대응하는 하나의 샘플(210)로 언급될 수 있다.
디바이스(100)는 기 결정된 개수의 연속적인 샘플들을 하나의 프레임으로 결정할 수 있다. 하나의 프레임은 64개, 128개 또는 256개의 샘플을 포함할 수 있으나, 이에 제한되지 않는다. 프레임은 하나의 이동 상태가 추출되는 하나의 시간 구간 동안 획득된 샘플들을 의미할 수 있다.
또한, 이웃 하는 프레임은 동일한 샘플들을 포함할 수 있다. 예를 들어, 제 1 프레임(220)은 연속적으로 획득된 256개의 샘플을 포함하는 경우, 제 2 프레임(230)은 제 1 프레임(220)에 포함된 256개의 샘플 중 절반인 129 번째 샘플부터 256번째 샘플까지를 포함할 수 있다. 이웃하는 프레임 간에 샘플들을 중첩함으로써, 디바이스(100)는 획득된 샘플들을 빠트리지 않고 이용할 수 있으며, 이동 상태의 연속성을 향상시킬 수 있다.
도 2b은 본 발명의 일 실시예에 따른, 디바이스(100)가 가속도 데이터가 이루는 벡터를 결정하는 방법을 설명하기 위한 도면이다.
도 2b을 참조하면, 디바이스(100)는 하나의 샘플 내의 가속도 데이터가 이루는 벡터를 결정할 수 있다.
하나의 샘플에 대응하는 벡터(340)는 하나의 샘플을 구성하는 X축 데이터(310), Y축 데이터(320) 및 Z축 데이터(330)가 이루는 벡터일 수 있다.
디바이스(100)는 각각의 샘플에 대응하여 샘플에 대응하는 벡터를 결정할 수 있다. 또한, 디바이스(100)는 벡터의 특징에 기초하여, 사용자의 이동 상태를 결정할 수 있다. 벡터의 특징은 벡터의 크기, 주파수, 표준 편차 또는 에너지를 포함할 수 있으나, 이에 제한되지 않는다.
도 3은 본 발명의 일 실시예에 따른, 디바이스(100)가 이전 이동 상태를 고려하여, 현재 이동 상태를 결정하는 방법을 나타내는 흐름도이다.
단계 S310에서, 디바이스(100)는 사용자의 디바이스(100)에 구비된 가속도 센서로부터, 제 1 프레임 시간 구간 및 제 1 프레임 시간 구간에 이웃하는 제 2 프레임 시간 구간에서의 디바이스(100)의 가속도 데이터를 획득할 수 있다.
프레임은 하나의 이동 상태가 추출되는 하나의 시간 구간 동안 획득된 샘플들을 의미할 수 있으며, 프레임 시간 구간은 프레임이 획득된 시간을 의미할 수 있다.
제 1 프레임 시간 구간과 제 2 프레임 시간 구간은 일부가 중첩될 수 있으며, 중첩되지 않을 수도 있다.
단계 S320에서, 디바이스(100)는 제 1 프레임 시간 구간에 대응하는 가속도 데이터에 기초하여, 제 1 프레임 시간 구간에서의 사용자의 제 1 이동 상태를 결정할 수 있다.
복수의 이동 활동에 따른 가속도 데이터는 여러 가지 특징에 따라 구분될 수 있다. 예를 들어, 사용자의 이동 상태가 정지 상태일 때, 가속도 데이터가 나타내는 크기 또는 에너지는 복수의 이동 활동들 중 가장 낮을 수 있다. 또한, 사용자의 이동 상태가 차 운행 중 상태일 때, 가속도 데이터가 나타내는 파형의 주파수는 복수의 이동 활동들 중 가장 높을 수 있다.
이에 따라, 디바이스(100)는 복수의 이동 활동들을 구분하는 특징들 중 적어도 하나를 프레임으로부터 추출할 특징으로 결정하고, 각각의 프레임으로부터, 결정된 적어도 하나의 특징을 추출할 수 있다. 예를 들어, 디바이스(100)는 제 1 프레임을 필터와 컨벌루션 함으로써, 제 1 프레임을 제 1 프레임의 특징을 나타내는 특징 데이터로 변환할 수 있다.
디바이스(100)는 변환된 특징 데이터들의 크기에 기초하여, 제 1 프레임 시간 구간에서의 사용자의 이동 상태를 결정할 수 있다. 예를 들어, 프레임의 평균 크기가 제 1 임계값 이상 제 2 임계값 이하이고, 프레임의 파형의 주파수가 제 3 임계값 보다 큰 경우, 디바이스(100)는 제 1 프레임 시간 구간에서의 사용자의 이동 상태를 정차 상태로서 결정할 수 있다.
이동 상태를 결정하는 특징 데이터들에 대한 임계값은 기 결정되어 있을 수 있으며, 사용자의 이동 활동에 따라 사용자 개인 특성에 맞추어 변경될 수도 있다.
단계 S330에서, 디바이스(100)는 제 2 프레임 시간 구간에 대응하는 가속도 데이터 및 결정된 제 1 이동 상태를 함께 고려하여 제 2 프레임 시간 구간에서의 사용자의 제 2 이동 상태를 결정할 수 있다.
현재 이동 상태가 뛰는 상태인 경우, 다음 이동 상태로서 뛰는 상태, 걷는 상태, 정지 상태는 발생할 수 있지만, 차 운행 상태 또는 자전거 운행 상태는 발생하기 어렵다. 이에 따라, 디바이스(100)에는 복수의 이동 활동 각각에 대응하여 다음 이동 상태로 나타날 수 있는 이동 활동이 미리 결정되어 있을 수 있다.
이에 따라, 디바이스(100)는 제 1 시간 구간에서 제 1 이동 상태가 발생하였을 때 제 1 이동 상태의 다음 이동 상태로서 복수의 이동 활동 각각이 발생할 가능성에 기초하여, 제 2 이동 상태를 결정할 수 있다. 도 6 내지 도 7b를 참조하여 상세히 후술된다.
또한, 제 2 시간 구간에 대응하는 가속도 데이터를 이용하여, 복수의 이동 활동을 구분하기 위한 특징 데이터를 생성하고, 제 1 이동 상태에 기초하여 임계값을 결정하고, 생성된 특징 데이터를 임계값과 비교하여 제 2 이동 상태를 결정함으로써, 제 1 이동 상태를 고려하여 제 2 이동 상태를 결정할 수도 있다. 도 4a 내지 도 4d를 참조하여 상세히 후술된다.
단계 S340에서, 디바이스(100)는 제 1 이동 상태 및 제 2 이동 상태를 디스플레이할 수 있다.
디바이스(100)는 제 1 이동 상태 및 제 2 이동 상태를 연속적으로 디스플레이할 수 있다.
도 4a는 본 발명의 일 실시예에 따른, 디바이스(100)가 프레임의 특징에 기초하여, 사용자의 이동 상태를 결정하는 방법을 설명하기 위한 흐름도이다.
단계 S410에서, 디바이스(100)는 사용자의 디바이스(100)에 구비된 가속도 센서로부터, 제 1 프레임 시간 동안 X, Y 및 Z 방향의 가속도 데이터를 획득할 수 있다.
제 1 프레임 시간 동안 X, Y 및 Z 방향의 가속도 데이터를 획득하는 방법의 일 실시예는 도 2a를 참조하여 설명될 수 있다.
단계 S420에서, 디바이스(100)는 제 1 프레임 내의 각각의 샘플에 대응하여 X, Y, Z 방향의 가속도 데이터가 이루는 벡터를 결정할 수 있다.
제 1 프레임 내의 각각의 샘플에 대응하여 X, Y, Z 방향의 가속도 데이터가 이루는 벡터를 결정하는 방법의 일 실시예는 도 2b을 참조하여 설명될 수 있다.
단계 S430에서, 디바이스(100)는 벡터의 주파수가 주파수 임계값 이상인지 여부를 판단할 수 있다.
디바이스(100)는 벡터의 주파수 및 벡터의 크기에 기초하여 사용자의 이동 상태가 정차 상태인지 여부를 판단할 수 있다.
도 4b를 참조하면, 사용자의 이동 상태가 정차 상태일 때, 하나의 프레임 내의 벡터의 주파수는 주파수 임계값 보다 항상 크거나 같고, 정차 상태가 아닐 때는, 하나의 프레임 내의 벡터의 주파수는 주파수 임계값 보다 항상 작을 수 있다. 주파수 임계값은, 예를 들어, 60 Hz, 70Hz 또는 100Hz일 수 있으나, 이에 제한되지 않는다.
단계 S430에서 벡터의 주파수가 주파수 임계값 보다 작은 경우, 단계 S440에서, 디바이스(100)는 벡터의 크기의 평균이 제 1 크기 임계값 보다 작은지 여부를 판단할 수 있다.
다시 도 4b를 참조하면, 사용자의 이동 상태가 정차 상태일 때, 하나의 프레임 내의 벡터의 크기의 평균은 제 1 크기 임계값 보다 항상 작을 수 있다. 제 1 크기 임계값은 예를 들어, 0.2 m/s^2 또는 0.3 m/s^2일 수 있으나 이에 제한되지 않는다.
단계 S440에서 제 1 프레임 내의 벡터의 크기의 평균이 제 1 크기 임계값 보다 작은 경우, 단계 S450에서, 디바이스(100)는 제 1 프레임 시간 동안의 디바이스(100)의 이동 상태를 정차 상태인 것으로 결정할 수 있다.
단계 S430에서, 벡터의 주파수가 주파수 임계값 보다 작은 경우, 단계 S460에서 디바이스(100)는 벡터의 크기의 평균이 제 2 크기 임계값 보다 작은지 여부를 판단할 수 있다.
다시 도 4b를 참조하면, 사용자의 이동 상태가 정지 상태인 경우, 하나의 프레임 내의 벡터의 주파수는 주파수 임계값 보다 항상 작을 수 있다. 또한, 사용자의 이동 상태가 정지 상태인 경우, 하나의 프레임 내의 벡터의 크기의 평균은 제 2 크기 임계값 보다 항상 작고, 사용자의 이동 상태가 정지 상태가 아닌 경우, 하나의 프레임 내의 벡터의 크기의 평균은 제 2 크기 임계값 보다 항상 작지 않을 수 있다.
이 경우, 제 2 크기 임계값은 제 1 프레임의 이전 프레임의 이동 상태가 무엇인지에 따라 변경될 수 있다. 도 4c를 참조하면, 이전 프레임의 이동 상태가 정차 상태인 경우, 제 2 크기 임계값이 T1이고, 이전 프레임의 이동 상태가 정차 상태가 아닌 경우, 제 2 크기 임계값이 T2일 때, T1은 T2 보다 작은값일 수 있다.
구체적으로, 정지 상태일 때의 벡터의 크기의 평균값이 정차 상태일 때의 벡터의 크기의 평균값 보다 작으나, 정차 상태와 정지 상태일 때 벡터의 크기의 평균값은 크게 차이가 나지 않을 수 있다. 따라서, 정차 상태임에도 불구하고, 정지 상태인 것으로 판단되기 쉽다.
이에 따라, 정차 상태일 경우는 벡터의 크기의 평균값이 매우 작아야 정지 상태인 것으로 판단되도록 할 수 있다. 도 4c에 도시된 바와 같이, 이전 프레임의 이동 상태가 정차 상태일 때 정지 상태를 판단하기 위한 크기의 임계값을, 이전 프레임의 이동 상태가 정차 상태가 아닐 때 정지 상태를 판단하기 위한 크기의 임계값 보다 낮춤으로써, 정지 상태인지 정차 상태인지를 확실히 구분할 수 있다.
단계 S460에서 벡터의 크기의 평균이 제 2 크기 임계값 보다 작은 경우, 단계 S470에서, 디바이스(100)는 제 1 프레임 시간 동안의 디바이스(100)의 이동 상태를 정지 상태인 것으로 결정할 수 있다.
단계 S440에서 벡터의 크기의 평균이 제 1 크기 임계값 이상이거나, 단계 S460에서 벡터의 크기의 평균이 제 2 크기 임계값 이상인 경우, 단계 S480에서, 디바이스(100)는 제 1 프레임을, 복수의 이동 활동을 구분하기 위한 특징 데이터로 변환할 수 있다.
단계 S490에서, 디바이스(100)는 변환된 데이터에 기초하여, 제 1 프레임 시간 동안의 디바이스(100)의 이동 상태를 결정할 수 있다.
단계 S480 및 단계 S490에 관한 일 실시예는 도 5a, 도 5b 및 도 5c를 참조하여 상세히 후술한다.
도 4a에는 각각의 샘플에 대응하는 벡터의 특징에 기초하여 사용자의 이동 상태가 결정되는 실시예가 개시되었으나, 디바이스(100)는 벡터의 특징이 아닌 X 축, Y 축 또는 Z 축의 데이터 중 적어도 하나의 특징에 기초하여 사용자의 이동 상태를 결정할 수도 있다. 예를 들어, 디바이스(100)는 X 축, Y 축, Z 축의 데이터 중 표준 편차가 가장 작은 축의 데이터들의 주파수 또는 평균 크기에 기초하여, 사용자의 이동 상태를 결정할 수도 있다.
도 4d는 본 발명의 일 실시예에 따른, 디바이스(100)가 가속도 데이터가 이루는 벡터의 특징에 기초하여, 사용자의 이동 상태를 결정하는 방법을 설명하기 위한 도면이다.
도 4d를 참조하면, 디바이스(100)는 하나의 프레임 내의 벡터의 크기의 평균값 및 벡터의 주파수에 기초하여, 사용자의 이동 상태 중 정지 상태와 정차 상태를 구분할 수 있다.
도 4d에 도시된 파형(410)은 하나의 프레임 내의 벡터의 크기가 시간에 따라 도시된 파형일 수 있다.
디바이스(100)는 하나의 프레임 내의 벡터의 크기의 평균(420)을 산출할 수 있다. 또한, 디바이스(100)는 하나의 프레임 내에서, 하나의 프레임 내의 벡터의 크기의 평균(420)과 크기 파형(410)이 만나는 교점(430)의 개수에 기초하여, 벡터의 주파수를 산출할 수 있다.
디바이스(100)는 프레임 내의 교점(430)의 개수가 임계 개수 이상이고, 벡터의 크기의 평균(420)이 제 1 크기 임계값 미만인 경우, 프레임 기간 동안의 사용자의 이동 상태를 정차 상태로 판단할 수 있다.
또한, 디바이스(100)는 프레임 내의 교점(430)의 개수가 임계 개수 미만이고, 벡터의 크기의 평균(420)이 제 2 크기 임계값 미만인 경우, 프레임 기간 동안의 사용자의 이동 상태를 정지 상태로 판단할 수 있다.
제 2 크기 임계값은 이전 프레임에 대응하는 이동 상태에 따라 결정될 수 있다. 도 4d에 도시된 바와 같이, 이전 프레임의 이동 상태가 정차 상태가 아닐 때 제 2 크기 임계값(440)은 이전 프레임의 이동 상태가 정차 상태일 때 제 2 크기 임계값(450) 보다 클 수 있다.
도 5a는 본 발명의 일 실시예에 따른, 디바이스(100)가 가속도 데이터의 특징에 기초하여 복수의 이동 활동 중 하나를 사용자의 이동 상태로써 결정하는 방법을 설명하기 위한 흐름도이다.
단계 S510에서, 디바이스(100)는 사용자의 디바이스(100)에 구비된 가속도 센서로부터, 제 1 프레임 시간 구간에서의 디바이스(100)의 가속도 데이터를 획득할 수 있다.
단계 S520에서, 디바이스(100)는 획득된 가속도 데이터를 복수의 이동 활동을 구분하기 위한 적어도 하나의 특징 데이터로 변환할 수 있다.
복수의 이동 활동들을 구분하는 특징들은 가속도 데이터의 크기, 평균, 표준 편차, 에너지, 모빌리티(Mobility) 및 복잡도(Complexity)를 포함할 수 있다. 또한, 복수의 이동 활동들을 구분하는 특징들은 가속도 데이터가 나타내는 파형의 주파수, 파형의 이웃하는 피크 간의 시간 거리를 포함할 수 있으나 이에 제한되지 않는다.
복수의 이동 활동들을 구분하는 특징들은 X, Y 및 Z축 각각에 대하여 산출될 수 있으며, X, Y 및 Z축 중 적어도 하나의 축에 대하여 산출될 수 있다. 예를 들어, 디바이스(100)는 X, Y 및 Z축 중 표준 편차가 가장 축의 데이터로부터 특징을 추출할 수 있다. 또한, 복수의 이동 활동들을 구분하는 특징들은 X, Y 및 Z축 데이터가 이루는 벡터로부터 추출될 수도 있다.
디바이스(100)는 복수의 이동 활동들을 구분하는 특징들 중 적어도 하나를 프레임으로부터 추출할 특징으로 결정하고, 각각의 프레임으로부터 결정된 적어도 하나의 특징을 추출할 수 있다. 예를 들어, 디바이스(100)는 제 1 프레임을 필터와 컨벌루션 함으로써, 제 1 프레임을 제 1 프레임의 특징을 나타내는 특징 데이터로 변환할 수 있다. 특징 데이터는, 예를 들어, 제 1 프레임의 표준 편차값 또는 에너지 값 등일 수 있다. 추출할 적어도 하나의 특징은 디바이스(100)에 기 결정되어 있을 수 있으며, 사용자의 이동 활동에 따라 사용자 개인 특성에 맞추어 변경될 수도 있다.
단계 S530에서, 디바이스(100)는 변환된 데이터에 기초하여, 제 1 프레임 시간 구간에서 이동 상태가 복수의 이동 활동 각각일 확률을 결정할 수 있다.
디바이스(100)는 변환된 특징 데이터들의 크기에 기초하여, 제 1 프레임 시간 구간에서의 이동 상태가 복수의 이동 활동 각각일 확률을 결정할 수 있다.
각각의 이동 활동에 따라 프레임으로부터 추출된 특징 데이터들의 크기가 상이할 수 있다. 따라서, 디바이스(100)는 제 1 프레임으로부터 변화된 특징 데이터들의 크기에 기초하여, 제 1 프레임 시간 구간에서의 이동 상태가 복수의 이동 활동 각각일 확률을 결정할 수 있다.
도 5b 내지 도 5c는 본 발명의 일 실시예에 따른, 디바이스(100)가 가속도 데이터의 특징에 기초하여 복수의 이동 활동 중 하나를 사용자의 이동 상태로써 결정하는 방법을 설명하기 위한 도면이다.
도 5b를 참조하면, 디바이스(100)는 미리 설정된 컨벌루션 뉴럴 네트워크를 이용하여, 하나의 프레임(510) 기간 동안의 사용자의 이동 상태를 결정할 수 있다.
디바이스(100)는 하나의 프레임(510)으로부터, 하나의 프레임(510)이 포함하는 적어도 하나의 특징을 추출할 수 있다. 적어도 하나의 특징은 복수의 이동 활동을 구분하기 위해 기준이 되는 특징일 수 있다.
디바이스(100)는 컨벌루션 레이어(520, 522, 524)를 통해 하나의 프레임(510)으로부터 적어도 하나의 특징을 추출할 수 있다.
예를 들어, 도 5c를 참조하면, 디바이스(100)는 하나의 프레임(510)을 필터와 컨벌루션 함으로써 하나의 프레임(510)을 특징 데이터(584)로 변환할 수 있다.
디바이스(100)는 하나의 프레임(510) 내의 샘플들의 크기(580)에 기초하여 적어도 하나의 특징을 추출할 수 있다. 샘플의 크기는 샘플의 X축, Y축, Z축 데이터가 이루는 벡터의 크기일 수 있으며, 축, Y축, Z축 데이터 각각의 크기일 수도 있다.
또한, 디바이스(100)는 각각의 특징에 대응하여 필터(582)를 결정할 수 있다. 디바이스(100)는 특징에 대응하여 기 결정된 필터(582)를 외부 디바이스(100)로부터 수신할 수 있으며, 사용자 디바이스(100)의 가속도 데이터에 기초하여 회귀 분석을 통해 사용자 개인 특성을 반영하는 필터(582)를 결정할 수도 있다. 실시예에 따라 필터(582)는 “커널”로 언급될 수 있다. 하나의 프레임(510)이 필터와 컨벌루션된 결과인 특징 데이터(584)는 필터(582)에 대응하는 특징이 포함된 양을 나타낼 수 있다.
또한, 디바이스(100)는 특징 데이터(584)의 차원(Dimension)을 낮출 수 있다. 예를 들어, 특징 데이터(584)가 6개의 데이터로 구성되는 경우, 디바이스(100)는 이웃하는 두 개의 데이터 중 큰 값을 추출함으로써 특징 데이터(584)의 차원(Dimension)을 낮출 수 있다.
다시 도 5b를 참조하면, 디바이스(100)는 복수개의 컨벌루션 레이어를 이용하여 하나의 프레임(510)으로부터 특징을 추출할 수 있다.
이동 활동에 따라 사용자의 움직임의 파형의 주기가 상이할 수 있다. 예를 들어, 차를 운행 중이거나 정지 상태인 경우, 사용자의 움직임의 파형의 주기는 약 0.4 초이고, 뛰거나 자건거를 타는 상태인 경우, 약 0.8 초 내지 1.6 초인 반면, 걷는 상태인 경우, 약 1.6초일 수 있다. 따라서, 동일한 샘플링 레이트로 샘플링하는 경우에, 사용자의 이동 활동에 따라, 사용자의 움직임의 주파수의 한 주기 동안에 샘플링 되는 샘플의 개수 또한 상이할 수 있다.
이에 따라, 디바이스(100)는 하나의 프레임(510)을 서로 다른 구성을 갖는 복수의 컨벌루션 레이어에 입력할 수 있다. 예를 들어, 제 1 컨벌루션 레이어(520)는 차 운행 및 정지 상태를 검출하기 위해, 컨벌루션의 개수(Number of convolutions)는 5개, 컨벌루션 커널의 길이(Length of kernel of convolution)는 21개, 최대 풀링 팩터(Max pooling factor)는 4개, 액티베이션 함수(Activation function)은 하이퍼볼릭 탄젠트(Hyperbolic tangent) 함수로 구성될 수 있다. 또한, 제 2 컨벌루션 레이어(522)는 뛰는 상태 및 자전거 타는 상태를 검출하기 위해 컨벌루션의 개수는는 10개, 컨벌루션 커널의 길이는 41개, 최대 풀링 팩터는 8개 액티베이션 함수은 하이퍼볼릭 탄젠트 함수로 구성될 수 있다. 또한, 제 3 컨벌루션 레이어(524)는 뛰는 상태, 자전거 타는 상태 및 걷는 상태를 검출하기 위해, 컨벌루션의 개수는 10개, 컨벌루션 커널의 길이는 41개, 최대 풀링 팩터는 8개 액티베이션 함수은 하이퍼볼릭 탄젠트 함수로 구성될 수 있다. 컨벌루션의 개수는 입력되는 프레임의 개수를 의미할 수 있다.
컨벌루션 레이어들로부터 출력되는 특징 데이터는 히든 레이어로 입력될 수 있다. 히든 레이어는 특징에 관한 데이터를 정규화할 수 있다. 또한, 히든 레이어로부터 출력되는 데이터는 로지스틱 회귀 분석 레이어로 입력될 수 있다. 로지스틱 회귀 분석 레이어는 히든 레이어로부터 출력되는 데이터를 통합할 수 있다.
로지스틱 회귀 분석 레이어로부터 출력되는 데이터는 프레임(510) 기간 동안 사용자의 이동 상태가 각각의 이동 활동일 확률일 수 있다. 예를 들어, 디바이스(100)는 프레임(510) 기간 동안 사용자의 이동 상태가 정지 상태일 확률은 0.12, 걷는 상태일 확률은 0.34, 뛰는 상태일 확률을 0.65, 차 운행 상태일 확률은 0.18이며, 자전거를 탈 확률은 0.79인 것으로 결정할 수 있다.
도 6은 본 발명의 일 실시예에 따른, 디바이스(100)가 이전 이동 상태를 고려하여, 현재 이동 상태를 결정하는 방법을 나타내는 흐름도이다.
단계 S610에서, 디바이스(100)는 사용자의 디바이스(100)에 구비된 가속도 센서로부터, 제 1 프레임 시간 구간 및 제 1 프레임 시간 구간에 이웃하는 제 2 프레임 시간 구간에서의 디바이스(100)의 가속도 데이터를 획득할 수 있다.
단계 S620에서, 디바이스(100)는 제 1 프레임 시간 구간에 대응하는 가속도 데이터에 기초하여, 제 1 프레임 시간 구간에서의 사용자의 제 1 이동 상태를 결정할 수 있다.
단계 S630에서, 디바이스(100)는 제 1 프레임 시간 구간에서 제 1 이동 상태가 발생하였을 때 제 1 이동 상태의 다음 이동 상태로서 복수의 이동 활동 각각이 발생할 가능성에 기초하여, 제 2 이동 상태를 결정할 수 있다.
현재 이동 상태가 뛰는 상태인 경우, 다음 이동 상태로서 뛰는 상태, 걷는 상태, 정지 상태는 발생할 수 있지만, 차 운행 상태 또는 자전거 운행 상태는 발생하기 어렵다. 이에 따라, 디바이스(100)에는 복수의 이동 활동 각각에 대응하여 다음 이동 상태로 나타날 수 있는 이동 활동이 미리 결정되어 있을 수 있다.
현재 이동 활동에 따른 다음 이동 활동의 발생 가능성은 하나의 프레임의 지속 시간 또는 이웃하는 프레임 간의 시간 간격에 따라 변경될 수 있다.
이에 따라, 디바이스(100)는 제 1 시간 구간에서 제 1 이동 상태가 발생하였을 때 제 1 이동 상태의 다음 이동 상태로서 복수의 이동 활동 각각이 발생할 가능성에 기초하여, 제 2 이동 상태를 결정할 수 있다.
예를 들어, 디바이스(100)는 제 2 프레임 시간 구간에 대응하는 가속도 데이터에 기초하여, 제 2 프레임 시간 구간에서의 사용자의 이동 상태가 복수의 이동 활동 각각일 확률을 결정할 수 있다. 디바이스(100)는 복수의 이동 활동 중 결정된 확률이 가장 높은 이동 활동을 제 2 프레임 시간 구간에서의 제 2 이동 상태로서 결정할 수 있다. 이 때, 제 2 이동 상태가 제 1 이동 상태의 다음 이동 상태로서 발생할 수 없는 경우, 디바이스(100)는 복수의 이동 활동 중 결정된 확률이 두 번째로 높은 이동 상태를 제 2 프레임 시간 구간에서의 제 2 이동 상태로서 재결정할 수 있다.
단계 S640에서, 디바이스(100)는 제 1 이동 상태 및 제 2 이동 상태를 디스플레이할 수 있다.
도 7a는, 본 발명의 일 실시예에 따른, 현재 이동 상태에 따른 다음 이동 상태의 발생 가능성을 나타내는 테이블(700)이다.
도 7a를 참조하면, 디바이스(100)는 현재 이동 상태(710)와 다음 이동 상태(720)의 관계를 형렬 형태로 저장할 수 있다.
디바이스(100)는 현재 이동 상태(710)에 기초하여, 다음 이동 상태(720)를 결정할 수 있다. 예를 들어, 현재 이동 상태가 정지 상태인 경우, 디바이스(100)는 다음 이동 상태로서 모든 이동 활동을 선택할 수 있다. 그러나, 현재 이동 상태가 걷는 상태인 경우, 디바이스(100)는 다음 이동 상태로서 차 운행 중 상태 또는 자전거 타는 상태는 선택하지 않을 수 있다.
도 7b는, 본 발명의 일 실시예에 따른, 디바이스(100)가 이전 이동 상태에 기초하여, 현재 이동 상태를 결정하는 방법을 설명하기 위한 도면이다.
도 7b를 참조하면, 디바이스(100)는 이전 이동 상태에 따른 복수의 이동 활동들의 발생 가능성에 기초하여, 현재 이동 상태를 결정할 수 있다.
예를 들어, 디바이스(100)는 하나의 프레임 내의 가속도 데이터에 기초하여, 복수의 이동 활동 각각이 프레임 시간 구간에서의 사용자의 이동 상태가 될 확률을 산출할 수 있다. 예를 들어, 디바이스(100)는 정지 상태일 확률을 12%, 걷는 상태일 확률을 34%, 뛰는 상태일 확률을 65%, 차 운행 상태일 확률을 18% 및 자전거 운행 상태일 확률을 79%로 결정할 수 있다. 이에 따라, 디바이스(100)는 확률이 가장 높은 자전거 운행 상태를 현재 프레임 시간 구간에서의 사용자의 이동 상태로 결정할 수 있다.
이전 프레임 시간 구간의 사용자의 이동 상태가 뛰는 상태인 경우, 디바이스(100)는 현재 이동 상태에 따른 다음 이동 상태의 발생 가능성에 관한 정보에 기초하여, 자전거 운행 상태는 뛰는 상태 다음에 발생 불가능한 이동 상태인 것으로 판단할 수 있다.
이 경우, 디바이스(100)는 결정된 복수의 이동 활동들의 확률 중 두번째로 높은 확률인 뛰는 상태를 현재 프레임 시간 구간에서의 사용자의 이동 상태로 결정할 수 있다.
도 8은 본 발명의 일 실시예에 따른, 디바이스(100)가 이전 이동 상태에 기초하여, 현재 이동 상태의 신뢰도를 결정하는 방법을 나타내는 도면이다.
도 8을 참조하면, 디바이스(100)는 이전 프레임의 이동 상태에 기초하여 현재 프레임의 이동 상태의 신뢰도를 결정하고, 결정된 신뢰도에 기초하여 현재 이동 상태를 재결정할 수 있다.
디바이스(100)는 이전 프레임의 이동 상태들의 신뢰도에 기초하여 현재 프레임의 이동 상태의 신뢰도를 결정할 수 있다. 예를 들어, 디바이스(100)는 이전 4개의 프레임으로부터 추출된 4개의 이동 상태(810)를 획득할 수 있다. 또한, 디바이스(100)는 4개의 이동 상태(800) 중 현재 이동 상태와 동일한 이동 상태의 신뢰도를 획득할 수 있다.
도 8에 도시된 바와 같이, 이전 4개의 프레임의 이동 상태가 정지 상태, 걷는 상태, 뛰는 상태, 걷는 상태로 결정되고, 현재 프레임의 이동 상태가 걷는 상태로 결정된 경우, 디바이스(100)는 이전 4개의 프레임의 이동 상태 중 걷는 상태의 신뢰도를 현재 프레임의 이동 상태의 확률과 더하고, 더한 값을 이동 상태의 개수로 나눔으로써 현재 프레임의 이동 상태의 신뢰도를 결정할 수 있다.
신뢰도가 기준 이하인 경우, 디바이스(100)는 결정된 현재 프레임의 이동 상태를 재결정할 수 있다.
도 9는 본 발명의 일 실시예에 따른, 디바이스(100)가 사용자의 이동 상태에 기초하여, 이동 상태와 관련된 서비스를 제공하는 방법을 나타내는 도면이다.
도 9를 참조하면, 디바이스(100)는 사용자의 이동 상태에 따라 이동 상태와 관련된 서비스를 제공할 수 있다.
예를 들어, 사용자가 운행 중인 차 내에 탑승 중인 경우, 디바이스(100)는 사용자의 이동 상태를 차 운행 상태인 것으로 결정할 수 있다. 이 경우, 디바이스(100)는 사용자가 직접 차를 운전하는 상태와 단순히 운행되는 차에 탑승한 상태를 구분할 수 있다. 예를 들어, 디바이스(100)에 차와의 근거리 무선 통신(예를 들어, 블루투스)채널이 연결된 경우, 디바이스(100)는 사용자가 직접 차를 운전하는 상태인 것으로 판단할 수 있다. 또한, 디바이스(100)에 차와의 근거리 무선 통신(예를 들어, 블루투스)채널이 연결되지 않은 경우, 디바이스(100)는 사용자가 단순히 운행되는 차에 탑승한 상태인 것으로 판단할 수 있다.
사용자의 이동 상태를 직접 차를 운전하는 상태인 것으로 결정함에 따라, 디바이스(100)는 차 운행 모드로 진입할 수 있다. 또한, 차 운행 모드에서 음성 통화 연결 요청이 수신되었을 경우, 디바이스(100)는 자동으로 응답 메시지를 전송할 수도 있다. 차 운행 모드에서 수행되는 디바이스(100)의 기능은 사용자에 의해 설정될 수 있다.
차 운행 모드로 진입함에 따라, 디바이스(100)는 차 운행 모드임을 나타내는 아이콘(910)을 디스플레이할 수 있다. 또한, 차와 근거리 통신 연결이 설정됨에 따라, 디바이스(100)는 차와 근거리 통신 연결이 설정되었음을 알리는 아이콘(920)을 디스플레이할 수도 있다.
도 10은 본 발명의 일 실시예에 따른, 디바이스(100)가 사용자의 이동 상태에 기초하여, 사용자가 위치하는 장소를 결정하는 방법을 나타내는 도면이다.
단계 S1010에서, 디바이스(100)는 디바이스(100)의 사용자가 이동함에 따라, 사용자의 디바이스(100)에 구비된 가속도 센서로부터, 디바이스(100)의 가속도 데이터를 획득할 수 있다. 단계 S1020에서, 디바이스(100)는 획득된 가속도 데이터에 기초하여, 사용자의 이동 상태를 결정할 수 있다. 단계 S1010 내지 단계 S1020은 도 1 내지 도 9를 참조하여 설명될 수 있다.
단계 S1030에서, 디바이스(100)는 사용자의 이동 상태에 기초하여, 가속도 데이터가 획득된 시간 구간에서의 사용자가 위치하는 장소를 결정할 수 있다.
장소는 집, 직장, 학원, 학교, 마트뿐만 아니라, 자동차, 지하철, 버스 등 교통 수단을 포함할 수 있다.
장소에 따라 사용자의 이동 패턴이 상이할 수 있다. 예를 들어, 사용자가 집에서 수면 중이라면, 디바이스(100)는 수면 시간 동안 사용자의 이동 상태를 정지 상태로 결정할 수 있다. 이에 따라, 디바이스(100)는 시간에 따른 사용자의 이동 상태에 기초하여, 사용자가 위치하는 장소를 결정할 수 있다.
또한, 디바이스(100)는 사용자가 장소를 이동하는지 여부를 판단할 수 있다. 예를 들어, 사용자의 이동 상태가 차 운행 상태 또는 버스, 지하철 탑승 상태인 경우, 사용자가 장소를 이동하고 있는 것으로 판단할 수 있다.
또한, 디바이스(100)는 사용자의 이동 패턴을 결정할 수 있다. 예를 들어, 디바이스(100)는 시간에 따라 변경되는 사용자의 장소, 장소를 이동하는 시간 및 이동 수단을 결정할 수 있다. 사용자의 이동이 반복적인 경우, 디바이스(100)는 수 일, 수 주 또는 수 달 동안 결정된 사용자의 장소에 기초하여 사용자의 이동 패턴을 결정할 수 있다. 예를 들어 디바이스(100)는 사용자의 출퇴근 시간의 패턴 및 출퇴근 시 주로 이용하는 이동 수단을 결정할 수 있다.
또한, 디바이스(100)는 시간에 따른 사용자의 이동 상태에 기초하여, 집 또는 직장 이외에 사용자의 주요 방문지를 결정할 수 있다. 예를 들어, 정지 상태가 지속되는 시간이 일정 시간 이상인 경우, 디바이스(100)는 위치 센서를 이용하여, 디바이스(100)의 위치 정보를 획득할 수 있다. 디바이스(100)의 위치 정보를 획득함에 따라, 디바이스(100)는 획득된 위치가 집 또는 직장인지 여부를 판단할 수 있다. 동일한 위치가 반복적으로 획득되는 경우, 디바이스(100)는 획득된 위치를 집 또는 직장 이외에 사용자의 주요 방문지로서 결정할 수 있다. 이 경우, 디바이스(100)는 동일한 위치가 일주일간 또는 한달 동안 획득된 횟수가 기준 횟수 이상인 경우에만, 획득된 위치를 사용자의 주요 방문지로서 결정할 수 있다.
실시예에 따라, 디바이스(100)는 사용자의 이동 상태를 서버에게 전송하고, 서버로부터 가속도 데이터가 획득된 시간 구간에서의 사용자가 위치하는 장소에 관한 정보를 수신할 수도 있다. 서버는 디바이스(100)로부터 시간에 따른 사용자의 이동 상태를 수신하고, 수신된 시간에 따른 사용자의 이동 상태에 기초하여, 사용자가 위치하는 장소 또는 이동 패턴을 결정할 수 있다. 또한, 서버는 사용자가 위치하는 장소 또는 이동 패턴과 관련된 서비스에 관한 정보를 디바이스(100)에게 제공할 수도 있다.
단계 S1040에서, 디바이스(100)는 결정된 장소를 가속도 데이터가 획득된 시간 구간에서의 사용자가 위치하는 장소로써 디스플레이할 수 있다.
또한, 디바이스(100)는 사용자의 이동 패턴을 디스플레이할 수 있다. 또한, 디바이스(100)는 사용자가 위치하는 장소를 결정함에 따라, 디바이스(100)에 구비된 위치 센서로부터 디바이스(100)의 위치 정보를 획득하고, 획득된 위치 정보를, 장소의 위치 정보로써 디스플레이할 수도 있다.
또한, 디바이스(100)는 사용자가 위치하는 장소를 결정함에 따라, 결정된 장소가 사용자가 현재 위치하는 장소인지 여부를 확인하기 위한 확인창을 디스플레이할 수 있다.
또한, 사용자가 위치하는 장소를 결정함에 따라, 디바이스(100)는 장소와 관련된 서비스를 제공할 수 있다. 사용자가 위치하는 장소가 사용자의 집인 것으로 결정함에 따라, 디바이스(100)는 집과 관련된 서비스를 제공할 수 있다. 예를 들어, 디바이스(100)는 사용자가 집에서 주로 사용하는 기능 또는 모드를 자동으로 설정할 수 있다. 또한, 디바이스(100)는 수면 시간을 분석하여, 자야 할 시간을 미리 알려줄 수 있다. 또한, 디바이스(100)는 사용자가 기상 시 오늘의 날씨를 알람과 함께 이미지 또는 음성으로 제공할 수 있다. 또한, 디바이스(100)는 사용자가 기상 시 하루 동안의 중요한 계획들(예를 들어, 미팅, 여행, 생일, 기념일 및 약속 등)을 알릴 수 있다. 또한, 차량 5부제가 시행되는 경우, 디바이스(100)는 사용자가 기상 시, 요일에 따라 차를 운행하지 않을 것을 알릴 수 있다.
또한, 사용자가 위치하는 장소가 사용자의 직장인 것으로 결정함에 따라, 디바이스(100)는 직장과 관련된 서비스를 제공할 수 있다. 예를 들어, 디바이스(100)는 디바이스(100)의 일정 어플리케이션에 입력된 미팅 시간에 기초하여, 미팅이 시작되기 전에 미리 사용자에게 미팅 일정이 존재함을 알릴 수 있다. 또한, 사용자가 평소에 직장에서 진동 모드 설정, 와이파이 설정 등을 하는 경우, 디바이스(100)는 장소에 따른 사용자의 디바이스(100) 설정에 관한 패턴을 인식하고, 직장으로 진입하였음을 판단함에 따라, 사용자가 평소에 직장에서 설정하였던 기능 또는 모드를 자동으로 설정할 수 있다.
또한, 디바이스(100)는 사용자의 이동 패턴에 기초하여, 이동 패턴과 관련된 서비스를 제공할 수 있다. 예를 들어, 사용자가 출근을 위해 차의 시동을 켜는 경우, 디바이스(100)는 사용자의 이동 상태가 정지 상태에서 차 운행 중 상태로 변경되었음을 인식하고, 사용자의 이동 패턴에 기초하여, 출근을 위해 차를 운행할 것임을 판단할 수 있다. 차를 이용하여 출근할 것임을 판단함에 따라, 디바이스(100)는 사용자가 주로 이용하여 출근 경로의 교통 상황을 서버로부터 수신하고, 주로 이용하는 출근 경로의 교통이 혼잡한 경우, 집과 직장의 위치 정보에 기초하여, 직장에 가장 빨리 도착할 수 있는 경로를 제공할 수 있다.
또한, 사용자가 출근을 위해 집에서 걸어 나가는 경우, 디바이스(100)는 사용자의 이동 상태가 정지 상태에서 걷는 상태로 변경되었음을 인식하고, 사용자의 이동 패턴에 기초하여 사용자가 출근할 것임을 판단할 수 있다. 이 경우, 디바이스(100)는 사용자의 이동 패턴에 기초하여, 사용자가 출퇴근 시 주로 버스를 이용함을 결정할 수 있다. 사용자가 버스를 이용하여 출퇴근할 것임을 결정함에 따라, 디바이스(100)는 서버로부터 오늘의 날씨 정보를 수신할 수 있다. 오늘의 날씨가 비 내림인 경우, 디바이스(100)는 사용자에게 비가 올 수 있음을 알릴 수 있다.
도 11은 본 발명의 일 실시예에 따른, 시간에 따른 사용자의 이동 상태를 나타내는 테이블(1100)이다.
도 11을 참조하면, 디바이스(100)는 시간(1110)에 따른 이동 상태(1120) 및 이동 상태의 지속 시간(1130)을 저장할 수 있다.
예를 들어, 2015년 3월 21일 오후 11시 33분 33초부터 2015년 3월 22일 오전 7시 25분 34초까지 정지 상태가 계속된 경우, 디바이스(100)는 2015년 3월 21일 오후 11시 33분 33초부터 7시간 57분 11초 동안 정지 상태가 지속된 것으로 저장할 수 있다.
디바이스(100)는 현재로부터 이전 하루, 일주일 또는 한달 동안의 사용자의 이동 상태를 저장할 수 있다. 또한, 디바이스(100)는 시간에 따른 사용자의 이동 상태를 나타내는 테이블(1100)을 외부 디바이스(100) 또는 서버에게 송신할 수도 있다. 또한, 디바이스(100)는 시간에 따른 사용자의 이동 상태를 나타내는 테이블(1100)에 기초하여, 사용자가 위치하는 장소 및 사용자의 이동 패턴을 결정할 수 있다.
도 12a는 본 발명의 일 실시예에 따른, 디바이스(100)가 사용자의 이동 상태에 기초하여, 장소를 결정하는 방법을 설명하기 위한 도면이다.
도 12a를 참조하면, 디바이스(100)는 이동 상태의 지속 시간에 기초하여, 장소를 결정할 수 있다.
디바이스(100)는 시간에 따른 사용자의 이동 상태를 나타내는 테이블(1100)에 기초하여, 시간에 따라 정지 상태가 지속된 시간을 산출할 수 있다. 도 12a는 일 실시예에 따른, 하루 동안 정지 상태가 지속된 시간을 나타내는 그래프일 수 있다.
디바이스(100)는 기준 시간 이상 사용자의 이동 상태가 정지 상태로 지속되는 경우, 정지 상태로 지속된 시간 동안(1300) 사용자가 사용자의 집에 위치한 것으로 결정할 수 있다. 기준 시간은 6시간 이상일 수 있으나, 이에 제한되지 않는다.
또한, 디바이스(100)는 이동 상태뿐만 아니라 이동 상태가 발생한 시간을 고려하여, 사용자의 장소를 결정할 수 있다. 예를 들어, 정지 상태가 지속된 시간 중 오후 8시 이후부터 다음날 오전 9시 이전까지의 시간에 가중치를 주어, 결과값이 높게 나타난 시간 구간을 사용자가 집에 위치한 시간으로서 결정할 수도 있다.
또한, 실시예에 따라, 디바이스(100)는 디바이스(100)에 구비된 위치 센서(예를 들어, GPS)의 값에 기초하여, 사용자가 일정 반경(예를 들어, 100m) 내에 위치한 시간이 일정 시간(예를 들어, 5 시간)이상 지속되었는지를 사용자의 이동 상태와 함께 고려하여, 정지 상태로 지속된 시간 동안(1300) 사용자가 사용자의 집에 위치한 것으로 결정할 수도 있다.
또한, 실시예에 따라, 디바이스(100)는 오후 9시부터 다음날 아침 10시 사이에 주로 머문 위치를 사용자의 이동 상태와 함께 고려하여, 정지 상태로 지속된 시간 동안(1300) 사용자가 사용자의 집에 위치한 것으로 결정할 수도 있다.
도 12b는 본 발명의 일 실시예에 따른, 디바이스(100)가 사용자의 확인에 기초하여, 사용자의 장소를 결정하는 방법을 나타내는 도면이다.
도 12b를 참조하면, 디바이스(100)는 사용자의 이동 상태에 기초하여 장소를 결정하고, 결정한 장소에 대하여 사용자의 확인을 유도하는 사용자 인터페이스를 디스플레이할 수 있다.
예를 들어, 디바이스(100)는 정지 상태가 기준 시간 이상 지속됨에 따라, 사용자의 현재 장소를 사용자의 집으로서 결정할 수 있다. 이 경우, 디바이스(100)는 장시간 사용자의 입력이 수신되지 않아, 저전력 모드(예를 들어, 슬립 모드)로 동작할 수 있다.
정지 상태에서 또는 정지 상태에서 다른 이동 상태로 변경된 후 일정 시간 이내에 사용자의 조작에 의해 디바이스(100)의 저전력 모드가 해제됨에 따라, 디바이스(100)는 현재 장소가 사용자가 거주하는 집인지를 확인하기 위한 확인창(1210)을 디스플레이할 수 있다.
확인창(1210)을 통한 사용자 입력에 기초하여, 디바이스(100)는 사용자의 이동 상태를 이용하여 결정한 장소의 신뢰도를 결정하고, 장소에 대응하여 신뢰도를 저장할 수 있다.
도 12c는 본 발명의 다른 실시예에 따른, 디바이스(100)가 사용자의 확인에 기초하여, 사용자의 장소를 결정하는 방법을 나타내는 도면이다.
도 12c을 참조하면, 디바이스(100)는 사용자의 이동 상태에 기초하여, 장소를 결정하고, 결정한 장소의 위치 정보와 함께 사용자의 확인을 유도하는 사용자 인터페이스를 디스플레이할 수 있다.
예를 들어, 정지 상태가 기준 시간 이상 지속되어 사용자의 현재 장소를 사용자의 집으로서 결정함에 따라, 디바이스(100)는 디바이스(100)에 구비된 GPS를 이용하여 디바이스(100)의 위치 정보를 획득할 수 있다. 디바이스(100)의 위치를 획득함에 따라, 디바이스(100)는 지도 서버에게 획득된 위치에 대한 지도 정보를 요청하여 디바이스(100)의 위치에 대한 지도 정보를 수신할 수 있다.
사용자의 현재 장소를 사용자의 집으로서 결정한 후, 사용자의 조작에 의해 디바이스(100)의 저전력 모드가 해제됨에 따라, 디바이스(100)는 정지 상태에서 획득된 위치가 사용자가 거주하는 집의 위치인지를 확인하기 위한 확인창(1220)을 디스플레이할 수 있다.
이 경우, 디바이스(100)는 지도 서버로부터 수신한 지도 정보에 기초하여, 획득한 위치를 나타내는 지도(1230)를 디스플레이할 수 있다. 또한, 디바이스(100)는 GPS로부터 획득한 위치 정보에 기초하여, 지도(1230) 상에 사용자의 집을 나타내는 표시자(1240)를 디스플레이할 수 있다.
확인창(1220)을 통한 사용자 입력에 기초하여, 디바이스(100)는 사용자의 이동 상태를 이용하여 결정한 장소의 신뢰도를 결정하고, 장소에 대응하여 신뢰도를 저장할 수 있다.
도 13은 본 발명의 일 실시예에 따른, 디바이스(100)가 사용자의 이동 상태에 기초하여, 사용자가 위치하는 장소를 결정하는 방법을 나타내는 도면이다.
단계 S1310에서, 디바이스(100)는 디바이스(100)의 사용자가 이동함에 따라, 사용자의 디바이스(100)에 구비된 가속도 센서로부터, 디바이스(100)의 가속도 데이터를 획득할 수 있다. 단계 S1320에서, 디바이스(100)는 획득된 가속도 데이터에 기초하여, 사용자의 이동 상태를 결정할 수 있다. 단계 S1010 내지 단계 S1020은 도 1 내지 도 9를 참조하여 설명될 수 있다.
단계 S1330에서, 디바이스(100)는 사용자의 이동 상태에 기초하여, 가속도 데이터가 획득된 시간 구간에서의 복수의 이동 활동 중 적어도 하나의 빈도수를 결정할 수 있다.
복수의 이동 활동 중 적어도 하나의 빈도수는 단위 시간당 각각의 이동 활동이 이동 상태로 결정된 횟수를 의미할 수 있다. 단위 시간은 1분 또는 1시간 일 수 있으며, 이에 제한되지 않는다.
단계 S1340에서, 디바이스(100)는 복수의 이동 활동 중 적어도 하나의 빈도수에 기초하여, 가속도 데이터가 획득된 시간 구간에서의 사용자가 위치하는 장소를 결정할 수 있다.
예를 들어, 사용자가 마트에서 쇼핑 중인 경우, 사용자는 걷기와 정지하기를 수 초 또는 수 분 주기로 반복할 수 있다. 사용자의 이동 상태가 정지 상태와 이동 상태가 수 초 또는 수 분 주기로 반복되는 것으로 판단한 경우, 디바이스(100)는 사용자의 장소를 마트인 것으로 결정할 수 있다. 또한, 예를 들어, 사용자가 직장에 있는 경우, 사용자는 1~2 시간 내에 한번씩 휴식 또는 회의를 위해 걷을 수 있다. 사용자의 이동 상태가 1~2 시간의 정지 상태와 수분 내의 걷기가 반복되는 것으로 판단한 경우, 디바이스(100)는 사용자의 장소를 직장인 것으로 판단할 수 있다.
단계 S1350에서, 디바이스(100)는 결정된 장소를 가속도 데이터가 획득된 시간 구간에서의 사용자가 위치하는 장소로써 디스플레이할 수 있다.
도 14는 본 발명의 일 실시예에 따른, 디바이스(100)가 각각의 이동 활동들이 디바이스(100)의 이동 상태로서 결정된 빈도수에 기초하여, 사용자가 위치하는 장소를 결정하는 방법을 나타내는 도면이다.
도 14를 참조하면, 디바이스(100)는 기준 시간 동안 적어도 하나의 이동 활동이 이동 상태로써 결정된 빈도수에 기초하여, 사용자가 위치하는 장소를 결정할 수 있다.
사용자들의 생활 패턴에는 유사점이 많으므로, 공통적인 생활 패턴에 대응하여, 시간에 따라 복수의 이동 활동 각각이 발생할 확률이 결정될 수 있다.
예를 들어, 자동차로 출근하는 사람인 경우, 6시간 이상의 제 1 정지 상태, 5분 내외의 제 1 걷는 상태, 1시간 내외의 차 운행 상태, 5분 내외의 제 2 걷는 상태에 이어 제 1 정지 상태 보다 낮은 빈도의 제 2 정지 상태 순서로 사용자의 이동 상태가 변경될 수 있다.
또한, 지하철을 타고 출근하는 사람의 경우, 6시간 이상의 제 1 정지 상태, 15분 내외의 제 2 걷는 상태, 1 시간 내외의 지하철 탑승 상태, 15분 내외의 제 2 걷는 상태에 이어 낮은 빈도의 정지 상태 순서로 사용자의 이동 상태가 변경될 수 있다.
디바이스(100)에는 사용자들의 공통적인 생활 패턴에 기초하여 생성된 공통 패턴 정보가 저장되어 있을 수 있다. 공통 패턴 정보는 시간에 따라 이동 활동들이 발생될 확률로서 표현될 수 있다.
디바이스(100)는 하루 동안의 사용자의 이동 상태의 변화에 기초하여, 하루 동안 각각의 이동 활동들이 단위 시간 동안 이동 상태로써 결정된 빈도수를 산출할 수 있다. 디바이스(100)는 단위 시단 동안 이동 상태로써 결정된 빈도수를 공통 패턴 정보와 비교하여, 사용자의 장소의 변화를 결정할 수 있다.
예를 들어, 도 14의 제 1 그래프(1400)에 도시된 바와 같이, 사용자의 이동 상태는 제 1 구간(1402)에서 계속 적인 정지 상태를 나타내고, 제 2 구간(1404) 및 제 4 구간(1408)에서 높은 빈도의 걷는 상태를 나타내고, 제 3 구간(1406)에서 계속적인 차 운행 상태를 나타내고, 제 5 구간(1409)에서 제 1 구간(1402) 보다 낮은 빈도의 정지 상태를 나타낼 수 있다.
이에 따라, 디바이스(100)는 공통 패턴 정보 중 사용자의 이동 상태의 변화와 유사한 패턴을 갖는 패턴을 결정할 수 있다. 예를 들어, 디바이스(100)는 도 14에 도시된 이동 상태의 변화가 집에서 직장으로 출근하는 패턴이며, 제 1 구간(1402)의 사용자의 위치는 집이며, 제 5 구간(1409)의 사용자의 위치는 직장이며, 제 3 구간(1406)은 자동차를 운행하여 집에서 직장으로 출근하는 상태임을 결정할 수 있다.
또한, 디바이스(100)는 수일 동안의 사용자의 이동 상태에 기초하여, 시간에 따라 이동 활동들이 발생될 확률을 산출할 수 있다. 예를 들어, 도 14의 제 2 그래프(1410)에 도시된 바와 같이, 디바이스(100)는 수일 동안의 사용자의 이동 상태에 기초하여, 시간에 따른 정지 상태가 발생될 확률(1414), 시간에 따른 걷는 상태가 발생될 확률(1416) 및 시간에 따른 차 운행 상태가 발생될 확률(1412)을 각각 산출할 수 있다. 디바이스(100)는 시간에 따라 이동 상태가 발생될 확률에 기초하여, 사용자의 이동 패턴을 산출할 수 있다.
또한, 실시예에 따라 디바이스(100)는 사용자의 이동 상태 정보와 함께 위치 센서를 이용하여 사용자가 위치하는 장소를 결정할 수 있다. 예를 들어, 제 1 구간(1402) 및 제 3 구간(1406)에서, 사용자의 이동 상태가 정지 상태로서 일정 기간 계속됨에 따라, 디바이스(100)는 디바이스(100)의 위치 센서를 이용하여 디바이스(100)의 위치 정보를 획득할 수 있다. 이 때, 제 1 구간(1402)과 제 3 구간(1406)에서의 위치가 기준 거리 이상 떨어진 경우에만, 디바이스(100)는 제 1 구간(1402)에서의 사용자의 위치를 사용자의 집으로, 제 3 구간(1406)에서의 사용자의 위치를 사용자의 직장으로 결정할 수도 있다.
도 15a는 본 발명의 일 실시예에 따른, 디바이스(100)가 사용자의 이동 상태에 기초하여, 사용자의 생활 패턴을 결정하는 방법을 설명하기 위한 도면이다.
도 15a를 참조하면, 디바이스(100)는 사용자의 이동 상태에 기초하여, 하루 동안의 시간에 따른 사용자의 장소의 변화를 결정하고, 수일 동안의 사용자의 장소의 변화에 기초하여, 사용자의 이동 패턴을 결정할 수 있다.
디바이스(100)는 수일 동안의 시간의 따른 장소의 변화(1510)를 결정할 수 있다. 예를 들어, 디바이스(100)는 사용자의 이동 상태에 기초하여, 2015년 3월 2일부터 6일까지의 시간에 따른 사용자의 장소의 변화를 결정할 수 있다.
디바이스(100)는 5일 동안의 시간에 따른 사용자의 장소의 변화를 평균하여 사용자의 이동 패턴(1520)을 결정할 수 있다. 예를 들어, 디바이스(100)는 5일 동안 집에서 출근하는 시간들을 평균하여 출근 시작 시간을 결정하고, 회사에 도착하는 시간들을 평균하여 출근 소요 시간 및 회사 도착 시간을 결정할 수 있다.
이 경우, 디바이스(100)는 주중과 주말을 나뉘어 사용자의 이동 패턴을 결정할 수도 있다. 또한, 디바이스(100)는 사용자의 주중 또는 주말의 이동 패턴으로서 복수 개의 이동 패턴을 결정할 수도 있다.
도 15b는 디바이스(100)가 사용자의 이동 패턴에 기초하여 이동 목적을 결정하고, 이동 목적과 관련된 서비스를 제공하는 방법을 설명하기 위한 도면이다.
도 15b를 참조하면, 디바이스(100)는 사용자의 이동 패턴에 기초하여, 이동 목적을 결정하고, 결정된 이동 목적과 관련된 서비스를 제공할 수 있다.
예를 들어, 디바이스(100)는 사용자의 이동 상태를 차 운행 상태로 결정할 수 있다. 사용자의 이동 상태를 차 운행 상태로 결정함에 따라, 디바이스(100)는 사용자의 이동 패턴에 기초하여, 이동 목적을 결정할 수 있다. 예를 들어, 현재 시간이 오후 7시 35분이고, 차를 운행하기 전에 결정된 사용자가 위치한 장소가 직장인 경우, 디바이스(100)는 도 15a에서 결정한 사용자의 이동 패턴에 기초하여, 차 운행의 목적이 직장에서 집으로 이동하기 위한 것임을 판단할 수 있다.
차 운행의 목적이 퇴근인 것으로 판단함에 따라, 디바이스(100)는 퇴근 중임을 나타내는 문구(1510)를 디스플레이할 수 있다.
또한, 디바이스(100)는 퇴근과 관련되어 기 설정된 서비스를 제공할 수 있다. 예를 들어, 디바이스(100)는 사용자의 홈 네트워크와의 연결을 설정하고, 사용자의 입력에 따라 홈 내의 디바이스(100)를 제어할 수 있다.
또한, 사용자의 이동 상태를 차 운행 상태로 결정함에 따라, 디바이스(100)는 메시지 수신 시, 메시지의 내용을 음성으로 출력할 수 있다. 또한, 디바이스(100)는 음성 통화 연결 요청을 수신함에 따라, 발신자의 중요도에 따라, 음성 통화 연결 요청을 거절하고, 발신자에게 자동으로 기 설정된 메시지를 전송할 수도 있다.
도 16은 본 발명의 일 실시예에 따른, 디바이스(100)가 사용자의 이동 상태에 기초하여, 사용자의 프로필을 생성하는 방법을 설명하기 위한 도면이다.
도 16을 참조하면, 디바이스(100)는 사용자의 이동 상태에 기초하여, 사용자의 이동 패턴을 결정하고, 결정된 이동 패턴에 기초하여 사용자의 프로필을 생성할 수 있다.
사용자의 프로필은 사용자의 이동 패턴으로부터 추출된 사용자의 생활 패턴을 의미할 수 있다. 디바이스(100)는 사용자의 프로필로서 사용자가 주로 위치하는 장소(1610), 선호 교통 수단(1620), 수면 시간(1630) 및 근무 시간(1640)을 포함할 수 있으나, 이에 제한되지 않는다.
디바이스(100)는 사용자의 이동 패턴에 기초하여, 사용자가 주로 위치하는 장소를 결정할 수 있다. 예를 들어, 디바이스(100)는 이동 패턴에 기초하여, 하루 동안 기준 시간 이상 머무르는 장소를 사용자가 주로 위치하는 장소로서 결정할 수 있다. 예를 들어, 사용자가 주로 위치하는 장소는 집, 직장 및 자동차 일 수 있으나, 이에 제한되지 않는다.
또한, 디바이스(100)는 사용자의 이동 패턴에 기초하여, 사용자가 선호하는 교통 수단을 결정할 수 있다. 예를 들어, 디바이스(100)는 이동 패턴에 기초하여, 한달 동안 사용자가 가장 많이 이용한 교통 수단을 사용자의 선호 교통 수단으로 결정할 수 있다. 교통 수단은 자동차, 지하철, 버스 등을 포함할 수 있으나 이에 제한되지 않는다.
또한, 디바이스(100)는 사용자의 이동 패턴에 기초하여, 사용자의 수면 시간을 결정할 수 있다. 예를 들어, 디바이스(100)는 이동 패턴에 기초하여, 하루 동안 정지 상태가 가장 오래 유지된 시간 구간을 사용자의 수면 시간으로 결정할 수 있다. 또한, 실시예에 따라, 디바이스(100)는 정지 상태가 유지된 시간 중 디바이스(100)가 저전력 모드로 동작하는 시간을 사용자의 수면 시간으로 결정할 수도 있다.
또한, 디바이스(100)는 사용자의 이동 패턴에 기초하여, 사용자의 근무 시간을 결정할 수 있다. 예를 들어, 디바이스(100)는 이동 패턴에 기초하여, 사용자가 이동 수단을 이용하여 이동하는 상태가 종료된 후, 다음 이동 수단을 이용하는 상태가 시작될 때까지의 시간을 사용자의 근무 시간으로 결정할 수 있다. 예를 들어, 도 15a에서 출근이 종료된 시간부터 퇴근이 시작되는 시간까지를 사용자의 근무 시간으로 결정할 수 있다.
도 17은 본 발명의 일 실시예에 따른, 디바이스(100)가 사용자가 위치하는 주요 장소를 디스플레이하는 방법을 설명하기 위한 도면이다.
도 17을 참조하면, 디바이스(100)는 사용자가 위치하는 주요 장소를 디스플레이할 수 있다.
예를 들어, 도 16에서, “내 장소”를 선택하는 사용자 입력을 수신함에 따라, 디바이스(100)는 직장의 위치 및 집의 위치를 지도 상에 디스플레이할 수 있다. 이 경우, 디바이스(100)는 주중에 사용자가 위치하는 주요 장소와 주말에 사용자가 위치하는 주요 장소를 구분하여 디스플레이할 수 있다.
또한, 디바이스(100)는 사용자의 입력에 기초하여, 사용자의 주요 장소를 변경하거나 또는 생성할 수 있다. 예를 들어, 디바이스(100)는 집의 위치를 나타내는 아이콘(1730)의 지도상의 위치를 변경하는 사용자 입력을 수신할 수 있다. 디바이스(100)는 변경된 아이콘의 위치를 사용자의 집의 위치로서 저장할 수 있다. 또한, 디바이스(100)는 사용자의 주요 장소로서 다른 위치를 설정하는 사용자 입력을 수신할 수도 있다.
도 18은 본 발명의 일 실시예에 따른, 디바이스(100)가 장소에 따라 자동으로 수행될 서비스를 설정하는 방법을 나타내는 도면이다.
도 18을 참조하면, 디바이스(100)는 장소에 따라 자동으로 수행될 서비스를 설정하는 사용자 인터페이스를 제공할 수 있다.
장소에 따라 자동으로 수행될 서비스를 설정하기 위한 메뉴를 선택하는 사용자 입력을 수신함에 따라, 디바이스(100)는 장소에 따라 사용자에 의해 주로 설정되는 디바이스(100)의 기능 또는 동작 모드를 디스플레이할 수 있다. 장소에 따라 주로 설정되는 디바이스(100)의 기능 또는 동작 모드는, 장소에 따라 기능 또는 동작 모드가 설정된 횟수에 기초하여, 디바이스(100)에 의해 미리 결정될 수 있다.
예를 들어, 디바이스(100)에는 Wi-Fi 연결, 블루투스 연결 및 진동 모드 설정이 직장에서 주로 설정되는 기능 또는 동작 모드로서 저장되어 있을 수 있다. 이에 따라, 직장에서 자동으로 수행될 서비스를 설정하기 위한 메뉴를 선택하는 사용자 입력을 수신하는 경우, 디바이스(100)는 직장에서 주로 설정되는 기능 또는 동작 모드(1810)의 목록을 디스플레이할 수 있다.
또한, 디바이스(100)는 사용자가 선택된 장소로 진입할 때 장소에 대응하여 결정된 기능 또는 동작모드를 자동으로 설정할지 여부를 선택하기 위한 버튼(1820)을 디스플레이할 수 있다. 자동으로 설정될 것을 선택하는 사용자 입력을 수신함에 따라, 디바이스(100)는 선택된 장소로 진입할 때 장소에 대응하여 결정된 기능 또는 동작모드를 자동으로 설정할 수 있다.
또한, 디바이스(100)는 사용자가 선택된 장소로 진입할 때 자동으로 설정될 서비스를 추가하기 위한 사용자 인터페이스를 제공할 수도 있다.
또한, 사용자의 장소가 직장이고, 사용자가 회의 중임을 인식함에 따라, 디바이스(100)는 음성 통화 연결 요청이 수신되었을 때, 발신자의 중요도에 따라 자동으로 음성 통화 연결 요청을 거절하고, 기 결정된 메시지를 발신자에게 전송할 수 있다.
디바이스(100)는 사용자가 회의 중임을 인식할 수 있다. 예를 들어, 디바이스(100)는 사용자의 장소가 직장이고, 사용자의 이동 상태가 걷는 상태에서 정지 상태로 변경된 경우, 디바이스(100)에 구비된 음성 센서(예를 들어, 마이크)를 구동하여 디바이스(100) 주위의 음성을 획득할 수 있다. 디바이스(100)는 획득된 음성의 패턴을 분석하고, 분석된 패턴이 회의 중에 나타날 수 있는 패턴인 경우, 사용자가 회의 중임을 결정할 수 있다.
도 19는 본 발명의 일 실시예에 따른, 사용자의 이동 상태로부터 결정되는 사용자 정보 중 사용자에게 제공할 정보를 선택하기 위한 사용자 인터페이스를 도시한다.
도 19를 참조하면, 디바이스(100)는 사용자의 이동 상태로부터 결정되는 사용자 정보 중 사용자에게 제공할 정보를 선택하기 위한 사용자 인터페이스를 제공할 수 있다.
이동 상태에 기초하여 결정될 수 있는 복수의 사용자 정보는 이동 패턴에 관한 정보, 이동 수단에 관한 정보, 생활 패턴에 관한 정보를 포함할 수 있으나, 이에 제한되지 않는다.
디바이스(100)는 사용자의 이동 상태에 기초하여 결정될 수 있는 복수의 사용자 정보의 목록과 함께 각각의 사용자 정보를 사용자에게 제공할 것인지를 선택하기 위한 버튼을 디스플레이할 수 있다.
예를 들어, 디바이스(100)는 수면 시간에 관한 정보를 결정할지 여부를 선택하기 위한 버튼(1910), 주차 위치에 관한 정보를 결정할지 여부를 선택하기 위한 버튼(1920) 및 차량 운휴일을 결정할지 여부를 선택하기 위한 버튼(1930)을 디스플레이할 수 있다.
각각의 사용자 정보에 대응하여 선택된 값에 기초하여, 디바이스(100)는 사용자의 이동 상태에 기초하여 사용자 정보를 결정하고, 결정된 정보를 사용자에게 제공할 수 있다.
도 20은 본 발명의 일 실시예에 따른, 디바이스(100)가 사용자의 주차 위치를 제공하는 방법을 설명하기 위한 도면이다.
도 20을 참조하면, 디바이스(100)는 사용자에게 사용자의 주차 위치를 제공할 수 있다.
디바이스(100)는 사용자의 이동 상태에 기초하여 사용자의 주차 위치를 추적할 수 있다. 예를 들어, 사용자가 주차한 후 걸어가는 경우, 사용자의 이동 상태는 차 운행 중 상태에서 걷는 상태로 변경될 수 있다. 사용자의 이동 상태가 차 운행 중 상태에서 걷는 상태로 변경됨에 따라, 디바이스(100)는 사용자가 사용자의 차를 주차 후 걸어가는 상황인 것을 판단할 수 있다.
이에 따라, 디바이스(100)는 사용자의 이동 상태가 차 운행 중 상태에서 걷는 상태 또는 정지 상태로 변경될 때의 시간을 사용자가 주차한 시간으로 결정할 수 있다.
또한, 디바이스(100)는 사용자의 이동 상태가 차 운행 중 상태에서 걷는 상태 또는 정지 상태로 변경될 때, 주차 시간(2010) 및 주차 위치를 저장하기 위한 메뉴를 디스플레이할 수 있다. 주차 위치를 저장하기 위한 메뉴는 사진을 촬영하는 메뉴, 메모를 생성하기 위한 메뉴, 알림을 설정하기 위한 메뉴 및 주차 위치를 확인하기 위한 메뉴(2020)를 포함할 수 있다.
주차 위치를 확인하기 위한 메뉴(2020)를 선택하는 사용자 입력을 수신함에 따라, 디바이스(100)는 주차한 시점부터 사용자의 이동 상태를 저장할 수 있다. 이 경우, 디바이스(100)는 가속도 센서로부터 가속도 데이터를 획득하면서 동시에, 디바이스(100)에 구비된 방향 센서(예를 들어, 나침반)로부터 디바이스(100)의 방향 데이터를 획득할 수 있다. 또한, 디바이스(100)는 차 운행 중 상태에서 걷는 상태로 변경될 때부터 시간에 따른 사용자의 이동 상태 및 디바이스(100)의 방향을 저장할 수 있다. 이에 따라, 디바이스(100)는 시간에 따른 사용자의 이동 상태 및 디바이스(100)의 방향에 기초하여, 차로부터 멀어지는 사용자의 궤적을 생성할 수 있다.
실시예에 따라, 디바이스(100)는 주차 위치로부터 사용자의 궤적을 생성하는 중에, 궤적의 생성을 종료하는 지점을 설정하는 사용자 입력을 수신할 수 있다.
사용자의 차의 주차 위치를 확인하기 위한 사용자 입력을 수신함에 따라, 디바이스(100)는 생성된 궤적을 디스플레이함으로써 사용자에게 사용자의 차의 주차 위치를 제공할 수 있다.
또한, 실시예에 따라, 디바이스(100)는 가속도 센서 및 방향 센서뿐만 아니라, 높이 센서(예를 들어, 압력 센서)를 함께 이용하여 시간에 따른 높이 데이터를 저장할 수 있다. 이에 따라, 디바이스(100)는 사용자의 높이의 변화까지 나타내는 3차원 궤적을 디스플레이함으로써 사용자의 주차 위치를 제공할 수 있다.
도 21은 본 발명의 일 실시예에 따른, 디바이스(100)에 대한 블록도를 도시한다.
도 21에 도시된 바와 같이, 일 실시예에 따른, 디바이스(100)는 사용자 입력부(145), 가속도 센서(165), 디스플레이부(110) 및 제어부(170)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수 구성 요소인 것은 아니다. 도시된 구성 요소보다 많은 구성 요소에 의해 디바이스(100)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 디바이스(100)는 구현될 수 있다.
가속도 센서(165)는 디바이스(100)의 가속도를 측정할 수 있다. 가속도 센서(165)는 디바이스(100)의 X, Y 및 Z축 방향의 가속도를 측정할 수 있다.
제어부(170)는 가속도 센서로부터, 제 1 시간 구간 및 제 1 시간 구간에 이웃하는 제 2 시간 구간에서의 디바이스의 가속도 데이터를 획득할 수 있다.
제 2 시간 구간은 제 1 시간 구간과 일부 중첩될 수 있다.
또한, 제어부(170)는, 제 1 시간 구간에 대응하는 가속도 데이터에 기초하여, 제 1 시간 구간에서의 사용자의 제 1 이동 상태를 결정할 수 있다.
예를 들어, 제어부(170)는, 제 1 시간 구간에 대응하는 가속도 데이터를 이용하여, 복수의 이동 활동을 구분하기 위한 특징 데이터를 생성하고, 생성된 데이터에 기초하여, 제 1 시간 구간에서의 사용자의 이동 상태를 결정할 수 있다.
이동 상태는, 미리 결정된 사용자의 복수의 이동 활동 중 하나를 나타내며, 복수의 이동 활동은 정지 활동, 정차 활동, 걷는 활동, 뛰는 활동, 자전거 운행 활동 및 차 운행 활동 중 적어도 하나를 포함할 수 있다. 또한, 복수의 이동 활동을 구분하는 특징 데이터는, 가속도 데이터의 크기, 표준 편차, 주파수 및 에너지 중 적어도 하나일 수 있다.
또한, 제어부(170)는, 제 2 시간 구간에 대응하는 가속도 데이터 및 결정된 제 1 이동 상태를 함께 고려하여 제 2 시간 구간에서의 사용자의 제 2 이동 상태를 결정할 수 있다.
예를 들어, 제어부(170)는, 제 1 시간 구간에서 제 1 이동 상태가 발생하였을 때 제 1 이동 상태의 다음 이동 상태로서 복수의 이동 활동 각각이 발생할 가능성에 기초하여, 제 2 이동 상태를 결정함으로써, 제 1 이동 상태를 고려하여 제 2 이동 상태를 결정할 수 있다.
또한, 예를 들어, 제어부(170)는, 제 2 시간 구간에 대응하는 가속도 데이터를 이용하여, 복수의 이동 활동을 구분하기 위한 특징 데이터를 생성하고, 제 1 이동 상태에 기초하여 임계값을 결정하고, 생성된 데이터를 임계값과 비교하여 제 2 이동 상태를 결정함으로써, 제 1 이동 상태를 고려하여 제 2 이동 상태를 결정할 수 있다.
예를 들어, 특징 데이터는 가속도 데이터의 크기의 평균일 있으며, 제어부(170)는, 가속도 데이터의 크기의 평균이 임계값 보다 작은 경우, 제 2 시간 구간에서의 사용자의 이동 상태를 정지 상태로써 판단할 수 있다.
이 경우, 임계값은 제 1 시간 구간에서의 디바이스의 사용자의 이동 상태가 정차 상태인 경우 제 1 임계값으로 결정되고, 제 1 시간 구간에서의 디바이스의 사용자의 이동 상태가 정차 상태가 아닌 경우, 제 2 임계값으로 결정되고, 제 1 임계값은 제 2 임계값 보다 작을 수 있다.
또한, 제어부(170)는, 결정된 제 1 이동 상태 및 제 2 이동 상태에 기초하여, 사용자가 위치하는 장소를 결정할 수 있다.
예를 들어, 제어부(170)는, 시간에 따른 사용자의 이동 상태에 기초하여, 복수의 이동 활동 중 적어도 하나의 시간에 따른 빈도수를 결정하고, 복수의 이동 활동 중 적어도 하나의 시간에 따른 빈도수에 기초하여, 가속도 데이터가 획득된 시점의 사용자가 위치하는 장소를 결정할 수 있다.
또한, 제어부(170)는, 시간에 따른 사용자의 이동 상태에 기초하여, 사용자의 이동 패턴을 결정할 수 있다.
또한, 제어부(170)는, 사용자의 이동 상태 및 사용자의 이동 패턴에 기초하여, 사용자의 이동 목적을 결정할 수 있다.
또한, 제어부(170)는, 이동 목적과 관련된 서비스를 제공할 수 있다.
또한, 제어부(170)는, 사용자가 위치하는 장소를 결정함에 따라, 디바이스에 구비된 위치 센서로부터 디바이스의 위치 정보를 획득할 수 있다.
디스플레이부(110)는, 사용자의 이동 상태를 디스플레이할 수 있다. 또한, 디스플레이부(110)는, 결정된 장소의 위치 정보를 디스플레이할 수 있다. 또한, 디스플레이부(110)는, 사용자의 이동 패턴에 관한 정보를 디스플레이할 수 있다.
도 22는 본 개시의 다른 실시 예에 따른 디바이스(100)의 구성을 나타내는 블록도이다.
도 22에 도시된 바와 같이, 디바이스(100) 의 구성은, 예를 들어, 휴대폰, 태블릿 PC, PDA, MP3 플레이어, 키오스크, 전자 액자, 네비게이션 장치, 디지털 TV, 스마트 워치(Smart watch), 손목 시계(Wrist watch) 또는 스마크 글래스(Smart Glass), HMD(Head-Mounted Display)와 같은 웨어러블 디바이스(Wearable device) 등과 같은 다양한 유형의 장치에 적용될 수 있다.
도 22에 따르면, 디바이스(100) 는 디스플레이부(110), 제어부(170), 메모리(120), GPS 칩(125), 통신부(130), 비디오 프로세서(135), 오디오 프로세서(140), 사용자 입력부(145), 마이크부(150), 촬상부(155), 스피커부(160), 움직임 감지부(165) 중 적어도 하나를 포함 할 수 있다.
디스플레이부(110)는 표시패널(111) 및 표시 패널(111)을 제어하는 컨트롤러(미도시)를 포함할 수 있다. 표시패널(111)에는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 표시패널(111)은 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 디스플레이부(110)는 사용자 입력부(145)의 터치 패널(147)과 결합되어 터치 스크린(미도시)으로 제공될 수 있다. 예를 들어, 터치 스크린(미도시)은 표시 패널(111)과 터치 패널(147)이 적층 구조로 결합된 일체형의 모듈을 포함할 수 있다.
메모리(120)는 내장 메모리(Internal Memory)(미도시) 및 외장 메모리(External Memory)(미도시) 중 적어도 하나를 포함할 수 있다.
내장 메모리는, 예를 들어, 휘발성 메모리(예를 들면, DRAM(Dynamic RAM), SRAM(Static RAM), SDRAM(Synchronous Dynamic RAM) 등), 비휘발성 메모리(예를 들면, OTPROM(One Time Programmable ROM), PROM(Programmable ROM), EPROM(Erasable and Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), Mask ROM, Flash ROM 등), 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 제어부(170)는 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 제어부(170)는 다른 구성요소로부터 수신하거나 생성된 데이터를 비휘발성 메모리에 보존할 수 있다.
외장 메모리는, 예를 들면, CF(Compact Flash), SD(Secure Digital), Micro-SD(Micro Secure Digital), Mini-SD(Mini Secure Digital), xD(extreme Digital) 및 Memory Stick 중 적어도 하나를 포함할 수 있다.
메모리(120)는 디바이스(100) 의 동작에 사용되는 각종 프로그램 및 데이터를 저장할 수 있다.
제어부(170)는 메모리(120)에 저장된 컨텐츠의 일부가 디스플레이부(110)에 표시되도록 디스플레이부(110)를 제어할 수 있다. 다시 말하자면, 제어부(170)는 메모리(120)에 저장된 컨텐츠의 일부를 디스플레이부(110)에 표시할 수 있다. 또는, 제어부(170)는 디스플레이부(110)의 일 영역에서 사용자 제스처가 이루어지면, 사용자의 제스처에 대응되는 제어 동작을 수행할 수 있다.
제어부(170)는 RAM(171), ROM(172), CPU(173), GPU(Graphic Processing Unit)(174) 및 버스(175) 중 적어도 하나를 포함 할 수 있다. RAM(171), ROM(172), CPU(173) 및 GPU(174) 등은 버스(175)를 통해 서로 연결될 수 있다.
CPU(173)는 메모리(120)에 액세스하여, 메모리(120)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메모리(120)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
ROM(172)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 예로, 디바이스(100)는 턴온 명령이 입력되어 전원이 공급되면, CPU(173)가 ROM(172)에 저장된 명령어에 따라 메모리(120)에 저장된 O/S를 RAM(171)에 복사하고, O/S를 실행시켜 시스템을 부팅시킬 수 있다. 부팅이 완료되면, CPU(173)는 메모리(120)에 저장된 각종 프로그램을 RAM(171)에 복사하고, RAM(171)에 복사된 프로그램을 실행시켜 각종 동작을 수행한다. GPU(174)는 모바일 디바이스 (100)의 부팅이 완료되면, 디스플레이부(110)의 영역에 UI 화면을 디스플레이한다. 구체적으로는, GPU(174)는 컨텐츠, 아이콘, 메뉴 등과 같은 다양한 객체를 포함하는 전자문서가 표시된 화면을 생성할 수 있다. GPU(174)는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성 값을 연산한다. 그리고, GPU(174)는 연산된 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성할 수 있다. GPU(174)에서 생성된 화면은 디스플레이부(110)로 제공되어, 디스플레이부(110)의 각 영역에 각각 표시될 수 있다.
GPS 칩(125)은 GPS(Grobal Positioning System) 위성으로부터 GPS 신호를 수신하여, 디바이스(100)의 현재 위치를 산출할 수 있다. 제어부(170)는 네비게이션 프로그램을 이용할 때나 그 밖에 사용자의 현재 위치가 필요할 경우에, GPS 칩(125)을 이용하여 사용자 위치를 산출할 수 있다.
통신부(130)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 디바이스와 통신을 수행할 수 있다. 통신부(130)는 와이파이칩(131), 블루투스 칩(132), 무선 통신 칩(133), NFC 칩(134) 중 적어도 하나를 포함할 수 있다. 제어부(170)는 통신부(130)를 이용하여 각종 외부 디바이스와 통신을 수행할 수 있다.
와이파이 칩(131), 블루투스 칩(132)은 각각 WiFi 방식, 블루투스 방식으로 통신을 수행할 수 있다. 와이파이 칩(131)이나 블루투스 칩(132)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩(133)은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩(134)은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
비디오 프로세서(135)는 통신부(130)를 통해 수신된 컨텐츠 또는, 메모리(120)에 저장된 컨텐츠에 포함된 비디오 데이터를 처리할 수 있다. 비디오 프로세서(135)에서는 비디오 데이터에 대한 디코딩, 스케일링, 노이즈 필터링, 프레임 레이트 변환, 해상도 변환 등과 같은 다양한 이미지 처리를 수행할 수 있다.
오디오 프로세서(140)는 통신부(130)를 통해 수신된 컨텐츠 또는, 메모리(120)에 저장된 컨텐츠에 포함된 오디오 데이터를 처리할 수 있다. 오디오 프로세서(140)에서는 오디오 데이터에 대한 디코딩이나 증폭, 노이즈 필터링 등과 같은 다양한 처리가 수행될 수 있다.
제어부(170)는 멀티미디어 컨텐츠에 대한 재생 프로그램이 실행되면 비디오 프로세서(135) 및 오디오 프로세서(140)를 구동시켜, 해당 컨텐츠를 재생할 수 있다. 스피커부(160)는 오디오 프로세서(140)에서 생성한 오디오 데이터를 출력할 수 있다.
사용자 입력부(145)는 사용자로부터 다양한 명령어를 입력 받을 수 있다. 사용자 입력부(145)는 키(146), 터치 패널(147) 및 펜 인식 패널(148) 중 적어도 하나를 포함할 수 있다.
키(146)는 디바이스(100)의 본체 외관의 전면부나 측면부, 배면부 등의 다양한 영역에 형성된 기계적 버튼, 휠 등과 같은 다양한 유형의 키를 포함할 수 있다.
터치 패널(147)은 사용자의 터치 입력을 감지하고, 감지된 터치 신호에 해당하는 터치 이벤트 값을 출력할 수 있다. 터치 패널(147)이 표시 패널(111)과 결합하여 터치 스크린(미도시)을 구성한 경우, 터치 스크린은 정전식이나, 감압식, 압전식 등과 같은 다양한 유형의 터치 센서로 구현될 수 있다. 정전식은 터치 스크린 표면에 코팅된 유전체를 이용하여, 사용자의 신체 일부가 터치 스크린 표면에 터치되었을 때 사용자의 인체로 야기되는 미세 전기를 감지하여 터치 좌표를 산출하는 방식이다. 감압식은 터치 스크린에 내장된 두 개의 전극 판을 포함하여, 사용자가 화면을 터치하였을 경우, 터치된 지점의 상하 판이 접촉되어 전류가 흐르게 되는 것을 감지하여 터치 좌표를 산출하는 방식이다. 터치 스크린에서 발생하는 터치 이벤트는 주로 사람의 손가락에 의하여 생성될 수 있으나, 정전 용량 변화를 가할 수 있는 전도성 재질의 물체에 의해서도 생성될 수 있다.
펜 인식 패널(148)은 사용자의 터치용 펜(예컨대, 스타일러스 펜(stylus pen), 디지타이저 펜(digitizer pen))의 운용에 따른 펜의 근접 입력 또는 터치 입력을 감지하고 감지된 펜 근접 이벤트 또는 펜 터치 이벤트를 출력할 수 있다. 펜 인식 패널(148)은, 예로, EMR 방식으로 구현될 수 있으며, 펜의 근접 또는 터치에 의한 전자기장의 세기 변화에 따라 터치 또는 근접 입력을 감지할 수 있다. 상세하게는 펜 인식 패널(148)은 그리드 구조를 가지는 전자 유도 코일 센서(미도시)와 전자 유도 코일 센서의 각 루프 코일에 순차적으로 소정의 주파수를 가지는 교류 신호를 제공하는 전자 신호 처리부(미도시)를 포함하여 구성될 수 있다. 이러한 펜 인식 패널(148)의 루프 코일 근방에 공진회로를 내장하는 펜이 존재하면, 해당 루프 코일로부터 송신되는 자계가 펜 내의 공진회로에 상호 전자 유도에 기초한 전류를 발생시킨다. 이 전류를 기초로 하여, 펜 내의 공진 회로를 구성하는 코일로부터 유도 자계가 발생하게 되고, 펜 인식 패널(148)은 이 유도 자계를 신호 수신 상태에 있는 루프 코일에서 검출하게 되어 펜의 접근 위치 또는 터치 위치가 감지될 수 있다. 펜 인식 패널(148)은 표시 패널(111)의 하부에 일정 면적, 예를 들어, 표시 패널(111)의 표시 영역을 커버할 수 있는 면적을 가지고 마련될 수 있다.
마이크부(150)는 사용자 음성이나 기타 소리를 입력 받아 오디오 데이터로 변환할 수 있다. 제어부(170)는 마이크 부(150)를 통해 입력되는 사용자 음성을 통화 동작에서 이용하거나, 오디오 데이터로 변환하여 메모리(120)에 저장할 수 있다.
촬상부(155)는 사용자의 제어에 따라 정지 영상 또는 동영상을 촬상할 수 있다. 촬상부(155)는 전면 카메라, 후면 카메라와 같이 복수 개로 구현될 수도 있다.
촬상부(155) 및 마이크부(150)가 마련된 경우, 제어부(170)는 마이크부(150)를 통해 입력되는 사용자 음성이나 촬상부(155)에 의해 인식되는 사용자 모션에 따라 제어 동작을 수행할 수도 있다. 예컨대, 디바이스(100)는 모션 제어 모드나 음성 제어 모드로 동작할 수 있다. 모션 제어 모드로 동작하는 경우, 제어부(170)는 촬상부(155)를 활성화시켜 사용자를 촬상하고, 사용자의 모션 변화를 추적하여 그에 대응되는 제어 동작을 수행할 수 있다. 음성 제어 모드로 동작하는 경우 제어부(170)는 마이크부(150)를 통해 입력된 사용자 음성을 분석하고, 분석된 사용자 음성에 따라 제어 동작을 수행하는 음성 인식 모드로 동작할 수 있다.
움직임 감지부(165)는 디바이스(100)의 본체 움직임을 감지할 수 있다. 디바이스(100)는 다양한 방향으로 회전되거나 기울어질 수 있다. 이 때, 움직임 감지부(165)는 지자기 센서, 자이로 센서, 가속도 센서 등과 같은 다양한 센서들 중 적어도 하나를 이용하여 회전 방향 및 각도, 기울기 등과 같은 움직임 특성을 감지할 수 있다.
그 밖에, 도 22에 도시하지는 않았으나, 실시예에는, 디바이스(100) 내에 USB 커넥터가 연결될 수 있는 USB 포트나, 헤드셋, 마우스, LAN 등과 같은 다양한 외부 단자와 연결하기 위한 다양한 외부 입력 포트, DMB(Digital Multimedia Broadcasting) 신호를 수신하여 처리하는 DMB 칩, 다양한 센서 등을 더 포함할 수 있다.
전술한 디바이스(100)의 구성 요소들의 명칭은 달라질 수 있다. 또한, 본 개시에 따른 디바이스(100)는 전술한 구성요소들 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (22)

  1. 디바이스의 가속도를 측정하는 가속도 센서;
    상기 가속도 센서로부터, 제 1 시간 구간 및 상기 제 1 시간 구간에 이웃하는 제 2 시간 구간에서의 상기 디바이스의 가속도 데이터를 획득하고,
    상기 제 1 시간 구간에 대응하는 상기 가속도 데이터에 기초하여, 상기 제 1 시간 구간에서의 사용자의 제 1 이동 상태를 결정하고,
    상기 제 2 시간 구간에 대응하는 상기 가속도 데이터 및 상기 결정된 제 1 이동 상태를 함께 고려하여 상기 제 2 시간 구간에서의 상기 사용자의 제 2 이동 상태를 결정하는 제어부; 및
    상기 제 1 이동 상태 및 상기 제 2 이동 상태를 디스플레이하는 디스플레이부를 포함하고,
    상기 제1 이동 상태 및 상기 제2 이동 상태 각각은 미리 결정된 복수의 이동 활동 중 하나를 나타내고,
    상기 제어부는,
    상기 제 1 시간 구간에서 상기 제 1 이동 상태가 발생하였을 때 상기 제 1 이동 상태의 다음 이동 상태로서 상기 복수의 이동 활동 각각이 발생할 가능성에 기초하여, 상기 제 2 이동 상태를 결정함으로써, 상기 제 1 이동 상태를 고려하여 상기 제 2 이동 상태를 결정하는, 디바이스.
  2. 제 1 항에 있어서,
    상기 복수의 이동 활동은 정지 활동, 정차 활동, 걷는 활동, 뛰는 활동, 자전거 운행 활동 및 차 운행 활동 중 적어도 하나를 포함하는, 디바이스.
  3. ◈청구항 3은(는) 설정등록료 납부시 포기되었습니다.◈
    제 1 항에 있어서,
    상기 제 2 시간 구간은, 상기 제 1 시간 구간과 일부 중첩되는 것인, 디바이스.
  4. ◈청구항 4은(는) 설정등록료 납부시 포기되었습니다.◈
    제 2 항에 있어서,
    상기 제어부는,
    상기 제 1 시간 구간에 대응하는 상기 가속도 데이터를 이용하여, 상기 복수의 이동 활동을 구분하기 위한 특징 데이터를 생성하고, 상기 생성된 데이터에 기초하여, 상기 제 1 시간 구간에서의 상기 사용자의 이동 상태를 결정하는, 디바이스.
  5. ◈청구항 5은(는) 설정등록료 납부시 포기되었습니다.◈
    제 2 항에 있어서,
    상기 복수의 이동 활동을 구분하는 특징 데이터는, 상기 가속도 데이터의 크기, 표준 편차, 주파수 및 에너지 중 적어도 하나인, 디바이스.
  6. 삭제
  7. ◈청구항 7은(는) 설정등록료 납부시 포기되었습니다.◈
    제 2 항에 있어서,
    상기 제어부는,
    상기 제 2 시간 구간에 대응하는 상기 가속도 데이터를 이용하여, 상기 복수의 이동 활동을 구분하기 위한 특징 데이터를 생성하고, 상기 제 1 이동 상태에 기초하여 임계값을 결정하고, 상기 생성된 데이터를 상기 임계값과 비교하여 상기 제 2 이동 상태를 결정함으로써, 상기 제 1 이동 상태를 고려하여 상기 제 2 이동 상태를 결정하는, 디바이스.
  8. ◈청구항 8은(는) 설정등록료 납부시 포기되었습니다.◈
    제 7 항에 있어서,
    상기 특징 데이터는 상기 가속도 데이터의 크기의 평균이고,
    상기 제어부는,
    상기 가속도 데이터의 크기의 평균이 상기 임계값 보다 작은 경우, 상기 제 2 시간 구간에서의 상기 사용자의 이동 상태를 정지 상태로써 판단하고,
    상기 임계값은 상기 제 1 시간 구간에서의 상기 디바이스의 사용자의 이동 상태가 정차 상태인 경우 제 1 임계값으로 결정되고, 상기 제 1 시간 구간에서의 상기 디바이스의 사용자의 이동 상태가 정차 상태가 아닌 경우, 제 2 임계값으로 결정되고, 상기 제 1 임계값은 제 2 임계값 보다 작은 것인, 디바이스.
  9. 제 1 항에 있어서,
    상기 제어부는,
    상기 결정된 제 1 이동 상태 및 제 2 이동 상태에 기초하여, 상기 사용자가 위치하는 장소를 결정하는, 디바이스.
  10. 제 9 항에 있어서,
    상기 제어부는,
    상기 사용자가 위치하는 장소를 결정함에 따라, 상기 디바이스에 구비된 위치 센서로부터 상기 디바이스의 위치 정보를 획득하고,
    상기 디스플레이부는,
    상기 획득된 위치 정보를, 상기 결정된 장소의 위치 정보로써 디스플레이하는, 디바이스.
  11. 가속도 센서로부터, 제 1 시간 구간 및 상기 제 1 시간 구간에 이웃하는 제 2 시간 구간에서의 디바이스의 가속도 데이터를 획득하는 단계;
    상기 제 1 시간 구간에 대응하는 상기 가속도 데이터에 기초하여, 상기 제 1 시간 구간에서의 상기 디바이스의 사용자의 제 1 이동 상태를 결정하는 단계;
    상기 제 2 시간 구간에 대응하는 상기 가속도 데이터 및 상기 결정된 제 1 이동 상태를 함께 고려하여 상기 제 2 시간 구간에서의 상기 사용자의 제 2 이동 상태를 결정하는 단계; 및
    상기 제 1 이동 상태 및 상기 제 2 이동 상태를 디스플레이하는 단계를 포함하고,
    상기 제1 이동 상태 및 상기 제2 이동 상태 각각은 미리 결정된 복수의 이동 활동 중 하나를 나타내고,
    상기 제2 이동 상태를 결정하는 단계는,
    상기 제 1 시간 구간에서 상기 제 1 이동 상태가 발생하였을 때 상기 제 1 이동 상태의 다음 이동 상태로서 상기 복수의 이동 활동 각각이 발생할 가능성에 기초하여, 상기 제 2 이동 상태를 결정함으로써, 상기 제 1 이동 상태를 고려하여 상기 제 2 이동 상태를 결정하는 단계를 포함하는, 사용자 활동 인식 방법.
  12. 제 11 항에 있어서,
    상기 복수의 이동 활동은 정지 활동, 정차 활동, 걷는 활동, 뛰는 활동, 자전거 운행 활동 및 차 운행 활동 중 적어도 하나를 포함하는, 사용자 활동 인식 방법.
  13. ◈청구항 13은(는) 설정등록료 납부시 포기되었습니다.◈
    제 11 항에 있어서,
    상기 제 2 시간 구간은 상기 제 1 시간 구간과 일부 중첩되는 것인, 사용자 활동 인식 방법.
  14. ◈청구항 14은(는) 설정등록료 납부시 포기되었습니다.◈
    제 12 항에 있어서,
    상기 제 1 시간 구간에서의 상기 디바이스의 사용자의 제 1 이동 상태를 결정하는 단계는,
    상기 제 1 시간 구간에 대응하는 상기 가속도 데이터를 이용하여, 상기 복수의 이동 활동을 구분하기 위한 특징 데이터를 생성하고, 상기 생성된 데이터에 기초하여, 상기 제 1 시간 구간에서의 상기 사용자의 이동 상태를 결정하는 단계를 포함하는, 사용자 활동 인식 방법.
  15. ◈청구항 15은(는) 설정등록료 납부시 포기되었습니다.◈
    제 12 항에 있어서,
    상기 복수의 이동 활동을 구분하는 특징 데이터는, 상기 가속도 데이터의 크기, 표준 편차, 주파수 및 에너지 중 적어도 하나인, 사용자 활동 인식 방법.
  16. 삭제
  17. ◈청구항 17은(는) 설정등록료 납부시 포기되었습니다.◈
    제 12 항에 있어서,
    상기 제 2 시간 구간에 대응하는 상기 가속도 데이터 및 상기 결정된 제 1 이동 상태를 함께 고려하여 상기 제 2 시간 구간에서의 상기 사용자의 제 2 이동 상태를 결정하는 단계는,
    상기 제 2 시간 구간에 대응하는 상기 가속도 데이터를 이용하여, 상기 복수의 이동 활동을 구분하기 위한 특징 데이터를 생성하고, 상기 제 1 이동 상태에 기초하여 임계값을 결정하는 단계; 및
    상기 생성된 데이터를 상기 임계값과 비교하여 상기 제 2 이동 상태를 결정하는 단계를 포함하는, 사용자 활동 인식 방법.
  18. ◈청구항 18은(는) 설정등록료 납부시 포기되었습니다.◈
    제 17 항에 있어서,
    상기 특징 데이터는 상기 가속도 데이터의 크기의 평균이고,
    상기 생성된 데이터를 상기 임계값과 비교하여 상기 제 2 이동 상태를 결정하는 단계는,
    상기 가속도 데이터의 크기의 평균이 상기 임계값 보다 작은 경우, 상기 제 2 시간 구간에서의 상기 사용자의 이동 상태를 정지 상태로써 판단하는 단계를 포함하고,
    상기 임계값은 상기 제 1 시간 구간에서의 상기 디바이스의 사용자의 이동 상태가 정차 상태인 경우 제 1 임계값으로 결정되고, 상기 제 1 시간 구간에서의 상기 디바이스의 사용자의 이동 상태가 정차 상태가 아닌 경우, 제 2 임계값으로 결정되고, 상기 제 1 임계값은 제 2 임계값 보다 작은 것인, 사용자 활동 인식 방법.
  19. 제 11 항에 있어서,
    상기 사용자 활동 인식 방법은,
    상기 결정된 제 1 이동 상태 및 제 2 이동 상태에 기초하여, 상기 사용자가 위치하는 장소를 결정하는 단계를 더 포함하는, 사용자 활동 인식 방법.
  20. 제 19 항에 있어서,
    상기 사용자 활동 인식 방법은,
    상기 사용자가 위치하는 장소를 결정함에 따라, 상기 디바이스에 구비된 위치 센서로부터 상기 디바이스의 위치 정보를 획득하는 단계; 및
    상기 획득된 위치 정보를, 상기 결정된 장소의 위치 정보로써 디스플레이하는 단계를 더 포함하는, 사용자 활동 인식 방법.
  21. 디바이스의 가속도를 측정하는 가속도 센서;
    상기 디바이스의 사용자가 이동함에 따라, 상기 사용자의 디바이스에 구비된 가속도 센서로부터, 상기 디바이스의 가속도 데이터를 획득하고,
    상기 획득된 가속도 데이터에 기초하여, 상기 사용자의 이동 상태를 결정하고, 상기 사용자의 이동 상태에 기초하여, 상기 가속도 데이터가 획득된 시간 구간에서의 복수의 이동 활동 중 적어도 하나의 빈도수를 결정하고,
    상기 복수의 이동 활동 중 적어도 하나의 빈도수에 기초하여, 상기 가속도 데이터가 획득된 시간 구간에서의 상기 사용자가 위치하는 장소를 결정하는 제어부; 및
    상기 결정된 장소를 상기 가속도 데이터가 획득된 시간 구간에서의 상기 사용자가 위치하는 장소로써 디스플레이하는 디스플레이부를 포함하는, 디바이스.
  22. 제 21 항에 있어서,
    상기 제어부는,
    상기 가속도 데이터가 획득된 시간 구간에서의 상기 사용자가 위치하는 장소를 결정함에 따라, 상기 디바이스에 구비된 위치 센서로부터 상기 디바이스의 위치 정보를 획득하고,
    상기 디스플레이부는,
    상기 획득된 위치 정보를, 상기 결정된 장소의 위치 정보로써 디스플레이하는, 디바이스.
KR1020150043459A 2015-03-27 2015-03-27 가속도 센서를 이용하여 사용자의 활동을 인식하는 방법 및 장치 KR102390876B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150043459A KR102390876B1 (ko) 2015-03-27 2015-03-27 가속도 센서를 이용하여 사용자의 활동을 인식하는 방법 및 장치
US15/051,302 US9723383B2 (en) 2015-03-27 2016-02-23 Method and apparatus for recognizing user's activity using accelerometer
CN201680028717.4A CN107636683B (zh) 2015-03-27 2016-02-25 利用加速度计识别用户的活动的方法和装置
PCT/KR2016/001847 WO2016159515A1 (en) 2015-03-27 2016-02-25 Method and apparatus for recognizing user's activity using accelerometer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150043459A KR102390876B1 (ko) 2015-03-27 2015-03-27 가속도 센서를 이용하여 사용자의 활동을 인식하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160115546A KR20160115546A (ko) 2016-10-06
KR102390876B1 true KR102390876B1 (ko) 2022-04-26

Family

ID=56976514

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150043459A KR102390876B1 (ko) 2015-03-27 2015-03-27 가속도 센서를 이용하여 사용자의 활동을 인식하는 방법 및 장치

Country Status (4)

Country Link
US (1) US9723383B2 (ko)
KR (1) KR102390876B1 (ko)
CN (1) CN107636683B (ko)
WO (1) WO2016159515A1 (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10116794B2 (en) * 2015-05-13 2018-10-30 Interactive Intelligence Group, Inc. Determining an active station based on movement data
US10547743B2 (en) 2016-09-30 2020-01-28 T-Mobile Usa, Inc. Sending notifications based on a busy mode of operation of a mobile device
US10194025B2 (en) * 2016-09-30 2019-01-29 T-Mobile Usa, Inc. Sending notifications based on an active mode of operation of a mobile device
US20180115866A1 (en) * 2016-10-21 2018-04-26 Microsoft Technology Licensing, Llc Low power geographical visit detection
KR20180068128A (ko) * 2016-12-13 2018-06-21 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20180116843A (ko) * 2017-04-18 2018-10-26 삼성전자주식회사 모션 감지 방법 및 이를 지원하는 전자 장치
JP6848696B2 (ja) * 2017-05-31 2021-03-24 トヨタ自動車株式会社 駐車管理システム及び駐車管理方法
US10602313B2 (en) 2017-06-02 2020-03-24 Apple Inc. State-based location monitoring
CN107317934A (zh) * 2017-06-30 2017-11-03 北京奇虎科技有限公司 基于移动终端的用户活动状态确定方法、装置及移动终端
KR101972879B1 (ko) * 2017-08-11 2019-04-26 아주대학교산학협력단 임베디드 환경에서 메모리 사용량 최소화 방법 및 그 장치
HUP1700368A1 (hu) * 2017-09-04 2019-03-28 Solecall Kft Rendszer jelzési testgesztus érzékelésére és eljárás a rendszer betanítására
CN107583245A (zh) * 2017-09-20 2018-01-16 京东方科技集团股份有限公司 一种室内运动设备的控制方法和系统及室内运动设备
KR102030698B1 (ko) * 2017-11-29 2019-10-16 (주)강안교육 테스트 수행 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
US10304341B1 (en) * 2018-02-09 2019-05-28 International Business Machines Corporation Vehicle and bicycle communication to avoid vehicle door crash accidents
CN108646262A (zh) * 2018-03-27 2018-10-12 斑马网络技术有限公司 车辆状态监测方法、设备、存储介质及车辆
WO2019208793A1 (ja) * 2018-04-26 2019-10-31 日本電信電話株式会社 移動状況認識モデル学習装置、移動状況認識装置、方法、及びプログラム
US11494918B2 (en) 2018-06-04 2022-11-08 Nippon Telegraph And Telephone Corporation Moving state analysis device, moving state analysis method, and program
WO2020024279A1 (zh) * 2018-08-03 2020-02-06 高驰运动科技(深圳)有限公司 心率检测方法、装置、检测设备及存储介质
CN109375762A (zh) * 2018-09-27 2019-02-22 北京奇虎科技有限公司 一种降低功耗的方法、装置及终端
CN109635638B (zh) * 2018-10-31 2021-03-09 中国科学院计算技术研究所 用于人体运动的特征提取方法及系统、识别方法及系统
CN109754603B (zh) * 2019-01-21 2020-11-03 石家庄铁道大学 自行车行程时间计算方法、装置和终端设备
US11834051B2 (en) 2019-02-14 2023-12-05 Huawei Technologies Co., Ltd. Methods and systems for sequential micro-activity based driver detection on smart devices
CN111308112A (zh) * 2019-12-04 2020-06-19 电子科技大学 一种基于神经网络的温度补偿系统
US11676430B2 (en) 2020-04-09 2023-06-13 Allstate Insurance Company Vehicle mode determination based on edge-computing
CN111879334B (zh) * 2020-07-31 2022-03-25 歌尔科技有限公司 计步方法、计步装置及计算机可读存储介质
CN113781837B (zh) * 2021-03-19 2023-05-30 北京沃东天骏信息技术有限公司 骑行安全实现方法、装置、介质及电子设备
KR20230058322A (ko) * 2021-10-21 2023-05-03 구글 엘엘씨 수면 타입에 기초하여 사용자들을 분류함으로써 수면 데이터의 측정을 개선하기 위한 방법들 및 시스템들

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011070831A1 (ja) * 2009-12-11 2011-06-16 株式会社日立製作所 生活パターン分類装置及び生活パターン分類システム
US20140378786A1 (en) * 2013-03-15 2014-12-25 Fitbit, Inc. Multimode sensor devices

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7768393B2 (en) 2007-04-10 2010-08-03 Honeywell International Inc. System and method for asset tracking
US7930135B2 (en) * 2008-07-10 2011-04-19 Perception Digital Limited Method of distinguishing running from walking
CN101887587B (zh) * 2010-07-07 2012-05-23 南京邮电大学 视频监控中基于运动目标检测的多目标跟踪方法
KR20120100059A (ko) 2011-03-02 2012-09-12 주식회사 엠엔에스에이 보행자 활동 정보 측정 시스템
CN102184549B (zh) * 2011-04-29 2012-10-10 闫文闻 一种运动参数确定方法、装置和运动辅助设备
US8779918B2 (en) 2011-12-16 2014-07-15 Richard Housley Convulsive seizure detection and notification system
US11026600B2 (en) 2012-01-09 2021-06-08 Invensense, Inc. Activity classification in a multi-axis activity monitor device
CN102772211A (zh) * 2012-08-08 2012-11-14 中山大学 一种人体运动状态检测系统及检测方法
KR101452066B1 (ko) 2012-12-14 2014-10-16 주식회사 인바디 활동량 리포트를 제공하는 장치 및 방법
US8951165B2 (en) * 2013-03-05 2015-02-10 Microsoft Corporation Personal training with physical activity monitoring device
CN104217205B (zh) * 2013-05-29 2018-05-18 华为技术有限公司 一种识别用户活动类型的方法及系统
CN103386181B (zh) * 2013-07-25 2016-06-15 Tcl通讯（宁波）有限公司 一种移动终端及该终端的跳绳计数方法
KR101489619B1 (ko) 2014-01-21 2015-02-04 한양대학교 에리카산학협력단 전력 절감을 위한 스마트 단말기 3축 가속도계 센싱 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011070831A1 (ja) * 2009-12-11 2011-06-16 株式会社日立製作所 生活パターン分類装置及び生活パターン分類システム
US20140378786A1 (en) * 2013-03-15 2014-12-25 Fitbit, Inc. Multimode sensor devices

Also Published As

Publication number Publication date
CN107636683A (zh) 2018-01-26
WO2016159515A1 (en) 2016-10-06
CN107636683B (zh) 2021-05-25
US20160279501A1 (en) 2016-09-29
KR20160115546A (ko) 2016-10-06
US9723383B2 (en) 2017-08-01

Similar Documents

Publication Publication Date Title
KR102390876B1 (ko) 가속도 센서를 이용하여 사용자의 활동을 인식하는 방법 및 장치
US20200393900A1 (en) Wearable device and method of controlling the same
KR101480473B1 (ko) 이동 통신 단말기에서의 스케쥴 표시 방법 및 장치
US10162512B2 (en) Mobile terminal and method for detecting a gesture to control functions
US9977497B2 (en) Method for providing haptic effect set by a user in a portable terminal, machine-readable storage medium, and portable terminal
US10860084B2 (en) Method and apparatus for reducing power consumption based on use pattern of user
EP2960750A1 (en) Portable terminal and display method thereof
US20150253968A1 (en) Portable terminal and method of enlarging and displaying contents
KR102445240B1 (ko) 이미지를 디스플레이하는 디바이스 및 방법
US9823709B2 (en) Context awareness based on angles and orientation
JPWO2017104227A1 (ja) 情報処理装置、情報処理方法およびプログラム
KR102325339B1 (ko) 사용자의 움직임을 검출하여 사용자 입력을 수신하는 방법 및 이를 위한 장치
TWI668621B (zh) 可攜式終端及其顯示方法
KR20170004220A (ko) 키패드를 표시하는 전자장치 및 그의 키패드 표시 방법
KR20160020892A (ko) 문자 입력 방법 및 장치
US20140194147A1 (en) Apparatus and method for reducing battery consumption of mobile terminal
KR102079033B1 (ko) 장소 인식을 제어하는 휴대 단말 및 방법
US10536810B2 (en) Electronic apparatus, control method, and non-transitory computer-readable recording medium
KR20150128406A (ko) 음성 인식 정보를 표시하는 방법 및 장치
KR101746503B1 (ko) 이동단말기 및 그 제어방법
CN113780975B (zh) 日程信息智能提醒方法、设备、存储介质和软件程序产品
US10948908B2 (en) Unmanned aerial vehicle and mobile electronic device
CN111649760A (zh) 智能导航方法、系统、存储介质及移动终端
JP6777743B2 (ja) 電子機器、制御プログラム及び電子機器の動作方法
WO2024067078A1 (zh) 车辆定位方法及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant