KR20190030022A - Method for recognizing gait using movement path and placement of user's terminal and apparatus using the same - Google Patents

Method for recognizing gait using movement path and placement of user's terminal and apparatus using the same Download PDF

Info

Publication number
KR20190030022A
KR20190030022A KR1020170117218A KR20170117218A KR20190030022A KR 20190030022 A KR20190030022 A KR 20190030022A KR 1020170117218 A KR1020170117218 A KR 1020170117218A KR 20170117218 A KR20170117218 A KR 20170117218A KR 20190030022 A KR20190030022 A KR 20190030022A
Authority
KR
South Korea
Prior art keywords
coi
model
location
user
gait
Prior art date
Application number
KR1020170117218A
Other languages
Korean (ko)
Inventor
김영삼
김석현
김수형
김승현
노종혁
조상래
조영섭
조진만
진승헌
허세영
황정연
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020170117218A priority Critical patent/KR20190030022A/en
Publication of KR20190030022A publication Critical patent/KR20190030022A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G06K9/00348—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/6267—

Abstract

Disclosed are a gait recognition method using a moving path and a holding position of a user terminal, and an apparatus therefor. According to an embodiment of the present invention, the gait recognition method comprises the following steps: generating a moving path model for a user based on a plurality of contexts of interest (CoI) detected by considering sensor information collected from one or more sensors included in a user terminal; generating a holding position model for the user terminal by using the sensor information; generating gait model groups for the user by combining the movement path model and the holding position model; and selecting a gait model to be applied to the user from the gait model groups based on the moving path model and the holding position model, and recognizing a gait of the user by applying the selected gait model.

Description

사용자 단말의 이동 경로와 소지 위치를 이용한 걸음걸이 인식 방법 및 이를 위한 장치 {METHOD FOR RECOGNIZING GAIT USING MOVEMENT PATH AND PLACEMENT OF USER'S TERMINAL AND APPARATUS USING THE SAME}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a method and apparatus for recognizing a gait using a route and a location of a user terminal,

본 발명은 모바일 기기와 같은 사용자 단말에서의 걸음걸이 인식 기술에 관한 것으로, 특히 사용자 단말의 이동 경로 및 소지 위치를 고려하여 사용자에 대한 다양한 걸음걸이 모델을 생성하도록 함으로써 걸음걸이 인식의 정확도를 향상시킬 수 있는 기술에 관한 것이다.The present invention relates to a gait recognition technique in a user terminal such as a mobile device. In particular, it is possible to improve gait recognition accuracy by generating various gait models for a user in consideration of a movement path and a location of a user terminal Technology.

모바일 기기에서의 사용자 인증은 전통적인 패스워드 기반 인증 방법과 최근의 생체인증 방법 연구로 나눌 수 있다. 패스워드 기반 인증 방법은 구현이 용이한 반면, 사용자가 패스워드를 외워야 하는 부담이 있으며, 도용에 대한 위험이 있다. 반면에 생체인증은 사용자의 고유한 생체 특성을 기반으로 하기 때문에 외울 필요가 없으며, 도용에 대한 위험도 상대적으로 낮다. 이러한 생체 인증은 자각(Explicit)과 무자각(Implicit) 인증으로 나뉠 수 있으며, 무자각 인증은 사용성 측면에서의 강점 때문에 최근 활발히 연구되고 있다.User authentication on mobile devices can be divided into traditional password based authentication methods and recent biometrics authentication methods. While the password-based authentication method is easy to implement, the user is burdened with having to memorize the password, and there is a risk of theft. On the other hand, biometric authentication is based on the user's unique biometric characteristics, so there is no need to memorize and the risk of the theft is relatively low. Such biometric authentication can be divided into Explicit and Implicit authentication, and non - authentication is actively studied due to its strength in usability.

모바일 기기에서의 무자각 생체 인증은 얼굴, 키스트로크, 터치 모션, 위치 및 걸음걸이 등 다양한 생체 특성 및 행위 특성을 활용하여 접근하고 있다. 특히, 걸음걸이 인식에 대한 연구는 전통적으로 카메라를 이용한 영상처리 방식에서 최근에는 모바일 기기에 장착된 관성센서를 활용하는 방식이 연구되고 있다.Biometric authentication in mobile devices is based on various biometric and behavioral characteristics such as face, keystroke, touch motion, position and gait. Especially, research on gait recognition has been studied in recent years in a way that utilizes an inertial sensor mounted on a mobile device in a camera image processing method.

모바일 기기의 관성센서를 이용한 걸음걸이 인식 방법은 일정 기간 동안 수집한 관성센서 데이터를 이용하여 DTW(Dynamic Time Warping)와 같은 시계열 분석 기법이나 SVM(Support Vector Machine), Gaussian Model, MLP(Multi-Layer Perceptron) 등의 기계학습 기법을 이용한다.The gait recognition method using the inertial sensor of a mobile device can be classified into a time series analysis technique such as DTW (Dynamic Time Warping), a Support Vector Machine (SVM), a Gaussian Model, a Multi-Layer Perceptron).

그러나, 걸음걸이라는 행위 특성은 주변 환경에 매우 민감하다. 예를 들어, 이동 방향이나 구조물의 배치, 바닥 면의 상태, 경사도 등 다양한 환경 변수가 존재한다. 따라서, 사용자가 이동하는 상황에서 모바일 기기의 이러한 환경적인 변수들을 고려하지 않고 전술한 걸음걸이 인식 기법을 사용하는 경우, 인식의 정확도를 높이는 데 한계가 있을 수밖에 없다. 만약, 모바일 기기의 환경적 상황을 인지하여 걸음걸이 인식에 적용할 수 있다면, 걸음걸이 인식의 정확도를 향상시킬 수 있을 것이다.However, the behavior characteristic of walking is very sensitive to the surrounding environment. For example, there are various environmental variables such as the direction of movement, the arrangement of the structure, the condition of the bottom surface, and the degree of inclination. Therefore, when the user uses the gait recognition technique without considering the environmental variables of the mobile device, there is a limit to increase the accuracy of the recognition. If the environmental condition of the mobile device is recognized and applied to gait recognition, the accuracy of gait recognition can be improved.

한국 공개 특허 제10-2016-0026175호, 2016년 3월 9일 공개(명칭: 생체 정보와 상황 정보를 이용한 인증 방법 및 장치)Korean Patent Laid-Open No. 10-2016-0026175, published on Mar. 9, 2016 (name: authentication method and apparatus using biometric information and situation information)

본 발명의 목적은 모바일 기기의 다양한 센서 정보를 이용하여 이동 경로를 파악하고, 이동 경로 내에서의 기기의 소지 위치를 고려하여 걸음걸이를 인식함으로써 걸음걸이 인식의 정확도를 향상시키는 것이다.SUMMARY OF THE INVENTION An object of the present invention is to improve the accuracy of gait recognition by recognizing a gait path by using a variety of sensor information of a mobile device and recognizing a gait by considering the position of the device in the gait path.

또한, 본 발명의 목적은 걸음걸이 인식에 기반한 무자각 인증을 구현하는 것이다.It is also an object of the present invention to implement a non-perceptual authentication based on gait recognition.

또한, 본 발명의 목적은 이동 경로에 기반한 사용자 인증 기법과 결합되어 새로운 무자각 멀티팩터 인증을 구현하는 것이다.It is also an object of the present invention to implement a new awareness multi-factor authentication in combination with a user-based authentication method based on a movement route.

상기한 목적을 달성하기 위한 본 발명에 따른 걸음걸이 인식 방법은 사용자 단말의 이동 경로와 소지 위치를 이용한 걸음걸이 인식 방법에 있어서, 상기 사용자 단말에 포함된 하나 이상의 센서로부터 수집되는 센서 정보를 고려하여 검출된 복수개의 CoI(Context of Interest)들을 기반으로 사용자에 대한 이동 경로 모델을 생성하는 단계; 상기 센서 정보를 이용하여 상기 사용자 단말에 대한 소지 위치 모델을 생성하는 단계; 상기 이동 경로 모델과 상기 소지 위치 모델을 조합하여 상기 사용자에 대한 걸음걸이 모델 그룹을 생성하는 단계; 및 상기 이동 경로 모델과 상기 소지 위치 모델을 기반으로 상기 걸음걸이 모델 그룹 중 상기 사용자에게 적용할 걸음걸이 모델을 선택하고, 선택된 걸음걸이 모델을 기반으로 상기 사용자의 걸음걸이를 인식하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of recognizing a gait using a moving path and a location of a user terminal, the method comprising: receiving sensor information collected from at least one sensor included in the user terminal; Generating a movement path model for a user based on the detected plurality of CoI (Context of Interest); Generating a location location model for the user terminal using the sensor information; Generating a gait model group for the user by combining the movement path model and the hand position model; And selecting a gait model to be applied to the user among the gait model groups based on the movement path model and the hand position model and recognizing the user's gait based on the selected gait model .

이 때, 걸음걸이를 인식하는 단계는 상기 이동 경로 모델과 상기 센서 정보를 고려하여 상기 복수개의 CoI들을 고려한 현재 이동 경로를 파악하는 단계; 상기 소지 위치 모델, 상기 현재 이동 경로 및 상기 센서 정보 중 적어도 하나를 고려하여 상기 사용자 단말의 현재 소지 위치를 파악하는 단계; 및 상기 걸음걸이 모델 그룹 중 상기 현재 이동 경로와 상기 현재 소지 위치를 조합한 것에 상응하는 상기 걸음걸이 모델을 선택하는 단계를 포함할 수 있다.The step of recognizing the step of walking may include grasping a current movement path considering the plurality of CoIs in consideration of the movement path model and the sensor information. Determining a current location of the user terminal in consideration of at least one of the location location model, the current movement route, and the sensor information; And selecting the gait model corresponding to a combination of the current movement route and the current location among the gait model groups.

이 때, 이동 경로 모델을 생성하는 단계는 상기 센서 정보에 포함된 시간 정보를 기반으로 상기 복수개의 CoI들 간의 이동 경로에 해당하는 복수개의 CoI 세션들을 검출하고, 상기 복수개의 CoI 세션들 각각을 이용하여 이동할 확률을 상기 복수개의 CoI 세션들에 각각 적용하여 상기 이동 경로 모델을 생성할 수 있다.In this case, the step of generating the movement path model may include detecting a plurality of CoI sessions corresponding to the movement path between the plurality of CoIs based on time information included in the sensor information, and using each of the plurality of CoI sessions And applying the probability of moving to the plurality of CoI sessions to generate the movement path model.

이 때, 소지 위치 모델을 생성하는 단계는 상기 센서 정보를 기반으로 상기 복수개의 CoI 세션들 각각에 대해 적어도 하나의 소지 위치를 검출하고, 상기 복수개의 CoI 세션들을 상기 적어도 하나의 소지 위치와 조합하여 복수개의 소지 위치 모델들을 생성할 수 있다.The generating of the handover location model may include detecting at least one handover location for each of the plurality of CoI sessions based on the sensor information, combining the plurality of CoI sessions with the at least one handover location A plurality of base position models can be generated.

이 때, 현재 소지 위치를 파악하는 단계는 상기 현재 이동 경로에 상응하는 현재 CoI 세션을 검출하고, 상기 복수개의 소지 위치 모델들 중 상기 현재 CoI 세션에 해당하는 적어도 하나의 소지 위치 모델과 상기 센서 정보를 비교하여 상기 현재 소지 위치를 파악할 수 있다.In this case, the step of determining the current location includes detecting a current CoI session corresponding to the current movement path, and determining at least one of the plurality of location models and the sensor information corresponding to the current CoI session, So that the current location can be determined.

이 때, 복수개의 CoI들은 상기 센서 정보를 기반으로 추출 가능한 모든 위치들 중 상기 사용자가 기설정된 기준 조건에 상응하게 머무른 위치일 수 있다.In this case, the plurality of CoIs may be positions where the user has stayed in correspondence with predetermined reference conditions among all extractable positions based on the sensor information.

이 때, 소지 위치 모델을 생성하는 단계는 상기 센서 정보를 분석하여 상기 사용자 단말의 소지 위치를 복수개의 제1 위치들로 1차 분류하고, 센서 정보의 클러스터링을 기반으로 상기 복수개의 제1 위치들을 각각 복수개의 제2 위치들로 2차 분류하여 상기 적어도 하나의 소지 위치를 검출할 수 있다.In this case, the step of generating the hand position model may include analyzing the sensor information, first classifying the hand position of the user terminal into a plurality of first positions, and classifying the plurality of first positions The at least one base position can be detected by secondary classification into a plurality of second positions.

이 때, 소지 위치 모델을 생성하는 단계는 가속도, 자이로스코프, 방향 및 조도 중 적어도 하나를 고려하여 상기 사용자 단말의 소지 위치를 1차 분류할 수 있다.At this time, the step of generating the hand position model may firstly classify the hand position of the user terminal in consideration of at least one of the acceleration, the gyroscope, the direction and the illuminance.

이 때, 현재 이동 경로를 파악하는 단계는 상기 사용자의 위치가 상기 복수개의 CoI들 중 어느 위치에도 해당하지 않는 경우, 이전에 위치했던 CoI와 상기 이동할 확률을 기준으로 상기 현재 이동 경로를 예측할 수 있다.In this case, when the user's position does not correspond to any one of the plurality of CoIs, the step of grasping the current movement path may predict the current movement path based on the previously-located CoI and the movement probability .

이 때, 현재 이동 경로를 파악하는 단계는 상기 이전에 위치했던 CoI에 해당하는 적어도 하나의 CoI 세션에 대한 이동 확률이 기설정된 기준 확률 이상일 경우, 상기 적어도 하나의 CoI 세션에 상응하는 이동 경로를 상기 현재 이동 경로로 예측할 수 있다.In this case, if the movement probability for the at least one CoI session corresponding to the previously located CoI is equal to or greater than a preset reference probability, Can be predicted by the current movement route.

또한, 본 발명의 일실시예에 따른 사용자 단말은, 하나 이상의 센서로부터 수집되는 센서 정보를 고려하여 검출된 복수개의 CoI(Context of Interest)들을 기반으로 생성된 사용자에 대한 이동 경로 모델, 상기 센서 정보를 이용하여 생성된 소지 위치 모델 및 상기 이동 경로 모델과 상기 소지 위치 모델을 조합하여 생성된 걸음걸이 모델 그룹을 저장하는 메모리; 및 상기 이동 경로 모델과 상기 소지 위치 모델을 기반으로 상기 걸음걸이 모델 그룹 중 상기 사용자에게 적용할 걸음걸이 모델을 선택하고, 선택된 걸음걸이 모델을 기반으로 상기 사용자의 걸음걸이를 인식하는 프로세서를 포함한다.Also, a user terminal according to an embodiment of the present invention may include a movement path model for a user created based on a plurality of Context of Interest (CoI) detected in consideration of sensor information collected from one or more sensors, A memory for storing a gait position model generated using the movement path model and a gait model group generated by combining the movement path model and the position location model; And a processor for selecting a gait model to be applied to the user among the gait model groups based on the movement path model and the hand position model and recognizing the user's gait based on the selected gait model .

이 때, 프로세서는 상기 이동 경로 모델과 상기 센서 정보를 고려하여 상기 복수개의 CoI들을 고려한 현재 이동 경로를 파악하고, 상기 소지 위치 모델, 상기 현재 이동 경로 및 상기 센서 정보 중 적어도 하나를 고려하여 상기 사용자 단말의 현재 소지 위치를 파악하고, 상기 걸음걸이 모델 그룹 중 상기 현재 이동 경로와 상기 현재 소지 위치를 조합한 것에 상응하는 상기 걸음걸이 모델을 선택할 수 있다.At this time, the processor grasps the current movement route considering the plurality of CoIs in consideration of the movement route model and the sensor information, and determines the current movement route based on at least one of the location location model, the current movement route, It is possible to grasp the current position of the terminal and select the gait model corresponding to the combination of the current movement route and the current location among the gait model groups.

이 때, 프로세서는 상기 센서 정보에 포함된 시간 정보를 기반으로 상기 복수개의 CoI들 간의 이동 경로에 해당하는 복수개의 CoI 세션들을 검출하고, 상기 복수개의 CoI 세션들 각각을 이용하여 이동할 확률을 상기 복수개의 CoI 세션들에 각각 적용하여 상기 이동 경로 모델을 생성할 수 있다.At this time, the processor detects a plurality of CoI sessions corresponding to the movement path between the plurality of CoIs based on the time information included in the sensor information, and transmits the probability of moving using the plurality of CoI sessions to the plurality CoI sessions, respectively, to generate the movement path model.

이 때, 프로세서는 상기 센서 정보를 기반으로 상기 복수개의 CoI 세션들 각각에 대해 적어도 하나의 소지 위치를 검출하고, 상기 복수개의 CoI 세션들을 상기 적어도 하나의 소지 위치와 조합하여 복수개의 소지 위치 모델들을 생성할 수 있다.At this time, the processor detects at least one handover location for each of the plurality of CoI sessions based on the sensor information, and combines the plurality of CoI sessions with the at least one handover location to generate a plurality of handover location models Can be generated.

이 때, 프로세서는 상기 현재 이동 경로에 상응하는 현재 CoI 세션을 검출하고, 상기 복수개의 소지 위치 모델들 중 상기 현재 CoI 세션에 해당하는 적어도 하나의 소지 위치 모델과 상기 센서 정보를 비교하여 상기 현재 소지 위치를 파악할 수 있다.At this time, the processor detects a current CoI session corresponding to the current movement path, compares the sensor information with at least one base position model corresponding to the current CoI session among the plurality of base position models, Location can be grasped.

이 때, 복수개의 CoI들은 상기 센서 정보를 기반으로 추출 가능한 모든 위치들 중 상기 사용자가 기설정된 기준 조건에 상응하게 머무른 위치일 수 있다.In this case, the plurality of CoIs may be positions where the user has stayed in correspondence with predetermined reference conditions among all extractable positions based on the sensor information.

이 때, 프로세서는 상기 센서 정보를 분석하여 상기 사용자 단말의 소지 위치를 복수개의 제1 위치들로 1차 분류하고, 센서 정보의 클러스터링을 기반으로 상기 복수개의 제1 위치들을 각각 복수개의 제2 위치들로 분류하여 상기 적어도 하나의 소지 위치를 검출할 수 있다.At this time, the processor analyzes the sensor information to first classify the location of the user terminal into a plurality of first locations, and based on the clustering of the sensor information, the plurality of first locations are divided into a plurality of second locations It is possible to detect the at least one hand position.

이 때, 프로세서는 가속도, 자이로스코프, 방향 및 조도 중 적어도 하나를 고려하여 상기 사용자 단말의 소지 위치를 1차 분류할 수 있다.At this time, the processor can first classify the location of the user terminal in consideration of at least one of acceleration, gyroscope, direction and illuminance.

이 때, 프로세서는 상기 사용자의 위치가 상기 복수개의 CoI들 중 어느 위치에도 해당하지 않는 경우, 이전에 위치했던 CoI와 상기 이동할 확률을 기준으로 상기 현재 이동 경로를 예측할 수 있다.At this time, if the user's position does not correspond to any one of the plurality of CoIs, the processor can predict the current movement path based on the previously-located CoI and the movement probability.

이 때, 프로세서는 상기 이전에 위치했던 CoI에 해당하는 적어도 하나의 CoI 세션에 대한 이동 확률이 기설정된 기준 확률 이상일 경우, 상기 적어도 하나의 CoI 세션에 상응하는 이동 경로를 상기 현재 이동 경로로 예측할 수 있다.At this time, if the movement probability for at least one CoI session corresponding to the previously located CoI is equal to or greater than a preset reference probability, the processor can predict a movement path corresponding to the at least one CoI session with the current movement path have.

본 발명에 따르면, 모바일 기기의 다양한 센서 정보를 이용하여 이동 경로를 파악하고, 이동 경로 내에서의 기기의 소지 위치를 고려하여 걸음걸이를 인식함으로써 걸음걸이 인식의 정확도를 향상시킬 수 있다.According to the present invention, it is possible to improve the accuracy of gait recognition by recognizing the movement route by using various sensor information of the mobile device and recognizing the gait by considering the position of the device in the movement route.

또한, 본 발명은 걸음걸이 인식에 기반한 무자각 인증을 구현할 수 있다.In addition, the present invention can realize the unaudited authentication based on the gait recognition.

또한, 본 발명은 이동 경로에 기반한 사용자 인증 기법과 결합되어 새로운 무자각 멀티팩터 인증을 구현할 수 있다.In addition, the present invention can be combined with a user authentication scheme based on a movement path to realize a new multivariate multi-factor authentication.

도 1은 본 발명의 일실시예에 따른 사용자 단말의 이동 경로와 소지 위치를 이용한 걸음걸이 인식 시스템을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 걸음걸이 인식 방법을 나타낸 동작 흐름도이다.
도 3은 본 발명에 따른 CoI 기반 사용자 이동 경로와 CoI 세션의 일 예를 나타낸 도면이다.
도 4는 도 3을 기반으로 생성된 이동 경로 모델의 일 예를 나타낸 도면이다.
도 5는 본 발명에 따른 걸음걸이 모델을 생성하는 일 예를 나타낸 도면이다.
도 6은 도 5에서 생성된 걸음걸이 모델이 저장되는 일 예를 나타낸 도면이다.
도 7 내지 도 8은 본 발명에 따른 걸음걸이 인식 시점에 따른 걸음걸이 인식 과정의 일 예를 나타낸 도면이다.
도 9는 본 발명의 일실시예에 따른 걸음걸이 인식을 위한 사용자 단말을 나타낸 블록도이다.1 is a diagram illustrating a gait recognition system using a moving path and a location of a user terminal according to an exemplary embodiment of the present invention.
2 is a flowchart illustrating a method of recognizing a gait according to an exemplary embodiment of the present invention.
FIG. 3 is a diagram illustrating an example of a CoI-based user movement path and a CoI session according to the present invention.
4 is a diagram illustrating an example of a movement path model generated based on FIG.
5 is a diagram illustrating an example of generating a gait model according to the present invention.
FIG. 6 is a diagram illustrating an example in which the gait model generated in FIG. 5 is stored.
7 to 8 are views showing an example of a gait recognition process according to the gait recognition time according to the present invention.
9 is a block diagram illustrating a user terminal for gait recognition according to an embodiment of the present invention.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will now be described in detail with reference to the accompanying drawings. Hereinafter, a repeated description, a known function that may obscure the gist of the present invention, and a detailed description of the configuration will be omitted. Embodiments of the present invention are provided to more fully describe the present invention to those skilled in the art. Accordingly, the shapes and sizes of the elements in the drawings and the like can be exaggerated for clarity.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 사용자 단말의 이동 경로와 소지 위치를 이용한 걸음걸이 인식 시스템을 나타낸 도면이다.1 is a diagram illustrating a gait recognition system using a moving path and a location of a user terminal according to an exemplary embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 사용자 단말의 이동 경로와 소지 위치를 이용한 걸음걸이 인식 시스템은 사용자 단말(110), 사용자(111), Wi-Fi AP(121~123) 및 네트워크(130)를 포함한다.1, a gait recognition system using a mobile path and a location of a user terminal according to an exemplary embodiment of the present invention includes a user terminal 110, a user 111, Wi-Fi APs 121 to 123, Network 130. < / RTI >

사용자 단말(110)은 본 발명의 일실시예에 따른 걸음걸이 인식을 수행하는 장치에 해당할 수 있다. The user terminal 110 may correspond to an apparatus for performing gait recognition according to an embodiment of the present invention.

이 때, 사용자 단말(110)은 Wi-Fi AP(121~123)의 신호 세기를 이용한 Wi-Fi 핑거프린트 기법을 통해 사용자가 자주 방문하거나 오래 머무르는 위치를 파악하고, 파악한 위치들 간의 이동을 고려하여 사용자(111)의 걸음걸이를 인식할 수 있다.At this time, the user terminal 110 grasps the location where the user frequently visits or stays by using the Wi-Fi fingerprint technique using the signal strength of the Wi-Fi APs 121 to 123, and considers movement between the detected positions So that the user 111 can recognize the user's gait.

사용자 단말(110)은 내부에 포함된 하나 이상의 센서로부터 수집되는 센서 정보를 고려하여 생성된 복수개의 CoI(Context of Interest)들을 기반으로 사용자(111)에 대한 이동 경로 모델을 생성한다.The user terminal 110 generates a movement path model for the user 111 based on a plurality of contexts of interest (CoI) generated in consideration of sensor information collected from one or more sensors included in the user terminal 110.

이 때, 센서 정보에 포함된 시간 정보를 기반으로 복수개의 CoI들 간의 이동 경로에 해당하는 복수개의 CoI 세션들을 검출하고, 복수개의 CoI 세션들 각각을 이용하여 이동할 확률을 복수개의 CoI 세션들에 각각 적용하여 이동 경로 모델을 생성할 수 있다. At this time, a plurality of CoI sessions corresponding to a movement path between a plurality of CoIs are detected based on time information included in the sensor information, and a probability of moving using each of the plurality of CoI sessions is detected in a plurality of CoI sessions To generate a movement path model.

이 때, 복수개의 CoI들은 센서 정보를 기반으로 추출 가능한 모든 위치들 중 사용자(111)가 기설정된 기준 조건에 상응하게 머무른 위치일 수 있다.In this case, the plurality of CoIs may be locations where the user 111 has stayed in correspondence with predetermined reference conditions among all extractable positions based on the sensor information.

또한, 사용자 단말(110)은 센서 정보를 이용하여 사용자 단말(110)에 대한 소지 위치 모델을 생성한다. Also, the user terminal 110 generates a location location model for the user terminal 110 using the sensor information.

이 때, 센서 정보를 기반으로 복수개의 CoI 세션들 각각에 대해 적어도 하나의 소지 위치를 검출하고, 복수개의 CoI 세션들을 적어도 하나의 소지 위치와 조합하여 복수개의 소지 위치 모델들을 생성할 수 있다. At this time, it is possible to detect at least one handover location for each of a plurality of CoI sessions based on the sensor information, and generate a plurality of handover location models by combining a plurality of CoI sessions with at least one handover location.

이 때, 센서 정보를 분석하여 사용자 단말(110)의 소지 위치를 복수개의 제1 위치들로 1차 분류하고, 센서 정보의 클러스터링을 기반으로 복수개의 제1 위치들을 각각 복수개의 제2 위치들로 2차 분류하여 적어도 하나의 소지 위치를 검출할 수 있다. At this time, by analyzing the sensor information, the base position of the user terminal 110 is first classified into a plurality of first positions, and based on the clustering of the sensor information, a plurality of first positions are respectively divided into a plurality of second positions And at least one base position can be detected by secondary classification.

이 때, 가속도, 자이로스코프, 방향 및 조도 중 적어도 하나를 고려하여 사용자 단말의 소지 위치를 1차 분류할 수 있다.At this time, it is possible to first sort the position of the user terminal in consideration of at least one of the acceleration, the gyroscope, the direction and the illuminance.

또한, 사용자 단말(110)은 이동 경로 모델과 소지 위치 모델을 조합하여 사용자(111)에 대한 걸음걸이 모델 그룹을 생성한다.Also, the user terminal 110 generates a gait model group for the user 111 by combining the movement path model and the base location model.

또한, 사용자 단말(110)은 이동 경로 모델과 소지 위치 모델을 기반으로 걸음걸이 모델 그룹 중 사용자(111)에게 적용할 걸음걸이 모델을 선택하고, 선택된 걸음걸이 모델을 적용하여 사용자(111)의 걸음걸이를 인식한다. In addition, the user terminal 110 selects a gait model to be applied to the user 111 among the gait model groups based on the movement path model and the hand position model, applies the selected gait model to the user 111, Recognizes hooks.

이 때, 이동 경로 모델과 센서 정보를 고려하여 복수개의 CoI들을 고려한 현재 이동 경로를 파악할 수 있다.At this time, the current movement path considering a plurality of CoIs can be grasped by considering the movement path model and the sensor information.

이 때, 사용자(111)의 위치가 복수개의 CoI들 중 어느 위치에도 해당하지 않는 경우, 이전에 위치했던 CoI와 이동할 확률을 기준으로 현재 이동 경로를 예측할 수 있다.At this time, when the position of the user 111 does not correspond to any of the plurality of CoIs, the current movement route can be predicted based on the CoI and the probability of moving.

이 때, 이전에 위치했던 CoI에 해당하는 적어도 하나의 CoI 세션에 대한 이동 확률이 기설정된 기준 확률 이상일 경우, 적어도 하나의 CoI 세션에 상응하는 이동 경로를 현재 이동 경로로 예측할 수 있다. At this time, if the movement probability for at least one CoI session corresponding to the previously located CoI is equal to or greater than a predetermined reference probability, the movement path corresponding to at least one CoI session can be predicted by the current movement path.

이 때, 소지 위치 모델, 현재 이동 경로 및 센서 정보 중 적어도 하나를 고려하여 사용자 단말(110)의 현재 소지 위치를 파악할 수 있다.At this time, the current location of the user terminal 110 can be determined in consideration of at least one of the location model, the current movement route, and the sensor information.

이 때, 현재 이동 경로에 상응하는 현재 CoI 세션을 검출하고, 복수개의 소지 위치 모델들 중 현재 CoI 세션에 해당하는 적어도 하나의 소지 위치 모델과 센서 정보를 비교하여 현재 소지 위치를 파악할 수 있다.At this time, the current CoI session corresponding to the current movement path can be detected, and the current location can be grasped by comparing the sensor information with at least one location location model corresponding to the current CoI session among the plurality of location location models.

이 때, 걸음걸이 모델 그룹 중 현재 이동 경로와 현재 소지 위치를 조합한 것에 상응하는 걸음걸이 모델을 선택할 수 있다.At this time, it is possible to select a gait model corresponding to a combination of the current movement route and the current location among the gait model groups.

따라서, 사용자 단말(110)은 하나 이상의 센서를 포함할 수 있다. 예를 들어, 위치 센서, 조도 센서, 방향 센서, 자이로 센서, 가속도 센서 등을 사용자 단말(110)의 내부에 포함할 수 있다. Accordingly, the user terminal 110 may include one or more sensors. For example, a position sensor, an illuminance sensor, a direction sensor, a gyro sensor, an acceleration sensor, and the like may be included in the user terminal 110.

또한, 사용자 단말(110)은 주변에 설치된 Wi-Fi AP(121~123)의 목록이나 신호세기 등을 포함하는 Wi-Fi 핑거프린트 정보를 사용자(111)의 걸음걸이를 인식하기 위한 정보로써 획득할 수 있다.Also, the user terminal 110 acquires Wi-Fi fingerprint information including a list of peripheral Wi-Fi APs 121 to 123 and signal strengths as information for recognizing the user's gait can do.

이 때, 사용자 단말(110)은 이동통신단말기에 한정된 것이 아니고, 모든 정보통신기기, 멀티미디어 단말 및 IP(Internet Protocol) 단말 등의 다양한 단말일 수 있다. 또한, 사용자 단말(110)은 휴대폰, PMP(Portable Multimedia Played), MID(Mobile Internet Device), 스마트폰(Smart Phone), 태블릿컴퓨터(Tablet PC), 개인휴대용 정보단말(Personal Digital Assistant; PDA) 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile) 단말일 수 있다.At this time, the user terminal 110 is not limited to the mobile communication terminal but may be various terminals such as all information communication devices, multimedia terminals, and IP (Internet Protocol) terminals. The user terminal 110 may be a mobile phone, a portable multimedia player (PMP), a mobile Internet device (MID), a smart phone, a tablet PC, a personal digital assistant And may be a mobile terminal having various mobile communication specifications such as an information communication device.

또한, 사용자 단말(110)은 데이터를 저장하기 위한 저장부를 포함할 수 있다. 예를 들어, 주 기억장치 및 보조 기억장치를 포함하고, 사용자 단말(110)의 기능 동작에 필요한 응용 프로그램을 저장할 수 있다. 이러한 사용자 단말(110)의 저장부는 크게 프로그램 영역과 데이터 영역을 포함할 수 있다. 여기서, 사용자 단말(110)은 사용자의 요청에 상응하여 각 기능을 활성화하는 경우, 제어부의 제어 하에 해당 응용 프로그램들을 실행하여 각 기능을 제공하게 된다. In addition, the user terminal 110 may include a storage for storing data. For example, a main storage device and an auxiliary storage device, and may store an application program required for functional operation of the user terminal 110. [ The storage unit of the user terminal 110 may include a program area and a data area. Here, if the user terminal 110 activates each function according to a request from the user, the user terminal 110 executes the corresponding application programs under the control of the control unit to provide each function.

또한, 사용자 단말(120)의 통신부는 다양한 신호의 센싱을 위해 Wi-Fi AP(121~123)로부터 신호를 수신하거나 또는 웨어러블 기기로부터 센서 데이터를 획득할 수도 있다. In addition, the communication unit of the user terminal 120 may receive a signal from the Wi-Fi APs 121 to 123 or may acquire sensor data from the wearable device to sense various signals.

또한, 사용자 단말(110)의 제어부는 운영 체제(OS, Operation System) 및 각 구성을 구동시키는 프로세스 장치가 될 수 있다. 예를 들어, 제어부는 본 발명의 일실시예에 따라 사용자(111)의 걸음걸이를 인식하는 과정 전반을 제어할 수 있다. In addition, the control unit of the user terminal 110 may be an operating system (OS) and a process apparatus that drives each configuration. For example, the control unit may control the entire process of recognizing the user's walking step according to an embodiment of the present invention.

네트워크(130)는 사용자 단말(110)에서 사용자(111)의 걸음걸이 인식을 위해 필요한 데이터를 전달하는 통로를 제공하는 것으로서, 기존에 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다. 예를 들어, 네트워크는 한정된 지역 내에서 각종 정보장치들의 통신을 제공하는 유무선근거리 통신망, 이동체 상호 간 및 이동체와 이동체 외부와의 통신을 제공하는 이동통신망, 위성을 이용해 지구국과 지구국간 통신을 제공하는 위성통신망이거나 유무선 통신망 중에서 어느 하나이거나, 둘 이상의 결합으로 이루어질 수 있다. 한편, 네트워크의 전송 방식 표준은, 기존의 전송 방식 표준에 한정되는 것은 아니며, 향후 개발될 모든 전송 방식 표준을 포함할 수 있다.The network 130 provides a channel for transferring data necessary for recognizing the user's gait from the user terminal 110, and is a concept covering both the existing network and the network that can be developed in the future. For example, the network may be a wired or wireless local area network that provides communication of various information devices within a limited area, a mobile communication network that provides communication between mobile objects and mobile objects outside the mobile object, A satellite communication network, a wired / wireless communication network, or a combination of two or more. Meanwhile, the network transmission standard is not limited to the existing transmission standard but may include all transmission standard to be developed in the future.

도 2는 본 발명의 일실시예에 따른 걸음걸이 인식 방법을 나타낸 동작 흐름도이다.2 is a flowchart illustrating a method of recognizing a gait according to an exemplary embodiment of the present invention.

도 2를 참조하면, 본 발명의 일실시예에 따른 걸음걸이 인식 방법은 사용자 단말에 포함된 하나 이상의 센서로부터 수집되는 센서 정보를 고려하여 생성된 복수개의 CoI(Context of Interest)들을 기반으로 사용자에 대한 이동 경로 모델을 생성한다(S210).Referring to FIG. 2, a method for recognizing a stepping gait according to an exemplary embodiment of the present invention includes a step of recognizing a user based on a plurality of contexts of interest (CoI) generated considering sensor information collected from one or more sensors included in a user terminal (S210). ≪ / RTI >

이 때, CoI(Context of Interest)는 사용자가 자주 방문하는 장소나 위치에 해당하는 것으로, 예를 들어 와이파이(Wi-Fi)나 블루투스(Bluetooth) 등의 센서 정보를 바탕으로 생성될 수 있다. 특히, CoI 생성을 위해 와이파이 핑거프린트(Wi-Fi Fingerprint) 정보가 사용될 수도 있다. 와이파이 핑거프린트 정보는 특정 위치에서 주변의 와이파이 액세스포인트(Wi-Fi AP) 목록 및 신호세기를 포함하는 정보이며, 실내 위치를 파악하는데 널리 사용되고 있다.At this time, the CoI (Context of Interest) corresponds to a location or location frequently visited by the user and can be generated based on sensor information such as Wi-Fi or Bluetooth, for example. In particular, Wi-Fi fingerprint information may be used for CoI generation. The Wi-Fi fingerprint information is information that includes Wi-Fi AP list and signal strength around the Wi-Fi AP at a specific location, and is widely used to identify the indoor location.

또한, CoI 생성은 와이파이 핑거프린트의 유사도를 기준으로 하는 클러스터링 기법을 적용함으로써 사용자가 자주 방문하거나 오래 머무르는 위치를 파악할 수도 있다.In addition, CoI generation can be applied to clustering based on the similarity of WiFi fingerprints, so that users can know where they visit frequently or stay longer.

이 때, CoI의 범위는 와이파이 핑거프린트의 유사도 측정 기법 및 클러스터링 기법에 따라 달라질 수 있으며, 수 미터에서 십여 미터까지 다양하게 나타날 수 있다. In this case, the CoI range may vary depending on the similarity measurement technique of the WiFi fingerprint and the clustering technique, and may vary from several meters to a few tens meters.

예를 들어, CoI는 사용자의 이동 경로 중에서 집, 회사 사무실, 회의실, 화장실, 휴게실, 편의점, 카페, 마트, 학교 등 사용자가 자주 방문하는 장소를 포함할 수 있다.For example, CoI may include places that users frequently visit, such as a home, a company office, a conference room, a toilet, a rest room, a convenience store, a café, a mart, a school, and the like.

이 때, 복수개의 CoI들은 센서 정보를 기반으로 추출 가능한 모든 위치들 중 사용자가 기설정된 기준 조건에 상응하게 머무른 위치일 수 있다. In this case, the plurality of CoIs may be positions where the user has stayed in correspondence with predetermined reference conditions among all extractable positions based on the sensor information.

예를 들어, 기설정된 기준 조건이 같은 위치에서 1시간이상 머무르는 것이라고 가정할 경우, 사용자가 특정 위치 A에서 이동하지 않고 1시간 이상 머무르는 경우에 위치 A를 사용자에 대한 CoI로 생성할 수 있다.For example, assuming that the preset reference condition stays at the same position for more than one hour, the position A can be created as CoI for the user if the user stays at the specific position A for at least one hour without moving.

다른 예를 들어, 기설정된 기준 조건이 같은 위치에 3번 이상 방문하되, 한번 방문할 때에 1시간 이상 머무르는 것이라고 가정할 경우, 사용자가 특정 위치 A에 3번 방문하되, 방문할 때마다 1시간 이상 머물렀을 경우에만 위치 A를 사용자에 대한 CoI로 생성할 수도 있다.In another example, assuming that the predetermined reference condition is to visit at least three times in the same location, but staying at the same place for more than one hour, the user visits the specific location A three times, The location A may be created as a CoI for the user only when the user has stayed.

이 때, 특정 위치가 CoI로 생성되기 위한 조건은 시간이나 빈도 이외에도 다양하게 설정될 수 있으며, 상기의 예시에 한정되지 않는다.In this case, the condition for generating the specific position as the CoI may be variously set in addition to the time and frequency, and is not limited to the above example.

이 때, 센서 정보에 포함된 시간 정보를 기반으로 복수개의 CoI들 간의 이동 경로에 해당하는 복수개의 CoI 세션들을 검출하고, 복수개의 CoI 세션들 각각을 이용하여 이동할 확률을 복수개의 CoI 세션들에 각각 적용하여 이동 경로 모델을 생성할 수 있다. 즉, 센서 정보는 시간 정보를 포함할 수 있기 때문에 센서 정보를 CoI에 속하는 부분과 CoI에 속하지 않는 부분으로 구분할 수 있다. 이 때, CoI에 속하는 시간은 사용자가 CoI에 머물고 있는 시간으로 판단할 수 있으며, CoI 간의 순차적인 변화는 사용자의 이동 경로인 CoI 세션으로 판단할 수 있다.At this time, a plurality of CoI sessions corresponding to a movement path between a plurality of CoIs are detected based on time information included in the sensor information, and a probability of moving using each of the plurality of CoI sessions is detected in a plurality of CoI sessions To generate a movement path model. That is, since the sensor information may include time information, the sensor information can be divided into a part belonging to CoI and a part not belonging to CoI. At this time, the time belonging to the CoI can be determined as the time that the user is staying in the CoI, and the sequential change between the CoIs can be determined as the CoI session, which is the movement path of the user.

예를 들어, 사용자가 집에서 회사 사무실로 출근하고, 회사 회의실에서 회의를 하고, 회사 회의실에서 화장실을 가는 등의 일련의 순차적인 이동 경로를 "CoI 1, CoI 아님, CoI 2, CoI 아님, CoI 3"으로 표현할 수 있다. 이 때, 각각의 CoI 사이에 CoI가 아닌 구간을 CoI 세션이라고 명명할 수 있다. 따라서, CoI 세션은 출발 CoI 식별자, 도착 CoI 식별자, 출발 시각, 도착 시각을 포함할 수 있다. For example, a series of sequential travel paths such as a user going to a company office at home, meeting in a company meeting room, going to a toilet in a company meeting room is referred to as "CoI 1, CoI, CoI 2, CoI, CoI 3 ". In this case, a period other than CoI between each CoI can be called a CoI session. Thus, the CoI session may include a starting CoI identifier, an arrival CoI identifier, a departure time, and an arrival time.

이 때, CoI 세션은 출발 CoI와 도착 CoI를 고려하여 검출될 수 있다. 예를 들어, CoI 1과 CoI 2가 존재하는 경우, CoI 1에서 CoI 2로 이동하는 경우에 해당하는 CoI 세션과 CoI 2에서 CoI 1로 이동하는 경우에 해당하는 CoI 세션이 각각 검출될 수 있다.At this time, the CoI session can be detected in consideration of the start CoI and the arrival CoI. For example, when CoI 1 and CoI 2 exist, a CoI session corresponding to movement from CoI 1 to CoI 2 and a CoI session corresponding to movement from CoI 2 to CoI 1 can be detected, respectively.

도 3에 도시된 도면을 바탕으로 설명하면, CoI 세션은 도 3에 도시된 것과 같이 CoI 간의 이동 구간에 해당할 수 있다. 이 때, 도 3은 사용자의 센서 정보로부터 CoI 1(310, CoI 2(320) 및 CoI 3(330)에 해당하는 세 개의 CoI가 추출된 경우, 사용자의 이동 경로를 순차적으로 나타낸 것일 수 있다. 이 때, 도 3에 도시된 CoI 1(310)과 CoI 2(320) 사이의 이동 구간, CoI 2(320)와 CoI 3(330) 사이의 이동 구간, CoI 3(330)과 CoI 1(310) 사이의 이동 구간, CoI 1(310)과 CoI 3(330) 사이의 이동 구간, CoI 3(330)과 CoI 2(320) 사이의 이동 구간을 각각 CoI 세션으로 검출할 수 있다. 또한, 도 3에는 도시되지 않았으나, 사용자가 CoI 2(320)에서 CoI 1(310)로 이동하였을 경우에는 CoI 2(320)와 CoI 1(310) 사이의 이동 구간도 CoI 세션으로 검출할 수 있다.Referring to FIG. 3, the CoI session may correspond to a movement interval between CoIs as shown in FIG. 3, if three CoIs corresponding to CoI1 310, CoI2 320 and CoI3 330 are extracted from the sensor information of the user, the path may sequentially represent the movement path of the user. In this case, a moving interval between CoI 1 310 and CoI 2 320, a moving interval between CoI 2 320 and CoI 3 330, a moving interval between CoI 3 330 and CoI 1 310 A moving interval between CoI1 310 and CoI3 330 and a moving interval between CoI3 330 and CoI2 320 can be detected as a CoI session. 3, if the user moves from the CoI 2 320 to the CoI 1 310, a moving interval between the CoI 2 320 and the CoI 1 310 can also be detected as a CoI session.

이 때, 복수개의 CoI 세선들 각각을 이용하여 이동할 확률은 복수개의 CoI들 간의 이동 정보를 기반으로 산출될 수 있다. 예를 들어, CoI 1, CoI 2, CoI 3이 존재하고, CoI 1에서 CoI 2나 CoI 3으로 이동이 가능하다고 가정할 수 있다. 이 때, 사용자가 CoI 1에서 이동한 횟수가 10번이고, 10번 중 3번은 CoI 2로, 10번 중 7번은 CoI 3으로 이동하였다면, CoI 1에서 CoI 2로 이동하는 경우에 해당하는 CoI 세션의 이동 확률은 30%로 산출될 수 있고, CoI 1에서 CoI 3으로 이동하는 경우에 해당하는 CoI 세션의 이동 확률은 70%로 산출될 수 있다.At this time, the probability of movement using each of the plurality of CoI thin lines may be calculated based on movement information between a plurality of CoIs. For example, it can be assumed that CoI 1, CoI 2, and CoI 3 exist, and CoI 1 to CoI 2 or CoI 3 migration is possible. In this case, if the number of movements of the user from CoI 1 is 10, CoI 2 of 3 is moved to CoI 3, and 7 of 10 is moved to CoI 3, the corresponding CoI session Can be calculated as 30%, and the movement probability of the CoI session corresponding to the movement from CoI 1 to CoI 3 can be calculated as 70%.

도 4에 도시된 도면을 바탕으로 설명하면, 본 발명의 일실시예에 따른 이동 경로 모델은 도 4에 도시된 것과 같이 복수개의 CoI 세션들(311, 312, 321, 322, 331, 332)을 이용하여 이동할 확률을 포함할 수 있다. 즉, 도 3에 도시된 복수개의 순차적인 이동 경로를 통계적으로 분석하여 도 4와 같이 각 CoI에서 다른 CoI로 이동할 확률을 나타낼 수 있다. 4, a movement path model according to an exemplary embodiment of the present invention includes a plurality of CoI sessions 311, 312, 321, 322, 331, and 332 as shown in FIG. And may include the probability of movement using. That is, a plurality of sequential movement paths shown in FIG. 3 are statistically analyzed to indicate the probability of moving from each CoI to another CoI as shown in FIG.

예를 들어, CoI 1(310)의 경우, CoI 2(320)로 이동할 확률이 0.7, CoI 3(330)으로 이동할 확률이 0.3임을 알 수 있다. 즉, CoI 세션(311)을 통해 이동할 확률이 0.7이고, CoI 세션(312)을 통해 이동할 확률이 0.3임을 알 수 있다. 또한, 다른 CoI의 경우도 이동 경로 모델에 도시된 이동 확률을 통해 다음 이동할 CoI를 예측할 수 있다. For example, in the case of CoI 1 310, the probability of moving to CoI 2 320 is 0.7 and the probability of moving to CoI 3 330 is 0.3. That is, the probability of moving through the CoI session 311 is 0.7 and the probability of moving through the CoI session 312 is 0.3. Also, in the case of other CoI, the CoI to be moved next can be predicted through the movement probability shown in the movement path model.

이 때, 이동 경로 모델링 방법은 마코프 모델(Markov Model) 또는 은닉 마코프 모델(Hidden Markov Model)을 포함할 수 있다.In this case, the moving path modeling method may include a Markov Model or a Hidden Markov Model.

일반적으로 사용자의 걸음걸이는 이동 경로, 바닥면 상태, 경사도 등에 의해 영향을 받을 수 있다. 예를 들어, 사용자의 이동 경로가 직선인지 곡선인지에 따라 영향을 받을 수 있으며, 바닥면이 포장도로인지 비포장 도로인지 또는 계단인지 평지인지에 따라 사용자의 걸음걸이 패턴이 달라질 수 있다. 따라서, 사용자의 걸음걸이를 모델링하기 위해서는 모든 이동 경로에 대한 사전 지식이 필요하지만, 현실적으로는 구현이 어렵다는 문제점이 있었다. Generally, the user's gait can be influenced by movement path, floor condition, slope, and so on. For example, it can be influenced by whether the user's movement path is a straight line or a curve, and the user's walking pattern may vary depending on whether the floor is a paved road, an unpaved road, a stair or a flat ground. Therefore, in order to model the user's gait, it is necessary to acquire prior knowledge of all the movement routes, but there is a problem in that implementation is difficult in practice.

이러한 문제점을 해결하기 위해, 본 발명에서는 상기와 같이 CoI 세션에 기반하여 생성된 이동 경로 모델을 이용하여 사용자의 걸음걸이를 모델링함으로써 이동 경로상의 특성을 반영하여 걸음걸이를 인식할 수 있다. In order to solve such a problem, in the present invention, the gait of the user is modeled by using the movement path model generated based on the CoI session, so that the gait can be recognized by reflecting the characteristics on the movement route.

또한, 본 발명의 일실시예에 따른 걸음걸이 인식 방법은 센서 정보를 이용하여 사용자 단말에 대한 소지 위치 모델을 생성한다(S220).In addition, the step gait recognition method according to an embodiment of the present invention generates a location location model for a user terminal using sensor information (S220).

이 때, 센서 정보는 사용자 단말에 구비된 하나 이상의 센서를 통해 수집되는 정보이므로 사용자가 사용자 단말을 소지하는 위치에 따라 측정되는 센서 정보의 특징들이 다르게 나타날 수 있다. 예를 들어, 사용자 단말에 해당하는 모바일 기기를 손에 들고 걸어갈 때와 모바일 기기를 주머니에 넣고 걸어갈 때, 사용자의 걸음걸이 자체는 유사할 수 있지만 모바일 기기를 통해 측정되는 걸음걸이 패턴은 달라질 수 있다. In this case, since the sensor information is collected through one or more sensors provided in the user terminal, characteristics of the sensor information measured according to the position where the user carries the user terminal may appear differently. For example, when the mobile device corresponding to the user terminal is hand held and the mobile device is pushed in the pocket, the user's gait can be similar, but the gait pattern measured through the mobile device is different .

따라서, 본 발명에서는 사용자 단말의 소지 위치를 반영하여 걸음걸이를 모델링함으로써 소지 위치에 따라 걸음걸이 패턴이 다르게 파악되는 특성을 반영하여 걸음걸이를 인식할 수 있다. Therefore, in the present invention, the gait is modeled by reflecting the position of the user terminal, so that the gait can be recognized by reflecting the gait pattern being differently recognized according to the position of the user.

이 때, 센서 정보를 기반으로 복수개의 CoI 세션들 각각에 대해 적어도 하나의 소지 위치를 검출하고, 복수개의 CoI 세션들을 적어도 하나의 소지 위치와 조합하여 복수개의 소지 위치 모델들을 생성할 수 있다. 즉, 소지 위치 모델은 CoI 세션과 해당 CoI 세션에서 검출되는 소지 위치의 조합에 상응하게 생성될 수 있다. At this time, it is possible to detect at least one handover location for each of a plurality of CoI sessions based on the sensor information, and generate a plurality of handover location models by combining a plurality of CoI sessions with at least one handover location. That is, the handover location model can be generated corresponding to the combination of the CoI session and the location location detected in the corresponding CoI session.

예를 들어, 사용자 A가 CoI 1에서 CoI 2로 이동할 때에는 사용자 단말을 손에 들고 이동한 것으로 검출되고, CoI 2에서 CoI 3으로 이동할 때에는 사용자 단말을 손에 들고 가다가 주머니에 넣은 것으로 소지 위치가 검출되었다고 가정할 수 있다. 이 때, CoI 1에서 CoI 2로 향하는 CoI 세션에 대해 HAND_1에 해당하는 소지 위치 모델을 생성하고, CoI 2에서 CoI 3으로 향하는 CoI 세션에 대해 HAND_1과 POCKET_1에 해당하는 두 개의 소지 위치 모델을 생성할 수 있다. For example, when the user A moves from CoI 1 to CoI 2, it is detected that the user terminal is moved by hand. When the user moves from CoI 2 to CoI 3, when the user terminal moves from CoI 2 to CoI 3, . At this time, a hand position model corresponding to HAND_1 is generated for a CoI session from CoI1 to CoI2, and two hand position models corresponding to HAND_1 and POCKET_1 are generated for a CoI session from CoI2 to CoI3 .

이 때, 소지 위치 모델은 사용자가 걷고 있을 때에 해당하는 센서 정보를 이용하여 생성될 수 있다. 즉, 본 발명에서는 사용자의 걸음걸이를 인식해야 하므로, 사용자가 특정한 CoI에 머무르는 경우에 수집되는 센서 정보를 분석하는 행위는 불필요한 시스템 부하를 가중시키는 것일 수 있다. At this time, the hand position model can be generated using the corresponding sensor information when the user is walking. That is, in the present invention, it is necessary to recognize the user's walking. Therefore, analyzing the sensor information collected when the user stays at a specific CoI may increase the unnecessary system load.

따라서, 본 발명에서는 사용자 단말에 포함된 하나 이상의 센서로부터 수집되는 센서 정보 중 사용자가 걷고 있는 것으로 판단되는 일부분의 센서 정보만을 분석하여 소지 위치 모델을 생성할 수 있다. Accordingly, in the present invention, it is possible to generate the base location model by analyzing only a part of the sensor information that is determined that the user is walking among the sensor information collected from the at least one sensor included in the user terminal.

이 때, 센서 정보를 분석하여 사용자 단말의 소지 위치를 복수개의 제1 위치들로 1차 분류하고, 센서 정보의 클러스터링을 기반으로 복수개의 제1 위치들을 각각 복수개의 제2 위치들로 2차 분류하여 적어도 하나의 소지 위치를 검출할 수 있다. At this time, by analyzing the sensor information, the base position of the user terminal is firstly classified into a plurality of first positions, and based on the clustering of the sensor information, a plurality of first positions are classified into a plurality of second positions So that at least one base position can be detected.

이 때, 클러스터링 기법을 활용함으로써 사용자의 옷차림이나 습관에 따라 나타날 수 있는 다양한 소지 위치를 세세하게 분류할 수 있다. In this case, by using the clustering technique, it is possible to finely classify the various positions that can appear depending on the user's attire or habit.

예를 들어, 사용자의 손이나 주머니와 같이 비교적 구분의 기준이 명확한 위치들은 범용적인 결정트리를 생성하여 1차 분류할 수 있다. 이 후, 클러스터링을 통해 1차 분류된 손이 왼손인지 오른손인지 또는 1차 분류된 주머니가 바지 옆 주머니인지 뒷 주머니인지를 분류하는 방식으로 2차 분류를 수행할 수 있다.For example, locations with relatively clear criteria, such as a user's hand or pocket, can be classified by a generic decision tree. After that, secondary classification can be performed by clustering to classify whether the primary classified hand is the left or right hand, or whether the primary classified pouch is the pouch side pouch or the back pouch.

이 때, 제1 위치가 손으로 분류된 경우, 왼손인지 오른손인지 또는 사용자의 가슴 앞에서 사용자 단말을 사용 중인지에 따라 걸음걸이를 인식하기 위한 센서 정보들이 다르게 나타날 수 있다. 또한, 제1 위치가 주머니로 분류된 경우, 바지 옆 주머니인지 뒷주머니인지 또는 상의 주머니인지에 따라 센서 정보들이 다르게 나타날 수 있다. In this case, when the first position is classified by hand, the sensor information for recognizing the stepping may be displayed differently depending on whether the user's terminal is in front of the user's chest or the left hand or the right hand. In addition, when the first position is classified as a pocket, the sensor information may be different depending on whether the pocket is a side pouch, a back pocket, or an upper pocket.

따라서, 소지 위치를 세세하게 모델링하여 소지 위치 모델을 생성할수록 사용자의 걸음걸이를 보다 정확하게 인식할 수 있다.Therefore, it is possible to more precisely recognize the user's gait as the sub-location model is finely modeled to generate the sub-location model.

이 때, 가속도, 자이로스코프, 방향 및 조도 중 적어도 하나를 고려하여 사용자 단말의 소지 위치를 1차 분류할 수 있다. At this time, it is possible to first sort the position of the user terminal in consideration of at least one of the acceleration, the gyroscope, the direction and the illuminance.

예를 들어, 조도 센서에 의한 조도 정보를 이용하여 사용자 단말이 손에 있는지 또는 주머니에 있는지 등을 구분하여 1차 분류할 수 있다.For example, it is possible to classify the user terminal in the hand or pocket or the like by firstly classifying the user terminal using the illuminance information by the illuminance sensor.

따라서, 본 발명의 일실시예에 따른 사용자 단말은 가속도 센서, 자이로스코프 센서, 방향 센서 및 조도 센서 중 적어도 하나를 포함할 수 있다. Accordingly, a user terminal according to an exemplary embodiment of the present invention may include at least one of an acceleration sensor, a gyroscope sensor, a direction sensor, and an illuminance sensor.

또한, 본 발명의 일실시예에 따른 걸음걸이 인식 방법은 이동 경로 모델과 소지 위치 모델을 조합하여 사용자에 대한 걸음걸이 모델 그룹을 생성한다(S230).In addition, the gait recognition method according to an embodiment of the present invention creates a gait model group for the user by combining the movement path model and the hand position location model (S230).

이 때, 이동 경로 모델에 상응하는 복수개의 CoI 세션들과 소지 위치 모델에 상응하는 복수개의 소지 위치 세션들을 각각 조합하여 복수개의 걸음걸이 모델들을 생성하여 걸음걸이 모델 그룹에 포함시킬 수 있다. 따라서, 걸음걸이 모델 그룹을 구성하는 개별적인 걸음걸이 모델은 각각 이동 경로와 사용자 단말의 소지 위치를 반영할 수 있다.In this case, a plurality of gait models can be generated by combining a plurality of CoI sessions corresponding to the movement path model and a plurality of location locations corresponding to the location model, respectively, and included in the gait model group. Thus, the individual gait models constituting the gait model group can reflect the movement route and the location of the user terminal, respectively.

이 때, 소지 위치 세션은 해당 CoI 세션에서 검출된 소지 위치에 대한 구간을 의미할 수 있다. 예를 들어, CoI 1에서 CoI 2로 향하는 CoI 세션에서 오른손과 왼손 각각에 대한 소지 위치 세션이 존재하는 경우, 소지 위치가 오른손으로 검출된 구간에 대한 소지 위치 세션과 소지 위치가 왼손으로 검출된 구간에 대한 소지 위치 세션이 각각 생성될 수 있다. In this case, the handover location session may refer to a segment of the handover location detected in the corresponding CoI session. For example, in a CoI session from CoI 1 to CoI 2, if there is a handover location session for each of the right and left hands, the handover location session for the handover location detected with the right hand and the handover location A location location session may be generated for each location.

이 때, 복수개의 걸음걸이 모델들은 모두 서로 상이한 CoI 세션과 소지 위치 세션의 조합을 가질 수 잇다. At this time, a plurality of gait models may have different combinations of CoI session and location location session.

예를 들어, A1, A2, A3에 상응하는 3개의 CoI 세션들이 존재하고, B1, B2에 상응하는 2개의 소지 위치 세션들이 존재한다고 가정할 수 있다. 이 때, 생성 가능한 걸음걸이 모델의 조합은 A1-B1, A1-B2, A2-B1, A2-B2, A3-B1, A3-B2에 상응할 수 있다.For example, it can be assumed that there are three CoI sessions corresponding to A1, A2, A3, and there are two sub-location sessions corresponding to B1, B2. At this time, the combination of the generated gait models may correspond to A1-B1, A1-B2, A2-B1, A2-B2, A3-B1 and A3-B2.

즉, 본 발명에 따른 걸음걸이 모델은 이동 경로 모델에 따른 이동 경로와 소지 위치 모델에 따른 소지 위치를 모두 고려하여 생성됨으로써 같은 소지 위치라도 이동 경로가 다르면 다른 걸음걸이 모델로 생성될 수 있다. That is, the gait model according to the present invention is generated considering both the movement route according to the movement route model and the location according to the location location model, so that the same walking location can be created as a different gait model if the movement route is different.

예를 들어, 도 5에 도시된 도면을 참조하면, 소지 위치 세션이 HAND_1인 경우는 CoI 1에서 CoI 2로 향하는 CoI 세션과 CoI 2에서 CoI 3으로 향하는 CoI 세션에 각각 한번씩 총 두 번 존재하는 것을 알 수 있다. 만약 CoI 세션 정보가 없다면, HAND_1에 대한 걸음걸이 모델은 하나만 생성될 수 있다. 그러나 본 발명에서는 CoI 1에서 CoI 2로 이동하는 경로와, CoI 2에서 CoI 3으로 이동하는 경로에 해당하는 두 개의 CoI 세션이 있기 때문에 소지 위치 세션이 HAND_1로 동일하더라도 걸음걸이 모델은 A2와 B1으로 다르게 모델링 될 수 있다.For example, referring to the diagram shown in FIG. 5, when the handover location session is HAND_1, the coexistence of a CoI session from CoI 1 to CoI 2 and a CoI session from CoI 2 to CoI 3, Able to know. If there is no CoI session information, only one gait model for HAND_1 can be generated. However, in the present invention, since there are two CoI sessions corresponding to a path from CoI 1 to CoI 2 and a path from CoI 2 to CoI 3, even if the handover location session is the same as HAND_1, Can be modeled differently.

따라서, 결과적으로 도 6에 도시된 메모리(610)와 같이 CoI 세션과 소지 위치 세션에 따른 계층적인 걸음걸이 모델을 생성하여 저장할 수 있다.As a result, a hierarchical gait model according to the CoI session and the home location session can be generated and stored like the memory 610 shown in FIG.

또한, 본 발명의 일실시예에 따른 걸음걸이 인식 방법은 이동 경로 모델과 소지 위치 모델을 기반으로 걸음걸이 모델 그룹 중 사용자에게 적용할 걸음걸이 모델을 선택하고, 선택된 걸음걸이 모델을 적용하여 사용자의 걸음걸이를 인식한다(S240).In addition, the gait recognition method according to an embodiment of the present invention selects a gait model to be applied to a user among the gait model groups based on the movement path model and the hand position model, applies a selected gait model, And recognizes the stepping (S240).

이 때, 현재 이동 경로 상에서 수집된 센서 정보로부터 걸음걸이를 인식하기 위한 특징을 추출하고, 추출된 특징을 사용자에게 적합하게 선택된 걸음걸이 모델과 비교하여 사용자의 걸음걸이를 인식할 수 있다. At this time, the feature for recognizing the gait is extracted from the sensor information collected on the current movement route, and the gait of the user can be recognized by comparing the extracted feature with the gait model suitably selected by the user.

이 때, 본 발명의 일실시예에 따른 메모리에 사전에 생성되어 저장된 걸음걸이 모델 그룹 중 현재 이동 경로와 현재 소지 위치를 조합한 것에 상응하는 걸음걸이 모델을 선택하여 사용할 수 있다.At this time, a gait model corresponding to a combination of the current movement route and the current location among the gait model groups previously created and stored in the memory according to the embodiment of the present invention can be selected and used.

이 때, 이동 경로 모델과 센서 정보를 고려하여 복수개의 CoI들을 고려한 현재 이동 경로를 파악할 수 있다. At this time, the current movement path considering a plurality of CoIs can be grasped by considering the movement path model and the sensor information.

예를 들어, 센서 정보를 통해 복수개의 CoI들 중 현재 사용자가 위치하는 CoI를 파악하고, 이동 경로 모델에 포함된 이동 확률에 기반하여 다음에 이동할 CoI를 예측할 수 있다. For example, the CoI of the current user among the plurality of CoIs can be identified through the sensor information, and the CoI to be moved next can be predicted based on the movement probability included in the movement path model.

이 때, 사용자의 위치가 복수개의 CoI들 중 어느 위치에도 해당하지 않는 경우, 이전에 위치했던 CoI와 이동할 확률을 기준으로 현재 이동 경로를 예측할 수 있다. In this case, when the user's location does not correspond to any of the plurality of CoIs, the current movement route can be predicted based on the CoI and the probability of moving.

즉, 사용자의 걸음걸이를 인식하기 위한 인식 요청 시점에 사용자가 어느 곳에 위치하는지에 따라 현재 이동 경로를 파악하기 위한 동작이 다르게 수행될 수 있다. That is, the operation for grasping the current movement path may be performed differently depending on where the user is located at the time of the recognition request for recognizing the user's walking.

예를 들어, 도 7 내지 도 8을 참조하면, 사용자 걸음걸이를 인식하기 위한 인식 요청은 도 7과 같이 사용자가 특정 CoI에 속해있는 시점에 발생하거나, 도 8과 같이 사용자가 특정 CoI에 속해있지 않은 시점에 발생할 수 있다. For example, referring to FIG. 7 to FIG. 8, a recognition request for recognizing a user's gait is generated when a user belongs to a specific CoI as shown in FIG. 7, or when a user belongs to a specific CoI Can occur.

만약, 도 7과 같이 사용자가 특정 CoI에 속해있는 시점에 인식 요청이 발생하였다면, 사용자에 해당하는 이전 CoI와 현재 CoI가 무엇인지 알 수 있으므로 사용자에 해당하는 CoI 세션 또한 알 수 있다. 따라서, 소지 위치 모델을 기반으로 파악된 소지 위치에 따라 걸음걸이 모델 그룹에서 적절한 걸음걸이 모델을 선택하고, 선택한 걸음걸이 모델을 기반으로 사용자의 걸음걸이를 인식할 수 있다.As shown in FIG. 7, if a recognition request is generated at a time when the user belongs to a specific CoI, it is possible to know what the previous CoI and the current CoI corresponding to the user are, and thus the CoI session corresponding to the user can also be known. Accordingly, it is possible to select an appropriate gait model in the gait model group according to the detected position based on the perceived position model, and to recognize the user's gait based on the selected gait model.

그러나, 도 8과 같이 사용자가 특정 CoI에 속해있지 않은 시점에 인식 요청이 발생한 경우, 사용자에 해당하는 CoI 세션을 특정할 수 없기 때문에 걸음걸이 모델 역시 특정할 수 없다. 따라서, 이러한 경우에는 사용자의 이전 CoI가 어느 곳이었는지를 기반으로 CoI 세션을 예측하고, 예측된 결과에 따라 걸음걸이 인식을 수행할 수 있다.However, if a recognition request is generated at a time when the user does not belong to a specific CoI as shown in FIG. 8, the gauge model can not be specified because the CoI session corresponding to the user can not be specified. Therefore, in such a case, the CoI session can be predicted based on the user's previous CoI, and the gait recognition can be performed according to the predicted result.

즉, 도 8과 같이 사용자가 CoI 1에서 어딘가로 이동 중인 상황에 걸음걸이 인식을 요청하는 경우에는 먼저, CoI 1에서 이동 가능한 CoI 2와 CoI 3에 대해 각각의 이동 확률을 확인할 수 있다. 만약 각각의 이동 확률이 0보다 큰 경우, CoI 1에서 CoI 2로 이동하기 위한 CoI 세션에 대응되고 소지 위치가 HAND_1인 걸음걸이 모델 및 CoI 1에서 CoI 3으로 이동하기 위한 CoI 세션에 대응되고 소지 위치가 HAND_1인 걸음걸이 모델을 각각 참조할 수 있다.That is, when the user requests the gait recognition in a state where the user is moving from CoI 1 to CoI 1 as shown in FIG. 8, the movement probabilities for CoI 2 and CoI 3 that can be moved in CoI 1 can be checked first. If each movement probability is greater than 0, it corresponds to a CoI session for moving from CoI 1 to CoI 2, corresponds to a walking model with a home location of HAND_1, and a CoI session for moving from CoI 1 to CoI 3, Quot; HAND_1 ", respectively.

이 때, 이전에 위치했던 CoI에 해당하는 적어도 하나의 CoI 세션에 대한 이동 확률이 기설정된 기준 확률 이상일 경우, 적어도 하나의 CoI 세션에 상응하는 이동 경로를 현재 이동 경로로 예측할 수 있다. At this time, if the movement probability for at least one CoI session corresponding to the previously located CoI is equal to or greater than a predetermined reference probability, the movement path corresponding to at least one CoI session can be predicted by the current movement path.

예를 들어, 기설정된 기준 확률이 0.5라고 가정한다면, 도 8과 같은 경우에는 CoI 1에서 CoI 2로 이동하는 경우에 대한 걸음걸이 모델만 이용하여 사용자의 걸음걸이를 인식할 수 있다.For example, assuming that the predetermined reference probability is 0.5, in the case of FIG. 8, it is possible to recognize the user's step by using only the gait model for the case of moving from CoI 1 to CoI 2.

다른 예를 들어, CoI 1에서 CoI 2로 이동할 확률이 CoI 1에서 CoI 3으로 이동할 확률보다 일정 기준 이상으로 높다면, CoI 2에 해당하는 걸음걸이 모델만을 사용하여 사용자의 걸음걸이를 인식할 수 있다.For another example, if the probability of moving from CoI 1 to CoI 2 is higher than a certain criterion than the probability of moving from CoI 1 to CoI 3, the user can recognize the user's gait using only the gait model corresponding to CoI 2 .

다른 예를 들어, 도 8과 같은 상황에서 CoI 1에서 CoI 2로 이동하는 경우의 걸음걸이 모델과 CoI 1에서 CoI 3으로 이동하는 경우의 걸음걸이 모델을 모두 참조할 수도 있다. 이 때, 복수개의 걸음걸이 모델들을 사용하기 위해서는 각각의 걸음걸이 모델에 의한 걸음걸이 인식 결과에 각 CoI별 이동 확률만큼의 가중치를 주어서 최종 인식 결과를 도출할 수도 있다.For another example, both the gait model for moving from CoI 1 to CoI 2 and the gait model for moving from CoI 1 to CoI 3 may be referred to in the situation shown in FIG. 8. At this time, in order to use a plurality of gait models, a final recognition result may be derived by assigning a weight to a gait recognition result by each gait model as much as a movement probability per each CoI.

이 때, 소지 위치 모델, 현재 이동 경로 및 센서 정보 중 적어도 하나를 고려하여 사용자 단말의 현재 소지 위치를 파악할 수 있다. At this time, it is possible to grasp the current location of the user terminal in consideration of at least one of the location location model, the current movement route, and the sensor information.

이 때, 현재 이동 경로에 상응하는 현재 CoI 세션을 검출하고, 복수개의 소지 위치 모델들 중 현재 CoI 세션에 해당하는 적어도 하나의 소지 위치 모델과 센서 정보를 비교하여 현재 소지 위치를 파악할 수 있다.At this time, the current CoI session corresponding to the current movement path can be detected, and the current location can be grasped by comparing the sensor information with at least one location location model corresponding to the current CoI session among the plurality of location location models.

이 때, 사용자 단말의 소지 위치를 파악하기 위해 수집된 센서 정보로부터 소지 위치 분류를 위한 특징을 추출할 수 있고, 추출된 특징과 선택된 소지 위치 모델과의 유사도 또는 거리를 기반으로 소지 위치를 추론할 수 있다. 예를 들어, 최근접 이웃법(Nearest Neighbor), 서포트 벡터 머신(Support Vector Machine) 및 결정 트리 등 다양한 분류기를 사용하여 소지 위치를 추론할 수 있다. At this time, a feature for classifying the location of the user can be extracted from the collected sensor information to grasp the location of the user terminal, and the location of the location can be inferred based on the similarity or distance between the extracted feature and the selected location model . For example, it is possible to deduce the location of the location using various classifiers such as Nearest Neighbor, Support Vector Machine, and decision tree.

이 때, 현재 CoI 세션에 해당하는 하나의 CoI 세션에 대해 복수개의 소지 위치 모델들이 검출될 수 있으며, 검출된 복수개의 소지 위치 모델들은 해당하는 소지 위치에 따라 CoI 세션과 소지 위치 세션의 계층적 구조로 표현될 수 있다.At this time, a plurality of base location models may be detected for one CoI session corresponding to the current CoI session, and the detected plurality of base location models may be classified into a CoI session and a hierarchical structure of the base location session . ≪ / RTI >

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 걸음걸이 인식 방법은 네트워크와 같은 통신망을 통해 걸음걸이 인식을 위해 필요한 정보를 송수신할 수 있다. In addition, although not shown in FIG. 2, the gait recognition method according to an embodiment of the present invention can transmit / receive information necessary for gait recognition through a communication network such as a network.

이와 같은 걸음걸이 인식 방법을 이용함으로써, 모바일 기기의 다양한 센서 정보를 이용하여 이동 경로를 파악하고, 이동 경로 내에서의 기기의 소지 위치를 고려하여 걸음걸이를 인식함으로써 걸음걸이 인식의 정확도를 향상시킬 수 있다.By using the gait recognition method, it is possible to identify the movement route by using various sensor information of the mobile device and to improve the accuracy of the gait recognition by recognizing the gait taking into account the position of the device in the movement route .

또한, 걸음걸이 인식에 기반한 무자각 인증을 구현할 수 있으며, 나아가 이동 경로에 기반한 사용자 인증 기법과 결합되어 새로운 무자각 멀티팩터 인증을 구현할 수도 있다.In addition, it is possible to implement non - aware authentication based on gait recognition, and furthermore, it can be combined with user authentication technique based on movement route to implement new non - aware multi - factor authentication.

도 9는 본 발명의 일실시예에 따른 걸음걸이 인식을 위한 사용자 단말을 나타낸 블록도이다.9 is a block diagram illustrating a user terminal for gait recognition according to an embodiment of the present invention.

도 9를 참조하면, 본 발명의 일실시예에 따른 걸음걸이 인식을 위한 사용자 단말은 통신부(910), 메모리(920) 및 프로세서(930)를 포함한다.Referring to FIG. 9, a user terminal for gait recognition according to an embodiment of the present invention includes a communication unit 910, a memory 920, and a processor 930.

통신부(910)는 네트워크와 같은 통신망을 통해 걸음걸이 인식을 위해 필요한 정보를 송수신하는 역할을 한다.The communication unit 910 transmits and receives information necessary for gait recognition through a communication network such as a network.

메모리(920)는 사용자 단말에 포함된 하나 이상의 센서로부터 수집되는 센서 정보를 고려하여 검출된 복수개의 CoI(Context of Interest)들을 기반으로 생성된 사용자에 대한 이동 경로 모델, 센서 정보를 이용하여 생성된 사용자 단말에 대한 소지 위치 모델 및 이동 경로 모델과 소지 위치 모델을 조합하여 생성된 걸음걸이 모델 그룹을 저장한다.The memory 920 may include a movement path model for a user created based on a plurality of contexts of interest (CoI) detected in consideration of sensor information collected from one or more sensors included in the user terminal, And stores the generated gait model group by combining the location location model for the user terminal and the movement route model and the location location model.

프로세서(930)는 하나 이상의 센서로부터 수집되는 센서 정보를 고려하여 생성된 복수개의 CoI(Context of Interest)들을 기반으로 사용자에 대한 이동 경로 모델을 생성한다.The processor 930 generates a movement path model for a user based on a plurality of contexts of interest (CoI) generated in consideration of sensor information collected from one or more sensors.

이 때, CoI(Context of Interest)는 사용자가 자주 방문하는 장소나 위치에 해당하는 것으로, 예를 들어 와이파이(Wi-Fi)나 블루투스(Bluetooth) 등의 센서 정보를 바탕으로 생성될 수 있다. 특히, CoI 생성을 위해 와이파이 핑거프린트(Wi-Fi Fingerprint) 정보가 사용될 수도 있다. 와이파이 핑거프린트 정보는 특정 위치에서 주변의 와이파이 액세스포인트(Wi-Fi AP) 목록 및 신호세기를 포함하는 정보이며, 실내 위치를 파악하는데 널리 사용되고 있다.At this time, the CoI (Context of Interest) corresponds to a location or location frequently visited by the user and can be generated based on sensor information such as Wi-Fi or Bluetooth, for example. In particular, Wi-Fi fingerprint information may be used for CoI generation. The Wi-Fi fingerprint information is information that includes Wi-Fi AP list and signal strength around the Wi-Fi AP at a specific location, and is widely used to identify the indoor location.

또한, CoI 생성은 와이파이 핑거프린트의 유사도를 기준으로 하는 클러스터링 기법을 적용함으로써 사용자가 자주 방문하거나 오래 머무르는 위치를 파악할 수도 있다.In addition, CoI generation can be applied to clustering based on the similarity of WiFi fingerprints, so that users can know where they visit frequently or stay longer.

이 때, CoI의 범위는 와이파이 핑거프린트의 유사도 측정 기법 및 클러스터링 기법에 따라 달라질 수 있으며, 수 미터에서 십여 미터까지 다양하게 나타날 수 있다. In this case, the CoI range may vary depending on the similarity measurement technique of the WiFi fingerprint and the clustering technique, and may vary from several meters to a few tens meters.

예를 들어, CoI는 사용자의 이동 경로 중에서 집, 회사 사무실, 회의실, 화장실, 휴게실, 편의점, 카페, 마트, 학교 등 사용자가 자주 방문하는 장소를 포함할 수 있다.For example, CoI may include places that users frequently visit, such as a home, a company office, a conference room, a toilet, a rest room, a convenience store, a café, a mart, a school, and the like.

이 때, 복수개의 CoI들은 센서 정보를 기반으로 추출 가능한 모든 위치들 중 사용자가 기설정된 기준 조건에 상응하게 머무른 위치일 수 있다. In this case, the plurality of CoIs may be positions where the user has stayed in correspondence with predetermined reference conditions among all extractable positions based on the sensor information.

예를 들어, 기설정된 기준 조건이 같은 위치에서 1시간이상 머무르는 것이라고 가정할 경우, 사용자가 특정 위치 A에서 이동하지 않고 1시간 이상 머무르는 경우에 위치 A를 사용자에 대한 CoI로 생성할 수 있다.For example, assuming that the preset reference condition stays at the same position for more than one hour, the position A can be created as CoI for the user if the user stays at the specific position A for at least one hour without moving.

다른 예를 들어, 기설정된 기준 조건이 같은 위치에 3번 이상 방문하되, 한번 방문할 때에 1시간 이상 머무르는 것이라고 가정할 경우, 사용자가 특정 위치 A에 3번 방문하되, 방문할 때마다 1시간 이상 머물렀을 경우에만 위치 A를 사용자에 대한 CoI로 생성할 수도 있다.In another example, assuming that the predetermined reference condition is to visit at least three times in the same location, but staying at the same place for more than one hour, the user visits the specific location A three times, The location A may be created as a CoI for the user only when the user has stayed.

이 때, 특정 위치가 CoI로 생성되기 위한 조건은 시간이나 빈도 이외에도 다양하게 설정될 수 있으며, 상기의 예시에 한정되지 않는다.In this case, the condition for generating the specific position as the CoI may be variously set in addition to the time and frequency, and is not limited to the above example.

이 때, 센서 정보에 포함된 시간 정보를 기반으로 복수개의 CoI들 간의 이동 경로에 해당하는 복수개의 CoI 세션들을 검출하고, 복수개의 CoI 세션들 각각을 이용하여 이동할 확률을 복수개의 CoI 세션들에 각각 적용하여 이동 경로 모델을 생성할 수 있다. 즉, 센서 정보는 시간 정보를 포함할 수 있기 때문에 센서 정보를 CoI에 속하는 부분과 CoI에 속하지 않는 부분으로 구분할 수 있다. 이 때, CoI에 속하는 시간은 사용자가 CoI에 머물고 있는 시간으로 판단할 수 있으며, CoI 간의 순차적인 변화는 사용자의 이동 경로인 CoI 세션으로 판단할 수 있다.At this time, a plurality of CoI sessions corresponding to a movement path between a plurality of CoIs are detected based on time information included in the sensor information, and a probability of moving using each of the plurality of CoI sessions is detected in a plurality of CoI sessions To generate a movement path model. That is, since the sensor information may include time information, the sensor information can be divided into a part belonging to CoI and a part not belonging to CoI. At this time, the time belonging to the CoI can be determined as the time that the user is staying in the CoI, and the sequential change between the CoIs can be determined as the CoI session, which is the movement path of the user.

예를 들어, 사용자가 집에서 회사 사무실로 출근하고, 회사 회의실에서 회의를 하고, 회사 회의실에서 화장실을 가는 등의 일련의 순차적인 이동 경로를 "CoI 1, CoI 아님, CoI 2, CoI 아님, CoI 3"으로 표현할 수 있다. 이 때, 각각의 CoI 사이에 CoI가 아닌 구간을 CoI 세션이라고 명명할 수 있다. 따라서, CoI 세션은 출발 CoI 식별자, 도착 CoI 식별자, 출발 시각, 도착 시각을 포함할 수 있다. For example, a series of sequential travel paths such as a user going to a company office at home, meeting in a company meeting room, going to a toilet in a company meeting room is referred to as "CoI 1, CoI, CoI 2, CoI, CoI 3 ". In this case, a period other than CoI between each CoI can be called a CoI session. Thus, the CoI session may include a starting CoI identifier, an arrival CoI identifier, a departure time, and an arrival time.

이 때, CoI 세션은 출발 CoI와 도착 CoI를 고려하여 검출될 수 있다. 예를 들어, CoI 1과 CoI 2가 존재하는 경우, CoI 1에서 CoI 2로 이동하는 경우에 해당하는 CoI 세션과 CoI 2에서 CoI 1로 이동하는 경우에 해당하는 CoI 세션이 각각 검출될 수 있다.At this time, the CoI session can be detected in consideration of the start CoI and the arrival CoI. For example, when CoI 1 and CoI 2 exist, a CoI session corresponding to movement from CoI 1 to CoI 2 and a CoI session corresponding to movement from CoI 2 to CoI 1 can be detected, respectively.

도 3에 도시된 도면을 바탕으로 설명하면, CoI 세션은 도 3에 도시된 것과 같이 CoI 간의 이동 구간에 해당할 수 있다. 이 때, 도 3은 사용자의 센서 정보로부터 CoI 1(310, CoI 2(320) 및 CoI 3(330)에 해당하는 세 개의 CoI가 추출된 경우, 사용자의 이동 경로를 순차적으로 나타낸 것일 수 있다. 이 때, 도 3에 도시된 CoI 1(310)과 CoI 2(320) 사이의 이동 구간, CoI 2(320)와 CoI 3(330) 사이의 이동 구간, CoI 3(330)과 CoI 1(310) 사이의 이동 구간, CoI 1(310)과 CoI 3(330) 사이의 이동 구간, CoI 3(330)과 CoI 2(320) 사이의 이동 구간을 각각 CoI 세션으로 검출할 수 있다. 또한, 도 3에는 도시되지 않았으나, 사용자가 CoI 2(320)에서 CoI 1(310)로 이동하였을 경우에는 CoI 2(320)와 CoI 1(310) 사이의 이동 구간도 CoI 세션으로 검출할 수 있다.Referring to FIG. 3, the CoI session may correspond to a movement interval between CoIs as shown in FIG. 3, if three CoIs corresponding to CoI1 310, CoI2 320 and CoI3 330 are extracted from the sensor information of the user, the path may sequentially represent the movement path of the user. In this case, a moving interval between CoI 1 310 and CoI 2 320, a moving interval between CoI 2 320 and CoI 3 330, a moving interval between CoI 3 330 and CoI 1 310 A moving interval between CoI1 310 and CoI3 330 and a moving interval between CoI3 330 and CoI2 320 can be detected as a CoI session. 3, if the user moves from the CoI 2 320 to the CoI 1 310, a moving interval between the CoI 2 320 and the CoI 1 310 can also be detected as a CoI session.

이 때, 복수개의 CoI 세선들 각각을 이용하여 이동할 확률은 복수개의 CoI들 간의 이동 정보를 기반으로 산출될 수 있다. 예를 들어, CoI 1, CoI 2, CoI 3이 존재하고, CoI 1에서 CoI 2나 CoI 3으로 이동이 가능하다고 가정할 수 있다. 이 때, 사용자가 CoI 1에서 이동한 횟수가 10번이고, 10번 중 3번은 CoI 2로, 10번 중 7번은 CoI 3으로 이동하였다면, CoI 1에서 CoI 2로 이동하는 경우에 해당하는 CoI 세션의 이동 확률은 30%로 산출될 수 있고, CoI 1에서 CoI 3으로 이동하는 경우에 해당하는 CoI 세션의 이동 확률은 70%로 산출될 수 있다.At this time, the probability of movement using each of the plurality of CoI thin lines may be calculated based on movement information between a plurality of CoIs. For example, it can be assumed that CoI 1, CoI 2, and CoI 3 exist, and CoI 1 to CoI 2 or CoI 3 migration is possible. In this case, if the number of movements of the user from CoI 1 is 10, CoI 2 of 3 is moved to CoI 3, and 7 of 10 is moved to CoI 3, the corresponding CoI session Can be calculated as 30%, and the movement probability of the CoI session corresponding to the movement from CoI 1 to CoI 3 can be calculated as 70%.

도 4에 도시된 도면을 바탕으로 설명하면, 본 발명의 일실시예에 따른 이동 경로 모델은 도 4에 도시된 것과 같이 복수개의 CoI 세션들(311, 312, 321, 322, 331, 332)을 이용하여 이동할 확률을 포함할 수 있다. 즉, 도 3에 도시된 복수개의 순차적인 이동 경로를 통계적으로 분석하여 도 4와 같이 각 CoI에서 다른 CoI로 이동할 확률을 나타낼 수 있다. 4, a movement path model according to an exemplary embodiment of the present invention includes a plurality of CoI sessions 311, 312, 321, 322, 331, and 332 as shown in FIG. And may include the probability of movement using. That is, a plurality of sequential movement paths shown in FIG. 3 are statistically analyzed to indicate the probability of moving from each CoI to another CoI as shown in FIG.

예를 들어, CoI 1(310)의 경우, CoI 2(320)로 이동할 확률이 0.7, CoI 3(330)으로 이동할 확률이 0.3임을 알 수 있다. 즉, CoI 세션(311)을 통해 이동할 확률이 0.7이고, CoI 세션(312)을 통해 이동할 확률이 0.3임을 알 수 있다. 또한, 다른 CoI의 경우도 이동 경로 모델에 도시된 이동 확률을 통해 다음 이동할 CoI를 예측할 수 있다. For example, in the case of CoI 1 310, the probability of moving to CoI 2 320 is 0.7 and the probability of moving to CoI 3 330 is 0.3. That is, the probability of moving through the CoI session 311 is 0.7 and the probability of moving through the CoI session 312 is 0.3. Also, in the case of other CoI, the CoI to be moved next can be predicted through the movement probability shown in the movement path model.

이 때, 이동 경로 모델링 방법은 마코프 모델(Markov Model) 또는 은닉 마코프 모델(Hidden Markov Model)을 포함할 수 있다.In this case, the moving path modeling method may include a Markov Model or a Hidden Markov Model.

일반적으로 사용자의 걸음걸이는 이동 경로, 바닥면 상태, 경사도 등에 의해 영향을 받을 수 있다. 예를 들어, 사용자의 이동 경로가 직선인지 곡선인지에 따라 영향을 받을 수 있으며, 바닥면이 포장도로인지 비포장 도로인지 또는 계단인지 평지인지에 따라 사용자의 걸음걸이 패턴이 달라질 수 있다. 따라서, 사용자의 걸음걸이를 모델링하기 위해서는 모든 이동 경로에 대한 사전 지식이 필요하지만, 현실적으로는 구현이 어렵다는 문제점이 있었다. Generally, the user's gait can be influenced by movement path, floor condition, slope, and so on. For example, it can be influenced by whether the user's movement path is a straight line or a curve, and the user's walking pattern may vary depending on whether the floor is a paved road, an unpaved road, a stair or a flat ground. Therefore, in order to model the user's gait, it is necessary to acquire prior knowledge of all the movement routes, but there is a problem in that implementation is difficult in practice.

이러한 문제점을 해결하기 위해, 본 발명에서는 상기와 같이 CoI 세션에 기반하여 생성된 이동 경로 모델을 이용하여 사용자의 걸음걸이를 모델링함으로써 이동 경로상의 특성을 반영하여 걸음걸이를 인식할 수 있다. In order to solve such a problem, in the present invention, the gait of the user is modeled by using the movement path model generated based on the CoI session, so that the gait can be recognized by reflecting the characteristics on the movement route.

또한, 프로세서(930)는 센서 정보를 이용하여 사용자 단말에 대한 소지 위치 모델을 생성한다.In addition, the processor 930 generates a hand position location model for the user terminal using the sensor information.

이 때, 센서 정보는 사용자 단말에 구비된 하나 이상의 센서를 통해 수집되는 정보이므로 사용자가 사용자 단말을 소지하는 위치에 따라 측정되는 센서 정보의 특징들이 다르게 나타날 수 있다. 예를 들어, 사용자 단말에 해당하는 모바일 기기를 손에 들고 걸어갈 때와 모바일 기기를 주머니에 넣고 걸어갈 때, 사용자의 걸음걸이 자체는 유사할 수 있지만 모바일 기기를 통해 측정되는 걸음걸이 패턴은 달라질 수 있다. In this case, since the sensor information is collected through one or more sensors provided in the user terminal, characteristics of the sensor information measured according to the position where the user carries the user terminal may appear differently. For example, when the mobile device corresponding to the user terminal is hand held and the mobile device is pushed in the pocket, the user's gait can be similar, but the gait pattern measured through the mobile device is different .

따라서, 본 발명에서는 사용자 단말의 소지 위치를 반영하여 걸음걸이를 모델링함으로써 소지 위치에 따라 걸음걸이 패턴이 다르게 파악되는 특성을 반영하여 걸음걸이를 인식할 수 있다. Therefore, in the present invention, the gait is modeled by reflecting the position of the user terminal, so that the gait can be recognized by reflecting the gait pattern being differently recognized according to the position of the user.

이 때, 센서 정보를 기반으로 복수개의 CoI 세션들 각각에 대해 적어도 하나의 소지 위치를 검출하고, 복수개의 CoI 세션들을 적어도 하나의 소지 위치와 조합하여 복수개의 소지 위치 모델들을 생성할 수 있다. 즉, 소지 위치 모델은 CoI 세션과 해당 CoI 세션에서 검출되는 소지 위치의 조합에 상응하게 생성될 수 있다. At this time, it is possible to detect at least one handover location for each of a plurality of CoI sessions based on the sensor information, and generate a plurality of handover location models by combining a plurality of CoI sessions with at least one handover location. That is, the handover location model can be generated corresponding to the combination of the CoI session and the location location detected in the corresponding CoI session.

예를 들어, 사용자 A가 CoI 1에서 CoI 2로 이동할 때에는 사용자 단말을 손에 들고 이동한 것으로 검출되고, CoI 2에서 CoI 3으로 이동할 때에는 사용자 단말을 손에 들고 가다가 주머니에 넣은 것으로 소지 위치가 검출되었다고 가정할 수 있다. 이 때, CoI 1에서 CoI 2로 향하는 CoI 세션에 대해 HAND_1에 해당하는 소지 위치 모델을 생성하고, CoI 2에서 CoI 3으로 향하는 CoI 세션에 대해 HAND_1과 POCKET_1에 해당하는 두 개의 소지 위치 모델을 생성할 수 있다.For example, when the user A moves from CoI 1 to CoI 2, it is detected that the user terminal is moved by hand. When the user moves from CoI 2 to CoI 3, when the user terminal moves from CoI 2 to CoI 3, . At this time, a hand position model corresponding to HAND_1 is generated for a CoI session from CoI1 to CoI2, and two hand position models corresponding to HAND_1 and POCKET_1 are generated for a CoI session from CoI2 to CoI3 .

이 때, 소지 위치 모델은 사용자가 걷고 있을 때에 해당하는 센서 정보를 이용하여 생성될 수 있다. 즉, 본 발명에서는 사용자의 걸음걸이를 인식해야 하므로, 사용자가 특정한 CoI에 머무르는 경우에 수집되는 센서 정보를 분석하는 행위는 불필요한 시스템 부하를 가중시키는 것일 수 있다.At this time, the hand position model can be generated using the corresponding sensor information when the user is walking. That is, in the present invention, it is necessary to recognize the user's walking. Therefore, analyzing the sensor information collected when the user stays at a specific CoI may increase the unnecessary system load.

따라서, 본 발명에서는 사용자 단말에 포함된 하나 이상의 센서로부터 수집되는 센서 정보 중 사용자가 걷고 있는 것으로 판단되는 일부분의 센서 정보만을 분석하여 소지 위치 모델을 생성할 수 있다. Accordingly, in the present invention, it is possible to generate the base location model by analyzing only a part of the sensor information that is determined that the user is walking among the sensor information collected from the at least one sensor included in the user terminal.

이 때, 센서 정보를 분석하여 사용자 단말의 소지 위치를 복수개의 제1 위치들로 1차 분류하고, 센서 정보의 클러스터링을 기반으로 복수개의 제1 위치들을 각각 복수개의 제2 위치들로 2차 분류하여 적어도 하나의 소지 위치를 검출할 수 있다.At this time, by analyzing the sensor information, the base position of the user terminal is firstly classified into a plurality of first positions, and based on the clustering of the sensor information, a plurality of first positions are classified into a plurality of second positions So that at least one base position can be detected.

이 때, 클러스터링 기법을 활용함으로써 사용자의 옷차림이나 습관에 따라 나타날 수 있는 다양한 소지 위치를 세세하게 분류할 수 있다. In this case, by using the clustering technique, it is possible to finely classify the various positions that can appear depending on the user's attire or habit.

예를 들어, 사용자의 손이나 주머니와 같이 비교적 구분의 기준이 명확한 위치들은 범용적인 결정트리를 생성하여 1차 분류할 수 있다. 이 후, 클러스터링을 통해 1차 분류된 손이 왼손인지 오른손인지 또는 1차 분류된 주머니가 바지 옆 주머니인지 뒷 주머니인지를 분류하는 방식으로 2차 분류를 수행할 수 있다.For example, locations with relatively clear criteria, such as a user's hand or pocket, can be classified by a generic decision tree. After that, secondary classification can be performed by clustering to classify whether the primary classified hand is the left or right hand, or whether the primary classified pouch is the pouch side pouch or the back pouch.

이 때, 제1 위치가 손으로 분류된 경우, 왼손인지 오른손인지 또는 사용자의 가슴 앞에서 사용자 단말을 사용 중인지에 따라 걸음걸이를 인식하기 위한 센서 정보들이 다르게 나타날 수 있다. 또한, 제1 위치가 주머니로 분류된 경우, 바지 옆 주머니인지 뒷주머니인지 또는 상의 주머니인지에 따라 센서 정보들이 다르게 나타날 수 있다. In this case, when the first position is classified by hand, the sensor information for recognizing the stepping may be displayed differently depending on whether the user's terminal is in front of the user's chest or the left hand or the right hand. In addition, when the first position is classified as a pocket, the sensor information may be different depending on whether the pocket is a side pouch, a back pocket, or an upper pocket.

따라서, 소지 위치를 세세하게 모델링하여 소지 위치 모델을 생성할수록 사용자의 걸음걸이를 보다 정확하게 인식할 수 있다.Therefore, it is possible to more precisely recognize the user's gait as the sub-location model is finely modeled to generate the sub-location model.

이 때, 가속도, 자이로스코프, 방향 및 조도 중 적어도 하나를 고려하여 사용자 단말의 소지 위치를 1차 분류할 수 있다.  At this time, it is possible to first sort the position of the user terminal in consideration of at least one of the acceleration, the gyroscope, the direction and the illuminance.

예를 들어, 조도 센서에 의한 조도 정보를 이용하여 사용자 단말이 손에 있는지 또는 주머니에 있는지 등을 구분하여 1차 분류할 수 있다. For example, it is possible to classify the user terminal in the hand or pocket or the like by firstly classifying the user terminal using the illuminance information by the illuminance sensor.

따라서, 본 발명의 일실시예에 따른 사용자 단말은 가속도 센서, 자이로스코프 센서, 방향 센서 및 조도 센서 중 적어도 하나를 포함할 수 있다.Accordingly, a user terminal according to an exemplary embodiment of the present invention may include at least one of an acceleration sensor, a gyroscope sensor, a direction sensor, and an illuminance sensor.

또한, 프로세서(930)는 이동 경로 모델과 소지 위치 모델을 조합하여 사용자에 대한 걸음걸이 모델 그룹을 생성한다.In addition, the processor 930 generates a gait model group for the user by combining the movement path model and the base location model.

이 때, 이동 경로 모델에 상응하는 복수개의 CoI 세션들과 소지 위치 모델에 상응하는 복수개의 소지 위치 세션들을 각각 조합하여 복수개의 걸음걸이 모델들을 생성하여 걸음걸이 모델 그룹에 포함시킬 수 있다. 따라서, 걸음걸이 모델 그룹을 구성하는 개별적인 걸음걸이 모델은 각각 이동 경로와 사용자 단말의 소지 위치를 반영할 수 있다.In this case, a plurality of gait models can be generated by combining a plurality of CoI sessions corresponding to the movement path model and a plurality of location locations corresponding to the location model, respectively, and included in the gait model group. Thus, the individual gait models constituting the gait model group can reflect the movement route and the location of the user terminal, respectively.

이 때, 소지 위치 세션은 해당 CoI 세션에서 검출된 소지 위치에 대한 구간을 의미할 수 있다. 예를 들어, CoI 1에서 CoI 2로 향하는 CoI 세션에서 오른손과 왼손 각각에 대한 소지 위치 세션이 존재하는 경우, 소지 위치가 오른손으로 검출된 구간에 대한 소지 위치 세션과 소지 위치가 왼손으로 검출된 구간에 대한 소지 위치 세션이 각각 생성될 수 있다.In this case, the handover location session may refer to a segment of the handover location detected in the corresponding CoI session. For example, in a CoI session from CoI 1 to CoI 2, if there is a handover location session for each of the right and left hands, the handover location session for the handover location detected with the right hand and the handover location A location location session may be generated for each location.

이 때, 복수개의 걸음걸이 모델들은 모두 서로 상이한 CoI 세션과 소지 위치 세션의 조합을 가질 수 잇다. At this time, a plurality of gait models may have different combinations of CoI session and location location session.

예를 들어, A1, A2, A3에 상응하는 3개의 CoI 세션들이 존재하고, B1, B2에 상응하는 2개의 소지 위치 세션들이 존재한다고 가정할 수 있다. 이 때, 생성 가능한 걸음걸이 모델의 조합은 A1-B1, A1-B2, A2-B1, A2-B2, A3-B1, A3-B2에 상응할 수 있다.For example, it can be assumed that there are three CoI sessions corresponding to A1, A2, A3, and there are two sub-location sessions corresponding to B1, B2. At this time, the combination of the generated gait models may correspond to A1-B1, A1-B2, A2-B1, A2-B2, A3-B1 and A3-B2.

즉, 본 발명에 따른 걸음걸이 모델은 이동 경로 모델에 따른 이동 경로와 소지 위치 모델에 따른 소지 위치를 모두 고려하여 생성됨으로써 같은 소지 위치라도 이동 경로가 다르면 다른 걸음걸이 모델로 생성될 수 있다. That is, the gait model according to the present invention is generated considering both the movement route according to the movement route model and the location according to the location location model, so that the same walking location can be created as a different gait model if the movement route is different.

예를 들어, 도 5에 도시된 도면을 참조하면, 소지 위치 세션이 HAND_1인 경우는 CoI 1에서 CoI 2로 향하는 CoI 세션과 CoI 2에서 CoI 3으로 향하는 CoI 세션에 각각 한번씩 총 두 번 존재하는 것을 알 수 있다. 만약 CoI 세션 정보가 없다면, HAND_1에 대한 걸음걸이 모델은 하나만 생성될 수 있다. 그러나 본 발명에서는 CoI 1에서 CoI 2로 이동하는 경로와, CoI 2에서 CoI 3으로 이동하는 경로에 해당하는 두 개의 CoI 세션이 있기 때문에 소지 위치 세션이 HAND_1로 동일하더라도 걸음걸이 모델은 A2와 B1으로 다르게 모델링 될 수 있다. For example, referring to the diagram shown in FIG. 5, when the handover location session is HAND_1, the coexistence of a CoI session from CoI 1 to CoI 2 and a CoI session from CoI 2 to CoI 3, Able to know. If there is no CoI session information, only one gait model for HAND_1 can be generated. However, in the present invention, since there are two CoI sessions corresponding to a path from CoI 1 to CoI 2 and a path from CoI 2 to CoI 3, even if the handover location session is the same as HAND_1, Can be modeled differently.

따라서, 결과적으로 도 6에 도시된 메모리(610)와 같이 CoI 세션과 소지 위치 세션에 따른 계층적인 걸음걸이 모델을 생성하여 저장할 수 있다.As a result, a hierarchical gait model according to the CoI session and the home location session can be generated and stored like the memory 610 shown in FIG.

또한, 프로세서(930)는 이동 경로 모델과 소지 위치 모델을 기반으로 걸음걸이 모델 그룹 중 사용자에게 적용할 걸음걸이 모델을 선택하고, 선택된 걸음걸이 모델을 적용하여 사용자의 걸음걸이를 인식한다.In addition, the processor 930 selects a gait model to be applied to the user among the gait model groups based on the movement path model and the hand position model, and recognizes the user's gait by applying the selected gait model.

이 때, 현재 이동 경로 상에서 수집된 센서 정보로부터 걸음걸이를 인식하기 위한 특징을 추출하고, 추출된 특징을 사용자에게 적합하게 선택된 걸음걸이 모델과 비교하여 사용자의 걸음걸이를 인식할 수 있다. At this time, the feature for recognizing the gait is extracted from the sensor information collected on the current movement route, and the gait of the user can be recognized by comparing the extracted feature with the gait model suitably selected by the user.

이 때, 메모리(920)에 저장된 걸음걸이 모델 그룹 중 현재 이동 경로와 현재 소지 위치를 조합한 것에 상응하는 걸음걸이 모델을 선택하여 사용할 수 있다.At this time, a gait model corresponding to a combination of the current movement route and the current location among the gait model groups stored in the memory 920 can be selected and used.

이 때, 이동 경로 모델과 센서 정보를 고려하여 복수개의 CoI들을 고려한 현재 이동 경로를 파악할 수 있다. At this time, the current movement path considering a plurality of CoIs can be grasped by considering the movement path model and the sensor information.

예를 들어, 센서 정보를 통해 복수개의 CoI들 중 현재 사용자가 위치하는 CoI를 파악하고, 이동 경로 모델에 포함된 이동 확률에 기반하여 다음에 이동할 CoI를 예측할 수 있다. For example, the CoI of the current user among the plurality of CoIs can be identified through the sensor information, and the CoI to be moved next can be predicted based on the movement probability included in the movement path model.

이 때, 사용자의 위치가 복수개의 CoI들 중 어느 위치에도 해당하지 않는 경우, 이전에 위치했던 CoI와 이동할 확률을 기준으로 현재 이동 경로를 예측할 수 있다. In this case, when the user's location does not correspond to any of the plurality of CoIs, the current movement route can be predicted based on the CoI and the probability of moving.

즉, 사용자의 걸음걸이를 인식하기 위한 인식 요청 시점에 사용자가 어느 곳에 위치하는지에 따라 현재 이동 경로를 파악하기 위한 동작이 다르게 수행될 수 있다. That is, the operation for grasping the current movement path may be performed differently depending on where the user is located at the time of the recognition request for recognizing the user's walking.

예를 들어, 도 7 내지 도 8을 참조하면, 사용자 걸음걸이를 인식하기 위한 인식 요청은 도 7과 같이 사용자가 특정 CoI에 속해있는 시점에 발생하거나, 도 8과 같이 사용자가 특정 CoI에 속해있지 않은 시점에 발생할 수 있다. For example, referring to FIG. 7 to FIG. 8, a recognition request for recognizing a user's gait is generated when a user belongs to a specific CoI as shown in FIG. 7, or when a user belongs to a specific CoI Can occur.

만약, 도 7과 같이 사용자가 특정 CoI에 속해있는 시점에 인식 요청이 발생하였다면, 사용자에 해당하는 이전 CoI와 현재 CoI가 무엇인지 알 수 있으므로 사용자에 해당하는 CoI 세션 또한 알 수 있다. 따라서, 소지 위치 모델을 기반으로 파악된 소지 위치에 따라 걸음걸이 모델 그룹에서 적절한 걸음걸이 모델을 선택하고, 선택한 걸음걸이 모델을 기반으로 사용자의 걸음걸이를 인식할 수 있다.As shown in FIG. 7, if a recognition request is generated at a time when the user belongs to a specific CoI, it is possible to know what the previous CoI and the current CoI corresponding to the user are, and thus the CoI session corresponding to the user can also be known. Accordingly, it is possible to select an appropriate gait model in the gait model group according to the detected position based on the perceived position model, and to recognize the user's gait based on the selected gait model.

그러나, 도 8과 같이 사용자가 특정 CoI에 속해있지 않은 시점에 인식 요청이 발생한 경우, 사용자에 해당하는 CoI 세션을 특정할 수 없기 때문에 걸음걸이 모델 역시 특정할 수 없다. 따라서, 이러한 경우에는 사용자의 이전 CoI가 어느 곳이었는지를 기반으로 CoI 세션을 예측하고, 예측된 결과에 따라 걸음걸이 인식을 수행할 수 있다.However, if a recognition request is generated at a time when the user does not belong to a specific CoI as shown in FIG. 8, the gauge model can not be specified because the CoI session corresponding to the user can not be specified. Therefore, in such a case, the CoI session can be predicted based on the user's previous CoI, and the gait recognition can be performed according to the predicted result.

즉, 도 8과 같이 사용자가 CoI 1에서 어딘가로 이동 중인 상황에 걸음걸이 인식을 요청하는 경우에는 먼저, CoI 1에서 이동 가능한 CoI 2와 CoI 3에 대해 각각의 이동 확률을 확인할 수 있다. 만약 각각의 이동 확률이 0보다 큰 경우, CoI 1에서 CoI 2로 이동하기 위한 CoI 세션에 대응되고 소지 위치가 HAND_1인 걸음걸이 모델 및 CoI 1에서 CoI 3으로 이동하기 위한 CoI 세션에 대응되고 소지 위치가 HAND_1인 걸음걸이 모델을 각각 참조할 수 있다.That is, when the user requests the gait recognition in a state where the user is moving from CoI 1 to CoI 1 as shown in FIG. 8, the movement probabilities for CoI 2 and CoI 3 that can be moved in CoI 1 can be checked first. If each movement probability is greater than 0, it corresponds to a CoI session for moving from CoI 1 to CoI 2, corresponds to a walking model with a home location of HAND_1, and a CoI session for moving from CoI 1 to CoI 3, Quot; HAND_1 ", respectively.

이 때, 이전에 위치했던 CoI에 해당하는 적어도 하나의 CoI 세션에 대한 이동 확률이 기설정된 기준 확률 이상일 경우, 적어도 하나의 CoI 세션에 상응하는 이동 경로를 현재 이동 경로로 예측할 수 있다. At this time, if the movement probability for at least one CoI session corresponding to the previously located CoI is equal to or greater than a predetermined reference probability, the movement path corresponding to at least one CoI session can be predicted by the current movement path.

예를 들어, 기설정된 기준 확률이 0.5라고 가정한다면, 도 8과 같은 경우에는 CoI 1에서 CoI 2로 이동하는 경우에 대한 걸음걸이 모델만 이용하여 사용자의 걸음걸이를 인식할 수 있다.For example, assuming that the predetermined reference probability is 0.5, in the case of FIG. 8, it is possible to recognize the user's step by using only the gait model for the case of moving from CoI 1 to CoI 2.

다른 예를 들어, CoI 1에서 CoI 2로 이동할 확률이 CoI 1에서 CoI 3으로 이동할 확률보다 일정 기준 이상으로 높다면, CoI 2에 해당하는 걸음걸이 모델만을 사용하여 사용자의 걸음걸이를 인식할 수 있다.For another example, if the probability of moving from CoI 1 to CoI 2 is higher than a certain criterion than the probability of moving from CoI 1 to CoI 3, the user can recognize the user's gait using only the gait model corresponding to CoI 2 .

다른 예를 들어, 도 8과 같은 상황에서 CoI 1에서 CoI 2로 이동하는 경우의 걸음걸이 모델과 CoI 1에서 CoI 3으로 이동하는 경우의 걸음걸이 모델을 모두 참조할 수도 있다. 이 때, 복수개의 걸음걸이 모델들을 사용하기 위해서는 각각의 걸음걸이 모델에 의한 걸음걸이 인식 결과에 각 CoI별 이동 확률만큼의 가중치를 주어서 최종 인식 결과를 도출할 수도 있다.For another example, both the gait model for moving from CoI 1 to CoI 2 and the gait model for moving from CoI 1 to CoI 3 may be referred to in the situation shown in FIG. 8. At this time, in order to use a plurality of gait models, a final recognition result may be derived by assigning a weight to a gait recognition result by each gait model as much as a movement probability per each CoI.

이 때, 소지 위치 모델, 현재 이동 경로 및 센서 정보 중 적어도 하나를 고려하여 사용자 단말의 현재 소지 위치를 파악할 수 있다. 즉, At this time, it is possible to grasp the current location of the user terminal in consideration of at least one of the location location model, the current movement route, and the sensor information. In other words,

이 때, 현재 이동 경로에 상응하는 현재 CoI 세션을 검출하고, 복수개의 소지 위치 모델들 중 현재 CoI 세션에 해당하는 적어도 하나의 소지 위치 모델과 센서 정보를 비교하여 현재 소지 위치를 파악할 수 있다.At this time, the current CoI session corresponding to the current movement path can be detected, and the current location can be grasped by comparing the sensor information with at least one location location model corresponding to the current CoI session among the plurality of location location models.

이 때, 사용자 단말의 소지 위치를 파악하기 위해 수집된 센서 정보로부터 소지 위치 분류를 위한 특징을 추출할 수 있고, 추출된 특징과 선택된 소지 위치 모델과의 유사도 또는 거리를 기반으로 소지 위치를 추론할 수 있다. 예를 들어, 최근접 이웃법(Nearest Neighbor), 서포트 벡터 머신(Support Vector Machine) 및 결정 트리 등 다양한 분류기를 사용하여 소지 위치를 추론할 수 있다. At this time, a feature for classifying the location of the user can be extracted from the collected sensor information to grasp the location of the user terminal, and the location of the location can be inferred based on the similarity or distance between the extracted feature and the selected location model . For example, it is possible to deduce the location of the location using various classifiers such as Nearest Neighbor, Support Vector Machine, and decision tree.

이 때, 현재 CoI 세션에 해당하는 하나의 CoI 세션에 대해 복수개의 소지 위치 모델들이 검출될 수 있으며, 검출된 복수개의 소지 위치 모델들은 해당하는 소지 위치에 따라 CoI 세션과 소지 위치 세션의 계층적 구조로 표현될 수 있다.At this time, a plurality of base location models may be detected for one CoI session corresponding to the current CoI session, and the detected plurality of base location models may be classified into a CoI session and a hierarchical structure of the base location session . ≪ / RTI >

또한, 도 9에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 사용자 단말은 상술한 바와 같이 걸음걸이 인식을 위한 기능을 지원하는 별도의 저장 모듈을 포함할 수 있다. 이 때, 저장 모듈은 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수도 있다.Also, although not shown in FIG. 9, the user terminal according to the embodiment of the present invention may include a separate storage module for supporting the function of recognizing the gait. At this time, the storage module may operate as a separate mass storage and may include control functions for performing operations.

한편, 사용자 단말은 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.On the other hand, a user terminal can store information in the device by mounting a memory. In one implementation, the memory is a computer-readable medium. In one implementation, the memory may be a volatile memory unit, and in other embodiments, the memory may be a non-volatile memory unit. In one implementation, the storage device is a computer-readable medium. In various different implementations, the storage device may comprise, for example, a hard disk device, an optical disk device, or any other mass storage device.

이와 같은 사용자 단말을 통해, 모바일 기기의 다양한 센서 정보를 이용하여 이동 경로를 파악하고, 이동 경로 내에서의 기기의 소지 위치를 고려하여 걸음걸이를 인식함으로써 걸음걸이 인식의 정확도를 향상시킬 수 있다.Through such a user terminal, it is possible to improve the accuracy of the gait recognition by recognizing the gait using the various sensor information of the mobile device and recognizing the gait taking into account the position of the device in the gait path.

또한, 걸음걸이 인식에 기반한 무자각 인증을 구현할 수 있으며, 나아가 이동 경로에 기반한 사용자 인증 기법과 결합되어 새로운 무자각 멀티팩터 인증을 구현할 수도 있다.In addition, it is possible to implement non - aware authentication based on gait recognition, and furthermore, it can be combined with user authentication technique based on movement route to implement new non - aware multi - factor authentication.

이상에서와 같이 본 발명에 따른 사용자 단말의 이동 경로와 소지 위치를 이용한 걸음걸이 인식 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the method and apparatus for recognizing the gait using the movement path and the location of the user terminal according to the present invention are not limited to the configuration and method of the embodiments described above, The examples may be constructed by selectively combining all or a part of each embodiment so that various modifications can be made.

110: 사용자 단말 111: 사용자
121~123: Wi-Fi AP 130: 네트워크
310~330: CoI 311, 312, 321, 322, 331, 332: CoI 세션
610, 920: 메모리 910: 통신부
930: 프로세서110: user terminal 111: user
121 ~ 123: Wi-Fi AP 130: Network
310 to 330: CoI 311, 312, 321, 322, 331, 332: CoI session
610, 920: memory 910:
930: Processor

Claims (20)

사용자 단말의 이동 경로와 소지 위치를 이용한 걸음걸이 인식 방법에 있어서,
상기 사용자 단말에 포함된 하나 이상의 센서로부터 수집되는 센서 정보를 고려하여 검출된 복수개의 CoI(Context of Interest)들을 기반으로 사용자에 대한 이동 경로 모델을 생성하는 단계;
상기 센서 정보를 이용하여 상기 사용자 단말에 대한 소지 위치 모델을 생성하는 단계;
상기 이동 경로 모델과 상기 소지 위치 모델을 조합하여 상기 사용자에 대한 걸음걸이 모델 그룹을 생성하는 단계; 및
상기 이동 경로 모델과 상기 소지 위치 모델을 기반으로 상기 걸음걸이 모델 그룹 중 상기 사용자에게 적용할 걸음걸이 모델을 선택하고, 선택된 걸음걸이 모델을 기반으로 상기 사용자의 걸음걸이를 인식하는 단계
를 포함하는 것을 특징으로 하는 걸음걸이 인식 방법.A gait recognition method using a movement path and a location of a user terminal,
Generating a movement path model for a user based on a plurality of Context of Interest (CoI) detected in consideration of sensor information collected from one or more sensors included in the user terminal;
Generating a location location model for the user terminal using the sensor information;
Generating a gait model group for the user by combining the movement path model and the hand position model; And
Selecting a gait model to be applied to the user among the gait model groups based on the movement path model and the hand position model, and recognizing the user's gait based on the selected gait model
Wherein the step of recognizing the gait comprises the steps of: 청구항 1에 있어서,
상기 걸음걸이를 인식하는 단계는
상기 이동 경로 모델과 상기 센서 정보를 고려하여 상기 복수개의 CoI들을 고려한 현재 이동 경로를 파악하는 단계;
상기 소지 위치 모델, 상기 현재 이동 경로 및 상기 센서 정보 중 적어도 하나를 고려하여 상기 사용자 단말의 현재 소지 위치를 파악하는 단계; 및
상기 걸음걸이 모델 그룹 중 상기 현재 이동 경로와 상기 현재 소지 위치를 조합한 것에 상응하는 상기 걸음걸이 모델을 선택하는 단계를 포함하는 것을 특징으로 하는 걸음걸이 인식 방법.The method according to claim 1,
The step of recognizing the gait
Determining a current movement path considering the plurality of CoIs considering the movement path model and the sensor information;
Determining a current location of the user terminal in consideration of at least one of the location location model, the current movement route, and the sensor information; And
And selecting the gait model corresponding to a combination of the current movement route and the current location among the gait model groups. 청구항 2에 있어서,
상기 이동 경로 모델을 생성하는 단계는
상기 센서 정보에 포함된 시간 정보를 기반으로 상기 복수개의 CoI들 간의 이동 경로에 해당하는 복수개의 CoI 세션들을 검출하고, 상기 복수개의 CoI 세션들 각각을 이용하여 이동할 확률을 상기 복수개의 CoI 세션들에 각각 적용하여 상기 이동 경로 모델을 생성하는 것을 특징으로 하는 걸음걸이 인식 방법.The method of claim 2,
The step of generating the movement path model
Detecting a plurality of CoI sessions corresponding to the movement path between the plurality of CoIs based on the time information included in the sensor information and transmitting a probability of movement using each of the plurality of CoI sessions to the plurality of CoI sessions And the movement path model is generated by applying the movement path model to the walking path. 청구항 3에 있어서,
상기 소지 위치 모델을 생성하는 단계는
상기 센서 정보를 기반으로 상기 복수개의 CoI 세션들 각각에 대해 적어도 하나의 소지 위치를 검출하고, 상기 복수개의 CoI 세션들을 상기 적어도 하나의 소지 위치와 조합하여 복수개의 소지 위치 모델들을 생성하는 것을 특징으로 하는 걸음걸이 인식 방법.The method of claim 3,
The step of generating the hand position model
Detecting at least one handover location for each of the plurality of CoI sessions based on the sensor information and generating a plurality of handover location models by combining the plurality of CoI sessions with the at least one handover location, A gait recognition method. 청구항 4에 있어서,
상기 현재 소지 위치를 파악하는 단계는
상기 현재 이동 경로에 상응하는 현재 CoI 세션을 검출하고, 상기 복수개의 소지 위치 모델들 중 상기 현재 CoI 세션에 해당하는 적어도 하나의 소지 위치 모델과 상기 센서 정보를 비교하여 상기 현재 소지 위치를 파악하는 것을 특징으로 하는 걸음걸이 인식 방법.The method of claim 4,
The step of grasping the current location
Detecting a current CoI session corresponding to the current movement path and comparing the sensor information with at least one of the plurality of location models and corresponding at least one location model corresponding to the current CoI session, A method of recognizing a gait. 청구항 1에 있어서,
상기 복수개의 CoI들은
상기 센서 정보를 기반으로 추출 가능한 모든 위치들 중 상기 사용자가 기설정된 기준 조건에 상응하게 머무른 위치인 것을 특징으로 하는 걸음걸이 인식 방법.The method according to claim 1,
The plurality of CoIs
Wherein the user is a position where the user stays in accordance with a predetermined reference condition among all positions extractable based on the sensor information. 청구항 4에 있어서,
상기 소지 위치 모델을 생성하는 단계는
상기 센서 정보를 분석하여 상기 사용자 단말의 소지 위치를 복수개의 제1 위치들로 1차 분류하고, 센서 정보의 클러스터링을 기반으로 상기 복수개의 제1 위치들을 각각 복수개의 제2 위치들로 2차 분류하여 상기 적어도 하나의 소지 위치를 검출하는 것을 특징으로 하는 걸음걸이 인식 방법.The method of claim 4,
The step of generating the hand position model
Analyzing the sensor information to first sort the base position of the user terminal into a plurality of first positions, and based on the clustering of the sensor information, sorting the plurality of first positions into a plurality of second positions, respectively, And detecting the at least one hand position. 청구항 7에 있어서,
상기 소지 위치 모델을 생성하는 단계는
가속도, 자이로스코프, 방향 및 조도 중 적어도 하나를 고려하여 상기 사용자 단말의 소지 위치를 1차 분류하는 것을 특징으로 하는 걸음걸이 인식 방법.The method of claim 7,
The step of generating the hand position model
Wherein the position of the user terminal is first classified in consideration of at least one of acceleration, gyroscope, direction, and illuminance. 청구항 3에 있어서,
상기 현재 이동 경로를 파악하는 단계는
상기 사용자의 위치가 상기 복수개의 CoI들 중 어느 위치에도 해당하지 않는 경우, 이전에 위치했던 CoI와 상기 이동할 확률을 기준으로 상기 현재 이동 경로를 예측하는 것을 특징으로 하는 걸음걸이 인식 방법.The method of claim 3,
The step of grasping the current movement path
Wherein the current movement path is predicted based on a previously located CoI and the movement probability when the position of the user does not correspond to any one of the plurality of CoIs. 청구항 9에 있어서,
상기 현재 이동 경로를 파악하는 단계는
상기 이전에 위치했던 CoI에 해당하는 적어도 하나의 CoI 세션에 대한 이동 확률이 기설정된 기준 확률 이상일 경우, 상기 적어도 하나의 CoI 세션에 상응하는 이동 경로를 상기 현재 이동 경로로 예측하는 것을 특징으로 하는 걸음걸이 인식 방법.The method of claim 9,
The step of grasping the current movement path
When the movement probability for at least one CoI session corresponding to the previously located CoI is equal to or greater than a predetermined reference probability, the movement path corresponding to the at least one CoI session is predicted by the current movement path. Hook recognition method. 하나 이상의 센서로부터 수집되는 센서 정보를 고려하여 검출된 복수개의 CoI(Context of Interest)들을 기반으로 생성된 사용자에 대한 이동 경로 모델, 상기 센서 정보를 이용하여 생성된 소지 위치 모델 및 상기 이동 경로 모델과 상기 소지 위치 모델을 조합하여 생성된 걸음걸이 모델 그룹을 저장하는 메모리; 및
상기 이동 경로 모델과 상기 소지 위치 모델을 기반으로 상기 걸음걸이 모델 그룹 중 상기 사용자에게 적용할 걸음걸이 모델을 선택하고, 선택된 걸음걸이 모델을 기반으로 상기 사용자의 걸음걸이를 인식하는 프로세서
를 포함하는 것을 특징으로 하는 사용자 단말A movement path model for a user created based on a plurality of contexts of interest (CoI) detected in consideration of sensor information collected from one or more sensors, a hand position model generated using the sensor information, A memory for storing a gait model group generated by combining the sub-location models; And
Selecting a gauling model to be applied to the user among the gauling model groups based on the movement route model and the hand positional model, and recognizing the user's gauging based on the selected gait model,
Characterized in that the user terminal 청구항 11에 있어서,
상기 프로세서는
상기 이동 경로 모델과 상기 센서 정보를 고려하여 상기 복수개의 CoI들을 고려한 현재 이동 경로를 파악하고, 상기 소지 위치 모델, 상기 현재 이동 경로 및 상기 센서 정보 중 적어도 하나를 고려하여 상기 사용자 단말의 현재 소지 위치를 파악하고, 상기 걸음걸이 모델 그룹 중 상기 현재 이동 경로와 상기 현재 소지 위치를 조합한 것에 상응하는 상기 걸음걸이 모델을 선택하는 것을 특징으로 하는 사용자 단말.The method of claim 11,
The processor
The current movement route considering the plurality of CoIs in consideration of the movement route model and the sensor information, and determining the present movement location of the user terminal based on at least one of the location location model, the current movement route, And selects the gait model corresponding to a combination of the current movement route and the current location among the gait model groups. 청구항 12에 있어서,
상기 프로세서는
상기 센서 정보에 포함된 시간 정보를 기반으로 상기 복수개의 CoI들 간의 이동 경로에 해당하는 복수개의 CoI 세션들을 검출하고, 상기 복수개의 CoI 세션들 각각을 이용하여 이동할 확률을 상기 복수개의 CoI 세션들에 각각 적용하여 상기 이동 경로 모델을 생성하는 것을 특징으로 하는 사용자 단말.The method of claim 12,
The processor
Detecting a plurality of CoI sessions corresponding to the movement path between the plurality of CoIs based on the time information included in the sensor information and transmitting a probability of movement using each of the plurality of CoI sessions to the plurality of CoI sessions To generate the movement path model. 청구항 13에 있어서,
상기 프로세서는
상기 센서 정보를 기반으로 상기 복수개의 CoI 세션들 각각에 대해 적어도 하나의 소지 위치를 검출하고, 상기 복수개의 CoI 세션들을 상기 적어도 하나의 소지 위치와 조합하여 복수개의 소지 위치 모델들을 생성하는 것을 특징으로 하는 사용자 단말.14. The method of claim 13,
The processor
Detecting at least one handover location for each of the plurality of CoI sessions based on the sensor information and generating a plurality of handover location models by combining the plurality of CoI sessions with the at least one handover location, Lt; / RTI > 청구항 14에 있어서,
상기 프로세서는
상기 현재 이동 경로에 상응하는 현재 CoI 세션을 검출하고, 상기 복수개의 소지 위치 모델들 중 상기 현재 CoI 세션에 해당하는 적어도 하나의 소지 위치 모델과 상기 센서 정보를 비교하여 상기 현재 소지 위치를 파악하는 것을 특징으로 하는 사용자 단말.15. The method of claim 14,
The processor
Detecting a current CoI session corresponding to the current movement path and comparing the sensor information with at least one of the plurality of location models and corresponding at least one location model corresponding to the current CoI session, Characterized in that the user terminal. 청구항 11에 있어서,
상기 복수개의 CoI들은
상기 센서 정보를 기반으로 추출 가능한 모든 위치들 중 상기 사용자가 기설정된 기준 조건에 상응하게 머무른 위치인 것을 특징으로 하는 사용자 단말.The method of claim 11,
The plurality of CoIs
Wherein the user terminal is a location where the user stays in accordance with a predetermined reference condition among all the positions extractable based on the sensor information. 청구항 14에 있어서,
상기 프로세서는
상기 센서 정보를 분석하여 상기 사용자 단말의 소지 위치를 복수개의 제1 위치들로 1차 분류하고, 센서 정보의 클러스터링을 기반으로 상기 복수개의 제1 위치들을 각각 복수개의 제2 위치들로 분류하여 상기 적어도 하나의 소지 위치를 검출하는 것을 특징으로 하는 사용자 단말.15. The method of claim 14,
The processor
Analyzing the sensor information to first sort the base position of the user terminal into a plurality of first positions, sorting the plurality of first positions into a plurality of second positions based on clustering of sensor information, Detecting at least one location of the user terminal. 청구항 17에 있어서,
상기 프로세서는
가속도, 자이로스코프, 방향 및 조도 중 적어도 하나를 고려하여 상기 사용자 단말의 소지 위치를 1차 분류하는 것을 특징으로 하는 사용자 단말.18. The method of claim 17,
The processor
Wherein the user terminal is first classified based on at least one of acceleration, gyroscope, direction, and illuminance. 청구항 13에 있어서,
상기 프로세서는
상기 사용자의 위치가 상기 복수개의 CoI들 중 어느 위치에도 해당하지 않는 경우, 이전에 위치했던 CoI와 상기 이동할 확률을 기준으로 상기 현재 이동 경로를 예측하는 것을 특징으로 하는 사용자 단말.14. The method of claim 13,
The processor
If the position of the user does not correspond to any one of the plurality of CoIs, predicts the current movement path based on the previously located CoI and the movement probability. 청구항 19에 있어서,
상기 프로세서는
상기 이전에 위치했던 CoI에 해당하는 적어도 하나의 CoI 세션에 대한 이동 확률이 기설정된 기준 확률 이상일 경우, 상기 적어도 하나의 CoI 세션에 상응하는 이동 경로를 상기 현재 이동 경로로 예측하는 것을 특징으로 하는 사용자 단말.The method of claim 19,
The processor
And predicts a movement path corresponding to the at least one CoI session with the current movement path when the movement probability for at least one CoI session corresponding to the previously located CoI is equal to or greater than a predetermined reference probability. Terminal.
KR1020170117218A 2017-09-13 2017-09-13 Method for recognizing gait using movement path and placement of user's terminal and apparatus using the same KR20190030022A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170117218A KR20190030022A (en) 2017-09-13 2017-09-13 Method for recognizing gait using movement path and placement of user's terminal and apparatus using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170117218A KR20190030022A (en) 2017-09-13 2017-09-13 Method for recognizing gait using movement path and placement of user's terminal and apparatus using the same

Publications (1)

Publication Number Publication Date
KR20190030022A true KR20190030022A (en) 2019-03-21

Family

ID=66036878

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170117218A KR20190030022A (en) 2017-09-13 2017-09-13 Method for recognizing gait using movement path and placement of user's terminal and apparatus using the same

Country Status (1)

Country Link
KR (1) KR20190030022A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753678A (en) * 2020-06-10 2020-10-09 西北工业大学 Multi-device cooperative gait perception and identity recognition method based on ultrasonic waves
KR102219916B1 (en) * 2019-09-30 2021-02-23 백우민 Workability determination System by using advanced information
WO2022019388A1 (en) * 2020-07-24 2022-01-27 Samsung Electronics Co., Ltd. Electronic device and method for controlling the electronic device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160026175A (en) 2014-08-29 2016-03-09 삼성전자주식회사 Authentication method and device using biometric information and context information

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160026175A (en) 2014-08-29 2016-03-09 삼성전자주식회사 Authentication method and device using biometric information and context information

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102219916B1 (en) * 2019-09-30 2021-02-23 백우민 Workability determination System by using advanced information
CN111753678A (en) * 2020-06-10 2020-10-09 西北工业大学 Multi-device cooperative gait perception and identity recognition method based on ultrasonic waves
WO2022019388A1 (en) * 2020-07-24 2022-01-27 Samsung Electronics Co., Ltd. Electronic device and method for controlling the electronic device
US11647358B2 (en) 2020-07-24 2023-05-09 Samsung Electronics Co., Ltd. Method for obtaining location information of a user using movement information of an electronic device or feature information

Similar Documents

Publication Publication Date Title
EP2871815B1 (en) Authentication control system, authentication control method, and program
CN107172590B (en) Mobile terminal and activity state information processing method and device based on same
CN104781686B (en) Pathway matching
US8977207B2 (en) Methods, apparatuses and computer program products for providing automatic maintenance of a geoposition system
KR101367964B1 (en) Method for recognizing user-context by using mutimodal sensors
KR20190030022A (en) Method for recognizing gait using movement path and placement of user's terminal and apparatus using the same
KR20120010114A (en) Location based service system and method for performing indoor navigation
US10571279B2 (en) Object and location tracking with a graph-of-graphs
KR20150131780A (en) Apparatus and Method for predicting destination
US9619626B2 (en) Method and apparatus for identifying exercise information of user
CN104937914B9 (en) Information processing apparatus, information processing method, and medium
CN103229022B (en) Navigation server, guider and navigation system
US20200096345A1 (en) Cognitive fingerprinting for indoor location sensor networks
CN109068374A (en) Resident POI determines method, apparatus, terminal and storage medium
CN111654817A (en) Bluetooth positioning method, mobile terminal and storage medium
JP5855745B2 (en) Averaging neighboring cell locations
EP3112807B1 (en) Mobile terminal and method for controlling the same
KR101606383B1 (en) Method for deducing subway movement section based on context awareness and apparatus thereof
KR101588177B1 (en) Method for deducing situation information based on context awareness and apparatus thereof
US20150278705A1 (en) Control method to be executed by information processing device, information processing device, and storage medium
KR102237907B1 (en) Method and system for identifying movement means based on a user movement path
JPWO2019216046A1 (en) Information processing device
KR102439490B1 (en) Electronic device for providing clusted muptiple-path and operating method thereof
KR102109374B1 (en) Apparatus and method for estimating position
WO2023216933A1 (en) Indoor positioning method and apparatus, and electronic device and medium