KR102093740B1 - 인간 행동 인식을 위한 특징정보 추출 방법 및 그 행동 인식 장치 - Google Patents

인간 행동 인식을 위한 특징정보 추출 방법 및 그 행동 인식 장치 Download PDF

Info

Publication number
KR102093740B1
KR102093740B1 KR1020180029334A KR20180029334A KR102093740B1 KR 102093740 B1 KR102093740 B1 KR 102093740B1 KR 1020180029334 A KR1020180029334 A KR 1020180029334A KR 20180029334 A KR20180029334 A KR 20180029334A KR 102093740 B1 KR102093740 B1 KR 102093740B1
Authority
KR
South Korea
Prior art keywords
array
feature set
window
set array
feature
Prior art date
Application number
KR1020180029334A
Other languages
English (en)
Other versions
KR20190115492A (ko
Inventor
한동석
오돈고스티븐요부
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020180029334A priority Critical patent/KR102093740B1/ko
Publication of KR20190115492A publication Critical patent/KR20190115492A/ko
Application granted granted Critical
Publication of KR102093740B1 publication Critical patent/KR102093740B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06K9/00335—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G06K9/482—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/478—Contour-based spectral representations or scale-space representations, e.g. by Fourier analysis, wavelet analysis or curvature scale-space [CSS]

Abstract

인간 행동 인식을 위한 특징정보 추출 방법이 개시된다. 본 발명의 실시예에 따른 인간 행동 인식을 위한 특징정보 추출 방법은 가속도 센서와 방향 센서로부터 센싱 데이터를 수신하여 제1 특징세트 어레이를 생성하는 단계; 상기 제1 특징세트 어레이에서 제1 윈도우를 순차적으로 이동시켜 상기 제1 윈도우 내 평균값에 기초한 제1 윈도우 평균 어레이를 생성하는 단계; 상기 제1 특징세트 어레이와 상기 제1 윈도우 평균 어레이를 결합하여 제2 특징세트 어레이를 생성하는 단계; 상기 제2 특징세트 어레이를 재배열하여 생성된 제3 특징세트 어레이에서 제2 윈도우를 순차적으로 이동시켜 상기 제2 윈도우 내 평균값에 기초한 제2 윈도우 평균 어레이를 생성하는 단계; 상기 제3 특징세트 어레이와 상기 제2 윈도우 평균 어레이를 결합하여 제4 특징세트 어레이를 생성하는 단계; 및 상기 제4 특징세트 어레이를 행 단위로 학습 모듈로 출력하는 단계를 포함한다.

Description

인간 행동 인식을 위한 특징정보 추출 방법 및 그 행동 인식 장치{FEATURE REPRESENTATION EXTRACTING METHOD FOR RECONIZING HUMAN ACTIVITY AND ACTIVITY RECOGNITION APPRATUS THEREOF}
본 발명은 인간 행동인식을 위한 특징정보 추출 방법 및 그 행동 인식 장치에 대한 것으로서, 보다 상세하게는 3축 IMU(Inertial Measuremnt Unit) 센서를 이용하여 측정대상자의 행동을 인식하기 위한 특징정보 추출 방법 및 그 행동 인식 장치에 관한 것이다.
최근 스마트폰, 스마트워치, 스마트밴드 등의 무선 휴대용 장치들이 출시되고 있다. 이들 휴대용 장치들은 빠른 연산 속도의 CPU를 기반으로 가속도 센서, 자이로 센서, 광 센서, GPS 리시버, WiFi 등의 하드웨어를 탑재하여 그 자체로 혹은 다른 기기와 연동하여 다양한 서비스를 제공할 수 있게 되었다.
이러한 무선 휴대용 장치들을 이용하여 수집되는 각종 센싱 데이터를 기초로 인간의 행동을 인식하고, 인식되거나 예측된 인간의 행동에 대응되는 서비스를 수행하는 기술이 대두되고 있다. 즉, 거동이 불편한 사람부터 정상적인 생활이 가능한 일반인에 이르기까지 인간 행동 인식(User Activity Recognition) 기법에 기초한 서비스를 이용하여 더욱 다양한 분야에 활용하고 있다.
그러나 무선 휴대용 장치로부터 수집되는 각종 센싱 데이터들을 분석하여 측정 대상자의 상황을 제대로 인식하기 위해서는 센서로부터의 로우(Raw) 데이터로부터 특징 정보를 추출하고, 특징 정보로부터 좀 더 상위 레벨의 의미 정보를 도출하기 위한 기술이 요구된다.
이때 특징 정보에 따라 대상자 행동이 좀 더 상세하고 정확하게 인식될 수 있어 로우 데이터로부터 특징 정보 추출에 대한 다양한 기법이 시도되고 있다.
Ohashi 외 7인 저, Time Series Workshop 2017, <Augmenting Wearable Sensor Data with Physical Constraint for DNN-Based Human-Action Recognition>
본 발명은 위와 같은 요구사항을 해결하기 위한 것으로서, 가속도 센서 및 방향 센서의 센싱 데이터로부터 보다 의미있는 특징 데이터를 추출하기 위한 인간 행동 인식을 위한 특징정보 추출 방법 및 그 행동 인식 장치를 제공하는데 그 목적이 있다.
상술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 인간 행동 인식을 위한 특징정보 추출 방법은 가속도 센서와 방향 센서로부터 센싱데이터를 수신하여 제1 특징세트 어레이를 생성하는 단계; 상기 제1 특징세트 어레이에서 제1 윈도우를 순차적으로 이동시켜 상기 제1 윈도우 내 평균값에 기초한 제1 윈도우 평균 어레이를 생성하는 단계; 상기 제1 특징세트 어레이와 상기 제1 윈도우 평균 어레이를 결합하여 제2 특징세트 어레이를 생성하는 단계; 상기 제2 특징세트 어레이를 재배열하여 생성된 제3 특징세트 어레이에서 제2 윈도우를 순차적으로 이동시켜 상기 제2 윈도우 내 평균값에 기초한 제2 윈도우 평균 어레이를 생성하는 단계; 상기 제3 특징세트 어레이와 상기 제2 윈도우 평균 어레이를 결합하여 제4 특징세트 어레이를 생성하는 단계; 및 상기 제4 특징세트 어레이를 행 단위로 학습 모듈로 출력하는 단계를 포함한다.
상기 제1 특징세트 어레이를 생성하는 단계는 시간 도메인의 상기 센싱 데이터를 방향별로 각각 분리하여 주파수 도메인으로 변환하는 단계; 상기 각 방향의 전력 밀도들을 모두 결합하여 전력 밀도 어레이를 생성하는 단계; 상기 전력 밀도 어레이를 크기에 따라 재정렬하여 제1 어레이 및 제2 어레이를 추출하는 단계; 및 상기 제1 어레이와 제2 어레이를 결합하여 제3 어레이를 생성하는 단계를 포함한다.
상기 제1 어레이는 상기 재정렬된 전력 밀도 어레이 내 최소값부터 제1 순서까지의 전력 밀도값까지 포함하는 것이고, 상기 제2 어레이는 상기 재정렬된 전력 밀도 어레이 내 최대값부터 제2 순서까지의 전력 밀도값까지 포함하는 것이다.
상기 변환하는 단계는 상기 센싱 데이터를 X축, Y축 및 Z축 방향별로 각각 분리하여 시간 도메인에서 주파수 도메인으로 푸리에 변환한다.
제1 특징세트 어레이는 상기 가속도 센서로부터 얻어진 가속도 성분의 상기 제3 어레이와 상기 방향 센서로부터 얻어진 방향 성분의 상기 제3 어레이를 결합하여 생성된다.
상기 제3 특징세트 어레이는 상기 제2 특징세트 어레이를 행 단위로 무작위로 섞어서 재배열할 수 있다.
상기 출력하는 단계는 상기 제1 윈도우 평균 어레이를 생성하는 단계부터 상기 제4 특징세트 어레이를 생성하는 단계를 적어도 한 번 더 반복하고 상기 학습 모듈로 출력한다.
상술한 기술적 과제를 해결하기 위하여, 본 발명의 다른 실시예에 따른 가속도 센서 및 방향 센서로부터 센싱 데이터를 수신하여 인간행동을 추론하는 행동 인식 장치는 상기 센싱 데이터에 기초하여 생성한 제1 특징세트 어레이에서 제1 윈도우를 순차적으로 이동시켜 상기 제1 윈도우 내 평균값에 기초한 제1 윈도우 평균 어레이를 생성하는 단계; 상기 제1 특징세트 어레이와 상기 제1 윈도우 평균 어레이를 결합한 제2 특징세트 어레이를 재배열하여 제3 특징세트 어레이를 생성하는 단계; 상기 제3 특징세트 어레이에서 제2 윈도우를 순차적으로 이동시켜 상기 제2 윈도우 내 평균값에 기초하여 생성한 제2 윈도우 평균 어레이를 결합하여 제4 특징세트 어레이를 생성하는 단계; 및 상기 제4 특징세트 어레이를 행 단위로 추출하는 단계를 포함하는 특징 정보 추출 방법으로 생성된 상기 특징 정보를 출력한다.
상기 제1 특징세트 어레이는 시간 도메인의 상기 센싱 데이터를 방향별로 각각 분리하여 주파수 도메인으로 변환하고, 상기 각 방향의 전력 밀도 성분을 모두 결합하여 전력밀도 어레이를 생성하여, 상기 전력 밀도 어레이로부터 추출된 제1 어레이 및 제2 어레이를 결합한 제3 어레이에 기초한다.
상기 제1 특징세트 어레이는 상기 가속도 센서로부터 얻어진 가속도 성분의 상기 제3 어레이와 상기 방향 센서로부터 얻어진 방향 성분의 상기 제3 어레이를 결합하여 생성된다.
본 발명의 인간 행동 인식을 위한 특징 정보 추출 방법 및 그 행동 인식 장치에 따르면, 센싱 데이터를 주파수전력 밀도로 변환한 로우 데이터를 활용한 경우에 비해 인간 행동 인식 정확도가 향상될 수 있다.
또한 본 발명의 인간 행동 인식을 위한 특징 정보 추출 방법 및 그 행동 인식 장치에 따르면 단순히 결합 연산 또는 평균 산출 등의 비교적 간단한 연산으로 특징정보를 추출하기 때문에 시간 도메인의 센싱 데이터를 활용하는 경우에 비해 연산 속도도 빠른 효과가 있다.
도 1은 본 발명의 실시예에 따른 행동 인식 장치를 포함하는 인간행동 추론 시스템을 나타낸 것이다.
도 2는 도 1에 도시된 행동 인식 장치를 나타낸 도면이다.
도 3은 대상자가 앉을 때 IMU 센서에서 측정된 가속도 데이터를 나타낸 그래프이다.
도 4는 도 3의 시간 도메인 데이터를 좌표별로 분류하여 주파수 도메인으로 변환하여 색상으로 나타낸 그래프이다.
도 5는 센싱데이터로부터 특징 어레이를 생성하는 과정을 설명하기 위한 개념도이다.
도 6은 도 5의 방법으로 생성한 가속도 특징 어레이와 방향 특징 어레이를 결합한 제1 특징세트 어레이를 나타낸 도면이다.
도 7은 제1 특징세트 어레이에서 제2 특징세트 어레이를 생성하는 과정을 설명하기 위한 개념도이다.
도 8은 제2 특징세트 어레이에서 제3 특징세트 어레이를 생성하는 과정을 설명하기 위한 개념도이다.
도 9는 제3 특징세트 어레이에서 제4 특징세트 어레이를 생성하는 과정을 설명하기 위한 개념도이다.
도 10은 본 발명의 일 실시예에 따른 인간 행동 인식을 위한 특징정보 추출 방법 중 특징 어레이를 생성하는 과정을 설명하는 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 인간 행동 인식을 위한 특징정보 추출 방법 중 특징정보를 추출하는 과정을 설명하는 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다. 제 1, 제 2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
본 발명에서 언급되는 인간의 행동이라 함은, 인간이 하는 다양한 운동 상황, 예컨대 정지, 걷기, 뛰기, 계단 오르기, 자전거 타기 등의 상황을 의미하는 것으로 해석될 수 있다.
이하 첨부된 도면을 참조하여 본 발명을 상세하게 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 행동 인식 장치를 포함하는 인간행동 추론 시스템을 나타낸 것이다.
본 발명의 인간행동 추론 시스템은 인간 행동 인식(Human Action Recognition, HAR)에서의 딥 러닝 모델, 즉 RNN-LSTM 모델(Recurrent Neural Network-Long term Short Term Memory Model)에 적용된다.
도 1을 참고하면, 인간행동 추론 시스템은 휴대용 장치(10), 서비스 장치(100) 및 휴대용 장치와 서비스 장치를 연결하는 네트워크(50)를 포함한다.
휴대용 장치(10)는 스마트폰, 태블릿 PC, 스마트 밴드 등 휴대성이 있는 모바일 단말이다. 휴대용 장치(10)는 IMU 센서(Inertial Measurement Unit, 11)와 통신모듈(15)을 포함한다.
IMU 센서(11)는 가속도 센서, 자이로 센서 등의 방향 센서, 조도 센서, 지자기 센서, 거리 센서, GPS 등을 포함한다.
통신 모듈(15)은 서비스 장치(20)와 유선 또는 무선으로 연결되어 센싱 데이터 또는 서비스 장치(20)로부터의 제어 데이터 등을 송수신한다.
서비스 장치(20)는 휴대용 장치(10)를 소지한 사람의 행동 특징을 추출하여, 그 사람의 정확한 운동 상황을 판단하는 수단을 포함하며, 판단된 행동에 대응되는 서비스를 제공하는 장치로서, 메모리(110), 프로세서(120) 및 통신모듈(130)을 포함한다.
프로세서(120)는 센싱 데이터를 수신하여 인간 행동 인식에 유의미한 특징정보를 추출하고, 특징정보에 대응되는 대상자의 행동을 추론하며, 추론된 해당 행동에 상응하여 제공해야 할 서비스를 선택한다.
메모리(110)는 다양한 인간 행동 모델을 저장하여, 프로세서(120)에서 특징정보를 추출하면, 인간 행동 모델의 레이블 및 그 속성 정보를 프로세서(120)에 제공한다.
통신모듈(130)은 휴대용 장치(10)와 유선 또는 무선으로 연결되어 데이터를 송수신하는 채널을 제공한다.
도 2는 도 1에 도시된 서비스 장치의 일 실시예를 나타낸 도면이다.
도 2를 참고하면, 행동 인식 장치(200)는 데이터 전처리부(210), 행동추론부(220), 학습부(230), 실행부(240)를 포함한다. 이때 행동 인식 장치(200)는 도 1에 도시된 서비스 장치(100)의 일부로 구현될 수 있다.
데이터 전처리부(210)는 휴대용 장치(10)에서 센싱 데이터를 수신하여 특징 정보를 추출한다.
행동 추론부(220)는 특징 정보에 대응되는 사용자 행동을 추론 또는 인식한다. 만약 특징 정보에 대응하는 사용자 행동이 없는 경우, 행동 추론부는 학습부(230)로 해당 특징 정보를 전송하고, 학습부(230)는 해당 특징 정보를 새로운 행동 모델 또는 기 저장된 행동 모델의 유형으로 레이블링하여 사용자 행동 모델을 업데이트 한다. 이때 사용자 행동이란, 눕기, 왼쪽으로 눕기, 오른쪽으로 눕기, 뒤로 또는 앞으로 눕기, 뛰기, 걷기, 앉기, 계단 오르기, 팔 들어올리기, 다리 들어올리기, 제자리에서 돌기 등의 사용자 움직임에 대한 상황을 의미한다.
실행부(240)는 행동 추론부(220)에서 인식된 대상자의 행동에 대응하는 서비스를 선택하여 출력한다. 이때 서비스는 타 어플리케이션 장치에 대한 명령, 제어 등일 수 있다.
도 3은 대상자가 앉을 때 IMU 센서에서 측정된 가속도 데이터를 나타낸 그래프이고, 도 4는 도 3의 시간 도메인 데이터를 좌표별로 분류하여 주파수 도메인으로 변환하여 색상으로 나타낸 그래프이다.
휴대용 장치를 왼쪽 손목에 착용한 측정 대상자가 앉아있는 행동을 한다고 가정하자. 이 경우 휴대용 장치에 구비된 가속도 센서는 시간 도메인에서 각 X, Y, Z축별로 약 400초 이내의 시간동안 도 3에 도시된 바와 같이 센싱 데이터를 출력한다. 즉 Z축 방향으로는 거의 움직임이 없고, X축과 Y축의 움직임 위주로 데이터가 변화한다.
즉, 도 4의 상단 그래프는 3초간 30개로 샘플링된 가속도 센싱 데이터를 시간도메인에서 X축, Y축, Z축별로 분리하여 도시한 것이다. 종래 기술에서는 시간 도메인의 데이터를 특징 정보 추출에 이용하기 위해서 회전(Rotation), 치환(Permutation), 타임 와핑(Time-warping), 스케일링(Scaling), 크기 와핑(Magnitude-Warping) 및 지터링(Jittering) 등의 기법을 통해 데이터 변환을 수행해야 한다. 그러나 시간 도메인의 데이터만으로는 시간대 별로 노이즈가 일정하게 나타나지 않고, 특징 정보 추출을 위한 연산이 복잡하다는 단점이 있다.
따라서 센싱 데이터를 X축, Y축, Z축별로 각각 주파수 도메인으로 변환하여 특징 정보 추출에 활용한다. 주파수 변환된 센싱 데이터를 색상으로 나타내면, 도 4의 하단 스펙트로그램과 같이 나타난다. 이때 주파수 도메인으로의 변환은 수학식 1에 따른 숏 타임 푸리에 변환(Short Time Fourier Trnasform, STFT) 기법을 이용할 수 있다.
Figure 112018025247058-pat00001
도 4 하단의 스펙트로그램은 수학식 1의
Figure 112018025247058-pat00002
을 색상으로 나타낸 것으로,
Figure 112018025247058-pat00003
은 시간 n 초에서 X축, Y축, Z축 중 어느 한 축의 로우 센싱 데이터를 의미한다. m은
Figure 112018025247058-pat00004
에서 해닝 윈도우(Hanning Window) 함수에서 사용되는 타임쉬프트값이다.
도 5는 센싱데이터로부터 특징 어레이를 생성하는 과정을 설명하기 위한 개념도이고, 도 6은 도 5의 방법으로 생성한 가속도 특징 어레이와 방향 특징 어레이를 결합한 제1 특징세트 어레이를 나타낸 도면이다. 도 7은 제1 특징세트 어레이에서 제2 특징세트 어레이를 생성하는 과정을 설명하기 위한 개념도이고, 도 8은 제2 특징세트 어레이에서 제3 특징세트 어레이를 생성하는 과정을 설명하기 위한 개념도이며, 도 9는 제3 특징세트 어레이에서 제4 특징세트 어레이를 생성하는 과정을 설명하기 위한 개념도이다.
설명의 편의를 위해 도 4 하단 그래프에 도시한 각각 X축, Y축, Z축별로 생성한 전력 밀도 스펙트로그램은 도 5의 ①과 같이 나타낸다고 가정하자. 즉 ①은 센서로부터의 로우(raw) 데이터, 즉 시간 도메인상 센싱 데이터를 주파수 도메인상 전력 밀도로 나타낸 것이다.
행동 인식 장치는 먼저 각 방향(축)의 전력 밀도 성분을 모두 결합하여 ②와 같은 전력 밀도 어레이를 생성한다.
행동 인식 장치는 ②의 전력 밀도 어레이 내에서 각 크기에 따라 ③과 같이 재정렬한다. 예를 들면 오름차순 또는 내림차순으로 재정렬할 수 있다. 즉, 재정렬된 전력밀도 어레이는 크기에 따라 x축 전력밀도, y축 전력밀도, z축의 전력밀도가 섞여서 정렬될 수 있다.
행동 인식 장치는 재정렬된 전력 밀도 어레이 ③에서 기설정된 개수(n, n은 자연수)의 전력밀도값을 포함하는 S 어레이 및 L 어레이를 ④와 같이 추출하고, 추출된 S 어레이와 L 어레이를 ⑤와 같이 결합한다. 이때 S 어레이와 L 어레이는 추출되지 않은 전력 밀도값들에 비해 대상자의 행동에 대한 보다 의미 있는 정보를 포함하고 있기 때문에, 인간의 행동 인식을 위한 특징 정보 추출의 기초 데이터로 활용한다.
행동 인식 장치는 가속도 센서(Accelerometer)와 방향 센서(Gyroscope) 각각에서 센싱된 데이터를 도 5의 방법에 따라 각각 생성한 가속도 SL결합 어레이와 방향 SL결합 어레이를 결합하여 도 6에 도시한 바와 같이 제1 특징 세트 어레이를 생성한다. 도 6에 서 SA는 가속도 센서로부터의 S 어레이, LA는 가속도 센서로부터의 L 어레이, SG는 방향 센서로부터의 S 어레이, LA는 방향 센서로부터의 L 어레이를 의미한다.
즉, 제1 특징 세트 어레이는 일 실시예에 따라 도 6과 같이 4 x n 어레이로 나타낼 수 있다. 제1 특징 세트 어레이의 한 행, 즉 도 7(b)에 도시된 한 행을 샘플 F라고 할 때 i번째 샘플
Figure 112018025247058-pat00005
는 SAi, LAi, SGi, LGi를 포함한다.
행동 인식 장치는 제1 특징 세트 어레이에 대하여 제1 윈도우 평균 어레이를 생성한다. 즉, 제1 특징 세트 어레이에서 제1 윈도우에 포함되는 전력밀도값에 대해 수학식 2와 같은 로컬 평균(local averaing)을 산출한다.
Figure 112018025247058-pat00006
이때 i는 샘플 숫자, z는 특징 벡터의 최대 사이즈,
Figure 112018025247058-pat00007
는 특징 벡터값,
Figure 112018025247058-pat00008
는 다운 샘플링된 평균값이고, G는 제1 윈도우 내 전력밀도값의 개수를 의미한다.
제1 윈도우는 도 7(a)에 도시한 바와 같이 가속도 성분 또는 방향 성분에 대해 각각 S 어레이 또는 L 어레이 내(도 7(a)에서 아래 방향)에서 기 설정된 거리 간격으로 순차적으로 이동할 수 있다.
설명의 편의를 위해, 제1 윈도우의 크기를 4로 설정하여 도 7(a)를 살펴보면, 먼저 좌측 최상단의 제1 윈도우에 포함된 SA1, SA2, SA3, SA4의 로컬 평균을 MSA1으로 산출하여 제1 특징 세트 어레이의 제1열 제일 끝단의 아래 행에 삽입한다. 이어서 제1 윈도우가 아래로 1 이동하여 다음으로 포함된 SA2, SA3, SA4, SA5의 로컬 평균을 MSA2으로 산출하여 제1 특징세트 어레이의 MSA1의 아래 행에 삽입한다. 마찬가지 방법으로, 행동 인식 장치는 순차적으로 이동하는 제1 윈도우 내 전력밀도값들의 평균값(MSA1, MSA2,…., MLGL, L은 n보다 작은 자연수)을 산출하여 도 7(b)에 도시한 바와 같이 제1 윈도우 평균 어레이를 제1 특징 세트 어레이의 일단에 생성하여 제2 특징 세트 어레이를 생성한다.
행동 인식 장치는 제2 특징 세트 어레이를 행의 순서를 랜덤하게 재배열하여 제3 특징 세트 어레이를 생성한다. 즉, 도 8에 도시된 바와 같이
Figure 112018025247058-pat00009
,
Figure 112018025247058-pat00010
,…..
Figure 112018025247058-pat00011
과 같이 랜덤하게 재배열하여 제3 특징 세트 어레이를 생성한다. 특징 세트 어레이를 랜덤하게 재배열(Shuffling)하는 것은 머신 러닝 시스템(machine learning system)에서 미니 배치 프로세싱(mini batch processing)을 할 때 데이터 분포(variance)의 편차를 줄이기 위함이다. 데이터 분포의 편차를 적절히 줄임으로써 사용자 행동 모델이 보다 일반화될 수 있고, 너무 방대해지지 않도록 하는 효과가 있다.
행동 인식 장치는 제3 특징 세트 어레이에 대하여 제2 윈도우 평균 어레이를 생성한다. 이때 제2 윈도우는 다양한 실시예에 따라 제1 윈도우와 크기가 같을 수도 있고 다를 수도 있다.
제2 윈도우 평균 어레이는 도 9(a)에 도시된 바와 같이 제3 특징 세트 어레이에 포함되는 전력밀도값에 대해 상기 수학식 2에 의해 산출된 로컬 평균들(MC11,MC21,……MDK2)으로 생성된다. 행동 인식 장치는 제3 특징 세트 어레이와 제2 윈도우 평균 어레이를 결합하여 도 9(b)와 같은 제4 특징 세트 어레이를 생성한다.
행동 인식 장치는 제4 특징 세트 어레이의 한 행을 센싱 데이터로부터 추출된 특징 정보로 하여 출력한다.
한편 도 5 내지 도 9에 도시된 특징세트 어레이는 행 단위로 하나의 전력밀도 어레이, 즉, 특정 시간의 샘플 Fi로 하여 설명하였으나, 본 발명의 범위가 이에 한정되는 것은 아니며 다른 실시예에 따라 샘플이 되는 전력밀도 어레이는 열 단위로 배열되어 데이터 변환 연산이 수행될 수도 있음은 이 기술에 속하는 통상의 기술자에게 자명하다 할 것이다.
본 발명에 의한 상기 특징 정보를 인간 행동 인식을 위한 입력으로 사용한 경우, 대상자에 대한 행동 인식 정확도가 더욱 향상되는 효과가 있다. 즉, 본 발명의 데이터 합성에 따른 특징 정보를 활용한 경우, 최대 행동 인식 정확도가 센싱 데이터에 대한 별도의 데이터 합성(augmentation) 없이 전력 밀도 성분 그 자체로 특징 정보로 활용하는 경우에 비해 32% 까지 향상되는 효과가 있다.
도 10은 본 발명의 일 실시예에 따른 인간 행동 인식을 위한 특징정보 추출 방법 중 특징 어레이를 생성하는 과정을 설명하는 흐름도이고, 도 11은 본 발명의 일 실시예에 따른 인간 행동 인식을 위한 특징정보 추출 방법 중 특징정보를 추출하는 과정을 설명하는 흐름도이다.
도 10을 참조하면, 먼저 행동 인식 장치는 가속도 센서와 방향 센서로부터 각각 센싱 데이터를 수신한다(S10). 이때 센싱 데이터는 X축 성분, Y축 성분, Z축 성분으로 구분되는 데이터이다.
행동 인식 장치는 각 방향별 즉, X축, Y축, Z축으로 센싱데이터를 구분하여 시간 도메인에서 주파수 도메인으로 변환한다(S12). 행동 인식 장치는 각 방향별 전력 밀도 성분을 하나의 전력 밀도 어레이로 결합하여(S13), 한 어레이 내에서 전력 밀도 성분을 크기 순으로 재정렬한다(S13).
행동 인식 장치는 재정렬된 어레이 내에서 기설정된 개수의 전력 밀도 성분들을 S 어레이 및 L 어레이로 추출한다(S14). 이때 S 어레이는 최소 전력 밀도 성분에서 기설정된 개수까지의 전력 밀도 성분을 포함하는, 즉, 최소값부터 제1 순서까지의 주파수값까지 포함하는 어레이이고, L 어레이는 최대 전력 밀도 성분에서 기설정된 개수까지의 전력 밀도 성분을 포함하는, 즉, 최대값부터 제2 순서까지의 전력 밀도값까지 포함하는 어레이이다.
행동 인식 장치는 즉, 가속도 센싱 데이터로부터 S11 내지 S14 단계를 거쳐 추출한 가속도 S 어레이에 가속도 L 어레이를 더하여 가속도 SL결합 어레이를 생성하고, 방향 센싱 데이터로부터 S11 내지 S14 단계를 거쳐 추출한 방향 S 어레이에 방향 L 어레이를 더하여 방향 SL결합 어레이를 생성한다(S15).
도 11을 참조하면, 행동 인식 장치는 가속도 SL결합 어레이와 방향 SL 결합 어레이를 결합하여 제1 특징세트 어레이를 생성한다(S21).
행동 인식 장치는 제1 특징세트 어레이에서 기설정된 크기의 제1 윈도우를 순차적으로 이동시켜 산출한 로컬 평균값으로 제1 윈도우 평균 어레이를 생성한다(S22).
행동 인식 장치는 제1 특징세트 어레이와 제1 윈도우 평균 어레이를 결합하여 제2 특징세트 어레이를 생성하고(S23), 제2 특징세트 어레이에 포함된 샘플들을 셔플링, 즉 랜덤하게 재배열하여 제3 특징세트 어레이를 생성한다(S24).
행동 인식 장치는 제3 특징세트 어레이에 기설정된 크기의 제2 윈도우를 순차적으로 이동시켜 산출한 로컬 평균값으로 제2 윈도우 평균 어레이를 생성한다(S25).
행동 인식 장치는 제3 특징세트 어레이와 제2 윈도우 평균 어레이를 결합하여 제4 특징세트 어레이를 생성하고(S26), 제4 특징세트 어레이에 포함된 샘플, 즉 행 단위로 하여 특징 정보로 출력한다.
한편, 도 10에 도시된 S21 내지 S26단계는 보다 적합한 특징정보 추출을 위해 반복될 수 있다.
그 결과 본 발명의 인간 행동 인식을 위한 특징 정보 추출 방법 및 그 행동인식 장치에 따르면, 센싱 데이터를 주파수 변환한 로우 데이터를 활용한 경우에 비해 인간 행동 인식 정확도가 향상될 수 있다. 또한 본 발명의 인간 행동 인식을 위한 특징 정보 추출 방법 및 그 행동 인식 장치에 따르면 단순히 결합 연산 또는 평균 산출 등의 비교적 간단한 연산으로 특징정보를 추출하기 때문에 시간 도메인의 센싱 데이터를 활용하는 경우에 비해 연산 속도도 빠른 효과가 있다.
본 발명은 특정 기능들 및 그의 관계들의 성능을 나타내는 방법 단계들의 목적을 가지고 위에서 설명되었다. 이러한 기능적 구성 요소들 및 방법 단계들의 경계들 및 순서는 설명의 편의를 위해 여기에서 임의로 정의되었다.
상기 특정 기능들 및 관계들이 적절히 수행되는 한 대안적인 경계들 및 순서들이 정의될 수 있다. 임의의 그러한 대안적인 경계들 및 순서들은 그러므로 상기 청구된 발명의 범위 및 사상 내에 있다.
추가로, 이러한 기능적 구성 요소들의 경계들은 설명의 편의를 위해 임의로 정의되었다. 어떠한 중요한 기능들이 적절히 수행되는 한 대안적인 경계들이 정의될 수 있다. 마찬가지로, 흐름도 블록들은 또한 어떠한 중요한 기능성을 나타내기 위해 여기에서 임의로 정의되었을 수 있다.
확장된 사용을 위해, 상기 흐름도 블록 경계들 및 순서는 정의되었을 수 있으며 여전히 어떠한 중요한 기능을 수행한다. 기능적 구성 요소들 및 흐름도 블록들 및 순서들 둘 다의 대안적인 정의들은 그러므로 청구된 본 발명의 범위 및 사상 내에 있다.
본 발명은 또한 하나 이상의 실시 예들의 용어로, 적어도 부분적으로 설명되었을 수 있다. 본 발명의 실시 예는 본 발명, 그 측면, 그 특징, 그 개념, 및/또는 그 예를 나타내기 위해 여기에서 사용된다. 본 발명을 구현하는 장치, 제조의 물건, 머신, 및/또는 프로세스의 물리적인 실시 예는 여기에 설명된 하나 이상의 실시 예들을 참조하여 설명된 하나 이상의 측면들, 특징들, 개념들, 예들 등을 포함할 수 있다.
더구나, 전체 도면에서, 실시 예들은 상기 동일한 또는 상이한 참조 번호들을 사용할 수 있는 상기 동일하게 또는 유사하게 명명된 기능들, 단계들, 모듈들 등을 통합할 수 있으며, 그와 같이, 상기 기능들, 단계들, 모듈들 등은 상기 동일한 또는 유사한 기능들, 단계들, 모듈들 등 또는 다른 것들일 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시 예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시 예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
10 : 모바일 장치
11 : IMU Sensor
15 : 통신 모듈
50 : 네트워크
100 : 서비스 장치
110 : 메모리
120 : 프로세서
130 : 통신 모듈
200 : 행동 인식 장치
210 : 데이터 전처리부
220 : 행동 추론 시스템
230 : 학습부
240 : 실행부

Claims (10)

  1. 행동 인식 장치에서 수행되는 인간 행동 인식을 위한 특징정보 추출 방법으로서,
    가속도 센서와 방향 센서로부터 센싱 데이터를 수신하여 제1 특징세트 어레이를 생성하는 단계;
    상기 제1 특징세트 어레이에서 제1 윈도우를 순차적으로 이동시켜 상기 제1 윈도우 내 평균값에 기초한 제1 윈도우 평균 어레이를 생성하는 단계;
    상기 제1 특징세트 어레이와 상기 제1 윈도우 평균 어레이를 결합하여 제2 특징세트 어레이를 생성하는 단계;
    상기 제2 특징세트 어레이를 재배열하여 생성된 제3 특징세트 어레이에서 제2 윈도우를 순차적으로 이동시켜 상기 제2 윈도우 내 평균값에 기초한 제2 윈도우 평균 어레이를 생성하는 단계;
    상기 제3 특징세트 어레이와 상기 제2 윈도우 평균 어레이를 결합하여 제4 특징세트 어레이를 생성하는 단계; 및
    상기 제4 특징세트 어레이를 행 단위로 학습 모듈로 출력하는 단계를 포함하며,
    상기 제1 특징세트 어레이를 생성하는 단계는,
    시간 도메인의 상기 센싱 데이터를 방향별로 각각 분리하여 주파수 도메인으로 변환하는 단계;
    상기 각 방향의 전력 밀도 성분을 모두 결합하여 전력 밀도 어레이를 생성하는 단계;
    상기 전력 밀도 어레이를 크기에 따라 재정렬하여 제1 어레이 및 제2 어레이를 추출하는 단계; 및
    상기 제1 어레이와 제2 어레이를 결합하여 제3 어레이를 생성하는 단계를 포함하는 인간 행동 인식을 위한 특징정보 추출 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 제1 어레이는 상기 재정렬된 전력 밀도 어레이 내 최소값부터 제1 순서까지의 전력 밀도값까지 포함하는 것이고,
    상기 제2 어레이는 상기 재정렬된 전력 밀도 어레이 내 최대값부터 제2 순서까지의 전력 밀도값까지 포함하는 것인,
    인간 행동인식을 위한 특징정보 추출 방법.
  4. 제1항에 이어서, 상기 변환하는 단계는
    상기 센싱 데이터를 X축, Y축 및 Z축 방향별로 각각 분리하여 시간 도메인에서 주파수 도메인으로 푸리에 변환하는 것인,
    인간 행동인식을 위한 특징정보 추출 방법.
  5. 제1항에 있어서, 제1 특징세트 어레이는
    상기 가속도 센서로부터 얻어진 가속도 성분의 상기 제3 어레이와 상기 방향 센서로부터 얻어진 방향 성분의 상기 제3 어레이를 결합하여 생성되는 것인,
    인간 행동인식을 위한 특징정보 추출 방법.
  6. 제1항에 있어서, 상기 제3 특징세트 어레이는
    상기 제2 특징세트 어레이를 행 단위로 무작위로 섞어서 재배열한 것인,
    인간 행동인식을 위한 특징정보 추출방법.
  7. 제1항에 있어서, 상기 출력하는 단계는
    상기 제1 윈도우 평균 어레이를 생성하는 단계부터 상기 제4 특징세트 어레이를 생성하는 단계를 적어도 한 번 더 반복하고 상기 학습 모듈로 출력하는 것인,
    인간 행동인식을 위한 특징정보 추출방법.
  8. 가속도 센서 및 방향 센서로부터 센싱 데이터를 수신하여 인간행동을 추론하는 행동 인식 장치에 있어서,
    상기 센싱데이터에 기초하여 생성한 제1 특징세트 어레이에서 제1 윈도우를 순차적으로 이동시켜 상기 제1 윈도우 내 평균값에 기초한 제1 윈도우 평균 어레이를 생성하는 단계;
    상기 제1 특징세트 어레이와 상기 제1 윈도우 평균 어레이를 결합한 제2 특징세트 어레이를 재배열하여 제3 특징세트 어레이를 생성하는 단계;
    상기 제3 특징세트 어레이에서 제2 윈도우를 순차적으로 이동시켜 상기 제2 윈도우 내 평균값에 기초하여 생성한 제2 윈도우 평균 어레이를 결합하여 제4 특징세트 어레이를 생성하는 단계; 및
    상기 제4 특징세트 어레이를 행 단위로 추출하는 단계를 포함하는 특징정보 추출방법으로 생성된 상기 특징 정보를 출력하며,
    상기 제1 특징세트 어레이는,
    시간 도메인의 상기 센싱 데이터를 방향별로 각각 분리하여 주파수 도메인으로 변환하고, 상기 각 방향의 전력 밀도 성분을 모두 결합하여 전력 밀도 어레이를 생성하여, 상기 전력 밀도 어레이로부터 추출된 제1 어레이 및 제2 어레이를 결합한 제3 어레이에 기초한 것인,
    행동 인식 장치.
  9. 삭제
  10. 제8항에 있어서, 상기 제1 특징세트 어레이는
    상기 가속도 센서로부터 얻어진 가속도 성분의 상기 제3 어레이와 상기 방향 센서로부터 얻어진 방향 성분의 상기 제3 어레이를 결합하여 생성되는 것인,
    행동 인식 장치.
KR1020180029334A 2018-03-13 2018-03-13 인간 행동 인식을 위한 특징정보 추출 방법 및 그 행동 인식 장치 KR102093740B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180029334A KR102093740B1 (ko) 2018-03-13 2018-03-13 인간 행동 인식을 위한 특징정보 추출 방법 및 그 행동 인식 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180029334A KR102093740B1 (ko) 2018-03-13 2018-03-13 인간 행동 인식을 위한 특징정보 추출 방법 및 그 행동 인식 장치

Publications (2)

Publication Number Publication Date
KR20190115492A KR20190115492A (ko) 2019-10-14
KR102093740B1 true KR102093740B1 (ko) 2020-03-26

Family

ID=68171213

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180029334A KR102093740B1 (ko) 2018-03-13 2018-03-13 인간 행동 인식을 위한 특징정보 추출 방법 및 그 행동 인식 장치

Country Status (1)

Country Link
KR (1) KR102093740B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102384241B1 (ko) * 2020-12-22 2022-04-08 경희대학교 산학협력단 사용자 행동 패턴 학습 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101165537B1 (ko) * 2010-10-27 2012-07-16 삼성에스디에스 주식회사 사용자 장치 및 그의 사용자의 상황 인지 방법
KR101418333B1 (ko) * 2012-12-26 2014-08-13 전남대학교산학협력단 사용자 동작 인식 장치 및 그 방법

Also Published As

Publication number Publication date
KR20190115492A (ko) 2019-10-14

Similar Documents

Publication Publication Date Title
Anjum et al. Activity recognition using smartphone sensors
Klein et al. StepNet—Deep learning approaches for step length estimation
Nakano et al. Effect of dynamic feature for human activity recognition using smartphone sensors
CN104536558B (zh) 一种智能指环和控制智能设备的方法
Su et al. Activity recognition with smartphone sensors
CN106556424B (zh) 一种智能可穿戴设备及其节能运行方法
Mitra et al. KNOWME: a case study in wireless body area sensor network design
Zhang et al. A comprehensive study of smartphone-based indoor activity recognition via Xgboost
KR101367964B1 (ko) 복합 센서를 이용한 사용자 상황 인식 방법
US11234656B2 (en) Information processing apparatus and information processing method
EP2469231A1 (en) Method and arrangement relating to navigation
JP5417204B2 (ja) 歩行情報抽出装置、歩行情報抽出方法、及び歩行情報抽出プログラム
CN107389052B (zh) 一种踝泵运动监测系统及终端设备
Alemayoh et al. Deep learning based real-time daily human activity recognition and its implementation in a smartphone
Hsu et al. Smartphone-based fall detection algorithm using feature extraction
CN106295675B (zh) 一种高准确性的基于智能手机的行为识别方法
KR20190086633A (ko) 안마의자 및 안마의자의 구동 방법
US11648440B2 (en) System and non-intrusive method for exercise posture detection
KR102089002B1 (ko) 행동에 대한 피드백을 제공하는 웨어러블 디바이스 및 방법
Gordienko et al. Deep learning for fatigue estimation on the basis of multimodal human-machine interactions
Ye et al. An instance-based physical violence detection algorithm for school bullying prevention
KR102093740B1 (ko) 인간 행동 인식을 위한 특징정보 추출 방법 및 그 행동 인식 장치
Büber et al. Discriminative time-domain features for activity recognition on a mobile phone
CN107270931A (zh) 一种IOS和android平台通用的步态自相关计步器
Alrazzak et al. A survey on human activity recognition using accelerometer sensor

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right