KR102060723B1 - 사용자 행동 인식 장치, ｏｎｍｆ 기반 기저 행렬 생성 방법 및 ｏｓｓｎｍｆ 기반 기저 행렬 생성 방법 - Google Patents

사용자 행동 인식 장치, ｏｎｍｆ 기반 기저 행렬 생성 방법 및 ｏｓｓｎｍｆ 기반 기저 행렬 생성 방법 Download PDF

Info

Publication number
KR102060723B1
KR102060723B1 KR1020130006012A KR20130006012A KR102060723B1 KR 102060723 B1 KR102060723 B1 KR 102060723B1 KR 1020130006012 A KR1020130006012 A KR 1020130006012A KR 20130006012 A KR20130006012 A KR 20130006012A KR 102060723 B1 KR102060723 B1 KR 102060723B1
Authority
KR
South Korea
Prior art keywords
matrix
feature vector
sensor data
onmf
basis
Prior art date
Application number
KR1020130006012A
Other languages
English (en)
Other versions
KR20140093867A (ko
Inventor
성재모
공원근
김세훈
최승진
Original Assignee
삼성전자주식회사
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 포항공과대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020130006012A priority Critical patent/KR102060723B1/ko
Priority to US14/159,790 priority patent/US10337868B2/en
Publication of KR20140093867A publication Critical patent/KR20140093867A/ko
Application granted granted Critical
Publication of KR102060723B1 publication Critical patent/KR102060723B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions

Abstract

다중 센서 및 레이블 정보 기반의 사용자 행동 인식 장치, ONMF 기반 기저 행렬 생성 방법 및 OSSNMF 기반 기저 행렬 생성 방법이 개시된다.
일측면에 따른 사용자 행동 인식 장치는, 직교화된 기저 행렬의 전치행렬에 2 이상의 센서로부터 획득된 주파수 도메인의 센서 데이터에 관한 센서 데이터 행렬을 곱하여 ONMF 기반 특징 벡터를 추출하는 특징 벡터 추출부; 및 추출된 상기 ONMF 기반 특징 벡터를 2 이상의 사용자의 행동 유형 중 어느 하나로 분류하는 멀티 클래스 분류부;를 포함한다.

Description

사용자 행동 인식 장치, ＯＮＭＦ 기반 기저 행렬 생성 방법 및 ＯＳＳＮＭＦ 기반 기저 행렬 생성 방법{APPARATUS FOR RECOGNIZING FEATURE OF USER, METHOD FOR ESTABLISHING BASIS MATRIX BASED ON ORTHOGONAL NON-NEGATIVE MATRIX FACTORIZATION AND METHOD FOR ESTABLISHING BASIS MATRIX BASED ON ORTHOGONAL SEMI-SUPERVISED NON-NEGATIVE MATRIX FACTORIZATION}
사용자 행동 인식 장치, ONMF 기반 기저 행렬 생성 방법 및 OSSNMF 기반 기저 행렬 생성 방법에 관한 것이다. 보다 상세하게는, 다중 센서 및 레이블 정보 기반의 사용자 행동 인식 장치, ONMF 기반 기저 행렬 생성 방법 및 OSSNMF 기반 기저 행렬 생성 방법에 관한 것이다.
스마트폰 등 휴대기기의 대중화됨에 따라, 휴대기기에 내장된 다양한 센서를 통하여 획득되는 정보를 활용하여 사용자의 행동을 인식하거나 예측하는 연구가 진행되고 있다.
그런데, 휴대기기를 휴대하는 사용자가 처한 상황으로 인하여 센서를 통하여 획득된 측정값을 정확하게 파악하지 못하게 되는 경우가 있다.
예컨대, 가속도 센서나 자이로 센서, 지자기 센서 등을 포함하는 휴대기기에 있어서, 사용자가 멈추어 서 있는 상황에서의 센서 측정값을 통한 행동 인식 결과는 사용자가 걷거나 뛰는 상황에서의 측정값과 걷거나 뛰는 상황에서의 행동 인식 결과와 다르게 나타나는 경우가 빈번하다. 또한, 사용자가 휴대기기를 손에 쥐고 있는 상황에서의 행동 인식 결과가 휴대기기를 바지 주머니나 가방에 넣고 있는 상황에서의 행동 인식 결과와 다르게 나타나는 경우가 빈번하다.
따라서, 사용자가 처한 상황에 따른 영향에도 불구하고 사용자의 행동을 인식하거나 예측하기 위해서는 사용자 행동의 특징을 정확하게 추출하는 기술이 필요하다.
사용자 행동 인식 장치, ONMF 기반 기저 행렬 생성 방법 및 OSSNMF 기반 기저 행렬 생성 방법을 제공한다.
일측면에 따른 사용자 행동 인식 장치는, 직교화된 기저 행렬의 전치행렬에 2 이상의 센서로부터 획득된 주파수 도메인의 센서 데이터에 관한 센서 데이터 행렬을 곱하여 ONMF 기반 특징 벡터를 추출하는 특징 벡터 추출부; 및 추출된 상기 ONMF 기반 특징 벡터를 2 이상의 사용자의 행동 유형 중 어느 하나로 분류하는 멀티 클래스 분류부;를 포함한다.
다른 측면에 따른 사용자 행동 인식 장치는, 2 이상의 센서로부터 획득된 주파수 도메인의 센서 데이터에 관한 센서 데이터 행렬을 상기 센서 데이터 행렬에 관한 직교화된 제1 기저 행렬의 전치행렬에 곱하여 ONMF 기반 특징 벡터를 추출하는 제1 특징 벡터 추출부;1 이상의 레이블 정보를 포함하는 레이블 행렬을 상기 제1 기저 행렬과 동일한 인코딩 행렬을 갖는 상기 레이블 행렬의 제2 기저 행렬의 전치행렬에 곱하여 레이블 기반 특징 벡터를 추출하는 제2 특징 벡터 추출부; 상기 제1 특징 벡터 및 상기 제2 특징 벡터를 결합하여 통합 특징 벡터를 생성하는 통합 특징 벡터 생성부; 및 상기 통합 특징 벡터를 2 이상의 사용자 행동 유형 중 어느 하나로 분류하는 멀티 클래스 분류부;를 포함한다.
또 다른 측면에 따른 ONMF 기반 기저 행렬 생성 방법은, 복수의 센서부에서 측정된 센서 데이터에 관한 센서 데이터 행렬이 획득되는 센서 데이터 획득 단계; ONMF 기반 특징벡터의 성분을 포함하는 통합 특징 벡터가 추출되는 특징 벡터 추출 단계; 및 상기 통합 특징 벡터에 관한 기저 행렬이 생성되는 기저 행렬 생성 단계;를 포함한다.
또 다른 측면에 따른 OSSNMF 기반 기저 행렬 생성 방법은, 복수의 센서부에서 측정된 센서 데이터에 관한 센서 데이터 및 스펙트로그램이 획득되는 단계; 획득된 센서 데이터에 관한 스펙트로그램 및 레이블 데이터에 근거하여 OSSNMF 기반 특징벡터의 성분이 포함되는 통합 특징 벡터가 생성되는 단계; 상기 센서 데이터에 관한 제1 기저 행렬, 상기 레이블 데이터에 관한 제2 기저 행렬 및 인코딩 행렬이 랜덤 초기화되는 단계; 및 초기화된 제1 기저 행렬, 초기화된 제2 기저 행렬 및 초기화된 인코딩 행렬에 대하여 업데이트가 수행되는 단계;를 포함한다.
다중 센서 및 레이블 정보 기반의 사용자 행동 인식 장치, ONMF 기반 기저 행렬 생성 방법 및 OSSNMF 기반 기저 행렬 생성 방법을 구현할 수 있는 효과가 있다.
또한, 준지도 비음수 행렬 분해보다 계산량을 감축한 사용자 행동 인식 장치, ONMF 기반 기저 행렬 생성 방법 및 OSSNMF 기반 기저 행렬 생성 방법을 구현할 수 있는 효과가 있다.
도 1은 일측면에 의한 사용자 행동 인식 장치를 예시한 블록도,
도 2는 도 1에 예시한 사용자 행동 인식 장치의 특징벡터 추출부를 더욱 상세히 나타낸 블록도,
도 3은 사용자 행동 특징 추출을 위한 ONMF 기반 기저 행렬 생성 장치를 예시한 블록도,
도 4는 기저 행렬을 직교화하기 위하여 스티펠 다양체를 이용하는 경우를 예시한 도면,
도 5는 사용자 행동 특징 추출을 위한 OSSNMF 기반 기저 행렬 생성 장치를 예시한 블록도,
도 6은 사용자 행동 특징 추출을 위한 ONMF 기반 기저 행렬 생성 방법의 흐름을 예시한 흐름도,
도 7은 사용자 행동 특징 추출을 위한 OSSNMF 기반 기저 행렬 생성 방법의 흐름을 구체적으로 예시한 흐름도,
도 8은 사용자 행동 특징 추출 방법의 흐름을 예시한 흐름도이다.
이하, 첨부된 도면을 참조하여 실시를 위한 구체적인 예를 상세히 설명한다.
"사용자 행동"이라 함은, 사용자가 나타내는 다양한 운동 상황, 예컨대 정지, 걷기, 뛰기, 계단 오르기, 자전거 타기 등의 상황을 의미하는 것으로 해석될 수 있다. 즉, 사용자 행동 인식 장치가 사용자 행동의 특징을 추출한다고 하는 것은, 사용자 행동 인식 장치의 센서의 위치와 무관하게 사용자 행동 인식 장치를 소지한 사람의 정확한 운동 상황을 판단한다는 것과 같은 의미로 해석될 수 있다.
또한, 직교비음수행렬분해(ONMF) 또는 직교준지도비음수행렬분해(OSSNMF)를 이용하여 사용자 행동의 특징을 추출하는 기술은 "생성"과 "적용" 등 두 가지 측면에서 살펴볼 수 있다.
첫 번째 측면은 직교비음수행렬분해 또는 직교준지도비음수행렬분해를 이용하여 사용자 행동 인식 장치에 사용되는 기저 행렬을 "생성하는" 장치 및 방법에 관한 것이다. 두 번째 측면은 생성된 기저 행렬을 "적용하여" 특정 센서 데이터(들)로부터 사용자 행동의 특징을 추출하는 장치 및 방법에 관한 것이다.
도 1은 일측면에 의한 사용자 행동 인식 장치를 예시한 블록도이다.
도 1에서 예시한 사용자 행동 인식 장치(1)는 위 두 가지 측면 중 두 번째 측면에 관한 장치이다.
도 1에 나타낸 바와 같이, 사용자 행동 인식 장치(1)는 특징벡터 추출부(20) 및 멀티클래스 분류부 (30)를 포함한다.
특징벡터 추출부(20)는, 다중 센서부(10)의 복수의 센서로부터 획득된 센서 데이터에 관한 센서 데이터 행렬을, 센서 데이터 행렬에 관한 직교화된 기저 행렬의 전치행렬에 곱하여 사용자 행동에 관한 특징 벡터를 추출한다.
이 때, 기저 행렬이 스티펠 다양체를 이용하여 근사적으로 직교화된 행렬이므로, 기저 행렬의 역행렬을 구하여 센서 데이터 행렬과 곱하는 복잡한 과정을 생략하고, 기저 행렬의 역행렬을 대신하여 단순히 기저 행렬의 전치행렬을 센서 데이터 행렬에 곱하기만 함으로써 사용자 행동에 관한 특징 벡터를 추출할 수 있게 된다.
다음으로, 멀티 클래스 분류부(30)는, 특징벡터 추출부(20)가 추출한 ONMF 기반 특징 벡터를 2 이상의 사용자의 행동 유형 중 어느 하나로 분류한다.
이를 위하여, 멀티 클래스 분류부(30)는 입력된 특징 벡터를 2 이상의 사용자의 행동 유형 중 어느 하나로 분류할 수 있는 분류체계를 구비한다.
도 2는 도 1에 예시한 사용자 행동 인식 장치의 특징벡터 추출부를 더욱 상세히 나타낸 블록도이다.
도 2에서 나타낸 바와 같이, 특징벡터 추출부(20)는 센서 데이터 보정부(230), 단시간 푸리에 변환부(240), 시간 영역 특징벡터 추출부(210), 주파수 영역 특징벡터 추출부(220), ONMF 기반 특징벡터 추출부(200) 및 통합 특징벡터 생성부(250)를 더 포함한다.
한편, 특징벡터 추출부(20)는 다중 센서부(10)로부터 전송된 센서 데이터로부터 특징벡터를 추출한다. 다중 센서부(10)는 지자기 센서부(100), 가속도 센서부(110) 및 자이로 센서부(120) 및 그 밖의 센서를 포함할 수 있다. 또한, 도 1의 실시예에서는 다중 센서부(10)는 사용자 행동 인식 장치(1)의 외부에 존재하는 것을 상정하고 있으나, 실시예에 따라서는 사용자 행동 인식 장치의 일부를 이룰 수도 있다.
센서 데이터 보정부(230)는 센서 데이터에 대한 보정을 수행한다. 예컨대, 지자기 센서부(100)의 센서 데이터를 이용하여 가속도 센서부(110)의 가속도 센서 데이터를 글로벌 좌표계(월드 좌표계)로 보정할 수 있다.
즉, 3축 가속도 센서에서 획득되는 가속도 센서 데이터의 경우, 종래의 JigSaw 방식의 사용자 행동 기법에서는 가속도 좌표계가 수직방향인
Figure 112013005280878-pat00001
와 수평방향인
Figure 112013005280878-pat00002
로 구성되는 2차원 공간으로 변환된다. 즉, N개의 가속도 센서 데이터의 평균값을 g라고 표기하고 현재 가속도 데이터 값이 a 라 표기하면, [수학식 1]를 통해 가속도 데이터 값이 2차원 공간으로 변환된다.
Figure 112013005280878-pat00003
그런데, [수학식 1]의 방법으로 가속도 좌표계를 변환하는 경우, 수평방향인
Figure 112013005280878-pat00004
를 정확하게 구할 수 없다는 문제점이 발생한다.
센서 데이터 보정부(230)는 지자기 센서부(100)에서 획득된 지자기 센서 데이터를 활용하여 가속도 센서부(110)에서 획득된 가속도 센서 데이터의 좌표계를 월드 좌표계로 변환함으로써 이와 같은 문제점을 해소할 수 있다. 즉, 가속도 센서는 장치에 종속된 좌표계를 통해 얻어지지만, 지자기 센서를 통하여 추정된 요잉(yaw), 피칭(pitch) 및 롤링(roll)에 관한 회전행렬을 이용하여 가속도 센서 데이터를 월드 좌표계로 변환시킬 수 있다.
따라서, 장치의 방향과 무관하게 일정한 가속도 센서 데이터를 얻을 수 있다. 결과적으로 변화에 강인한 사용자 행동 인식 시스템을 구성할 수 있게 된다.
단시간 푸리에 변환부(240)는 시간 도메인의 센서 데이터를 주파수 도메인으로 변환하여 스펙트로그램을 획득한다. 획득된 센서 데이터는 기본적으로 시간 영역의 센서 데이터이므로, 학습된 특징 벡터 추출부(200) 및 주파수 영역 특징 벡터 추출부(220)에서 센서 데이터가 활용되기 위해서는 센서 데이터가 먼저 주파수 영역으로 변환되어야 한다.
단시간 푸리에 변환부(240)가 주어진 시간 영역의 센서 데이터에 대하여 미리 지정한 윈도우 사이즈로 단시간 푸리에 변환(STFT: Short-Time Fourier Transform)을 적용함으로써, 센서 데이터에 대한 주파수 영역의 스펙트로그램(spectrogram)이 생성된다. 예컨대, 주어진 윈도우 크기에 해당하는 만큼의 가속도 센서 데이터와 자이로 센서 데이터에 대하여 단시간 푸리에 변환을 수행하여 스펙트로그램을 획득할 수 있다.
시간 영역 특징 벡터 추출부(210)는 각각의 센서 데이터로부터 시간 영역(time domain)의 특징들을 추출한다. 시간 영역의 특징에는 예컨대 평균(mean), 분산(variance), 평균 교차율(mean crossing rate) 등의 특징이 포함된다.
주파수 영역 특징 벡터 추출부(220)는 각각의 센서 데이터로부터 주파수 영역(frequency domain)의 특징들 중 ONMF 기반 특징 벡터 추출부(200)에서 추출된 특징들을 제외한 특징들이 추출된다. 설명의 편의를 위하여, ONMF 기반 특징 벡터 추출부 (200)에서 추출된 특징들을 "NMF 특징들"이라 하고, 주파수 영역 특징 벡터 추출부(220)에서 추출된 특징들을 "비-NMF(Non-NMF) 특징들"이라 하기로 한다.
비-NMF 주파수 영역의 특징들에는 예컨대 스펙트럼 피크(spectrum peak), 서브밴드 에너지(sub-band energy), 서브밴드 에너지비(sub-band energy ratio), 스펙트럴 엔트로피(spectral entropy) 등의 특징이 포함된다.
통합 특징벡터 생성부(250)는 ONMF 기반 특징벡터 추출부(200)에서 추출된 특징벡터에, 시간 영역 특징벡터 추출부(210) 및 주파수 영역 특징벡터 추출부(220)에서 각각 추출된 특징벡터를 통합하여 통합 특징 벡터를 생성한다.
통합 특징 벡터는 ONMF 기반 특징 벡터의 성분은 반드시 포함하되, 시간 영역 특징 벡터 및 비-NMF 기반 주파수 특징 벡터의 성분은 포함할 수도 있고, 포함하지 않을 수도 있다.
도 3은 사용자 행동 특징 추출을 위한 ONMF 기반 기저 행렬 생성 장치를 예시한 블록도이다.
도 2의 사용자 행동 인식 장치가 입력된 센서 데이터로부터 사용자 행동의 특징을 추출하기 위해서는, 센서 데이터 행렬에 관한 직교화된 기저 행렬이 생성되어 있어야 한다. 도 3은 기저 행렬을 생성하는 장치에 관한 도면이다.
도 3에서 나타낸 바와 같이, ONMF 기반 기저 행렬 생성 장치는, 행렬 초기화부(300), 행렬 업데이트부(310) 및 행렬 직교화부(320)를 포함하여 이루어진다.
비음수 행렬 분해(NMF)란, 하나의 비음수 행렬 X를 [수학식 2]에서 나타낸 바와 같이 기저 행렬 A와 비음수 인코딩 행렬 S로 분해하는 기법을 말한다. 여기에서는 비음수 행렬 X는 "센서 데이터 행렬"을 의미한다.
Figure 112013005280878-pat00005
사용자 행동의 행동 특성을 구분짓는 특징은 시간 영역보다는 주파수 영역에 많이 분포한다. 또한, 센서 데이터에 대한 주파수 영역의 특징은 스펙트로그램(spectrogram)으로부터 얻을 수 있다. 스펙트로그램은 주어진 시간 영역의 센서 데이터에 대하여 미리 지정한 윈도우 사이즈로 단시간 푸리에 변환(STFT: Short-Time Fourier Transform)을 적용함으로써 얻어진다.
스펙트로그램의 모든 요소는 비음수이기 때문에, 비음수 행렬 분해 기법을센서 데이터에 적용하는 경우, 데이터 특성을 효과적으로 추출할 수 있다.
또한, 비음수 행렬 분해(NMF) 기법에 의하면, [수학식 2]의 기저 행렬 A와 인코딩 행렬 S를 구하는 목적식은 [수학식 3]으로 주어진다. 또한, 목적식을 만족하는 기저 행렬 A와 인코딩 행렬 S는 멀티캡티브 업데이터 알고리즘(multiplicative update algorithm)을 반복 적용하여 [수학식 4]와 같이 구할 수 있다.
Figure 112013005280878-pat00006
Figure 112013005280878-pat00007
즉, 비음수 행렬 분해 기법을 이용하며, 위 [수학식 4]의 업데이트 식에 의하여 기저 행렬 A를 구한 다음, 기저 행렬 A의 의사역(pseudo-inverse)을 구하여 데이터 행렬을 사영시키면, 센서 데이터로부터 사용자 행동의 특징을 추출할 수 있다.
그러나, 만약 추출해야 하는 특징이 n개라면, 의사역은 O(n3)의 많은 계산량을 요구한다. 따라서, n의 개수가 증가할 수록, 많은 계산량을 처리하기 위하여 계산 시간이 오래 걸리거나 프로세서 자원이 많이 점유되는 등의 문제가 발생한다.
도 3의 ONMF 기반 기저 행렬 생성 장치는, 기저 행렬에 관한 의사역을 계산하지 않고도 데이터의 특징을 추출할 수 있도록 함으로써 이러한 문제를 해결하도록 한다.
보다 구체적으로는, [수학식 5]와 같이 강제적으로 기저 행렬이 직교 성질(orthogonality)을 만족하도록 함으로써 의사역 계산을 생략한다. 이를 "직교화된" 비음수 행렬 분해(ONMF: "Orthogonal" Non-negative Matrix Factorization)라고 부르기로 한다.
Figure 112013005280878-pat00008
다시 도 3으로 돌아가면, 행렬 초기화부(300)는 센서 데이터 행렬 X에 대한 기저 행렬 A와 인코딩 행렬 S를 랜덤으로 초기화한다.
행렬 업데이트부(310)는 초기화된 기저 행렬과 초기화된 인코딩 행렬에 대하여 업데이트를 수행한다. 예컨대, 행렬 업데이트부(310)는 [수학식 3]을 최소화하면서 [수학식 5]를 만족시키는 기저 행렬 A 및 인코딩 행렬 S가 얻어질 때까지 반복적으로 업데이트를 수행할 수 있다.
행렬 직교화부(320)는 행렬 업데이트부(310)에서 업데이트된 기저 행렬 A의 직교화를 수행한다. 이 때, 기저 행렬 A는 스티펠 다양체를 이용하여 근사적으로 업데이트될 수 있다.
도 4는 기저 행렬을 직교화하기 위하여 스티펠 다양체를 이용하는 경우를 예시한 도면이다.
ONMF는 NMF와 동일한 목적식을 최소화하지만, 기저 행렬 A가 직교 행렬이여야 된다는 제약조건이 추가된다.
기저 행렬 A를 직교화하기 위해 스티펠 다양체(Stiefel manifold)를 적용할 수 있다. 스티펠 다양체는 직교 행렬 전체를 모아놓은 집합으로 특정 행렬을 직교화하기 위해 많이 사용되는 다양체이다.
Figure 112013005280878-pat00009
일반적으로, [수학식 6]을 기저 행렬 A에 대해 최소화하고 싶은 경우, A에 대한 gradient (
Figure 112013005280878-pat00010
)의 반대 방향으로 업데이트를 수행한다. 하지만 대부분의 경우
Figure 112013005280878-pat00011
는 기저 행렬 A의 직교 성질을 만족하지 않는 방향으로 배치된다.
따라서, 행렬 직교화부(320)는
Figure 112013005280878-pat00012
가 기저 행렬 A의 직교 성질을 최대한 만족할 수 있도록 스티펠 다양체를 활용하여 보정한다.
도 4에서,
Figure 112013005280878-pat00013
은 스티펠 다양체를 의미하고
Figure 112013005280878-pat00014
는 현재 위치에서의 그래디언트이다.
Figure 112013005280878-pat00015
의 방향은 스티펠 다양체와 상관없기 때문에
Figure 112013005280878-pat00016
방향으로 업데이트를 수행하면 직교 성질을 만족할 수 없다. 따라서 이를 보정하기 위해, 스티펠 다양체의 접선 평면에
Figure 112013005280878-pat00017
를 사영시켜 보정된 그래디언트(
Figure 112013005280878-pat00018
)를 구하여 업데이트를 수행한다.
도 4에서
Figure 112013005280878-pat00019
은 다양체의 접선 평면을 의미하고,
Figure 112013005280878-pat00020
은
Figure 112013005280878-pat00021
를 상기 접선 평면에 사영시켜 구한 그래디언트이다.
따라서, 행렬 업데이트부(310)가
Figure 112013005280878-pat00022
을 이용하여 업데이트를 수행하면, 정확한 직교 행렬을 얻을 수는 없지만, 근사적인 직교 행렬을 구할 수 있다. 결과적으로 [수학식 6]에서 얻은
Figure 112013005280878-pat00023
를 이용하여 (근사적으로) 직교화된 기저 행렬 A를 구할 수 있게 된다.
이 때, [수학식 6]을 기반으로 하는 직교화된 기저 행렬의 업데이트는 다음의 [수학식 7]의 규칙으로 간략화할 수 있다. 즉, [수학식 7]은 행렬을 직교화하는 기능이 있는 업데이트식이다.
Figure 112013005280878-pat00024
또한, 기저 행렬 A를 안정적으로 수렴시키기 위해, 매 업데이트마다 수행하는 L2 정규화는 [수학식 8]과 같이 나타낼 수 있다.
Figure 112013005280878-pat00025
도 5는 사용자 행동 특징 추출을 위한 OSSNMF 기반 기저 행렬 생성 장치를 예시한 블록도이다.
비음수 행렬 분해는 데이터 특성을 효율적으로 찾지만 레이블 정보를 활용할 수 없다는 단점이 있다. 이 때, 준지도 비음수 행렬 분해(SSNMF: Semi-Supervised Non-negative Matrix Factorization)를 이용하면 비음수 센서 데이터 행렬뿐만 아니라 레이블 정보에 관한 행렬을 더 활용하여 데이터의 특징을 더욱 정확하게 추출할 수 있다.
보다 구체적으로, 데이터 행렬이 X로 주어져있고 레이블 행렬은 Y로 주어진 경우, 준지도 비음수 행렬 분해 기법에 따르면, 데이터 행렬과 레이블 행렬을 공통된 인코딩 행렬 S를 이용하여 [수학식 9]와 같이 행렬 분해하게 된다.
Figure 112013005280878-pat00026
Figure 112013005280878-pat00027
도 5에서 나타낸 바와 같이, OSSNMF 기반 기저 행렬 생성장치는 행렬 초기화부(400), 행렬 업데이트부(410) 및 행렬 직교화부(420)를 포함한다.
행렬 초기화부(400)는 센서 데이터 행렬 X 및 레이블 행렬 Y에 대한 기저 행렬 A, 기저 행렬 B 및 두 기저 행렬에 공통인 인코딩 행렬 S를 랜덤으로 초기화한다.
행렬 업데이트부(410)는 초기화된 기저 행렬A, B와 초기화된 인코딩 행렬S에 대하여 업데이트를 수행한다. 예컨대, 업데이트는 [수학식 10]을 최소화하는 기저 행렬 A, B 및 인코딩 행렬 S가 얻어질 때까지 수행할 수 있다.
Figure 112013005280878-pat00028
이 때, L은 웨이트 행렬로서, 라벨이 사용 가능하지 않은 데이터 항목을 고려하기 위한 행렬이다.
일례로서, 어떤 데이터의 라벨이 존재하면 이 라벨에 대응하는 행렬 성분을 1로, 어떤 데이터의 라벨이 존재하지 않으면 이 라벨에 대응하는 행렬 성분을 0으로 채울 수 있다.
행렬 직교화부(420)는 행렬 업데이트부(410)에서 업데이트된 기저 행렬 A의 직교화를 수행한다. 이 때, 기저 행렬 A는 스티펠 다양체를 이용하여 근사적으로 업데이트될 수 있다.
따라서, 행렬 업데이트부(410)가
Figure 112013005280878-pat00029
을 이용하여 업데이트를 수행하면 근사적인 직교 행렬을 구할 수 있다. 또한, 직교화된 기저 행렬의 업데이트는 다음의 [수학식 11]로 간략화할 수 있다.
Figure 112013005280878-pat00030
Figure 112013005280878-pat00031
Figure 112013005280878-pat00032
또한, 기저 행렬 A를 안정적으로 수렴시키기 위해, 매 업데이트마다 수행하는 L2 정규화는 [수학식 12]와 같이 나타낼 수 있다.
Figure 112013005280878-pat00033
도 5의 OSSNMF 기반 기저 행렬 생성장치가 행렬 분해를 수행하기 위한 목적식은 [수학식 13]과 같다. 이 때, 데이터가 누락된 경우 및 레이블 정보가 모든 데이터에서 존재하지 않는 경우가 있을 수 있다 .이를 위하여, 누락된 센서 데이터에 관한 행렬인 W 및 레이블 정보가 존재하지 않는 데이터를 처리하기 위한 행렬인 L를 더 구성할 수 있다.
Figure 112013005280878-pat00034
기저 행렬도 5의 OSSNMF 기반 기저 행렬 생성장치도 근사적으로 기저 행렬을 직교화하고 있으므로, 기저 행렬의 의사역을 계산하지 않고도 데이터의 특징을 기저 행렬의 전치 행렬로부터 간단히 구할 수 있다.
즉, 일반적인 준지도 비음수 행렬 분해 기법(SSNMF)에서는, [수학식 13]을 해결하기 위하여, [수학식 14]와 같은 방식으로 업데이트를 수행하여야 한다. 이 때 업데이트를 통하여 얻어진 기저 행렬 A에 센서 데이터 행렬 X를 사영시켜 센서 데이터의 특징을 추출할 수 있다.
Figure 112013005280878-pat00035
Figure 112013005280878-pat00036
Figure 112013005280878-pat00037
반면, 도 5의 OSSNMF 기반 기저 행렬 생성장치는 강제적으로 기저 행렬 A가 직교 성질(orthogonality)을 만족하도록 함으로써 의사역 계산을 생략한다. 이를 "직교화된" 준지도 비음수 행렬 분해(OSSNMF: "Orthogonal" Semi-Supervised Non-negative Matrix Factorization)라고 부르기로 한다.
도 6은 사용자 행동 특징 추출을 위한 ONMF 기반 기저 행렬 생성 방법의 흐름을 예시한 흐름도이다.
도 6에서 나타낸 바와 같이, 사용자 행동 특징 추출을 위한 ONMF 기반 기저 행렬 생성 방법(S10)은 센서 데이터 획득 단계(S100), 특징 벡터 추출 단계(S110) 및 기저 행렬 생성 단계(S120)를 포함하여 이루어진다.
센서 데이터 획득 단계(S100)에서는, 복수의 센서부에서 측정된 센서 데이터에 관한 센서 데이터 행렬이 획득된다.
다음으로, 특징 벡터 추출 단계(S110)에서는 ONMF 기반 특징벡터의 성분을 포함하는 통합 특징 벡터가 추출된다. 이 때, 센서 데이터에 대한 보정이나 시간 도메인에서 주파수 도메인으로 변환되는 등의 처리가 더 이루어질 수 있다.
기저 행렬 생성 단계(S120)에서는 통합 특징 벡터에 관한 기저 행렬이 생성된다.
기저 행렬 생성 단계(S120)는 행렬 초기화 단계, 행렬 업데이트 단계 및 행렬 직교화 단계를 더 포함할 수 있다. (도면에 나타내지 않음)
행렬 초기화 단계에서는 센서 데이터 행렬 X에 대한 기저 행렬 A와 인코딩 행렬 S가 랜덤으로 초기화된다.
행렬 업데이트 단계에서는 초기화된 기저 행렬과 초기화된 인코딩 행렬에 대하여 반복적인 업데이트가 수행된다. 예컨대, [수학식 3]을 최소화하면서 [수학식 5]를 만족시키는 기저 행렬 A 및 인코딩 행렬 S가 얻어질 때까지 반복적으로 업데이트가 수행될 수 있다.
행렬 직교화 단계에서는 업데이트된 기저 행렬 A의 직교화가 수행된다. 이 때, 기저 행렬 A는 스티펠 다양체를 이용하여 근사적으로 업데이트될 수 있다.
도 7은 사용자 행동 특징 추출을 위한 OSSNMF 기반 기저 행렬 생성 방법의 흐름을 구체적으로 예시한 흐름도이다.
센서 데이터 획득 단계(S210)에서는, 복수의 센서부에서 측정된 센서 데이터에 관한 센서 데이터 및 스펙트로그램이 획득된다.
다음 단계(S220)에서는, 센서 데이터 획득 단계(S210에서 획득된 각각의 스펙트로그램이 통합되고, 레이블 행렬이 획득된다. 이 때, 통합 특징 벡터에는 ONMF 기반 특징벡터의 성분은 반드시 포함되어야 하며, 비-ONMF 기반 주파수 특징 벡터나 시간 특징 벡터의 성분은 포함될 수도 있고 포함되지 않을 수도 있다.
다음 단계(S230)에서는 기저 행렬 및 인코딩 행렬이 초기화된다. 도 7의 OSSNMF 기반 기저 행렬 생성 방법은 레이블 정보에 관한 행렬을 더 활용하므로, 데이터 행렬 X 및 레이블 행렬 Y에 대하여 각각 기저 행렬 A 및 B가 랜덤으로 초기화되어야 한다. 또한, 두 기저 행렬에 공통된 인코딩 행렬인 S도 랜덤으로 초기화된다.
다음 단계(S240)에서는 초기화된 기저 행렬 A, B와 초기화된 인코딩 행렬 S에 대하여 업데이트가 수행된다. 업데이트는 위에서 언급한 [수학식 10]을 최소화하는 기저 행렬 A, B 및 인코딩 행렬 S가 얻어질 때까지 수행될 수 있다. 즉, 기저 행렬 A가 특정 값으로 수렴하는 경우에는 업데이트가 종료되지만, 그렇지 않은 경우에는 계속해서 업데이트가 수행된다(S242).
행렬 직교화는 행렬 업데이트와 함께 수행될 수 있다.
한편, 기저 행렬 A를 안정적으로 수렴시키기 위해, 기저 행렬 A에 L2 정규화를 수행할 수 있다(S250).
도 8은 사용자 행동 특징 추출 방법의 흐름을 예시한 흐름도이다.
사용자 행동 특징 추출 방법은, 센서 데이터 획득 단계(S300), 특징 벡터 추출 단계(S310) 및 사용자 행동 특징 추출 단계(S320)를 포함하여 이루어진다.
센서 데이터 획득 단계(S300)에서는 복수의 센서부를 통하여 센서 데이터가 획득된다.
다음으로, 특징 벡터 추출 단계(S310)에서는 센서 데이터 행렬을 센서 데이터 행렬에 관한 직교화된 기저 행렬의 전치행렬에 곱하여 사용자 행동에 관한 특징 벡터가 추출된다.
즉, 센서 데이터 행렬 X에 직교화된 기저 행렬 AT를 곱함으로써 사용자 행동의 특징이 추출되며, 사용자 행동의 특징에 관한 벡터를
Figure 112013005280878-pat00038
라고 할 때,
Figure 112013005280878-pat00039
는 [수학식 15]와 같이 얻어진다.
Figure 112013005280878-pat00040
사용자 행동 특징 추출 단계(S320)에서는, 특징 벡터 추출 단계(S310)에서 추출된 특징 벡터를 2 이상의 사용자의 행동 유형 중 어느 하나로 분류한다.
이를 위하여, 사용자 행동 특징 추출 단계(S320)에서는 입력된 특징 벡터를 2 이상의 사용자의 행동 유형 중 어느 하나로 분류할 수 있는 분류체계가 사용될 수 있다.
한편, 본 발명의 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
나아가 전술한 실시 예들은 본 발명을 예시적으로 설명하기 위한 것으로 본 발명의 권리범위가 특정 실시 예에 한정되지 아니할 것이다.

Claims (13)

  1. 직교화된 기저 행렬의 전치행렬에 2 이상의 센서로부터 획득된 주파수 도메인의 센서 데이터에 관한 센서 데이터 행렬을 곱하여 ONMF 기반 특징 벡터를 추출하는 특징 벡터 추출부; 및
    추출된 상기 ONMF 기반 특징 벡터를 2 이상의 사용자의 행동 유형 중 어느 하나로 분류하는 멀티 클래스 분류부;를 포함하고,
    상기 직교화된 기저 행렬은, 기저 행렬에 관한 의사역을 계산하지 않고 ONMF 기반 특징 벡터를 추출할 수 있도록 스티펠 다양체를 이용하여 근사적으로 직교화된 행렬인 사용자 행동 인식 장치.
  2. 제1항에 있어서,
    상기 주파수 도메인의 센서 데이터의 적어도 일부를 보정하는 센서 데이터 보정부;를 더 포함하며,
    상기 주파수 도메인의 센서 데이터는, 자이로 센서 데이터를 이용하여 상기 센서 데이터 보정부에 의하여 글로벌 좌표계로 변환된 센서 데이터인 사용자 행동 인식 장치.
  3. 제2항에 있어서,
    상기 특징 벡터 추출부는, 주파수 도메인의 센서 데이터 및 시간 도메인의 센서 데이터 중 적어도 하나를 포함하는 비-ONMF 기반 특징 벡터를 더 추출하고, 상기 ONMF 기반 특징 벡터 및 상기 비-ONMF 기반 특징 벡터를 결합하여 통합 특징 벡터를 생성하며,
    상기 멀티 클래스 분류부는, 상기 통합 특징 벡터를 2 이상의 사용자 행동 유형 중 어느 하나로 분류하는 사용자 행동 인식 장치.
  4. 제1항에 있어서,
    상기 직교화된 기저 행렬은, 기저 행렬 및 상기 기저 행렬에 대응하는 인코딩 행렬이 수렴할 때까지 업데이트하여 얻어진 행렬인 사용자 행동 인식 장치.
  5. 삭제
  6. 2 이상의 센서로부터 획득된 주파수 도메인의 센서 데이터에 관한 센서 데이터 행렬을 상기 센서 데이터 행렬에 관한 직교화된 제1 기저 행렬의 전치행렬에 곱하여 ONMF 기반 특징 벡터를 추출하는 제1 특징 벡터 추출부;
    1 이상의 레이블 정보를 포함하는 레이블 행렬을 상기 제1 기저 행렬과 동일한 인코딩 행렬을 갖는 상기 레이블 행렬의 제2 기저 행렬의 전치행렬에 곱하여 레이블 기반 특징 벡터를 추출하는 제2 특징 벡터 추출부;
    상기 제1 특징 벡터 및 상기 제2 특징 벡터를 결합하여 통합 특징 벡터를 생성하는 통합 특징 벡터 생성부; 및
    상기 통합 특징 벡터를 2 이상의 사용자 행동 유형 중 어느 하나로 분류하는 멀티 클래스 분류부;를 포함하고,
    상기 직교화된 제1 기저 행렬은 기저 행렬에 관한 의사역을 계산하지 않고 ONMF 기반 특징 벡터를 추출할 수 있도록 스티펠 다양체를 이용하여 근사적으로 직교화된 행렬인 사용자 행동 인식 장치.
  7. 제6항에 있어서,
    상기 제1 기저 행렬은, 상기 제1 기저 행렬 및 상기 제1 기저 행렬에 대응하는 인코딩 행렬이 수렴할 때까지 업데이트하여 얻어진 행렬인 사용자 행동 인식 장치.
  8. 복수의 센서부에서 측정된 센서 데이터에 관한 센서 데이터 행렬이 획득되는 센서 데이터 획득 단계;
    ONMF 기반 특징벡터의 성분을 포함하는 통합 특징 벡터가 추출되는 특징 벡터 추출 단계; 및
    상기 통합 특징 벡터에 관한 기저 행렬이 생성되는 기저 행렬 생성 단계;를 포함하고,
    상기 기저 행렬은 기저 행렬에 관한 의사역을 계산하지 않고 ONMF 기반 특징 벡터를 추출할 수 있도록 스티펠 다양체를 이용하여 근사적으로 업데이트되는 사용자 행동 특징 추출을 위한 ONMF 기반 기저 행렬 생성 방법.
  9. 제8항에 있어서,
    상기 기저 행렬 생성 단계는, 상기 기저 행렬 및 상기 기저 행렬에 관한 인코딩 행렬이 랜덤으로 초기화되는 단계;
    초기화된 기저 행렬 및 초기화된 인코딩 행렬에 대하여 반복적인 업데이트가 수행되는 단계; 및
    상기 기저 행렬의 직교화가 수행되는 단계;를 포함하는 사용자 행동 특징 추출을 위한 ONMF 기반 기저 행렬 생성 방법.
  10. 삭제
  11. 복수의 센서부에서 측정된 센서 데이터에 관한 센서 데이터 및 스펙트로그램이 획득되는 단계;
    획득된 센서 데이터에 관한 스펙트로그램 및 레이블 데이터에 근거하여 OSSNMF 기반 특징벡터의 성분이 포함되는 통합 특징 벡터가 생성되는 단계;
    상기 센서 데이터에 관한 제1 기저 행렬, 상기 레이블 데이터에 관한 제2 기저 행렬 및 인코딩 행렬이 랜덤 초기화되는 단계; 및
    초기화된 제1 기저 행렬, 초기화된 제2 기저 행렬 및 초기화된 인코딩 행렬에 대하여 업데이트가 수행되는 단계;를 포함하고,
    상기 업데이트가 수행되는 단계는
    상기 제1 기저 행렬이 기저 행렬에 관한 의사역을 계산하지 않고 ONMF 기반 특징 벡터를 추출할 수 있도록 스티펠 다양체를 이용하여 근사적으로 업데이트되는 단계를 포함하는 사용자 행동 특징 추출을 위한 OSSNMF 기반 기저 행렬 생성 방법.
  12. 제11항에 있어서,
    상기 업데이트가 수행되는 단계에서, 제1 기저 행렬이 수렴하는 경우에는 업데이트가 종료되고, 그렇지 않은 경우에는 계속해서 업데이트가 수행되는 사용자 행동 특징 추출을 위한 OSSNMF 기반 기저 행렬 생성 방법.
  13. 제11항에 있어서,
    상기 업데이트가 수행되는 단계는, 상기 제1 기저 행렬이 L2 정규화되는 단계를 더 포함하는 사용자 행동 특징 추출을 위한 OSSNMF 기반 기저 행렬 생성 방법.
KR1020130006012A 2013-01-18 2013-01-18 사용자 행동 인식 장치, ｏｎｍｆ 기반 기저 행렬 생성 방법 및 ｏｓｓｎｍｆ 기반 기저 행렬 생성 방법 KR102060723B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130006012A KR102060723B1 (ko) 2013-01-18 2013-01-18 사용자 행동 인식 장치, ｏｎｍｆ 기반 기저 행렬 생성 방법 및 ｏｓｓｎｍｆ 기반 기저 행렬 생성 방법
US14/159,790 US10337868B2 (en) 2013-01-18 2014-01-21 Method and apparatus for recognizing motion feature of user, using orthogonal semisupervised non-negative matrix factorization (OSSNMF)-based feature data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130006012A KR102060723B1 (ko) 2013-01-18 2013-01-18 사용자 행동 인식 장치, ｏｎｍｆ 기반 기저 행렬 생성 방법 및 ｏｓｓｎｍｆ 기반 기저 행렬 생성 방법

Publications (2)

Publication Number Publication Date
KR20140093867A KR20140093867A (ko) 2014-07-29
KR102060723B1 true KR102060723B1 (ko) 2019-12-31

Family

ID=51208366

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130006012A KR102060723B1 (ko) 2013-01-18 2013-01-18 사용자 행동 인식 장치, ｏｎｍｆ 기반 기저 행렬 생성 방법 및 ｏｓｓｎｍｆ 기반 기저 행렬 생성 방법

Country Status (2)

Country Link
US (1) US10337868B2 (ko)
KR (1) KR102060723B1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10438131B1 (en) * 2015-12-14 2019-10-08 Google Llc Spherical random features for polynomial kernels
KR102450763B1 (ko) 2016-01-07 2022-10-06 한국전자통신연구원 사용자 자세에 기초한 키스트로크 패턴을 이용한 사용자 분류 장치 및 방법
US9781243B1 (en) * 2016-06-27 2017-10-03 Intel Corporation Optimizing wearable device settings using machine learning
WO2018158219A1 (en) * 2017-02-28 2018-09-07 Nestec S.A. Methods and devices using meta-features extracted from accelerometry signals for swallowing impairment detection
US10588517B2 (en) 2017-05-19 2020-03-17 Stmicroelectronics, Inc. Method for generating a personalized classifier for human motion activities of a mobile or wearable device user with unsupervised learning
CN107273857B (zh) * 2017-06-19 2021-03-02 深圳市酷浪云计算有限公司 运动动作的识别方法及装置、电子设备
CN107424174B (zh) * 2017-07-15 2020-06-23 西安电子科技大学 基于局部约束非负矩阵分解的运动显著区域提取方法
KR102035860B1 (ko) * 2018-02-06 2019-10-23 한림대학교 산학협력단 연속 제스처 인식 시스템
KR102265809B1 (ko) * 2018-11-21 2021-06-15 오헌식 가속도센서를 이용한 가축 행동패턴 검출 방법 및 장치
CN110207704B (zh) * 2019-05-21 2021-07-13 南京航空航天大学 一种基于建筑楼梯场景智能识别的行人导航方法
CN112233016B (zh) * 2020-10-21 2022-09-09 中国计量大学 基于自组织图约束直推式非负矩阵分解的未见图像特征迁移方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011515123A (ja) * 2008-03-14 2011-05-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 外的な動き因子により誘発された加速に影響を受けない行動監視システム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100008071A (ko) 2008-07-15 2010-01-25 아주대학교산학협력단 하이브리드 센서 기반의 인간행동 감지 시스템 및 방법
KR20100052372A (ko) 2008-11-10 2010-05-19 삼성전자주식회사 모션 센서 기반의 사용자 동작 인식 방법 및 이를 이용한 단말기
US20100117959A1 (en) 2008-11-10 2010-05-13 Samsung Electronics Co., Ltd. Motion sensor-based user motion recognition method and portable terminal using the same
KR20100102450A (ko) 2009-03-11 2010-09-24 (주)엑스포웰 스마트 카드 기반 유비쿼터스 동적 운동 처방 시스템 및 그방법
US8078152B2 (en) 2009-08-13 2011-12-13 Palo Alto Research Center Incorporated Venue inference using data sensed by mobile devices
KR101092796B1 (ko) 2009-12-31 2011-12-12 성균관대학교산학협력단 컨버전스 제스처 입력 인터페이스를 구비한 이동통신단말기 및 그 제어방법
US8694051B2 (en) * 2010-05-07 2014-04-08 Qualcomm Incorporated Orientation sensor calibration
US8583392B2 (en) * 2010-06-04 2013-11-12 Apple Inc. Inertial measurement unit calibration system
US20110313650A1 (en) * 2010-06-21 2011-12-22 Qualcomm Incorporated Inertial sensor orientation detection and measurement correction for navigation device
KR101956186B1 (ko) 2011-04-27 2019-03-11 삼성전자주식회사 가속도 센서를 이용한 자세 추정 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011515123A (ja) * 2008-03-14 2011-05-19 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 外的な動き因子により誘発された加速に影響を受けない行動監視システム

Also Published As

Publication number Publication date
US10337868B2 (en) 2019-07-02
KR20140093867A (ko) 2014-07-29
US20140207401A1 (en) 2014-07-24

Similar Documents

Publication Publication Date Title
KR102060723B1 (ko) 사용자 행동 인식 장치, ｏｎｍｆ 기반 기저 행렬 생성 방법 및 ｏｓｓｎｍｆ 기반 기저 행렬 생성 방법
CN110797021B (zh) 混合语音识别网络训练方法、混合语音识别方法、装置及存储介质
KR102221118B1 (ko) 영상의 특징을 추출하여 객체를 인식하는 방법
US8411906B2 (en) Image processing apparatus, image processing method, image recognition apparatus, and image recognition method
CN112673381B (zh) 一种对抗样本的识别方法及相关装置
JPWO2005024788A1 (ja) 信号分離方法、信号分離装置、信号分離プログラム及び記録媒体
US8275206B2 (en) Learning device, learning method, identifying device, identifying method, program, and information processing system
CN105404886A (zh) 特征模型生成方法和特征模型生成装置
US11386288B2 (en) Movement state recognition model training device, movement state recognition device, methods and programs therefor
KR20160053749A (ko) 얼굴 영상의 다양성에 강인한 얼굴 표정 특징 분류 방법 및 시스템
CN111698181A (zh) 无线通信系统以及操作无线通信系统的方法
Izquierdo-Verdiguier et al. Spectral clustering with the probabilistic cluster kernel
Feng et al. 3D face recognition method based on deep convolutional neural network
KR101717377B1 (ko) 얼굴 자세 추정 장치 및 얼굴 자세 추정 방법
CN115062642A (zh) 一种信号辐射源识别方法、装置、设备及存储介质
Wilson et al. An information bottleneck approach to optimize the dictionary of visual data
KR101514551B1 (ko) 환경 변화에 강인한 멀티모달 사용자 인식
Cavalin et al. Evaluation of incremental learning algorithms for HMM in the recognition of alphanumeric characters
Iqbal et al. An approach for sequential dictionary learning in nonuniform noise
CN111105438B (zh) 基于动态模式分解的运动检测方法、终端设备及计算机可读存储介质
Abbass et al. Visual tracking using convolutional features with sparse coding
JP6874842B2 (ja) 信号処理装置、信号処理方法およびプログラム
Perrault-Joncas et al. Estimating vector fields on manifolds and the embedding of directed graphs
TW201020516A (en) Determination apparatus and methods for pedestrian motion modes, and storage media
Song et al. A distribution based video representation for human action recognition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant