KR101417719B1 - 모션 문맥을 분석하는 방법 및 장치 - Google Patents

모션 문맥을 분석하는 방법 및 장치 Download PDF

Info

Publication number
KR101417719B1
KR101417719B1 KR1020140044846A KR20140044846A KR101417719B1 KR 101417719 B1 KR101417719 B1 KR 101417719B1 KR 1020140044846 A KR1020140044846 A KR 1020140044846A KR 20140044846 A KR20140044846 A KR 20140044846A KR 101417719 B1 KR101417719 B1 KR 101417719B1
Authority
KR
South Korea
Prior art keywords
sensor
data
user
motion
motion context
Prior art date
Application number
KR1020140044846A
Other languages
English (en)
Inventor
신병석
이진희
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020140044846A priority Critical patent/KR101417719B1/ko
Application granted granted Critical
Publication of KR101417719B1 publication Critical patent/KR101417719B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

모션 문맥을 분석하는 방법 및 장치가 개시된다. 컴퓨터로 구현되는 모션 문맥 분석 방법에 있어서, 모바일 기기에 내장된 가속도 센서와 기울기 센서를 통해 사용자의 움직임에 따른 센서 데이터를 획득하는 단계; 및 상기 센서 데이터를 이용하여 상기 사용자의 움직임에 대한 모션 문맥(motion context)을 분석하는 단계를 포함하는 모션 문맥 분석 방법을 제공한다.

Description

모션 문맥을 분석하는 방법 및 장치{METHOD AND APPARATUS FOR ANALYZING MOTION CONTEXT}
본 발명의 실시예들은 다중 센서를 활용하여 사용자와 그 주변 상황을 인지하는 기술에 관한 것이다.
최근의 모바일 기기에는 GPS(global positioning system) 수신기, 가속도 센서, 자이로 센서, 카메라와 같은 비전 센서(vision sensor) 등의 다양한 센서들이 탑재되어 있다. 이러한 센서들을 활용하여 인간의 행동을 인식하고, 그 주변 상황을 인지하는 연구들이 활발히 진행 중이다.
이러한 상황 인지 기술의 일 예로, 한국등록특허 제10-1165537호(등록일 2012년 07월 06일) "사용자 장치 및 그의 사용자의 상황 인지 방법"에는 사용자 장치에 구비된 가속도 센서를 이용하여 가속도 센서에 의해 획득되는 신호를 분석하여 사용자의 현재 상황을 인지하는 구성이 개시되어 있다.
그러나, 상황 인지 기술에서 어려운 문제점 중 하나는 상황 인지를 위해 이용되는 구성요소를 모두 작동시키거나 카메라와 같이 전력 소모가 많은 센서를 지속적으로 작동시킬 경우 모바일 기기의 배터리 수명(battery life) 문제가 발생한다는 것이다.
또한, 가속도 센서는 사용자의 이동 방향이나 행동 스케일(scale)에 대한 분석 등의 모션 문맥(motion context)을 감지하는데 활용될 수 있다. 그러나, 가속도 센서를 통해 수집된 정보는 노이즈(noise)가 많아서 사용자의 움직임을 정확하게 파악하는 것이 쉽지 않다.
가속도 센서와 기울기 센서에서 감지된 데이터에 HMM(Hidden Markov Model)을 적용하여 사용자의 모션 문맥을 정확히 분석할 수 있는 방법 및 장치를 제공한다.
사용자의 모션 문맥에 따라 상황 인지에 사용되는 센서를 가변적으로 조절하여 소모 전력을 절감할 수 있는 방법 및 장치를 제공한다.
컴퓨터로 구현되는 모션 문맥 분석 방법에 있어서, 모바일 기기에 내장된 가속도 센서와 기울기 센서를 통해 사용자의 움직임에 따른 센서 데이터를 획득하는 단계; 및 상기 센서 데이터를 이용하여 상기 사용자의 움직임에 대한 모션 문맥(motion context)을 분석하는 단계를 포함하는 모션 문맥 분석 방법을 제공한다.
일 측면에 따르면, 상기 획득하는 단계는, 상기 가속도 센서로부터 상기 모바일 기기의 방향(orientation)에 대한 3축 가속 데이터를 획득하는 단계; 및 상기 3축 가속 데이터에 수학식 1의 MAF(moving average filter)를 적용하여 스케일링 다운(scaling down)을 하는 단계를 포함할 수 있다.
수학식 1:
Figure 112014035835519-pat00001
(여기서, x1, y1, z1은 로우 데이터(raw data)이고, x2, y2, z2는 스케일 다운된 데이터이며, k는 시간에 따른 데이터의 개수를 지정하는 팩터이고, S는 평활화를 위한 스팬(span) 값을 나타낸다.)
다른 측면에 따르면, 상기 획득하는 단계는, 상기 가속도 센서로부터 상기 모바일 기기의 방향(orientation)에 대한 3축 가속 데이터를 획득하는 단계; 상기 기울기 센서로부터 상기 가속도 센서의 수평 성분(horizontal component)과 수직 성분(vertical component)을 획득하는 단계; 및 상기 가속도 센서의 수평 성분과 수직 성분을 이용하여 상기 3축 가속 데이터를 보정하는 단계를 포함할 수 있다.
또 다른 측면에 따르면, 상기 분석하는 단계는, HMM(Hidden Markov Model) 기반의 결정 트리(Decision tree)를 이용하여 상기 센서 데이터에 따른 평균 보행 속도를 기준으로 상기 사용자의 움직임을 서있기(Standing), 걷기(Walking), 빨리 걷기(Fast walking)로 분류하는 것을 특징으로 한다.
적어도 하나의 프로그램이 로딩된 메모리; 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 프로그램의 제어에 따라, 모바일 기기에 내장된 가속도 센서와 기울기 센서를 통해 사용자의 움직임에 따른 센서 데이터를 획득하는 과정; 및 상기 센서 데이터를 이용하여 상기 사용자의 움직임에 대한 모션 문맥(motion context)을 분석하는 과정을 처리하는 모션 문맥 분석 장치를 제공한다.
본 발명의 실시예에 따르면, 가속도 센서와 기울기 센서에서 감지된 데이터에 HMM를 적용하여 사용자의 실시간 모션을 분석함으로써 모션 문맥의 정확한 분석을 수행할 수 있다.
본 발명의 실시예에 따르면, 사용자의 모션 문맥을 구분하여 각 모션 문맥 별로 상황인지에 사용되는 초음파 센서의 개수와 카메라의 사용빈도를 가변적으로 조절함으로써 소모 전력을 절감할 수 있다.
도 1은 본 발명의 일 실시예에 따른 모션 문맥에 기반한 적응형 전력 절감 방법을 도시한 순서도이다.
도 2는 HMM 기반 결정 트리를 생성하는 과정을 도시한 예시 도면이다.
도 3은 사용자의 모션을 감지하기 위한 초음파 센서의 레이아웃을 도시한 예시 도면이다.
도 4는 사용자의 모션을 감지하기 위한 초음파 센서의 스캔 커버리지를 설명하기 위한 예시 도면이다.
도 5는 초음파 센서의 상태 별 검출 범위를 설명하기 위한 예시 도면이다.
도 6은 사용자의 모션에 따른 카메라 프레임율을 설명하기 위한 예시 도면이다.
도 7은 사용자의 모션에 따른 초음파 센서의 개수와 카메라 프레임율의 변화를 설명하기 위한 도면이다.
도 8은 카메라 프레임율에 따른 랜드마크 검출율을 설명하기 위한 도면이다.
도 9는 초음파 센서의 개수와 전력 소모량의 관계를 설명하기 위한 도면이다.
도 10은 카메라 프레임율과 전력 소모량의 관계를 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 모션 문맥에 기반한 적응형 전력 절감 장치의 내부 구성을 도시한 블록도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 실시예들은 다중 센서를 활용하여 사용자와 그 주변 상황을 인지하는 기술에 관한 것으로, 사용자의 모션 문맥(motion context)을 이용하여 다중 센서를 활용하는 모바일 장치의 전력 소모를 절감하는 방법을 제안한다.
일반적인 모션 문맥 분석 기술은 센서를 사용자의 신체 각 부위에 부착하여 사용자의 움직임에 따라 센싱된 데이터를 바탕으로 사용자의 행동 패턴을 분석하고 다음 행동을 예측할 수 있다. 그러나, 모션 문맥 분석을 위한 기존 연구에서는 주로 가속도 센서만을 이용하고 있으며, 가속도 센서에서 감지된 데이터만을 바탕으로 사용자 움직임을 간단히 분석한다.
가속도 센서의 데이터를 분석하여 행동을 분류하는 방법들에서는 주로 GMM(Gaussian Mixture Model)과 결정 트리(Decision tree)와 같은 분류기(classifier)를 이용한다. 그러나, 분류기를 이용할 때는 정확한 분류를 위해서 다수의 학습 데이터(training data)가 필요할 뿐만 아니라 정확도를 높이기 위한 추가 연산을 필요로 한다.
배터리로부터 전력을 공급받는 모바일 장치는 이동성이 중요하므로 작은 용량의 배터리로 오래 지속되도록 해야 한다. 모바일 기기에서의 소비 전력을 줄이기 위한 기술로 디스플레이나 CPU 사용 등을 최소화 하는 방법들이 있다. 그러나, 이러한 방법들은 사용자가 체감하는 반응이 둔해지거나 성능이 저하되는 문제가 있다.
본 명세서에서는 가속도 센서와 기울기 센서를 이용하여 사용자의 모션 문맥을 분석함으로써 보다 정확한 모션을 추출하는 기법과, 분석된 모션에 따라 상황 인지에 사용되는 초음파 센서의 개수와 카메라의 사용 빈도를 가변적으로 조절함으로써 소비 전력을 절감하는 기법을 제안한다. 사용자의 모션 문맥은 3축 가속도 센서로부터 얻은 x, y, z축 데이터를 이용해 파악한다. 이때, 보행 습관이나 가속도 센서의 부착 위치에 따라 발생하는 데이터 오차를 보정하기 위해 기울기 센서를 이용한다. 그리고, 두 센서 데이터로부터 모션을 정확하게 분석하기 위해 HMM 기반의 결정 트리를 이용하여 모션을 분류한다. 더욱이, 모션 분류에 따라 상황인지에 필요한 초음파 센서의 최소 개수와 카메라의 프레임율을 결정할 수 있다. 즉, 필요 유무와 관계없이 센서들을 지속적으로 동작시키는 것보다 특정 상황에서 꼭 필요한 센서를 동작시킴으로써 전력을 절감하고 장비의 수명을 연장시킬 수 있다.
본 발명에서 제시하는 방법의 전체 개요는 도 1과 같다. 도 1에 도시한 바와 같이, 본 발명에 따른 모션 문맥에 기반한 적응형 전력 절감 방법은 HMM을 이용하여 사용자의 모션 문맥을 분석하는 단계(S110~S120), 및 분석된 모션 문맥에 따라 상황인지 센서 사용여부를 결정하여 소비전력을 조절하는 단계(S130)를 포함할 수 있다.
모션 문맥 분석(S110~S120)
여기서는 모바일 기기에 내장된 3축 가속도 센서와 기울기 센서를 이용하여 사용자의 현재 진행 방향과 모션을 분석한다. 그러나 센서를 이용하여 행동을 분석할 경우 데이터 수집 과정에서 일부 데이터가 유실되거나 노이즈가 포함되어 정확한 데이터 분석이 어려운 경우도 있다.
따라서, 본 발명에서는 확률적 추론 기법을 사용하고 모션 문맥의 분류기는 이전 데이터를 중심으로 현재 데이터를 정확히 분석하는데 용이한 WEKA Toolkit 기반의 HMM을 이용하여 결정 트리를 구성할 수 있다. 또한, 가속도 센서 데이터로부터 사용자의 다양한 모션을 분석하는 것이 가능하며, 여기서는 인간의 평균 보행 속도를 기준으로 서있기(Standing), 걷기(Walking), 빨리 걷기(Fast walking) 3가지로 분류하여 사용할 수 있다.
3축 가속도 센서는 기기의 방향(orientation)에 대한 X, Y, Z 방향의 가속 데이터를 제공한다. 그러나 센서가 움직이지 않는 경우에도 지터링 노이즈(jittering noise)로 인해 오류가 생긴다. 여기서는 센서 데이터의 평활화(smoothing)를 위해 수학식 1의 MAF(moving average filter)를 적용하여 스케일링 다운(scaling down)을 함으로써 가속 데이터의 지터링 노이즈를 줄일 수 있다.
Figure 112014035835519-pat00002
수학식 1에서 x1, y1, z1은 로우 데이터(raw data)이고, x2, y2, z2는 스케일 다운된 데이터이다. k는 시간에 따른 데이터의 개수를 지정하는 팩터이고, S는 평활화를 위한 스팬(span) 값을 나타낸다. 결국 평활화 데이터로 가공함으로써 고정된 기기뿐만 아니라 이동 기기의 데이터 잡음 제어(de-noising)도 가능하다.
사용자마다 보행 자세가 다르고 가속도 센서의 부착 위치도 다양하기 때문에 방향 결정 문제(orientation problem)가 발생한다. 이를 해결하기 위해서 센서의 신호 크기(magnitude)뿐만 아니라 3축 가속도 센서의 수평과 수직 성분(horizontal & vertical component)으로부터 추출된 방향-독립 특성(orientation-independent feature)을 사용한다. 이때 각 성분의 평균(mean)과 표준 편차(standard deviation)를 사용하고 각 값의 계산을 위해 반복된 실험을 통해 샘플링 주기(sampling period)를 지정한다. 임의의 지점에서의 가속도 벡터(acceleration vector)를 Vacc라고 가정하고, 각 축의 평균 값을 Xm, Ym, Zm 라고 할 때 Vm=(Xm, Ym, Zm)로 정의한다. 다음 수학식 2에 의해 수직 성분인 두 벡터의 내적(inner product)
Figure 112014035835519-pat00003
와 투영 벡터(projection vector) Vpro를 이용해 수평 성분 Vhor를 얻을 수 있다.
Figure 112014035835519-pat00004
기울기 센서로부터 3축 가속도 센서의 수평 성분과 수직 성분이 추출되면 분류를 위해 구분한 각각의 동작(서있기, 걷기, 빨리 걷기)에 대해 충분한 샘플을 확보할 수 있다. 분류기에는 여러 종류가 있으나 샘플의 개수가 많을수록 정확도가 높아지는 C4.5 결정 트리를 사용한다. 이때, 도 2에서와 같이 결정 트리를 생성할 때에 k-평균 클러스터링의 결과를 이용하여 유사한 모션을 매치하고 HMM 기반의 비터비 알고리즘(Viterbi algorithm)을 이용하여 연속된 모션 간의 상관관계(correlation) 활용을 극대화 할 수 있다.
적응형 전력 절감(S130)
여기서는 제안하는 모션 문맥을 적용하기 위해 상황인지 센서들을 이용한 프로토타입 시스템(prototype system)을 제작한다. 특히, 본 발명에서는 사용자의 주변 상황 인지를 위해 사용되는 초음파 센서와 카메라의 전력 소비를 줄이기 위해 모션 문맥 분석 결과를 반영하여 센서의 개수와 사용 빈도를 조절할 수 있다.
프로토타입 시스템에서는 전방의 장애물을 감지하기 위해 6개의 초음파 센서를 사용하기로 한다. 센서 배치에서 가장 중요한 것은 최대한 적은 수의 센서로 최대 영역을 감지하도록 하는 것이다. 또한, 최대 영역을 감지할 수 있도록 각 센서의 감지 범위가 최대한 겹치지 않는 것이 중요한데, 이를 위해 각 센서들의 기하 정보를 계산하고 반복된 실험을 통해 최적의 배치를 찾을 수 있다. 도 3과 같이 3행 2열의 형태로 배열한 6개의 초음파 센서를 이용하여 측정한 거리 데이터를 기반으로 전방의 공간 구조를 몇 가지 패턴으로 나누고, 사용자가 장애물과 충돌할 가능성이 최소화되는 진행 방향을 결정한다. 이때 스캔 범위가 최대한 겹치지 않으면서 최대 감지 거리와 보행 속도, 센싱 속도를 고려하여 도 4에서와 같이 각 센서마다 특정 방향과 기울기를 배정할 수 있다.
여기서는 초음파 센서 중에서 전방을 감지하는 4 개의 센서 데이터로 장애물 회피방향을 나눌 수 있다. 초음파 센서의 거리 데이터를 4가지(위험, 경고, 안전, 무시)로 구분하고, 전방을 감지하는 4 개의 센서 데이터를 비교 분석하여 회피방향을 표 1과 같이 사전에 테이블로 만든 것이다. 거리데이터에 따라 위험 ("0", 100 cm 이하), 경고 ("1", 100~130 cm), 안전 ("2", 130~200 cm), 그리고 무시 ("3", 200 cm 이상)로 분류할 수 있다. 표 1을 이용하여 회피 방향을 결정할 수 있다.
Figure 112014035835519-pat00005
도 5의 (a)와 같이 사용자가 직진하거나 분석된 모션이 '걷기'로 분석된 경우, 정면을 감지하는 센서만으로도 좌우에 놓인 장애물을 감지할 수 있으므로 좌우를 감지하는 두 개의 센서를 아이들(idle) 상태로 놓는다. 즉, 사용자의 진행 방향을 지향하는 센서에서만 선택적으로 데이터를 수집함으로써 소모 전력을 줄일 수 있다. 도 5의 (b)와 같이 보행 중 전방에 장애물이 감지되거나 모션이 '빨리 걷기'로 분석된 경우, 장애물을 회피하기 위한 좌우 공간 정보가 필요하고 빨리 걷기를 위한 정밀한 공간 분석이 필요하다. 이를 위해 모든 센서를 작동시켜서 신속히 장애물을 감지할 수 있으며, 빠른 보행에서도 정확한 장애물 감지가 가능하다.
또한 사용자의 위치 추정을 위해 천장에 랜드마크(landmark)를 일정 간격으로 부착하고 카메라를 이용하여 마커를 인식함으로써 위치를 파악하도록 한다. 도 6에서와 같이 사용자의 모션이 '빨리 걷기'로 감지되면 랜드마크의 정확한 인식을 위해 카메라의 프레임율을 높이고, 모션이 '걷기'로 인식되면 카메라의 프레임율을 최소화 할 수 있다. 즉, '걷기'로 감지되면 카메라의 프레임율을 낮추어 랜드마크의 인지 정확도는 유지하면서 소비 전력을 상대적으로 줄이도록 한다.
시험 결과
- 모션 패턴 분석
여기서는 분류기 중 샘플의 개수 대비 정확도가 비교적 높은 것으로 알려진 WEKA Toolkit에서 생성된 C4.5 결정 트리를 이용하여 분류기를 모델링 할 수 있다. 사용자의 움직임을 감지하기 위해서 학습 단계와 실행 단계를 수행한다. 학습 단계에서는 사용자의 모션들을 캡쳐한다. 이 과정에서 일정 시간 동안 연속적으로 수직 및 수평 가속도의 평균과 표준 편차 데이터를 획득한다. 이때 사용한 Na 개의 표본 집단과 Ns개의 샘플로 결정 트리를 생성한다. Ns와 Na가 많을수록 정확도가 높아지지만, 여기서는 적은 데이터로도 모션 결정의 높은 정확도를 보인다. 일 예로, 사용자의 보행 속도에 따른 동작을 "서있기(0km/h)", "걷기(3km/h 이하)", "빨리 걷기(5km/h 이하)"로 정의할 수 있다. 실행 단계에서는 생성된 결정 트리를 이용하여 사용자의 현재 모션이 결정된다. 이때 모션 결정을 위해 주기적으로 수직 및 수평 값을 확인함으로써 결정 트리로 전달될 데이터들을 정확하게 추출한다.
여기서는 결정 트리 생성시 필수 팩터인 표본공간의 크기를 결정하기 위해 표본공간의 크기에 따른 모션 문맥의 정확도와 탐색시간 실험을 수행한다. 다수의 학습 데이터 집합을 수집하고, 샘플 개수 Ns는 3000로 하여 결정 트리를 생성한다. 표 2는 샘플링 주기의 크기 Na에 따른 각각의 모션 문맥의 정확도와 트리 룩업 타입(tree lookup time) 결과이다.
Figure 112014035835519-pat00006
표 2에서와 같이 표본공간 Na가 증가하면 모션 결정의 정확도는 증가하지만 탐색 시간도 증가한다. 즉, 샘플링 주기의 크기가 증가함에 따라 결정 트리 분류기에 여과되는 데이터의 계산량이 증가하기 때문이다. 모션 인식 시간인 계산 시간(computation time)은 샘플링 주기의 크기에 비례하는 결과를 보인다. 따라서, 모션 문맥 정확도와 모션 인식 시간 사이의 균형(trade-off)을 고려하여 모델링 해야 한다. 이 실험에서는 Na를 50으로 설정할 경우, 모든 모션들이 높은 정확도를 보이며 0.25초 이내에 연산이 완료될 수 있다. 따라서 최소 비용으로 모션 문맥을 높은 정확도로 감지할 수 있다.
다음은 사용자의 모션에 따른 초음파 센서의 개수와 카메라의 샘플링 레이트(sampling rate) 변화를 실험한다. 사용자가 "서있기" 상태인 경우에는 초음파 센서와 카메라에 전원을 공급하지 않는다. "걷기"로 인지된 경우에는 정면 감지를 위해 초음파 센서 4개만 작동시키고, 카메라는 초당 3 프레임 속도(frame/s)로 캡쳐한다. 모션이 "빨리 걷기"로 감지되면 초음파 센서는 모두 작동시키고, 카메라는 5 프레임 속도로 캡쳐한다. 센서의 개수와 프레임율 선택은 다수의 실험을 통해 "빨리 걷기"와 "걷기"의 정확도는 최대화하고 소비전력을 최소화하는 값으로 결정한다. 도 7은 10000개의 샘플로 오차 행렬(confusion matrix)을 작성하여 초음파 센서와 카메라의 동작 결과를 도식화한 것이다. 도 7에서와 같이 인지된 사용자의 모션에 따라 초음파 센서 개수와 카메라의 프레임 속도가 가변적으로 달라지는 것을 확인할 수 있다.
- 정확도 측정
여기서는 사전에 훈련되지 않은 20~30대의 시각장애인 4명과 안대를 착용한 5명의 일반인으로 각각의 실험을 수행한다. 경로 상에 설치한 장애물은 폭이 약 20cm 이며, 천장에 부착한 랜드마크는 실험을 통해 12×12(cm) 크기로 고정한다. 초음파 센서로 장애물을 감지하면 사용자는 "Stop" 메시지를 들을 때까지 걷도록 한다. 6개 초음파 센서의 스캔 시간은 125ms로 측정되며, 장애물을 감지하여 사용자에게 피드백을 제공하기까지 반응시간(latency)은 400ms 이내로 설정한다. 이는 사용자가 피드백에 따라 모션을 바꾸는데 충분한 시간이다.
표 3은 보행 중 사용자의 모션에 따라 초음파 센서 개수를 조절할 때 시스템이 경로상의 장애물을 감지하는 정확도를 측정한 결과이다.
Figure 112014035835519-pat00007
표 3에서 보는 바와 같이 "걷기"의 경우는 4개의 초음파 센서만을 사용하면 94%의 장애물을 감지하고, 6개의 초음파 센서를 사용하면 97%의 감지율로 두 경우 유사한 결과를 보임을 알 수 있다. 그러나, 평균 보행속도보다 1.6배 빠른 속도로 걷는 "빨리 걷기"의 경우는 6개의 초음파 센서를 사용할 때보다 4개의 센서만을 이용하면 장애물 감지율이 40% 정도 감소한다. 따라서 "걷기"의 경우는 6개의 센서를 사용할 때와 비슷한 정확도를 보이므로 전력 절감을 위해 4개의 센서를 사용한다. "빨리 걷기"의 경우는 6개의 센서 모두를 사용하여 동일한 정확도를 유지하도록 한다.
도 8은 카메라의 프레임 속도에 따른 랜드마크 감지율을 측정한 결과이다. 카메라 프레임 속도를 최소 1fps 에서 최대 7fps까지 다양하게 측정하나 높은 정확도를 가지며 전력 감소 효과를 보인 세 가지 (2,3,5 fps)를 표현한다. 초당 3frame으로 샘플링할 경우 "걷기"로 인지되면 5fps와 비슷한 결과를 보인다. 이는 랜드마크 감지 정확도가 다른 프레임 속도에 비해 상대적으로 높다. 이 실험 결과를 토대로 "걷기"로 모션이 인지되면 카메라는 소모 전력대비 정확도가 높은 초당 3frames으로 샘플링 한다.
- 전력 소모 측정
여기서는 초음파 센서의 동작 패턴을 세 가지 경우(six ultrasonic sensors, four ultrasonic sensors, and none)로 나누어 타임 슬롯(time slot)(10000 번의 sensing 수행)에 따른 상대적 소비 전력을 측정한다. 도 9는 동작하는 초음파 센서의 개수에 따른 전력 소모 변화를 나타낸 것이다. 사용하는 배터리의 전압과 잔여 용량을 이용하여 실제 전력 소모 변화를 계산한다.
Figure 112014035835519-pat00008
수학식 3에서와 같이 전류는 전력량에 영향을 주므로 소비 전력은 초음파 센서의 개수에 영향을 받는다. 6개의 초음파 센서를 사용하는 경우에는 450mA의 전류를 소비하고, 초음파 센서를 사용하지 않으면 350mA의 전류를 소비한다. 이는 사용하는 초음파 센서 개수에 따라 전체 소비 전력량이 달라지는 것을 의미한다. 따라서 장애물 감지 정확도는 유지하면서 사용자의 모션에 따라 사용하는 초음파 센서의 개수를 가변적으로 조절하여 소비 전력을 줄일 수 있다.
도 10은 카메라의 초당 프레임율에 따른 소비 전력량을 비교한 결과이다. 카메라의 프레임 속도도 세 가지 경우(2fps, 3fps, and 5fps)로 나누어 타임 슬롯(10000 번의 sensing 수행)에 따른 상대적 소비 전력을 측정한 것이다. 카메라는 초당 5frame으로 샘플링 하는 경우에 3frame 샘플링 레이트와 비교하여 상대적으로 소모 전력이 약 17% 정도 높다. 도 10에서처럼 카메라의 샘플링 레이트는 전류에 영향을 미치고, 소비 전력량이 달라지는 것을 알 수 있다. 따라서, 랜드마크 감지 정확도는 유지하면서 소비 전력을 줄일 수 있도록 사용자의 모션에 따라 카메라의 프레임율을 가변적으로 조절함으로써 소비 전력을 줄일 수 있다.
따라서, 본 발명에서는 사용자의 정확한 모션을 추출하기 위해 가속도 센서와 기울기 센서를 이용하고 실시간으로 모션의 정확한 분석을 위해 HMM 기반의 결정 트리를 이용할 수 있다. 더욱이, 사용자의 모션을 바탕으로 센서의 개수나 빈도수를 조절하여 CPU의 연산 양을 최소화하고 성능의 저하를 유발하지 않고 소비전력을 줄일 수 있다.
도 11은 본 발명의 일 실시예에 따른 모션 문맥에 기반한 적응형 전력 절감 장치의 내부 구성을 도시한 블록도이다. 도 11에 도시한 바와 같이, 적응형 전력 절감 장치는 분석부(1110)와 결정부(1120) 및 제어부(1130)로 이루어진 프로세서(1100), 메모리(1101)를 포함하여 구성될 수 있다.
적응형 전력 절감 장치는 모바일 기기 상에 구현되어 모바일 기기에 내장된 가속도 센서(1102)와 기울기 센서(1103)를 이용하여 사용자의 모션 문맥을 분석할 수 있으며, 분석된 모션 문맥을 구분하여 각 모션 문맥 별로 상황 인지에 사용되는 초음파 센서(1104)와 카메라(1105)의 동작을 가변적으로 제어할 수 있다. 이때, 초음파 센서(1104)와 카메라(1105) 또한 모바일 기기와 호환되거나 모바일 기기에 탑재된 구성 요소이다.
메모리(1101)는 사용자의 모션 문맥을 분석하여 이를 기반으로 센서의 동작을 가변적으로 제어하는 적응형 전력 절감 루틴에 해당되는 명령어를 포함하는 프로그램이 저장될 수 있다. 상기에서 도 1 내지 도 10을 통해 설명한 적응형 전력 절감 방법의 과정들은 메모리(1101)에 저장된 프로그램에 의해 실행될 수 있다. 예를 들어, 메모리(1101)는 하드디스크, SSD, SD 카드 및 기타 저장매체일 수 있다.
프로세서(1100)는 메모리(1101)에 저장된 프로그램의 명령어에 따라 처리하는 장치로서, CPU 등의 마이크로프로세서가 포함될 수 있다. 프로세서(1100)의 세부 구성은 다음과 같다.
분석부(1110)는 가속도 센서(1102)와 기울기 센서(1103)를 이용하여 사용자의 모션 문맥을 분석하는 역할을 한다. 이때, 분석부(1110)는 가속도 센서(1102)로부터 획득한 x, y, z축 데이터를 이용하여 사용자의 모션 분석이 가능하며, 예컨대 평균 보행 속도를 기준으로 모션 문맥을 서있기(0km/h), 걷기(0km/h 초과 & 3km/h 이하), 빨리 걷기(3km/h 초과 & 5km/h 이하)로 분류할 수 있다. 특히, 분석부(1110)는 기울기 센서(1103)를 이용함으로써 보행 습관이나 가속도 센서(1102)의 부착 위치에 따라 발생하는 데이터 오차를 보정할 수 있으며, 가속도 센서(1102)와 기울기 센서(1103)의 두 센서 데이터에 대한 HMM 기반의 결정 트리를 구성하여 정확한 모션을 분류할 수 있다.
결정부(1120)는 분석부(1110)에서 분석된 모션 문맥을 기준으로 상황 인지를 위해 사용되는 초음파 센서(1104)와 카메라(1105)의 사용 조건을 결정하는 역할을 한다. 일 예로, 결정부(1120)는 사용자의 모션이 '빨기 걷기'로 판단되는 경우 초음파 센서(1104)의 사용 개수와 카메라(1105)의 프레임율을 최대로 결정하고, '걷기'로 판단되는 경우 초음파 센서(1104)의 사용 개수와 카메라(1105)의 프레임율을 '빨기 걷기'의 사용 조건보다 줄여 결정할 수 있다. 예컨대, 초음파 센서(1104)의 전체 개수가 6개이고 카메라(1105)의 최대 프레임율이 5frame/s인 경우 '걷기' 모션에서는 초음파 센서(1104)의 사용을 4개로 줄이고 카메라(1105)의 프레임율을 3frame/s으로 줄일 수 있다.
제어부(1130)는 결정부(1120)에서 결정된 사용 조건을 상황 인지를 위해 사용되는 초음파 센서(1104)와 카메라(1105)에 적용하여 소비 전력을 조절하는 역할을 한다. 다시 말해, 제어부(1130)는 분석된 모션 문맥과 대응하여 초음파 센서(1104)와 카메라(1105)의 사용 조건을 가변적으로 제어함으로써 모바일 기기의 전력 소모를 절감할 수 있다.
이와 같이, 본 발명의 실시예에 따르면, 가속도 센서와 기울기 센서의 데이터를 분석하여 사용자의 모션을 실시간으로 판단하고 이를 바탕으로 초음파 센서와 카메라의 작동을 가변적으로 조절함으로써 이를 통해 소모 전력을 절감할 수 있으며 모바일 장치의 사용 시간을 늘릴 수 있을 뿐만 아니라 배터리 용량을 줄여서 장치를 경량화 할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
1110: 분석부
1120: 결정부
1130: 제어부
1102: 가속도 센서
1103: 기울기 센서
1104: 초음파 센서
1105: 카메라

Claims (5)

  1. 삭제
  2. 컴퓨터로 구현되는 모션 문맥 분석 방법에 있어서,
    모바일 기기에 내장된 가속도 센서와 기울기 센서를 통해 사용자의 움직임에 따른 센서 데이터를 획득하는 단계; 및
    상기 센서 데이터를 이용하여 상기 사용자의 움직임에 대한 모션 문맥(motion context)을 분석하는 단계
    를 포함하고,
    상기 획득하는 단계는,
    상기 가속도 센서로부터 상기 모바일 기기의 방향(orientation)에 대한 3축 가속 데이터를 획득하는 단계; 및
    상기 3축 가속 데이터에 수학식 1의 MAF(moving average filter)를 적용하여 스케일링 다운(scaling down)을 하는 단계
    를 포함하는 모션 문맥 분석 방법.
    수학식 1:
    Figure 112014054928928-pat00009

    (여기서, x1, y1, z1은 로우 데이터(raw data)이고, x2, y2, z2는 스케일 다운된 데이터이며, k는 시간에 따른 데이터의 개수를 지정하는 팩터이고, S는 평활화를 위한 스팬(span) 값을 나타낸다.)
  3. 컴퓨터로 구현되는 모션 문맥 분석 방법에 있어서,
    모바일 기기에 내장된 가속도 센서와 기울기 센서를 통해 사용자의 움직임에 따른 센서 데이터를 획득하는 단계; 및
    상기 센서 데이터를 이용하여 상기 사용자의 움직임에 대한 모션 문맥(motion context)을 분석하는 단계
    를 포함하고,
    상기 획득하는 단계는,
    상기 가속도 센서로부터 상기 모바일 기기의 방향(orientation)에 대한 3축 가속 데이터를 획득하는 단계;
    상기 기울기 센서로부터 상기 가속도 센서의 수평 성분(horizontal component)과 수직 성분(vertical component)을 획득하는 단계; 및
    상기 가속도 센서의 수평 성분과 수직 성분을 이용하여 상기 3축 가속 데이터를 보정하는 단계
    를 포함하는 모션 문맥 분석 방법.
  4. 컴퓨터로 구현되는 모션 문맥 분석 방법에 있어서,
    모바일 기기에 내장된 가속도 센서와 기울기 센서를 통해 사용자의 움직임에 따른 센서 데이터를 획득하는 단계; 및
    상기 센서 데이터를 이용하여 상기 사용자의 움직임에 대한 모션 문맥(motion context)을 분석하는 단계
    를 포함하고,
    상기 분석하는 단계는,
    HMM(Hidden Markov Model) 기반의 결정 트리(Decision tree)를 이용하여 상기 센서 데이터에 따른 평균 보행 속도를 기준으로 상기 사용자의 움직임을 서있기(Standing), 걷기(Walking), 빨리 걷기(Fast walking)로 분류하는 것
    을 특징으로 하는 모션 문맥 분석 방법.
  5. 삭제
KR1020140044846A 2014-04-15 2014-04-15 모션 문맥을 분석하는 방법 및 장치 KR101417719B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140044846A KR101417719B1 (ko) 2014-04-15 2014-04-15 모션 문맥을 분석하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140044846A KR101417719B1 (ko) 2014-04-15 2014-04-15 모션 문맥을 분석하는 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101417719B1 true KR101417719B1 (ko) 2014-07-09

Family

ID=51741738

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140044846A KR101417719B1 (ko) 2014-04-15 2014-04-15 모션 문맥을 분석하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101417719B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090034617A (ko) * 2007-10-04 2009-04-08 한국전자통신연구원 상황인지 정보 기반의 멀티미디어 장치 및 그 서비스 방법
JP2011523033A (ja) 2008-04-11 2011-08-04 ニアマップ・ピーティーワイ・リミテッド 縦に繋がれたカメラ及び／又は距離測定特徴を含んでいる大領域画像を詳細にとらえるシステム及び方法
JP2012503244A (ja) 2008-09-20 2012-02-02 リングボー，エルティーディー． 指に装着される装置および相互作用方法および通信方法
JP2013031625A (ja) 2011-07-07 2013-02-14 Ricoh Co Ltd 移動体の動き分類方法及び移動体の動き分類システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090034617A (ko) * 2007-10-04 2009-04-08 한국전자통신연구원 상황인지 정보 기반의 멀티미디어 장치 및 그 서비스 방법
JP2011523033A (ja) 2008-04-11 2011-08-04 ニアマップ・ピーティーワイ・リミテッド 縦に繋がれたカメラ及び／又は距離測定特徴を含んでいる大領域画像を詳細にとらえるシステム及び方法
JP2012503244A (ja) 2008-09-20 2012-02-02 リングボー，エルティーディー． 指に装着される装置および相互作用方法および通信方法
JP2013031625A (ja) 2011-07-07 2013-02-14 Ricoh Co Ltd 移動体の動き分類方法及び移動体の動き分類システム

Similar Documents

Publication Publication Date Title
KR102070527B1 (ko) 자율 주행 차량 교통 예측에서 예측되는 궤적에 대한 평가 프레임 워크
KR102292683B1 (ko) 보행 환경 인식 방법 및 장치
CN115206132A (zh) 基于道路使用者意图预测的潜在碰撞警告系统
JP2018538631A (ja) シーン内のオブジェクトのアクションを検出する方法及びシステム
Abu-Jbara et al. A robust vision-based runway detection and tracking algorithm for automatic UAV landing
CN108073893B (zh) 使用距离数据检测植物
KR102629036B1 (ko) 로봇 및 그의 제어 방법
JP2020505614A (ja) １つ以上の慣性センサからの向き情報を補正する装置および方法
Thiemjarus et al. A study on instance-based learning with reduced training prototypes for device-context-independent activity recognition on a mobile phone
CN104637242A (zh) 一种基于多分类器集成的老人跌倒检测方法及系统
Rudigkeit et al. An analytical approach for head gesture recognition with motion sensors
KR20150038877A (ko) 사용자 입력에 대응되는 이벤트를 이용한 유저 인터페이싱 장치 및 방법
KR20140074157A (ko) 이동 로봇의 3차원 자세 추정 방법 및 장치와 이를 이용한 이동로봇
KR101458340B1 (ko) 모션 문맥에 기반한 적응형 전력절감 방법 및 장치
US10824224B2 (en) Vertical motion simulator and method of implementing virtual reality of vertical motion using the same
Galindo et al. Landmark based eye ratio estimation for driver fatigue detection
US11080562B1 (en) Key point recognition with uncertainty measurement
Giguere et al. Clustering sensor data for autonomous terrain identification using time-dependency
US20240241257A1 (en) Out of sequence preception system
JP5565736B2 (ja) 計算装置、計算装置の制御方法、制御プログラム、及び記録媒体
Billah et al. Tracking-based detection of driving distraction from vehicular interior video
KR101417719B1 (ko) 모션 문맥을 분석하는 방법 및 장치
KR102453035B1 (ko) 증강현실 기반의 시각 장애인용 장애물 알림 제공 방법 및 장치
Jeong et al. Facial landmark detection based on an ensemble of local weighted regressors during real driving situation
Beaufils et al. Stride detection for pedestrian trajectory reconstruction: A machine learning approach based on geometric patterns

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170626

Year of fee payment: 4