KR102148382B1 - 관성 센서 신호의 이미지 변환 방법 및 장치 - Google Patents

관성 센서 신호의 이미지 변환 방법 및 장치 Download PDF

Info

Publication number
KR102148382B1
KR102148382B1 KR1020190048291A KR20190048291A KR102148382B1 KR 102148382 B1 KR102148382 B1 KR 102148382B1 KR 1020190048291 A KR1020190048291 A KR 1020190048291A KR 20190048291 A KR20190048291 A KR 20190048291A KR 102148382 B1 KR102148382 B1 KR 102148382B1
Authority
KR
South Korea
Prior art keywords
signal
decimal
image
axis
inertial sensor
Prior art date
Application number
KR1020190048291A
Other languages
English (en)
Inventor
이승룡
허태호
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020190048291A priority Critical patent/KR102148382B1/ko
Application granted granted Critical
Publication of KR102148382B1 publication Critical patent/KR102148382B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

본 발명은 서버가 관성 센서로부터 측정된 신호를 이미지로 변환하는 방법에 관한 것으로, 상기 관성 센서로부터 수신한 n 개의 제1 신호를 정규화 하여 실수 형태의 제2 신호를 생성하는 단계, 상기 제2 신호를 방향축을 기준으로 하여 m 개의 제3 신호로 분리하는 단계(
Figure 112020077558671-pat00071
), 상기 n 개의 제2 신호에 포함된 상기
Figure 112020077558671-pat00072
개의 제3 신호 각각을 정수부, 제1 소수부 및 제2 소수부로 분리하고, 상기 정수부, 제1 소수부 및 제2 소수부를 RGB 색상 모델을 나타내는 R, G, B 색상에 각각 매칭하여 R, G, B 색상 값으로 변환하는 단계, 상기 R, G, B 색상 값을 이용하여 상기 방향축 별로 축 색상 레이어(
Figure 112020077558671-pat00073
)를 생성하는 단계, 및 상기 축 색상 레이어를 병합하여 RGB 이미지를 생성하는 단계를 포함하는 것을 특징으로 한다.

Description

관성 센서 신호의 이미지 변환 방법 및 장치{THE MEGHOD AND DEVICE FOR CONVERSION FROM SIGNAL OF INERTIAL SENSOR TO IMAGE}
본 발명은 관성 센서 신호의 이미지 변환 방법 및 장치에 관한 것으로, 보다 자세하게는 관성 센서로부터 측정된 신호 값을 이미지로 변환하는 방법에 관한 것이다.
인공 신경망(ANN, Artificial Neural Network)은 사람 또는 동물 두뇌의 신경망에 착안하여 구현된 컴퓨터 시스템으로, 기계 학습(Machine Learning)의 방법 중 하나이다. 인공 신경망은 입력 층(input layer)과 출력 층(output layer)을 포함하는데, 두 층 사이에 다중의 은닉층(hidden layer)을 더 포함하는 인공 신경망을 심층 신경망(DNN, Deep Neural Network)이라 한다. 심층 신경망은 다중의 은닉층을 통해 다양한 비선형적 관계를 학습할 수 있어 딥러닝(Deep Learning)의 핵심 모델로 활용되고 있다.
모든 딥러닝 기술은 비선형 함수를 사용하는데, 주로 ReLU(Rectified Linear Unit)를 사용한다. ReLU는 음수 값을 0으로 변환하는 작업을 수행할 수 있어 센서 신호에 대한 결과의 정확성을 향상시키고자 하였으나, 매우 낮은 수의 음수 처리를 원활히 수행하지 못하는 단점이 있다. 따라서 음수 값을 양수 값으로 변환하는 정규화 과정을 수행할 필요가 있다.
심층 신경망의 한 종류인 CNN(Convolutional Neural Network)는 하나 이상의 Convolutional layer, Pooling layer, Fully Connected layer으로 구성되어 2차원 데이터의 학습에 적합한 구조를 갖고 있으며, 영상 데이터에 포함된 객체를 분류하거나 탐지하는 다양한 분야에 폭넓게 활용되고 있다. CNN의 입력은 주로 이미지가 사용되는데, 관성 센서의 경우 센서의 신호를 RGB 색상 모델에 대입하여 정규화된 이미지를 생성하여 CNN의 입력으로 사용함으로써 보다 정확한 결과를 보장받고 있다.
그러나 기존의 관성 센서 신호를 이미지로 변환하는 방법에는 신호 직접 그리기, 시간-주파수 이미지 그리기, 반복 패턴 그리기 등이 있는데 이러한 방법은 신호를 그림으로 그리는 방식이라 시간이 오래 소요되며 정확도가 낮다는 단점이 있다. 또 다른 방법에는, 관성 센서 신호 (x, y, z) 값의 정수부를 RGB 색상 모델의 (R, G, B) 색상에 대입하는 방법이 있는데 이러한 방법은 빠른 속도와 높은 정확도를 나타내지만 개선의 여지가 있다.
본 발명은 전술한 문제점을 해결하기 위한 것으로서, 본 발명은 관성 센서 신호를 이미지로 변환하여 CNN 모델의 입력 변수로 사용하는 것을 일 목적으로 한다.
또한 본 발명은 관성 센서 신호를 이미지로 변환하는 데에 있어서, 관성 센서 신호의 정수부 및 소수부를 모두 이용하여 이미지의 정확도를 향상시키는 것을 일 목적으로 한다.
이러한 목적을 달성하기 위한 본 발명은 서버가 관성 센서로부터 측정된 신호를 이미지로 변환하는 방법에 있어서, 상기 관성 센서로부터 수신한 n 개의 제1 신호를 정규화 하여 실수 형태의 제2 신호를 생성하는 단계, 상기 제2 신호를 방향축을 기준으로 하여 m 개의 제3 신호로 분리하는 단계(
Figure 112020077558671-pat00001
, 상기 n 개의 제2 신호에 포함된 상기
Figure 112020077558671-pat00002
개의 제3 신호 각각을 정수부, 제1 소수부 및 제2 소수부로 분리하고, 상기 정수부, 제1 소수부 및 제2 소수부를 RGB 색상 모델을 나타내는 R, G, B 색상에 각각 매칭하여 R, G, B 색상 값으로 변환하는 단계, 상기 R, G, B 색상 값을 이용하여 상기 방향축 별로 축 색상 레이어(
Figure 112020077558671-pat00003
)를 생성하는 단계, 및 상기 축 색상 레이어를 병합하여 RGB 이미지를 생성하는 단계를 포함하는 것을 일 특징으로 한다.
또한 상기 RGB 이미지에 CNN 모델을 적용하여 상기 관성 센서의 행동을 인지하는 단계를 더 포함하는 것을 일 특징으로 한다.
나아가 상기 방향축은 x축, y축 및 z축을 포함하는 것을 일 특징으로 한다.
또한 상기 제1 소수부는 상기 소수부(k자리 소수)의 소수점 첫째 자리부터
Figure 112020077558671-pat00004
번째 자리까지의 값을, 상기 제2 소수부는 상기 소수부의 소수점
Figure 112020077558671-pat00005
번째 자리부터 소수점 k번째 자리까지의 값을 의미하는 것을 일 특징으로 한다.
삭제
나아가 상기 RGB 이미지는
Figure 112020077558671-pat00006
의 크기를 갖는 것을 일 특징으로 한다.
삭제
또한 본 발명은 관성 센서로부터 측정된 신호를 이미지로 변환하는 시스템에 있어서, 상기 관성 센서로부터 n 개(
Figure 112020077558671-pat00007
)의 제1 신호 수신하는 신호 수신부, 상기 제1 신호를 정규화 하여 실수 형태의 제2 신호를 생성하고, 상기 제2 신호를 방향축을 기준으로 하여 m 개의 제3 신호로 분리하고(
Figure 112020077558671-pat00008
, 상기 n 개의 제2 신호에 포함된 상기
Figure 112020077558671-pat00009
개의 제3 신호 각각을 정수부, 제1 소수부 및 제2 소수부로 분리하여 상기 정수부, 제1 소수부 및 제2 소수부를 RGB 모델을 나타내는 R, G, B 색상에 각각 매칭하여 R, G, B 색상 값으로 변환하는 변환부, 및 상기 R, G, B 색상 값을 이용하여 상기 방향축 별로 축 색상 레이어(
Figure 112020077558671-pat00010
)를 생성하고, 상기 축 색상 레이어를 병합하여 RGB 이미지를 생성하는 이미지 생성부를 포함하는 것을 일 특징으로 한다.
나아가 상기 방향축은 x축, y축 및 z축을 포함하는 것을 일 특징으로 한다.
또한 상기 변환부는, 상기 제3 신호를 정수부 및 소수부로 분리하고, 상기 소수부를 상기 제1 및 제2 소수부로 분리하는 데이터 분할부를 더 포함하는 것을 일 특징으로 한다.
나아가 상기 제1 소수부는 상기 소수부(k자리 소수)의 소수점 첫째 자리부터
Figure 112019042652115-pat00011
번째 자리까지의 값을, 상기 제2 소수부는 상기 소수부의 소수점
Figure 112019042652115-pat00012
번째 자리부터 소수점 k번째 자리까지의 값을 의미하는 것을 일 특징으로 한다.
또한 상기 RGB 이미지는
Figure 112020077558671-pat00013
의 크기를 갖는 것을 일 특징으로 한다.
삭제
전술한 바와 같은 본 발명에 의하면, 본 발명은 관성 센서 신호를 이미지로 변환하여 CNN 모델의 입력 변수로 사용할 수 있다.
또한 본 발명은 관성 센서 신호를 이미지로 변환하는 데에 있어서, 관성 센서 신호의 정수부 및 소수부를 모두 이용하여 이미지의 정확도를 향상시킬 수 있다.
도 1은 본 발명의 일 실시 예에 의한 관성 센서 신호의 이미지 변환 장치의 작동 환경을 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 의한 관성 센서 신호의 이미지 변환 장치의 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 예에 의한 관성 센서 신호의 이미지 변환 방법을 나타낸 순서도이다.
도 4는 본 발명의 일 실시 예에 의한 관성 센서 신호의 이미지 변환 방법을 설명하기 위한 알고리즘이다.
도 5는 본 발명의 일 실시 예에 의한 관성 센서 신호를 이미지로 변환하는 예시를 나타낸 도면이다.
도 6은 본 발명의 일 실시 예에 의한 관성 센서 신호의 이미지 변환 방법의 성능을 평가하기 위하여 사용되는 복수 개의 데이터 세트에 대한 컨퓨전 행렬을 도시한 도면이다.
도 7은 관성 센서 데이터를 이미지로 변환하는 복수 개의 방법을 통해 추출된 이미지를 도시한 도면이다.
도 8은 Multi-Channel 방법을 이용하여 관성 센서로부터 추출된 RGB 색상 구조를 도시한 도면이다.
도 9는 본 발명의 일 실시 예에 의한 Iss2Image 방법을 이용하여 관성 센서로부터 추출된 RGB 색상 구조를 도시한 도면이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.
도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용되며, 명세서 및 특허청구의 범위에 기재된 모든 조합은 임의의 방식으로 조합될 수 있다. 그리고 다른 식으로 규정하지 않는 한, 단수에 대한 언급은 하나 이상을 포함할 수 있고, 단수 표현에 대한 언급은 또한 복수 표현을 포함할 수 있음이 이해되어야 한다.
본 명세서에서 사용되는 용어는 단지 특정 예시적 실시 예들을 설명할 목적을 가지고 있으며 한정할 의도로 사용되는 것이 아니다. 본 명세서에서 사용된 바와 같은 단수적 표현들은 또한, 해당 문장에서 명확하게 달리 표시하지 않는 한, 복수의 의미를 포함하도록 의도될 수 있다. 용어 "및/또는," "그리고/또는"은 그 관련되어 나열되는 항목들의 모든 조합들 및 어느 하나를 포함한다. 용어 "포함한다", "포함하는", "포함하고 있는", "구비하는", "갖는", "가지고 있는" 등은 내포적 의미를 갖는 바, 이에 따라 이러한 용어들은 그 기재된 특징, 정수, 단계, 동작, 요소, 및/또는 컴포넌트를 특정하며, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹의 존재 혹은 추가를 배제하지 않는다. 본 명세서에서 설명되는 방법의 단계들, 프로세스들, 동작들은, 구체적으로 그 수행 순서가 확정되는 경우가 아니라면, 이들의 수행을 논의된 혹은 예시된 그러한 특정 순서로 반드시 해야 하는 것으로 해석돼서는 안 된다. 추가적인 혹은 대안적인 단계들이 사용될 수 있음을 또한 이해해야 한다.
또한, 각각의 구성요소는 각각 하드웨어 프로세서로 구현될 수 있고, 위 구성요소들이 통합되어 하나의 하드웨어 프로세서로 구현될 수 있으며, 또는 위 구성요소들이 서로 조합되어 복수 개의 하드웨어 프로세서로 구현될 수도 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 의한 관성 센서 신호의 이미지 변환 장치의 작동 환경을 나타낸 도면이다. 본 발명의 상세한 설명에 있어서 설명의 편의성을 위하여, 관성 센서는 스마트 폰과 스마트 워치에 부착되어 있다고 가정하고 설명한다. 도 1을 참조하면, 센서 신호의 이미지 변환 장치는 관성 센서가 부착된 스마트폰과 스마트 워치로부터 센서 값을 수신하면, 두 기기에서 수신된 센서 값을 동기화한 후 센서 값을 분할할 수 있다. 센서 신호의 이미지 변환 장치는 분할된 센서 값을 이용하여 센서 값에 대응되는 RGB 이미지를 생성하고, 생성한 RGB 이미지를 CNN의 입력 변수로 사용할 수 있다. 센서 신호의 이미지 변환 장치는 RGB 이미지를 CNN의 입력 변수로 사용할 수 있게 함으로써 스마트 폰과 스마트 워치의 움직임을 인식할 수 있게 한다. 다시 말해서, 본 발명의 센서 신호의 이미지 변환 장치는 관성 센서로부터 측정된 센서 값을 CNN의 입력 변수로 사용하기 위하여 센서 값을 RGB 이미지로 변환하는 장치이다.
도 2는 본 발명의 일 실시 예에 의한 관성 센서 신호의 이미지 변환 장치의 구성을 설명하기 위한 도면이다. 관성 센서 신호의 이미지 변환 장치는 서버로 구현될 수 있는 바, 이하에서는 설명의 편의를 위하여 서버로 명명한다. 도 2를 참조하면, 서버는 관성 센서로부터 센서 신호를 수신하는 신호 수신부(100), 수신한 센서 신호를 RGB 색상 값으로 변환하는 변환부(200), 센서 신호에 대응되는 RGB 색상 값을 이용하여 이미지를 생성하는 이미지 생성부(300)를 포함할 수 있다.
신호 수신부(100)는 기계장치 또는 스마트 기기에 부착된 관성 센서로부터 센서 신호를 수신할 수 있다. 관성 센서는 운동의 관성력을 검출하여 측정 대상인 기계장치 또는 스마트 기기의 가속도, 속도, 방향, 거리 등 다양한 항법 관련 정보를 측정하는 센서로, 인가되는 가속도에 의해 작용하는 관성력을 검출하는 것을 기본 원리로 한다. 관성 센서는 가속도 센서 및/또는 각속도 센서를 포함할 수 있다. 나아가 본 발명은 관성 센서를 스마트 기기에 부착 가능하게 함으로써 관성 센서로부터 인식된 사용자의 행동을 이미지로 변환한 후 CNN 모델을 적용하여 행동을 인지할 수 있게 한다.
신호 수신부(100)는 관성 센서로부터 n 개의 제1 신호를 수신할 수 있다. 제1 신호는 방향축에 따라 측정된 관성력을 실수로 나타낸 값으로, 관성 센서가 X, Y, Z 축의 관성력을 측정하였으면 (X, Y, Z)의 값을 가질 수 있다. 이하에서는 설명의 편의성을 위하여 관성 센서가 X, Y, Z 축에 대한 관성력을 측정한다고 가정한다. 관성 센서는 통상적으로 소수점 15번째 자리의 센서 신호를 측정할 수 있으나, 이하의 설명에서는 설명의 편의성을 위하여 소수점 4째 자리까지의 센서 신호를 이용한다고 가정한다.
변환부(200)는 신호 수신부(100)에서 수신한 관성 센서의 제1 신호를 RGB 색상 값으로 변환할 수 있다. 보다 구체적으로 변환부(200)는 제1 신호를 그레일 스케일(Gray-Scale)로 정규화 하여 제2 신호를 생성하는 데이터 변환부(210), 제2 신호를 방향축을 기준으로 m 개의 제3 신호로 분리하는 데이터 분할부(230), 제3 신호를 RGB 색상 값으로 변환하는 색상 변환부(250)를 포함할 수 있다. 이 때, m 은 방향축의 수를 의미한다.
데이터 변환부(210)는 제1 신호를 그레이 스케일(0~255)로 정규화 할 수 있다. 데이터 변환부(210)는 수학식 1을 이용하여 제1 신호를 정규화 하여 제2 신호를 생성할 수 있다. 수학식 1에서 X, Y, Z는 정규화 되기 이전의, 관성 센서로부터 측정된 제1 신호의 값,
Figure 112019042652115-pat00014
는 제1 신호가 정규화 된 제2 신호의 값,
Figure 112019042652115-pat00015
는 관성 센서가 측정 가능한 최대 값과 최소 값을 의미한다.
Figure 112019042652115-pat00016
수학식 1과 도 5를 참조하여 예를 들면, -50에서 50 사이의 값을 측정 가능한 관성 센서로부터 측정된 제1 신호의 값이 (12.3456, 21.2356, -5.9845)일 경우, 데이터 변환부(210)는 제1 신호를 (
Figure 112019042652115-pat00017
,
Figure 112019042652115-pat00018
,
Figure 112019042652115-pat00019
)=(158.9812, 181.6508, 112.2395)와 같이 정규화 하여 제2 신호를 생성할 수 있다.
데이터 분할부(230)는 제2 신호를 방향축을 기준으로 하여 방향축의 수만큼의 제3 신호로 분리할 수 있다. 보다 구체적으로 데이터 분할부(230)는 제2 신호인
Figure 112019042652115-pat00020
를 방향축을 기준으로 하여 　
Figure 112019042652115-pat00021
값,
Figure 112019042652115-pat00022
　값, 그리고　
Figure 112019042652115-pat00023
값을 갖는 제3 신호로 분리할 수 있다. 다시 말해서, 데이터 분할부(230)는 1개의 제2 신호
Figure 112019042652115-pat00024
를 방향축의 수 즉, 3개의 제3 신호로 분리할 수 있다. 예를 들어 도 5를 참조하면, 제1 신호 (12.3456, 21.2356, -5.9845)를 정규화 하여 생성한 제2 신호가 (158.9812, 181.6508, 112.2395)일 경우 데이터 분할부(230)는 제2 신호를 각각 158.9812, 181.6508, 112.2395의 값을 갖는 3개의 제3 신호로 분리할 수 있다.
데이터 분할부(230)는 방향축 별로 분리된 m 개의 제3 신호를 정수부와 소수부로 한번 더 분리할 수 있다. 소수부는 제1 소수부와 제2 소수부를 더 포함할 수 있는데, 소수부가 k자리일 경우 제1 소수부는 소수점 첫째 자리부터
Figure 112019042652115-pat00025
번째 자리까지의 값을 의미하고, 제2 소수부는 소수점
Figure 112019042652115-pat00026
번째 자리부터 소수점 k번째 자리까지의 값을 의미할 수 있다. 예를 들어 제3 신호가 158.9812의 값을 가질 때, 데이터 분할부(230)는 제3 신호의 소수부가 4자리(
Figure 112019042652115-pat00027
)이므로 제1 소수부를 소수점 첫째 자리부터 2번째 자리(
Figure 112019042652115-pat00028
)까지의 값인 98로 하고, 제2 소수부는 소수점 3번째 자리(
Figure 112019042652115-pat00029
)부터 4번째 자리까지의 값인 12로 하여 제3 신호를 분리할 수 있다. 따라서 제3 신호가 158.9812의 값을 가지면 데이터 분할부(230)는 정수부를 158, 제1 소수부를 98, 제2 소수부를 12로 하여 제3 신호를 분리할 수 있다.
데이터 분할부(230)는 제3 신호에서 정수부, 제1 소수부, 그리고 제2 소수부를 분리하기 위하여 수학식 2를 이용할 수 있다. 수학식 2에서 　
Figure 112019042652115-pat00030
는 제3 신호,
Figure 112019042652115-pat00031
는 제3 신호의 정수부,
Figure 112019042652115-pat00032
는 제3 신호의 제1 소수부,
Figure 112019042652115-pat00033
는 제3 신호의 제2 소수부,
Figure 112019042652115-pat00034
은 제1 소수부와 제2 소수부의 자리 수로
Figure 112019042652115-pat00035
(k=소수부의 자리 수)를 의미한다.
Figure 112019042652115-pat00036
색상 변환부(250)는 제3 신호로부터 분리된 정수부, 제1 소수부, 그리고 제2 소수부를 RGB 색상 값으로 변환할 수 있다. 보다 구체적으로 색상 변환부(250)는 정수부, 제1 소수부, 그리고 제2 소수부와 RGB 색상 모델에 포함된 R, G, B 색상 값을 각각 매칭할 수 있다. 예를 들어 도 5를 참조하면, 색상 변환부(250)는 정수부를 R 색상 값에 매칭하고, 제1 소수부를 G 색상 값에 매칭하며, 제2 소수부를 B 색상 값에 매칭할 수 있다. 정수부, 제1 소수부, 그리고 제2 소수부를 R, G, B 색상 값에 매칭함에 있어서, 매칭 기준은 기 설정된 정보를 따를 뿐 고정된 것은 아니다. 본 발명의 일 실시 예에 의하면 제3 신호로부터 분리된 정수부가 128, 제1 소수부가 98, 제2 소수부가 12이면, 색상 변환부(250)는 R 색상 값을 128, G 색상 값을 98, 그리고 B 색상 값을 12로 할 수 있다.
색상 변환부(250)는 n 개의 제2 신호에 대한 m 개의 제3 신호 전체에 대하여 R, G, B 값을 매칭하고, 매칭된 R, G, B 값을 이용하여 방향축 별로 축 색상 레이어(
Figure 112019042652115-pat00037
)를 생성할 수 있다. 다시 말해서 색상 변환부(250)은 m 개의 제3 신호 각각에 대한 m 개의 축 색상 레이어(
Figure 112019042652115-pat00038
)를 생성할 수 있다. 도 5를 예로 하여 설명하면, (158.9812, 181.6508, 112.2395)의 값을 갖는 제2 신호에서 분리된 제3 신호를 이용하여 축 색상 레이어를 생성한다고 가정해보자. 158.9812의 값을 갖는 제3 신호에서 매칭된 R 색상 값은 158, G 색상 값은 98, B 색상 값은 12이고, 181.6508의 값을 갖는 제3 신호에서 매칭된 R 색상 값은 181, G 색상 값은 65, B 색상 값은 08이고, 112.2395의 값을 갖는 제3 신호에서 매칭된 R 색상 값은 112, G 색상 값은 23, B 색상 값은 95이다. 색상 변환부(250)는 방향축 별로 구분된 3개(
Figure 112019042652115-pat00039
)의 제3 신호에서 추출된 3개의 R, G, B 색상 값을 이용하여 3개(
Figure 112019042652115-pat00040
)의 축 색상 레이어를 생성할 수 있다. (158.9812, 181.6508, 112.2395)의 값을 갖는 제2 신호가 첫 번째 제2 신호이면(
Figure 112019042652115-pat00041
), 색상 변환부(250)는 x축 색상 레이어의 1번째 행에 (158, 98, 12)의 값을, y축 색상 레이어의 1번째 행에 (181, 65, 08)의 값을, z축 색상 레이어의 1번째 행에 (112, 23, 95)의 값을 갖도록 설정할 수 있다색상 변환부(250)는 n 개의 제2 신호 모두에 대하여 동일한 과정을 수행하여
Figure 112019042652115-pat00042
의 크기를 갖는 축 색상 레이어를 생성할 수 있다.
이미지 생성부(300)는 변환부(200)에서 생성한 축 색상 레이어를 이용하여 RGB이미지를 생성할 수 있다. 보다 구체적으로 설명하면, 이미지 생성부(300)는
Figure 112019042652115-pat00043
크기를 갖는 축 색상 레이어를 병합하여
Figure 112019042652115-pat00044
크기의 RGB이미지를 생성할 수 있다. 예를 들어 축 색상 레이어의 (5, 2) 픽셀이 각각 255, 0, 0의 값을 가지면, 이미지 생성부(300)는 이미지의 (5, 2) 픽셀에 RGB 값이 (255, 0, 0)인 색상을 출력하게 할 수 있다.
이미지 생성부(300)로부터 생성된 RGB 이미지는 CNN 모델을 통해 관성 센서의 행동을 인식하는 데 사용될 수 있다.
이하에서는 도 3과 도 4를 이용하여 본 발명의 일 실시 예에 의한 관성 센서 신호의 이미지 변환 방법을 설명한다. 관성 센서 신호의 이미지 변환 방법에 관한 설명에 있어서 전술한 관성 센서 신호의 이미지 변환 장치와 중복되는 세부 실시 예는 생략될 수 있다.
도 3은 본 발명의 일 실시 예에 의한 관성 센서 신호의 이미지 변환 방법을 나타낸 순서도이고, 도 4는 본 발명의 일 실시 예에 의한 관성 센서 신호의 이미지 변환 방법을 설명하기 위한 알고리즘이다. 도 3과 도 4를 참조하면 서버는 기계장치 또는 스마트 기기에 부착된 관성 센서로부터 n 개
Figure 112019042652115-pat00045
의 제1 신호를 수신할 수 있다(S100). 서버는 관성 센서로부터 지속적으로 제1 신호를 수신할 수 있다. 제1 신호는 하나 이상의 방향축에 대한 값을 포함하고 있으며 X, Y, Z 축에 대한 제1 신호는 (X, Y, Z)와 같이 구성될 수 있다.
서버는 수신한 n 개의 제1 신호를 그레이 스케일로 정규화 하여 제2 신호를 생성할 수 있다(S200). 서버는 제1 신호의 값을 RGB 색상 모델에 매칭시키기 위하여 제1 신호의 값이 0~255의 범위를 갖도록 그레이 스케일로 정규화 하여 제2 신호를 생성할 수 있다.
서버는 제1 신호를 정규화 하면, 제2 신호를 방향축을 기준으로 하여 m 개
Figure 112019042652115-pat00046
의 제3 신호로 분리할 수 있다(S300). 서버는 제2 신호를 방향축의 수만큼의 제3 신호로 분리할 수 있다. 나아가 서버는 n 개의 제2 신호에 포함된
Figure 112019042652115-pat00047
개의 제3 신호 각각에 대하여 정수부, 제1 소수부, 그리고 제2 소수부로 분리할 수 있다(S400).
서버는 분리된 정수부, 제1 소수부, 그리고 제2 소수부 각각을 RGB 색상 모델을 나타내는 R, G, B 색상 값으로 변환(S500)하고, R, G, B 색상 값을 이용하여 상기 방향축 별로 축 색상 레이어(
Figure 112019042652115-pat00048
) 를 생성(S600)할 수 있다.
서버는 생성된 축 색상 레이어를 병합하여 RGB 이미지를 생성할 수 있다(S700). 생성된 RGB 이미지는 CNN 알고리즘에 적용하여 관성 센서가 부착된 기계장치 또는 스마트 기기의 행동을 인식하는 데에 사용될 수 있다.
나아가 서버는 관성 신호 센서의 소수부를 이용함으로써 보다 의미 있는 이미지를 생성할 수 있다. 통상적으로 이미지는 정수로 구성되어 있기 때문에 센서 신호의 소수 값은 무시되나, 소수 값 또한 의미 있는 정보를 포함하기 때문에 소수 값을 이용함으로써 소수 점을 사용할 때와 비교하여 보다 정확하게 이미지를 생성할 수 있다.
또한 서버는 소수부를 이용하여 관성 센서 신호의 (X, Y, Z) 값을 각각 하나의 픽셀로 표현하여 중력축의 방향과 무관하게 방향 독립성을 보장할 수 있다. 예를 들어 설명하면, 스마트폰을 센서 기기로 사용할 경우 스마트폰은 고정되어 있지 않다. 따라서 도 8과 같이 동일한 행위에서 스마트폰이 중력축 (상하축)을 기준으로 서로 다른 방향을 바라보고 있고 (x축이 중력축일 때, y축이 중력축일 때, z축이 중력축일 때), 방향에 따른 각 축의 수치는 모두 같다고 가정하면, 관성 센서 신호의 정수 값만을 사용하는 Multichannel 방법으로 생성되는 이미지는 X, Y, Z 축의 색상이 상이하기 때문에 동일 행위라고 학습되기 어렵다는 한계가 있다. 반면에 본 발명은, 도 9를 참조하면, 필터 사이즈를 2x2라고 할 때, x축이 중력축일 때의 첫번째 필터 내의 색상 구조와 y축이 중력축일 때의 두번째 필터의 색상 구조는 같게 생성될 수 있다. 마찬가지로 y축과 z축도 동일하게 나타나며, 결론적으로 중력축의 방향과 무관하게 동일 행위로 학습될 수 있는 장점을 가져 방향 독립성을 보장할 수 있다.
이하에서는 본 발명의 일 실시 예에 의한 관성 센서 신호의 이미지 변환 방법(이하, Iss2Image-Inertial Sensor Signal to Image 방법)의 성능을 측정하기 위하여 수행한 실험을 설명한다.
본 발명의 Iss2Image 방법의 성능을 측정하기 위한 입력 데이터로 MobiAct, DaLiAc, UCI-HAR과 같이 일반적으로 사용되는 데이터 세트와 UC-HAR 데이터 세트를 사용할 수 있다. 4 개의 데이터 세트를 이용하여 본 발명의 Iss2Image 방법의 인식 정확도와 처리 속도를 측정한다.
MobiAct 데이터 세트는 방향성을 고려하지 않은 100 Hz의 샘플링 속도를 갖는, 바지 주머니에 수납된 가속도 센서, 자이로 센서 및 방향 센서를 구비한 스마트폰에서 측정한 데이터 세트이다. MobiAct 데이터 세트는 신장 160~189cm, 체중 50~120kg을 갖는 54명의 피험자가 서기, 걷기, 조깅하기, 점프하기, 계단 오르내리기, 의자에 앉기, 차에 타고 내리기 등의 동작을 수행할 때 측정된 센서 값이다.
DaLiAc 데이터 세트는 200 Hz의 샘플링 속도를 갖는 가속도 센서와 자이로 센서를 피험자의 왼쪽 발목, 오른쪽 엉덩이, 가슴, 그리고 오른쪽 손목에 부착하여 측정한 데이터 세트이다. DaLiAc 데이터 세트는
Figure 112019042652115-pat00049
세, 신장
Figure 112019042652115-pat00050
, 체중
Figure 112019042652115-pat00051
을 갖는 19명의 피험자가 13개의 일상 활동을 수행할 때의 측정된 센서 값이다. 일상 활동에는 기본 활동(앉기, 눕기, 서기), 가정 활동(설거지, 청소기 돌리기, 청소하기(쓸기)), 움직임 활동(걷기, 달리기, 계단 오르내리기), 그리고 스포츠 활동(50W/ergometer로 자전거 타기, 100W/ergometer로 자전거 타기, 줄넘기)가 포함될 수 있다.
UCI-HAR 데이터 세트는 50 Hz의 샘플링 속도를 갖는 가속도 센서와 자이로 센서를 구비한 스마트폰을 피험자의 허리에 부착하여 측정한 데이터 세트이다. UCI-HAR 데이터 세트는 19~48세의 30명의 피험자가 6가지 일상 활동(걷기, 계단 오르내리기, 앉기, 서기, 눕기)을 수행할 때 측정된 센서 값이다.
UC-HAR 데이터 세트는 100 Hz의 샘플링 속도를 갖는 가속도 센서를 구비한 스마트 폰 및 스마트 시계에서 측정한 데이터 세트이다. 피험자는 스마트 폰은 바지 주머니에 수납하고, 스마트 시계는 오른 손목에 장착하여 실험을 수행하였다. UC-HAR 데이터 세트는 20~30세, 신장 163~185cm, 체중 58~92kg를 갖는 28명의 피험자가 1분간 수행한 8가지 일상 활동(식사하기, 눕기, 달리기, 앉기, 서기, 스트레칭하기, 청소하기, 걷기)를 수행할 때 측정된 센서 값이다.
본 발명의 Iss2Image 방법의 성능을 측정하기 위하여 폭이 고정된 1초 중첩영역과 사이즈 3초를 갖는 슬라이딩 윈도우를 이용하여 4개의 데이터 세트에 대한 실험을 수행한다. 또한 Iss2Image 방법을 통해 출력된 이미지의 해상도는 슬라이딩 윈도우 크기, 샘플링 속도, 장치 및 센서의 수에 따라 상이할 수 있다. 예를 들어, UCI-HAR 데이터 세트의 경우 이미지 해상도는
Figure 112019042652115-pat00052
이 될 수 있다. 이 때 150은 샘플링 속도인 50 Hz와 슬라이딩 윈도우 크기인 3을 곱한 값이고, 6은 가속도 센서(3축)와 자이로 센서(3축)의 축의 수를 의미한다.
본 발명의 일 실시 예에 의한 Iss2Image 방법의 성능을 평가하기 위하여 총 4가지의 실험을 수행하였다. 실험 1은 4 개의 데이터 세트를 이용하여 본 발명의 Iss2Image 방법의 성능을 평가하기 위한 실험이고, 실험 2는 본 발명의 Iss2Image 방법과 관성 센서 데이터를 이미지 데이터로 변환하는 종래의 방법을 비교한 실험이다. 실험 3은 본 발명에서 사용하는 CNN 모델(UCNet6)과 다른 CNN 모델의 성능을 비교한 실험이고, 실험 4는 본 발명의 Iss2Image 방법과 가장 최근에 개발된 행동 인식 방법을 비교하여 본 발명의 Iss2Image 방법의 성능을 평가한 실험이다.
실험 1은 4 개의 데이터 세트를 이용하여 본 발명의 Iss2Image 방법의 성능을 평가하기 위한 실험으로, 실험 1의 결과는 도 6의 컨퓨전 행렬(confusion matrix)과 표 1을 통해 확인할 수 있다. 컨퓨전 행렬은 지도학습을 통해 훈련된 분류 알고리즘의 성능을 시각화 하는 행렬을 의미한다. 표 1을 참조하면, MobiAct 데이터 세트의 경우 정확도가 100%으로 매우 높고, DaLiAc, UCI-HAR, UC-HAR 데이터 세트의 정확도 역시 모두 97% 이상으로 정확도가 매우 높다는 것을 확인할 수 있다. 도 6의 (a)는 MobiAct 데이터 세트에 대한 컨퓨전 행렬을, (b)는 DaLiAc 데이터 세트에 대한 컨퓨전 행렬을, (c)는 UCI-HAR 데이터 세트에 대한 컨퓨전 행렬을, (d)는 UC-HAR 데이터 세트에 대한 컨퓨전 행렬을 도시한 도면으로, 도 6을 참조하면, UCI-HAR 데이터 세트의 경우 걷기와 계단 내리기, 계단 오르기와 계단 내리기의 분류가 잘 수행되지 않았는데, 이는 센서가 구비된 스마트폰이 피험자의 허리에 장착되어 동작 간의 센서 값이 유사하게 측정되었기 때문이다.
데이터 세트 정확도(%)
MobiAct 100.00
DaLiAc 98.90
UCI-HAR 97.11
UC-HAR 98.16
실험 2는 본 발명의 Iss2Image 방법과 관성 센서 데이터를 이미지 데이터로 변환하는 종래의 방법을 비교한 실험으로, 종래의 방법은 Raw Signal Plot, Spectrogram, Recurrence Plot, Multi-Channel 방법을 사용하였다. 1) Raw Signal Plot 방법은 센서 신호를 시계열 이미지로 직접 변환하여 그레이 스케일로 표시하고, 2) Spectrogram 방법은 센서 신호에 제곱 STFT(Short-Time Fourier Transform)를 수행하여 표현되는 스펙트로그램을 표시하며, 3) Recurrence Plot 방법은 센서 신호의 시간 패턴 차에 따른 거리 행렬을 이미지화 한 것으로 이미지에서 텍스쳐 패턴으로 표현되며, 4) Multi-Channel 방법은 센서 신호를 정규화, 스케일링 및 반올림하여 RGB 이미지의 R, G, B 채널에 센서 신호를 인코딩하여 이미지를 생성한다. 도 7에서 4가지 방법에 의해 추출된 이미지를 확인할 수 있다. 도 7의 (a)는 Raw Signal Plot 방법, (b)는 Spectrogram 방법, (c)는 Recurrence Plot 방법, (d)는 Multi-Channel 방법, 그리고 (e)는 본 발명의 Iss2Image 방법에 의해 추출된 이미지를 도시하고 있다.
실험 2의 결과는 표 2를 통해 확인할 수 있다. 표 2에서, 본 발명의 Iss2Image 방법은 기존의 4가지 방법과 대비하여 정확도가 월등히 높은 것을 확인할 수 있다. 보다 자세히 살펴보면 본 발명의 Iss2Image 방법은 기존의 4가지 방법과 비교하여, MobiAct 데이터 세트의 경우 평균 0.97%, DaLiAc 데이터 세트의 경우 평균 6.53%, UCI-HAR 데이터 세트의 경우 평균 4.87%, UC-HAR 데이터 세트의 경우 평균 3.72%의 높은 정확도를 갖는 것을 확인할 수 있다. 4가지의 방법과 본 발명의 Iss2Image 방법의 정확도를 각각 비교하면, Raw Signal Plot, Spectrogram, Recurrence Plot 방법과 본 발명의 Iss2Image 방법은 전체 데이터 세트에 대하여 평균 4.45%, 4.3%, 그리고 6.59%의 정확도 차이를 갖는다. Multi-Channel 방법은 본 발명의 Iss2Image 방법과 유사하게 (X, Y, Z)의 센서 신호를 R, G, B 채널에 대한 세 가지 픽셀로 인코딩하나, 본 발명의 Iss2Image 방법과는 상이하게 실수 대신 정수를 사용하기 때문에 평균적으로 약 0.36% 낮은 정확도를 갖는 것을 확인할 수 있다.
장치 MobiAct DaLiAc UCI-HAR UC-HAR
Raw Signal Plot 98.22 92.06 92.86 93.08
Spectrogram 98.02 94.54 91.02 93.40
Recurrence Plot 100.00 84.75 88.47 93.15
Multi-Channel 99.88 98.12 96.60 98.14
Iss2Image 100.00 98.90 97.11 98.16
실험 3은 본 발명에서 사용하는 CNN 모델(UCNet6)과 다른 CNN 모델의 성능을 비교한 실험으로, 3가지의 다른 CNN 모델(Resnet18, Alexnet, GoogleNet)을 사용할 수 있다. 상기 3가지 CNN 모델은 1000개의 범주로 구분된 120만 개의 이미지를 포함하는 ImageNet 데이터베이스를 사용하여 학습되었다. 본 발명의 CNN 모델(UCNet6)을 학습하기 위하여 10개의 범주로 구분된 50,000개의 트레이닝 이미지와 10,000개의 테스트 이미지로 구성된 CIFAR-10 데이터 세트를 사용하였다. 실험 3을 수행하기 위한 CNN 모델의 입력 데이터 세트로는 본 발명의 Iss2Image 방법을 통해 생성한 이미지를 사용하였다.
실험 3의 결과는 표 3을 통해 확인할 수 있다. 표 3에서, 평균적으로 ResNet18과 GoogleNet의 모델에서 가장 높은 정확도를 보이고 Recurrence Plot 방법과 본 발명의 Iss2Image 방법은 ResNet18 모델을 사용할 때, Spectrogram 방법과 Multi-Channel 방법은 GoogleNet 모델을 사용할 때 가장 높은 정확도를 보인다. 그러나 Raw Signal Plot방법은 모든 CNN 모델에 있어서 가장 낮은 정확도를 나타내는데, 이를 통해 이미지 내에 빈 영역이 많을 경우 의미 없는 정보가 도출됨을 알 수 있다.
CNN 모델에서, Multi-Channel 방법과 본 발명의 Iss2Image 방법은 모든 CNN 모델에서 98% 이상의 높은 정확도를 보이기 때문에, 이 두 방법을 통해 출력되는 이미지는 정확한 의미를 담고 있음을 알 수 있다.
나아가 표 3에서, 훈련되지 않은 UCNet6 모델은 모든 방법에 있어서 가장 낮은 정확도를 보이나 Multi-Channel 방법과 본 발명의 Iss2Image 방법에 있어서는 다른 CNN 모델과 비교 가능한 수치를 나타내고 있다. 반면에 훈련된 UCNet6 모델은 훈련되지 않은 UCNet6 모델의 단점을 극복하여 평균 96.41%의 정확도로 모든 방법에 있어서 다른 CNN 모델과 비교 가능한 수치를 나타냄을 알 수 있다. 이는 다른 모델과 비교하였을 때 현저히 낮은 수치지만, 평균적으로 1% 미만의 차이를 보인다. UCNet6 모델은 무게가 적고 속도가 빨라 모바일 플랫폼에서의 기용성이 좋으며 트레이닝 및 행동 인지 단계에 있어서 강점이 있다.
ResNet18, GoogleNet, AlexNet과 같은 기존의 CNN 모델은 방대한 양의 데이터로 훈련되어 있기 때문에 이미지를 분류함에 있어서 정확도가 높게 나타난다. 반면에 훈련된 UCNet6 모델은 소규모 데이터를 통해 훈련을 하였음에도 기존의 CNN 모델과 비교하여 그 정확도에 있어서 비슷한 성능을 보이고 있으며, 훈련되지 않은 UCNet6 모델조차도 정확도가 가장 낮으나 그 격차는 미미하기 때문에, UCNet6 모델의 성능이 가장 우수하다고 볼 근거가 충분하다.
CNN 모델 ResNet18 GoogleNet AlexNet UCNet6(from Scratch) UCNet6(Pre-Trained)
Raw Signal Plot 93.82 94.55 94.15 93.08 94.24
Spectrogram 95.19 96.87 96.09 93.40 95.46
Recurrence Plot 98.10 96.38 96.15 91.15 94.37
Multi-Channel 98.55 99.02 98.07 98.14 98.71
Iss2Image 99.70 99.46 98.97 98.16 99.27
Average 97.07 97.25 96.68 95.78 96.41
실험 4는 MobiAct, DaLiAc, UCI-HAR의 데이터 세트를 이용하여 본 발명의 Iss2Image 방법과 가장 최근에 개발된 행동 인식 방법을 비교하여 본 발명의 Iss2Image 방법의 성능을 평가할 수 있다.
먼저, Iss2Image 방법과 최근에 개발된 행동 인식 방법은 MobiAct 데이터 세트를 중첩 비율 80%, 사이즈 5의 슬라이딩 윈도우를 이용하여 평가할 수 있다. MobiAct 데이터 세트에 대한 정확도는 특징 벡터 추출, 특징 벡터 선택 및 행동 분류의 크게 세 가지 구성 요소를 사용하여 측정되었으며, 64개의 특징을 추출하여 사용하였고 IBk와 J48 분류 방법이 사용되었다. . 표 4에서 확인할 수 있듯이 두 분류 방법은 MobiAct 데이터 세트에 대하여 99.88%와 99.3%의 정확도를 가지나 특징 엔지니어링의 한계로 인해 계단 오르내리기와 같은 유사한 활동을 정확하게 인식하기 어렵다는 단점이 있다. 또한 성능을 평가하기 위하여 주파수를 20Hz로 재설정하고 중첩 없이 사이즈 10의 슬라이딩 윈도우를 이용하여 데이터를 분할하고, 자동 회귀 모델(Auto-Regressive Model)을 이용하여 추출한 특징을 SVM으로 분류하는 방법을 더 사용하였다. 그러나 이 방법 역시 계단 오르내리기와 같은 유사한 활동을 정확하게 인식하기 어렵다는 단점이 있으며, 정확도가 97.45%로 IBk와 J48 분류기보다 낮게 도출되었다.
본 발명의 Iss2Image-UCNet6은 MobiAct 데이터 세트에 있어서 100%의 정확도를 갖기 때문에 기존의 분류 방법과 대비하여 탁월한 성능을 보인다. Iss2Image-UCNet6에서는 컨볼루션 레이어, ReLU 레이어 및 풀링 레이어를 이용하여 CNN 모델 내부에서 추출된 방대한 특징을 학습하여 k-NN이나 의사결정 트리(Decision Tree)와 같은 기존 분류 방법보다 높은 정확도를 제공할 수 있다.
분류 방법 정확도(%)
IBk 99.88
J48 99.30
SVM 97.45
Iss2Image-UCNet6 100.11
다음으로, Iss2Image 방법과 최근에 개발된 행동 인식 방법을 DaLiAc 데이터 세트를 중첩 비율 50%, 사이즈 5의 슬라이딩 윈도우를 이용하여 평가할 수 있다. DaLiAc 데이터 세트에 대한 정확도는 Hierarchical Classifier, 의사결정 트리, k-NN, SVM을 이용하여 측정되었다. 표 5에서, SVM은 Hierarchical Classifier, 의사결정 트리, k-NN, SVM 중에서 93%의 가장 높은 정확도를 보이고, 본 발명의 Iss2Image-UCNet6은 센서 신호를 심한 데이터 왜곡 없이 이미지로 변환하기 때문에 96.4%의 높은 정확도를 가지며, 기존의 분류기와 대비하여 성능이 매우 우수함을 알 수 있다.
분류 방법 정확도(%)
Hierarchical Classifier 89.60
Decision Tree 80.00
k-NN 68.70
SVM 93.00
Iss2Image-UCNet6 96.40
마지막으로, 본 발명의 Iss2Image 방법과 최근에 개발된 행동 인식 방법을 UCI-HAR 데이터 세트를 중첩 비율 50%, 사이즈 2.56의 슬라이딩 윈도우를 이용하여 평가하였다. 보다 자세하게 설명하면, 먼저 가속도 센서와 자이로 센서에 대한 시간 및 주파수 영역에서 측정된 17 개의 특징을 추출하고, Multi-Class SVM(MC-SVM)와 경량 MC-SVM(고정 소수점 연산 기능이 부가된)을 이용하여 행동을 분류한 결과 MC-SVM은 89.30%, 경량 MC-SVM은 89.00%의 정확도를 가진다. 또한 전처리 과정 후에 가속도 센서와 자이로 센서의 센서 신호를 입력 변수로 하는 심층 학습 신경망을 사용하는 컨볼루션 네트워크와 MLP를 결합한 방법은 평균 94.79%의 정확도를 가진다. 나아가 컨볼루션 레이어로부터 추출된 특징과 FFT를 통해 추출된 특징을 결합한 방법은 평균 95.75%의 정확도를 가짐으로써 이전의 컨볼루션 네트워크와 MLP를 결합한 방법보다 우수함을 알 수 있다.
나아가 2단계의 분류를 수행하는 GCHAR이라는 분류 방법을 이용하여 정확도를 측정하였는데, 첫 번째 단계는 유사한 활동을 특정 활동 그룹으로 분류하는 것이고 두번째 단계는 상황 인식 기반으로 행동을 분류하는 것으로 첫 번째 단계에서 분류된 활동이 올바른 그룹에 포함되도록 수정한다. GCHAR은 94.16%의 평균 정확도를 가져, MC-SVM, 경량 MC-SVM, Convnet+MLP, FFT+Convnet의 분류 방법과 대비하여 성능이 가장 우수하다고 볼 수 있다. 본 발명의 Iss2Image-UCNet6는 윈도우의 수를 3에서 2.56으로 감소시키는 데 어려움이 있었기 때문에 평균 96.84%의 다소 낮은 정확도를 가지지만 다른 분류 방법과 비교하였을 때 여전히 우수함을 알 수 있다.
분류 방법 정확도(%)
MC-SVM 89.30
Convnet-MLP 94.79
FFT-Convnet 95.75
GCHAR 94.16
Iss2Iamge-UCNet6 96.84
최종적으로 센서 신호를 이미지로 변환하는 데 소요되는 시간, CNN 모델을 훈련하는 시간, 그리고 센서 신호에 대응되는 행동을 인지하는 데 소요되는 시간을 벤치마킹함으로써 본 발명의 Iss2Image 방법을 평가하였다.
1) 센서 신호를 이미지로 변환하는 데 소요되는 시간을 측정하기 위하여 10초 동안 생성된 이미지의 수를 연산할 수 있다. 표 7을 참조하면, Raw Signal Plot 방법과 Spectrogram 방법은 10개 이하, Recurrence Plot 방법은 700개, Multi-Channel 방법과 본 발명의 Iss2Image 방법은 각각 2838, 2772개의 이미지를 생성하였다.
CNN 모델 생성된 이미지 수/10초(개)
Raw Signal Plot 7
Spectrogram 4
Recurrence Plot 699
Multi-Channel 2838
Iss2Image 2772
(X, Y, Z)의 센서 신호를 단일 구성 요소 이미지로 플롯하고 모든 이미지를 최종 이미지에 결합하는 과정에 있어서, Raw Signal Plot 방법은 신호의 변환에 있어서 많은 시간을 소요하며, Spectrogram 방법은 Spectrogram을 플롯하고 이미지의 결합 과정에 많은 시간을 소요한다. 한편 Recurrence Plot은 센서 신호의 시간 패턴을 먼저 추출한 후 전체 신호의 패턴을 이미지로 플롯하기 때문에 Raw Signal Plot과 Spectrogram보다 시간이 단축된다. Raw Signal Plot, Spectrogram, Recurrence Plot과 본 발명의 Iss2Image 방법을 비교하면, 본 발명의 Iss2Image 방법은 센서 신호를 픽셀 값으로 바로 인코딩하기 때문에 센서 신호를 이미지로 변환하는 데 있어서 소요되는 시간이 적다.
2) CNN 모델을 훈련하는 시간을 측정하기 위하여, ResNet18, GoogleNet, AlexNet, 훈련되지 않은 UCNet6, 훈련된 UCNet6을 이용하여 측정된 훈련 시간을 비교하였다. 훈련 시간을 측정하기 위하여 총 38,279 개의 활동 데이터를 1초 중첩의 사이즈 3초의 슬라이딩 윈도우(Sliding Window size of three seconds와 Overlapping width of one second)로 분할하였으며, 각 CNN 모델이 사용 가능한 이미지의 크기로 변환하였다(ResNet18, GoogleNet:
Figure 112019042652115-pat00053
, AlexNet:
Figure 112019042652115-pat00054
). UCNet6은 입력 이미지의 크기에 무관하기 때문에 별도의 이미지 크기를 설정하지 않았다.
표 8을 참조하면 미리 훈련된 CNN 모델의 훈련 시간은, ResNet18은 평균 62m, GoogleNet은 57m, AlexNet은 74m으로 유사하게 측정되었다. 또한 각 CNN 모델에서 관성 센서 신호를 이미지로 변환하는 방법 각각에 대하여 측정된 훈련 시간의 최대값 및 최소값의 차이는 ResNet18은 4m, GoogleNet은 6m, AlexNet은 7m으로, 큰 차이 없이 측정되었다. 본 발명의 Iss2Image 방법은 GoogleNet을 이용하여 센서 신호를 이미지로 변환한 경우 다른 방법과 비교하여 가장 경쟁력이 있음을 알 수 있으나, ResNet18를 이용한 경우 세 번째, AlexNet을 이용한 경우도 두 번째로 속도가 빠르기 때문에 여러 CNN 모델에서도 경쟁력이 있다고 판단할 수 있다.
훈련되지 않은 UCNet6은 Raw Signal Plot, Spectrogram, Recurrence Plot 방법에 대한 훈련을 5시간 이상 진행하였으나, 미리 훈련한 데이터가 아닌 고해상도 이미지에 대한 훈련 시간은 상당하였다. 반대로 Multi-Channel, Iss2Image 방법에 대한 훈련은 7분과 9분으로 매우 짧았으며 초기화된 데이터를 사용하더라도 훈련 시간에 영향을 미치지 않았다. 반면에 훈련된 UCNet6은 훈련 시간의 평균이 약 9분으로 가장 뛰어난 성능을 나타냈다.
CNN 모델 ResNet18 GoogleNet AlexNet UCNet6(from Scratch) UCNet6(Pre-Trained)
Raw Signal Plot 60 57 73 309 9
Spectrogram 63 58 71 330 8
Recurrence Plot 64 60 77 318 14
Multi-Channel 61 58 78 7 6
Iss2Image 62 54 72 9 7
Average 62 57 74 195 9
3) 센서 신호에 대응되는 행동을 인지하는 데 소요되는 시간을 측정하기 위하여, ResNet18, GoogleNet, AlexNet, 그리고 UCNet6을 포함하는 CNN 모델에서 6가지 센서 신호의 이미지 변환 방법을 각각 비교하였다. 이를 위하여 총 1,000개의 활동 데이터를 1초 중첩의 사이즈 3초의 슬라이딩 윈도우로 분할하였으며, 각 CNN 모델이 사용 가능한 이미지의 크기로 변환하였다(ResNet18, GoogleNet:
Figure 112019042652115-pat00055
, AlexNet:
Figure 112019042652115-pat00056
, UCNet6:
Figure 112019042652115-pat00057
). 행동 인지의 소요 시간은 이미지 변환이 10번 수행된 시간의 평균을 연산하여 도출하였다.
표 9에서 볼 수 있듯이, UCNet6에서 Raw Signal Plot, Spectrogram, Recurrence Plot, Multi-Channel, Iss2Image 방법의 추론 시간은 모두 1초 미만으로 다른 CNN 모델과 비교하였을 때 가장 빠르게 나타났다. 이는 UCNet6이 복잡도가 낮은 레이어를 포함하기 때문에 입력 데이터가 적은 계산량으로 CNN 모델을 통과하기 때문이다. 사전에 훈련된 CNN 모델에서, GoogleNet은 가장 많은 레이어를 포함하고 있으나 ResNet18 모델보다 빠른 것을 확인할 수 있다. 이는 ResNet18 모델에 정규화 및 추가 레이어와 같은 복잡한 레이어가 포함되어 있어 더 많은 연산 시간을 필요로 하기 때문이다. 또한 AlexNet 모델의 경우 ResNet18과 GoogleNet 모델과 대비하여 상대적으로 레이어 수가 적기 때문에 두 모델보다 추론 시간이 빠르게 나타난다.
CNN 모델 ResNet18 GoogleNet AlexNet UCNet6
Raw Signal Plot 1.89 1.77 1.18 0.61
Spectrogram 2.06 1.90 1.33 0.87
Recurrence Plot 2.12 1.93 1.33 0.88
Multi-Channel 1.96 1.86 1.30 0.17
Iss2Image 1.99 1.87 1.27 0.29
Average 2.01 1.87 1.29 0.56
센서 신호의 변환 방법의 관점에서, 세 가지 사전 훈련된 CNN 모델에서 Iss2Image 방법은 모든 CNN 모델에서 2번째 혹은 3번째로 빠른 속도를 나타내고 Raw Signal Plot 방법은 ResNet18, GoogleNet, AlexNet에서 가장 빠른 속도를 보였으나 이미지를 변환하는 데 많은 시간이 소요되기 때문에 실시간 환경에서는 적합하지 않다. UCNet6은 Iss2Image에 최적화되어 있어 Multi-Channel과 Iss2Image 방법에서 가장 빠른 속도를 나타내고, Raw Signal Plot 방법보다 빠른 속도를 가짐을 알 수 있다.
본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (13)

  1. 서버가 관성 센서로부터 측정된 신호를 이미지로 변환하는 방법에 있어서,
    상기 관성 센서로부터 수신한 n 개의 제1 신호를 정규화 하여 실수 형태의 제2 신호를 생성하는 단계;
    상기 제2 신호를 방향축을 기준으로 하여 m 개의 제3 신호로 분리하는 단계(
    Figure 112020077558671-pat00058
    );
    상기 n 개의 제2 신호에 포함된 상기
    Figure 112020077558671-pat00059
    개의 제3 신호 각각을 정수부, 제1 소수부 및 제2 소수부로 분리하고, 상기 정수부, 제1 소수부 및 제2 소수부를 RGB 색상 모델을 나타내는 R, G, B 색상에 각각 매칭하여 R, G, B 색상 값으로 변환하는 단계;
    상기 R, G, B 색상 값을 이용하여 상기 방향축 별로 축 색상 레이어(
    Figure 112020077558671-pat00060
    )를 생성하는 단계; 및
    상기 축 색상 레이어를 병합하여 RGB 이미지를 생성하는 단계를 포함하는 센서 신호의 이미지 변환 방법.
  2. 제1항에 있어서,
    상기 RGB 이미지에 CNN 모델을 적용하여 상기 관성 센서의 행동을 인지하는 단계를 더 포함하는 센서 신호의 이미지 변환 방법.
  3. 제1항에 있어서,
    상기 방향축은 x축, y축 및 z축을 포함하는 것을 특징으로 하는 센서 신호의 이미지 변환 방법.
  4. 제1항에 있어서
    상기 제1 소수부는 상기 소수부(k자리 소수)의 소수점 첫째 자리부터
    Figure 112020077558671-pat00061
    번째 자리까지의 값을,
    상기 제2 소수부는 상기 소수부의 소수점
    Figure 112020077558671-pat00062
    번째 자리부터 소수점 k번째 자리까지의 값을 의미하는 것을 특징으로 하는 센서 신호의 이미지 변환 방법.
  5. 제1항에 있어서,
    상기 RGB 이미지는
    Figure 112020077558671-pat00063
    의 크기를 갖는 것을 특징으로 하는 센서 신호의 이미지 변환 방법.
  6. 관성 센서로부터 측정된 신호를 이미지로 변환하는 장치에 있어서,
    상기 관성 센서로부터 n 개(
    Figure 112020077558671-pat00064
    )의 제1 신호 수신하는 신호 수신부;
    상기 제1 신호를 정규화 하여 실수 형태의 제2 신호를 생성하고, 상기 제2 신호를 방향축을 기준으로 하여 m 개의 제3 신호로 분리하고(
    Figure 112020077558671-pat00065
    ), 상기 n 개의 제2 신호에 포함된 상기
    Figure 112020077558671-pat00066
    개의 제3 신호 각각을 정수부, 제1 소수부 및 제2 소수부로 분리하여 RGB 모델을 나타내는 R, G, B 색상에 각각 매칭해 R, G, B 색상 값으로 변환하는 변환부; 및
    상기 R, G, B 색상 값을 이용하여 상기 방향축 별로 축 색상 레이어(
    Figure 112020077558671-pat00067
    )를 생성하고, 상기 축 색상 레이어를 병합하여 RGB 이미지를 생성하는 이미지 생성부를 포함하는 센서 신호의 이미지 변환 장치.
  7. 제6항에 있어서,
    상기 방향축은 x축, y축 및 z축을 포함하는 것을 특징으로 하는 센서 신호의 이미지 변환 장치.
  8. 제6항에 있어서,
    상기 변환부는,
    상기 제3 신호를 정수부 및 소수부로 분리하고, 상기 소수부를 상기 제1 및 제2 소수부로 분리하는 데이터 분할부를 더 포함하는 것을 특징으로 하는 센서 신호의 이미지 변환 장치.
  9. 제6항에 있어서
    상기 제1 소수부는 상기 소수부(k자리 소수)의 소수점 첫째 자리부터
    Figure 112020077558671-pat00068
    번째 자리까지의 값을,
    상기 제2 소수부는 상기 소수부의 소수점
    Figure 112020077558671-pat00069
    번째 자리부터 소수점 k번째 자리까지의 값을 의미하는 것을 특징으로 하는 센서 신호의 이미지 변환 장치.
  10. 제6항에 있어서,
    상기 RGB 이미지는
    Figure 112020077558671-pat00070
    의 크기를 갖는 것을 특징으로 하는 센서 신호의 이미지 변환 장치.
  11. 삭제
  12. 삭제
  13. 삭제
KR1020190048291A 2019-04-25 2019-04-25 관성 센서 신호의 이미지 변환 방법 및 장치 KR102148382B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190048291A KR102148382B1 (ko) 2019-04-25 2019-04-25 관성 센서 신호의 이미지 변환 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190048291A KR102148382B1 (ko) 2019-04-25 2019-04-25 관성 센서 신호의 이미지 변환 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102148382B1 true KR102148382B1 (ko) 2020-08-26

Family

ID=72242421

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190048291A KR102148382B1 (ko) 2019-04-25 2019-04-25 관성 센서 신호의 이미지 변환 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102148382B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10113343A (ja) * 1996-07-03 1998-05-06 Hitachi Ltd 動作及び行動の認識方法及び装置及びシステム
KR20130110565A (ko) * 2012-03-29 2013-10-10 삼성전자주식회사 사용자 행동 실시간 인식장치 및 방법
KR20190041504A (ko) * 2016-08-22 2019-04-22 매직 립, 인코포레이티드 딥 러닝 센서들을 갖는 증강 현실 디스플레이 디바이스

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10113343A (ja) * 1996-07-03 1998-05-06 Hitachi Ltd 動作及び行動の認識方法及び装置及びシステム
KR20130110565A (ko) * 2012-03-29 2013-10-10 삼성전자주식회사 사용자 행동 실시간 인식장치 및 방법
KR20190041504A (ko) * 2016-08-22 2019-04-22 매직 립, 인코포레이티드 딥 러닝 센서들을 갖는 증강 현실 디스플레이 디바이스

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jiang et al. Human Activity Recognition Using Wearable Sensors by Deep Convolutional Neural Networks. 23rd ACM international conference on Multimedia, 2015년 10월, pp. 1307-1310. 1부.* *

Similar Documents

Publication Publication Date Title
Huang et al. TSE-CNN: A two-stage end-to-end CNN for human activity recognition
Yen et al. Human daily activity recognition performed using wearable inertial sensors combined with deep learning algorithms
Frank et al. Activity and gait recognition with time-delay embeddings
Zhang et al. A comprehensive study of smartphone-based indoor activity recognition via Xgboost
CN108171278B (zh) 一种基于运动训练数据的运动模式识别方法和系统
Javeed et al. Body-worn hybrid-sensors based motion patterns detection via bag-of-features and Fuzzy logic optimization
Jia et al. Human daily activity recognition by fusing accelerometer and multi-lead ECG data
CN110490109A (zh) 一种基于单目视觉的在线人体康复动作识别方法
Koch et al. A recurrent neural network for hand gesture recognition based on accelerometer data
Calado et al. Toward the minimum number of wearables to recognize signer-independent Italian sign language with machine-learning algorithms
Kwon et al. Hands-free human activity recognition using millimeter-wave sensors
Zheng et al. L-sign: Large-vocabulary sign gestures recognition system
Omae et al. A novel deep learning optimization algorithm for human motions anomaly detection
Liu et al. A lightweight double-channel depthwise separable convolutional neural network for multimodal fusion gait recognition
CN109011419B (zh) 一种基于mems传感器的运动动作训练方法
CN114267430A (zh) 基于路线及环境对游客体能及其消耗推算的方法及系统
Samadani EMG channel selection for improved hand gesture classification
KR102148382B1 (ko) 관성 센서 신호의 이미지 변환 방법 및 장치
Bastwesy et al. Wi-nod: Head nodding recognition by wi-fi csi toward communicative support for quadriplegics
Eyobu et al. A real-time sleeping position recognition system using IMU sensor motion data
Mesanza et al. Machine learning based fall detector with a sensorized tip
Sharma et al. On the use of multi-modal sensing in sign language classification
CN114757237B (zh) 一种基于WiFi信号的速度无关步态识别方法
Jarchi et al. Transition detection and activity classification from wearable sensors using singular spectrum analysis
Tao et al. Research on communication APP for deaf and mute people based on face emotion recognition technology

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant