KR102502441B1 - 소수의 데이터를 이용하여 트레이닝되지 않은 상황에 적응하는 모바일 센싱장치 및 방법 - Google Patents

Abstract

소수의 데이터를 이용하여 트레이닝되지 않은 상황에 적응하는 모바일 센싱장치 및 방법을 개시한다.
본 실시예는, 제한된 모바일 센싱(mobile sensing) 데이터를 효율적으로 사용하기 위한 상황 과제(conditioned task) 생성 방법을 제안하고, 제안된 방법에 따라 생성된 상황 과제를 이용하여 딥러닝(deep learning) 기반 센싱 모델을 메타 러닝(meta learning) 방식으로 트레이닝시킴으로써, 소수의 데이터(few-shots)를 이용하여 트레이닝되지 않은 상황(untrained conditions)에 적응하는 것이 가능한 모바일 센싱장치 및 방법을 제공한다.

Description

소수의 데이터를 이용하여 트레이닝되지 않은 상황에 적응하는 모바일 센싱장치 및 방법{Method and Apparatus for Mobile Sensing for Few-Shot Adapting to Untrained Conditions}

본 발명은 소수의 데이터를 이용하여 트레이닝되지 않은 상황에 적응하는 모바일 센싱장치 및 방법에 관한 것이다.

이하에 기술되는 내용은 단순히 본 발명과 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.

스마트폰(smartphone) 또는 웨어러블(wearabls)과 같은 스마트 디바이스에 있어서, 딥러닝(deep learning) 및 모바일 AI(Artificial Intelligence) 프로세서의 발전을 기반으로 하여 모바일 센싱(mobile sensing)은 다양한 분야에 응용된다. 여기서 모바일 센싱의 응용 분야의 몇몇 예는 인간 행동 인식(HAR: human activity recognition), 음향 맥락(acoustic context) 인식, 복합 운동(complex physical exercise) 인식, 디바이스 무관 인증(device-free authentication), 수화(sign language) 인식, 감정 상태 예측(prediction of emotional status) 등이다. 따라서, 스마트 디바이스가 제공하는 다양한 서비스를 사용자가 향유함에 있어서, 모바일 센싱의 응용은 매우 중요한 요소가 될 수 있다.

스마트 디바이스 상에서 모바일 센싱의 응용이 매우 다양하게 전개될 수 있음에도, 실제 상황에서 모바일 센싱은 성능저하라는 문제에 당면한다. 모바일 센싱의 성능저하는 주로 방대한 개별적 상황(individual conditions)에 기인한다. 개별적 상황은 다양한 디바이스 및 디바이스를 사용하는 다양한 사용자로부터 발생되며, 딥러닝 기반 센싱 모델이 처음 트레이닝되었던 상황과는 다를 수도 있다. 예컨대, 소프트웨어 및 하드웨어 사양에 따라 이질적(heterogeneous) 동작을 수행하는 센서 및 이러한 센서를 장착한 다양한 스마트 디바이스가 존재한다. 또한 동일한 스마트 디바이스라 하더라도, 사용자의 행동 패턴(patterns of activities) 및 스마트 디바이스의 착용 또는 보관 방법에 따라 센서는 상이한 결과를 생성할 수 있다. 이러한 개별적 상황의 무수한 조합(countless combinations)으로 인해 모바일 센싱의 성능이 심각하게 저하될 수 있다.

성능저하에 대처하기 위한 단순한 해법(naive solution) 중 하나는 무수한 상황에 대한 충분한 데이터를 수집한 후, 수집된 데이터를 이용하여 디바이스 상의 센싱 모델을 트레이닝시키는 방법이다. 그러나, 데이터 수집 및 레이블(label) 부착에 필요한 시간 및 비용, 오버피팅(overfitting)의 회피가 반영된 트레이닝의 복잡성 등을 고려할 때, 이 방법은 매우 비현실적이다. 다른 해법은 센서를 캘리브레이션(calibration)하거나 센서에 대한 의존성은 최소화하기 위하여 상황에 독립적인(condition-independent) 특징을 산정하는 방법이다. 이 방법은 특정 센서에 대한 지엽적인 의존성의 해소에는 이용이 가능하나, 다양한 센서 및 센서의 응용 모두에 적용하기에는 한계가 존재한다.

따라서, 모바일 센싱에 있어서, 각각의 개별적 상황에 효율적인 대처가 가능하면서도 소모되는 리소드를 최소화할 수 있는 모바일 센싱방법을 필요로 한다.

비특허문헌 1: Chelsea Finn, Pieter Abbeel, and Sergey Levine. 2017. Model-agnostic metalearning for fast adaptation of deep networks. In Proceedings of the 34th International Conference on Machine Learning-Volume 70. JMLR. org, 1126-1135. 비특허문헌 2: Seyed Ali Rokni, Marjan Nourollahi, and Hassan Ghasemzadeh. 2018. Personalized Human Activity Recognition Using Convolutional Neural Networks. In Thirty-Second AAAI Conference on Artificial Intelligence. 비특허문헌 3: Jake Snell, Kevin Swersky, and Richard Zemel. 2017. Prototypical networks for few-shot learning. In Advances in Neural Information Processing Systems. 4077-4087.

본 개시는, 제한된 모바일 센싱(mobile sensing) 데이터를 효율적으로 사용하기 위한 상황 과제(conditioned task) 생성 방법을 제안하고, 제안된 방법에 따라 생성된 상황 과제를 이용하여 딥러닝(deep learning) 기반 센싱 모델을 메타 러닝(meta learning) 방식으로 트레이닝시킴으로써, 소수의 데이터(few-shots)를 이용하여 트레이닝되지 않은 상황(untrained conditions)에 적응하는 것이 가능한 모바일 센싱장치 및 방법을 제공하는 데 주된 목적이 있다.

본 발명의 실시예에 따르면, 모바일(mobile) 센싱장치의 학습방법에 있어서, 소스 데이터세트(source dataset)를 이용하여 복수의 학습용 상황 과제(conditioned tasks)를 생성하는 과정; 상기 복수의 상황 과제를 이용하여 딥러닝(deep learning) 기반 센싱 모델(sensing model)에 대한 기본 트레이닝(basic training)을 실행하는 과정; 소수의 데이터(few shots)를 획득하고, 상기 소수의 데이터를 이용하여 타겟 데이터세트(target dataset)를 생성하는 과정; 및 상기 타겟 데이터세트를 이용하여 상기 기본 트레이닝이 실행된 센싱 모델에 대한 적응 트레이닝(adapting training)을 실행하는 과정을 포함하는 것을 특징으로 하는, 컴퓨터 상에 구현되는 학습방법을 제공한다.

본 발명의 다른 실시예에 따르면, 모바일 디바이스(mobile device)에 탑재되는 모바일 센싱장치에 있어서, 모바일 센서(mobile sensor)로부터 센싱 데이터를 획득하는 입력부; 소스 데이터세트(source dataset)를 이용하는 기본 트레이닝(basic training) 및 소수의 데이터(few-shots)을 이용하는 적응 트레이닝(adapting training)을 이용하여 사전에 학습되는 딥러닝(deep learning) 기반 센싱 모델; 상기 센싱 데이터를 상기 센싱 모델(sensing model)에 입력하여 센싱 결과를 생성하는 마이크로프로세서(microprocessor); 및 상기 센싱 모델을 구현한 프로그램 및 상기 센싱 데이터를 저장하는 메모리를 포함하는 것을 특징으로 하는 모바일 센싱장치를 제공한다.

본 발명의 다른 실시예에 따르면, 모바일(mobile) 센싱장치의 학습방법이 포함하는 각 단계를 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터프로그램을 제공한다.

이상에서 설명한 바와 같이 본 실시예에 따르면, 제한된 모바일 센싱(mobile sensing) 데이터를 효율적으로 사용하기 위한 상황 과제(conditioned task) 생성 방법을 제안하고, 제안된 방법에 따라 생성된 상황 과제를 이용하여 딥러닝(deep learning) 기반 센싱 모델을 메타 러닝(meta learning) 방식으로 트레이닝시키는 모바일 센싱장치 및 방법을 제공함으로써, 소수의 데이터(few-shots)를 이용하여 트레이닝되지 않은 상황(untrained conditions)에 적응하는 것이 가능해지는 효과가 있다.

또한 본 실시예에 따르면, 딥러닝(deep learning) 기반 센싱 모델을 메타 러닝(meta learning) 방식으로 트레이닝시키는 모바일 센싱장치 및 방법을 제공함으로써, 다양한 디바이스 및 사용자로부터 파생될 수 있는 개별적 상황(individual condition)에 대한 효율적인 대처가 가능해지는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 모바일 센싱장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 센싱 모델의 학습에 대한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 센싱 모델의 학습방법에 대한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 상황 과제 생성 과정의 개념도이다.

이하, 본 발명의 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 실시예들의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 본 실시예들의 구성요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.

본 실시예는 소수의 데이터를 이용하여 트레이닝되지 않은 상황에 적응하는 모바일 센싱장치 및 방법에 대한 내용을 개시한다. 보다 자세하게는, 제한된 모바일 센싱(mobile sensing) 데이터를 효율적으로 사용하기 위한 상황 과제(conditioned task) 생성 방법을 제안하고, 제안된 방법에 따라 생성된 상황 과제를 이용하여 딥러닝(deep learning) 기반 센싱 모델을 메타 러닝(meta learning) 방식으로 트레이닝시키는 모바일 센싱장치 및 방법을 제공한다.

메타 러닝(meta learning, 'learning to learn'으로도 알려짐)은 트레이닝 과정에서 접하지 않았던 상황에 신속하게 적응할 수 있도록 딥러닝 모델을 트레이닝시키는 방법 중 하나이다(비특허문헌 1 참조). 메타 러닝의 트레이닝되지 않은 상황에 대한 신속한 적응 방법을 기반으로, 본 실시예는 모바일 센싱 모델이 접하는 다양한 개별적 상황(individual conditions)에 대한 대처가 가능한 모바일 센싱장치 및 방법을 제공한다.

본 실시예에 따른 모바일 센싱장치는 모바일 디바이스 상에 구현되는 것으로 가정한다.

학습용 데이터의 크기를 규정하는 샷(shot)은 하나의 레이블(label) 당 주어진 학습용 데이터의 개수를 의미한다. 이하 적은 샷(few-shot) 또는 소수의 데이터라는 표현은 레이블 당 주어진 학습용 데이터의 개수가 매우 적은(예컨대, 1 또는 2 개) 경우를 나타낸다.

도 1은 본 발명의 일 실시예에 따른 모바일 센싱장치의 구성도이다.

본 발명의 실시예에 있어서, 모바일 센싱장치(100)는 모바일 센서(mobile sensors)로부터 센싱 데이터를 획득하고, 획득된 센싱 데이터를 딥러닝(deep learning) 기반 센싱 모델(sensing model)에 입력하여 센싱 결과를 생성한다. 모바일 센싱장치(100)는 H(H는 자연수) 개의 입력부 및 H 개의 센싱 모델의 전부 또는 일부를 포함한다. 여기서, 본 실시예에 따른 모바일 센싱장치(100)에 포함되는 구성요소가 반드시 이에 한정되는 것은 아니다. 예컨대, 모바일 센싱장치(100) 상에 각 센싱 모델의 트레이닝을 위한 트레이닝부(미도시)를 추가로 구비하거나, 외부의 트레이닝부와 연동되는 형태로 구현될 수 있다.

본 실시예에서는, 하나의 응용 영역에 대하여 하나의 센싱 모델이 존재하는 것으로 가정한다. 여기서, 응용 영역(application area)은 인간 행동 인식, 음성 인식, 복합 운동 인식, 디바이스 무관 인증, 수화 인식, 감정 상태 예측 등을 포함하는 여러 분야 중의 하나일 수 있다. 따라서, 모바일 센싱장치(100)가 탑재되는 모바일 디바이스가 다수의 응용 영역을 지원하는 경우, 도 1에 도시된 바와 같이 모바일 센싱장치(100)는 다수의 센싱 모델을 포함할 수 있다. 각 입력부가 센싱 데이터를 제공하는 개념 및 각 센싱 모델의 동작 개념은 유사하므로, 이하 하나의 입력부(101) 및 하나의 센싱 모델(102)을 예로 들어 설명한다.

입력부(101)는 모바일 센서(mobile sensors)로부터 센싱 데이터를 획득한다. 모바일 센서는 모바일 디바이스 외부의 자극(stimulus)로부터 응용 영역에 부합하는 센싱 데이터를 생성한다. 예컨대, 행동 인식 센서는 인간의 행동으로부터 x, y, z 축 방향의 가속도 형태로 센싱 데이터를 생성하거나, 음성 인식 센서는 음성을 인식하여, 시간 축 상의 센싱 데이터를 생성할 수 있다.

센싱 모델(102)은 센싱 데이터를 이용하여 센싱 결과를 생성한다. 예컨대, 행동 인식 센서로부터 획득된 센싱 데이터에 대하여, 센싱 결과는 구별된 동작(motions)이고, 음성 인지 센서가 획득한 센싱 데이터에 대하여, 센싱 결과는 인식된 키워드(keywords)일 수 있다.

본 실시예에 따른 센싱 모델(102)은 딥러닝 기반의 신경회로망(neural networks)으로 구현되되, 다양한 모바일 디바이스 및 다양한 사용자의 조합에 기인하는 개별적 상황에 대한 대처가 가능하도록 메타 러닝을 기반으로 사전에 트레이닝된다.

도 2에 도시된 바와 같이, 센싱 모델(102)의 학습은 기본 트레이닝(basic training) 및 적응 트레이닝(adapting training)의 두 단계로 구성된다.

센싱 모델(102)에 대한 기본 트레이닝은 메타 러닝 개념을 이용한다. 트레이닝부는 학습용 센싱 데이터인 소스 데이터세트(source dataset)에 포함된 N(N은 자연수) 개의 부데이터세트(sub-dataset)로부터 복수의 상황 과제(conditioned tasks)를 생성한다. 전술한 바와 같이 하나의 센싱 모델(102)에 대한 학습용 센싱 데이터는 하나의 응용 영역에 대한 데이터이다. 소스 데이터세트가 복수의 부집합을 포함하는 것은, 다양한 개별적 상황을 흉내(mimic)내기 위함이다.

트레이닝부는 생성된 과제를 기반으로 메타 러닝을 이용하여 센싱 모델(102)의 파라미터(parameters)를 업데이트한다. 트레이닝부는 복수의 상황 과제를 이용하여 센싱 모델(102)이 추론한 값과 레이블 간의 거리 메트릭(distance metric)에 기반으로 센싱 모델(102)의 파라미터를 업데이트한다. 여기서 거리 메트릭은 크로스 엔트로피(cross entropy), L1 또는 L2 메트릭 등, 두 비교 대상 간의 메트릭 차이를 표현할 수 있는 것이면 어느 것이든 이용이 가능하다.

모바일 디바이스를 사용하는 사용자에게 최종적으로 적응시키기 위하여, 사용자에 특화된 소수의 데이터(few-shots)를 획득하여 타겟 데이터세트(target dataset)를 생성한 후, 트레이닝부는 소수의 데이터를 이용하여 기본 트레이닝된 센싱 모델(102)을 적응 트레이닝시킨다. 트레이닝부는 소수의 데이터를 이용하여 센싱 모델(102)이 추론한 값과 레이블 간의 거리 메트릭(distance metric)에 기반하여 센싱 모델(102)의 파라미터를 업데이트한다.

모바일 센싱장치(100)는 짧은 시간 구간(short time interval)을 이용하여, 적응 트레이닝에 사용하기 위한 소수의 데이터를 모바일 센서로부터 획득한 후, 레이블을 부착하여 타겟 데이터세트를 생성할 수 있다.

센싱 모델(102)에 대한 기본 트레이닝 및 적응 트레이닝에 대한 자세한 사항은 추후에 설명하기로 한다.

도 1의 도시는 본 실시예에 따른 예시적인 구성이며, 모바일 센서 및 센싱 모델(102)의 형태에 따라 다른 구성요소 또는 구성요소 간의 다른 연결을 포함하는 구현이 가능하다.

본 실시예에 따른 모바일 센싱장치(100)가 탑재되는 모바일 디바이스는 다양한 모바일 센서를 이용하여 센싱 데이터를 획득하는 것이 가능한 어느 기기든 될 수 있다. 모바일 디바이스는 프로그램가능 컴퓨터일 수 있으며, 센싱 모델(102)을 구현한 프로그램 및 센싱 데이터를 저장하는 메모리, 프로그램을 실행하는 마이크로프로세서(microprocessor) 및 서버와 연결이 가능한 적어도 한 개의 통신 인터페이스를 포함한다.

전술한 바와 같은 센싱 모델(102)에 대한 적응 트레이닝은, 모바일 센싱장치(100)가 탑재되는 모바일 디바이스의 컴퓨팅 파워를 이용하여 모바일 디바이스에서 진행될 수 있다.

전술한 바와 같은 센싱 모델(102)에 대한, 메타 러닝에 기반하는 기본 트레이닝은 서버에서 진행될 수 있다. 모바일 디바이스 상에 탑재된 모바일 센싱장치(100)의 구성요소인 센싱 모델(102)과 동일한 구조의 딥러닝 모델에 대하여 서버의 트레이닝부는 메타 러닝에 기반하는 기본 트레이닝을 수행할 수 있다. 모바일 디바이스와 연결되는 통신 인터페이스를 이용하여 서버는 트레이닝된 딥러닝 모델의 파라미터를 모바일 디바이스로 전달하고, 전달받은 파라미터를 이용하여 모바일 센싱장치(100)는 센싱 모델(102)의 파라미터를 업데이트할 수 있다. 또한 모바일 디바이스의 출하 시점 또는 모바일 센싱장치(100)가 모바일 디바이스에 탑재되는 시점에, 센싱 모델(102)의 파라미터가 설정될 수 있다.

이하 도 3 및 도 4를 참조하여, 메타 러닝에 기반하는, 센싱 모델에 대한 트레이닝 방법을 설명하기로 한다.

도 3은 본 발명의 일 실시예에 따른 센싱 모델의 학습방법에 대한 순서도이다. 도 3의 (a)는 센싱 모델의 학습방법에 대한 전체적인 과정이고, 도 3의 (b)는 상황 과제 생성(단계 S301)에 대한 상세한 과정이며, 도 3의 (c)는 기본 트레이닝(단계 S302)에 대한 상세한 과정이다. 도 4는 본 발명의 일 실시예에 따른 상황 과제 생성 과정의 개념도이다.

본 실시예에 따른 트레이닝부는 소스 데이터세트를 이용하여 학습용 상황 과제를 생성한다(S301).

소스 테이터세트 D는 데이터 쌍

를 포함하는데, 여기서

는 사전에 수집된 센싱 데이터이고,

는

에 대응되는 레이블이다. 소스 테이터세트 D는 M(M은 자연수) 개의 레이블을 포함하는 것으로 가정한다. 소스 테이터세트 D에 포함된 데이터 쌍의 수는 트레이닝을 실행하기에 충분할 정도로 많다고 가정한다. 센싱 모델(102)의 파라미터를

라 할 때, 센싱 데이터

에 대하여 센싱 결과는

로 표현한다.

소스 테이터세트 D는 C(C는 자연수) 개의 개별적 상황에 대한 센싱 데이터를 포함하는 것으로 가정한다. 각 개별적 상황에 대한 센싱 데이터를 포함하는 부집합

를 ICD(individual condition dataset)라 하고, 수학식 1에 표현된 바와 같은 관계를 만족하는 것으로 가정한다.

여기서, i 및 j는 서로 다른 자연수이고,

를 만족한다. 소스 테이터세트 D가 M 개의 레이블을 보유하는 경우, 각 ICD도 M 개의 레이블에 대한 센싱 데이터를 포함하는 것으로 가정한다.

트레이닝부는 소스 데이터세트 D를 이용하여 학습용 상황 과제

의 집합 T

를 생성한다.

먼저, 트레이닝부는 소스 데이터세트가 포함하는 ICD를 이용하여 단일 상황 과제(per-condition tasks)를 생성한다(S311). 도 4에 도시된 바와 같이, 트레이닝부는 각 ICD

별로 단일 상황 과제

를 생성하되, 각 상황 과제는 M 개의 레이블을 보유하도록 한다. 생성된 단일 상황 과제는 C 개이다. 단일 상황 과제는, 모바일 디바이스가 사용자에게 전달되었을 때, 센싱 모델(102)이 당면하게 되는 미출현 상황을 반영하기 위하여 생성된다.

또한, 트레이닝부는 ICD를 이용하여 다중 상황 과제(multi-conditioned tasks)를 생성한다(S312). 생성된 단일 상황 과제는 C 개이다. 도 4에 도시된 바와 같이, 트레이닝부는 하나의 다중 상황 과제에 대하여, M 개의 레이블 각각에 해당하는 센싱 데이터를 임의의 ICD로부터 추출한다. 다중 상황 과제는, 단일 상황 과제 대비하여 더 다양한 상황을 반영하고 및 단일 상황 과제가 파생할 수 있는 오버피팅을 피하기 위하여 생성된다.

본 실시예에 따른 트레이닝부는, 단일 상황 과제 및 다중 상황 과제 각각에 대하여, 레이블에 대한 일관성(consistency)을 유지한다. 즉 각 과제는 M 개의 레이블을 보유하여 과제 간 균질성(homogeneity)을 유지하는데, 이는 종래의 메타 러닝 방법(비특허문헌 1, 3 참조)과 차별화되는 점이다. 종래의 기술은, 동일한 레이블을 보유하지 않을 수도 있는 임의의 과제에 대한 적응에 목표를 두었다. 반면, 본 실시예는 과제의 데이터 분포가 다르더라도, 레이블은 동일할 수 있는 소스 및 타겟 데이터세트에 대한 메타 러닝이므로, 상황 과제 생성 시에 일관된 레이블을 유지할 수 있다.

소스 데이터세트를 수집하는 하는 과정에서 ICD의 데이터 분포 간에는 불균형이 존재할 수 있다. ICD로부터 균일하게(uniformly) 데이터를 샘플링하여 상황 과제를 생성함으로써, ICD 데이터 분포 간의 불균형이 감소된, 편향적이지 않은(unbiased) 데이터를 생성하는 것이 가능해지는 효과가 있다.

트레이닝부가 생성한 단일 상황 과제 및 다중 상황 과제의 전체 개수는 2C 개이다. 도 4의 도시는, ICD 5 개를 포함한 소스 데이터세트에 대하여, 단일 상황 과제 및 다중 상황 과제가 각각 5 개씩 생성되는 과정을 나타낸다.

상황 과제의 개수가 많을수록, 센싱 모델(102)은 기본 트레이닝 과정에서 더 다양한 상황을 반영하는 것이 가능하므로, 모바일 센싱장치(100)의 성능 향상에 도움을 줄 수 있다. 그러나, 상황 과제의 개수를 증가시키는 경우, 소스 데이터세트의 수집에 따른 시간 및 비용이 증가할 수 있으므로, 균형을 유지하는 것이 필요하다.

트레이닝부는 상황 과제를 이용하여 센싱 모델에 대한 기본 트레이닝을 실행한다(S302). 상황 과제를 이용하여 메타 러닝을 기반으로 트레이닝부는 센싱 모델(102)의 파라미터를 업데이트한다.

본 실시예에서는, MAML(Model-Agnostic Meta Learning, 비특허문헌 1 참조)에 기반하는 메타 러닝 방법이 이용된다. MAML에 따른 유용한 가정은, 소수의 데이터만을 보유한 타겟 과제 측으로 전이가능한(transferable) 초기 파라미터가 존재한다는 것이다. 따라서, 본 실시예에서도, MAML 기반의 기본 트레이닝을 이용하여 적응 트레이닝에 필수적인 센싱 모델의 파라미터를 생성한다.

각 상황 과제

에 대하여, 트레이닝부는 지원 집합(support sets) 및 문의 집합(query sets)을 추출한다(S321). 지원 집합

는 센싱 모델(102)을 트레이닝하여, 과제 특화된(task specific) 파라미터를 생성하기 위하여 사용되고, 문의 집합

는 과제 특화된 파라미터가 설정된 센싱 모델(102)을 트레이닝하기 위하여 사용된다. 지원 집합과 문의 집합은 서로 겹치지지 않도록 추출되는 것으로 가정한다.

지원 집합 및 문의 집합 각각은 K 개의 샷을 포함하는데, K는 이후에 적응 트레이닝에 사용되는 샷의 개수와 동일할 수 있다. 본 실시예에서는 K를 매우 작은 값으로 유지함으로써, 소스 데이터세트를 수집하는데 소모되는 시간 및 비용을 줄일 수 있다.

모바일 센싱은 다중 레이블에 대한 분류(classification)이므로, 각 지원 집합

에 대하여, 트레이닝부는 과제 특화된 손실 함수(loss function)를 생성한다(S322). 과제 특화된 손실 함수는 수학식 2에 나타낸 바와 같다.

여기서 손실 함수는 거리 메트릭으로서 크로스 엔트로피(cross-entropy)를 이용하고 있으나, L1, L2 메트릭 등, 두 비교 대상 간의 메트릭 차이를 표현할 수 있는 것이면 어느 것이든 이용이 가능하다.

트레이닝부는 과제 특화된 손실 함수를 기반으로 센싱 모델의 파라미터를 업데이트하여 과제 특화된 파라미터를 생성한다(S323). 센싱 모델(102)의 파라미터에 대한 업데이트는 수학식 3에 나타낸 바를 따른다.

여기서,

는 하이퍼파라미터(hyper-parameter)로서, 큰 값으로 설정되어(예컨대, 0.1), 수 차례의 파라미터 업데이트만으로

가 생성되도록 한다.

트레이닝부는 과제 특화된 파라미터 및 문의 집합

을 이용하여 메타 손실 함수(meta loss function)를 생성한다(S324). 메타 손실 함수는 수학식 4에 나타낸 바와 같다.

여기서,

는 수학식 2에 나타낸 바와 동일한 손실 함수이며, 인자로서

를 사용한다.

트레이닝부는 메타 손실 함수를 최소화하는 방향으로 센싱 모델의 파라미터를 업데이트한다(S325). 센싱 모델(102)의 파라미터에 대한 업데이트는 수학식 5에 나타낸 바를 따른다.

여기서,

는 하이퍼파라미터이다. 수학식 4 및 수학식 5를 이용하여, 트레이닝부는 각 문의 과제에 대한 평균적인 손실을 최소화할 수 있는 파라미터를 생성한다. 수학식 2부터 수학식 5까지 나타낸 바와 같이, 두 단계를 이용하여 생성된 파라미터를 초기값으로 이용하는 센싱 모델(102)은 추후 빠르게 새로운 상황에 적응할 수 있게 된다.

트레이닝부는 소수의 데이터를 획득하여 타겟 데이터세트를 생성한다(S303). 모바일 센서를 이용하여 짧은 시간 구간 동안, 트레이닝부는 적응 트레이닝에 사용하기 위한 소수의 데이터를 사용자로부터 획득한 후, 레이블을 부착하여 타겟 데이터세트 U를 생성한다. 타겟 데이터세트는 M 개의 레이블을 포함하고, 데이터를 획득하는 시간에 의존하는 소수의 샷을 포함할 수 있다. 또한 소스 데이터세트 D에 대하여,

를 만족한다.

트레이닝부는 타겟 데이터세트를 이용하여 센싱 모델에 대한 적응 트레이닝을 실행한다(S304).

기본 트레이닝 후의 파라미터를

로 표기하고, 센싱 모델(102)의 초기값으로 이용하면, 센싱 모델(102)은

로 표현될 수 있다. 이러한 과정은 기본 트레이닝되는 모델과 적응 트레이닝되는 모델이 서로 다른 모델일 경우, 기본 트레이닝된 모델의 파라미터

가 적응 트레이닝을 위한 모델로 전이(transfer)되는 것으로도 볼 수 있다.

트레이닝부는 타겟 데이터세트 U를 이용하여 센싱 모델(102)이 추론한 값과 레이블 간의 거리 메트릭을 기반으로, 수학식 6에 나타낸 바와 같이 센싱 모델(102)의 파라미터를 업데이트한다. 거리 메트릭은 크로스 엔트로피, L1, L2 메트릭 등, 두 비교 대상 간의 메트릭 차이를 표현할 수 있는 것이면 어느 것이든 이용이 가능하다.

여기서

는 수학식 3에서와 동일한 값이 사용될 수 있다.

가 큰 값으로 설정되므로, 수학식 6에 따른 적응 트레이닝이 신속하게 진행될 수 있다.

이하, 본 실시예에 따른 모바일 센싱장치(100)의 성능에 대한 실험예를 설명하기로 한다.

다양한 개별적 상황을 반영하기 위하여 10 명의 사용자가 사용하는 스마트 디바이스를 이용하여 실험을 위한 데이터세트가 수집되었다. 10 개의 스마트 디바이스는 7 개의 스마트폰 및 3 개의 웨어러블 디바이스를 포함하며, 각각 다른 OS(Operating System) 버전(version)을 지녔다.

실험에서는 모바일 센서로서 IMU(Inertial Measurement Unit) 및 음성인식 센서를 이용하였다. IMU는 사용자의 행동을 인식하고, 음성인식 센서는 사용자의 음성을 인식한다. 실험에 이용된 사용자의 행동에 대한 레이블은 9 가지의 행동이고, 음성에 대한 레이블은 14 개의 단어이다.

비교 대상으로는 다음과 같은 여섯 개의 베이스라인(baselines)을 이용하였다.

베이스라인 Src(source only)에는, 소스 데이터세트를 이용하는 기본 트레이닝만이 실행되고, 적응 트레이닝이 실행되지 않았다.

베이스라인 Tgt(target only)에는, 타겟 사용자로 획득된 소수의 데이터(few-shots)를 이용하는 트레이닝이 실행되었다.

베이스라인 Src+Tgt(source plus target)에는, 소스 데이터세트 및 타겟 사용자로 획득된 소수의 데이터를 모두 이용하는 트레이닝이 실행되었다.

베이스라인 Trc(Transfer Convolutional, 비특허문헌 2 참조)는 소수의 데이터 샘플을 이용하여 모바일 센서에 의한 타겟 사용자의 행동 인식에 적응하는 SOTA(State-of-the Art) 전이 학습(transfer learning) 방법이다. Trc에서는, 트레이닝된 CNN(Convolutional Neural Network)에 포함된 콘볼루션 레이어는 고정된 채로, 소수의 데이터를 이용하여 최종단의 전연결 레이어(fully connected layers)만이 적응 트레이닝된다.

베이스라인 PN(Prototypical Network, 비특허문헌 3 참조)은 메타 러닝에 기반하여 소수의 데이터를 이용하는 학습 방법이다. PN에서는, 트레이닝 과정에서 다수의 레이블에 해당되는 프로토타입(prototypes)이 생성된다. PN의 추론 과정에서는, 거리 메트릭을 이용하여 가장 근사한 프로토타입이 분류된다.

베이스라인 MAML(비특허문헌 1 참조)은 본 실시예에서, 기본 트레이닝의 기반으로 이용한 방법으로서, 역시 메타 러닝에 기반하여 소수의 데이터를 이용하는 학습 방법이다. MAML과 비교하여, 본 실시예에 따른 모바일 센싱장치(100)의 중요한 특징으로는 기본 트레이닝을 위한 상황 과제의 생성 및 이용을 들 수 있다.

공정한 비교를 위하여, 베이스라인 및 본 실시예는 모두 CNN을 이용하여 구현되었다. 구현된 CNN은 다섯 개의 CNN 레이어 및 세 개의 전 연결 레이어를 포함한다. 기본 트레이닝에 사용되는 샷의 크기 K는 5로 설정되었다.

실험에서는, 하나의 타겟 사용자가 선정된 후, 다른 사용자에 대한 데이터는 소스 데이터세트로 이용되었다. 10 명의 사용자에 대한 데이터세트가 수집되었으므로, 총 10 번의 실험이 실행된 후, 각 실험 결과를 이용하여 평균 정확도가 산정되었다.

표 1 및 표 2는 6 개의 베이스라인 및 본 실시예에 대한 평균 정확도를 나타낸다. 표 1은 9 가지 행동 인식에 대한 평균 정확도이고, 표 2는 14 개의 음성 인식에 대한 평균 정확도이다. 표 1 및 표 2에 나타낸 바와 같이, 적응 트레이닝에 사용되는 소수의 샷의 크기 K가 1, 2, 5, 10에 대하여 평균 정확도가 산정되었다.

표 1 및 표 2에 나타낸 바와 같이, 본 실시예에 따른 모바일 센싱장치(100)가, 샷의 개수와 무관하게 모든 베이스라인 대비하여 우월한 정확도를 보였다. 특히, 1 샷만을 이용하는 행동 인식의 경우, 본 실시예는 베이스라인 Src 대비 39 %, 베이스라인 Trc 대비하여 15 %의 정확도 향상을 보였고, 소수의 데이터를 이용하는 베이스라인 PN 및 MAML과 비교하여도 더 높은 정확도를 보였다.

또한, 1 샷만을 이용하는 음성 인식의 경우, 본 실시예는 베이스라인 Tgt 대비 44 %, 베이스라인 Trc 대비하여 38 %의 정확도 향상을 보였고, 소수의 데이터를 이용하는 베이스라인 PN 및 MAML 대비하여 33 % 이상 향상된 정확도를 보였다. 행동 인식 및 음성 인식 모두에 대하여, 샷의 수가 증가하면, 본 실시예와 6 개의 베이스라인 간의 성능 간격이 감소함을 보였다. 즉, 소수의 데이터를 이용하는 적응 트레이닝만으로도 본 실시예가 베이스라인 대비하여 우수한 성능을 보였다. 따라서, 적응 트레이닝에 사용하기 위한 소수의 데이터를 사용자로부터 획득하기 위한 시간 구간이 매우 짧을 경우에도, 본 실시예가 효율적으로 이용될 수 있음을 확인하였다.

이상에서 설명한 바와 같이 본 실시예에 따르면, 제한된 모바일 센싱(mobile sensing) 데이터를 효율적으로 사용하기 위한 상황 과제(conditioned task) 생성 방법을 제안하고, 제안된 방법에 따라 생성된 상황 과제를 이용하여 딥러닝(deep learning) 기반 센싱 모델을 메타 러닝(meta learning) 방식으로 트레이닝시키는 모바일 센싱장치 및 방법을 제공함으로써, 소수의 데이터(few-shots)를 이용하여 트레이닝되지 않은 상황(untrained conditions)에 적응하는 것이 가능해지는 효과가 있다.

또한 본 실시예에 따르면, 딥러닝(deep learning) 기반 센싱 모델을 메타 러닝(meta learning) 방식으로 트레이닝시키는 모바일 센싱장치 및 방법을 제공함으로써, 다양한 디바이스 및 사용자로부터 파생될 수 있는 개별적 상황(individual conditions)에 대한 효율적인 대처가 가능해지는 효과가 있다.

본 실시예에 따른 각 순서도에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 순서도에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것이 적용 가능할 것이므로, 순서도는 시계열적인 순서로 한정되는 것은 아니다.

본 명세서에 설명되는 시스템들 및 기법들의 다양한 구현예들은, 디지털 전자 회로, 집적 회로, FPGA(field programmable gate array), ASIC(application specific integrated circuit), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현예들은 프로그래밍가능 시스템 상에서 실행가능한 하나 이상의 컴퓨터 프로그램들로 구현되는 것을 포함할 수 있다. 프로그래밍가능 시스템은, 저장 시스템, 적어도 하나의 입력 디바이스, 그리고 적어도 하나의 출력 디바이스로부터 데이터 및 명령들을 수신하고 이들에게 데이터 및 명령들을 전송하도록 결합되는 적어도 하나의 프로그래밍가능 프로세서(이것은 특수 목적 프로세서일 수 있거나 혹은 범용 프로세서일 수 있음)를 포함한다. 컴퓨터 프로그램들(이것은 또한 프로그램들, 소프트웨어, 소프트웨어 애플리케이션들 혹은 코드로서 알려져 있음)은 프로그래밍가능 프로세서에 대한 명령어들을 포함하며 "컴퓨터가 읽을 수 있는　기록매체"에 저장된다.

컴퓨터가 읽을 수 있는　기록매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는　기록매체는 ROM, CD-ROM, 자기 테이프, 플로피디스크, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등의 비휘발성(non-volatile) 또는 비일시적인(non-transitory) 매체일 수 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송) 및 데이터 전송 매체(data transmission medium)와 같은 일시적인(transitory) 매체를 더 포함할 수도 있다. 또한 컴퓨터가 읽을 수 있는　기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다.

본 명세서에 설명되는 시스템들 및 기법들의 다양한 구현예들은, 프로그램가능 컴퓨터에 의하여 구현될 수 있다. 여기서, 컴퓨터는 프로그램가능 프로세서, 데이터 저장 시스템(휘발성 메모리, 비휘발성 메모리, 또는 다른 종류의 저장 시스템이거나 이들의 조합을 포함함) 및 적어도 한 개의 커뮤니케이션 인터페이스를 포함한다. 예컨대, 프로그램가능 컴퓨터는 서버, 네트워크 기기, 셋탑 박스, 내장형 장치, 컴퓨터 확장 모듈, 개인용 컴퓨터, 랩탑, PDA(Personal Data Assistant), 클라우드 컴퓨팅 시스템 또는 모바일 장치 중 하나일 수 있다.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 모바일 센싱장치 101: 입력부
102: 센싱 모델

Claims (15)

1. 모바일(mobile) 센싱장치의 학습방법에 있어서,
   소스 데이터세트(source dataset)를 이용하여 복수의 학습용 상황 과제(conditioned tasks)를 생성하는 과정;
   상기 복수의 상황 과제를 이용하여 딥러닝(deep learning) 기반 센싱 모델(sensing model)에 대한 기본 트레이닝(basic training)을 실행하는 과정;
   소수의 데이터(few shots)를 획득하고, 상기 소수의 데이터를 이용하여 타겟 데이터세트(target dataset)를 생성하는 과정; 및
   상기 타겟 데이터세트를 이용하여 상기 기본 트레이닝이 실행된 센싱 모델에 대한 적응 트레이닝(adapting training)을 실행하는 과정
   을 포함하되,
   상기 소스 데이터세트는,
   복수의 개별적 상황 데이터세트(ICD: individual condition datasets)를 포함하되, 각 ICD는 단일 센서에 의해 생성된 데이터이고 사전에 수집되며,
   상기 상황 과제를 생성하는 과정은,
   상기 복수의 ICD로부터 적어도 하나의 단일 상황 과제(per-condition task) 및 적어도 하나의 다중 상황 과제(multi-conditioned task)를 생성하며,
   상기 복수의 학습용 상황 과제 각각, 및 상기 소수의 데이터는,
   상기 소스 데이터와 레이블(labels)의 균질성(homogeneity)을 유지하는 것을 특징으로 하는, 컴퓨터 상에 구현되는 학습방법.
2. 삭제
3. 삭제
4. 제1항에 있어서,
   상기 상황 과제를 생성하는 과정은,
   상기 복수의 ICD 중 하나의 ICD로부터 임의로 데이터를 선택하여 상기 단일 상황 과제를 생성하고, 상기 복수의 ICD 전체로부터 임의로 데이터를 선택하여 상기 다중 상황 과제를 생성하는 것을 특징으로 하는, 컴퓨터 상에 구현되는 학습방법.
5. 제1항에 있어서,
   상기 상황 과제를 생성하는 과정은,
   상기 소스 데이터세트가 포함하는 레이블의 개수와 동일한 개수의 레이블을 포함하도록 상기 단일 상황 과제 및 상기 다중 상황 과제 각각을 생성함으로써, 상기 레이블의 균질성을 유지하는 것을 특징으로 하는, 컴퓨터 상에 구현되는 학습방법.
6. 제5항에 있어서,
   상기 기본 트레이닝을 실행하는 과정은,
   상기 상황 과제 각각에 대하여, 상기 센싱 모델이 추론한 값과 상기 레이블 간의 거리 메트릭을 기반으로 상기 센싱 모델의 파라미터를 업데이트하여 과제 특화된(task specific) 파라미터를 생성하는 것을 특징으로 하는, 컴퓨터 상에 구현되는 학습방법.
7. 제6항에 있어서,
   상기 기본 트레이닝을 실행하는 과정은,
   상기 과제 특화된(task specific) 파라미터가 설정된 센싱 모델에 대하여, 상기 상황 과제 전체를 이용하여, 상기 센싱 모델이 추론한 값과 상기 레이블 간의 거리 메트릭에 기반하는 손실 함수(loss function) 값을 최소화하는 방향으로 상기 센싱 모델의 파라미터를 업데이트하는 것을 특징으로 하는, 컴퓨터 상에 구현되는 학습방법.
8. 제1항에 있어서,
   상기 타겟 데이터세트를 생성하는 과정은,
   짧은 시간 구간(short time interval)을 이용하여, 상기 소수의 데이터를 모바일 센서(mobile sensors)로부터 획득한 후, 상기 소수의 데이터에 상기 레이블을 부착하는 것을 특징으로 하는, 컴퓨터 상에 구현되는 학습방법.
9. 제8항에 있어서,
   상기 적응 트레이닝을 실행하는 과정은,
   상기 기본 트레이닝에 따른 파라미터를 상기 센싱 모델의 초기 파라미터로 설정하고, 상기 타겟 데이터세트를 이용하여, 상기 센싱 모델이 추론한 값과 상기 레이블 간의 거리 메트릭을 기반으로 상기 센싱 모델의 파라미터를 업데이트하는 것을 특징으로 하는, 컴퓨터 상에 구현되는 학습방법.
10. 모바일 디바이스(mobile device)에 탑재되는 모바일 센싱장치에 있어서,
    모바일 센서(mobile sensor)로부터 센싱 데이터를 획득하는 입력부;
    소스 데이터세트(source dataset)로부터 생성된 복수의 학습용 상황 과제(conditioned tasks)를 이용하는 기본 트레이닝(basic training) 및 소수의 데이터(few-shots)을 이용하는 적응 트레이닝(adapting training)을 이용하여 사전에 학습되는 딥러닝(deep learning) 기반 센싱 모델;
    상기 센싱 데이터를 상기 센싱 모델(sensing model)에 입력하여 센싱 결과를 생성하는 마이크로프로세서(microprocessor); 및
    상기 센싱 모델을 구현한 프로그램 및 상기 센싱 데이터를 저장하는 메모리
    를 포함하되,
    상기 소스 데이터세트는,
    복수의 개별적 상황 데이터세트(ICD: individual condition datasets)를 포함하되, 각 ICD는 단일 센서에 의해 생성된 데이터이고 사전에 수집되며,
    상기 복수의 학습용 상황 과제는,
    상기 복수의 ICD로부터 생성된 적어도 하나의 단일 상황 과제(per-condition task) 및 적어도 하나의 다중 상황 과제(multi-conditioned task)를 포함하며,
    상기 복수의 학습용 상황 과제 각각, 및 상기 소수의 데이터는,
    상기 소스 데이터와 레이블(labels)의 균질성(homogeneity)을 유지하는 것을 특징으로 하는 모바일 센싱장치.
11. 제10항에 있어서,
    서버와 연결되는 적어도 하나의 통신 인터페이스를 더 포함하는 것을 특징으로 하는 모바일 센싱장치.
12. 제11항에 있어서,
    상기 기본 트레이닝은 상기 센싱 모델과 동일한 구조의 딥러닝 모델을 이용하여 상기 서버에서 실행되고, 상기 적응 트레이닝은 상기 모바일 디바이스에서 실행되는 것을 특징으로 하는 모바일 센싱장치.
13. 제12항에 있어서
    상기 통신 인터페이스를 이용하여 상기 서버로부터 상기 딥러닝 모델의 파라미터를 전달받는 것을 특징으로 하는 모바일 센싱장치.
14. 제10항에 있어서,
    상기 마이크로프로세서는,
    상기 센싱 데이터를 기반으로 상기 프로그램을 실행하여 상기 센싱 결과를 생성하는 것을 특징으로 하는 모바일 센싱장치.
15. 제1항, 또는 제4항 내지 제9항 중 어느 한 항에 따른 모바일(mobile) 센싱장치의 학습방법이 포함하는 각 단계를 실행시키기 위하여 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터프로그램.
    

Images