KR102472436B1 - 분리 가능한 전이 학습 기반의 인공 신경망을 이용하는 스마트 디바이스 센싱 데이터의 패턴 인식을 제공하는 시스템 및 방법 - Google Patents

Abstract

머신 러닝 기반의 인공지능을 이용하여 스마트 디바이스 센싱 데이터의 패턴 인식을 제공하는 컴퓨팅 시스템이 개시된다. 상기 컴퓨팅 시스템은 적어도 하나 이상의 프로세서; 스마트 디바이스의 센싱 데이터를 포함하는 레퍼런스 데이터셋 중에서 선택된 제1 데이터셋에 기반하여 제1 페이즈(phase) 태스크(task)를 사전 훈련(pre-train)하는 제1 인공 신경망; 상기 레퍼런스 데이터셋 중에서 선택된 제2 데이터셋에 기반하여 제2 페이즈(phase)의 태스크(task)를 사전 훈련(pre-train)하는 제2 인공 신경망; 및 상기 레퍼런스 데이터셋 중에서 선택된 타겟 데이터셋에 기반하여 타겟 태스크를 훈련하는 타겟 인공 신경망을 포함하고, 상기 적어도 하나 이상의 프로세서는 상기 제1 인공 신경망의 사전 훈련 후에 상기 제1 인공 신경망의 제1 페이즈 레이어의 파라미터를 상기 타겟 인공 신경망의 제1 페이즈 레이어로 전이하고(transfer), 상기 제2 인공 신경망의 사전 훈련 후에 상기 제2 인공 신경망의 제2 페이즈 레이어의 파라미터를 상기 타겟 인공 신경망의 제2 페이즈 레이어로 전이하고, 상기 제1 인공 신경망의 제1 페이즈 레이어의 파라미터 및 상기 제2 인공 신경망의 제2 페이즈 레이어의 파라미터를 전이한 후 상기 타겟 인공 신경망이 상기 타겟 태스크를 미세 조정(fine-tuning) 훈련 하도록 제어한다.

Description

분리 가능한 전이 학습 기반의 인공 신경망을 이용하는 스마트 디바이스 센싱 데이터의 패턴 인식을 제공하는 시스템 및 방법 {SYSTEM AND METHOD FOR PROVIDING PATTERN RECOGNIZATION OF SMART DEVICE SENSING DATA USING SEPARABLE TRANSFER LEARNING BASED ARTIFICIAL NEURAL NETWORK}

본 발명은 머신 러닝 기반의 인공지능을 이용하여 스마트 디바이스 센싱 데이터의 패턴 인식을 제공하는 시스템 및 방법에 관한 것이다. 구체적으로는 분리 가능한 전이 학습을 실행할 수 있는 계층적 구조를 가지는 인공신경망 기반의 인공지능을 이용하는 스마트 디바이스 센싱 데이터의 패턴 인식을 제공하는 시스템 및 방법에 관한 것이다.

본 발명은 중소벤처기업부 및 창업진흥원의 중소벤처기업부 예비창업패키지사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 10224348, 과제명: 낙상에 따른 고령자의 상해 방지를 위한 스마트 프로텍터 시스템].

최근 널리 보급되는 모바일 디바이스, 스마트 디바이스, 또는 웨어러블 디바이스는 사용자의 건강을 관리하기 위한 헬스케어 관련 정보를 제공하고, 사용자는 스마트 디바이스에 기반하여 자신의 건강 관리에 대한 도움을 받고 있다.

스마트 디바이스는 인간의 생체 신호를 검출하여 건강에 대한 정보를 제공하는 헬스케어 디바이스 뿐만 아니라, 한국특허공개공보 KR 10-2014-0119529 "인체 보호 장치, 그리고 이의 동작 제어 시스템 및 방법"에서처럼 허리에 착용 가능한 웨어러블 에어백으로서, 가속도 센서 또는 각속도 센서가 착용자의 가속도, 또는 각속도를 감지하여 낙상 위험을 감지하고, 착용자가 지면에 충격하기 전에 에어백을 펼치는 디바이스도 존재한다. 이처럼 스마트 디바이스의 적용 분야는 빠르게 넓어지고 있다.

이러한 스마트 디바이스의 센싱 데이터를 분석하는 과정은 패턴 인식 기법을 통하여 이루어지는데, 복잡하고 다양한 패턴을 효과적으로 인식하기 위하여 최근 발전한 인공 신경망(ANN, Artificial Neural Network) 기술이 적용되고 있다. 인공 신경망의 발전은 기존에 기계 학습(machine learning) 기술의 성능을 크게 향상시켰다. 이로 인하여 인공 신경망 기술은 다양한 분야에서 적용될 수 있도록 시도되고 있다.

예를 들어, 영상 내 객체를 분할(segmentation) 또는 검출(detection)하고, 영상 내 객체를 분류(classify)하는 태스크(task) 에 인공 신경망 기술이 적용되어 영상 처리에서 다양한 용도로 활용된다. 예를 들어 의료 영상에서는 영상의 밝기 값 또는 강도 값(intensity)에 기반하여 영상 내 객체를 분할, 검출, 분류하고 이때 객체는 인체의 장기(organ), 병변(lesion)일 수 있다.

영상 처리 과정을 자동화하는 데 있어서 최근 인공 신경망으로서 특히 딥러닝, 컨볼루션 신경망(CNN, Convolutional Neural Network)의 도입은 영상 처리 자동화 프로세스의 성능을 비약적으로 향상시켰다.

인공 신경망의 성능을 향상시키기 위한 방법의 하나로서 전이 학습(transfer learning)이 시도되고 있다. 한국공개특허 KR 10-2020-0000824 "중심 분산 손실 함수를 활용한 딥 러닝 모델 기반의 얼굴 표정 인식 방법", 및 미국공개특허 US 2020/0082210 "Generating and Augmenting Transfer Learning Datasets with Pseudo-Labeled Images" 등에서 전이 학습을 이용하여 인공 신경망의 성능을 향상시키려는 시도가 개시된다.

KR 10-2020-0000824에서는 사전 훈련된(pre-trained) 인공 신경망을 특징 추출기(feature extractor)로 사용하고, 추출한 특징을 이용하여 다른 모델이 학습하도록 훈련시킬 수 있다. 새로운 모델에 대한 훈련은 미세 조정(fine-tuning)으로 불리며, 인공 신경망의 최종적인 성능을 향상시키기 위한 동기에서 도출된다.

US 2020/0082210에서는 CNN을 비지도 학습 pre-training하고, pre-trained CNN의 파라미터를 지도 학습 fine-tuning을 위한 CNN에 transfer 하는 transfer learning 기법을 적용한다.

전이 학습은 단순히 얼굴을 인식하는 태스크에 그치지 않고 얼굴의 표정과 같은 좀 더 복잡한 피쳐(feature)를 추출할 필요가 있을 때에 활용된다고 알려져 있다. 또한 데이터가 균형잡힌 분포(balanced distribution)를 가지지 못하고 불균형 데이터(imbalanced data)를 이용해야 하는 경우에 전이 학습이 활용된다고 알려져 있다.

전이 학습은 인공 신경망의 성능을 향상시킬 수 있는 가능성을 가지고 있지만 전이 학습에 의한 성능 향상의 가능성, 또는 성능 향상의 정도를 예측할 수 없다는 문제가 있어 이에 대한 연구가 필요성이 대두된다.

한국특허공개공보 KR 10-2014-0119529 "인체 보호 장치, 그리고 이의 동작 제어 시스템 및 방법" (공개일 2014.10.10) 한국공개특허 KR 10-2020-0000824 "중심 분산 손실 함수를 활용한 딥 러닝 모델 기반의 얼굴 표정 인식 방법" (공개일 2020.01.03) 미국공개특허 US 2020/0082210 "Generating and Augmenting Transfer Learning Datasets with Pseudo-Labeled Images" (공개일 2020.03.12)

본 발명은 불균형 데이터(imbalanced data)를 이용해야 하는 경우, 또는 학습에 필요한 데이터가 부족한 경우에 적은 데이터를 이용하여 학습하는 경우에도 인공 신경망의 성능을 향상시킬 수 있는 머신 러닝 기반의 인공 신경망 학습/훈련 기법을 제안하는 것을 목적으로 한다.

본 발명은 다양한 응용 분야(의료 영상, 얼굴 인식, 차량 자율주행용 영상 인식, 자연물 영상 인식 등)에 적용될 수 있으며, 다양한 태스크(task)(Classification, Segmentation, Object Detection, Generative Model 등)에 적용될 수 있는 인공 신경망 학습/훈련 기법을 제안하는 것을 목적으로 한다.

또한 본 발명은 이미지 데이터 뿐만 아니라 텍스트 데이터, 또는 센서 데이터에 의한 학습 시에도 적용될 수 있는 인공 신경망 학습/훈련 기법을 제안하는 것을 목적으로 한다.

최근 딥러닝 기반의 인공지능 기법을 적용하여 영상 분할, 영상 내 객체의 검출, 및 분류 기법의 성능을 향상하고자 하는 노력이 계속되고 있다. 그러나 딥러닝 기반 인공지능의 경우, 그 동작으로부터 제공되는 결과물이 우연히 높은 성능을 보이는 것인지, 그 임무(task)에 적절한 판단 과정을 거친 것인 지를 사용자가 알 수 없는 블랙박스(black-box)라는 점이 활용 가능성을 제한하고 있다.

전이 학습을 이용하는 경우에도 인공 신경망의 성능이 향상된다는 연구 결과가 제시되고 있으나, 인공 신경망의 성능을 향상시키기 위한 전이 학습의 적용에 대한 정량화된 가이드라인은 제안되지 못하고 있는 현실이다.

본 발명은 종래의 전이 학습을 이용하는 인공 신경망 학습/훈련의 장점을 활용하되, 분리 가능한 전이 학습(separable transfer learning)을 제안함으로써 인공 신경망의 성능을 향상시키기 위한 전이 학습의 정량화된 가이드라인을 제공하는 것을 또 다른 목적으로 한다.

본 발명은 분리 가능한 전이 학습을 제안함으로써 전이 학습의 정량화된 가이드라인을 제공하기 위한 반복적 훈련 과정의 부하를 줄이는 것을 또 다른 목적으로 한다. 본 발명은 반복되는 과정의 데이터셋을 효과적으로 선별하여 전이 학습의 정량화된 가이드라인을 효과적으로 도출할 수 있도록 유도할 수 있다. 본 발명은 자기 관리 플랫폼에 인공지능 기술이 제공되어, 자기 관리 플랫폼이 효과적으로 자기 관리를 위한 자기 관리 프로세스를 예측할 수 있도록 지원하는 것을 목적으로 한다.

본 발명은 분리 가능한 전이 학습을 스마트 디바이스의 센싱 데이터의 패턴을 인식하는 데에 활용하고, 이를 기반으로 사용자의 현재 상태를 파악하며, 특히 사용자의 긴급한 상태 변화를 조기에 검출하고 이에 적합한 대응을 제공하는 시스템 및 방법을 제안하는 것을 목적으로 한다.

본 발명은 분리 가능한 전이 학습을 스마트 디바이스의 센싱 데이터, 예를 들어 생체 신호로서 ECG(Electrocardiogram), PPG(Photoplethysmogram), GSR, skin temperature, humidity, EEG 신호를 수신하고 그 패턴을 인식하는 시스템 및 방법을 제안하는 것을 목적으로 한다.

본 발명은 분리 가능한 전이 학습을 사용자의 Activity & Motion을 식별하는 용도로 활용하고, 이를 위하여 자이로스코프(gyroscope), 가속도계(accelerometer), 및 고도 센서(altitude sensor), 압력 센서(pressure sensor), 근접 센서(proximity sensor) 등의 데이터의 패턴을 인식하는 시스템 및 방법을 제안하는 것을 목적으로 한다. 본 발명의 패턴 인식 기술은 가상 센서(virtual sensor)로서 회전 센서(rotation sensor), 중력 센서(gravity sensor), 각속도 센서(angular sensor) 등에도 이용될 수 있다.

특히 고령자의 부상 방지를 위한 엉덩이/고관절 보호를 위한 스마트 힙 프로텍션 에어백과 같은 장비의 착용 시에는 사용자의 움직임을 검출하여 낙상 위험을 감지하고 사용자가 지면에 충격하기 전에 효과적으로 에어백을 펼칠 수 있는 분석 기법을 제안하는 것을 목적으로 한다.

본 발명은 상기의 발명의 목적을 달성하기 위한 수단으로 도출된 것으로서, 본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능을 이용하는 컴퓨팅 시스템은 적어도 하나 이상의 프로세서; 스마트 디바이스의 센싱 데이터를 포함하는 레퍼런스 데이터셋 중에서 선택된 제1 데이터셋에 기반하여 제1 페이즈(phase) 태스크(task)를 사전 훈련(pre-train)하는 제1 인공 신경망; 상기 레퍼런스 데이터셋 중에서 선택된 제2 데이터셋에 기반하여 제2 페이즈(phase)의 태스크(task)를 사전 훈련(pre-train)하는 제2 인공 신경망; 및 상기 레퍼런스 데이터셋 중에서 선택된 타겟 데이터셋에 기반하여 타겟 태스크를 훈련하는 타겟 인공 신경망을 포함한다.

상기 적어도 하나 이상의 프로세서는 상기 제1 인공 신경망의 사전 훈련 후에 상기 제1 인공 신경망의 제1 페이즈 레이어의 파라미터를 상기 타겟 인공 신경망의 제1 페이즈 레이어로 전이하고(transfer), 상기 제2 인공 신경망의 사전 훈련 후에 상기 제2 인공 신경망의 제2 페이즈 레이어의 파라미터를 상기 타겟 인공 신경망의 제2 페이즈 레이어로 전이하고, 상기 제1 인공 신경망의 제1 페이즈 레이어의 파라미터 및 상기 제2 인공 신경망의 제2 페이즈 레이어의 파라미터를 전이한 후 상기 타겟 인공 신경망이 상기 타겟 태스크를 미세 조정(fine-tuning) 훈련 하도록 제어할 수 있다. 이때 "파라미터"는 인공 신경망의 레이어가 학습/훈련에 의하여 저장하고 있는 가중치를 포함하도록 정의될 수 있다.

상기 적어도 하나 이상의 프로세서는 상기 제1 인공 신경망이 상기 제1 데이터셋에 기반하여 상기 제1 페이즈 태스크를 사전 훈련하는 과정과, 상기 제2 인공 신경망이 상기 제2 데이터셋에 기반하여 상기 제2 페이즈 태스크를 사전 훈련하는 과정은 서로 독립적으로 수행되도록 상기 제1 인공 신경망과 상기 제2 인공 신경망을 제어할 수 있다.

상기 레퍼런스 데이터셋은 상기 스마트 디바이스의 사용자의 움직임에 관련된 센싱 데이터이고, 상기 타겟 태스크, 상기 제1 페이즈 태스크, 및 상기 제2 페이즈 태스크는 상기 사용자의 움직임의 패턴을 구분하는 태스크일 수 있다.

상기 적어도 하나 이상의 프로세서는 미세 조정 훈련된 상기 타겟 인공 신경망에 현재 사용자의 움직임에 관련된 센싱 데이터를 입력하고 상기 타겟 인공 신경망이 상기 현재 사용자의 움직임이 상기 현재 사용자의 위험을 초래할 수 있는 패턴인 지를 추론하도록 상기 타겟 인공 신경망의 추론을 제어할 수 있다.

상기 타겟 태스크는 상기 현재 사용자의 움직임 데이터 중 낙상 데이터를 구분하는 태스크이고, 상기 적어도 하나 이상의 프로세서는 상기 현재 사용자의 움직임 데이터에 기반하여 상기 현재 사용자의 낙상 가능성을 추론하여 상기 현재 사용자의 낙상 가능성이 소정 조건을 충족하는 경우 보호 동작을 위한 제어 신호를 생성할 수 있다.

상기 적어도 하나 이상의 프로세서는 상기 현재 사용자의 움직임 데이터에 기반하여 상기 현재 사용자의 움직임이 서 있기, 걷기, 뛰기, 차량 탑승, 자전거 타기, 기울어지기, 의자에 앉기, 쪼그려 앉기, 엎드리기, 및 낙상 중 어느 하나에 해당할 가능성을 추론할 수 있다.

상기 적어도 하나 이상의 프로세서는 상기 타겟 인공 신경망 내에서 상기 제1 페이즈 레이어 및 상기 제2 페이즈 레이어가 구분되는 페이즈 레이어 영역 정보에 대한 복수의 후보값들을 설정할 수 있다.

상기 적어도 하나 이상의 프로세서는, 상기 복수의 후보값들 각각에 대하여, 상기 제1 인공 신경망의 제1 페이즈 레이어의 파라미터를 상기 타겟 인공 신경망의 제1 페이즈 레이어로 전이하는 과정, 및 상기 제2 인공 신경망의 제2 페이즈 레이어의 파라미터를 상기 타겟 인공 신경망의 제2 페이즈 레이어로 전이하는 과정을 수행할 수 있다.

상기 적어도 하나 이상의 프로세서는, 상기 복수의 후보값들 중 상기 타겟 인공 신경망이 상기 타겟 태스크에 대한 예측 정확도를 최적화할 수 있도록 상기 페이즈 레이어 영역 정보에 대한 최적 페이즈 레이어 영역 정보를 도출할 수 있다.

상기 적어도 하나 이상의 프로세서는, 강화 학습(reinforcement learning)의 폴리시(Policy)를 상기 페이즈 레이어 영역 정보의 상기 복수의 후보값들에 대응할 수 있도록 설정할 수 있다.

상기 적어도 하나 이상의 프로세서는, 상기 폴리시에 대응하는 미세 조정(fine-tuning) 훈련을 실행한 후 상기 타겟 태스크에 대한 테스트 정확도(test accuracy)를 상기 강화 학습의 보상(reward)으로 설정하여 상기 강화 학습을 수행함으로써 상기 최적 페이즈 레이어 영역 정보를 도출할 수 있다.

상기 타겟 데이터셋은 상기 사용자의 특정한 움직임을 검출하는 과정의 학습을 위하여 선택된 데이터셋이고, 상기 제1 데이터셋 및 상기 제2 데이터셋은 상기 레퍼런스 데이터셋 내에서 상기 타겟 데이터셋의 데이터 불균형성(data imbalance)에 기반하여 선택되는 데이터셋일 수 있다.

상기 컴퓨팅 시스템은 제3 데이터셋에 기반하여 제3 페이즈(phase)의 태스크(task)를 사전 훈련(pre-train)하는 제3 인공 신경망을 더 포함할 수 있다.

상기 적어도 하나 이상의 프로세서는 상기 제3 인공 신경망의 사전 훈련 후에 상기 제3 인공 신경망의 제3 페이즈 레이어의 파라미터를 상기 타겟 인공 신경망의 제3 페이즈 레이어로 전이할 수 있다.

상기 적어도 하나 이상의 프로세서는 상기 제1 인공 신경망의 상기 제1 페이즈 레이어의 파라미터의 전이, 상기 제2 인공 신경망의 상기 제2 페이즈 레이어의 파라미터의 전이, 상기 제3 인공 신경망의 상기 제3 페이즈 레이어의 파라미터의 전이 후에 상기 타겟 인공 신경망이 상기 타겟 태스크를 미세 조정(fine-tuning) 훈련하도록 제어할 수 있다.

본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능을 이용하는 스마트 디바이스 센싱 데이터의 패턴 인식을 제공하는 컴퓨팅 시스템은 적어도 하나 이상의 프로세서; 스마트 디바이스의 센싱 데이터를 포함하는 레퍼런스 데이터셋 중에서 선택된 제1 데이터셋에 기반하여 제1 페이즈(phase) 태스크(task)를 사전 훈련(pre-train)하는 제1 인공 신경망; 및 제2 데이터셋에 기반하여 제2 페이즈(phase)의 태스크(task)를 사전 훈련(pre-train)하는 제2 인공 신경망을 포함한다.

상기 적어도 하나 이상의 프로세서는, 상기 제1 인공 신경망의 사전 훈련 및 상기 제2 인공 신경망의 사전 훈련 후에, 상기 제1 인공 신경망 또는 상기 제2 인공 신경망 중 어느 하나를 타겟 데이터셋에 기반하여 타겟 태스크를 훈련하는 타겟 인공 신경망으로 선택할 수 있다.

상기 적어도 하나 이상의 프로세서는, 상기 제2 인공 신경망이 상기 타겟 인공 신경망으로 선택된 경우 상기 제1 인공 신경망의 사전 훈련 후에 상기 제1 인공 신경망의 제1 페이즈 레이어의 파라미터를 상기 타겟 인공 신경망의 제1 페이즈 레이어로 전이(transfer)할 수 있다.

상기 적어도 하나 이상의 프로세서는, 상기 제1 인공 신경망이 상기 타겟 인공 신경망으로 선택된 경우 상기 제2 인공 신경망의 사전 훈련 후에 상기 제2 인공 신경망의 제2 페이즈 레이어의 파라미터를 상기 타겟 인공 신경망의 제2 페이즈 레이어로 전이할 수 있다.

상기 제1 인공 신경망의 제1 페이즈 레이어의 파라미터 또는 상기 제2 인공 신경망의 제2 페이즈 레이어의 파라미터를 상기 타겟 인공 신경망으로 전이한 후 상기 타겟 인공 신경망이 상기 타겟 태스크를 미세 조정(fine-tuning) 훈련하도록 제어할 수 있다.

본 발명의 일 실시예에 따른 머신 러닝 기반의 인공 신경망을 포함하는 스마트 디바이스 센싱 데이터의 패턴 인식을 제공하는 컴퓨팅 시스템에서 실행되는 인공 신경망 훈련 방법은 상기 컴퓨팅 시스템 내의 적어도 하나 이상의 프로세서가, 스마트 디바이스의 센싱 데이터를 포함하는 레퍼런스 데이터셋 중에서 선택된 제1 데이터셋에 기반하여 제1 인공 신경망이 제1 페이즈(phase) 태스크(task)를 사전 훈련(pre-train)하도록 상기 제1 인공 신경망의 사전 훈련을 제어하는 단계; 상기 적어도 하나 이상의 프로세서가, 제2 인공 신경망이 제2 데이터셋에 기반하여 제2 페이즈(phase) 태스크(task)를 사전 훈련(pre-train)하도록 상기 제2 인공 신경망의 사전 훈련을 제어하는 단계; 상기 적어도 하나 이상의 프로세서가, 사전 훈련된 상기 제1 인공 신경망의 제1 페이즈 레이어의 파라미터를 타겟 인공 신경망의 제1 페이즈 레이어로 전이하는(transfer) 단계; 상기 적어도 하나 이상의 프로세서가, 사전 훈련된 상기 제2 인공 신경망의 제2 페이즈 레이어의 파라미터를 상기 타겟 인공 신경망의 제2 페이즈 레이어로 전이하는 단계; 및 상기 적어도 하나 이상의 프로세서가, 상기 타겟 인공 신경망이 타겟 데이터셋에 기반하여 타겟 태스크를 미세 조정(fine-tuning) 훈련하도록 상기 타겟 인공 신경망의 미세 조정 훈련을 제어하는 단계를 포함한다.

본 발명에 따르면 불균형 데이터(imbalanced data)를 이용해야 하는 경우, 또는 학습에 필요한 데이터가 부족한 경우에 적은 데이터를 이용하여 학습/훈련하는 경우에도 머신 러닝 기반의 인공 신경망의 성능을 향상시킬 수 있다.

본 발명은 다양한 응용 분야(의료 영상, 얼굴 인식, 차량 자율주행용 영상 인식, 자연물 영상 인식 등)에 적용될 수 있으며, 다양한 태스크(task)(Classification, Segmentation, Object Detection, Generative Model 등)에 적용될 수 있다.

또한 본 발명의 인공 신경망 학습/훈련 기법은 이미지 데이터 뿐만 아니라 텍스트 데이터에 의한 학습 시에도 적용될 수 있다.

본 발명은 종래의 전이 학습을 이용하는 인공 신경망 학습/훈련의 장점을 활용하되, 분리 가능한 전이 학습(separable transfer learning)을 제안함으로써 인공 신경망의 성능을 향상시키기 위한 전이 학습의 정량화된 가이드라인을 제공할 수 있다.

본 발명은 분리 가능한 전이 학습을 제안함으로써 전이 학습의 정량화된 가이드라인을 제공하기 위한 반복적 훈련 과정의 부하를 줄일 수 있다. 본 발명은 반복되는 과정의 데이터셋을 효과적으로 선별하여 전이 학습의 정량화된 가이드라인을 효과적으로 도출할 수 있도록 유도할 수 있다.

본 발명은 분리 가능한 전이 학습을 스마트 디바이스의 센싱 데이터의 패턴을 인식하는 데에 활용하고, 이를 기반으로 사용자의 현재 상태를 파악하며, 특히 사용자의 긴급한 상태 변화를 조기에 검출하고 이에 적합한 대응을 제공할 수 있다.

본 발명은 분리 가능한 전이 학습을 스마트 디바이스의 센싱 데이터, 예를 들어 생체 신호로서 ECG(Electrocardiogram), PPG(Photoplethysmogram), GSR, skin temperature, humidity, EEG, 신호를 수신하고 그 패턴을 인식할 수 있다.

본 발명은 분리 가능한 전이 학습을 사용자의 Activity & Motion을 식별하는 용도로 활용하고, 이를 위하여 자이로스코프(gyroscope), 가속도계(accelerometer), 및 고도 센서(altitude sensor), 압력 센서(pressure sensor), 근접 센서(proximity sensor) 등의 데이터의 패턴을 인식하는 시스템 및 방법을 제안하는 것을 목적으로 한다. 본 발명의 패턴 인식 기술은 가상 센서(virtual sensor)로서 회전 센서(rotation sensor), 중력 센서(gravity sensor), 각속도 센서(angular sensor) 등에도 이용될 수 있다.

본 발명은 특히 고령자의 부상 방지를 위한 엉덩이/고관절 보호를 위한 스마트 힙 프로텍션 에어백과 같은 장비의 착용 시에는 사용자의 움직임을 검출하여 낙상 위험을 감지하고 사용자가 지면에 충격하기 전에 효과적으로 에어백을 펼칠 수 있는 분석 기법에 적용될 수 있다.

도 1은 본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능을 이용하는 컴퓨팅 시스템의 인공 신경망 훈련/학습 과정을 도시하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능을 이용하는 컴퓨팅 시스템의 추론 과정을 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 컴퓨팅 시스템에서 실행되는 분리 가능한 전이 학습(separable transfer learning) 과정을 도시하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 컴퓨팅 시스템에서 실행되는 분리 가능한 전이 학습(separable transfer learning) 과정을 도시하는 동작 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 컴퓨팅 시스템에서 실행되는 분리 가능한 전이 학습(separable transfer learning)이 종료된 이후의 추론 과정을 도시하는 동작 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 컴퓨팅 시스템에서 실행되는 분리 가능한 전이 학습(separable transfer learning) 과정으로서 phase layer 영역을 탐색 또는 최적화하는 과정을 도시하는 동작 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 컴퓨팅 시스템에서 도 6의 단계(S650)의 반복 조건 충족 여부를 판정할 때 활용하는 강화 학습의 개요를 도시하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 컴퓨팅 시스템에서 데이터 불균형성에 기반하여 분리 가능한 전이 학습(separable transfer learning)의 각 훈련 단계에 적용할 데이터셋을 선택하는 일 실시예를 도시하는 도면이다.
도 9는 본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능과 다양한 스마트 웨어러블 디바이스가 연결되어 스마트 웨어러블 디바이스의 센싱 데이터를 분석하는 실시예를 도시하는 도면이다.
도 10은 본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능을 이용하여 다양한 사용자들의 모바일/컴퓨팅 가능한 디바이스와 연결되어 센싱 데이터를 분석하는 플랫폼 시스템을 도시하는 도면이다.

상기 목적 외에 본 발명의 다른 목적 및 특징들은 첨부 도면을 참조한 실시예에 대한 설명을 통하여 명백히 드러나게 될 것이다.

본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

최근 급속히 발전한 딥러닝/CNN 기반 인공 신경망 기술은 영상 분야에 적용할 경우, 인간의 육안으로 구분하기 어려운 시각적 요소를 구분하는 용도로 고려되고 있다. 이러한 기술의 적용 분야는 보안, 의료 영상, 비파괴 검사 등 다양한 분야로 확대될 가능성이 기대되고 있다.

삭제

삭제

삭제

삭제

본 발명은 복잡한 인공 신경망의 분류/예측 과정을 모듈화하고 구분하는 개념에서 도출된다. 이 과정에서 종래의 기술 중 전이 학습(transfer learning)을 참조할 것이다.

전이 학습은 불균형 데이터(imbalanced data)를 이용해야 하는 경우, 또는 학습에 필요한 데이터가 부족한 경우에 적은 데이터를 이용하여 학습/훈련하는 경우에 인공 신경망의 성능을 향상시키기 위한 수단으로서 연구되고 있다. 본 발명은 분리 가능한 전이 학습(separable transfer learning)을 제안함으로써 이러한 전이 학습의 장점을 활용하면서도 종래의 전이 학습에서 나타나던 문제점 또한 개선시키고자 하는 동기에서 도출된 것이다.

본 발명의 일 실시예에서, 주된 설명은 이미지 데이터에 대한 분석에 대하여 이루어질 것이지만, 본 발명의 사상은 여기에 국한되지 않으며 텍스트 기반의 데이터를 학습/훈련하는 경우에도 적용될 수 있다.

또한 본 발명의 이미지 데이터에 대한 분석은 다양한 태스크(task)(Classification, Segmentation, Object Detection, Generative Model 등)를 포함할 수 있다. 본 발명은 다양한 응용 분야(의료 영상, 얼굴 인식, 차량 자율주행용 영상 인식, 자연물 영상 인식 등)에 적용될 수 있으며, 텍스트 기반 데이터의 학습/훈련되어, 개인을 위한 맞춤형 정보를 생성하는 수단으로도 활용될 수 있다.

본 발명은 종래의 전이 학습을 이용하는 인공 신경망 학습/훈련의 장점을 활용하되, 분리 가능한 전이 학습(separable transfer learning)을 제안함으로써 인공 신경망의 성능을 향상시키기 위한 전이 학습의 정량화된 가이드라인을 제공할 수 있다.

본 발명은 분리 가능한 전이 학습을 제안함으로써 전이 학습의 정량화된 가이드라인을 제공하기 위한 반복적 훈련 과정의 부하를 줄일 수 있다. 본 발명은 반복되는 과정의 데이터셋을 효과적으로 선별하여 전이 학습의 정량화된 가이드라인을 효과적으로 도출할 수 있도록 유도할 수 있다.

종래의 전이 학습을 이용하는 인공 신경망 기술은, 예를 들어 한국공개특허 KR 10-2020-0000824 "중심 분산 손실 함수를 활용한 딥 러닝 모델 기반의 얼굴 표정 인식 방법", 및/또는 미국공개특허 US 2020/0082210 "Generating and Augmenting Transfer Learning Datasets with Pseudo-Labeled Images"에서 개시된 구성을 포함할 수 있다. 상기 선행문헌들에서 개시된 전이 학습을 이용하는 인공 신경망의 구성은 본 발명의 요지를 훼손하지 않는 범위에서 본 발명의 구현을 위하여 필요에 따라 그 적어도 일부가 선택적으로 본 발명에 통합되어 이용될 수 있다.

이하에서는, 본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능을 이용하는 영상 분류 장치 및 방법을 도 1 내지 도 7을 참조하여 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능을 이용하는 컴퓨팅 시스템(100)의 인공 신경망 훈련/학습 과정을 도시하는 도면이다.

도 1의 컴퓨팅 시스템(100)은 적어도 하나 이상의 프로세서(110), 타겟 인공 신경망(120), 제1 인공 신경망(130), 제2 인공 신경망(140), 및 통신 모듈(150)을 포함한다. 이때 통신 모듈(150)의 컴퓨팅 시스템(100) 외부로부터 입력 데이터(160)를 수신하고, 컴퓨팅 시스템(100)에 의하여 생성된 학습에 따른 결과, 또는 추론/분석에 따른 결과를 외부에 전달할 수 있다. 통신 모듈(150)은 프로세서(110)의 제어를 받아 동작하며, 입력 데이터(160)는 외부에서 지속적으로 획득될 수도 있고, 컴퓨팅 시스템(100) 내부 또는 외부의 스토리지(도시되지 않음)에 저장되어 필요에 따라 통신 모듈(150)을 경유하여 수신될 수 있다.

통신 모듈(150)을 경유하여 수신되는 입력 데이터(160) 중에서 프로세서(110)의 제어를 받아 제1 인공 신경망(130)의 사전 훈련(pre-train)에 적합한 제1 데이터셋(132)이 선택되어 제1 인공 신경망(130)으로 전달될 수 있다. 제1 데이터셋(132)은 제1 페이즈(phase) 태스크(task)에 적합하도록 선택된 데이터셋일 수 있다.

통신 모듈(150)을 경유하여 수신되는 입력 데이터(160) 중에서 프로세서(110)의 제어를 받아 제2 인공 신경망(140)의 사전 훈련(pre-train)에 적합한 제2 데이터셋(142)이 선택되어 제2 인공 신경망(140)으로 전달될 수 있다. 제2 데이터셋(142)은 제2 페이즈(phase) 태스크(task)에 적합하도록 선택된 데이터셋일 수 있다.

통신 모듈(150)을 경유하여 수신되는 입력 데이터(160) 중에서 프로세서(110)의 제어를 받아 타겟 인공 신경망(120)의 미세 조정 훈련(fine-tuning train)에 적합한 타겟 데이터셋(122)이 선택되어 타겟 인공 신경망(120)으로 전달될 수 있다. 타겟 데이터셋(122)은 타겟 태스크에 적합하도록 선택된 데이터셋일 수 있다. 설명의 편의상 타겟 태스크는 본 발명의 컴퓨팅 시스템(100)이 궁극적으로 해결하고자 하는 태스크를 의미하며, 타겟 데이터셋(122)은 타겟 태스크에 대한 훈련을 수행하기 위하여 지정된 데이터셋이다.

타겟 데이터셋(122)이 불균형 데이터(imbalanced data)이거나, 타겟 데이터셋(122)의 수가 적은 경우에 본 발명의 분리 가능한 전이 학습이 적용될 수 있으며, 데이터 불균형성 또는 데이터의 수를 고려하여 확장되거나 조정된 데이터셋으로서 제1 데이터셋(132) 및/또는 제2 데이터셋(142)이 선택될 수 있다. 데이터 불균형성 또는 데이터의 수를 고려하여 확장되거나 조정된 데이터셋으로서 제1 데이터셋(132) 및/또는 제2 데이터셋(142)이 선택되는 실시예에 대해서는 아래 도 8을 통하여 후술하기로 한다.

도 1의 컴퓨팅 시스템(100)에서 실행되는 인공 신경망의 훈련/학습 과정의 동작을 도 3의 분리 가능한 전이 학습의 개요 및 도 4의 동작 흐름도와 함께 설명하기로 한다.

도 3은 본 발명의 일 실시예에 따른 컴퓨팅 시스템에서 실행되는 분리 가능한 전이 학습(separable transfer learning) 과정을 도시하는 도면이다.

도 4는 본 발명의 일 실시예에 따른 컴퓨팅 시스템에서 실행되는 분리 가능한 전이 학습(separable transfer learning) 과정을 도시하는 동작 흐름도이다.

도 1, 도 3 및 도 4를 함께 참조하면, 제1 인공 신경망(130)이 제1 데이터셋(132)에 기반하여 제1 페이즈(phase)의 태스크(task)를 사전 훈련(pre-train)하도록 프로세서(110)가 제1 인공 신경망(130)의 사전 훈련을 제어할 수 있다(S410).

제2 인공 신경망(140)이 제2 데이터셋(142)에 기반하여 제2 페이즈(phase)의 태스크(task)를 사전 훈련(pre-train)하도록 프로세서(110)가 제2 인공 신경망(140)의 사전 훈련을 제어할 수 있다(S420).

단계(S410)과 단계(S420)는 서로 독립적으로 프로세서(110)에 의하여 제어될 수 있다. 일반적인 종래의 전이 학습에서는 제1 페이즈의 사전 훈련 이후 제2 페이즈의 사전 훈련이 이루어지거나, 제1 페이즈의 사전 훈련 이후 미세 조정 훈련(fine-tuning train)이 이루어지는 경우에 동일한 사전 훈련의 결과인 파라미터는 통째로 미세 조정 훈련이 이루어지는 신경망에 전달된다. 따라서 전이 학습을 이용하였을 때 전체 학습 시간을 단축하거나 최종 학습 결과로 인한 인공 신경망의 정확도가 향상되는 경우가 있지만 종래의 전이 학습에서는 어떤 이유로 전이 학습이 인공 신경망의 성능을 개선하는 것인지, 인공 신경망의 성능을 개선하기 위한 전이 학습의 가이드라인을 제공하기에는 정보가 전혀 제공될 수 없다.

본 발명의 분리 가능한 전이 학습에서는 제1 페이즈의 사전 훈련을 수행하는 제1 인공 신경망(130)과 제2 페이즈의 사전 훈련을 수행하는 제2 인공 신경망(140)이 분리된다. 제1 인공 신경망(130)과 제2 인공 신경망(140)이 분리되므로, 제1 페이즈의 사전 훈련(S410)과 제2 페이즈의 사전 훈련(S420)은 상호 독립적이고 병렬적으로 이루어질 수 있다는 점에서 종래의 전이 학습 기술들과 큰 차이가 있다.

또한 이러한 차이는 전이 학습이 인공 신경망의 성능을 개선하는 과정에 대한 연구, 및 인공 신경망의 성능을 개선하기 위한 전이 학습 시의 가이드라인을 제공할 수 있다. 또한 본 발명의 분리 가능한 전이 학습은 사전 훈련의 과적합(overfit) 파라미터가 타겟 인공 신경망(120)의 최종 학습 결과에 미치는 부정적인 영향을 최소화하고, 타겟 태스크에 대한 타겟 인공 신경망(120)의 예측/분석/추론 성능을 향상시킬 수 있다.

단계(S410)가 종료된 상태에서, 제1 인공 신경망(130)의 제1 페이즈 레이어(130a)의 파라미터(134)가 타겟 인공 신경망(120)의 제1 페이즈 레이어(120a)로 전이된다(S412). 단계(S412)는 프로세서(110)가 제1 인공 신경망(130) 및 타겟 인공 신경망(120)을 제어함으로써 수행된다.

단계(S420)가 종료된 상태에서, 제2 인공 신경망(140)의 제2 페이즈 레이어(140b)의 파라미터(144)가 타겟 인공 신경망(120)의 제2 페이즈 레이어(120b)로 전이된다(S422). 단계(S422)는 프로세서(110)가 제2 인공 신경망(140) 및 타겟 인공 신경망(120)을 제어함으로써 수행된다. 이때 "파라미터"는 인공 신경망의 레이어가 학습/훈련에 의하여 저장하고 있는 가중치를 포함하도록 정의될 수 있다.

제1 인공 신경망(130)의 제1 페이즈 레이어(130a)는 제1 페이즈 태스크와 관련되어 타겟 인공 신경망(120)으로 전이될 전이 후보 레이어이고, 타겟 인공 신경망(120) 내에서 제1 인공 신경망(130)의 제1 페이즈 레이어(130a)의 위치에 대응하는 전이 목표 후보 레이어가 타겟 인공 신경망(120)의 제1 페이즈 레이어(120a)로 표시된다. 즉, 제1 페이즈 레이어(120a, 130a)는 전이 후보 레이어 및 전이 목표 후보 레이어로서, 제1 페이즈 태스크의 분리 가능한 전이 과정에 관련되는 양쪽 인공 신경망(120, 130)의 동일한 위치에 존재하는 레이어를 의미한다.

마찬가지로, 제2 인공 신경망(140)의 제2 페이즈 레이어(140b)는 제2 페이즈 태스크와 관련되어 타겟 인공 신경망(120)으로 전이될 전이 후보 레이어이고, 타겟 인공 신경망(120) 내에서 제2 인공 신경망(140)의 제2 페이즈 레이어(140b)의 위치에 대응하는 전이 목표 후보 레이어가 타겟 인공 신경망(120)의 제2 페이즈 레이어(120b)로 표시된다. 즉, 제2 페이즈 레이어(120b, 140b)는 전이 후보 레이어 및 전이 목표 후보 레이어로서, 제2 페이즈 태스크의 분리 가능한 전이 과정에 관련되는 양쪽 인공 신경망(120, 140)의 동일한 위치에 존재하는 레이어를 의미한다.

도 4에서는 제1 페이즈 레이어(120a, 130a)와 제2 페이즈 레이어(120b, 140b) 사이의 경계에 대한 정보를 포함하는 페이즈 레이어 영역 정보(126)가 미리 결정되어 있는 실시예가 도시된다. 이때에는 페이즈 레이어 영역 정보(126)가 설정되는 단계가 생략되어 있으므로 도 4의 단계(S410) 및 단계(S412)는 순차적으로 수행되되 단계(S420) 및 단계(S422)와 상호 독립적이고 병렬적으로 진행될 수 있다.

페이즈 레이어 영역 정보(126)를 결정하는 단계가 포함된 본 발명의 분리 가능한 전이 학습 과정은 아래의 도 6과 함께 후술하기로 한다.

단계(S412) 및 단계(S422)의 전이 과정이 종료되면, 타겟 인공 신경망(120)이 타겟 데이터셋(122)에 기반하여 타겟 태스크를 미세 조정 훈련(fine-tuning train)하도록 프로세서(110)가 타겟 인공 신경망(120)을 제어한다(S440).

도 2는 본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능을 이용하는 컴퓨팅 시스템(200)의 추론 과정을 도시하는 도면이다.

도 2에서 프로세서(110), 타겟 인공 신경망(120), 제1 인공 신경망(130), 제2 인공 신경망(140), 및 통신 모듈(150)에 대한 동작 중 도 1의 구성과 중복되는 사항은 설명을 생략한다.

도 2의 컴퓨팅 시스템(200)에서 실행되는 인공 신경망의 추론 과정의 동작을 도 5의 동작 흐름도와 함께 설명하기로 한다.

도 5는 본 발명의 일 실시예에 따른 컴퓨팅 시스템에서 실행되는 분리 가능한 전이 학습(separable transfer learning)이 종료된 이후의 추론 과정을 도시하는 동작 흐름도이다.

도 2 및 도 5를 함께 참조하면, 미세 조정 훈련이 종료된 타겟 인공 신경망(120)이 준비된다(S510).

미세 조정 훈련이 종료된 타겟 인공 신경망(120)에 타겟 태스크에 대응하는 새로운 입력 데이터(260)가 통신 모듈(150)을 경유하여 시스템(200)에 입력된다(S520).

타겟 인공 신경망(120)이 새로운 입력 데이터(260) 및 미세 조정 훈련의 결과 파라미터에 기반하여 타겟 태스크의 결과를 추론한다(S530).

단계(S530)의 추론 결과(270)는 프로세서(110)의 제어에 의하여 통신 모듈(150)을 경유하여 시스템(200)의 외부의 어플리케이션으로 출력된다.

다시 도 3을 참조하면, 본 발명의 일 실시예에 따른 컴퓨팅 시스템(100)에서 실행되는 분리 가능한 전이 학습 과정이 도시된다.

최근의 연구 결과에 의하면, 이미지 데이터의 분석에 합성곱 신경망(CNN)이 이용되는 어플리케이션 등에서는 입력 데이터에 가까운 레이어에서는 로우 레벨 특징(low-level feature)이 추출되고, 출력에 가까운 레이어에서는 하이 레벨 특징(high-level feature)이 추출되는 것으로 알려져 있다.

따라서 인공 신경망 모델의 앞부분의 레이어들에 저장되는 가중치(weight)는 edge, color와 같은 로우 레벨 특징을 추출하는 기능과 연관되고, 인공 신경망 모델의 뒷부분의 레이어들에 저장되는 가중치는 얼굴의 형태, 눈의 모양과 같은 하이 레벨 특징을 추출하는 기능과 연관되는 것으로 알려져 있다.

본 발명의 제1 페이즈 태스크의 사전 훈련(S410)은 제1 인공 신경망(130)의 제1 페이즈 레이어(130a)에서 로우 레벨 특징을 추출하는 훈련일 수 있다. 이때 추출되는 로우 레벨 특징에 관련되는 파라미터는 제1 인공 신경망(130)의 제1 페이즈 레이어(130a)에 주로 저장될 것으로 예상할 수 있다.

본 발명의 제2 페이즈 태스크의 사전 훈련(S420)은 제2 인공 신경망(140)의 제2 페이즈 레이어(140b)에서 하이 레벨 특징을 추출하는 훈련일 수 있다. 이때 추출되는 하이 레벨 특징에 관련되는 파라미터는 제2 인공 신경망(140)의 제2 페이즈 레이어(140b)에 주로 저장될 것으로 예상할 수 있다.

종래의 전이 학습들과 같이 로우 레벨 특징 사전 훈련의 결과 파라미터와 하이 레벨 특징 사전 훈련의 결과 파라미터가 섞이면 최종적으로 미세 조정 훈련된 파라미터 중 로우 레벨 특징에 과적합된 파라미터가 하이 레벨 특징의 판단에 영향을 주거나 반대로 하이 레벨 특징에 과적합된 파라미터가 로우 레벨 특징의 판단에 영향을 줄 수 있을 것이다.

본 발명의 분리 가능한 전이 학습은 제1 페이즈 태스크의 사전 훈련(S410)의 결과로 제1 인공 신경망(130)의 제1 페이즈 레이어(130a)에 형성되는 파라미터(134)를 타겟 인공 신경망(120)의 분리된 제1 페이즈 레이어(120a)에 전이하고, 제2 페이즈 태스크의 사전 훈련(S420)의 결과로 제2 인공 신경망(140)의 제2 페이즈 레이어(140b)에 형성되는 파라미터(144)를 타겟 인공 신경망(120)의 분리된 제1 페이즈 레이어(120a)에 전이함으로써 사전 훈련으로 인하여 과적합된 파라미터가 최종적으로 미세 조정 훈련된 타겟 인공 신경망(120)의 파라미터에 줄 수 있는 부정적인 영향을 최소화할 수 있다.

이때 타겟 인공 신경망(120)의 타겟 태스크에 대한 성능은 제1 페이즈 레이어(120a) 및 제2 페이즈 레이어(120b) 사이의 경계에 대한 정보를 포함하는 페이즈 레이어 영역 정보(126)를 조정함으로써 최적화될 수 있다.

도 6은 본 발명의 일 실시예에 따른 컴퓨팅 시스템에서 실행되는 분리 가능한 전이 학습(separable transfer learning) 과정으로서 phase layer 영역을 탐색 또는 최적화하는 과정을 도시하는 동작 흐름도이다.

제1 인공 신경망(130)을 이용한 제1 페이즈 태스크의 사전 훈련(S610), 및 제2 인공 신경망(140)을 이용한 제2 페이즈 태스크의 사전 훈련(S620)이 종료된 이후 프로세서(110)에 의하여 타겟 인공 신경망(120) 내에서 제1 페이즈 레이어(120a) 및 제2 페이즈 레이어(120b)가 구분되는 페이즈 레이어 영역 정보(126)가 설정될 수 있다(S630). 이때 단계(S630)는 페이즈 레이어 영역 정보(126)에 대한 복수의 후보값들이 설정되도록 구현될 수도 있고, 페이즈 레이어 영역 정보(126)가 초기값으로부터 소정의 규칙에 의하여 변화하면서 타겟 인공 신경망(120)의 성능을 향상시키거나 최적화하는 방향으로 조정되도록 구현될 수도 있다.

단계(S630)에 의하여 설정되거나 조정되는 페이즈 레이어 영역 정보(126)의 복수의 후보값 각각에 기반하여 제1 페이즈 레이어(120a, 130a) 영역의 파라미터(134) 전이(S612), 및 제2 페이즈 레이어(120b, 140b) 영역의 파라미터(144) 전이(S622) 과정이 프로세서(110)의 제어에 의하여 순차적으로 또는 반복적으로 수행될 수 있다.

단계(S630)에 의하여 설정되거나 조정되는 페이즈 레이어 영역 정보(126)의 복수의 후보값 각각에 기반하여, 전이 단계(S612, S622)가 종료된 이후에 타겟 인공 신경망(120)이 타겟 태스크를 미세 조정 훈련하도록 프로세서(110)에 의하여 순차적으로 또는 반복적으로 제어될 수 있다(S640).

페이즈 레이어 영역 정보(126)의 복수의 후보값들 중 타겟 인공 신경망(120)이 타겟 태스크에 대한 예측 정확도를 최적화할 수 있도록 프로세서(110)에 의하여 페이즈 레이어 영역 정보(126)가 최적화될 수 있다(S650, S660).

단계(S650)에서 미리 정해진 반복 조건이 충족될 때까지 페이즈 레이어 영역 정보(126)의 재설정 또는 조정이 이루어지도록 피드백되고, 반복 조건이 충족되면 반복되는 피드백 루프에서 가장 타겟 인공 신경망(120)의 테스트 정확도(test accuracy)가 높았던 페이즈 레이어 영역 정보(126)를 최적의 페이즈 레이어 영역 정보로 도출하고, 최적의 페이즈 레이어 영역 정보가 적용되고 미세 조정 훈련이 종료된 타겟 인공 신경망(120)이 최적화된 타겟 인공 신경망으로서 사용자의 어플리케이션을 위하여 제공될 수 있다(S660).

이때 제공되는 최적화된 타겟 인공 신경망이 도 2 및 도 5의 타겟 인공 신경망(120)으로서 동작할 수 있다.

단계(S650)의 일 실시예에 따르면, 반복 조건은, 페이즈 레이어 영역 정보(126)의 후보값들로 미리 정해진 N개의 후보값들에 대하여 단계(S612, S622, S640)를 반복 수행하고 가장 높은 테스트 정확도를 제공하는 페이즈 레이어 영역 정보(126)를 최적의 페이즈 레이어 영역 정보로 선택하도록 설계될 수도 있다.

단계(S650)의 다른 일 실시예에 따르면, 반복 조건은, 페이즈 레이어 영역 정보(126)을 초기값에서부터 시작하여 현재 설정된 후보값에 대하여 단계(S612, S622, S640)를 반복 수행하고 소정의 조건이 충족되었을 때 가장 높은 테스트 정확도를 제공하는 페이즈 레이어 영역 정보(126)를 최적의 페이즈 레이어 영역 정보로 선택하도록 설계될 수도 있다. 이때 소정의 조건은, 루프(S630, S612, S622, S640, S650)를 반복하는 횟수를 임의의 M번으로 설정해 두도록 설계될 수도 있고, 테스트 정확도의 임계치를 두어 테스트 정확도가 소정의 임계치에 도달할 때까지 루프(S630, S612, S622, S640, S650)가 반복되도록 설계될 수도 있다.

단계(S650)의 구체적인 일 실시예 중 하나는 도 7에 도시된 강화 학습을 이용하여 구현될 수도 있다.

도 7은 본 발명의 일 실시예에 따른 컴퓨팅 시스템에서 활용하는 강화 학습의 개요를 도시하는 도면이다. 도 7은 일반적인 종래 기술의 강화 학습(reinforcement learning)을 설명하기 위한 도면이다. 도 7의 강화 학습은 본 발명의 요지를 훼손하지 않는 범위에서 본 발명의 구현을 위하여 필요에 따라 그 적어도 일부가 선택적으로 본 발명에 통합되어 이용될 수 있다.

예를 들어, 도 7에 도시된 Agent의 Action At에 대한 폴리시(Policy)는 페이즈 레이어 영역 정보(126)의 복수의 후보값들에 대응할 수 있도록 단계(S630)와 같이 설계될 수도 있다.

폴리시에 기반하여 Action At 및 단계(S630)가 수행되고, 조정된 페이즈 레이어 영역 정보(126)에 대한 타겟 인공 신경망(120)의 미세 조정 훈련이 진행된 이후, 타겟 인공 신경망(120)의 타겟 태스크에 대한 테스트 정확도가 State St+1 및 Reward Rt+1로 피드백될 수 있다.

도 7의 강화 학습 알고리즘에 의하면 테스트 정확도 보상이 높아지도록 페이즈 레이어 영역 정보(126)에 대한 조정이 이루어질 수 있다(S630). 예를 들어 강화 학습의 이터레이션 횟수가 M으로 정해지고, 이전 보상과 현재 보상이 비교되어 보상이 높은 쪽이 다음 페이즈 레이어 영역 정보(126)로 결정되고, 페이즈 레이어 영역 정보(126)의 조정은 예를 들어 랜덤 워크 프로세스와 같은 방식으로 이루어진다면, 정해진 이터레이션 횟수 M이 경과된 시점에서 페이즈 레이어 영역 정보(126)로 주어지는 값은 그 이터레이션 중에서 가장 높은 테스트 정확도를 보상으로 제공한 최적의 페이즈 레이어 영역 정보로 간주할 수 있을 것이다. 이러한 강화 학습은 일반적으로 이터레이션 횟수 M이 커질수록 우수한 성능을 제공할 수 있지만, 그만큼 시뮬레이션 시간이 길어지는 문제점이 있다.

본 발명의 분리 가능한 전이 학습은, 데이터의 수가 많고 훈련/학습의 부하가 큰 사전 훈련(S610, S620)을 거쳐서 제1 인공 신경망(130) 및 제2 인공 신경망(140)의 파라미터를 고정한 상태에서, 비교적 적은 수의 데이터를 이용하는 미세 조정(S640)만을 반복적으로 수행함으로써 강화 학습 또는 그에 준하는 반복적인 시뮬레이션을 수행하는 경우에도 상대적으로 반복 시간을 줄이고, 반복 횟수에 따른 시뮬레이션 부하를 절감할 수 있다.

사전 훈련(S610, S620)의 데이터셋이 크고 시간이 오래 걸리며 미세 조정(S640)의 데이터셋이 작고 상대적으로 시간을 단축할 수 있는 이유는 다음 도 8과 함께 설명한다.

도 8은 본 발명의 일 실시예에 따른 컴퓨팅 시스템에서 데이터 불균형성에 기반하여 분리 가능한 전이 학습(separable transfer learning)의 각 훈련 단계에 적용할 데이터셋을 선택하는 일 실시예를 도시하는 도면이다.

도 8을 참조하면, 레이블의 종류(A, B, C, D)에 따른 데이터의 분포가 도시된다. 레이블은 데이터셋이 큰 순서로 A, B, C, D라고 가정한다.

일반적으로 타겟 태스크로 설정되는 태스크는 매우 특화된(specific) 문제인 경우가 빈번하다. 즉, 일반적인 얼굴을 인식하는 태스크보다는 얼굴 이미지의 표정을 인식하고자 하는 태스크가 한 예이다.

찡그린 얼굴, 슬픈 얼굴, 웃는 얼굴 등 표정까지 레이블된 데이터셋(C, D)을 확보하기가 용이하지 않다. 따라서 특화된 태스크에 대응하는 레이블(C, D)의 데이터셋은 그 수가 작은 경우가 빈번하다.

상대적으로 쉽게 확보할 수 있는 데이터는 일반적인 사람 얼굴을 표시하는 레이블(B)이거나, 사람 뿐만 아니라 동물을 나타내는 레이블(A)일 수 있다.

이때 설명의 편의상 로우 레벨 특징은 레이블 A와 레이블 B 사이에서 사람과 동물을 구별하는 특징일 수 있고, 하이 레벨 특징은 레이블 B와 레이블 C 사이에서 일반적인 사람 얼굴(B)과 표정이 레이블된 얼굴(C)을 구분하는 특징일 수 있다.

최종적으로 해결하고자 하는 타겟 태스크는 웃는 표정이 레이블된 얼굴(D)을 다른 표정이 레이블된 얼굴(C)로부터 구분하는 태스크로 설계될 수 있다. 이 때, 타겟 태스크에 적합하도록 레이블 C와 레이블 D가 포함된 타겟 데이터셋(122)이 설정될 수 있다.

타겟 데이터셋(122)이 적용되기 전 사전 훈련의 한 단계로서 하이 레벨 특징으로 표정이 레이블된 얼굴(C, D)을 일반적인 사람 얼굴(B)로부터 구분하는 태스크를 제2 인공 신경망(140)이 사전 훈련하기를 원한다면 레이블 B, C, D가 포함된 제2 데이터셋(142)이 설정될 수 있고, 제2 태스크는 B와 C/D를 구별하도록 설계될 수 있다.

타겟 데이터셋(122)이 적용되기 전 사전 훈련의 한 단계로서 로우 레벨 특징으로 사람이 아닌 다른 객체의 이미지(A)를 사람 얼굴(B)로부터 구분하는 태스크를 제1 인공 신경망(130)이 사전 훈련하기를 원한다면 레이블 A, B, C, D가 포함된 제1 데이터셋(132)이 설정될 수 있고, 제1 태스크는 A와 B/C/D를 구별하도록 설계될 수 있다.

도 8에서 데이터셋을 단계적으로 설정하는 과정은 데이터 불균형성(Data imbalance) 또는 타겟 데이터셋(122)의 부족을 해결할 수 있는 수단을 제안할 수 있다.

일반적으로 이미지넷 등을 통하여 얻을 수 있는 레퍼런스 데이터셋이 레이블 A~D를 모두 포함하고 타겟 태스크가 레이블 D를 구분해 내는 태스크인 경우에, 전체 레퍼런스 데이터셋을 모두 미세 조정 훈련에 투입한다면 데이터의 불균형성으로 인하여 과적합(overfit) 등의 이유로 적절한 훈련이 이루어지지 않는 경우가 빈번하다. 반대로 처음부터 타겟 데이터셋(122)만을 이용하는 경우 데이터셋의 크기가 작아서 충분한 학습이 이루어지지 않을 뿐 아니라, 로우 레벨 특징에 대한 학습이 충분히 이루어지지 않을 염려가 있다.

타겟 데이터셋(122)로부터 레퍼런스 데이터셋까지 확장하여 단계적으로 전이 학습을 위한 사전 훈련에 투입하거나 반대로 방대하지만 불균형적인 레퍼런스 데이터셋으로부터 밸런스를 고려하여 단계적으로 제1 데이터셋(132), 제2 데이터셋(142), 및 타겟 데이터셋(122)을 선택하여 적용할 수 있다.

레퍼런스 데이터셋으로부터 밸런스를 고려하여 단계적으로 제1 데이터셋(132), 제2 데이터셋(142), 및 타겟 데이터셋(122)을 선택하여 적용하는 과정은 하이 레벨 특징 및 로우 레벨 특징을 적절하게 태스크로 설계하고, 태스크에 맞는 데이터셋을 선별함으로써 구현될 수 있다.

사전 훈련(S410, S420, S610, S620)이 실행되기 전에 프로세서(110)는 레퍼런스 데이터셋 중 로우 레벨 특징 기반의 제1 페이즈 태스크에 적합하도록 로우 레벨 특징에 대응하는 제1 기본 이미지 데이터와의 관련도 점수에 기반하여 제1 데이터셋(132)을 선택할 수 있다. 예를 들어 제1 페이즈 태스크가 사람 얼굴과 동물 얼굴을 구별하는 태스크인 경우, 레이블 A와 B를 구별하기에 적합한 사람 얼굴의 외곽선, 눈, 코, 입의 엣지 등 기본적인 형태를 가지는 이미지가 제1 기본 이미지 데이터로서 선택될 수 있다.

마찬가지로 사전 훈련(S410, S420, S610, S620)이 실행되기 전에 프로세서(110)는 레퍼런스 데이터셋 중 하이 레벨 특징 기반의 제2 페이즈 태스크에 적합하도록 하이 레벨 특징에 대응하는 제2 기본 이미지 데이터와의 관련도 점수에 기반하여 제2 데이터셋(142)을 선택할 수 있다. 예를 들어 제2 페이즈 태스크가 일반적이 사람 얼굴과 표정이 있는 사람 얼굴을 구별하는 태스크인 경우, 레이블 A/B와 C/D를 구별하기에 적합한 사람 얼굴의 표정에 따른 외곽선, 눈, 코, 입의 정형화되고 복잡한 형태를 가지는 이미지가 제2 기본 이미지 데이터로서 선택될 수 있다.

제1 기본 이미지 데이터 및/또는 제2 기본 이미지 데이터와의 관련도 점수로서 적용될 수 있는 척도는 이미지 데이터를 벡터화하여 벡터 간의 거리를 측정하는 방식을 예시적으로 채택할 수 있다. 이러한 거리로서 잘 알려진 공지의 기술들은 유클리디안 거리(Euclidian Distance), 맨해튼 거리(Manhattan Distance), 민코프스키 거리(Minkowski Distance), 및/또는 코사인 유사도(Cosine Similarity) 등을 들 수 있다.

또한 페이크 데이터와 리얼 데이터 간의 유사도를 특징 공간(feature space) 상에서의 거리로 나타내는 Inception Score(IS)로서 Frechet Inception distance(FID) 등이 본 발명의 이미지 데이터 간 관련도를 측정하는 척도로서 적용될 수 있다.

FID를 적용하는 방식의 좀 더 구체적인 실시예를 설명하면, inception network에서 feature map을 추출한 후, feature map의 mean과 variance를 계산하되, 인공신경망 모델의 각 부분에 맞는 level의 feature map을 비교하여 유사도/거리를 측정할 수 있다.

예를 들어, 로우 레벨 특징 추출기(low level feature extractor)에 레퍼런스 데이터 중 임의의 후보 데이터를 inception network에 입력한 후, low level feature map을 추출하고, 로우 레벨 특징을 가지는 기본 데이터를 inception network에 입력한 후, low-level feature map을 추출하여, 후보 데이터로부터 추출된 feature map과 기본 데이터로부터 추출된 feature map 간 유사도가 기준치 이상인 경우에 후보 데이터를 pre-train 데이터셋으로 선택할 수 있다. 이때 유사도를 계산하는 방법으로는 FID를 비롯하여 공지의 유사도 계산 방법을 적용할 수 있다. FID를 이용하는 경우에는 FID 값이 낮을수록 유사도가 높은 것이므로, FID가 기준치 이하인 경우에 후보 데이터가 pre-train 데이터셋으로 선택된다.

마찬가지 방법으로 하이 레벨 특징 추출기(high level feature extractor)를 하이 레벨 특징을 가지는 기본 데이터와 후보 데이터 간 inception network 의 high level feature map을 비교하여, feature map 간 FID에 기반하여 기준치 이하인 경우에 후보 데이터가 pre-train 데이터셋으로 선택될 수 있다.

설명의 편의상 도 1 및 도 2에서는 제1 인공 신경망(130), 제2 인공 신경망(140), 및 타겟 인공 신경망(120)이 포함된 실시예가 도시되었으나, 본 발명의 사상은 본 명세서 상의 실시예에만 국한되지 않는다. 예를 들어, 미세 조정 훈련을 통하여 달성하기를 원하는 타겟 태스크가 매우 고도화된 태스크인 경우에는, 사전 훈련의 태스크를 3개 이상의 페이즈, 예를 들어, 로우 레벨, 미드-레벨, 하이 레벨 특징으로 구분하여 분리 가능한 전이 학습을 적용할 수 있다. 이 경우 전이 학습을 위한 사전 훈련에 필요한 인공 신경망은 3개이며, 타겟 인공 신경망(120)의 페이즈 레이어 영역들은 3개 이상으로 구분될 수 있다.

도 6 및 도 7의 강화 학습의 실시예에 3개 이상의 사전 훈련 인공 신경망이 적용되는 경우에는, 타겟 인공 신경망(120)의 페이즈 레이어 영역 정보는 2개 이상의 경계선 위치를 포함하여 설계되고, 최적의 페이즈 레이어 영역 정보는 2개 이상의 경계선 위치에 대하여 탐색될 수 있을 것이다.

3개 이상의 사전 훈련이 적용되는 경우에는, feature map의 유사도에 기반하여 pre-train 데이터셋을 선정하는 과정 또한 low level feature extractor, high level feature extractor 외에 middle level feature extractor를 설계하여 각각의 레벨에 맞는 pre-train 데이터셋을 선정할 수 있다.

또한 설명의 편의상 도 1 및 도 2에서는 타겟 인공 신경망(120)이 제1 인공 신경망(130), 및 제2 인공 신경망(140)과 명확히 구분되어 학습 전에 초기화된 상태로 별도로 배치되는 경우가 도시되었다. 본 발명의 다양한 실시예에 따라서는, 타겟 태스크가 상대적으로 간단한 경우에는 제1 인공 신경망(130), 및 제2 인공 신경망(140)의 사전 훈련(S410, S420)이 종료된 이후에, 제1 인공 신경망(130), 및 제2 인공 신경망(140) 중 어느 하나를 타겟 인공 신경망으로 선택하여 분리 가능한 전이 학습을 진행할 수 있을 것이다.

설명의 편의상 도 1 내지 도 8에서 이미지 데이터를 분석하는 경우를 주로 설명하였으나, 본 발명의 분리 가능한 전이 학습은 텍스트, 음성(voice), 또는 소리(audio) 데이터에 대하여도 적용 가능할 것이다.

예를 들어, 텍스트 또는 음성 데이터에서는 텍스트를 작성한 사람의 기분, 생활습관, 건강 상태, 루틴 등을 자연어 처리 등을 통하여 추출할 수 있다. 소리 데이터에서는 생물 또는 무생물의 동작, 상태, 또는 정상/비정상 상태 등을 음성 분석을 통하여 추출할 수 있다.

최근에는 오디오 분석 딥러닝 알고리즘인 VGGish 등에서 오디오 데이터를 특징 공간에서 시각화하여 이미지 데이터로 변환하고, 이미지 데이터 내에서 패턴 인식 기술을 적용하여 오디오 데이터의 패턴 분석을 더욱 고도화하는 사례들도 알려져 있다.

따라서 이미지 데이터 외에도 텍스트, 보이스, 오디오 데이터에도 본 발명의 분리 가능한 전이 학습 기술을 적용하여 인간의 감정 상태, 인간의 심리 상태, 인간의 생활 습관, 건강 상태 등을 추출하는 태스크를 target-specific 태스크로 지정하여 분석하고 예측할 수 있다.

도 9는 본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능과 다양한 스마트 웨어러블 디바이스가 연결되어 스마트 웨어러블 디바이스의 센싱 데이터를 분석하는 실시예를 도시하는 도면이다.

도 9를 참조하면, 스마트 워치(910), 발목에 착용하는 스마트 밴드(920), 스마트 신발(930), 헤드셋(940), 스마트 힙 프로텍션/에어백(950) 등이 스마트 웨어러블 디바이스의 예시로서 도시된다.

도 9에 도시된 스마트 웨어러블 디바이스들은 사용자의 행동, 이동 경로, 생체 신호, 및/또는 사용자의 생활 습관에 대한 정보를 수집하고 컴퓨팅 가능한 디바이스와 연동하여 사용자의 자기 관리를 위한 정보를 분석하거나 추론할 수 있다.

예를 들어 스마트 워치(910), 스마트 밴드(920), 스마트 신발(930), 헤드셋(940) 등은 사용자의 행동, 운동 습관, 이동 경로 등의 데이터를 수집하고, 사용자의 생체 신호를 수집 및 분석하여 사용자에게 적합한 자기 관리 프로세스로서 적절한 운동 지침, 가까운 거리는 걷도록 유도하는 이동 경로 등을 사용자에게 제안할 수 있다.

사용자의 안전을 위하여 스마트 디바이스들은 관성 센서 데이터를 수집 및 분석함으로써 사용자의 낙상 또는 전도를 감지하고 그에 대응하여 스마트 힙 프로텍션/에어백(950)을 동작시킬 수 있다.

에어백(950)이 동작하여 펼쳐진 경우 펼쳐진 에어백(950a)과 같은 형태가 될 수 있음이 도 9에 도시된다. 스마트 힙 프로텍션/에어백(950)은 인체의 낙상으로부터 인체를 보호하기 위한 것으로, 인체의 허리 부분에 부착 가능한 외장 케이스를 통하여 인체에 착용 가능하다. 스마트 힙 프로텍션/에어백(950)에는 인체의 움직임을 감지하여 낙상 여부를 판단하는 센서가 포함되며, 센서에 의하여 착용자의 전도가 감지되고 낙상이 예상되는 경우 즉시 에어백을 팽창시켜 펼쳐진 에어백(950a)의 형태가 되어 인체를 보호할 수 있다. 특히 펼쳐진 에어백(950a)은 엉덩이 및 고관절을 둘러싸 낙상의 충격으로부터 고관절 부위의 부상을 방지하는 효과가 있다. 이러한 스마트 힙 프로텍션/에어백(950)은 한국특허공개공보 KR 10-2014-0119529 "인체 보호 장치, 그리고 이의 동작 제어 시스템 및 방법" 등에 공지된 사항으로부터 당업자가 자명하게 동작 원리를 이해할 수 있다.

도 1 내지 도 8의 분리 가능한 전이 학습을 이용하는 인공 신경망은 인체의 낙상 위험을 감지하고 순간적으로 에어백(950)을 펼치는 동작에도 적용될 수 있다.

에어백(950) 또는 별도의 스마트 디바이스를 통하여 사용자의 Activity & Motion이 식별될 수 있다. 예를 들어 자이로스코프(gyroscope), 가속도계(accelerometer), 및 고도 센서(altitude sensor), 압력 센서(pressure sensor), 근접 센서(proximity sensor) 등의 데이터의 패턴을 인식하는 시스템 및 방법을 제안하는 것을 목적으로 한다. 본 발명의 패턴 인식 기술은 가상 센서(virtual sensor)로서 회전 센서(rotation sensor), 중력 센서(gravity sensor), 각속도 센서(angular sensor) 등에도 이용될 수 있다.

이때 순간적인 센서 데이터의 패턴을 인식하고, 사용자가 지면에 충격하기 전에 에어백을 펼쳐야 하므로, 매우 빠른 순간에 센서 데이터의 패턴을 인식할 필요가 있다.

이를 위하여 인공 신경망을 통하여 센서 데이터의 패턴 인식을 학습하고자 하는 경우, 학습하고자 하는 타겟 태스크에 대응하는 데이터셋이 크지 않다는 점이 학습의 효율성을 저하시킬 수 있다.

모션 센서 데이터의 경우, 가만히 서 있기, 걷기, 뛰기, 책상/의자에 앉기, 쪼그려 앉기, 엎드리기, 및 낙상 등의 데이터로 구분되고, 차량에 탑승한 경우, 자전거 타는 경우, 몸이 기울어진 경우도 별도로 구분될 수 있는데, 현실적으로 이 중 낙상에 대응하는 데이터는 매우 부족하고, 전체 모션 데이터셋 가운데에서 낙상 데이터가 차지하는 점유율이 낮아 불균형 데이터로 인하여 학습의 효율이 저하된다. 모션 센서 데이터는 예를 들어 고관절, 발목, 무릎에 착용된 센서에 기반하여 하지의 모션에 대한 센서 신호 패턴을 추출하는 방식으로 수집되고 분석될 수 있다.

이때 본 발명의 분리 가능한 전이 학습은 모션 센서 데이터의 불균형성을 해소하고 단계적으로 전이학습에 적용할 수 있는 데이터셋을 구분하여 학습의 효율을 높일 수 있다. 예를 들어 가장 데이터가 많고 분리하기 쉬운 가만히 서 있기 데이터가 다른 데이터와 분리될 수 있도록 제1 페이즈에서 사전 훈련될 수 있다. 또 다른 페이즈에서는 걷기 데이터를 뛰기, 책상에 앉기, 쪼그려 앉기, 및 낙상 데이터의 데이터셋으로부터 구분하는 태스크를 사전 훈련할 수 있다. 또 다른 페이즈에서는 뛰기 데이터를 책상에 앉기, 쪼그려 앉기, 및 낙상 데이터의 데이터셋으로부터 구분하는 태스크를 사전 훈련할 수 있다.

마지막으로 책상에 앉기, 및 쪼그려 앉기 데이터로부터 낙상 데이터를 구분하는 태스크를 미세 조정 훈련을 통하여 학습할 수 있다.

예를 들어 현재 사용자의 현재 모션 데이터를 분석하여 낙상 가능성이 임계치 이상으로 높다고 예측된 경우, 인공 신경망의 예측 결과에 기반하여 시스템은 사용자를 보호할 수 있는 옵션을 실행할 수 있도록 주변 기기에 제어 신호 및/또는 명령을 전달할 수 있다. 이때 주변 기기는 예를 들어 에어백의 펼침 제어 장치이고, 사용자의 낙상 위험이 높다고 예측된 경우 사용자가 지면에 충격하기 전에 에어백이 펼쳐져 사용자의 부상을 방지하고, 특히 사용자의 엉덩이, 또는 고관절의 부상을 방지할 수 있다.

이처럼 비대칭인 데이터셋으로부터 최종적으로 검출하고자 하는 태스크를 분리 가능한 전이 학습을 이용하여 구현할 수 있으며, 분리 가능한 전이 학습은 센서 데이터의 패턴 인식 전반에 걸쳐 이용될 수 있다.

분리 가능한 전이 학습은 생체 신호 데이터의 패턴을 인식하여 사용자의 건강에 관한 위험 요인을 검출하는 용도로 활용될 수 있다. 생체 신호의 예로는 ECG(Electrocardiogram), PPG(Photoplethysmogram), GSR, skin temperature, humidity, EEG, 신호 등을 들 수 있다.

본 발명의 플랫폼 시스템의 또 다른 일 실시예는 사용자의 체질, 특수한 상황, 및 사용자의 식습관을 포함한 생활 습관 등을 사전 설문 조사 또는 수집된 데이터를 분석하여 사용자의 개인 특성 정보로서 추출할 수 있다.

본 발명의 플랫폼 시스템은 사용자가 고령이거나 낙상 가능성이 높은 고위험군인 경우에, 타인의 사용자 경험에 기반하여 스마트 힙 프로텍션/에어백(950)과 같은 제품을 사용자에게 추천할 수 있다. 또한 사용자의 개인 특성 정보에 기반하여 타인의 사용자 경험을 추천하고, 타인의 우수한 사용자 경험에 기반하여 사용자가 자기 관리 프로세스를 진행할 수 있도록 지원할 수 있다.

예를 들어 개인 특성 정보에 기반하여 낙상 고위험군으로 분류된 사용자가 외출하려고 하는 의사가 있음을 스마트 디바이스를 통하여 플랫폼 시스템이 인식한 경우, 스마트 힙 프로텍션/에어백(950) 제품의 착용을 권장하는 알림을 스마트 디바이스를 통하여 제공할 수 있다. 또는 스마트 디바이스에 기록된 사용자의 일정, 사용자의 평소 생활 습관을 추적하여 사용자가 외출할 가능성이 높은 시간을 예측하고, 그 시점에 스마트 힙 프로텍션/에어백(950) 제품의 착용을 권장하는 알림을 스마트 디바이스를 통하여 제공할 수 있다.

또한 사용자가 기록해 둔 일정, 사용자의 평소 생활 습관을 고려하여 조깅, 걷기, 간단한 운동 등 외부 활동을 시작할 시간으로 예측되면, 플랫폼 시스템은 적절한 스마트 웨어러블 디바이스의 착용을 권장하고, 생체 신호 및 이동 경로 등에 대한 데이터를 수집할 수 있도록 스마트 웨어러블 디바이스와 통신을 시작할 수 있다.

도 10은 본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능을 이용하여 다양한 사용자들의 모바일/컴퓨팅 가능한 디바이스와 연결되어 센싱 데이터를 분석하는 플랫폼 시스템(1000)을 도시하는 도면이다.

도 10을 참고하면, 본 발명의 일 실시예에 따른 플랫폼 시스템(1000)은 제1 사용자의 제1 모바일/컴퓨팅 디바이스(1010a), 제2 사용자의 제2 모바일/컴퓨팅 디바이스(1010b), 및 분석 서버(1020)를 포함한다. 제1 모바일/컴퓨팅 디바이스(1010a) 및 제2 모바일/컴퓨팅 디바이스(1010b) 각각은 통신 네트워크(1030)를 경유하여 분석 서버(1020)와 통신할 수 있다.

설명의 편의상 제1 사용자가 자신의 자기 관리 프로세스 및 루틴에 대한 사용자 경험을 생성하는 사용자이고, 제2 사용자는 자신의 자기 관리 프로세스 및 루틴을 찾기 위하여 다른 사용자들의 사용자 경험을 공유받거나 추천받는 사용자로 가정한다.

도 10에서는 제1 모바일/컴퓨팅 디바이스(110a), 제2 모바일/컴퓨팅 디바이스(110b)가 도시되었는데, 이는 설명의 편의를 위한 실시예일 뿐이고, 사용자는 공지의 다양한 컴퓨팅 가능한 디바이스를 이용하여 통신 네트워크(130)를 경유하여 분석 서버(120)와 통신하고, 본 발명의 스마트 디바이스 센싱 데이터의 패턴 인식을 제공하는 플랫폼 시스템을 이용할 수 있음은 당업자에게 자명하게 이해될 것이다.

도 10의 분석 서버(120)가 도 1 내지 도 8에 도시된 분리 가능한 전이 학습 기반의 인공 신경망 학습/훈련 과정을 통하여 사용자에 대한 사용자 경험 데이터를 수집할 수 있다. 제1 사용자, 제2 사용자 모두 자신의 개인 특성 정보를 설문 조사에 대한 응답을 통하여 모바일/컴퓨팅 디바이스(1010a, 1010b)를 경유하여 분석 서버(1020)로 전달할 수 있다.

분석 서버(1020)는 예를 들어 제1 사용자의 개인 특성 정보와, 제1 사용자가 자기 관리 프로세스를 실행한 내역을 자기 관리를 위한 사용자 경험 데이터로 분류하여 저장할 수 있다. 또한 분석 서버(1020)는 제1 사용자의 개인 특성 정보와 제1 사용자의 사용자 경험 데이터를 연관시켜 저장함으로써 제1 사용자의 개인 특성 정보 - 사용자 경험 데이터를 플랫폼 시스템(10000을 지원하기 위한 백데이터로서 축적할 수 있다.

분석 서버(1020)는 제1 사용자를 포함한 다수의 사용자들의 개인 특성 정보와, 자기 관리 프로세스의 사용자 경험 데이터를 수집하고, 수집된 데이터를 도 1 내지 도 8에 도시된 분리 가능한 전이 학습 기반의 인공 신경망 훈련/학습 과정을 통하여 개인 특성 정보와 사용자 경험 데이터 간의 관련성을 학습할 수 있다.

분석 서버(1020)는 신규한 사용자인 제2 사용자의 개인 특성 정보를 미세 조정 학습된 인공 신경망에 입력하여, 제2 사용자에게 적합한 타인의 우수한 사용자 경험 데이터를 추론할 수 있다. 추론된 사용자 경험 데이터는 제2 사용자에게 추천될 수 있으며, 이를 통하여 분석 서버(1020)는 제2 사용자의 자기 관리 프로세스를 지원할 수 있다.

또한 제2 사용자의 사용자 경험 데이터를 수집하고 추적하는 과정에서 분석 서버(1020)가 제2 사용자의 개인 특성 정보 및 현재 사용자 경험 데이터를 분석한 결과, 제2 사용자의 현재 사용자 경험 데이터보다 제2 사용자에게 적합한 타인의 사용자 경험 데이터를 추론하고, 이를 제2 사용자의 자기 관리 프로세스로서 추천할 수 있다.

분석 서버(1020)가 도 1 내지 도 8의 분리 가능한 전이 학습을 개인 특성 정보 및 사용자 경험 데이터의 학습에 활용하는 경우, 제1 페이즈 태스크는 데이터 균형성을 고려하여 일반적인 사용자의 개인 특성 정보에서 고연령층의 사용자의 사용자 경험 데이터를 분류하는 태스크일 수 있다. 제2 페이즈 태스크는 더욱 고위험군의 사용자의 사용자 경험 데이터를 분류하는 태스크일 수 있다. 타겟 태스크는 고위험군의 사용자로서, 스마트 웨어러블 디바이스를 적절하게 사용하여 사고 및 위험을 예방하고, 성공적으로 자기 관리 프로세스를 진행하고 있는 사용자의 사용자 경험 데이터를 분류하는 태스크일 수 있다.

분석 서버(1020)가 도 1 내지 도 8의 분리 가능한 전이 학습을 개인 특성 정보 및 사용자 경험 데이터의 학습에 활용하는 경우, 제1 페이즈 태스크는 데이터 균형성을 고려하여 일반적인 사용자의 개인 특성 정보에서 피부의 트러블을 겪고 있는 사용자의 사용자 경험 데이터를 분류하는 태스크일 수 있다. 제2 페이즈 태스크는 더욱 심한 피부 트러블을 겪고 있는 사용자의 사용자 경험 데이터를 분류하는 태스크일 수 있다. 타겟 태스크는 심한 피부 트러블을 겪고 있는 사용자로서, 스마트 웨어러블 디바이스 및/또는 적절한 피부 케어 제품을 사용하여 피부 트러블을 극복하고 성공적으로 자기 관리 프로세스를 진행하고 있는 사용자의 사용자 경험 데이터를 분류하는 태스크일 수 있다.

이때 분석 서버(1020)는 타인의 성공적인 사용자 경험 데이터를 제2 사용자에게 제공하면서, 그 성공적인 사용자 경험 데이터에 관련된 제품을 제2 사용자에게 안내하고, 상기 제품의 구매가 가능한 메뉴를 제2 모바일/컴퓨팅 디바이스(1010b)를 통하여 제2 사용자에게 제공할 수 있다.

분석 서버(1020) 및 플랫폼 시스템(1000)이 스마트 디바이스의 센싱 데이터의 패턴 인식에 집중하는 실시예에서는, 특정한 움직임으로 분류되는 모션 데이터를 식별하기 위하여, 전체 모션 데이터셋 중에서 불균형한 분포를 보이는 타겟 모션 데이터를 식별하는 타겟 태스크에 도달하기까지, 모션 데이터셋을 단계적으로 구분하여 사전 훈련하고, 최종적으로 타겟 태스크를 미세 조정 훈련할 수 있다. 이러한 실시예 중 하나가 앞서 설명된 도 9의 스마트 웨어러블 디바이스들과 연동하는 센싱 데이터 패턴 인식이다.

본 발명의 일 실시예에 따른 머신 러닝 기반의 인공지능을 이용하는 스마트 디바이스의 센싱 데이터의 패턴 인식을 제공하는 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 본 발명의 실시예와 도면에 소개된 길이, 높이, 크기, 폭 등은 이해를 돕기 위해 과장된 것일 수 있다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

100, 200: 컴퓨팅 시스템
110: 프로세서 120: 타겟 인공 신경망
130: 제1 인공 신경망 140: 제2 인공 신경망
150: 통신 모듈 270: 추론의 결과
160: 입력 데이터 260: 추론을 위한 입력 데이터
126: 페이즈 레이어 영역 정보

Claims (15)

1. 머신 러닝 기반의 인공지능을 이용하는 스마트 디바이스 센싱 데이터의 패턴 인식을 제공하는 컴퓨팅 시스템으로서
   상기 컴퓨팅 시스템은
   적어도 하나 이상의 프로세서;
   스마트 디바이스의 센싱 데이터를 포함하는 레퍼런스 데이터셋 중에서 선택된 제1 데이터셋에 기반하여 제1 페이즈(phase) 태스크(task)를 사전 훈련(pre-train)하는 제1 인공 신경망;
   상기 레퍼런스 데이터셋 중에서 선택된 제2 데이터셋에 기반하여 제2 페이즈(phase)의 태스크(task)를 사전 훈련(pre-train)하는 제2 인공 신경망; 및
   상기 레퍼런스 데이터셋 중에서 선택된 타겟 데이터셋에 기반하여 타겟 태스크를 훈련하는 타겟 인공 신경망;
   을 포함하고,
   상기 적어도 하나 이상의 프로세서는 상기 제1 인공 신경망의 사전 훈련 후에 상기 제1 인공 신경망의 제1 페이즈 레이어의 파라미터를 상기 타겟 인공 신경망의 제1 페이즈 레이어로 전이하고(transfer), 상기 제2 인공 신경망의 사전 훈련 후에 상기 제2 인공 신경망의 제2 페이즈 레이어의 파라미터를 상기 타겟 인공 신경망의 제2 페이즈 레이어로 전이하고, 상기 제1 인공 신경망의 제1 페이즈 레이어의 파라미터 및 상기 제2 인공 신경망의 제2 페이즈 레이어의 파라미터를 전이한 후 상기 타겟 인공 신경망이 상기 타겟 태스크를 미세 조정(fine-tuning) 훈련 하도록 제어하는 컴퓨팅 시스템.
2. 제1항에 있어서,
   상기 적어도 하나 이상의 프로세서는 상기 제1 인공 신경망이 상기 제1 데이터셋에 기반하여 상기 제1 페이즈 태스크를 사전 훈련하는 과정과, 상기 제2 인공 신경망이 상기 제2 데이터셋에 기반하여 상기 제2 페이즈 태스크를 사전 훈련하는 과정은 서로 독립적으로 수행되도록 상기 제1 인공 신경망과 상기 제2 인공 신경망을 제어하는 컴퓨팅 시스템.
3. 제1항에 있어서,
   상기 레퍼런스 데이터셋은 상기 스마트 디바이스의 사용자의 움직임에 관련된 센싱 데이터이고,
   상기 타겟 태스크, 상기 제1 페이즈 태스크, 및 상기 제2 페이즈 태스크는 상기 사용자의 움직임의 패턴을 구분하는 태스크이고,
   상기 적어도 하나 이상의 프로세서는 미세 조정 훈련된 상기 타겟 인공 신경망에 현재 사용자의 움직임에 관련된 센싱 데이터를 입력하고 상기 타겟 인공 신경망이 상기 현재 사용자의 움직임이 상기 현재 사용자의 위험을 초래할 수 있는 패턴인 지를 추론하도록 상기 타겟 인공 신경망의 추론을 제어하는 컴퓨팅 시스템.
4. 제3항에 있어서,
   상기 타겟 태스크는 상기 현재 사용자의 움직임 데이터 중 낙상 데이터를 구분하는 태스크이고,
   상기 적어도 하나 이상의 프로세서는 상기 현재 사용자의 움직임 데이터에 기반하여 상기 현재 사용자의 낙상 가능성을 추론하여 상기 현재 사용자의 낙상 가능성이 소정 조건을 충족하는 경우 보호 동작을 위한 제어 신호를 생성하는 컴퓨팅 시스템.
5. 제3항에 있어서,
   상기 적어도 하나 이상의 프로세서는 상기 현재 사용자의 움직임 데이터에 기반하여 상기 현재 사용자의 움직임이 서 있기, 걷기, 뛰기, 차량 탑승, 자전거 타기, 기울어지기, 의자에 앉기, 쪼그려 앉기, 엎드리기, 및 낙상 중 어느 하나에 해당할 가능성을 추론하는 컴퓨팅 시스템.
6. 제1항에 있어서,
   상기 적어도 하나 이상의 프로세서는
   상기 타겟 인공 신경망 내에서 상기 제1 페이즈 레이어 및 상기 제2 페이즈 레이어가 구분되는 페이즈 레이어 영역 정보에 대한 복수의 후보값들을 설정하고,
   상기 복수의 후보값들 각각에 대하여, 상기 제1 인공 신경망의 제1 페이즈 레이어의 파라미터를 상기 타겟 인공 신경망의 제1 페이즈 레이어로 전이하는 과정, 및 상기 제2 인공 신경망의 제2 페이즈 레이어의 파라미터를 상기 타겟 인공 신경망의 제2 페이즈 레이어로 전이하는 과정을 수행하고,
   상기 복수의 후보값들 중 상기 타겟 인공 신경망이 상기 타겟 태스크에 대한 예측 정확도를 최적화할 수 있도록 상기 페이즈 레이어 영역 정보에 대한 최적 페이즈 레이어 영역 정보를 도출하는 컴퓨팅 시스템.
7. 제6항에 있어서,
   상기 적어도 하나 이상의 프로세서는
   강화 학습(reinforcement learning)의 폴리시(Policy)를 상기 페이즈 레이어 영역 정보의 상기 복수의 후보값들에 대응할 수 있도록 설정하고,
   상기 폴리시에 대응하는 미세 조정(fine-tuning) 훈련을 실행한 후 상기 타겟 태스크에 대한 테스트 정확도(test accuracy)를 상기 강화 학습의 보상(reward)으로 설정하여 상기 강화 학습을 수행함으로써 상기 최적 페이즈 레이어 영역 정보를 도출하는 컴퓨팅 시스템.
8. 제1항에 있어서,
   상기 타겟 데이터셋은 사용자의 특정한 움직임을 검출하는 과정의 학습을 위하여 선택된 데이터셋이고,
   상기 제1 데이터셋 및 상기 제2 데이터셋은 상기 레퍼런스 데이터셋 내에서 상기 타겟 데이터셋의 데이터 불균형성(data imbalance)에 기반하여 선택되는 데이터셋인 컴퓨팅 시스템.
9. 제1항에 있어서,
   상기 컴퓨팅 시스템은 제3 데이터셋에 기반하여 제3 페이즈(phase)의 태스크(task)를 사전 훈련(pre-train)하는 제3 인공 신경망을 더 포함하고,
   상기 적어도 하나 이상의 프로세서는 상기 제3 인공 신경망의 사전 훈련 후에 상기 제3 인공 신경망의 제3 페이즈 레이어의 파라미터를 상기 타겟 인공 신경망의 제3 페이즈 레이어로 전이하고(transfer),
   상기 적어도 하나 이상의 프로세서는 상기 제1 인공 신경망의 상기 제1 페이즈 레이어의 파라미터의 전이, 상기 제2 인공 신경망의 상기 제2 페이즈 레이어의 파라미터의 전이, 상기 제3 인공 신경망의 상기 제3 페이즈 레이어의 파라미터의 전이 후에 상기 타겟 인공 신경망이 상기 타겟 태스크를 미세 조정(fine-tuning) 훈련 하도록 제어하는 컴퓨팅 시스템.
10. 머신 러닝 기반의 인공지능을 이용하는 스마트 디바이스 센싱 데이터의 패턴 인식을 제공하는 컴퓨팅 시스템으로서
    상기 컴퓨팅 시스템은
    적어도 하나 이상의 프로세서;
    스마트 디바이스의 센싱 데이터를 포함하는 레퍼런스 데이터셋 중에서 선택된 제1 데이터셋에 기반하여 제1 페이즈(phase) 태스크(task)를 사전 훈련(pre-train)하는 제1 인공 신경망; 및
    제2 데이터셋에 기반하여 제2 페이즈(phase)의 태스크(task)를 사전 훈련(pre-train)하는 제2 인공 신경망;
    을 포함하고,
    상기 적어도 하나 이상의 프로세서는, 상기 제1 인공 신경망의 사전 훈련 및 상기 제2 인공 신경망의 사전 훈련 후에, 상기 제1 인공 신경망 또는 상기 제2 인공 신경망 중 어느 하나를 타겟 데이터셋에 기반하여 타겟 태스크를 훈련하는 타겟 인공 신경망으로 선택하고,
    상기 적어도 하나 이상의 프로세서는, 상기 제2 인공 신경망이 상기 타겟 인공 신경망으로 선택된 경우 상기 제1 인공 신경망의 사전 훈련 후에 상기 제1 인공 신경망의 제1 페이즈 레이어의 파라미터를 상기 타겟 인공 신경망의 제1 페이즈 레이어로 전이하고(transfer),
    상기 적어도 하나 이상의 프로세서는, 상기 제1 인공 신경망이 상기 타겟 인공 신경망으로 선택된 경우 상기 제2 인공 신경망의 사전 훈련 후에 상기 제2 인공 신경망의 제2 페이즈 레이어의 파라미터를 상기 타겟 인공 신경망의 제2 페이즈 레이어로 전이하고,
    상기 제1 인공 신경망의 제1 페이즈 레이어의 파라미터 또는 상기 제2 인공 신경망의 제2 페이즈 레이어의 파라미터를 상기 타겟 인공 신경망으로 전이한 후 상기 타겟 인공 신경망이 상기 타겟 태스크를 미세 조정(fine-tuning) 훈련하도록 제어하는 컴퓨팅 시스템.
11. 머신 러닝 기반의 인공 신경망을 포함하는 스마트 디바이스 센싱 데이터의 패턴 인식을 제공하는 컴퓨팅 시스템에서 실행되는 인공 신경망 훈련 방법에 있어서,
    상기 컴퓨팅 시스템 내의 적어도 하나 이상의 프로세서가, 스마트 디바이스의 센싱 데이터를 포함하는 레퍼런스 데이터셋 중에서 선택된 제1 데이터셋에 기반하여 제1 인공 신경망이 제1 페이즈(phase) 태스크(task)를 사전 훈련(pre-train)하도록 상기 제1 인공 신경망의 사전 훈련을 제어하는 단계;
    상기 적어도 하나 이상의 프로세서가, 제2 인공 신경망이 제2 데이터셋에 기반하여 제2 페이즈(phase) 태스크(task)를 사전 훈련(pre-train)하도록 상기 제2 인공 신경망의 사전 훈련을 제어하는 단계;
    상기 적어도 하나 이상의 프로세서가, 사전 훈련된 상기 제1 인공 신경망의 제1 페이즈 레이어의 파라미터를 타겟 인공 신경망의 제1 페이즈 레이어로 전이하는(transfer) 단계;
    상기 적어도 하나 이상의 프로세서가, 사전 훈련된 상기 제2 인공 신경망의 제2 페이즈 레이어의 파라미터를 상기 타겟 인공 신경망의 제2 페이즈 레이어로 전이하는 단계; 및
    상기 적어도 하나 이상의 프로세서가, 상기 타겟 인공 신경망이 타겟 데이터셋에 기반하여 타겟 태스크를 미세 조정(fine-tuning) 훈련하도록 상기 타겟 인공 신경망의 미세 조정 훈련을 제어하는 단계;
    를 포함하는 인공 신경망 훈련 방법.
12. 제11항에 있어서,
    상기 제1 인공 신경망의 사전 훈련을 제어하는 단계 및 상기 제2 인공 신경망의 사전 훈련을 제어하는 단계는 서로 독립적으로 수행되도록 상기 적어도 하나 이상의 프로세서에 의하여 제어되는
    인공 신경망 훈련 방법.
13. 제11항에 있어서,
    상기 적어도 하나 이상의 프로세서가, 미세 조정 훈련된 상기 타겟 인공 신경망에 현재 사용자의 움직임에 관련된 센싱 데이터를 입력하고 상기 타겟 인공 신경망이 상기 현재 사용자의 움직임이 상기 현재 사용자의 위험을 초래할 수 있는 패턴인 지를 추론하도록 상기 타겟 인공 신경망의 추론을 제어하는 단계;
    를 더 포함하는 인공 신경망 훈련 방법.
14. 제11항에 있어서,
    상기 적어도 하나 이상의 프로세서가, 상기 타겟 인공 신경망 내에서 상기 제1 페이즈 레이어 및 상기 제2 페이즈 레이어가 구분되는 페이즈 레이어 영역 정보에 대한 복수의 후보값들을 설정하는 단계;
    를 더 포함하고,
    상기 적어도 하나 이상의 프로세서에 의하여, 상기 복수의 후보값들 각각에 대하여, 상기 제1 인공 신경망의 제1 페이즈 레이어의 파라미터를 상기 타겟 인공 신경망의 제1 페이즈 레이어로 전이하는 단계; 상기 제2 인공 신경망의 제2 페이즈 레이어의 파라미터를 상기 타겟 인공 신경망의 제2 페이즈 레이어로 전이하는 단계; 및 상기 타겟 인공 신경망의 미세 조정 훈련을 제어하는 단계가 반복적으로 실행되고,
    상기 적어도 하나 이상의 프로세서가, 상기 복수의 후보값들 중 상기 타겟 인공 신경망이 상기 타겟 태스크에 대한 예측 정확도를 최적화할 수 있도록 상기 페이즈 레이어 영역 정보에 대한 최적 페이즈 레이어 영역 정보를 도출하는 단계; 및
    상기 적어도 하나 이상의 프로세서가, 상기 최적 페이즈 레이어 영역 정보에 기반하여 미세 조정 훈련된 상기 타겟 인공 신경망을 최적 타겟 인공 신경망으로서 사용자에게 제공하는 단계;
    를 더 포함하는 인공 신경망 훈련 방법.
15. 제14항에 있어서,
    상기 페이즈 레이어 영역 정보에 대한 상기 복수의 후보값들을 설정하는 단계는 강화 학습(reinforcement learning)의 폴리시(Policy)를 상기 페이즈 레이어 영역 정보의 상기 복수의 후보값들에 대응할 수 있도록 설정하고,
    상기 적어도 하나 이상의 프로세서에 의하여, 상기 복수의 후보값들 각각에 대하여, 상기 제1 인공 신경망의 제1 페이즈 레이어의 파라미터를 상기 타겟 인공 신경망의 제1 페이즈 레이어로 전이하는 단계; 상기 제2 인공 신경망의 제2 페이즈 레이어의 파라미터를 상기 타겟 인공 신경망의 제2 페이즈 레이어로 전이하는 단계; 및 상기 타겟 인공 신경망의 미세 조정 훈련을 제어하는 단계는 상기 강화 학습 내에서 반복적으로 실행되고,
    상기 최적 페이즈 레이어 영역 정보를 도출하는 단계는 상기 폴리시에 대응하여 미세 조정 훈련된 상기 타겟 인공 신경망의 상기 타겟 태스크에 대한 테스트 정확도(test accuracy)가 상기 강화 학습의 보상으로 설정됨으로써 상기 강화 학습 동안 실행되는
    인공 신경망 훈련 방법.

Images