KR102617046B1 - 딥러닝 모델을 이용한 수면 단계 예측 방법 및 분석장치 - Google Patents

Abstract

딥러닝 모델을 이용한 수면 단계 예측 방법은 분석장치가 사용자의 수면 데이터를 입력받는 단계, 상기 분석장치가 상기 수면 데이터를 학습된 딥러닝 모델에 입력하는 단계 및 상기 분석장치가 상기 딥러닝 모델이 출력하는 정보에 따라 상기 사용자의 수면 단계를 예측하는 단계를 포함한다. 상기 딥러닝 모델은 학습 데이터의 도메인을 판별하는 판별기를 사용하여 적대적 학습으로 학습된다.

Description

딥러닝 모델을 이용한 수면 단계 예측 방법 및 분석장치{SLEEP STAGE PREDICTION METHOD USING DEEP LEARNING MODEL AND ANALYSIS APPARATUS}

이하 설명하는 기술은 사용자의 수면 단계 예측 기법이다.

수면 단계는 수면 장애와 같은 건강 상태를 판단하는 정보로 활용된다. 전통적으로 의료진이 수면 중에 발생하는 뇌파 등을 이용하여 임상적으로 수면 단계를 판단하였다.

최근 딥러닝 모델을 이용하여 수면 데이터를 분석하여 현재 수면 상태를 판별하는 기술이 연구되고 있다.

미국공개특허 제US2019-0192069호

최근 딥러닝 모델은 전이 학습을 이용하여 학습 데이터의 부족 문제를 해결하고자 하였다. 다만, 학습 데이터로 이용하는 수면 데이터들은 서로 다른 대상자에 대한 데이터이고 데이터를 측정하는 환경도 달라 종래 기술은 정확한 분석 결과를 담보하기 어렵다.

이하 설명하는 기술은 도메인이 상이한 학습 데이터를 사용하면서도 예측 정확도가 높은 수면 단계 예측 기법을 제공하고자 한다.

딥러닝 모델을 이용한 수면 단계 예측 방법은 분석장치가 사용자의 수면 데이터를 입력받는 단계, 상기 분석장치가 상기 수면 데이터를 학습된 딥러닝 모델에 입력하는 단계 및 상기 분석장치가 상기 딥러닝 모델이 출력하는 정보에 따라 상기 사용자의 수면 단계를 예측하는 단계를 포함한다. 상기 딥러닝 모델은 학습 데이터의 도메인을 판별하는 제1 판별기를 사용한 적대적 학습으로 학습된다.

수면 단계를 예측하는 분석 장치는 사용자의 수면 데이터를 입력받는 입력장치, 수면 단계를 예측하는 학습된 딥러닝 모델을 저장하는 저장장치 및 상기 수면 데이터를 상기 딥러닝 모델에 입력하고, 상기 딥러닝 모델이 출력하는 정보에 따라 상기 사용자의 수면 단계를 예측하는 연산장치를 포함한다. 상기 딥러닝 모델은 학습 데이터의 도메인을 판별하는 제1 판별기를 사용한 적대적 학습으로 학습된다.

이하 설명하는 기술은 도메인 적응을 위한 적대적 학습을 이용하여 학습 데이터의 이질성이 주는 문제를 해결한다. 따라서, 이하 설명하는 기술은 다양한 수면 데이터에 대해서도 정확한 수면 단계 예측을 가능하게 한다.

도 1은 수면 단계를 판별하는 시스템에 대한 예이다.
도 2는 딥러닝 모델을 학습하는 과정에 대한 예이다.
도 3은 수면 데이터에 대한 도메인 적응 예를 도시한다.
도 4는 학습 과정의 신경망 모델의 구조에 대한 예이다.
도 5는 딥러닝 모델을 검증하는 과정에 대한 예이다.
도 6은 분석 장치에 대한 구성의 예이다.
도 7은 수면 단계를 예측하는 딥러닝 모델의 성능을 실험한 결과이다.

이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시례를 가질 수 있는 바, 특정 실시례들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설명된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다.

또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

이하 설명하는 기술은 특정인의 수면 단계를 판별하는 방법이다.

수면 단계는 비수면 내지 각성(Wake), REM(rapid eye movement) 및 NREM(non-rapid eye movement)으로 구분할 수 있고, NREM은 NREM 1(N1), NREM 2(N2) 및 NREM 3(N3)로 구분될 수 있다. 이하 수면 단계는 W(Wake), REM, N2, N2 및 N3로 구분한다고 가정한다. 물론 이하 설명하는 기술을 다른 수면 단계로 분류하는 모델에 적용할 수 있다.

수면 단계는 수면다원검사(Polysomnography)를 통하여 전술한 5 단계로 구분될 수 있다. 수면다원검사는 검사 대상자의 생체 신호를 분석하는 것이다. 생체 신호는 대표적으로 뇌파 신호인 EEG(electroencephalogram), 안구 움직임을 나타내는 EOG(electrooculogram) 및 심전도 신호인 ECG(electrocardiogram)를 포함할 수 있다. 이하 특정인의 수면 단계를 파악하기 위한 생체 신호를 수면 데이터라고 명명한다.

이하 설명하는 기술은 학습모델을 이용하여 수면 단계를 판별한다. 학습모델은 널리 알려진 바와 같이 다양한 모델이 있다. 이하 대표적인 학습 모델인 인공신경망(artificial neural network)을 사용하여 수면 단계를 판별한다. 한편, 인공신경망은 다양한 모델이 있다. 예컨대, 인공신경망은 CNN(Convolutional Neural Network), 오코인토더(auto encoder), 컨볼루셔널 인코더-디코더(convolutional encoder/decoder), RNN(Recurrent Neural Network) 등이 있다. 아래 연구자가 구축한 구체적인 딥러닝 모델에 대하여 설명한다.

이하 인공신경망을 이용하여 수면 단계를 판별 내지 예측하는 장치를 분석장치라고 명명한다. 분석장치는 일정한 데이터 처리 및 연산이 가능한 컴퓨터 장치에 해당한다. 예컨대, 분석장치는 PC, 스마트기기, 서버 등과 같은 장치로 구현될 수 있다. 분석장치는 특정인의 수면 데이터를 사전에 학습된 딥러닝 모델을 입력하고, 딥러닝 모델이 출력하는 값을 기준으로 특정인의 수면 단계를 판별한다.

도 1은 수면 단계를 판별하는 시스템(100)에 대한 예이다. 도 1에서 분석장치는 컴퓨터 단말(150) 및 서버(180)인 예를 도시하였다.

수면 데이터는 다양한 장치가 획득할 수 있다. 의료기관에서 사용하는 생체 정보 측정 장치(110)가 사용자의 수면 데이터를 획득할 수 있다. 생체 정보 측정 장치(110)는 EEG 신호 센싱 장치, EOG 신호 센싱 장치 및 ECG 신호 센싱 장치를 포함할 수 있다. 도 1은 EEG 신호 센싱 장치를 대표로 도시하였다. 개인이 사용하는 웨어러블 기기(120)도 사용자의 수면 데이터를 획득할 수 있다. 예컨대, 웨어러블 기기(120)는 심박신호를 센싱할 수 있다. 수집된 개인의 수면 데이터는 EMR(Electronic Medical Record, 130)과 같은 별도의 장치가 보유할 수도 있다.

도 1에서 사용자(A)는 컴퓨터 단말(150)을 이용하여 사용자의 수면 단계를 예측할 수 있다. 이 경우, 컴퓨터 단말(150)은 예측에 필요한 입력데이터를 입력받고, 입력데이터를 딥러닝 모델에 전달하여 사용자의 수면 단계 예측 결과를 산출한다.

서버(180)는 학습모델을 이용하여 사용자의 수면 단계를 예측할 수 있다. 이 경우, 서버(180)는 예측에 필요한 입력데이터를 수신하고, 입력데이터를 딥러닝 모델에 입력하여 사용자의 수면 단계 예측 결과를 산출한다. 사용자(A)는 네트워크상의 서버(180)에 접속하여 분석 결과를 확인할 수 있다.

딥러닝 모델은 수면 데이터를 입력받아, 입력된 데이터에 대응하는 수면 단계를 산출할 수 있다.

사용자(A)는 사용자에 대한 수면 단계 정보를 필요로하는 사람이다. 예컨대, 사용자(A)는 사용자 개인, 의사, 연구자 등일 수 있다.

컴퓨터 단말(150) 및/또는 서버(180)는 분석 결과를 EMR(130)에 전달할 수도 있다.

이하 학습모델을 구축하는 과정을 설명한다. 연구자가 학습모델을 구축한 과정을 중심으로 설명한다. 학습모델의 학습은 연구자 또는 개발자는 PC, 서버 등과 같은 컴퓨터 장치를 이용하여 수행된다. 따라서, 이하 컴퓨터 장치가 학습모델의 학습 과정을 수행한다고 설명한다.

이하 딥러닝 모델의 학습 과정에 대하여 설명한다.

딥러닝 모델 학습 과정은 학습 데이터가 필요하다. 학습 데이터는 특정인에 대한 수면 데이터 및 해당 수면 데이터에 대한 라벨값(수면 단계)을 포함한다. 다만, 장기간에 걸친 대량의 수면 데이터를 획득하기 쉽지 않다.

학습 데이터가 부족한 경우, 전이 학습(transfer learning)과 같이 대량의 데이터(소스 도메인)로 초기학습(pre-trained)한 네트워크를 소량의 데이터(타깃 도메인)에 적용하는 방법이 있다. 다만, 이 경우 소스 데이터와 타깃 데이터 사이의 데이터 분포의 차이로 인하여 딥러닝 모델의 정확도가 보장되지 않을 수 있다. 이 문제를 극복하기 위하여 연구자는 도메인들의 차이를 조절(re-aligning)하기 위하여 비지도 도메인 적응(domain adaptation)을 사용하였다.

이하 설명하는 도메인 적응은 라벨값이 부족한 타깃 도메인에 대해서도 모델 성능을 높이고자 한다.

도 2는 딥러닝 모델을 학습하는 과정에 대한 예이다.

이하 X^S 및 X^T는 각각 소스 도메인의 수면 데이터(n개 샘플)와 타깃 도메인의 수면 데이터(m개의 샘플)를 나타낸다. 특정 소스 샘플

∈ X^S = 로 표현될 수 있다.

은 라벨값으로

∈ C^S = {W, N1, N2, N3, REM}이다.

는 X^S에 속한 대상자(subject)의 식별자 또는 대상자 그룹을 나타낸다. X^T는 학습 샘플 m_tr과 검증 샘플 m_te로 구분된다.

학습 과정은 적대적 학습 방식을 이용하여 판별기가 필요하다. 도 2에서 ε는 특징 추출기, D는 판별기(discriminator), C는 분류기를 나타낸다. 학습 과정에서 판별기는 D = {D^dom, D^stg, D^sub}로 구분된다. D^dom은 소스 도메인과 타깃 도메인 사이의 공통 특징을 추출 공간을 생성하기 위한 전역적 도메인 적응에 사용된다. D^stg는 수면 단계를 판별하고, D^sub는 대상자를 판별한다. D^stg 및 D^sub는 수면 데이터의 내부 구조를 반영한 지역적 적응을 위한 것이다.

학습 대상인 딥러닝 모델은 임의의 학습 샘플에 대한 데이터를 입력받는다(①). 딥러닝 모델은 임의의 입력 샘플에 대하여 ε와 D 사이에서 소스 지식 y^S 및 Z^S를 전달하고, 도메인 간 변하지 않는 특징을 전달하게 한다. 학습 과정은 순방향 과정(forward pass)과 역방?e 과정(backward pass)으로 구성된다.

순방향 과정을 설명한다.

ε는 학습 샘플을 입력받아 학습 샘플의 특징을 추출한다. 학습 샘플에서 d는 해당 샘플의 도메인을 나타내는 인덱스이다. d = 1은 소스 도메인을 나타내고, d = 0은 타깃 도메인을 나타낸다.

C는 추출된 특징을 기준으로 입력 샘플에 대한 현재 수면 단계 y^pred를 결정한다(②).

D는 도메인 예측 세트 {d^dom, d^stg, d^sub}를 출력한다(②).

이후 분류기 C와 판별기 D가 산출한 정보를 기준으로 각각 손실을 연산한다(③). 먼저, D의 손실은 아래의 수학식 1과 같이 표현할 수 있다.

L^dom은 크로스 엔트로피 손실함수로부터 연산되는 전역적 판별 손실을 나타내며, d와 d^dom의 차이를 측정한다. L^stg와 L^sub은 L^dom만을 사용하고 남은 지역적 오정렬을 보정하기 위하여 연산된다.

역방향 과정을 설명한다.

딥러닝 모델은 아래 수학식 2와 같이 분류 손실을 최소화하도록 분류기의 파라미터를 갱신한다(④).

분류 손실 함수 L^C는 아래 수학식 3과 같다.

수학식 3에서 는 소스 샘플에 대한 크로스엔트로피 손실함수로서, 아래 수학식 4와 같이 표현된다. α는 적응적 하이퍼파라미터로서 타깃 도메인에서 수면 단계 손실을 보정하기 위한 값이다.

수학식 4에서 및 는 각각 입력 샘플과 입력 샘플에 대응되는 라벨값이다. H()는 크로스엔트로피 손실 함수이며, 는 C의 출력에 대한 소프트맥스값이다.

는 타깃 샘플에 대한 조건부 크로스엔트로피 손실 함수이다. 샘플에 대한 라벨값이 부족하므로 는 아래 수학식 5와 같이 신뢰도(confidence)를 측정하여 연산한다.

로서 의 k 번째 요소이다. 는 가 k번째 클래스에 속한 확률을 의미한다.

딥러닝 모델은 ε와 D 사이의 판별 손실에 대한 미니맥스 게임(minimax game)을 통하여 적응을 수행한다. 최적화 과정은 아래 수학식 6과 같이 표현할 수 있다.

C는 역방향 전파에 따른 그레디언트(gradient)를 연산하여 L^C를 최소화하도록 갱신된다. D는 L^D를 최소화하도록 갱신된다(⑤). D에서 출력하는 그레디언트 는 ε의 적대적 학습을 위하여 역으로 변환된다(⑥). 그리고 C와 D로부터 각각 그레디언트가 ε로 제공된다. 따라서, ε는 L^C를 최소화하고, 동시에 L^D를 최대화하도록 갱신된다(⑦).

전체 판별기 손실 함수 L^d는 수학식 1에서 표현한 바 있다. L^d는 아래 수학식 7과 같이 도메인 판별 손심 함수 , l번째 대상자의 샘플에 대한 대상자 판별 손실 함수 및 k 번째 수면 단계에 속한 샘플에 대한 수면 단계 판별 손실 함수 를 합산한 값이다.

b는 대상자 개수이고, r은 수면 단계의 개수이다.

L^dom은 아래 수학식 8과 같이 정의될 수 있다.

은 D^dom(ε(x_i))의 출력값이고, d_i는 x_i ∈ X^S이면 1로 설정되고, 그렇지 않은 경우 0으로 설정된다.

는 아래 수학식 9와 같이 정의될 수 있다.

는

(ε(x_i))의 출력값이고, k ∈ {1,2,3,4,5}는 수면 단계를 나타내는 인덱스이다. 는 x_i가 k번째 클래스에 속할 확률이다. x_i ∈ X^S이고 y_i가 k라면 는 1로 설정되고, 그렇지 않다면 0으로 설정된다. x_i ∈ X^T라면, 라벨값이 부족하므로 분류기 C의 출력 로짓(logit)으로부터 결정할 수 있다.

는 아래 수학식 10과 같이 정의될 수 있다.

는

(ε(x_i))의 출력값이고, l ∈ {1,2,...,b}는 l번째 대상자를 나타내는 인덱스이다. 는 x_i가 l번째 대상자에 속할 확률이다. 는 x_i ∈ X^S이고 l번째 대상자에 속한다면(즉, z_i = l) 1로 설정되고, 그렇지 않다면 0으로 설정된다. x_i ∈ X^T라면, 는 1/b로 설정된다.

개별 판별기가 나타내는 그레디언트의 방향성이 서로 다르면 학습 과정이 느려진다. 따라서 연구자는 각 그레디언트의 방향성 및 경사(slope)가 일치하도록 아래와 같은 최적화 스킴을 사용하였다. 특히 전역 판별기와 지역 판별기의 그레디언트를 정렬하기 위하여 그레디언트 동기화 손실을 사용하였다.

는 수면 단계 판별기와 대상자 판별기의 그레디언트를 정렬하기 위한 손실함수로서 아래 수학식 11과 같이 표현할 수 있다.

수학식 11에서 첫 번째 항은 l 번째 대상자 판별기의 그레디언트의 양을 나타내고, 두 번째 항은 l 번째 대상자의 모든 수면 단계 판별기의 그레디언트의 합을 나타낸다.

는 도메인 판별기와 대상자 판별기의 그레디언트를 정렬하기 위한 손실함수로서 아래 수학식 12와 같이 표현할 수 있다.

수학식 12에서 첫 번째 항은 도메인 판별기의 그레디언트의 합을 나타내고, 두 번째 항은 모든 대상자 판별기의 그레디언트의 합을 나타낸다.

최종적으로 그레디언트 동기화 손실은 아래 수학식 13과 같다.

그레디언트 동기화 손실을 사용하면 모든 그레디언트 하강의 방향이나 경사가 동기화될 수 있다.

전술한 수학식 2 및 수학식 3에서 목적 함수를 정의하였다. 이하 학습율 에서 전체적인 최적화 과정을 설명한다. 각 단계의 파라미터는 θ로 표현한다.

먼저, 분류기 C는 수학식 2에서 정의한 분류 손실을 최소화하도록 최적화된다. 분류기 C의 파라미터는 아래의 수학식 14와 같이 갱신될 수 있다.

판별기는 D = {D^dom, D^stg, D^sub}는 아래의 수학식 15와 같이 수학식 1의 판별 손실과 수학식 13의 동기화 손실을 결합한 손실이 최소화되도록 최적화된다.

β는 하이퍼파라미터이다.

개별 판별기의 파라미터는 아래 수학식 16과 같이 갱신될 수 있다.

한편, ε는 동시에 식별력을 갖고 도메인 사이에서 변화되지 않는 특징을 생성하도록 최적화된다. 도메인에 영향을 받지 않는 특징을 학습하기 위하여 판별기의 그레디언트는 그레디언트 역 계층에 의하여 역 변환된다. 수학적으로 그레디언트 역 변환은 판별기 손실을 음의 값을 만들어 수행된다. 따라서, 분류기는 아래 수학식 17로 표현되는 손실을 최소화하도록 최적화된다.

분류기의 파라미터 갱신은 아래 수학식 18과 같다.

수학식 4와 수학식 15에서 각각 α와 β라는 가중치 요소를 사용하였다. 하이퍼파라미터는 학습 과정에서 동적으로 조절될 수 있다. 연구자는 반복되는 학습 과정에서 소스 도메인의 손실과 타깃 도메인의 손실 사이의 비율을 아래의 수학식 19와 같이 조절하였다.

및 는 각각 소스 도메인과 타깃 도메인의 크로스엔트로피 손실이다. 는 그레디언트 동기화 손실이다. 는 모든 판별기 손실의 평균값이다. p는 비율을 조절하기 위한 상수 파라미터이다.

도 3은 수면 데이터에 대한 도메인 적응 예를 도시한다. 전술한 바와 같이 연구자는 전역적 도메인 적응뿐만 아니라, 지역적 도메인에 해당하는 수면 단계 D^stg 및 대상자 D^sub에 대한 도메인 적응을 도입하였다. 도 3에서 각 수면 단계는 서로 다른 모양을 갖는 객체로 표현하였다. W는 아스트릭(*), N1은 원, N2는 사각형, N3는 삼각형, REM은 둥근 화살표 내지 물결 모양으로 표현하였다. 도 3에서 서로 다른 대상자(주체)는 서로 다른 색상으로 표현하였다.

도 3(A)는 전역적 분포는 정렬되었지만, 지역적 분포가 여전히 정렬되지 않은 수면 데이터 공간을 도시한 예이다. 특히 수면 데이터는 대상자에 따라 큰 변이의 분포를 가질 수 있다. 대상자는 수면 장애, 나이, 생리학적 상태 등이 다를 수 있고, 이 경우 대상자별로 수집한 수면 데이터의 분포 자체가 서로 상이할 수 있다. 나아가, 수면 데이터를 수집하는 장비가 병원의 전문 장비인지, 개인이 사용하는 웨어러블 기기인지에 따라 데이터의 민감도가 상이할 수 있다.

연구자는 소스 도메인으로 MASS 데이터 세트를 이용하였고, 타깃 도메인으로 Sleep-EDF를 이용하였다. 소스 도메인 데이터는 정상인의 데이터이고, 타깃 도메인 데이터는 일부 수명 장애 환자의 데이터를 포함한다. 도 3(A)를 살펴보면 대상자에 기인한 미정렬(subject-wise misalignment)를 볼 수 있다.

한편, 수면 단계는 신호 특징에 따라 분류되는데 REM과 Wake 상태의 뇌 신경 활동이 유사한 부분이 있다. 도 3(A)를 살펴 보면 대상자 1, 대상자 3 및 대상자 4의 W 단계가 REM 공간에 정렬된 것을 볼 수 있다. 수면 단계에 따른 정렬은 전기적 잡음과 같은 외부 요소의 영향을 받을 수도 있다.

도 3(B)는 지역적 도메인까지 정렬한 상태인 수면 데이터 공간에 대한 예이다. 도 3(A)와 달리 수면 단계 및 대상자에 따라 공간에 정확하게 정렬된 것을 알 수 있다.

전역 도메인 판별기 D^dom는 소스 데이터 또는 타깃 데이터로부터 특징 f_i를 추출한 것인지 판단한다. D^dom는 X^S와 X^T에 걸쳐서 도메인에 영향을 받지 않는 특징을 검출하게 한다.

지역적 도메인 판별기 D^stg는 서로 다른 도메인에서 동일 수면 단계를 나타내는 데이터 사이의 차이를 해결하기 위한 것이다.

, k ∈ C^S를 이용하여 소스 도메인의 k번째 단계가 타깃 도메인의 동일 단계에 정렬되게 한다. 지역적 도메인 판별기 는 l번째 대상자에 대하여 대상자별 적응을 하게 한다.

지역적 도메인 판별기는 지역적 분포 차이를 해결하고, 타깃 도메인에 효과적으로 일정한 정보(knowledge)를 전달하게 한다. 여기서 전달되는 정보는 수면 단계 및 대상자에 대한 정보이다.

도 4는 학습 과정의 신경망 모델(200)의 구조에 대한 예이다. 신경망 모델(200)은 특징 추출기(210), 분류기(220) 및 판별기(230)를 포함한다.

특징 추출기(210)는 입력되는 수면 데이터에서 특징을 추출하는 구성으로 컨볼루션 계층(convolutional layer)을 포함한다. 분류기(220) 및 판별기(230)는 특징 추출기(210)가 출력하는 특징에 기반하여 수면 단계 및 도메인을 예측하는 구성으로 전연결계층(fully connected layers)을 포함한다.

판별기(230)는 D^dom, D^stg 및 D^sub로 구성된다. 각 판별기는 도메인을 예측하는 다중 전열결 계층을 포함한다. 개별 판별기의 가지(branch)의 개수는 수면 단계의 개수나 대상자 종류의 개수와 같이 해당 도메인을 구성하는 요소의 종류에 따라 결정된다. 예컨대, D^stg는 수면 단계의 종류에 따라 5개의 가지를 포함한다. D^sub는 소스 도메인에서 대상자 개인의 명수 또는 대상자 그룹의 개수에 따라 가지 개수가 달라질 수 있다.

도 5는 딥러닝 모델을 검증하는 과정에 대한 예이다. 검증 과정은 타깃 도메인의 검증 데이터를 이용한다. 검증 대상인 딥러닝 모델(300)은 학습 과정을 통해 학습된 특징 추출기ε(310) 및 분류기 C (320)만으로 구성된다. 즉, 수면 단계 분류를 위한 최종 딥러닝 모델은 학습 과정을 통해 마련된 ε 및 C만으로 구성된다. 검증 과정에서 타깃 도메인의 검증 샘플 에 대하여 아래 수학식 20과 같은 분류 결과를 산출한다.

도 5의 딥러닝 모델(300)이 사용자의 수면 단계 판별을 위한 최종 모델에 해당한다. 딥러닝 모델(300)은 도 1의 하단에 도시한 딥러닝 모델에 해당한다.

도 6은 분석 장치(400)에 대한 구성의 예이다. 분석장치(400)는 수면 데이터를 이용하여 사용자의 수면 단계를 판별 내지 예측하는 장치이다. 분석장치(400)는 물리적으로 다양한 형태로 구현될 수 있다. 예컨대, 분석장치(400)는 스마트 기기, 컴퓨터 장치, 네트워크의 서버, 데이터 처리 전용 칩셋 등의 형태를 가질 수 있다. 컴퓨터 장치는 스마트 기기 등과 같은 모바일 기기를 포함할 수 있다.

분석장치(400)는 저장 장치(410), 메모리(420), 연산장치(430), 인터페이스 장치(440), 통신 장치(450) 미 출력장치(460)를 포함한다.

저장 장치(410)는 수면 데이터 분석을 위한 딥러닝 모델을 저장한다. 딥러닝 모델은 도 5에서 설명한 구조의 모델로서 사전에 학습된 모델이다.

저장 장치(410)는 수면 데이터 처리에 필요한 프로그램 내지 소스 코드 등을 저장할 수 있다. 저장 장치(410)는 수면 데이터, 분석 결과 등을 저장할 수 있다.

메모리(420)는 수면 단계 분석 과정에서 생성되는 데이터 및 정보 등을 저장할 수 있다.

인터페이스 장치(440)는 외부로부터 일정한 명령 및 데이터를 입력받는 장치이다. 인터페이스 장치(440)는 물리적으로 연결된 입력 장치 또는 외부 저장 장치로부터 수면 데이터를 입력받을 수 있다. 인터페이스 장치(440)는 수면 단계 분석을 위한 딥러닝 모델을 입력받을 수 있다. 인터페이스 장치(440)는 신경망 모델 학습을 위한 학습데이터, 정보 및 파라미터값을 입력받을 수도 있다.

통신 장치(450)는 유선 또는 무선 네트워크를 통해 일정한 정보를 수신하고 전송하는 구성을 의미한다. 통신 장치(450)는 외부 객체로부터 수면 데이터를 수신할 수 있다. 통신 장치(450)는 딥러닝 모델 및 모델 학습을 위한 데이터도 수신할 수 있다. 통신 장치(450)는 분석 결과를 외부 객체로 송신할 수 있다.

통신 장치(450) 내지 인터페이스 장치(440)는 외부로부터 일정한 데이터 내지 명령을 전달받는 장치이다. 통신 장치(450) 내지 인터페이스 장치(440)를 입력장치라고 명명할 수 있다.

연산 장치(430)는 저장장치(410)에 저장된 딥러닝 모델을 이용하여 사용자의 수면 단계를 예측한다. 연산 장치(430)는 입력 장치를 통해 입력되는 수면 데이터를 딥러닝 모델에 입력하고, 딥러닝 모델이 출력하는 값을 기준으로 해당 수면 데이터의 사용자에 대한 수면 단계를 예측할 수 있다.

연산 장치(430)는 필요한 경우 입력되는 수면 데이터를 일정하게 전처리할 수도 있다. 연산 장치(430)는 전처리한 수면 데이터를 딥러닝 모델에 입력할 수 있다.

연산 장치(430)는 주어진 학습 데이터를 이용하여 전술한 과정을 통해 딥러닝 모델을 학습할 수도 있다.

연산 장치(430)는 데이터를 처리하고, 일정한 연산을 처리하는 프로세서, AP, 프로그램이 임베디드된 칩과 같은 장치일 수 있다.

출력장치(460)는 수면 단계 분석을 위한 과정의 인터페이스 화면을 출력할 수 있다. 출력장치(460)는 예측된 수면 단계에 대한 정보를 출력할 수 있다.

도 7은 수면 단계를 예측하는 딥러닝 모델의 성능을 실험한 결과이다. 도 7은 딥러닝 모델의 판별기에 대한 구성을 달리한 경우에 대한 예이다.

도 7(A)는 소스 도메인의 데이터로 학습되고, 타깃 도메인의 데이터로 검증한 결과를 나타낸다. 도 7(A)는 판별기를 사용하지 않은 경우이다. 즉, 특징 추출기와 분류기만을 학습한 결과이다. 도 7(B)는 도메인 판별기 D^dom만을 사용한 결과이다. 도 7(C)는 도메인 판별기 D^dom, 수면 단계 판별기 D^stg, 대상자 판별기 D^sub를 모두 사용한 결과이다. 도 7(D)는 동일 도메인의 학습되고, 해당 도메인의 데이터로 검증한 결과이다. 딥러닝 모델은 도 7(D)에서 최고 성능을 보인다고 하겠다. 따라서, 도 7(D)가 딥러닝 모델의 상한에 해당한다. 도 7에서 정확한 예측은 좌측 상단에서 우측 하단 방향으로 진행하는 대각선에 기재된 값이다.

도 7을 살펴보면, 전체적으로 (A) < (B) < (C) < (D) 순서로 성능이 높은 것을 알 수 있다. 판별기를 사용하는 경우, 도메인 판별기 D^dom, 수면 단계 판별기 D^stg, 대상자 판별기 D^sub를 모두 사용한 경우 성능이 높았다. 도 7(C)는 도 7(D)와 거의 유사한 성능을 보이고 있다. 따라서, 전술한 바와 같이 전역적 도메인 및 지역적 도메인에 대한 판별기를 사용한 적대적 학습으로 도출된 딥러닝 모델의 성능이 상당히 뛰어나다는 것을 알 수 있다.

또한, 상술한 바와 같은 수면 단계 판별 방법은 컴퓨터에서 실행될 수 있는 실행가능한 알고리즘을 포함하는 프로그램(또는 어플리케이션)으로 구현될 수 있다. 상기 프로그램은 일시적 또는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM (read-only memory), PROM (programmable read only memory), EPROM(Erasable PROM, EPROM) 또는 EEPROM(Electrically EPROM) 또는 플래시 메모리 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

일시적 판독 가능 매체는 스태틱 램(Static RAM，SRAM), 다이내믹 램(Dynamic RAM，DRAM), 싱크로너스 디램 (Synchronous DRAM，SDRAM), 2배속 SDRAM(Double Data Rate SDRAM，DDR SDRAM), 증강형 SDRAM(Enhanced SDRAM，ESDRAM), 동기화 DRAM(Synclink DRAM，SLDRAM) 및 직접 램버스 램(Direct Rambus RAM，DRRAM) 과 같은 다양한 RAM을 의미한다.

본 실시례 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시례는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.

Claims (12)

1. 분석장치가 사용자의 수면 데이터를 입력받는 단계;
   상기 분석장치가 상기 수면 데이터를 학습된 딥러닝 모델에 입력하는 단계; 및
   상기 분석장치가 상기 딥러닝 모델이 출력하는 정보에 따라 상기 사용자의 수면 단계를 예측하는 단계를 포함하되,
   상기 딥러닝 모델은 특징 추출기 및 분류기를 포함하고,
   상기 딥러닝 모델은 학습 데이터의 도메인을 판별하는 제1 판별기, 상기 학습 데이터의 수면 단계를 판별하는 제2 판별기 및 상기 학습 데이터의 대상자를 판별하는 제3 판별기를 사용하여 적대적으로 학습되는 딥러닝 모델을 이용한 수면 단계 예측 방법.
2. 제1항에 있어서,
   상기 수면 데이터는 EEG(electroencephalogram) 데이터, EOG(electrooculogram) 데이터 및 ECG(electrocardiogram) 데이터 중 적어도 하나의 데이터를 포함하는 딥러닝 모델을 이용한 수면 단계 예측 방법.
3. 제1항에 있어서,
   상기 수면 단계는 비수면(Wake), REM(rapid eye movement) 및 NREM 1(non-rapid eye movement), NREM 2 및 NREM 3 중 어느 하나로 분류되는 딥러닝 모델을 이용한 수면 단계 예측 방법.
4. 삭제
5. 제1항에 있어서,
   상기 분류기는 소스 샘플의 크로스엔트로피 손실함수 및 타깃 샘플의 크로스엔트로피 손실함수의 합인 손실을 최소화하도록 학습되고, 상기 소스 샘플과 상기 타깃 샘플은 서로 도메인이 상이한 샘플인 딥러닝 모델을 이용한 수면 단계 예측 방법.
6. 제1항에 있어서,
   상기 특징 추출기는 상기 분류기의 손실함수가 최소가 되면서 동시에, 상기 제1 판별기, 상기 제2 판별기 및 상기 제3 판별기의 손실합수의 합이 최대가 되도록 학습되는 딥러닝 모델을 이용한 수면 단계 예측 방법.
7. 사용자의 수면 데이터를 입력받는 입력장치;
   수면 단계를 예측하는 학습된 딥러닝 모델을 저장하는 저장장치; 및
   상기 수면 데이터를 상기 딥러닝 모델에 입력하고, 상기 딥러닝 모델이 출력하는 정보에 따라 상기 사용자의 수면 단계를 예측하는 연산장치를 포함하되,
   상기 딥러닝 모델은 특징 추출기 및 분류기를 포함하고,
   상기 딥러닝 모델은 학습 데이터의 도메인을 판별하는 제1 판별기, 상기 학습 데이터의 수면 단계를 판별하는 제2 판별기 및 상기 학습 데이터의 대상자를 판별하는 제3 판별기를 사용하여 적대적으로 학습되는 수면 단계를 예측하는 분석 장치.
8. 제7항에 있어서,
   상기 수면 데이터는 EEG(electroencephalogram) 데이터, EOG(electrooculogram) 데이터 및 ECG(electrocardiogram) 데이터 중 적어도 하나의 데이터를 포함하는 수면 단계를 예측하는 분석 장치.
9. 제7항에 있어서,
   상기 수면 단계는 비수면(Wake), REM(rapid eye movement) 및 NREM 1(non-rapid eye movement), NREM 2 및 NREM 3 중 어느 하나로 분류되는 수면 단계를 예측하는 분석 장치.
10. 삭제
11. 제7항에 있어서,
    상기 분류기는 소스 샘플의 크로스엔트로피 손실함수 및 타깃 샘플의 크로스엔트로피 손실함수의 합인 손실을 최소화하도록 학습되고, 상기 소스 샘플과 상기 타깃 샘플은 서로 도메인이 상이한 샘플인 수면 단계를 예측하는 분석 장치.
12. 제7항에 있어서,
    상기 특징 추출기는 상기 분류기의 손실함수가 최소가 되면서 동시에, 상기 제1 판별기, 상기 제2 판별기 및 상기 제3 판별기의 손실합수의 합이 최대가 되도록 학습되는 수면 단계를 예측하는 분석 장치.

Images