KR102526181B1 - 다채널의 생체 신호들을 포함하는 이미지를 기반으로 수면 단계를 분류하는 전자 장치, 및 수면 단계 분류 방법 - Google Patents

Abstract

전자 장치가 개시된다. 본 전자 장치는, 입력된 이미지를 기반으로 수면 단계를 판단하도록 훈련된 인공지능 모델이 저장된 메모리, 사용자로부터 수집된 다채널의 생체 신호들이 포함된 이미지를 인공지능 모델에 입력하여, 사용자의 수면 단계를 식별하는, 프로세서를 포함한다.

Description

다채널의 생체 신호들을 포함하는 이미지를 기반으로 수면 단계를 분류하는 전자 장치, 및 수면 단계 분류 방법 { ELECTRONIC APPARATUS FOR CLASSIFICATION OF SLEEP STAGES BASED ON IMAGE INCLUDING MULTI-CHANNEL BIO-SIGNALS, AND SLEEP STAGE CLASSIFICATION METHOD THEREOF }

본 개시는 수면 단계 분류를 수행하는 전자 장치에 관한 것으로, 보다 상세하게는, CNN(Convolutional Neural Network) 모델을 이용하여 수면 단계 분류를 수행하는 전자 장치에 관한 것이다.

"2021-데이터중심병원-2" (연구사업/과제명: 2021년 의료데이터 중심병원 지원사업, 부처명: 보건복지부, 연구관리전문기관: 한국보건의료정보원, 주관기관: 한림대학교 성심병원)

최근 인공지능의 구현 방법으로써 딥 러닝(Deep Learning)이 다양한 문제들을 효과적으로 해결할 수 있다는 것이 밝혀진 이후 연구자들은 딥 러닝을 다양한 문제에 적용시켰다.

특히, 의료 분야에서 분류(Classification) 및 검출(Detection) 등에 인공지능이 널리 활용되고 있다. 수면 단계 분류(sleep stage classification) 문제 또한 의료 분야에서 기계 학습이 적용되어 활용되어 왔던 분야 중 하나이다.

수면 단계 분류 문제에서 대부분의 연구들은 일차원 (1 Dimensional, 1-D) EEG(electroencephalogram), EOG(electrooculogram), EMG(electromyogram) 신호 등 생체 신호 데이터 자체를 딥러닝 모델의 입력으로 사용하였으며, 1-D 신호 데이터가 갖는 주파수 특성을 함께 고려하기 위하여 신호 데이터를 “스펙트로그램”(spectrogram) 이미지로 변환하여 딥러닝 모델의 입력으로 사용한 경우가 대부분이다.

스펙트로그램 이미지를 통해 생체 신호가 갖는 시간-영역(time-domain)의 특성과 주파수-영역(frequency-domain)의 특성을 모두 고려할 수 있어, 수면 단계에 따른 뇌파의 변화를 잘 표현할 수 있다고 판단되기 때문이다.

다만, 스펙트로그램에서, x축은 시간의 흐름을 나타내며 y축은 주파수 특성을 보여주기 때문에, 일반적으로 의사 및 평가자가 수면 단계 분류를 위해 실제로 사용하는 시간-출력 데이터(ex. 시간에 따른 생체 신호 그래프)와는 매우 다른 형태라는 점에서 단점이 있다.

구체적으로, 스펙트로그램을 통해 인공지능 모델을 훈련시키는 경우, 매번 생체 신호가 수집될 때마다 스펙트로그램 형태로 변환(도메인 변환)할 필요가 있고, 스펙트로그램을 기반으로 한 인공지능 모델의 판단 근거가 의사/전문가에 의해 쉽게 이해되기도 힘들며, 모델 훈련의 복잡도도 높다는 등의 문제가 있다.

등록특허공보 제10-21198050000호(수면 모니터링 및 코칭을 위한 생체정보 측정 시스템 및 방법)

본 개시는, 사람이 보는 것과 같은 형태의 PSG(polysomnography) 신호의 이미지로도 수면 단계 분류를 할 수 있는 딥 러닝 모델을 이용하는 전자 장치 및 수면 단계 분류 방법을 제공한다.

본 개시의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 개시의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 개시의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 개시의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

본 개시의 일 실시 예에 따른 전자 장치는, 입력된 이미지를 기반으로 수면 단계를 판단하도록 훈련된 인공지능 모델이 저장된 메모리, 사용자로부터 수집된 다채널의 생체 신호들이 포함된 이미지를 상기 인공지능 모델에 입력하여, 상기 사용자의 수면 단계를 식별하는, 프로세서를 포함한다.

상기 이미지는, 상기 다채널의 생체 신호들 각각의 시간에 따른 신호 값이 도시된 그래프들을 포함할 수 있다.

상기 프로세서는, 상기 다채널의 생체 신호들 각각의 시간 별 로우 데이터를 기반으로, 시간에 따른 생체 신호의 출력이 도시된 그래프를 채널 별로 획득하고, 상기 채널 별로 획득된 그래프들이 서로 다른 영역에 포함된 이미지를 합성하고, 상기 합성된 이미지를 상기 인공지능 모델에 입력하여, 상기 사용자의 수면 단계를 식별할 수 있다.

이 경우, 상기 프로세서는, 상기 합성된 이미지 내 영역 별로 서로 다른 픽셀 값을 추가하여, 상기 이미지를 변환하고, 상기 변환된 이미지를 상기 인공지능 모델에 입력하여, 상기 사용자의 수면 단계를 식별하고, 상기 인공지능 모델은, 상기 영역 별로 추가된 픽셀 값을 기반으로, 각 채널에 매칭되는 그래프를 식별할 수도 있다.

한편, 상기 프로세서는, 복수의 환자 각각의 다채널의 생체 신호들이 포함된 복수의 훈련 이미지를 기반으로, 상기 인공지능 모델을 훈련시킬 수 있다.

이 경우, 상기 프로세서는, 상기 복수의 훈련 이미지 각각에 대하여, 상기 다채널의 생체 신호들 각각에 매칭되는 영역 별로 서로 다른 픽셀 값을 추가하여, 상기 복수의 훈련 이미지를 변환하고, 상기 변환된 복수의 훈련 이미지를 기반으로 상기 인공지능 모델을 훈련시킬 수 있다.

한편, 상기 인공지능 모델은, 입력된 이미지로부터 특징 정보를 획득하기 위한 적어도 하나의 Convolution Layer를 포함하는 제1 모듈, 상기 특징 정보를 시간에 따라 입력 받기 위한 LSTM(Long Short-Term Memory) 계층으로 구성된 제2 모듈, 상기 LSTM 계층의 출력을 기반으로 수면 단계를 분류하기 위한 적어도 하나의 Fully Connected Layer를 포함하는 제3 모듈을 포함할 수 있다.

상기 다채널의 생체 신호들은, EEG(Electro Encephalogram), EOG(Electro Oculogram), EMG(Electro Myography), ECG(Electro Cardiogram), Flow, Thorax, Abdomen 중 적어도 하나의 생체 신호에 해당할 수 있다.

본 개시의 일 실시 예에 따른 전자 장치는, 입력된 이미지를 기반으로 수면 단계를 판단하기 위한 인공지능 모델이 저장된 메모리, 환자로부터 수집된 다채널의 생체 신호들이 포함된 이미지를 기반으로 상기 인공지능 모델을 훈련시키는, 프로세서를 포함한다.

본 개시의 일 실시 예에 따라 입력된 이미지를 기반으로 수면 단계를 판단하도록 훈련된 인공지능 모델이 저장된 전자 장치의 수면 단계 분류 방법은, 사용자의 다채널의 생체 신호들을 획득하는 단계, 상기 획득된 다채널의 생체 신호들이 포함된 이미지를 상기 인공지능 모델에 입력하여, 상기 사용자의 수면 단계를 식별하는 단계를 포함한다.

본 개시에 따른 전자 장치는, 시간에 따른 생체 신호 값이 반영된 그래프들을 통해 손쉽게 생성된 이미지를 통해 수면 단계를 판단할 수 있다는 장점이 있다.

본 개시에 따른 전자 장치의 수면 단계 분류 방법은, 다채널의 생체 신호들이 하나의 이미지에 포함되어 입력되는 인공지능 모델을 이용하므로, 인공지능 모델의 훈련 복잡도가 크지 않다는 장점이 있다.

본 개시에 따른 전자 장치의 판단 결과는, 일반적으로 전문가 내지는 의사들이 육안으로 확인하는 time-amplitude 그래프를 이용한 판단 결과이기 때문에, 전문가/의사들이 인공지능 모델의 판단 근거를 쉽게 이해할 수 있다는 부가적인 효과도 있다.

도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도,
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 흐름도,
도 3은 본 개시의 일 실시 예에 따라 생체 신호들을 포함하는 이미지를 모델에 입력하는 전자 장치의 동작을 설명하기 위한 도면,
도 4a 및 본 개시의 일 실시 예에 따라 인공지능 모델의 훈련에 이용된 훈련 데이터의 양을 나타내는 그래프,
도 4b는, 도 4a의 훈련 데이터를 기반으로 훈련된 인공지능 모델의 정확도를 나타내는 표,
도 5는 본 개시의 일 실시 예에 따라 이미지의 각 영역에 다른 픽셀 값을 적용하여 인공지능 모델에 입력하는 전자 장치의 동작을 설명하기 위한 도면,
도 6은 도 5와 같이 영역 별로 다른 픽셀 값이 적용된 경우의 인공지능 모델의 출력의 정확도를 나타내는 표,
도 7a 내지 도 7b는 영역 별로 적용되는 픽셀 값들의 다양한 조합에 따른 인공지능 모델의 출력의 정확도를 나타내기 위한 표들,
도 8은 본 개시의 일 실시 예에 따른 전자 장치가 영역 별로 적용될 수 있는 최적의 픽셀 값을 스스로 학습하는 인공지능 모델을 이용하는 예를 설명하기 위한 도면,
도 9는 본 개시의 일 실시 예에 따른 인공지능 모델의 구조를 설명하기 위한 도면,
도 10a는 본 개시의 일 실시 예에 따라 LSTM 계층을 포함하는 인공지능 모델의 구조를 설명하기 위한 도면,
도 10b는 도 10a의 인공지능 모델의 출력의 정확도를 나타내기 위한 표, 그리고
도 11은 본 개시의 다양한 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.

본 개시에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.

먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당해 기술 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.

또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.

또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안 된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안 된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.

본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 개시의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.

또한, 본 개시의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.

도 1을 참조하면, 전자 장치(100)는 메모리(110) 및 프로세서(120)를 포함할 수 있다.

전자 장치(100)는 서버 장치로 구현될 수 있다. 또한, 전자 장치(100)는 의료용 컴퓨터, 수면 모니터링 장치, 의료 검사 장치, 데스크탑 PC, 노트북 PC, 스마트폰, 태블릿 PC 등 다양한 단말 장치로 구현될 수도 있다.

메모리(110)는 전자 장치(100) 내 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System), 적어도 하나의 인스트럭션 및 데이터를 저장하기 위한 구성이다.

메모리(110)는 ROM, 플래시 메모리 등의 비휘발성 메모리를 포함할 수 있으며, DRAM 등으로 구성된 휘발성 메모리를 포함할 수 있다. 또한, 메모리(110)는 하드 디스크, SSD(Solid state drive) 등을 포함할 수도 있다.

도 1을 참조하면, 메모리(110)는 입력된 이미지를 기반으로 수면 단계를 판단하도록 훈련된 인공지능 모델(111)을 포함할 수 있다.

인공지능 모델(111)은, 신경망(Neural Network)을 기반으로 하는 네트워크 모델에 해당할 수 있다.

네트워크 모델은 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 서로 다른 레이어의 노드 간 가중치를 기반으로 연결 관계를 형성할 수 있다.

인공지능 모델(111)은 DNN(Deep Neural Network) 방식을 통해 학습될 수 있으며, CNN(Convolutional Neural Network), RCNN(Regional Convolutional Neural Network), RNN(Recurrent Neural Network), GAN(Generative Adversarial Network) 등을 이용할 수 있으나 이에 한정되는 것은 아니다.

일 예로, 인공지능 모델(111)은 다채널의 생체 신호들이 포함된 이미지를 기반으로 수면 단계를 판단하도록 훈련된 CNN 모델에 해당할 수 있다.

이 경우, 인공지능 모델(111)은 이미지로부터 특징 정보를 추출하기 위한 적어도 하나의 Convolution Layer와, 추출된 특징 정보를 기반으로 수면 단계를 판단하기 위한 적어도 하나의 Fully-Connected Layer를 포함할 수 있으나, 이에 한정되지 않는다.

다채널의 생체 신호는, 일반적으로 수면 다원 검사(PSG. Polysomnogram)에 이용되는 다양한 생체 신호들을 포함할 수 있다.

예를 들어, 다채널의 생체 신호는, EEG(Electro Encephalogram), EOG(Electro Oculogram), EMG(Electro Myography), ECG(Electro Cardiogram), Flow, Thorax, Abdomen 등의 생체 신호들을 포함할 수 있다.

구체적으로, EEG의 경우, C3-M2, C4-M1, O1-M2, O2-M1 등의 생체 신호를 포함할 수 있다. EOG의 경우, E1-M2, E2-M1 등의 생체 신호들을 포함할 수 있다.

다만, 다채널의 생체 신호는, 이 밖에도 생체 진단에 사용되는 다양한 종류의 생체 신호를 포함할 수 있다.

인공지능 모델(111)은 특정 환자로부터 수집된 다채널의 생체 신호들 각각의 시간에 따른 출력에 해당하는 그래프들(time-amplitude)이 모두 포함된 하나의 이미지를 기반으로, 수면 단계를 판단하도록 훈련될 수 있다.

수면 단계는, 일 예로 Wake, REM(Rapid Eye Movement), NREM(Non Rapid Eye Movement)으로 구분될 수 있다. 또한, NREM은 N1 내지 N3 또는 N1 내지 N4로 구분될 수 있다. 다만, 수면 단계가 이와 다른 방식으로 분류되는 것도 가능함은 물론이다.

프로세서(120)는 전자 장치(100)에 포함된 각 구성을 전반적으로 제어하기 위한 구성으로, CPU(Central Processing Unit), AP(Application Processor), GPU(Graphic Processing Unit), VPU, NPU 등 다양한 유닛으로 구성될 수 있다.

프로세서(120)는 메모리(110)에 저장된 인스트럭션을 실행함으로써 전자 장치(100)를 제어할 수 있다.

또한, 프로세서(120)는 메모리(110)에 저장된 인공지능 모델(111)을 이용하여 사용자/환자의 수면 단계를 실시간으로 모니터링/분석/판단할 수 있다.

이하 도면들을 통해 보다 상세하게 후술한다.

도 2는 본 개시의 일 실시 예에 따른 전자 장치의 수면 단계 분류 방법을 설명하기 위한 흐름도이다.

도 2를 참조하면, 전자 장치(100)는 적어도 한 명의 사용자/환자로부터 다채널의 생체 신호들을 획득할 수 있다(S210).

일 실시 예로, 전자 장치(100)는 각 채널의 생체 신호를 측정하기 위한 센서를 포함하는 적어도 하나의 외부 장치와 통신을 수행할 수 있다.

이 경우, 전자 장치(100)는 외부 장치로부터 생체 신호에 대한 데이터를 수신할 수 있다.

다른 예로, 전자 장치(100)에 각 채널의 생체 신호를 측정하기 위한 센서가 포함된 경우, 전자 장치(100)는 자체 구비된 센서를 이용하여 다채널의 생체 신호들을 획득할 수 있다.

그리고, 전자 장치(100)는 다채널의 생체 신호들이 포함된 이미지를 인공지능 모델(111)에 입력하여, 사용자/환자의 수면 단계를 식별할 수 있다(S220).

구체적으로, 다채널의 생체 신호 값에 대한 시간 별 raw data가 획득되면, 전자 장치(100)는 채널 별로 raw data를 이용하여 time-amplitude 그래프를 생성할 수 있다.

그리고, 전자 장치(100)는 다채널의 생체 신호들 각각에 대해 생성된 그래프들을 모두 포함하는 하나의 이미지를 합성할 수 있다.

본 이미지 내에서, 다채널의 그래프들은 서로 다른 영역 상에 포함될 수 있다. 일 예로, 본 이미지 내에서, 그래프들이 위에서 아래 방향으로 순서대로 배치된 형태일 수 있으나, 이에 한정될 필요는 없다.

여기서, 전자 장치(100)는 합성된 이미지를 인공지능 모델(111)에 입력할 수 있으며, 인공지능 모델(111)의 출력에 따라 사용자/환자의 수면 단계를 판단할 수 있다.

본 인공지능 모델(111)은, 복수의 환자 각각의 다채널의 생체 신호들이 포함된 복수의 훈련 이미지를 기반으로 훈련된 모델일 수 있다. 구체적으로, 본 인공지능 모델은, 각 환자 별로, 다채널의 생체 신호들 각각에 매칭되는 그래프들이 포함된 훈련 이미지에 따라 훈련될 수 있다.

인공지능 모델(111)은 전자 장치(100)의 프로세서(120)를 통해 훈련/업데이트된 것일 수도 있고, 적어도 하나의 외부 장치 내에서 훈련/업데이트된 것일 수도 있다. 예를 들어, 프로세서(120)는 환자로부터 수집된 다채널의 생체 신호들이 포함된 훈련 이미지를 통해 인공지능 모델(111)을 훈련시킬 수 있다. 이 경우, 환자로부터 수집된 다채널의 생체 신호들이 포함된 훈련 이미지, 및 다채널의 생체 신호들이 수집되는 시점의 환자의 수면 상태(ex. 수면 단계)가 각각 입/출력 훈련 데이터에 해당할 수 있다.

이렇듯, 본 개시에 따른 전자 장치(100)는 각 채널의 생체 신호에 대하여 단순히 시간 별 출력 값이 반영된 그래프를 손쉽게 도출하고, 도출된 그래프들이 단순히 포함된 이미지를 생성하여 인공지능 모델에 입력하기만 하면 수면 단계를 판단할 수 있다.

즉, 입력 이미지의 생성이 매우 쉽고, 다채널의 생체 신호들이 하나의 이미지에 포함되므로 인공지능 모델의 훈련 복잡도도 매우 감소된다는 장점이 있다.

또한, 일반적으로 전문가 내지는 의사들이 육안으로 확인하는 time-amplitude 그래프를 이용한 판단 결과이기 때문에, 전문가/의사들이 인공지능 모델의 판단 근거를 쉽게 이해할 수 있다는 부가적인 효과도 있다. 구체적인 예로, CNN 모델에 이용될 수 있는 CAM(Class Activation Mapping) 방식을 통해, 인공지능 모델의 판단에 핵심적인 역할을 한 부분(ex. 그래프의 일부, 생체 신호 값 등)이 비교적 쉽게 파악될 수 있다.

도 3은 본 개시의 일 실시 예에 따라 생체 신호들을 포함하는 이미지를 모델에 입력하는 전자 장치의 동작을 설명하기 위한 도면이다.

도 3을 참조하면, 전자 장치(100)는 채널 별로 생체 신호에 대한 raw data(301)를 획득할 수 있다. 구체적으로, 전자 장치(100)는 시간 별 생체 신호 값(ex. t1 시점: 1.34, t2 시점: 2.56)을 식별할 수 있다.

그리고, 전자 장치(100)는 시간 별 생체 신호 값으로 구성된 그래프를 채널 별로 획득할 수 있다.

여기서, 전자 장치(100)는 그래프들을 포함하는 이미지(302)를 생성할 수 있으며, 생성된 이미지(302)를 CNN 모델로 구현된 인공지능 모델(310)로 입력할 수 있다.

그 결과, 전자 장치(100)는 인공지능 모델(310)의 출력을 기반으로 수면 단계를 판단할 수 있다.

도 4a 내지 도 4b는 본 개시의 일 실시 예에 따라 훈련된 인공지능 모델의 정확도를 측정하기 위해 수행된 실험 관련 데이터들이다.

본 실험에서, 11 종류(채널)의 생체 신호들의 그래프들이 포함된 이미지에 따라 인공지능 모델이 훈련되었다. 위에서부터 순서대로 EEG (C3-M2, C4-M1, O1-M2, O2-M1, 총 4 종), EOG (E1-M2, E2-M1, 총 2 종), EMG, ECG, Flow, Thorax, Abdomen 각각에 매칭되는 그래프들이 포함된 (흑백의) 이미지가 이용되었다.

본 실험에서, 이미지의 크기는 1920 X 1080 이며 “Flow”를 제외한 모든 채널의 높이는 83이며 “Flow” 신호의 높이만 249로 설정되었다. 다만, 본 개시에 따라 개시되는 기술적 사상에 있어서, 이미지의 크기 및 채널 별 그래프의 높이가 이에 한정될 필요가 없음은 물론이다.

본 실험에서, 사용된 모델은 Efficientnet-b0 이며, 출력은 5 classes(Wake, N1, N2, N3, REM)로 설정되었다. Optimizer는 Stochastic Gradient Descent(SGD)를 사용하였고 초기 설정 값은 momentum은 0.9, weight decay는 0.0001, 학습율은 0.1로 설정하여 10 epochs마다 학습율에 0.1를 곱하였다.

본 실험에서 총 2271명의 환자 중에서 1591명(70%)의 데이터를 학습, 340(15%)명의 데이터를 검증, 340(15%)명의 데이터를 테스트 데이터로 사용했으며 각 데이터셋의 클래스 분포는 도 4a에 나타나 있다.

입력 이미지의 폭(width)이 길수록 파형 파악이 쉬워 정확도가 상승할 것이라는 가설 하에, 세 가지 크기의 입력 이미지에 대하여 실험을 수행하였다. 생성된 이미지는 각각 224 X 224, 336 X 224, 448 X 224의 해상도를 갖는다. 해당 실험 결과는 도 4b에서 확인할 수 있다.

도 4b는 이미지의 크기 별, 수면 단계 별 모델의 정확도가 도시된 것이다.

도 4b의 결과에서 확인되듯, 인공지능 모델은 사람이 보는 것과 동일한 이미지로도 충분히 수면 단계 분류 문제를 해결할 수 있다.

이미지 해상도에 따른 학습 정확도를 살펴보기 위하여 상이한 이미지 해상도를 가지고 학습을 진행하였으며, 실험 결과(도 4b), N3를 제외한 모든 결과에서 448 X 224 크기의 이미지가 가장 성능을 보여줌으로써 상술한 가설이 맞다는 것이 확인되었다.

한편, 상술한 실험과 같이 서로 다른 채널의 생체 신호에 해당하는 그래프들이 별도의 마킹 없이 이미지 내에 배열된 결과, 인공지능 모델이 이미지 내에서 엉뚱한 생체 신호를 기반으로 수면 단계를 판단할 수도 있다는 문제가 발생할 수 있다. CNN 모델은 위치 독립적 특성을 기반으로 이미지 내에서 특징 정보를 추출하기 때문에, 특정 수면 단계에 대하여 연관성이 깊은 생체 신호에 대한 선별적 분석이 수행되지 않을 가능성이 있다. 예를 들어, 입력 이미지에 대한 수면 단계가 N1으로 분류될 때, EEG 채널을 통해 주로 판단되어야 하지만 EOG 채널의 특징을 통해 잘못 판단되는 등의 상황이 발생할 수 있다.

따라서, 이러한 문제점을 해결할 수 있도록 도출된 본 개시의 일 실시 예에 따른 전자 장치(100)는, 합성된 이미지 내에서 서로 다른 그래프가 포함된 영역들 별로 서로 다른 픽셀 값(또는 background 값)을 추가하여, 이미지를 변환할 수 있다.

이미지가 흑백(grayscale) 이미지인 경우, 픽셀 값은 단순 밝기 값에 해당할 수 있다. 이미지가 컬러 이미지이니 경우, 픽셀 값은 R/G/B 중 적어도 하나의 밝기 값에 해당할 수 있다.

그리고, 전자 장치(100)는 변환된 이미지를 인공지능 모델에 입력하여, 사용자의 수면 단계를 식별할 수 있다.

이 경우, 인공지능 모델은, 이미지 내 영역 별로 추가된 픽셀 값을 기반으로, 이미지 내에서 각 채널에 매칭되는 그래프(생체 신호)를 식별할 수 있다. 그 결과, 각 수면 단계 별로 연관성이 깊은 생체 신호에 대한 활용이 원활하게 이루어질 수 있다.

관련하여, 도 5는 본 개시의 일 실시 예에 따라 이미지의 각 영역에 다른 픽셀 값을 적용하여 인공지능 모델에 입력하는 전자 장치의 동작을 설명하기 위한 도면이다.

도 5를 참조하면, 전자 장치(100)는 채널 별로 생체 신호에 대한 raw data(501)를 획득할 수 있다. 그리고, 전자 장치(100)는 시간 별 생체 신호 값으로 구성된 그래프를 채널 별로 획득할 수 있다.

여기서, 전자 장치(100)는 그래프들을 포함하는 이미지(502)를 생성할 수 있다.

그리고, 전자 장치(100)는 이미지(502) 내에서 그래프들을 포함하는 각 영역들에 서로 다른 픽셀 값을 부가하여 변환된 이미지(503)를 획득할 수 있다.

그리고, 전자 장치(100)는 변환된 이미지(302)를 CNN 모델로 구현된 인공지능 모델(510)로 입력할 수 있다.

그 결과, 전자 장치(100)는 인공지능 모델(510)의 출력을 기반으로 수면 단계를 판단할 수 있다.

본 인공지능 모델(510)은, 다채널의 생체 신호들 각각에 매칭되는 영역 별로 서로 다른 픽셀 값이 추가된 훈련 이미지를 통해 훈련될 것일 수 있다.

관련된 일 실시 예로, 전자 장치(100)는, 복수의 훈련 이미지 각각에 대하여, 다채널의 생체 신호들 각각에 매칭되는 영역 별로 서로 다른 픽셀 값을 추가하여, 복수의 훈련 이미지를 변환할 수 있다. 그리고, 전자 장치(100)는 변환된 복수의 훈련 이미지를 기반으로 인공지능 모델(510)을 훈련시킬 수 있다.

도 6은 도 5와 같이 이미지 내 영역 별로 서로 다른 픽셀 값이 적용된 경우의 인공지능 모델의 출력의 정확도를 나타내는 표이다(다른 조건은 도 4b의 실험과 동일).

도 6의 실험에서, EEG 채널과의 구분을 위해 EOG 채널의 그래프가 포함된 영역에는 모든 픽셀의 값에 10이 더해졌다. 또한, EMG 채널의 영역에는 20이 더해졌다. 다만, 실제 10이나 20 등의 특정 값이 중요하지 않으며, 일반적으로 채널 별로 상이한 값이면 충분하다.

영역 별로 서로 다른 픽셀 값이 더해지지 않은 도 4b와 비교했을 때, 도 6의 결과에서 거의 모든 경우에 대한 성능 향상이 확인되었으며, 특히 가장 낮은 정확도를 보이는 N1의 F1 Score가 63.16까지 상승했음이 확인되었다.

한편, 도 7a 내지 도 7b는 영역(채널) 별로 적용되는 픽셀 값들의 다양한 조합에 따른 인공지능 모델의 출력의 정확도를 나타내기 위한 표들이다.

도 7a를 참조하면, 각 영역(채널)마다 더해지는 픽셀 값들에 대해 'Best', 'Small', 'Large', 'Random'으로 명명된 네 가지 조합이 이용되었다. 본 조합들은, 영역 별 픽셀 값의 분포나 분산 등에 있어 서로 차이가 있다.

도 7a의 결과에 해당하는 도 7b를 참조하면, 448 X 224 해상도의 이미지에 대하여 'Best'에 해당하는 픽셀 값 조합에 정확도가 'Small'에 해당하는 픽셀 값 조합에 대한 정확도보다 높은 것으로 확인되었다. 다만, 224 X 224 해상도의 이미지에 대해서는 그렇지 않으며, 'Large'에 해당하는 픽셀 값 조합에 대해 더 높은 정확도가 확보된 상황도 아니므로, 영역 별로 더해지는 픽셀 값 간의 차이가 크다고 하여 반드시 정확도가 더 좋아지는 것으로 결론짓기에는 어려운 상황이다.

한편, 본 개시의 일 실시 예에 따른 전자 장치(100)는 영역(채널) 별로 더해지는 픽셀 값의 최적 조합을 탐색할 수 있는 인공지능 모델을 이용할 수도 있다.

관련하여, 도 8은 본 개시의 일 실시 예에 따른 전자 장치가 영역 별로 적용될 수 있는 최적의 픽셀 값을 스스로 학습하는 인공지능 모델을 이용하는 예를 설명하기 위한 도면이다.

도 8을 참조하면, 전자 장치(100)는 채널 별 생체 신호의 그래프들이 포함된 이미지(801)를 각 채널 별로 픽셀 값을 부가하기 위한 레이어(811)에 입력할 수 있다.

그 결과, 영역 별로 서로 다른 픽셀 값이 부가된 이미지(802)가 획득될 수 있으며, CNN 모델을 구성하는 레이어들(812)을 통해 수면 단계가 판단될 수 있다.

여기서, 전자 장치(100)는 영역 별로 부가되는 픽셀 값들에 대한 최적의 조합을 찾기 위해 레이어(811)를 업데이트하는 방식으로 인공지능 모델을 훈련시킬 수 있다. 구체적으로, 전자 장치(100)는 CNN 모델을 구성하는 레이어들(812)의 정확도가 높아지는 방향으로 레이어(811) 내 가중치(영역 별로 부가되는 픽셀 값과 관련됨)를 업데이트할 수 있다.

이 경우, 훈련된 인공지능 모델(811, 812)을 통해, 전자 장치(100)는 최적의 픽셀 값 조합에 따라 입력 이미지 내 각 영역을 구분하여 분석할 수 있다는 장점이 있다.

한편, 도 9는 본 개시의 일 실시 예에 따른 인공지능 모델의 구조를 설명하기 위한 도면이다.

도 9를 참조하면, 이미지를 기반으로 수면 단계를 판단하기 위한 인공지능 모델(910)은 적어도 하나의 Convolution Layer를 포함하는 특징 추출 모듈(911) 및 적어도 하나의 Fully Connected Layer를 포함하는 분류 모듈(912)를 포함할 수 있다.

특징 추출 모듈(911)은 입력된 이미지로부터 특징 정보를 추출할 수 있다. 특징 추출 모듈(911)은 영역 별로 서로 다른 픽셀 값이 부가된 훈련 이미지들을 통해 훈련되어, 영역(채널) 별로 독립적인 특징 정보를 추출하도록 구현될 수도 있다.

분류 모듈(912)은 특징 추출 모듈(911)을 통해 추출된 특징 정보를 기반으로 수면 단계를 선택할 수 있다. 일 예로, 분류 모듈(912)은 기설정된 다섯 가지 수면 단계(ex. wake, N1, N2, N3, REM) 중 하나의 수면 단계를 선택할 수 있으며, 이때, 선택 결과는 신뢰도를 나타내는 수치와 함께 출력될 수도 있다. 또는, 각 수면 단계에 해당할 확률이 수면 단계 별로 출력될 수도 있다.

한편, 도 9와 같이 단순히 이미지의 입력 및 선택만은 수행하는 인공지능 모델이 이용되는 경우, 시간에 따른 수면 단계의 변화가 적절히 분석되기 어렵다는 문제점이 있다.

수면 단계 분류에서는 이전, 이후의 수면 단계에 따라 현재의 수면 단계의 분류 결과가 바뀌기도 하기 때문이다. 예를 들어, N2가 연속되던 중 N1이 한 번 발생한 뒤 다시 N2가 연속된다면 해당 N1은 N2로 분류될 필요가 있다. 따라서, 입력 데이터가 시계열 데이터라는 점이 고려된다면 더욱 적절한 수면 단계 판단이 수행될 수 있다.

따라서, 본 개시에 따른 전자 장치(100)는 LSTM(Long Short Term Memory) 계층을 포함하는 인공지능 모델을 이용하여 수면 단계를 판단할 수도 있다.

관련하여, 도 10a는 본 개시의 일 실시 예에 따라 LSTM 계층을 포함하는 인공지능 모델의 구조를 설명하기 위한 도면이다.

도 10a를 참조하면, 인공지능 모델(1010)은 입력된 이미지로부터 특징 정보를 획득하기 위한 적어도 하나의 Convolution Layer를 포함하는 제1 모듈(1011), 특징 정보를 시간에 따라 입력 받기 위한 LSTM(Long Short-Term Memory) 계층으로 구성된 제2 모듈(1012), LSTM 계층의 출력을 기반으로 수면 단계를 분류하기 위한 적어도 하나의 Fully Connected Layer를 포함하는 제3 모듈(1013)을 각각 포함할 수 있다.

제1 모듈(1011) 및 제3 모듈(1013)은 도 9에서 상술한 특징 추출 모듈(911) 및 분류 모듈(912)과 각각 기능적으로 매칭된다.

그리고, 제2 모듈(1012)은 이전 데이터 뿐만 아니라 이후 데이터까지 고려할 수 있는 Bidirectional LSTM 계층을 포함할 수 있다. 한편, 비록 도 10a에서는 분류를 원하는 데이터의 이전, 이후 두 개까지의 데이터를 입력으로 하여 총 5개의 시계열 데이터를 입력으로 하나의 분류 결과를 출력하도록 도시되었으나, 그 수가 5개에 한정될 필요가 없음은 물론이다.

도 10a와 같은 구조를 가지는 인공지능 모델의 정확도에 대해서도 실험이 수행되었다.

구체적으로, 본 실험에서, 기존 EfficientNet-b0 모델에서 Fully Connected Layer(FC Layer)이 제거되고 Convolution Layer들의 출력을 LSTM 계층의 입력으로 하도록 모델이 변경되었으며, 도 10a와 같이 LSTM 계층 이후에 Fully Connected Layer가 부가되었다.

도 10b는 도 10a와 같은 구조를 가지는 인공지능 모델의 출력의 정확도를 나타내는 표이다.

도 10b를 참조하면, 앞선 실험들(도 4b, 도 6)에 비하여 실험 결과 정확도가 모든 입력에 대해 82% 이상의 정확도를 보여주는 등 크게 상승한 것이 확인된다. 특히, 정확도가 가장 낮은 N1에 대하여 64.38의 F1 Score를 보여주고 있다. 이는 기존 논문들과 비교하였을 때 매우 높은 수치이며, LSTM을 사용하지 않은 정확도인 81.19(도 6)보다 1.19% 향상된 정확도를 보여준다.

한편, 도 11은 본 개시의 다양한 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도이다.

도 11을 참조하면, 전자 장치(100)는 메모리(110) 및 프로세서(120) 외에도 통신부(130), 측정부(140), 사용자 입력부(150), 출력부(160) 중 적어도 하나를 더 포함할 수 있다.

통신부(130)는 전자 장치(100)가 적어도 하나의 외부 장치와 통신을 수행하기 위한 구성으로 회로를 포함할 수 있다.

통신부(130)는 TCP/IP(Transmission Control Protocol/Internet Protocol), UDP(User Datagram Protocol), HTTP(Hyper Text Transfer Protocol), HTTPS(Secure Hyper Text Transfer Protocol), FTP(File Transfer Protocol), SFTP(Secure File Transfer Protocol), MQTT(Message Queuing Telemetry Transport) 등의 통신 규약(프로토콜)을 이용하여 하나 이상의 외부 전자 장치와 다양한 정보를 송수신할 수 있다.

이를 위해, 통신부(130)는 유선 통신 및/또는 무선 통신을 통해 구현된 네트워크를 기반으로, 외부 장치와 연결될 수 있다. 이때, 통신부(130)는 외부 장치와 직접적으로 연결될 수도 있지만, 네트워크를 제공하는 하나 이상의 외부 서버(ex. ISP(Internet Service Provider))를 통해서 외부 전자 장치와 연결될 수도 있다.

네트워크는 영역 또는 규모에 따라 개인 통신망(PAN; Personal Area Network), 근거리 통신망(LAN; Local Area Network), 광역 통신망(WAN; Wide Area Network) 등일 수 있으며, 네트워크의 개방성에 따라 인트라넷(Intranet), 엑스트라넷(Extranet), 또는 인터넷(Internet) 등일 수 있다.

무선 통신은 LTE(long-term evolution), LTE-A(LTE Advance), 5G(5th Generation) 이동통신, CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), GSM(Global System for Mobile Communications), DMA(Time Division Multiple Access), WiFi(Wi-Fi), WiFi Direct, Bluetooth, NFC(near field communication), Zigbee 등의 통신 방식 중 적어도 하나를 포함할 수 있다.

유선 통신은 이더넷(Ethernet), 광 네트워크(optical network), USB(Universal Serial Bus), 선더볼트(ThunderBolt) 등의 통신 방식 중 적어도 하나를 포함할 수 있다.

여기서, 통신부(130)는 상술한 유무선 통신 방식에 따른 네트워크 인터페이스(Network Interface) 또는 네트워크 칩을 포함할 수 있다. 한편, 통신 방식은 상술한 예에 한정되지 아니하고, 기술의 발전에 따라 새롭게 등장하는 통신 방식을 포함할 수 있다.

일 실시 예로, 프로세서(120)는 통신부(130)를 통해 적어도 하나의 외부 장치로부터 생체 신호에 대한 정보(raw data 또는 그래프)를 수신할 수 있다.

또한, 프로세서(120)는 통신부(130)를 통해 적어도 하나의 외부 장치로부터 다채널 그래프들이 포함된 이미지를 수신할 수도 있다.

또한, 프로세서(120)는 인공지능 모델을 통해 판단된 수면 단계에 대한 정보를 통신부(130)를 통해 적어도 하나의 외부 장치로 전송할 수도 있다.

측정부(140)는 적어도 하나의 채널의 생체 신호에 대한 센싱 데이터를 수집하기 위한 구성으로, 적어도 하나의 센서를 포함할 수 있다.

예를 들어, 측정부(140)는, EEG 생체 신호를 적어도 하나의 뇌파 측정 센서, EOG 생체 신호를 측정하기 위한 적어도 하나의 뇌파 측정 센서, EMG 생체 신호를 측정하기 위한 적어도 하나의 전기 센서 등을 포함할 수 있으나, 이에 한정되지 않는다.

사용자 입력부(150)는 사용자 명령 또는 사용자 정보를 입력 받기 위한 구성이다. 사용자 입력부(150)는 터치 센서, 버튼, 카메라, 마이크 등으로 구현될 수 있다.

일 실시 예로, 프로세서(120)는 사용자 입력부(150)를 통해 수신되는 사용자 명령에 따라 다채널의 생체 신호를 획득할 수 있으며, 인공지능 모델을 통해 다채널의 생체 신호를 포함하는 이미지를 분석하여 수면 단계를 판단할 수 있다.

출력부(160)는 다양한 정보를 제공하기 위한 구성으로, 디스플레이, 스피커 등을 포함할 수 있다.

일 실시 예로, 프로세서(120)는 실시간으로 수집된 다채널의 생체 신호에 따라 판단된 수면 단계에 대한 정보를 출력부(160)를 통해 시각적 및/또는 청각적으로 제공할 수 있다.

또한, 프로세서(120)는 수면 단계의 판단에 이용된 이미지(다채널의 생체 신호 그래프 포함)를 표시하도록 디스플레이를 제어할 수 있다. 이 경우, 전문가/의사는 인공지능 모델의 판단 근거가 되는 그래프(time-amplitude)를 육안으로 확인할 수 있다.

한편, 비록 상술한 실시 예들을 통해서는, 수면 단계 분류와 관련된 생체 신호들의 이미지를 기반으로 수면 단계를 판단하는 실시 예에 대해서만 주로 설명되었으나, time-amplitude 형식의 그래프로 변환 가능한 생체 데이터가 수집될 수 있다면, 어떤 종류의 생체 신호에 근거한 어떤 종류의 의료적 판단 과정에 대해서도 상술한 다양한 실시 예들이 준하여 적용될 수 있음은 물론이다.

한편, 이상에서 설명된 다양한 실시 예들은 서로 저촉되지 않는 한 복수의 실시 예가 결합되어 구현될 수 있다.

한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다.

하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다.

일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상술한 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.

한편, 상술한 본 개시의 다양한 실시 예들에 따른 시스템 내 각 장치에서의 처리동작을 수행하기 위한 컴퓨터 명령어(computer instructions) 또는 컴퓨터 프로그램은 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어 또는 컴퓨터 프로그램은 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 전자장치에서의 처리 동작을 상술한 특정 기기가 수행하도록 한다.

비일시적 컴퓨터 판독 가능 매체(기록 매체)란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.

이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

100: 전자 장치 110: 메모리
120: 프로세서

Claims (11)

1. 전자 장치에 있어서,
   입력된 이미지를 기반으로 수면 단계를 판단하도록 훈련된 인공지능 모델이 저장된 메모리; 및
   사용자로부터 수집된 다채널의 생체 신호들이 포함된 이미지를 상기 인공지능 모델에 입력하여, 상기 사용자의 수면 단계를 식별하는, 프로세서;를 포함하고,
   상기 이미지는,
   상기 다채널의 생체 신호들 각각의 시간에 따른 신호 값이 도시된 그래프들을 서로 다른 영역 상에 포함하고,
   상기 프로세서는,
   상기 다채널의 생체 신호들 각각의 시간 별 로우 데이터를 기반으로, 시간에 따른 생체 신호의 출력이 도시된 그래프를 채널 별로 획득하고,
   상기 채널 별로 획득된 그래프들이 서로 다른 영역에 포함된 이미지를 합성하고,
   상기 합성된 이미지 내 영역 별로 서로 다른 픽셀 값을 추가하여, 상기 이미지를 변환하고,
   상기 변환된 이미지를 상기 인공지능 모델에 입력하여, 상기 사용자의 수면 단계를 식별하고,
   상기 인공지능 모델은,
   상기 영역 별로 추가된 픽셀 값을 기반으로, 각 채널에 매칭되는 그래프를 식별하는, 전자 장치.
2. 삭제
3. 삭제
4. 삭제
5. 제1항에 있어서,
   상기 프로세서는,
   복수의 환자 각각의 다채널의 생체 신호들이 포함된 복수의 훈련 이미지를 기반으로, 상기 인공지능 모델을 훈련시키는, 전자 장치.
6. 제5항에 있어서,
   상기 프로세서는,
   상기 복수의 훈련 이미지 각각에 대하여, 상기 다채널의 생체 신호들 각각에 매칭되는 영역 별로 서로 다른 픽셀 값을 추가하여, 상기 복수의 훈련 이미지를 변환하고,
   상기 변환된 복수의 훈련 이미지를 기반으로 상기 인공지능 모델을 훈련시키는, 전자 장치.
7. 제1항에 있어서,
   상기 인공지능 모델은,
   입력된 이미지로부터 특징 정보를 획득하기 위한 적어도 하나의 Convolution Layer를 포함하는 제1 모듈;
   상기 특징 정보를 시간에 따라 입력 받기 위한 LSTM(Long Short-Term Memory) 계층으로 구성된 제2 모듈; 및
   상기 LSTM 계층의 출력을 기반으로 수면 단계를 분류하기 위한 적어도 하나의 Fully Connected Layer를 포함하는 제3 모듈;을 포함하는, 전자 장치.
8. 제1항에 있어서,
   상기 다채널의 생체 신호들은,
   EEG(Electro Encephalogram), EOG(Electro Oculogram), EMG(Electro Myography), ECG(Electro Cardiogram), Flow, Thorax, Abdomen 중 적어도 하나를 포함하는, 전자 장치.
9. 삭제
10. 삭제
11. 삭제

Images