KR20210019273A

KR20210019273A - 딥러닝을 이용한 수면질환 자동 판정을 위한 데이터 처리 장치 및 그 동작 방법

Info

Publication number: KR20210019273A
Application number: KR1020190098257A
Authority: KR
Inventors: 이영준; 하태경; 김명석
Original assignee: (주)허니냅스
Priority date: 2019-08-12
Filing date: 2019-08-12
Publication date: 2021-02-22
Also published as: KR102258726B9; US11464445B2; KR102258726B1; US20210045675A1

Abstract

본 발명은 딥러닝을 이용한 수면질환 자동 판정을 위한 데이터 처리 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 수면다원 검사의 결과 분석을 자동화하기 위한 기술적 사상에 관한 것으로서, 일실시예에 따른 데이터 처리 장치는 수면다원검사에 의해서 검출되는 신호데이터를 수집하고, 상기 수집된 신호데이터의 특성을 분석하여 특성 데이터를 추출하고, 상기 추출한 특성 데이터를 시계열 데이터로 변환하여 처리하는 신호데이터 처리부, 및 상기 처리된 신호데이터를 기생성된 수면단계 분류모델에 입력하고, 상기 신호데이터에 상응하는 수면단계를 분류하고, 상기 신호데이터 처리부는, 상기 신호데이터에 대해, EEG(electroencephalographic), EOG(electro-oculographic), EMG(electromyographic) 신호의 각각에 대한 특성을 분석하여 특성 데이터를 추출하고, 상기 기생성된 수면단계 분류모델에 입력하기 위해, 상기 추출한 특성 데이터를 에폭(Epoch) 단위의 시계열 데이터로 변환하는 수면단계 분류모델 처리부를 포함할 수 있다.

Description

딥러닝을 이용한 수면질환 자동 판정을 위한 데이터 처리 장치 및 그 동작 방법{Apparatus of data processing for automatic determination of sleeping condition using deep running and method of the same}

본 발명은 딥러닝을 이용한 수면질환 자동 판정을 위한 데이터 처리 장치 및 그 동작 방법에 관한 것으로서, 보다 상세하게는 수면다원 검사의 결과 분석을 자동화하기 위한 기술적 사상에 관한 것이다.

수면다원 검사(Polysomnography)는 수면장애를 진단하기 위한 검사로서, 수면 중 뇌파, 안구운동, 근육의 움직임, 호흡, 심전도 등을 종합적으로 측정하고 동시에 수면 상태를 비디오로 녹화한 후, 측정 및 녹화된 기록을 분석하여 수면과 관련된 질환을 진단하고 치료방침을 정하는데 사용되고 있다.

전술한 수면다원 검사는 수면 무호흡증, 수면 장애, 수면 보행증 등의 증상을 진단할 수 있으며, 이러한 질환들을 판단하기 위한 지수로서, 수면단계(Sleep stage), 무호흡 지수(Apnea-hypopnea index, AHI), 상기도 저항 증후군(Respiratory effort-related arousals; RERA) 지수 등이 사용되고 있다.

한편, 수면다원 검사는 전문 인력들이 다양한 센서를 통해 측정된 환자의 생체 데이터들을 조합하여 전술한 지수들을 판단하는 매뉴얼 수면 스코어링(Manual sleep scoring) 방법을 이용하고 있다.

다시 말해, 현재 수면다원 검사는 수면 스코어링(Sleep scoring)을 각 전문 인력들의 주관적인 판단 기준에 의해 진행하고 있어, 스코어링 결과의 정확도와 신뢰도가 떨어진다는 문제가 있다.

구체적으로, 수면다원 검사는 수면 스코어링을 위한 판정 기준이 매우 명확한 것처럼 보이나, 환자마다 생체 신호의 형태나 크기가 다르며 생체 신호에 나타나는 비정형성으로 인해 전문 인력들 사이에서도 많은 오차를 보이고 있다. 실제로, 전문 인력들이 동일한 환자의 동일한 생체 데이터를 가지고 수면 스코어링을 수행하면, 20% 정도의 스코어링 편차를 보이는 것으로 알려져 있다.

또한, 수면 스코어링은 전문 인력에 의해 수작업으로 진행 됨에 따라, 소요 시간이 너무 길어진다는 문제가 있다. 실제, 숙련된 전문 인력이 한명의 환자에 대한 수면 스코어링을 진행하는데 소요되는 시간은 약 3~4시간인 것으로 알려져 있다.

불면증, 기면증 등 수면 관련 질환을 진단하는데 있어서 환자의 수면단계를 분석하기 위해 주로 이용되는 생체신호모니터링 장치는 EEG이다. 이외에도 보조적으로 EOG와 chin-EMG를 이용하여 수면단계에 대한 판단을 진행할 수 있다.

일반적으로 불면증 등과 같은 수면 질환을 판정하는 절차는 다음과 같다.

1) 일반적으로 수면다원검사 센터를 보유한 병원에서 일정 시간 수면 중 EEG, EOG, Chin-EMG를 측정

2) 측정된 결과에 대해 자격을 가진 전문기사가 수면 전문의의 감독하에 수면단계 분석을 수작업으로 진행하여 결과 도출

3) 도출된 결과를 토대로 수면 전문의가 수면 질환에 대해 진단.

4) 불면증, 기면증 등 수면 질환 유무를 진단

즉, 수면단계의 판정은 수면 관련 질환의 판정을 하는데 있어서 진단을 위한 기본 데이터가 되기 때문에 수면단계 판정의 정확도는 진단을 위해 매우 중요한 자료가 된다.

그러나 앞선 언급한 바와 같이, 비록 훈련된 전문가들에 의해서 수면단계 분석을 수작업으로 진행하더라도 환자마다 다른 뇌파의 비 정형성 및 판정의 기준이 되는 AASM의 스코어링 룰(scoring rule)의 복잡함 등으로 인해 오차가 크게 발생할 수 밖에 없다.

특히, sleep spindle 및 K-complexes 신호에 따른 판정 유무로 인해 수면단계를 나누는데 있어서 전문가간 판정이 일치하지 않는 경우가 종종 발생한다. 이와 더불어 평균 8시간 정도의 수면 다원 검사 결과를 일일이 사람이 판독하면서 발생하는 휴먼에러 역시 오차에 영향을 준다.

이와 관련된 기존 문헌의 연구 결과는 2009년 "Journal of Sleep Research 2009 18, 74 - 84"의 "Interrater reliability for sleep scoring according to the Rechtschaffen & Kales and the new AASM standard"에 잘 나타나 있고 본 논문에 따르면 7명의 전문가간 평가에서 AASM 기준으로는 82%, Rechtschaffen & Kales 기준으로는 80.6%의 판독 결과에 대한 일치도를 보인다고 설명돼 있다.

따라서 실제 수면 관련 진단을 위한 수면단계의 분석 결과는 숙련된 전문가 간 20%의 오차를 가지고 있음이 확인된다.

이러한 사람간 오차를 줄이고 판독 시간을 줄이기 위한 방법은 소프트웨어를 이용한 자동화로 해결이 가능하다.

그러나 앞서 언급한 뇌파의 비정형성 및 복잡한 수면단계 판정 규칙을 기존의 신호처리 등의 방법을 이용하여 수면단계를 판정하는 소프트웨어를 구현하는 것은 상당한 어려움이 존재한다.

한국등록특허 제10-1395197호 "수면 상태 및 각성 상태의 자동 검출 방법 및 장치"

본 발명은 딥러닝을 이용하여 수면단계 분석의 정확도를 사람보다 빠르고 정확하게 판독하는 소프트웨어를 제공하는 것을 목적으로 한다.

본 발명은 인공지능을 이용하여 수면단계를 판단 함으로써, 수면단계 판단에 따른 객관적인 기준을 제공하는 것을 목적으로 한다.

본 발명은 수면단계의 판단에 따른 객관적인 기준을 통해 판정자 간 판정 오차를 줄이는 것을 목적으로 한다.

본 발명은 수면상태 판단 모델을 통해 수면다원 검사 결과 분석을 자동화함으로써, 수면다원 검사에 소요되는 시간을 최소화할 수 있는 수면다원 검사장치 및 그 방법을 제공하고자 한다.

또한, 본 발명은 CNN과 RNN이 결합된 인공 신경망 기반의 기계학습을 통해 수면상태 판단 모델을 생성함으로써, 수면다원 검사의 정확성 및 신뢰성을 향상시킬 수 있는 수면다원 검사장치 및 그 방법을 제공하고자 한다.

일실시예에 따른 데이터 처리 장치는 수면다원검사에 의해서 검출되는 신호데이터를 수집하고, 상기 수집된 신호데이터의 특성을 분석하여 특성 데이터를 추출하고, 상기 추출한 특성 데이터를 시계열 데이터로 변환하여 처리하는 신호데이터 처리부, 및 상기 처리된 신호데이터를 기생성된 수면단계 분류모델에 입력하고, 상기 신호데이터에 상응하는 수면단계를 분류하는 수면단계 분류모델 처리부를 포함할 수 있다.

일실시예에 따른 상기 신호데이터는 복수의 서로 다른 장비들로부터 EDF(European Data Format)으로 수집되고, 상기 신호데이터 처리부는, 상기 신호데이터에 접근하는 키 값, 샘플링 주파수 값, 상기 신호데이터의 종류, 및 상기 신호데이터의 포맷을 통일시키는 데이터 선택부를 포함할 수 있다.

일실시예에 따른 상기 데이터 선택부는, 상기 신호데이터의 각각에 가상 키를 정의하고, 상기 정의된 가상 키 중에서 동일한 신호데이터의 상이한 키 값을 가상 키로 매핑하여, 상기 신호데이터를 통일된 키 값으로 관리할 수 있다.

일실시예에 따른 상기 데이터 선택부는, 상기 측정된 데이터 별로 상이한 샘플링 주파수에 대해 업 샘플링(Up sampling) 또는 다운 샘플링(Down sampling) 중에서 적어도 하나로 샘플링 처리하여 나이퀴스트 주파수(Nyquist frequency)의 2배 이상의 값으로 정의하여, 상기 신호데이터를 통일된 샘플링 주파수로 관리할 수 있다.

일실시예에 따른 상기 데이터 선택부는, 기정의된 채널들을 이용해서 상기 신호데이터를 수집하되, 상기 기정의된 채널에 대한 채널 추가 또는 채널 복제를 통해 수면다원검사 장비별, 검사 유형별 신호 채널의 개수를 통일할 수 있다.

일실시예에 따른 상기 데이터 선택부는, 상기 신호데이터 중에서 EEG(electroencephalographic) 수집을 위한 채널 또는 EOG(electro-oculographic) 수집을 위한 채널에서 신호데이터의 누락이 발생하거나, 수면다원검사에서 제외된 경우에, 상기 EEG 신호에 대해서는, 동일한 그라운드 신호 중 가장 인접한 위치의 다른 EEG 신호로 대체하고, 상기 EOG 신호에 대해서는, 누락된 신호의 반대편 신호로 대체할 수 있다.

일실시예에 따른 상기 신호데이터는 복수의 서로 다른 장비들로부터 EDF(European Data Format)으로 수집되고, 상기 신호데이터 처리부는, 상기 신호데이터 중에서 일부 데이터의 누락이 발생한 경우, 상기 누락된 부분을 위해 상기 신호데이터에 대한 보정 또는 보간을 처리하는 데이터 보정 처리부를 포함할 수 있다.

일실시예에 따른 상기 데이터 보정 처리부는, 상기 신호데이터에 대한 2차 변화율을 측정하고, 상기 측정된 2차 변화율이 가장 큰 부분을 공백처리하며, 상기 공백처리된 부분을 1차원 보간 하여 결함이 있는 부분의 신호를 복원할 수 있다.

일실시예에 따른 상기 신호데이터 처리부는, 상기 신호데이터에 대해, EEG(electroencephalographic), EOG(electro-oculographic), EMG(electromyographic) 신호의 각각에 대한 특성을 분석하여 특성 데이터를 추출하고, 상기 기생성된 수면단계 분류모델에 입력하기 위해, 상기 추출한 특성 데이터를 에폭(Epoch) 단위의 시계열 데이터로 변환하는 데이터 특성분석부를 더 포함할 수 있다.

일실시예에 따른 상기 수면단계 분류모델 처리부는, 상기 처리된 신호데이터로서, 에폭(Epoch) 단위의 시계열 데이터를 이용해서 AASM(American Academy of Sleep Medicine) 표준 또는 R&K(Rechtschaffen and Kales) 표준 중에서 적어도 하나의 표준을 참고해서 상기 수면단계를 분류할 수 있다.

일실시예에 따른 데이터 처리 장치는 상기 수면단계 분류모델을 생성하는 수면단계 분류모델 생성부를 더 포함하고, 상기 수면단계 분류모델 생성부는, 입력 레이어, 1차원 콘볼루션 레이어, LSTM(Long short-term memory) 레이어, 및 소프트맥스 레이어를 순차적으로 적용하여 상기 수면단계 분류모델을 추론하기 위한 각 스테이지의 확률 시퀀스 데이터(Statistical sequence data of sleep stage)를 정의하는 추론 모델부를 포함할 수 있다.

일실시예에 따른 상기 입력 레이어는 시계열 데이터의 형태로 처리된 상기 신호데이터를 미리 설정된 데이터 크기로 변환하여 상기 1차원 콘볼루션 레이어로 전달하고, 상기 1차원 콘볼루션 레이어는, 입력 텐서(Tensor)에서 수면분류에 필요한 특성값을 학습하고, 상기 LSTM 레이어에 상기 학습된 특성값을 전달하며, 상기 LSTM 레이어는, 상기 학습된 특성값을 시간에 따른 패턴으로 학습한 후, 최종 학습된 패턴을 기반으로 기대값을 출력하며, 상기 소프트맥스 레이어는, 상기 출력된 기대값을 확률값으로 출력하여 각 수면단계에 대한 확률 시퀀스를 생성하여 최종 출력을 정의할 수 있다.

일실시예에 따른 상기 수면단계 분류모델 생성부는, 상기 추론된 수면단계 분류모델을 학습하는 추론 모델 학습부를 더 포함하고, 상기 추론 모델 학습부는, 상기 검출되는 신호데이터의 전체 세트에 대해 처리부를 통해 처리 되도록 처리한 후 저장수단에 세트별로 캐싱하고, 상기 세트별로 캐싱된 신호데이터를 로드하여 훈련을 진행하되, 1) 1세트 단위 데이터 로드하고, 2) 상기 로드된 데이터를 출력하여 출력된 데이터로 훈련을 진행하며, 3) 상기 훈련 후 결과를 측정 및 저장하고, 4) 상기 1)~3)의 과정을 상기 전체 데이터에 대해 진행하며, 상기 전체 세트에 대해 진행이 완료되면 훈련 1 에폭(Epoch) 종료하고, 5) 상기 4)의 과정을 기정의된 훈련 에폭(Epoch)만큼 반복하여 진행할 수 있다.

일실시예에 따른 상기 수면단계 분류모델 생성부는, 기수집된 샘플들로부터 산출되는 분포로부터 구성된 테스트 세트와, 상기 추정된 수면단계 분류모델의 결과를 대비하는 추론 모델 검증부를 더 포함할 수 있다.

일실시예에 따른 데이터 처리 장치는 추론 모델 성능 개선부를 더 포함하고, 상기 추론 모델 성능 개선부는, 현재까지 가장 높은 성능이 검증된 수면단계 분류모델이 디플로이(Deploy)되어 상기 처리된 신호데이터에 대한 수면단계분류결과를 출력하는 서비스 모듈, 상기 디플로이된 수면단계 분류모델의 하이퍼파라미터(Hyperparameter)의 서치를 반복적으로 진행하며, 상기 반복적으로 진행된 결과에 따라 상기 디플로이된 수면단계 분류모델을 검증하는 학습 모듈, 및 상기 수면단계 분류모델의 검증에 따른 검증데이터를 저장하는 데이터베이스를 포함하고, 상기 학습 모듈은 상기 저장된 검증데이터와 현재 디플로이되어 서비스되고 있는 수면단계 분류모델의 성능을 비교하여, 성능이 더 좋은 수면단계 분류모델을 서비스 모듈에 디플로이 하도록 제어할 수 있다.

일실시예에 따른 데이터 처리 장치의 동작 방법은 수면다원검사에 의해서 검출되는 신호데이터를 수집하는 단계, 상기 수집된 신호데이터에 대해, EEG(electroencephalographic), EOG(electro-oculographic), EMG(electromyographic) 신호의 각각에 대한 특성을 분석하여 특성 데이터를 추출하는 단계, 기생성된 수면단계 분류모델에 입력하기 위해, 상기 추출한 특성 데이터를 에폭(Epoch) 단위의 시계열 데이터로 변환하여 처리하는 단계, 상기 처리된 신호데이터를 기생성된 수면단계 분류모델에 입력하고, 상기 신호데이터에 상응하는 수면단계를 분류하는 단계를 포함할 수 있다.

일실시예에 따른 상기 신호데이터를 수집하는 단계는, 상기 신호데이터 중에서 EEG(electroencephalographic) 수집을 위한 채널 또는 EOG(electro-oculographic) 수집을 위한 채널에서 신호데이터의 누락이 발생하거나, 수면다원검사에서 제외된 경우에, 상기 EEG 신호에 대해서는, 동일한 그라운드 신호 중 가장 인접한 위치의 다른 EEG 신호로 대체하고, 상기 EOG 신호에 대해서는, 누락된 신호의 반대편 신호로 대체하는 단계를 포함할 수 있다.

일실시예에 따른 상기 신호데이터를 수집하는 단계는, 상기 신호데이터 중에서 일부 데이터의 누락이 발생한 경우, 상기 누락된 부분을 위해 상기 신호데이터에 대한 보정 또는 보간을 처리하는 단계를 포함하고, 상기 신호데이터에 대한 보정 또는 보간을 처리하는 단계는, 상기 신호데이터에 대한 2차 변화율을 측정하는 단계, 상기 측정된 2차 변화율이 가장 큰 부분을 공백처리하는 단계, 및 상기 공백처리된 부분을 1차원 보간 하여 결함이 있는 부분의 신호를 복원하는 단계를 포함할 수 있다.

일실시예에 따른 데이터 처리 장치의 동작 방법은 상기 수면단계 분류모델을 생성하는 단계를 더 포함하고, 상기 수면단계 분류모델을 생성하는 단계는, 입력 레이어, 1차원 콘볼루션 레이어, LSTM(Long short-term memory) 레이어, 및 소프트맥스 레이어를 순차적으로 적용하여 각 스테이지의 확률 시퀀스 데이터(Statistical sequence data of sleep stage)를 정의하는 단계, 및 상기 정의된 확률 시퀀스 데이터를 이용하여 상기 수면단계 분류모델을 추론하는 단계를 포함하고, 상기 확률 시퀀스 데이터를 정의하는 단계는, 시계열 데이터의 형태로 처리된 상기 신호데이터를 미리 설정된 데이터 크기로 변환하여 상기 1차원 콘볼루션 레이어로 전달하는 단계, 입력 텐서(Tensor)에서 수면분류에 필요한 특성값을 학습하고, 상기 LSTM 레이어에 상기 학습된 특성값을 전달하는 단계, 상기 학습된 특성값을 시간에 따른 패턴으로 학습한 후, 최종 학습된 패턴을 기반으로 기대값을 출력하는 단계, 및 상기 출력된 기대값을 확률값으로 출력하여 각 수면단계에 대한 확률 시퀀스를 생성하여 최종 출력을 정의하는 단계를 포함할 수 있다.

일실시예에 따른 데이터 처리 장치의 동작 방법은 추론 모델 성능 개선을 위한 단계를 더 포함하고, 상기 추론 모델 성능 개선을 위한 단계는, 현재까지 가장 높은 성능이 검증된 수면단계 분류모델이 디플로이(Deploy)되어 상기 처리된 신호데이터에 대한 수면단계분류결과를 출력하는 단계, 상기 디플로이된 수면단계 분류모델의 하이퍼파라미터(Hyperparameter)의 서치를 반복적으로 진행하는 단계, 상기 반복적으로 진행된 서치 결과에 따라 상기 디플로이된 수면단계 분류모델을 검증하는 단계, 상기 수면단계 분류모델의 검증에 따른 검증데이터를 저장하는 단계, 및 상기 저장된 검증데이터와 현재 디플로이되어 서비스되고 있는 수면단계 분류모델의 성능을 비교하여, 성능이 더 좋은 수면단계 분류모델을 서비스 모듈에 디플로이 하도록 제어하는 단계를 포함할 수 있다.

일실시예에 따르면, 딥러닝을 이용하여 수면단계 분석의 정확도를 사람보다 빠르고 정확하게 판독하는 소프트웨어를 제공할 수 있다.

일실시예에 따르면, 인공지능을 이용하여 수면단계를 판단 함으로써, 수면단계 판단에 따른 객관적인 기준을 제공할 수 있다.

일실시예에 따르면, 수면단계의 판단에 따른 객관적인 기준을 통해 판정자 간 판정 오차를 줄일 수 있다.

일실시예에 따르면, 수면상태 판단 모델을 통해 수면다원 검사 결과 분석을 자동화함으로써, 수면다원 검사에 소요되는 시간을 최소화할 수 있다.

일실시예에 따르면, CNN과 RNN이 결합된 인공 신경망 기반의 기계학습을 통해 수면상태 판단 모델을 생성함으로써, 수면다원 검사의 정확성 및 신뢰성을 향상시킬 수 있다.

도 1은 일실시예에 따른 데이터 처리 장치를 설명하는 도면이다.
도 2는 일실시예에 따른 신호데이터 처리부를 보다 구체적으로 설명하는 도면이다.
도 3은 다른 일실시예에 따른 데이터 처리 장치를 설명하는 도면이다.
도 4는 일실시예에 따른 데이터 처리 장치의 세부 구성요소들을 설명하는 도면이다.
도 5는 일실시예에 따른 인공지능 모델 출력 결과의 일치도를 설명하는 도면이다.
도 6은 도 5의 인공지능 모델로부터의 출력 결과를 나타내는 도면이다.
도 7은 전체 모델의 구조를 나타내는 도면이다.
도 8은 일실시예에 따른 데이터 처리 장치의 동작 방법을 설명하는 도면이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시예들에 한정되지 않는다.

본 발명의 개념에 따른 실시예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시예들을 특정한 개시형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 표현들, 예를 들어 "~사이에"와 "바로~사이에" 또는 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 특허출원의 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 일실시예에 따른 판정 자동화 장치(100)를 설명하는 도면이다.

일실시예에 따른 판정 자동화 장치(100)는 인공지능을 이용하여 수면단계를 판단 함으로써, 수면단계 판단에 따른 객관적인 기준을 제공할 수 있다. 또한, 이를 통해 판정자 간 판정 오차를 줄일 수 있고, 수면다원 검사 결과 분석을 자동화함으로써, 수면다원 검사에 소요되는 시간을 최소화할 수 있다.

이를 위해, 일실시예에 따른 판정 자동화 장치(100)는 신호데이터 처리부(110), 및 수면단계 분류모델 처리부(120)를 포함할 수 있다.

일실시예에 따른 신호데이터 처리부(110)는 인공지능 모델로의 입력을 제공할 수 있다. 특히, 신호데이터 처리부(110)는 수면다원검사의 결과를 인공지능 모델로의 입력으로 제공할 수 있다.

구체적으로, 신호데이터 처리부(110)는 인공지능 모델로의 입력을 위해 수면다원검사에 의해서 검출되는 신호데이터를 수집하고, 수집된 신호데이터의 특성을 분석하여 특성 데이터를 추출할 수 있다. 또한, 신호데이터 처리부(110)는 추출한 특성 데이터를 시계열 데이터로 변환하여 처리한 뒤 인공지능 모델로의 입력을 제공할 수 있다.

수면다원검사에 의해서 검출되는 신호데이터는 EEG(Electroencephalogram) 센서, EOG(Electrooculography) 센서, EMG(Electromyogram) 센서, EKG(Electrokardiogramme) 센서, PPG(Photoplethysmography) 센서, 체스트 벨트(Chest belt), 앱더먼 벨트(Abdomen belt), 서미스터(Thermister), 유동(Flow) 센서 및 마이크(Microphone) 중 적어도 하나의 감지 수단을 통해 피검체로부터 측정되는 생체 데이터로 해석될 수 있다.

예를 들어, 수면다원검사에 의해서 검출되는 신호데이터는 실시간으로 수집되는 데이터로 해석될 수 있고, 사전에 수행된 수면다원 검사에 의해 수면다원 검사 데이터베이스에 기록된 데이터로 해석될 수도 있다.

또한, 일실시예에 따른 수면단계 분류모델 처리부(120)는 처리된 신호데이터를 기생성된 수면단계 분류모델에 입력하고, 상기 신호데이터에 상응하는 수면단계를 분류할 수 있다.

기생성된 수면단계 분류모델은 인공지능 모델로서 에폭(Epoch) 단위의 시계열 데이터를 이용해서 AASM(American Academy of Sleep Medicine) 표준 또는 R&K(Rechtschaffen and Kales) 표준 중에서 적어도 하나의 표준을 참고해서 상기 수면단계를 분류할 수 있다. 구체적으로는 아래 표 1과 같이 분류될 수 있다.

AASM	Wake	Rem	N1 stage	N2 stage	N3 stage
R&K	Wake	Rem	N1 stage	N2 stage	N3 stage	N4 stage

수면단계 분류모델 처리부(120)는 처리된 신호데이터에 대해, AASM 수면단계 스코어링 규칙 또는 R&K 수면단계 스코어링 규칙을 이용해서 수면단계를 분류할 수 있다.

이하에서는, 수면단계 분류모델 처리부(120)가 AASM 수면단계 스코어링 규칙의 예를 들어 수면단계를 분류하는 실시예를 설명한다.

신호데이터 처리부(110)는 30초 단위(Epoch)으로 나누어 측정되는 전체 수면 측정 데이터를 수집하여 처리할 수 있다.

수면단계 분류모델 처리부(120)는 Alpha Rhythm, Eye blinks (0.5 ~ 2Hz), Rapid eye movement associated with normal or high chin muscle tone, Reading Eye movement 중에서 적어도 하나의 특징이 50% 이상인 경우에 'Wake' 스테이지로 수면단계를 분류할 수 있다.

또한, 수면단계 분류모델 처리부(120)는 K-complex와 Sleep spindle이 없는 Low amplitude, mixed-frequency EEG activity와 Low chin EMG tone Epoch 내 Rapid eye movement가 동시에 나타날 경우에 대해서는 'Rem' 스테이지로 수면단계를 분류할 수 있다.

뿐만 아니라, 수면단계 분류모델 처리부(120)는 Arousal이 발생하거나 'W' 스테이지, 'N3' 스테이지의 신호, Body movement 발생 전까지는 'Rem' 스테이지로 수면단계를 분류할 수 있다.

한편, 수면단계 분류모델 처리부(120)는 처리된 신호데이터의 분석 결과, Alpha 리듬이 약화되거나, Low amplitude, mixed-frequency activity가 Epoch의 50% 이상일 경우에는 'N1' 스테이지로 수면단계를 분류할 수 있다.

또한, Theta(4~7Hz) 리듬, Slow eye movements (SEM), 'N2' 스테이지에서 Arousal 발생시, 'Rem' 스테이지에서 Arousal 발생시의 경우들 중에서 적어도 하나에 대해서는 'N1' 스테이지로 수면단계를 분류할 수 있다.

수면단계 분류모델 처리부(120)는 처리된 신호데이터의 분석 결과, K-complex, Sleep spindle 발생시 또는 발생 후, K-complex, Sleep spindle이 없어도, 지속해서 Low amplitude, mixed-frequency activity가 Epoch의 50% 이상일 경우, 'N3' 스테이지에서 더 이상 N3의 특징이 나타나지 않을 경우에 대해서는 'N2' 스테이지로 수면단계를 분류할 수 있다.

또한, 수면단계 분류모델 처리부(120)는 처리된 신호데이터의 분석 결과, Epoch의 20%가 Slow wave activity (0.5~2Hz), peak to peak amplitude 75microV 이하일 경우에 대해서는 'N3' 스테이지로 수면단계를 분류할 수 있다.

'N3' 스테이지에서 K complex는 Slow wave activity로 간주되며, Sleep spindle 또한 N3에서 공존할 수 있다. 또한, Eye movement가 거의 보이지 않으며, EMG 또한 'N2' 스테이지에서 보다 낮은 진폭으로 유지될 수 있다.

한편, AASM의 스테이지 N3는 R&K 수면단계 스코어링 규칙에 있어 스테이지 3과 스테이지 4를 대체할 수 있다.

아래 [표 2]는 앞서 설명한 각 수면단계(스테이지)별로 확인되는 신호데이터의 패턴을 나타낸다.

Signal	Pattern	Stage
Signal	Pattern	Wake	Stage N1	Stage N2	Stage N3	Stage Rem
EEG	Slow delta	No	No	No	Yes	No
	Theta	DK	Yes	DK	DK	Yes
	Sleep spindle	No	No	Yes	DK	No
EOG	REM signal	Yes	No	No	No	Yes
EMG	Muscle Tone	Yes	DK	DK	DK	No

일실시예에 따른 수면단계 분류모델 처리부(120)는 CNN(Convolution neural network)과 RNN(Recurrent neural network)이 결합된 인공 신경망 기반의 기계학습을 통해 수면상태 판단 모델을 생성함으로써, 수면다원 검사의 정확성 및 신뢰성을 향상시킬 수 있다.

도 2는 일실시예에 따른 신호데이터 처리부(200)를 보다 구체적으로 설명하는 도면이다.

일실시예에 따른 신호데이터 처리부(200)는 인공지능 모델로 신호데이터를 입력하기 위해 처리를 수행할 수 있다.

일례로, 신호데이터는 복수의 서로 다른 장비들로부터 EDF(European Data Format)의 형태로 수집될 수 있다. 참고로, 수면다원검사에서 사용되는 장비들이 주로 사용하는 신호데이터는 EDF file format으로 유통, 관리되고 있다.

복수의 서로 다른 장비들은 수면다원 검사에 필요한 EEG(Electroencephalogram) 센서, EOG(Electrooculography) 센서, EMG(Electromyogram) 센서, EKG(Electrokardiogramme) 센서, PPG(Photoplethysmography) 센서, 체스트 밸트(Chest belt), 앱더먼 벨트(Abdomen belt), 서미스터(Thermister), 유동(Flow) 센서 및 마이크(Microphone) 중 적어도 하나의 센서들을 이용하는 장비를 포함할 수 있다.

일실시예에 따른 신호데이터 처리부(200)는 처리를 수행하기 위해, 데이터 선택부(210), 데이터 보정 처리부(220), 및 데이터 특성 분석부(230)를 포함할 수 있다.

수면다원검사 장비, 병원, 검사별로 EDF 파일내의 신호데이터에 접근하는 Key값과 샘플링 주파수값 더 나아가 신호의 종류 및 개수가 상이하다. 신호데이터 처리부(200)는 데이터 선택부(210)는 이러한 Key값과 샘플링 주파수값 그리고 신호의 종류의 포맷을 통일하기 위한 모듈이다.

즉, 일실시예에 따른 데이터 선택부(210)는 다양한 장비들로부터 입력되는 신호데이터들의 포맷 등을 통일시키는 처리를 수행할 수 있다.

예를 들어, 데이터 선택부(210)는 신호데이터에 접근하는 키 값, 샘플링 주파수 값, 상기 신호데이터의 종류, 및 신호데이터의 포맷을 통일시킬 수 있다. 특히, 데이터 선택부(210)는 신호데이터의 각각에 가상 키를 정의하고, 상기 정의된 가상 키 중에서 동일한 신호데이터의 상이한 키 값을 가상 키로 매핑하여, 상기 신호데이터를 통일된 키 값으로 관리할 수 있다.

한편, 일실시예에 따른 데이터 선택부(210)는 측정된 데이터 별로 상이한 샘플링 주파수에 대해 업 샘플링(Up sampling) 또는 다운 샘플링(Down sampling) 중에서 적어도 하나로 샘플링 처리하여 나이퀴스트 주파수(Nyquist frequency)의 2배 이상의 값으로 정의하여, 신호데이터를 통일된 샘플링 주파수로 관리할 수 있다.

또한, 일실시예에 따른 데이터 선택부(210)는 기정의된 채널들을 이용해서 신호데이터를 수집하되, 기정의된 채널에 대한 채널 추가 또는 채널 복제를 통해 수면다원검사 장비별, 검사 유형별 신호 채널의 개수를 통일하여 관리할 수 있다.

이에, 일실시예에 따른 데이터 선택부(210)는 수면다원검사 장비별, 검사 유형별 신호 채널의 개수를 통일함으로써, 최소의 신호로도 판정이 가능하다. 또한, 수면다원검사 장비별, 검사 유형별 신호 채널의 개수를 통일함으로써, 2ch, 4ch, 6ch 등 다양한 EEG 신호를 딥러닝 수면다원검사 장치가 지원할 수 있게 된다.

신호데이터를 수집하는 도중에 데이터에 대한 누락이나 변형 등의 이유로 인해 수면단계 판정에 결과에 영향을 미칠 수 있는 상황이 발생할 수 있다.

이를 보완하기 위해, 일실시예에 따른 데이터 선택부(210)는 신호데이터에 대한 가공 처리를 수행할 수 있다.

일례로, 데이터 선택부(210)는 신호데이터 중에서 EEG(electroencephalographic) 수집을 위한 채널 또는 EOG(electro-oculographic) 수집을 위한 채널에서 신호데이터의 누락이 발생하거나, 수면다원검사에서 제외된 경우를 확인할 수 있다.

이에, 데이터 선택부(210)는 EEG 신호에 대해서는, 동일한 그라운드 신호 중 가장 인접한 위치의 다른 EEG 신호로 대체할 수 있다. EEG 신호는 특성상 인접한 EEG 신호들이 서로 비슷한 형태로 수집되는 특성으로 인해, 대체가 가능하다.

또한, EOG 신호에 대해서는, 누락된 신호의 반대편 신호로 대체할 수 있다. 마찬가지로, EOG 신호의 특성상 반대편에서 수집되는 신호의 쌍이 서로 비슷한 형태임을 고려할 때, 이와 같은 대체가 가능하다.

일례로, 입력되는 신호데이터는 EEG 6채널, EOG 2채널, EMG 1채널로 정의가 되어 있지만, 수면다원검사 장비별, 검사 유형별 신호 채널의 개수가 다르기 때문에 이에 대한 채널을 추가, 복제하여 포맷을 통일할 수 있다.

EEG 6채널과, EOG 2채널 신호에 대해 신호 중 누락이 발생하거나, 수면다원검사에서 제외된 경우, EEG 신호는 동일한 Ground 신호 중 가장 위치가 인접한 신호로 대체되며, EOG 신호의 경우 누락된 신호의 반대편 신호로 대체될 수 있다.

	Virtual Key	LAB1 Key	LAB1 Hz	LAB2 Key	LAB2 Hz
EEG	F4-M1	F4-M1	500 -> TSF	EEG	125 -> TSF
	F3-M2	F3-M2	500 -> TSF	EEG2	125 -> TSF
	C4-M1	C4-M1	500 -> TSF	EEG	125 -> TSF
	C3-M2	C3-M2	500 -> TSF	EEG2	125 -> TSF
	O2-M1	O2-M1	500 -> TSF	EEG	125 -> TSF
	O1-M2	O1-M2	500 -> TSF	EEG2	125 -> TSF
EOG	LOC	LOC	500 -> TSF	EOG(L)	125 -> TSF
EOG	ROC	ROC	500 -> TSF	EOG(R), ROC-0	125 -> TSF
EMG	EMG	Chin	500 -> TSF	EMG	125 -> TSF

표 3에서 TSF는 특정한 target sampling frequency 를 의미한다.위 [표 3]은 Key, 샘플링 주파수, 신호의 개수의 차이와 이를 LAB 마다 어떻게 통일하는지를 나타낸다.

일실시예에 따른 데이터 보정 처리부(220)는 수집되는 신호데이터 중에서 일부 데이터의 누락이 발생한 경우, 누락된 부분을 위해 신호데이터에 대한 보정 또는 보간을 처리할 수 있다.

구체적으로, 데이터 보정 처리부(220)는 신호데이터에 대한 2차 변화율로서 미분값을 측정하고, 측정된 2차 변화율이 가장 큰 부분을 공백처리하며, 공백 처리된 부분을 1차원 보간 하여 결함이 있는 부분의 신호를 복원할 수 있다.

일실시예에 따른 데이터 특성 분석부(230)는 신호데이터에 대해, EEG(electroencephalographic), EOG(electro-oculographic), EMG(electromyographic) 신호의 각각에 대한 특성을 분석하여 특성 데이터를 추출하고, 기생성된 수면단계 분류모델에 입력하기 위해, 추출한 특성 데이터를 에폭(Epoch) 단위의 시계열 데이터로 변환할 수 있다.

구체적으로, 특성 분석부(230)는 신호데이터가 EEG인 경우에 EEG 특성 분석을 처리할 수 있다.

특히, 특성 분석부(230)는 EEG의 신호데이터에 대한 특성을 분석하기 위해 시간 도메인에서의 Line Length를 산출할 수 있다.

Line Length의 수치는 신호데이터 내에서 EEG의 진폭과 주파수 진동을 측정하기 위해 사용될 수 있고, Line Length는 아래 [수학식 1]에 의해서 산출할 수 있다.

[수학식 1]

또한, 특성 분석부(230)는 아래 [수학식 2]에 의해서 EEG 신호 에폭(Epoch)내에 극단값의 존재와 위치를 측정하기 위해 Kurtosis를 산출할 수 있다.

[수학식 2]

한편, 특성 분석부(230)는 주파수 도메인에서 정의된 특성(Feature)을 이용할 수 있다.

특성 분석부(230)는 EEG 신호의 주파수 분석을 위해 FFT나 Multitaper spectral analysis로 Spectrogram을 생성할 수 있다.

또한, 특성 분석부(230)는 30초 에폭의 시간 도메인 데이터를 단위 시간을 설정하여 widnow의 크기를 설정한 후 window를 단위시간보다 작은 단위시간 간격으로 Sliding 하여 MTSA를 진행할 수 있다.

특성 분석부(230)는 아래 [표 4]와 같이 주파수 밴드를 바이닝(binning)하여 아래 주파수 도메인 특성의 정의대로 EEG 신호의 F, O, C 데이터에 대하여 Frequency bin의 Power ratio를 구해 Spectrogram에서 95 Percentile, minimum, mean, standard deviation을 인공지능 모델을 위한 특성 데이터(Feature)로 사용할 수 있다.

Delta wave	0~0.399 Hz
Theta wave	4~7.99 Hz
Alpha wave	8~13 Hz
Beta wave	13Hz 이상

따라서

이다.

추가로, 특성 분석부(230)는 Sleep spindle과 같은 Transient bursts를 위해 Spectrogram의 Kurtosis를 특성 데이터(Feature)로 사용할 수 있다.

한편, 특성 분석부(230)는 신호데이터가 EOG를 포함하는 경우에 EOG 특성 분석을 처리할 수 있다.

특성 분석부(230)는 EOG 2개의 신호에 대하여 2개의 특성 데이터(Feature)로 정의한 Energy constant band of Power spectrum을 이용할 수 있다.

파워스펙트럼(

)에 대한 ECB(Energy constant band)는 [수학식 3]를 통해서 산출할 수 있다.

[수학식 3]

한편, 특성 분석부(230)는 신호데이터가 EMG를 포함하는 경우에 EMG 특성 분석을 처리할 수 있다.

이를 위해, 특성 분석부(230)는 EMG 신호를 1개의 특성 데이터로 정의한 에너지 신호(Energy signal)를 이용할 수 있다.

도 3은 다른 일실시예에 따른 데이터 처리 장치(300)를 설명하는 도면이다.

일실시예에 따른 데이터 처리 장치(300)는 수면단계 분류모델을 생성하기 위한 수면단계 분류모델 생성부를 포함할 수 있다.

인공지능 기반의 수면단계 분류모델은 처리된 특성을 가지는 에폭 단위의 시계열 데이터를 입력으로 받아, 신호패턴을 딥러닝 기술로 분석하여 수면단계를 분류할 수 있다.

최적의 성능을 위한 수면단계 분류모델을 구현하기 위해서는, 최적화된 변수(Hyperparameter)가 존재하며, 이는 각각의 레이어마다 정의되어 있다.

일실시예에 따른 수면단계 분류모델은 CNN(Convolution neural network)과 RNN(Recurrent Neural Network)을 고려하여 딥러닝 모델의 형태로 설계될 수 있다.

구체적으로, 수면단계 분류모델 생성부는 추론 모델부(310), 추론 모델 학습부(320), 및 추론 모델 검증부(330)를 포함할 수 있다.

일실시예에 따른 추론 모델부(310)는 입력 레이어, 1차원 콘볼루션 레이어, LSTM(Long short-term memory) 레이어, 및 소프트맥스 레이어를 순차적으로 적용하여 수면단계 분류모델을 추론하기 위한 각 스테이지의 확률 시퀀스 데이터(Statistical sequence data of sleep stage)를 정의할 수 있다.

도 3의 각 구성요소들을 설명하기 위해 도 4에 도시된 수면단계 분류모델(400)의 구조를 참고할 수 있다. 수면단계 분류모델은 인공지능 모델에 해당된다.

먼저, 입력 레이어는 시계열 데이터의 형태로 처리된 상기 신호데이터를 미리 설정된 데이터 크기로 변환하여 상기 1차원 콘볼루션 레이어로 전달할 수 있다.

다음으로, 1차원 콘볼루션 레이어는 입력 텐서(Tensor)에서 수면분류에 필요한 특성값을 학습하고, LSTM 레이어에 학습된 특성값을 전달할 수 있다.

또한, LSTM 레이어는 학습된 특성값을 시간에 따른 패턴으로 학습한 후, 최종 학습된 패턴을 기반으로 기대값을 출력하며, 소프트맥스 레이어는, 출력된 기대값을 확률값으로 출력하여 각 수면단계에 대한 확률 시퀀스를 생성하여 최종 출력을 정의할 수 있다.

일실시예에 따른 추론 모델 학습부(320)는 검출되는 신호데이터의 전체 세트에 대해 처리부를 통해 처리 되도록 처리한 후 저장수단에 세트별로 캐싱하고, 상기 세트별로 캐싱된 신호데이터를 로드하여 훈련을 진행할 수 있다. 훈련 진행 과정에서, 추론 모델 학습부(320)는 1) 1세트 단위 데이터 로드하고, 2) 상기 로드된 데이터를 출력하여 출력된 데이터로 훈련을 진행하며, 3) 상기 훈련 후 결과를 측정 및 저장하고, 4) 상기 1)~3)의 과정을 상기 전체 데이터에 대해 진행할 수 있다. 이렇게 1) 내지 4) 세트의 과정은 1 에폭으로서, 진행이 완료되면 훈련 1 에폭(Epoch)을 종료할 수 있다. 또한, 추론 모델 학습부(320)는 4)의 과정을 기정의된 훈련 에폭(Epoch)만큼 반복하여 진행할 수 있다.

일실시예에 따른 추론 모델 검증부(330)는 기수집된 샘플들로부터 산출되는 분포로부터 구성된 테스트 세트와, 상기 추정된 수면단계 분류모델의 결과를 대비할 수 있다.

일실시예에 따른 데이터 처리 장치(300)는 추론 모델 성능 개선부(340)를 더 포함할 수 있다.

일실시예에 따른 추론 모델 성능 개선부(340)는, 서비스 모듈, 학습 모듈, 및 데이터베이스를 포함할 수 있다.

일실시예에 따른 추론 모델 성능 개선부(340)는 서비스 모듈을 통해 현재까지 가장 높은 성능이 검증된 수면단계 분류모델이 디플로이(Deploy)되어 상기 처리된 신호데이터에 대한 수면단계분류결과를 출력할 수 있다.

또한, 학습 모듈은 디플로이된 수면단계 분류모델의 하이퍼파라미터(Hyperparameter)의 서치를 반복적으로 진행하며, 반복적으로 진행된 결과에 따라 디플로이된 수면단계 분류모델을 검증할 수 있다.

데이터베이스는 수면단계 분류모델의 검증에 따른 검증데이터를 저장할 수 있다.

일실시예에 따른 학습 모듈은 상기 저장된 검증데이터와 현재 디플로이되어 서비스되고 있는 수면단계 분류모델의 성능을 비교하여, 성능이 더 좋은 수면단계 분류모델을 서비스 모듈에 디플로이 하도록 제어할 수 있다.

CNN만을 이용한 수면단계 분석은 30sec를 하나의 에폭으로 하여 인공지능 네트웍을 구성할 수 있다. 이 경우 EEG, EOG 및 Chin-EMG를 하나의 영상으로 간주하여 CNN을 구성하여 수면단계에 대한 classification을 진행할 수 있다.

RNN의 경우 EEG, EOG 및 chin-EMG 신호를 이용하여 신호를 구성하기에 적합한 인공지능 모델이다.

RNN만을 이용하는 경우 실제 EEG, EOG 및 chin-EMG raw data를 이용하여 사용하는 경우 30초의 데이터 및 전후 30초까지 데이터를 처리해야 하는 단점이 존재한다. 따라서 RNN을 사용하는 경우 30초 단위로 EEG, EOG 및 chin-EMG의 raw data를 분석 후 이에 따른 feature들을 정의하여 입력으로 사용함으로 RNN의 요구되는 단수를 줄이는 효과뿐만 아니라 실제 인공지능을 사용시 출력까지 걸리는 동작 시간을 줄이는 효과를 볼 수 있다.

본 발명에 따른 수면단계 분류모델은 CNN과 RNN을 조합하여 사용할 수 있다.

오디오 신호나 바이오 신호와 같은 Time variant 신호들에 대해서는 주로 특성을 추출하여 모델을 구성하거나, 로데이터(raw data)로부터 특성들을 추출하기 위해서 멀티레이어(multi-layer)의 CNN을 구성할 수 있다. 이렇게 추출되는 feature들은 RNN과 결합하여 사용될 수 있다.

이러한 것의 대표적인 예로 SoundNet이 있으나, CNN 레이어 수의 복잡함으로 인해 학습 효율 등에 있어서 많은 시간과 계산량이 낭비될 수 있다.

이에 본 발명에 따른 수면단계 분류모델은 바이오 신호들에 대한 특성들을 정의하여 30초 단위로 제공함으로 딥러닝 모델의 연산량을 줄이고 학습 시간을 줄일 수 있다.

도 4는 일실시예에 따른 인공지능 모델(400)을 설명하는 도면이다.

앞서 설명한 바와 같이, 수면단계 분류모델은 인공지능 모델(400)의 형태를 따른다.

인공지능 모델(400)은 4개의 레이어로 표현될 수 있다.

먼저, 입력 레이어는 처리부에서 처리된 시계열 데이터를 분석에 최적화된 데이터 크기로 변환하여 데이터를 다음 레이어로 전달하는 역할을 할 수 있다.

입력으로 들어가는 데이터의 모형을 텐서 모양(Tensor shape)이라고 한다. 텐서 모양은 분류 모델의 최적화 정도에 따라 변할 수 있는데 이는 배치 사이즈(Batch size), 타임스텝(Timesteps), 특성들(Features)의 형태를 나타낼 수 있다.

배치 사이즈는 분류모델의 예측작업을 실행하는 GPU의 메모리 크기에 따라 가변하며, 타임스텝 입력 레이어의 하이퍼파라미터로 해석될 수 있다.

수면다원검사의 수면단계분류는 30초 에폭 단위로 진행되기 때문에, 에폭 단위의 시계열 데이터가 입력으로 들어가며, 타임스텝의 값은 30초 에폭을 나타낼 수 있다. 즉, 50 타임스텝일 경우 50 에폭의 데이터이다.

콘볼루션 레이어는 입력 텐서에서 수면분류에 필요한 최적화된 특성값을 학습하고, 다음 레이어에 해당 내용을 전달할 수 있다.

콘볼루션 레이어의 하이퍼파라미터는 필터의 개수, 필터의 크기, 스트라이드(Stride), 패딩(Padding)이 있다.

콘볼루션 레이어의 출력의 형태는 입력 데이터와 다를 수 있으며 이는 아래 [수학식 4]를 따른다.

[수학식 4]

에폭 단위의 수면 분류를 수행하기 위해선 에폭 단위로 특성을 학습할 필요가 있으며, 입력과 출력 타임스텝들이 동일해야 하는 조건이 필요하다.

이를 위해 패딩(Padding)과 스트라이드(Stride)의 하이퍼파라미터에 제약 조건을 아래와 같이 정의하여 문제를 해결할 수 있다.

[수학식 5]

콘볼루션 레이어에 보편적으로 사용하는 풀링 레이어(Pooling layer)를 사용하지 않은 이유는 나이키스트 이론에 따르면 풀링 레이어는 시 변환 신호(time variant signal)에 대해서 다운 샘플링을 하는 것이기 때문이다.

시 변환 신호에서의 다운 샘플링은 애일리어징 이펙트(aliasing effect)를 발생시킬 수 있고 이 경우 신호의 왜곡에 따른 스테이지의 학습 및 분류에 오류를 발생할 수 있다. 따라서 본 발명에 따른 수면단계 분류모델에서는 풀링 레이어를 사용하지 않는다.

LSTM 레이어에서는 1차원 콘볼루션 레이어로부터 전달받은 최적화된 특성값을, 시간에 따른 패턴으로 학습한다. 또한, 최종적으로 학습된 패턴을 기반으로 수면단계에 대한 기대값을 출력한다.

Softmax 레이어는 LSTM 레이어가 출력한 수면단계에 대한 기대값을 0~1까지의 확률 값으로 출력하여 수면 스테이지에 대한 확률 시퀀스를 만들어 낸다.

추론된 모델의 학습을 위한 데이터셋의 단위는 1 세트이며 1 세트는 한 사람이 수면다원검사를 진행한 신호데이터와 정답데이터를 포함할 수 있다.

데이터셋 1 세트당 적게는 800 에폭부터 1200 에폭까지 다양하게 가변형태로 저장될 수 있다.

학습을 하며 성능을 측정하는 단위가 에폭 단위의 정확도가 아닌, 1 세트 단위의 정확도를 측정하기 위해서 1 세트 단위로 학습할 수 있다.

기존의 프레임워크에서는 이러한 형태의 트레이닝을 효율적인 방법으로 지원하지 않기 때문에, 별도의 1 세트 단위의 학습 절차를 설계하여 진행했다.

학습의 단위는 전체 데이터에 대해 1회 역전파(Backpropagation)가 진행되면 그것을 1에폭이라고 정의할 수 있다.

참고로, 학습에서의 에폭과 수면다원검사의 시계열 데이터 단위인 에폭은 구분돼야 한다.

앞서 설명한 바와 같이, 추론모델의 최적의 성능을 만들기 위해 최적화된 값을 찾아야 하는 하이퍼파라미터가 존재하는데, 이러한 하이퍼파라미터의 범위가 넓기 때문에 랜덤 서치 기법과 베이지안 최적화(Bayesian optimization) 기법을 사용해, 최적화된 하이퍼파라미터를 찾아내는 것을 목표로, 지속적인 검색을 진행한다.

추론된 모델의 오버피팅(Overfitting)과 학습 중 시스템 에러로 인한 학습 중단으로 학습된 추론모델을 보호하기 위해, 에폭 단위로 모델의 가중치를 각각 저장하며, 빠른 중지(Early stopping) 기능을 사용하여 불필요한 훈련을 진행하지 않는다. 일례로, 빠른 중지는 일정 에폭 이상 로스(Loss)가 감소하지 않으면 훈련 강제 종료하는 기능을 의미한다.

도 5은 도 4의 인공지능 모델로부터의 출력 결과(500)의 일치도를 나타내는 도면이고, 도 6은 기존 데이터와 인공지능 모델을 이용한 출력 결과(600)를 나타내는 도면이다.

출력 결과(500)의 세로축은 각 수면단계를 나타내고, 가로축은 시간 도메인에서의 Line Length를 나타낼 수 있다.

도면부호 600을 살펴보면, 수면다원검사 데이터 정확도는 수면다원검사 스코어링을 진행하는 사람마다 객관적인 지표가 있지만 주관적인 판단에 의하여 조금씩 다르며 이에 대한 일치도는 일반적으로 0.75 Kappa value를 갖는다.

본 발명에서는 이를 극복하기 위해, 다양한 분포를 가진 샘플들을 수집하여, 테스트 세트를 구성하여 정확도를 높이고 또한 다양한 수면기사들의 합의를 통하여 이끌어낸 정확한 기준 테스트 세트를 설정하여 알고리즘의 정확도를 확보할 수 있다.

도 7은 일실시예에 따른 데이터 처리 장치(700)의 세부 구성요소들을 설명하는 도면이다.

데이터 처리 장치(700)는 도면부호 710을 통해 수면다원검사 결과를 수집할 수 있다.

도면부호 710에서 보는 바와 같이, 추출기(extractor)를 통해 피검체로부터 추출하거나 수면다원검사 결과를 기저장된 데이터베이스로부터 수면다원검사 결과를 수집할 수 있다.

한편, 도면부호 720에서는 수집된 수면다원검사 결과를 신호데이터로서 처리할 수 있다. 처리 과정을 통해 로데이터의 특징, 스펙트로그램의 특징, 통계학적인 특징을 이용하여 처리할 수 있다.

도면부호 730에서는 처리 및 추론한 모델에 대한 학습을 진행할 수 있다.

도면부호 740에서는 추론 및 학습한 모델에 대한 검증을 완료하고, 데이터베이스에 저장할 수 있다. 또한, 도면부호 750에서는 기저장된 데이터와 비교 후 성능이 더 좋은 모델로 기존 모델을 대체할 수 있다.

즉, 저장된 검증데이터와 현재 디플로이되어 서비스되고 있는 수면단계 분류모델의 성능을 비교하여, 성능이 더 좋은 수면단계 분류모델을 서비스 모듈에 디플로이 하도록 처리할 수 있다.

도 8은 일실시예에 따른 데이터 처리 장치의 동작 방법을 설명하는 도면이다.

일실시예에 따른 데이터 처리 장치의 동작 방법은 수면다원검사에 의해서 검출되는 신호데이터를 수집할 수 있다(단계 801).

일례로, 신호데이터를 수집하는 과정에서 신호데이터 중에서 EEG(electroencephalographic) 수집을 위한 채널 또는 EOG(electro-oculographic) 수집을 위한 채널에서 신호데이터의 누락이 발생하거나, 수면다원검사에서 제외된 경우를 고려할 수 있다. 이때, 데이터 처리 장치의 동작 방법은 EEG 신호에 대해서는, 동일한 그라운드 신호 중 가장 인접한 위치의 다른 EEG 신호로 대체하고, EOG 신호에 대해서는, 누락된 신호의 반대편 신호로 대체할 수 있다.

한편, 신호데이터를 수집하는 과정에서 신호데이터 중에서 일부 데이터의 누락이 발생한 경우, 누락된 부분을 위해 상기 신호데이터에 대한 보정 또는 보간을 처리할 수 있다.

예를 들어, 신호데이터에 대한 보정 또는 보간을 처리하기 위해, 신호데이터에 대한 2차 변화율을 측정하고, 측정된 2차 변화율이 가장 큰 부분을 공백처리할 수 있다. 또한, 공백처리된 부분을 1차원 보간 하여 결함이 있는 부분의 신호를 복원할 수 있다.

또한, 일실시예에 따른 데이터 처리 장치의 동작 방법은 수집된 신호데이터에 대해, EEG(electroencephalographic), EOG(electro-oculographic), EMG(electromyographic) 신호의 각각에 대한 특성을 분석하여 특성 데이터를 추출할 수 있다(단계 802).

또한, 데이터 처리 장치의 동작 방법은 기생성된 수면단계 분류모델에 입력하기 위해, 추출한 특성 데이터를 에폭(Epoch) 단위의 시계열 데이터로 변환하여 처리하고(단계 803), 처리된 신호데이터를 기생성된 수면단계 분류모델에 입력하여 수면단계를 분류할 수 있다(단계 804).

일실시예에 따른 데이터 처리 장치의 동작 방법은 수면단계 분류모델을 생성하는 과정을 더 포함할 수 있다.

이를 위해, 데이터 처리 장치의 동작 방법은 입력 레이어, 1차원 콘볼루션 레이어, LSTM(Long short-term memory) 레이어, 및 소프트맥스 레이어를 순차적으로 적용하여 각 스테이지의 확률 시퀀스 데이터(Statistical sequence data of sleep stage)를 정의할 수 있다. 정의된 확률 시퀀스 데이터를 이용하여 상기 수면단계를 추론할 수 있다.

이 과정에서 확률 시퀀스 데이터를 정의하기 위해, 시계열 데이터의 형태로 처리된 상기 신호데이터를 미리 설정된 데이터 크기로 변환하여 1차원 콘볼루션 레이어로 전달할 수 있다. 또한, 입력 텐서(Tensor)에서 수면분류에 필요한 특성값을 학습하고, 상기 LSTM 레이어에 상기 학습된 특성값을 전달할 수 있다.

데이터 처리 장치의 동작 방법은 학습된 특성값을 시간에 따른 패턴으로 학습한 후, 최종 학습된 패턴을 기반으로 기대값을 출력할 수 있다. 뿐만 아니라, 출력된 기대값을 확률값으로 출력하여 각 수면단계에 대한 확률 시퀀스를 생성하여 최종 출력을 정의할 수 있다.

일실시예에 따른 데이터 처리 장치의 동작 방법은 추론 모델 성능 개선을 위한 과정을 더 포함할 수 있다.

이를 위해, 일실시예에 따른 데이터 처리 장치의 동작 방법은 현재까지 가장 높은 성능이 검증된 수면단계 분류모델이 디플로이(Deploy)되어 처리된 신호데이터에 대한 수면단계분류결과를 출력할 수 있다. 또한, 디플로이된 수면단계 분류모델의 하이퍼파라미터(Hyperparameter)의 서치를 반복적으로 진행하고, 반복적으로 진행된 서치 결과에 따라 상기 디플로이된 수면단계 분류모델을 검증할 수 있다. 또한, 일실시예에 따른 데이터 처리 장치의 동작 방법은 수면단계 분류모델의 검증에 따른 검증데이터를 저장하고, 저장된 검증데이터와 현재 디플로이되어 서비스되고 있는 수면단계 분류모델의 성능을 비교하여, 성능이 더 좋은 수면단계 분류모델을 서비스 모듈에 디플로이 하도록 제어할 수 있다.

결국, 본 발명을 이용하면 딥러닝을 이용하여 수면단계 분석의 정확도를 사람보다 빠르고 정확하게 판독하는 소프트웨어를 제공할 수 있고, 인공지능을 이용하여 수면단계를 판단 함으로써, 수면단계 판단에 따른 객관적인 기준을 제공할 수 있다.

뿐만 아니라, 본 발명을 이용하면, 수면단계의 판단에 따른 객관적인 기준을 통해 판정자 간 판정 오차를 줄일 수 있고, 수면상태 판단 모델을 통해 수면다원 검사 결과 분석을 자동화함으로써, 수면다원 검사에 소요되는 시간을 최소화할 수 있다.

또한, 본 발명을 이용하면, CNN과 RNN이 결합된 인공 신경망 기반의 기계학습을 통해 수면상태 판단 모델을 생성함으로써, 수면다원 검사의 정확성 및 신뢰성을 향상시킬 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

수면다원검사에 의해서 검출되는 신호데이터를 수집하고, 상기 수집된 신호데이터의 특성을 분석하여 특성 데이터를 추출하고, 상기 추출한 특성 데이터를 시계열 데이터로 변환하여 처리하는 신호데이터 처리부; 및
상기 처리된 신호데이터를 기생성된 수면단계 분류모델에 입력하고, 상기 신호데이터에 상응하는 수면단계를 분류하는 수면단계 분류모델 처리부
를 포함하고,
상기 신호데이터 처리부는,
상기 신호데이터에 대해, EEG(electroencephalographic), EOG(electro-oculographic), EMG(electromyographic) 신호의 각각에 대한 특성을 분석하여 특성 데이터를 추출하고, 상기 기생성된 수면단계 분류모델에 입력하기 위해, 상기 추출한 특성 데이터를 에폭(Epoch) 단위의 시계열 데이터로 변환하는 데이터 처리 장치.
제1항에 있어서,
상기 신호데이터는 복수의 서로 다른 장비들로부터 EDF(European Data Format)으로 수집되고,
상기 신호데이터 처리부는,
상기 신호데이터에 접근하는 키 값, 샘플링 주파수 값, 상기 신호데이터의 종류, 및 상기 신호데이터의 포맷을 통일시키는 데이터 선택부
를 포함하는 데이터 처리 장치.
제2항에 있어서,
상기 데이터 선택부는,
상기 신호데이터의 각각에 가상 키를 정의하고, 상기 정의된 가상 키 중에서 동일한 신호데이터의 상이한 키 값을 가상 키로 매핑하여, 상기 신호데이터를 통일된 키 값으로 관리하는 데이터 처리 장치.
제2항에 있어서,
상기 데이터 선택부는,
상기 측정된 데이터 별로 상이한 샘플링 주파수에 대해 업 샘플링(Up sampling) 또는 다운 샘플링(Down sampling) 중에서 적어도 하나로 샘플링 처리하여 나이퀴스트 주파수(Nyquist frequency)의 2배 이상의 값으로 정의하여, 상기 신호데이터를 통일된 샘플링 주파수로 관리하는 데이터 처리 장치.
제2항에 있어서,
상기 데이터 선택부는,
기정의된 채널들을 이용해서 상기 신호데이터를 수집하되, 상기 기정의된 채널에 대한 채널 추가 또는 채널 복제를 통해 수면다원검사 장비별, 검사 유형별 신호 채널의 개수를 통일하는 데이터 처리 장치.
제5항에 있어서,
상기 데이터 선택부는,
상기 신호데이터 중에서 EEG(electroencephalographic) 수집을 위한 채널 또는 EOG(electro-oculographic) 수집을 위한 채널에서 신호데이터의 누락이 발생하거나, 수면다원검사에서 제외된 경우에,
상기 EEG 신호에 대해서는, 동일한 그라운드 신호 중 가장 인접한 위치의 다른 EEG 신호로 대체하고,
상기 EOG 신호에 대해서는, 누락된 신호의 반대편 신호로 대체하는 데이터 처리 장치.
제1항에 있어서,
상기 신호데이터는 복수의 서로 다른 장비들로부터 EDF(European Data Format)으로 수집되고,
상기 신호데이터 처리부는,
상기 신호데이터 중에서 일부 데이터의 누락이 발생한 경우, 상기 누락된 부분을 위해 상기 신호데이터에 대한 보정 또는 보간을 처리하는 데이터 보정 처리부
를 포함하는 데이터 처리 장치.
제7항에 있어서,
상기 데이터 보정 처리부는,
상기 신호데이터에 대한 2차 변화율을 측정하고, 상기 측정된 2차 변화율이 가장 큰 부분을 공백처리하며, 상기 공백처리된 부분을 1차원 보간 하여 결함이 있는 부분의 신호를 복원하는 데이터 처리 장치.
수면다원검사에 의해서 검출되는 신호데이터를 수집하는 단계;
상기 수집된 신호데이터에 대해, EEG(electroencephalographic), EOG(electro-oculographic), EMG(electromyographic) 신호의 각각에 대한 특성을 분석하여 특성 데이터를 추출하는 단계;
기생성된 수면단계 분류모델에 입력하기 위해, 상기 추출한 특성 데이터를 에폭(Epoch) 단위의 시계열 데이터로 변환하여 처리하는 단계;
상기 처리된 신호데이터를 기생성된 수면단계 분류모델에 입력하고, 상기 신호데이터에 상응하는 수면단계를 분류하는 단계
를 포함하고,
상기 처리하는 단계는,
상기 신호데이터에 대해, EEG(electroencephalographic), EOG(electro-oculographic), EMG(electromyographic) 신호의 각각에 대한 특성을 분석하여 특성 데이터를 추출하고, 상기 기생성된 수면단계 분류모델에 입력하기 위해, 상기 추출한 특성 데이터를 에폭(Epoch) 단위의 시계열 데이터로 변환하는 단계
를 포함하는 데이터 처리 장치의 동작 방법.
제9항에 있어서,
상기 신호데이터를 수집하는 단계는,
상기 신호데이터 중에서 EEG(electroencephalographic) 수집을 위한 채널 또는 EOG(electro-oculographic) 수집을 위한 채널에서 신호데이터의 누락이 발생하거나, 수면다원검사에서 제외된 경우에,
상기 EEG 신호에 대해서는, 동일한 그라운드 신호 중 가장 인접한 위치의 다른 EEG 신호로 대체하고,
상기 EOG 신호에 대해서는, 누락된 신호의 반대편 신호로 대체하는 단계
를 포함하는 데이터 처리 장치의 동작 방법.
제9항에 있어서,
상기 신호데이터를 수집하는 단계는,
상기 신호데이터 중에서 일부 데이터의 누락이 발생한 경우, 상기 누락된 부분을 위해 상기 신호데이터에 대한 보정 또는 보간을 처리하는 단계
를 포함하고,
상기 신호데이터에 대한 보정 또는 보간을 처리하는 단계는,
상기 신호데이터에 대한 2차 변화율을 측정하는 단계;
상기 측정된 2차 변화율이 가장 큰 부분을 공백처리하는 단계; 및
상기 공백처리된 부분을 1차원 보간 하여 결함이 있는 부분의 신호를 복원하는 단계
를 포함하는 데이터 처리 장치의 동작 방법.