KR102077605B1 - 심층신경망을 이용한 자동 뇌파 잡음 제거 방법 및 장치 - Google Patents

Abstract

본 발명은 심층신경망을 이용하여 측정된 뇌파 신호를 다양한 종류의 잡음 성분과 뇌파 성분으로 분류한 후 잡음이 제거된 정제 뇌파를 자동으로 생성하는 방법 및 장치에 관한 것으로, 본 발명에 따른 측정된 뇌파에 포함되어 있는 잡음을 제거하기 위한 뇌파 잡음 제거 장치는 뇌파를 측정한 잡음이 포함된 데이터를 입력 받는 입력부, 심층신경망을 이용하여 상기 뇌파를 측정한 잡음이 포함된 데이터를 뇌파 성분 및 잡음 성분으로 분류하는 분류처리부 및 상기 분류처리부에서 분류한 뇌파 성분 및 잡음 성분을 바탕으로 상기 뇌파를 측정한 잡음이 포함된 데이터에서 상기 잡음 성분을 제거한 정제 뇌파 데이터를 생성하여 출력하는 출력부를 포함할 수 있다.
본 발명에 의하면, 자동으로 잡음이 제거된 정제 뇌파를 생성함으로써 기존 기술의 단점인 잡음이 혼입된 측정 뇌파에서 잡음 성분을 제거하는 과정에 육안으로 뇌파 성분과 잡음 성분을 결정해야 하는 번거로움을 극복할 수 있는 효과가 있다.

Description

심층신경망을 이용한 자동 뇌파 잡음 제거 방법 및 장치 {Method and apparatus for an automatic artifact removal of EEG based on a deep learning algorithm}

본 발명은 심층신경망을 이용하여 뇌파에 포함된 잡음 신호를 자동으로 제거하는 방법 및 장치에 관한 것으로, 보다 자세하게는 잡음이 포함된 상태로 측정된 뇌파 빅데이터(big data)를 심층신경망(Deep Neural Network: DNN) 딥 러닝(deep learning) 방식을 적용하여 다양한 종류의 잡음 성분과 뇌파 성분으로 분류한 후 잡음이 제거된 정제 뇌파를 자동으로 생성하는 방법 및 장치에 관한 것이다.

뇌파 신호는 뇌신경 세포 사이에 신호가 전달될 때 발생하는 전기적 신호를 측정한 것으로서, 뇌파 측정은 뇌 기능을 높은 시간 해상도로 관찰하는 유용한 방법으로 알려졌다. 주로 비침습적인 방법으로 두피 뇌파(scalp EEG (electroencephalography))를 측정하며, 뇌파는 수십에서 수백 마이크로 볼트(μV) 단위의 미세한 전기 신호이므로 측정 기술의 발전에도 불구하고 실제 뇌에서 발생하는 신호와 함께 수평 및 수직 눈 움직임, 근육 움직임 등의 잡음 성분이 뇌파 신호에 포함되어 측정되는 단점이 있다. 잡음이 포함된 상태로 측정한 뇌파에서 잡음을 제거하기 위한 다양한 방법이 제안되어 사용되고 있으며, 가장 널리 알려진 방법으로는 주성분 분석(Principal Component Analysis, PCA), 독립성분분석(Independent Component Analysis, ICA) 등이 있다.

주성분 분석은 서로 상관관계가 높은 여러 개의 변인들을 조합해서 그 변인들의 정보를 가능한 한 많이 함축하고 있는 새로운 인위적인 변인을 만들어 내기 위한 기법으로 주로 SVD(Singular Value Decomposition) 방법을 이용하여 수행하며, 이에 의하여 복수 개의 주성분이 나타날 수 있으며, 직관적인 판단에 따라 복수 개의 주성분 중에서 뇌파에 의한 주성분을 남기고 잡음에 의한 주성분을 제거할 수 있으나, 초기에 주성분의 불완전한 분리에 의해 잡음이 완전히 제거되지 못할 수 있다.

독립성분분석은 독립적인 여러 신호원이 선형 결합한 경우에 통계적인 알고리즘을 이용하여 신호원을 추출해 내는 기법이다. 일반적으로 측정 신호는 뇌파 외에 여러 가지 잡음이 독립적으로 혼합되어 나타난 신호이다. 이러한 혼합된 신호를 영역화, 분리를 거쳐 독립적인 신호로 분리하는 것이 독립성분분석이다. 이러한 분석에 의하여 복수 개의 독립적인 신호를 분리해 낼 수 있지만 어느 것이 뇌파 신호에 의한 것인지 또는 어느 것이 잡음에 의한 것인지는 전문가에 의하여 결정되어야 한다.

즉, 기존의 뇌파 잡음 제거 방법을 사용할 경우, 잡음 제거 방법을 적용하여 분리된 신호에서 잡음 성분을 전문가가 직접 육안으로 보고 뇌파 신호와 잡음 신호를 결정하여야 하는 어려움과 번거로움이 있고, 뇌파 및 다양한 종류의 잡음 신호에 대한 전문 지식이 있어야만 정확한 잡음 성분 결정이 가능하다는 단점이 있다.

한국등록특허공보 10-1577994

본 발명의 목적은 심층신경망 딥 러닝 방식을 적용하여 다양한 종류의 잡음 성분과 뇌파 성분을 분류하여 잡음이 제거된 정제 뇌파를 자동으로 생성하는 방법 및 장치를 제공함에 있다.

전술한 목적을 달성하기 위한 본 발명에 따른 측정된 뇌파에 포함되어 있는 잡음을 제거하기 위한 뇌파 잡음 제거 장치는 뇌파를 측정한 잡음이 포함된 데이터를 입력받는 입력부, 심층신경망을 이용하여 상기 뇌파를 측정한 잡음이 포함된 데이터를 뇌파 성분 및 잡음 성분으로 분류하는 분류처리부 및 상기 분류처리부에서 분류한 뇌파 성분 및 잡음 성분을 바탕으로 상기 뇌파를 측정한 잡음이 포함된 데이터에서 상기 잡음 성분을 제거한 정제 뇌파 데이터를 생성하여 출력하는 출력부를 포함할 수 있다.

여기서 상기 뇌파를 측정한 잡음이 포함된 데이터는 복수의 채널에서 획득한 신호 정보를 시간 순서로 나열한 시계열 데이터, 또는 복수의 채널에서 획득한 신호 정보를 바탕으로 채널별 특성 지표를 뇌파 측정 채널 위치에 나타낸 위상 지도, 또는 복수의 채널에서 획득한 신호 정보를 바탕으로 채널별 시간에 따른 주파수 변화를 도시한 시간-주파수 지도일 수 있다.

그리고 상기 심층신경망은 콘벌루션 신경망(Convolutional Neural Network), 리커런트 신경망(Recurrent Neural Network), 및 상기 콘벌루션 신경망과 상기 리커런트 신경망이 결합된 하이브리드 신경망(Hybrid Neural Network) 중의 하나일 수 있다.

상기 콘벌루션 신경망은 입력층, 복수 개의 특징추출층, 및 예측층을 포함하고, 상기 복수 개의 특징추출층의 각각은 콘벌루션층 및 통합층으로 구성되고, 상기 입력층은 상기 뇌파를 측정한 잡음이 포함된 데이터를 입력받고, 상기 콘벌루션층은 상기 입력층 또는 상기 통합층에서 입력되는 데이터에 복수의 필터를 적용하고 상기 복수의 필터 각각과 연관된 특징을 추출하여 상기 필터별 특징 지도를 생성하고, 상기 통합층은 상기 필터별 특징 지도를 압축하고 통합하여 새로운 특징 지도를 생성하고, 상기 예측층은 상기 복수 개의 특징추출층 중 마지막 특징추출층에 의해 추출된 특징 지도를 바탕으로 상기 뇌파를 측정한 잡음이 포함된 데이터를 데이터 생성에 영향을 미친 성분별로 분리할 수 있는데, 상기 통합층은 상기 필터별 특징 지도를 복수 개의 영역으로 나누고 각 영역에 포함되어 있는 값들 중에서 최고값을 선택하여 상기 새로운 특징 지도의 대응하는 영역의 값으로 설정하는 최대 통합에 의하여 또는 상기 필터별 특징 지도를 복수 개의 영역으로 나누고 각 영역에 포함되어 있는 값들의 평균값을 선택하여 상기 새로운 특징 지도의 대응하는 영역의 값으로 설정하는 평균 통합에 의하여 상기 필터별 특징 지도를 압축하고 통합할 수 있다. 이때 상기 복수 개의 영역의 각 영역은 다른 영역과 일부에서 겹칠 수 있다.

상기 리커런트 신경망은 순환 은닉층을 포함하고, 상기 순환 은닉층은 이전 시간(t-1)에서의 출력 데이터(h_t-1)와 상태 데이터(C_t-1), 그리고 현재 시간(t)에서의 입력 데이터(Xt)를 바탕으로 현재 시간(t)에서의 출력 데이터(h_t) 및 상태 데이터(C_t)를 계산하되, 상기 상태 데이터(C_t)는 상기 입력 데이터(Xt) 및 상기 출력 데이터(h_t-1)를 더한 값에 망각 게이트 계수 및 상기 상태 데이터(C_t-1)를 곱한 제1 중간값, 상기 입력 데이터(Xt) 및 상기 출력 데이터(h_t-1)를 더한 값에 입력 게이트 계수를 곱한 제2 중간값, 및 상기 입력 데이터(Xt) 및 상기 출력 데이터(h_t-1)를 더한 값에 하이퍼탄젠트(hyperbolic tangent)를 취한 제3 중간값을 구한 후, 상기 제2 중간값과 상기 제3 중간값을 곱한 값에 상기 제1 중간값을 더하여 구하고, 상기 출력 데이터(h_t)는 구한 상기 상태 데이터(C_t)에 하이퍼탄젠트를 취한 제4 중간값 및 상기 입력 데이터(Xt) 및 상기 출력 데이터(h_t-1)를 더한 값에 출력 게이트 계수를 곱한 제5 중간값을 구한 후, 상기 제4 중간값과 상기 제5 중간값을 곱하여 구할 수 있다.

상기 하이브리드 신경망은 입력 모듈, RNN 모듈, CNN 입력 형성 모듈, 및 CNN 모듈을 포함하고, 상기 입력 모듈은 하나의 채널에 대한 시계열 데이터를 입력 받고, 상기 RNN 모듈은 상기 시계열 데이터에 대하여 상기 리커런트 신경망을 적용하여 순간적인 잡음 성분을 분류하여 제거한 제1 시계열 데이터를 생성하고, 상기 CNN 입력 형성 모듈은, 상기 제1 시계열 데이터를 일정한 시간 간격으로 잘라서 재구성한 다차원 시계열 데이터를 생성하고, 상기 CNN 모듈은 상기 콘벌루션 신경망을 적용하여 상기 다차원 시계열 데이터를 뇌파 성분 및 잡음 성분으로 분류할 수 있다.

전술한 목적을 달성하기 위한 본 발명에 따른 측정된 뇌파에 포함되어 있는 잡음을 제거하기 위한 뇌파 잡음 제거 방법은 뇌파를 측정한 잡음이 포함된 데이터를 입력받는 단계, 심층신경망을 이용하여 상기 뇌파를 측정한 잡음이 포함된 데이터를 뇌파 성분 및 잡음 성분으로 분류하는 단계 및 분류한 상기 뇌파 성분 및 잡음 성분을 바탕으로 상기 뇌파를 측정한 잡음이 포함된 데이터에서 상기 잡음 성분을 제거한 정제 뇌파 데이터를 생성하는 단계를 포함할 수 있다.

상기 콘벌루션 신경망을 이용하여 상기 뇌파를 측정한 잡음이 포함된 데이터를 뇌파 성분 및 잡음 성분으로 분류하는 단계는 상기 뇌파를 측정한 잡음이 포함된 데이터를 입력받는 단계, 입력 데이터에 복수의 필터를 적용하고 상기 복수의 필터 각각과 연관된 특징을 추출하여 상기 필터별 특징 지도를 생성하는 단계, 상기 필터별 특징 지도를 압축하고 통합하여 새로운 특징 지도를 생성하는 단계 및 상기 새로운 특징 지도를 바탕으로 상기 뇌파를 측정한 잡음이 포함된 데이터를 데이터 생성에 영향을 미친 성분별로 분리하는 단계를 포함하되, 상기 필터별 특징 지도를 생성하는 단계 및 상기 새로운 특징 지도를 생성하는 단계는 복수 번 반복하고, 상기 입력 데이터는 상기 뇌파를 측정한 잡음이 포함된 데이터 또는 상기 새로운 특징 지도를 생성하는 단계에서 생성한 새로운 특징 지도일 수 있다. 여기서 상기 새로운 특징 지도를 생성하는 단계는 상기 필터별 특징 지도를 복수 개의 영역으로 나누고 각 영역에 포함되어 있는 값들 중에서 최고값을 선택하여 상기 새로운 특징 지도의 대응하는 영역의 값으로 설정하는 최대 통합에 의하여 상기 필터별 특징 지도를 압축하고 통합하여 새로운 특징 지도를 생성하는 단계 또는 상기 필터별 특징 지도를 복수 개의 영역으로 나누고 각 영역에 포함되어 있는 값들의 평균값을 선택하여 상기 새로운 특징 지도의 대응하는 영역의 값으로 설정하는 평균 통합에 의하여 상기 필터별 특징 지도를 압축하고 통합하여 새로운 특징 지도를 생성하는 단계를 포함할 수 있으며, 이때 상기 복수 개의 영역의 각 영역은 다른 영역과 일부에서 겹칠 수 있다.

상기 리커런트 신경망을 이용하여 상기 뇌파를 측정한 잡음이 포함된 데이터를 뇌파 성분 및 잡음 성분으로 분류하는 단계는 일정 시간 주기로 계속 수행하는 출력 데이터(h_t)를 계산하는 단계 및 상태 데이터(C_t)를 계산하는 단계를 포함하고, 상기 상태 데이터(C_t)를 계산하는 단계는 현재 시간(t)에서의 입력 데이터(Xt) 및 이전 시간(t-1)에서 계산되어 출력되는 출력 데이터(h_t-1)를 더한 값에 망각 게이트 계수 및 이전 시간(t-1)에서 계산된 상태 데이터(C_t-1)를 곱한 제1 중간값을 계산하는 단계, 상기 입력 데이터(Xt) 및 상기 출력 데이터(h_t-1)를 더한 값에 입력 게이트 계수를 곱한 제2 중간값을 계산하는 단계, 상기 입력 데이터(Xt) 및 상기 출력 데이터(h_t-1)를 더한 값에 하이퍼탄젠트(hyperbolic tangent)를 취한 제3 중간값을 계산하는 단계 및 상기 제2 중간값과 상기 제3 중간값을 곱한 값에 상기 제1 중간값을 더하여 상기 상태 데이터(C_t)를 계산하는 단계를 포함하고, 상기 출력 데이터(h_t)를 계산하는 단계는 구한 상기 상태 데이터(C_t)에 하이퍼탄젠트를 취한 제4 중간값을 계산하는 단계, 상기 입력 데이터(Xt) 및 상기 출력 데이터(h_t-1)를 더한 값에 출력 게이트 계수를 곱한 제5 중간값을 계산하는 단계 및 상기 제4 중간값과 상기 제5 중간값을 곱하여 상기 출력 데이터(h_t)를 계산하는 단계를 포함할 수 있다.

상기 하이브리드 신경망을 이용하여 상기 뇌파를 측정한 잡음이 포함된 데이터를 뇌파 성분 및 잡음 성분으로 분류하는 단계는 하나의 채널에 대한 시계열 데이터를 입력받는 단계, 상기 시계열 데이터에 대하여 상기 리커런트 신경망을 적용하여 순간적인 잡음 성분을 분류하여 제거한 제1 시계열 데이터를 생성하는 단계, 상기 제1 시계열 데이터를 일정한 시간 간격으로 잘라서 재구성한 다차원 시계열 데이터를 생성하는 단계 및 상기 콘벌루션 신경망을 적용하여 상기 다차원 시계열 데이터를 뇌파 성분 및 잡음 성분으로 분류하는 단계를 포함할 수 있다.

또한, 컴퓨터 또는 프로세서상에서 실행될 때, 상술한 방법 중 어느 하나에 따른 방법을 실행하는 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램을 포함할 수 있다.

본 발명에 의하면, 자동으로 잡음이 제거된 정제 뇌파를 생성함으로써 기존 기술의 단점인 잡음이 혼입된 측정 뇌파에서 잡음 성분을 제거하는 과정에 육안으로 뇌파 성분과 잡음 성분을 결정해야 하는 번거로움을 극복할 수 있는 효과가 있다.

또한, 본 발명에 의하면 자동으로 잡음이 제거된 정제 뇌파를 생성함으로써 기존 방식의 육안 분석 과정에서 요구되는 뇌파 및 다양한 종류의 잡음 신호에 대한 전문 지식이 필요 없는 효과가 있다.

도 1은 본 발명의 일 실시 예에 따른 심층신경망을 이용한 자동 뇌파 잡음 제거 장치의 블록도이다.
도 2는 뇌파 측정을 위한 전극 배치 위치의 일 실시 예를 도시한 도면이다.
도 3는 시계열 데이터 방식으로 표시되는 뇌파 측정 데이터의 일 예를 도시한 도면이다.
도 4는 위상 지도 방식으로 표시되는 뇌파 측정 데이터의 일 예를 도시한 도면이다.
도 5는 시간-주파수 지도 방식으로 표시되는 뇌파 측정 데이터의 일 예를 도시한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 콘벌루션 신경망(CNN)의 구성을 도시한 도면이다.
도 7a 및 도 7b는 리커런트 심층신경망(Recurrent Neural Network)의 기본 구조를 도시한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 순환 은닉층의 학습을 위하여 장단기 메모리 유닛이 사용된 리커런트 심층신경망의 구조를 도시한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 하이브리드 심층신경망(Hybrid Neural Network) 구조를 도시한 도면이다.
도 10은 본 발명의 일 실시 예에 따른 심층신경망을 이용한 자동 뇌파 잡음 제거의 일 예를 도시한 도면이다.
도 11은 본 발명의 일 실시 예에 따른 심층신경망을 이용한 자동 뇌파 잡음 제거 방법을 도시한 도면이다.
도 12는 본 발명의 일 실시 예에 따른 심층신경망을 이용한 자동 뇌파 잡음 제거 방법을 도시한 도면이다.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

어느 부분이 다른 부분의 "위에" 있다고 언급하는 경우, 이는 바로 다른 부분의 위에 있을 수 있거나 그 사이에 다른 부분이 수반될 수 있다. 대조적으로 어느 부분이 다른 부분의 "바로 위에" 있다고 언급하는 경우, 그 사이에 다른 부분이 수반되지 않는다.

제1, 제2 및 제3 등의 용어들은 다양한 부분, 성분, 영역, 층 및/또는 섹션들을 설명하기 위해 사용되나 이들에 한정되지 않는다. 이들 용어들은 어느 부분, 성분, 영역, 층 또는 섹션을 다른 부분, 성분, 영역, 층 또는 섹션과 구별하기 위해서만 사용된다. 따라서, 이하에서 서술하는 제1부분, 성분, 영역, 층 또는 섹션은 본 발명의 범위를 벗어나지 않는 범위 내에서 제2부분, 성분, 영역, 층 또는 섹션으로 언급될 수 있다.

여기서 사용되는 전문 용어는 단지 특정 실시 예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.

"아래", "위" 등의 상대적인 공간을 나타내는 용어는 도면에서 도시된 한 부분의 다른 부분에 대한 관계를 보다 쉽게 설명하기 위해 사용될 수 있다. 이러한 용어들은 도면에서 의도한 의미와 함께 사용 중인 장치의 다른 의미나 동작을 포함하도록 의도된다. 예를 들면, 도면 중의 장치를 뒤집으면, 다른 부분들의 "아래"에 있는 것으로 설명된 어느 부분들은 다른 부분들의 "위"에 있는 것으로 설명된다. 따라서 "아래"라는 예시적인 용어는 위와 아래 방향을 전부 포함한다. 장치는 90˚ 회전 또는 다른 각도로 회전할 수 있고, 상대적인 공간을 나타내는 용어도 이에 따라서 해석된다.

다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련 기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.

이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

도 1은 본 발명의 일 실시 예에 따른 심층신경망을 이용한 자동 뇌파 잡음 제거 장치의 블록도이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 심층신경망을 이용한 자동 뇌파 잡음 제거 장치는 입력부(100), 분류처리부(200), 및 출력부(300)를 포함할 수 있다.

입력부(100)는 잡음이 포함된 뇌파 데이터가 입력될 수 있다. 입력되는 데이터의 형식은 시계열 데이터 또는 뇌파 이미지가 가능하다.

도 2는 뇌파 측정을 위한 전극 배치 위치의 일 실시 예를 도시한 도면이다.

뇌파는 뇌신경 세포 사이에 신호가 전달될 때 발생하는 전기적 신호를 측정한 것이다. 뇌파 측정을 위한 전극 배치는 표준측정위치인 국제 10-20 전극 배치도를 따르며, 19개의 전극(Fp1/2, F3/4, F7/8, C3/4, P3/4, T3/4, T5/6, O1/2, Fz, Cz, 및 Pz)를 사용할 경우에는 도 2에 표시한 위치에 전극을 부착하여 뇌파를 측정할 수 있다. 이때 측정을 위한 각각의 전극은 하나의 채널로 볼 수 있다.

입력부(100)로 입력되는 시계열 데이터는 도 3에 도시되어 있는 것처럼 각 채널에서 획득한 신호 정보를 시간 순서로 나열해 놓은 것으로 볼 수 있다. 도 3에 도시된 것처럼 그래프 형태로 입력될 수도 있지만 이것을 변환하여 행렬 형태로, 즉 단일 혹은 복수의 뇌파 채널 X 시간순 데이터 값, 표시하여 입력될 수도 있다.

입력부(100)로 입력될 수 있는 또 다른 데이터 형식인 뇌파 이미지는 위상 지도(topological map) 또는 시간-주파수 지도(time-frequency map) 형식일 수 있다.

도 4는 위상 지도의 일 예를 도시하고 있는데, 위상 지도는 채널별 파워맵(power map)과 같이 채널별 특성 지표를 뇌파 측정 채널 위치에 나타낸 그림이다.

도 5는 시간-주파수 지도의 일 예를 도시하고 있는데, 시간-주파수 지도는 뇌파 측정을 위한 각 채널에 대한 시계열 데이터를 푸리에 변환하여 각 시간에 따른 주파수 변화를 나타낸 그림이다.

출력부(300)는 후술할 분류처리부(200)에 의하여 입력된 측정 데이터에서 잡음 성분이 제거된 뇌파만을 받아서 출력할 수 있다. 이때 출력 형식은 입력부와 마찬가지로 시계열 데이터, 위상 지도, 또는 시간-주파수 지도를 포함하는 뇌파 이미지일 수 있다.

분류처리부(200)는 심층신경망(Deep Neural Network)을 사용하여 입력되는 데이터를 분석하고 뇌파 성분 및 다양한 잡음 성분으로 데이터를 분류할 수 있다.

심층신경망은 인간의 뇌가 패턴을 인식하는 방식을 모사한 알고리즘의 일종으로 특히 복수 개의 층으로 이루어진 신경망을 의미한다. 심층신경망의 한 층은 여러 개의 노드로 이루어져 있고, 각 노드에서는 실제로 연산이 일어나는데, 이 연산과정은 인간의 신경망을 구성하는 뉴런에서 일어나는 과정을 모사하도록 설계될 수 있다. 노드의 상세 기능을 살펴보면, 노드는 일정 크기 이상의 자극을 받으면 반응을 하는데, 반응의 크기는 입력 값과 노드의 가중치를 곱한 값에 비례할 수 있다. 일반적으로 노드는 여러 개의 입력을 받으면 각 입력에 대하여 별도의 가중치를 설정할 수 있어, 이 가중치를 조절함으로써 여러 입력에 대한 영향 정도를 설정할 수 있다. 최종적으로 각 입력에 가중치를 곱한 값은 전부 더해져서 활성 함수에 입력된다. 활성 함수의 결과가 노드의 출력에 해당하며 이 출력 값이 궁극적으로 분류에 쓰이게 된다.

심층신경망을 복수 개의 층을 가질 수 있다. 전통적인 기계학습 알고리즘은 하나의 입력과 하나의 출력층으로 이루어져 있으며 많아야 중간에 하나의 은닉층이 있다. 반면에 심층신경망은 2개 이상의 은닉층을 가지고 있어 입력과 출력을 포함하여 4개 이상의 층을 가질 수 있다.

심층신경망의 각 노드는 각자 다른 특징을 추출할 수 있으며, 층마다 다른 층위의 특징이 학습 될 수 있다. 낮은 층위의 특징은 단순하고 구체적일 수 있으며 높은 층위로 올라갈수록 더욱 복잡하고 추상적인 특징을 가질 수 있다.

심층신경망은 일반적인 기계학습과 다르게 특징 추출을 자동으로 할 수 있다. 일반적인 기계학습의 경우 효과적인 특징 추출을 위하여 관련 분야 전문가가 오랜 시간동안 직접 특징을 추출하는 수식이나 방법을 고안해야 했으나, 심층신경망은 이러한 특징 추출을 학습을 통하여 자동으로 수행할 수 있도록 알고리즘이 짜여 있으며, 사람에 비해 훨씬 빠르고 효과적으로 특징 추출을 수행할 수 있다.

입력되는 데이터 분석에 적용할 수 있는 심층신경망으로는 2차원 데이터 분석(영상 분석)에 탁월한 성능을 발휘하는 콘벌루션 신경망(Convolutional Neural Network; 이하 CNN), 시간에 따른 피드백 루프나 역전파가 있는 피드포워드 (feedforward) 신경망으로 이루어져 있어 순차적인 시간 정보의 반영이 용이하여 특히 시계열 데이터 분석에 적합한 리커런트 신경망 (Recurrent Neural Network; 이하 RNN), 및 CNN과 RNN을 결합한 하이브리드 신경망 (Hybrid Neural Network; 이하 HNN) 등이 있다.

상술한 심층신경망을 입력 뇌파에 적용하면 뇌파 신호를 뇌파 성분, 수평 눈 움직임 성분, 수직 눈 움직임 성분, 근육 움직임 성분, 기타 노이즈 성분으로 분류된 결과를 얻을 수 있다. 이 결과를 바탕으로 뇌파 성분 이외의 나머지 잡음 성분을 입력된 뇌파 신호로부터 제거하여 잡음이 제거된 뇌파 신호를 최종 출력으로 출력할 수 있다.

이하 각 심층신경망에 대하여 좀 더 자세히 살펴본다.

도 6은 본 발명의 일 실시 예에 따른 콘벌루션 신경망(CNN)의 구성을 도시한 도면이다.

도 6을 참조하면, 콘벌루션 신경망은 입력층(610), 복수 개의 특징추출층 및 예측층(660)으로 구성될 수 있다. 그리고 특징추출층 각각은 콘벌루션층(620, 640)과 통합층(630, 650)으로 구성될 수 있다.

입력층(610)은 외부로부터 입력 데이터를 받을 수 있으며, 일반적으로 2차원 영상 이미지가 입력될 수 있다. 2차원 영상 이미지는 3차원 행렬 형태로 표시될 수 있다. 즉, 우리가 보는 2차원 영상 이미지의 각 픽셀은 R, G, B 값을 합친 색깔이지만 행렬 데이터로 표시하기 위하여서는 이를 따로 저장해야 한다. 그래서 각 2차원 픽셀의 위치 정보와 R, G, B 채널을 나타내는 정보의 3차원 행렬 형태로 이미지 데이터가 가공될 수 있다. 이러한 데이터의 가공은 입력부(100)에서 수행되어 입력될 수 있다.

도 6의 예시에서는 2개의 콘벌루션층(620, 640)과 2개의 통합층(630, 650)이 있는 것으로 도시되어 있지만 2개 이상의 콘벌루션층 및 2개 이상의 통합층이 있을 수 있으며 콘벌루션층과 통합층의 개수는 동일할 수 있다.

반복되는 콘벌루션층과 통합층에 의하여 입력되는 이미지에 포함되어 있는 특징이 추출될 수 있다. 콘벌루션층(620, 640)은 입력되는 이미지에 복수의 필터를 적용하여 특징 지도를 생성할 수 있다. 즉, 필터 또한 행렬로 나타낼 수 있으며, 입력층(610)에서 입력되는 이미지 데이터를 쭉 훑어가면서 필터를 이동시키고, 필터가 이동할 때마다 이동한 위치의 이미지 데이터의 행렬 성분과 필터를 곱해주는 콘볼루션을 수행하고, 이 결과 값으로 각 필터별 특징 지도를 생성할 수 있다. 이때 필터는 이미지 내에 있는 서로 다른 모양을 잡아내는 역할을 수행할 수 있다. 초기 단계의 콘벌루션 층에서는 수평선, 수직선, 대각선 등 단순한 모양을 잡아낼 수 있고, 이 정보를 모으면 이미지의 아웃라인을 그려낼 수 있다. 즉, 수평선을 잡아내는 필터를 이미지와 콘벌루션시키면 이미지 내에서 어디에 수평선이 있는지를 나타내는 특징 지도를 생성할 수 있다.

일 실시 예로서 입력되는 데이터가 90x90x3 행렬로 나타나고, 각 필터가 3x3x3 필터이고, 필터의 개수가 60개라면, 각 필터에 대하여 30x30의 콘벌루션 값을 얻게 되고, 60개의 필터에 대하여 수행하므로 30x30x60의 특징 지도를 생성하게 된다.

통합층(630, 650)은 전 단에 있는 콘벌루션층(620, 640)에 의하여 생성된 특징지도를 압축하고 통합하여 새로운 특징 지도를 생성할 수 있다. 통합층(630, 650)에서 사용되는 알고리즘으로는 최대 통합(Max Pooling) 또는 평균 통합(Average pooling) 등이 있다.

최대 통합은 콘벌루션층에서 구한 특징지도 내의 해당 영역에서 최대값을 선택하는 방법이고 평균 통합은 해당 영역에서의 평균값은 선택하는 방법이다.

상술한 실시 예에서 특징 지도는 하나의 필터에 대하여 30x30 행렬로 표시될 수 있고, 이것에 3x3 최대 통합 방식을 적용하면 30x30 행렬을 3x3 행렬로 분할하고 각 3x3 행렬에서의 최대값을 새로운 값으로 하여 10x10 행렬을 생성할 수 있다. 만약 각 필터에 대한 특징 지도에 대하여 2x2 최대 통합 방식을 적용하면 15x15 행렬을 생성할 수 있다. 평균 통합의 경우에는 해당 행렬 내의 최대값 대신에 해당 행렬의 평균값을 새로운 값으로 하여 새로운 특징 지도 행렬을 생성할 수 있다. 필터가 60개라면 최종적으로 10x10x60의 특징 지도를 생성할 수 있다.

이때 행렬을 영역별로 분할시에 일부 영역이 서로 겹치게 분할할 수도 있다. 즉, 30x30 행렬에 대하여 3x3 행렬로 분할하면서 n 영역의 세번째 열과 n+1 영역의 첫번째 열이 동일하도록 하는 경우 최종적으로 15x15 행렬이 생성될 수 있다. 이렇게 겹치는 영역이 있는 경우에는 새로운 특징 지도 행렬이 조금 더 커질 수는 있다.

이러한 통합층의 특징 지도는 콘벌루션 층의 특징 지도보다 입력 이미지에 존재하는 임의의 구조나 패턴의 위치에 영향을 적게 받을 수 있다. 즉, 통합층은 입력 데이터 혹은 이전 특징 지도에서의 노이즈나 왜곡과 같은 지역적 변화에 더욱 강인한 특징을 추출할 수 있으며, 이러한 특징은 CNN의 분류 성능에 중요한 기능을 수행할 수 있다.

몇 단계의 콘벌루션층과 통합층을 거치면서 상위 단계의 특징 지도는 입력 이미지의 더 넓은 영역의 특징을 반영하게 되어 전체 이미지의 추상적인 특징을 반영하게 되며, 하위 단계의 특징 지도는 입력 이미지의 지역적인 특징을 반영하게 된다.

예측층(660)은 복수의 콘벌루션층과 통합층에 의해 최종적으로 추출된 특징 지도를 바탕으로 일반적인 인공신경망이 분류하는 것과 동일한 방법으로 특징을 분류할 수 있다. 분류하려는 라벨 하나당 노드 하나씩을 할당하고, 각 노드는 최종적으로 추출된 특징 지도 각각을 모두 입력으로 받아들이며 각 입력에 대하여 가중치를 곱하여 하나의 값을 출력하게 된다. 이때 분류하려는 라벨은 뇌파를 측정한 잡음이 포함된 데이터 생성에 영향을 미친 성분을 의미하는 것으로 뇌파 성분, 수평 눈 움직임, 수직 눈 움직임, 근육 움직임, 기타 노이즈 등을 포함할 수 있다.

도 7a 및 도 7b는 리커런트 심층신경망(Recurrent Neural Network)의 기본 구조를 도시한 도면이다.

도 7a 및 도 7b을 참조하면, RNN은 시간에 따른 피드백 루프(feedback loop)나 역전파가 있는 피드포워드(feedforward) 구조의 신경망으로, 시간 변수를 가지는 순환형 신경망을 포함하는 구조이다. 순차적인 정보의 반영, 즉 과거의 정보 기억이 어려운 기존 심층신경망의 단점을 보완하도록 고안된 신경망으로, 시계열 데이터의 순차적인 정보를 포함하는 순환 은닉층(recurrent hidden layer)이 추가되고 출력 정보가 이 순환 은닉층에 의존하도록 구성된 구조로 형성될 수 있다. RNN은 출력이 다시 입력으로 피드백되는 재귀적인 연결 구조를 가지는 신경망이므로, 시간적인 동역학을 가지고 있어 입력의 시간적 구조를 파악할 수 있는 장점이 있다.

도 7a를 참조하면 X_t는 시간 t에서의 입력이고, h_t는 시간 t에서의 출력이 되고, A_t는 시간 t에서의 은닉 함수이다. 그리고 U, V 및 W는 각각 입력 가중치, 출력 가중치 및 은닉층의 가중치일 수 있다. 따라서 은닉층은 시간 t에서의 입력과 시간 t-1에서의 은닉 함수(A_t)의 결과를 입력으로 받아서 출력(h_t)을 결정한다.

도 7b는 도 7a와 동일한 것으로 단순히 순차적인 구조로 펼친 구성이다. 이때 은닉 함수(A_t)는 시간에 관계없이 동일한 것을 사용하는 것으로 하였다.

상술한 RNN은 음성 인식, 언어 번역, 연결된 수기의 인식 등의 분야에서 상당한 성과를 보였으나, 이러한 순환하는 네트워크 구조는 일반적으로 학습시키기가 훨씬 어려운 것으로 알려졌다. 순환 은닉층의 학습을 위한 방법으로는 시간 경유 역전파(back propagation through time) 또는 장단기 메모리 (long short-term memory) 유닛 등이 사용될 수 있다.

도 8은 본 발명의 일 실시 예에 따른 순환 은닉층의 학습을 위하여 장단기 메모리 유닛이 사용된 리커런트 심층신경망의 구조를 도시한 도면이다.

도 8을 참조하면, 장단기 메모리 유닛이 사용된 리커런트 심층신경망의 순환 은닉층(810, 820, 830)은 동일한 구조를 가지고 있으며, t-1 시간에서의 출력 데이터(h_t-1)와 셀 상태 데이터(C_t-1)가 t 시간의 순환 은닉층에서의 입력으로 사용된다. 또한, 순환 은닉층(810, 820, 830)은 τ로 표시된 세 개의 게이트(821, 822, 823)를 가질 수 있다. 이 게이트들은 각각 망각 게이트(821), 입력 게이트(822), 출력 게이트(823)로 칭할 수 있고, 0과 1 사이의 값을 갖는다. 각 게이트가 갖는 값, 즉 게이트의 계수는 학습에 의하여 결정될 수 있다. 즉, 게이트는 언제 신호를 불러올지/내보낼지/유지할지를 학습하며, 이 학습과정은 출력의 오차를 이용한 경사하강법(gradient descent)를 사용할 수 있다. 장단기 메모리 유닛은 망각 게이트(821)를 사용함으로써 임의의 오랫동안 메모리를 유지할 수도 있으며 또는 필요시 메모리를 삭제할 수도 있다. 즉, 망각 게이트(821)를 0으로 하면 이전 셀의 상태 데이터(C_t-1)가 더는 전파할 수 없고, 메모리가 삭제되는 효과가 있다. 이때 각 게이트 값은 매 순간 바뀔 수 있다.

도 9는 본 발명의 일 실시 예에 따른 하이브리드 심층신경망(Hybrid Neural Network) 구조를 도시한 도면이다.

도 9를 참조하면, 본 발명의 일 실시 예에 따른 하이브리드 심층신경망은 입력 모듈(910), RNN 모듈(920), CNN 입력 형성 모듈(930), 및 CNN 모듈(940)을 포함할 수 있으며, 잡음 제거 성능 향상을 위하여 2차원 이미지 분석에 탁월한 성능을 발휘하는 CNN과 순차적인 시간 정보의 반영이 용이하여 시계열 데이터 분석에 높은 성능을 발휘하는 RNN을 결합한 형태로 구성할 수 있다.

입력 모듈(910)은 하나의 채널에 대한 시계열 데이터 즉, 시간에 따른 데이터 포인트를 입력받을 수 있다. 즉, 측정된 1차원 뇌파 시계열 데이터를 입력받을 수 있다.

RNN 모듈(920)은 입력 모듈을 통해 받은 1채널 데이터에 대하여 상술한 RNN을 적용하여 순간적인 잡음 성분을 분류하여 제거할 수 있다.

CNN 입력 형성 모듈(930)은 순간적인 잡음 성분이 제거된 1차원 뇌파 시계열 데이터를 일정한 시간 간격으로 잘라서 재구성한 다차원 시계열 데이터 혹은 다채널 뇌파 데이터를 생성할 수 있다.

CNN 모듈(940)은 상술한 방식을 적용하여 CNN 입력 형성 모듈에서 생성한 다채널 뇌파 데이터로부터 잡음을 제거한 뇌파 데이터를 출력할 수 있다.

이처럼 하이브리드 심층신경망은 RNN과 CNN의 장점만을 선택적으로 적용하기 때문에 자동 뇌파 잡음 제거 시에 성능을 향상시킬 수 있다.

그리고 상술한 설명은 1개의 채널을 일 실시 예로 도시하였지만 복수 개의 채널에 대하여는 상술한 HNN은 복수 개 동시에 적용함으로써 복수 개의 채널에 대한 잡음을 제거한 뇌파 데이터를 출력할 수도 있다.

도 10은 본 발명의 일 실시 예에 따른 심층신경망을 이용한 자동 뇌파 잡음 제거의 일 예를 도시한 도면이다.

도 10을 참고하면, 입력되는 잡음이 혼입된 뇌파는 복수 개의 채널에 대하여 시계열 데이터(뇌파 채널 X 데이터 포인트) 혹은 뇌파 이미지(위상지도 또는 시간-주파수 지도)의 형태로 입력될 수 있다. 일례로, 도 2에 도시된 19채널에서 측정한 뇌파의 시계열 데이터, 위상지도, 또는 시간-주파수 지도 등이 입력될 수 있다. 여기서 시계열 데이터는 19채널의 각각에 대하여 (샘플링주파수 x 측정시간)만큼의 데이터 포인트가 존재하게 된다. 위상지도는 채널별 파워맵과 같이 채널별 특성 지표를 뇌파 측정 채널 위치에 나타낸 그림이고, 시간-주파수 지도는 시간에 따른 주파수 변화를 도시한 그림이다.

입력되는 잡음이 혼입된 뇌파(1010)는 심층신경망 모델(1020)을 거쳐 뇌파 성분, 수평 눈 움직임 성분, 수직 눈 움직임 성부, 근육 움직임 성분, 및/또는 기타 노이즈 성분으로 분류된다. 분류된 정보로부터 뇌파 성분 이외의 나머지 잡음 성분을 입력되는 잡음이 혼입된 뇌파(1010)로부터 제거하여 잡음 제거된 뇌파(1030)를 최종 출력 신호로 출력한다.

도 11은 본 발명의 일 실시 예에 따른 심층신경망을 이용한 자동 뇌파 잡음 제거 방법을 도시한 도면이다.

도 11을 참조하면, 본 발명의 일 실시 예에 따른 심층신경망을 이용한 자동 뇌파 잡음 제거 방법은 먼저 잡음이 포함된 뇌파 데이터를 수신(S100)할 수 있다. 입력되는 데이터 형식은 시계열 데이터 또는 뇌파 이미지일 수 있다. 시계열 데이터는 뇌파가 측정되는 각 채널에서 획득한 신호 정보를 시간 순서로 나열해 놓을 것이고, 뇌파 이미지는 위상 지도 또는 시간-주파수 지도 형식일 수 있다.

입력된 잡음이 포함된 뇌파 데이터는 심층신경망 분석을 통해 복수 개의 신호로 분류(S200)될 수 있다. 즉 심층신경망은 입력된 잡음이 포함된 뇌파 데이터를 순수 뇌파 성분, 수평 눈 움직임 성분, 수직 눈 움직임 성분, 근육 움직임 성분, 기타 노이즈 성분 등으로 분류할 수 있다.

그리고 분류된 신호를 바탕으로 뇌파 성분 이외의 나머지 잡음 성분을 입력된 뇌파 데이터로부터 제거하여 잡음이 제거된 뇌파를 최종적으로 출력(S300)할 수 있다.

이때 심층신경망 분석에 사용될 수 있는 심층신경망으로는 콘벌루션 신경망(CNN), 리커런트 신경망(RNN), 또는 하이브리드 신경망(HNN)일 수 있다. 콘벌루션 신경망은 2차원 데이터 분석, 특히 영상 분석에 탁월한 성능을 발휘할 수 있으며, 리커런트 신경망은 시간에 따른 피드백 루프나 역전파가 있는 피드포워드 신경망으로 이루어져 있어 순차적인 시간 정보의 반영이 용이하며, 하이브리드 신경망은 상술한 콘벌루션 신경망과 리커런트 신경망의 장점만을 취합하여 분석 성능을 향상시킨 신경망이다.

도 12는 본 발명의 일 실시 예에 따른 심층신경망을 이용한 자동 뇌파 잡음 제거 방법을 도시한 도면이다.

도 12를 참조하면, 본 발명의 일 실시 예에 따른 하이브리드 심층신경망을 이용한 자동 뇌파 잡음 제거 방법은 먼저 잡음이 포함된 시계열 데이터 형식의 뇌파 데이터를 수신(S210)할 수 있다.

입력된 잡음이 포함된 시계열 데이터 형식의 뇌파 데이터는 RNN 분석을 통해 순간적인 잡음 성분을 분류하여 제거(S220)될 수 있다.

그리고 RNN 분석에 의하여 순간적인 잡음 성분이 제거되 뇌파 데이터는 일정한 시간 간격으로 잘라서 재구성하여 다차원 시계열 데이터를 생성(S230)할 수 있다.

이렇게 생성된 다차원 시계열 데이터에 대하여 CNN 분석을 수행하여 뇌파 성분 및 잡음 성분을 분류하고, 분류된 데이터를 바탕으로 잡음이 제거된 뇌파 데이터를 생성(S240)할 수 있다.

즉 CNN 분석을 통해 뇌파를 순수 뇌파 성분, 수평 눈 움직임 성분, 수직 눈 움직임 성분, 근육 움직임 성분, 기타 노이즈 성분 등으로 분류하고, 분류된 성분을 바탕으로 뇌파 성분 이외의 나머지 잡음 성분을 입력된 뇌파 데이터로부터 제거하여 잡음이 제거된 뇌파를 최종적으로 출력할 수 있다.

상술한 뇌파 잡음 제거 장치 또는 방법을 이용하여 자동으로 잡음을 분류해 내고 제거함으로써 종래 육안으로 뇌파 성분과 잡음 성분을 결정해야 하는 번거로움을 극복하고, 전문가가 아니더라도 잡음에 제거된 정제 뇌파를 생성할 수 있도록 할 수 있을 것이다.

본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 입력부
200: 분류 처리부
300: 출력부
610: 입력층
620, 640: 콘벌루션층
630, 650: 통합층
660: 예측층
910: 입력모듈
920: RNN 모듈
930: CNN 입력 형성 모듈
940: CNN 모듈

Claims (19)

1. 측정된 뇌파에 포함되어 있는 잡음을 제거하기 위한 뇌파 잡음 제거 장치로서,
   뇌파를 측정한 잡음이 포함된 데이터를 입력받는 입력부;
   심층신경망을 이용하여 상기 뇌파를 측정한 잡음이 포함된 데이터를 뇌파 성분 및 잡음 성분으로 분류하는 분류처리부; 및
   상기 분류처리부에서 분류한 뇌파 성분 및 잡음 성분을 바탕으로 상기 뇌파를 측정한 잡음이 포함된 데이터에서 상기 잡음 성분을 제거한 정제 뇌파 데이터를 생성하여 출력하는 출력부;를 포함하고,
   상기 심층신경망은 콘벌루션 신경망(Convolutional Neural Network)이고,
   상기 콘벌루션 신경망은,
   입력층, 복수 개의 특징추출층, 및 예측층을 포함하고,
   상기 복수 개의 특징추출층의 각각은 콘벌루션층 및 통합층으로 구성되고,
   상기 입력층은 상기 뇌파를 측정한 잡음이 포함된 데이터를 입력받고,
   상기 콘벌루션층은 상기 입력층 또는 상기 통합층에서 입력되는 데이터에 복수의 필터를 적용하고 상기 복수의 필터 각각과 연관된 특징을 추출하여 필터별 특징 지도를 생성하고,
   상기 통합층은 상기 필터별 특징 지도를 압축하고 통합하여 새로운 특징 지도를 생성하고,
   상기 예측층은 상기 복수 개의 특징추출층 중 마지막 특징추출층에 의해 추출된 특징 지도를 바탕으로 상기 뇌파를 측정한 잡음이 포함된 데이터를 데이터 생성에 영향을 미친 성분별로 분리하는,
   뇌파 잡음 제거 장치.
2. 제1항에 있어서,
   상기 통합층은,
   상기 필터별 특징 지도를 복수 개의 영역으로 나누고 각 영역에 포함되어 있는 값들 중에서 최고값을 선택하여 상기 새로운 특징 지도의 대응하는 영역의 값으로 설정하는 최대 통합에 의하여 상기 필터별 특징 지도를 압축하고 통합하는,
   뇌파 잡음 제거 장치.
3. 제1항에 있어서,
   상기 통합층은,
   상기 필터별 특징 지도를 복수 개의 영역으로 나누고 각 영역에 포함되어 있는 값들의 평균값을 선택하여 상기 새로운 특징 지도의 대응하는 영역의 값으로 설정하는 평균 통합에 의하여 상기 필터별 특징 지도를 압축하고 통합하는,
   뇌파 잡음 제거 장치.
4. 제2항 또는 제3항에 있어서,
   상기 복수 개의 영역의 각 영역은 다른 영역과 일부에서 겹치는,
   뇌파 잡음 제거 장치.
5. 측정된 뇌파에 포함되어 있는 잡음을 제거하기 위한 뇌파 잡음 제거 장치로서,
   뇌파를 측정한 잡음이 포함된 데이터를 입력받는 입력부;
   심층신경망을 이용하여 상기 뇌파를 측정한 잡음이 포함된 데이터를 뇌파 성분 및 잡음 성분으로 분류하는 분류처리부; 및
   상기 분류처리부에서 분류한 뇌파 성분 및 잡음 성분을 바탕으로 상기 뇌파를 측정한 잡음이 포함된 데이터에서 상기 잡음 성분을 제거한 정제 뇌파 데이터를 생성하여 출력하는 출력부;를 포함하고,
   상기 심층신경망은 리커런트 신경망(Recurrent Neural Network)이고,
   상기 리커런트 신경망은,
   순환 은닉층을 포함하고,
   상기 순환 은닉층은 이전 시간(t-1)에서의 출력 데이터(h_t-1)와 상태 데이터(C_t-1), 그리고 현재 시간(t)에서의 입력 데이터(Xt)를 바탕으로 현재 시간(t)에서의 출력 데이터(h_t) 및 상태 데이터(C_t)를 계산하되,
   상기 상태 데이터(C_t)는
   상기 입력 데이터(Xt) 및 상기 출력 데이터(h_t-1)를 더한 값에 망각 게이트 계수 및 상기 상태 데이터(C_t-1)를 곱한 제1 중간값,
   상기 입력 데이터(Xt) 및 상기 출력 데이터(h_t-1)를 더한 값에 입력 게이트 계수를 곱한 제2 중간값, 및
   상기 입력 데이터(Xt) 및 상기 출력 데이터(h_t-1)를 더한 값에 하이퍼탄젠트(hyperbolic tangent)를 취한 제3 중간값을 구한 후,
   상기 제2 중간값과 상기 제3 중간값을 곱한 값에 상기 제1 중간값을 더하여 구하고,
   상기 출력 데이터(h_t)는
   구한 상기 상태 데이터(C_t)에 하이퍼탄젠트를 취한 제4 중간값 및
   상기 입력 데이터(Xt) 및 상기 출력 데이터(h_t-1)를 더한 값에 출력 게이트 계수를 곱한 제5 중간값을 구한 후,
   상기 제4 중간값과 상기 제5 중간값을 곱하여 구하는,
   뇌파 잡음 제거 장치.
6. 측정된 뇌파에 포함되어 있는 잡음을 제거하기 위한 뇌파 잡음 제거 장치로서,
   뇌파를 측정한 잡음이 포함된 데이터를 입력받는 입력부;
   심층신경망을 이용하여 상기 뇌파를 측정한 잡음이 포함된 데이터를 뇌파 성분 및 잡음 성분으로 분류하는 분류처리부; 및
   상기 분류처리부에서 분류한 뇌파 성분 및 잡음 성분을 바탕으로 상기 뇌파를 측정한 잡음이 포함된 데이터에서 상기 잡음 성분을 제거한 정제 뇌파 데이터를 생성하여 출력하는 출력부;를 포함하고,
   상기 심층신경망은 콘벌루션 신경망(Convolutional Neural Network)과 리커런트 신경망(Recurrent Neural Network)이 결합된 하이브리드 신경망(Hybrid Neural Network)이고,
   상기 하이브리드 신경망은,
   입력 모듈, RNN 모듈, CNN 입력 형성 모듈, 및 CNN 모듈을 포함하고,
   상기 입력 모듈은 하나의 채널에 대한 시계열 데이터를 입력받고,
   상기 RNN 모듈은 상기 시계열 데이터에 대하여 상기 리커런트 신경망을 적용하여 순간적인 잡음 성분을 분류하여 제거한 제1 시계열 데이터를 생성하고,
   상기 CNN 입력 형성 모듈은, 상기 제1 시계열 데이터를 일정한 시간 간격으로 잘라서 재구성한 다차원 시계열 데이터를 생성하고,
   상기 CNN 모듈은 상기 콘벌루션 신경망을 적용하여 상기 다차원 시계열 데이터를 뇌파 성분 및 잡음 성분으로 분류하는,
   뇌파 잡음 제거 장치.
7. 제1항, 제5항 및 제6항 중 어느 한 항에 있어서,
   상기 뇌파를 측정한 잡음이 포함된 데이터는
   복수의 채널에서 획득한 신호 정보를 시간 순서로 나열한 시계열 데이터,
   또는 복수의 채널에서 획득한 신호 정보를 바탕으로 채널별 특성 지표를 뇌파 측정 채널 위치에 나타낸 위상 지도,
   또는 복수의 채널에서 획득한 신호 정보를 바탕으로 채널별 시간에 따른 주파수 변화를 도시한 시간-주파수 지도인,
   뇌파 잡음 제거 장치.
8. 측정된 뇌파에 포함되어 있는 잡음을 제거하기 위한 뇌파 잡음 제거 장치에 의해 수행되는 뇌파 잡음 제거 방법으로서,
   뇌파를 측정한 잡음이 포함된 데이터를 입력받는 단계;
   심층신경망을 이용하여 상기 뇌파를 측정한 잡음이 포함된 데이터를 뇌파 성분 및 잡음 성분으로 분류하는 단계; 및
   분류한 상기 뇌파 성분 및 잡음 성분을 바탕으로 상기 뇌파를 측정한 잡음이 포함된 데이터에서 상기 잡음 성분을 제거한 정제 뇌파 데이터를 생성하는 단계;를 포함하고,
   상기 심층신경망은 콘벌루션 신경망(Convolutional Neural Network)이고,
   상기 콘벌루션 신경망을 이용하여 상기 뇌파를 측정한 잡음이 포함된 데이터를 뇌파 성분 및 잡음 성분으로 분류하는 단계는,
   상기 뇌파를 측정한 잡음이 포함된 데이터를 입력받는 단계;
   입력 데이터에 복수의 필터를 적용하고 상기 복수의 필터 각각과 연관된 특징을 추출하여 필터별 특징 지도를 생성하는 단계;
   상기 필터별 특징 지도를 압축하고 통합하여 새로운 특징 지도를 생성하는 단계; 및
   상기 새로운 특징 지도를 바탕으로 상기 뇌파를 측정한 잡음이 포함된 데이터를 데이터 생성에 영향을 미친 성분별로 분리하는 단계;를 포함하되,
   상기 필터별 특징 지도를 생성하는 단계 및 상기 새로운 특징 지도를 생성하는 단계는 복수 번 반복하고,
   상기 입력 데이터는 상기 뇌파를 측정한 잡음이 포함된 데이터 또는 상기 새로운 특징 지도를 생성하는 단계에서 생성한 새로운 특징 지도인,
   뇌파 잡음 제거 방법.
9. 제8항에 있어서,
   상기 새로운 특징 지도를 생성하는 단계는,
   상기 필터별 특징 지도를 복수 개의 영역으로 나누고 각 영역에 포함되어 있는 값들 중에서 최고값을 선택하여 상기 새로운 특징 지도의 대응하는 영역의 값으로 설정하는 최대 통합에 의하여 상기 필터별 특징 지도를 압축하고 통합하여 새로운 특징 지도를 생성하는 단계를 포함하는,
   뇌파 잡음 제거 방법.
10. 제8항에 있어서,
    상기 새로운 특징 지도를 생성하는 단계는,
    상기 필터별 특징 지도를 복수 개의 영역으로 나누고 각 영역에 포함되어 있는 값들의 평균값을 선택하여 상기 새로운 특징 지도의 대응하는 영역의 값으로 설정하는 평균 통합에 의하여 상기 필터별 특징 지도를 압축하고 통합하여 새로운 특징 지도를 생성하는 단계를 포함하는,
    뇌파 잡음 제거 방법.
11. 제9항 또는 제10항에 있어서,
    상기 복수 개의 영역의 각 영역은 다른 영역과 일부에서 겹치는,
    뇌파 잡음 제거 방법.
12. 측정된 뇌파에 포함되어 있는 잡음을 제거하기 위한 뇌파 잡음 제거 장치에 의해 수행되는 뇌파 잡음 제거 방법으로서,
    뇌파를 측정한 잡음이 포함된 데이터를 입력받는 단계;
    심층신경망을 이용하여 상기 뇌파를 측정한 잡음이 포함된 데이터를 뇌파 성분 및 잡음 성분으로 분류하는 단계; 및
    분류한 상기 뇌파 성분 및 잡음 성분을 바탕으로 상기 뇌파를 측정한 잡음이 포함된 데이터에서 상기 잡음 성분을 제거한 정제 뇌파 데이터를 생성하는 단계;를 포함하고,
    상기 심층신경망은 리커런트 신경망(Recurrent Neural Network)이고,
    상기 리커런트 신경망을 이용하여 상기 뇌파를 측정한 잡음이 포함된 데이터를 뇌파 성분 및 잡음 성분으로 분류하는 단계는,
    일정 시간 주기로 계속 수행하는 출력 데이터(h_t)를 계산하는 단계 및 상태 데이터(C_t)를 계산하는 단계를 포함하고,
    상기 상태 데이터(C_t)를 계산하는 단계는,
    현재 시간(t)에서의 입력 데이터(Xt) 및 이전 시간(t-1)에서 계산되어 출력되는 출력 데이터(h_t-1)를 더한 값에 망각 게이트 계수 및 이전 시간(t-1)에서 계산된 상태 데이터(C_t-1)를 곱한 제1 중간값을 계산하는 단계;
    상기 입력 데이터(Xt) 및 상기 출력 데이터(h_t-1)를 더한 값에 입력 게이트 계수를 곱한 제2 중간값을 계산하는 단계;
    상기 입력 데이터(Xt) 및 상기 출력 데이터(h_t-1)를 더한 값에 하이퍼탄젠트(hyperbolic tangent)를 취한 제3 중간값을 계산하는 단계; 및
    상기 제2 중간값과 상기 제3 중간값을 곱한 값에 상기 제1 중간값을 더하여 상기 상태 데이터(C_t)를 계산하는 단계를 포함하고,
    상기 출력 데이터(h_t)를 계산하는 단계는,
    구한 상기 상태 데이터(C_t)에 하이퍼탄젠트를 취한 제4 중간값을 계산하는 단계;
    상기 입력 데이터(Xt) 및 상기 출력 데이터(h_t-1)를 더한 값에 출력 게이트 계수를 곱한 제5 중간값을 계산하는 단계; 및
    상기 제4 중간값과 상기 제5 중간값을 곱하여 상기 출력 데이터(h_t)를 계산하는 단계를 포함하는,
    뇌파 잡음 제거 방법.
13. 측정된 뇌파에 포함되어 있는 잡음을 제거하기 위한 뇌파 잡음 제거 장치에 의해 수행되는 뇌파 잡음 제거 방법으로서,
    뇌파를 측정한 잡음이 포함된 데이터를 입력받는 단계;
    심층신경망을 이용하여 상기 뇌파를 측정한 잡음이 포함된 데이터를 뇌파 성분 및 잡음 성분으로 분류하는 단계; 및
    분류한 상기 뇌파 성분 및 잡음 성분을 바탕으로 상기 뇌파를 측정한 잡음이 포함된 데이터에서 상기 잡음 성분을 제거한 정제 뇌파 데이터를 생성하는 단계;를 포함하고,
    상기 심층신경망은 콘벌루션 신경망(Convolutional Neural Network)과 리커런트 신경망(Recurrent Neural Network)이 결합된 하이브리드 신경망(Hybrid Neural Network)이고,
    상기 하이브리드 신경망을 이용하여 상기 뇌파를 측정한 잡음이 포함된 데이터를 뇌파 성분 및 잡음 성분으로 분류하는 단계는,
    하나의 채널에 대한 시계열 데이터를 입력 받는 단계;
    상기 시계열 데이터에 대하여 상기 리커런트 신경망을 적용하여 순간적인 잡음 성분을 분류하여 제거한 제1 시계열 데이터를 생성하는 단계;
    상기 제1 시계열 데이터를 일정한 시간 간격으로 잘라서 재구성한 다차원 시계열 데이터를 생성하는 단계; 및
    상기 콘벌루션 신경망을 적용하여 상기 다차원 시계열 데이터를 뇌파 성분 및 잡음 성분으로 분류하는 단계;를 포함하는,
    뇌파 잡음 제거 방법.
14. 제8항, 제12항 및 제13항 중 어느 한 항에 있어서,
    상기 뇌파를 측정한 잡음이 포함된 데이터는
    복수의 채널에서 획득한 신호 정보를 시간 순서로 나열한 시계열 데이터,
    또는 복수의 채널에서 획득한 신호 정보를 바탕으로 채널별 특성 지표를 뇌파 측정 채널 위치에 나타낸 위상 지도,
    또는 복수의 채널에서 획득한 신호 정보를 바탕으로 각 채널별 시간에 따른 주파수 변화를 도시한 시간-주파수 지도인,
    뇌파 잡음 제거 방법.
15. 컴퓨터 또는 프로세서 상에서 실행될 때, 제8항, 제12항 및 제13항의 방법 중 어느 하나에 따른 방법을 실행하는 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램.
    
    
16. 삭제
17. 삭제
18. 삭제
19. 삭제

Images