KR20210051419A - 뇌 인지 부하 분류 시스템 및 방법 - Google Patents
뇌 인지 부하 분류 시스템 및 방법 Download PDFInfo
- Publication number
- KR20210051419A KR20210051419A KR1020190136685A KR20190136685A KR20210051419A KR 20210051419 A KR20210051419 A KR 20210051419A KR 1020190136685 A KR1020190136685 A KR 1020190136685A KR 20190136685 A KR20190136685 A KR 20190136685A KR 20210051419 A KR20210051419 A KR 20210051419A
- Authority
- KR
- South Korea
- Prior art keywords
- cognitive load
- level feature
- level
- brain cognitive
- derived
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Dermatology (AREA)
- Fuzzy Systems (AREA)
- Psychology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
본 기술은 뇌 인지 부하 분류 시스템 및 방법이 개시된다. 본 기술의 구체적인 예에 따르면, 입력된 뇌파 신호의 스펙트럼 및 공간 정보를 포함하는 3차원 이미지의 입력 데이터에 대한 소정 수의 콘볼루션을 통해 각 레이어의 각 멀티 레벨 특징을 도출하고, 도출된 멀티 레벨 특징과 학습을 통해 최적화된 파라미터를 토대로 각 멀티 레벨 특징의 각 가중치를 도출하며, 도출된 가중치 및 멀티 레벨 특징에 대한 곱으로 각 멀티 레벨 특징의 로지트를 도출하고, 도출된 각 멀티 레벨 특징의 로지트에 분류 손실 함수를 적용하여 각 멀티 레벨 특징의 각도 손실을 연산하며, 연산된 각도 손실이 최소화된 각 멀티 레벨 특징을 완전 결합하여 입력된 뇌파 신호에 대한 뇌 인지 부하를 다수의 분류기 중 하나로 분류함에 따라, 뇌의 인지 부하의 분류 정확도를 향상시킬 수 있고, 뇌파 신호에 의거 가중치를 학습하여 최적화된 가중치를 결정함에 따라 학습 속도를 높일 수 있고, 이에 시스템의 성능을 향상시킬 수 있다.
Description
본 발명은 뇌 인지 부하 분류 시스템 및 방법에 관한 것으로, 더욱 상세하게는 주어진 작업에 대해 측정된 뇌파 신호의 스펙트럼 및 공간 정보를 토대로 3차원 컨볼루션 신경 네트워크(CNN) 알고리즘을 통해 뇌 인지 부하를 분류할 수 있도록 한 기술에 관한 것이다.
대부분의 CNN 알고리즘은 마지막 콘볼루션 레이어에서 추출된 심층 특징만 사용하여 분류를 수행한다. 심층 특징은 정확한 분류를 위한 필수 정보로 상위 레벨 구조 정보가 포함되고 중간 콘볼루션 레이어에서 추출된 하위 레벨 특징에도 풍부한 로컬 구조 정보가 포함되어 있다.
이에 로컬 구조 정보는 딥러닝 성능을 향상시키기 때문에, 멀티 레벨 특징 융합 방법은 다양한 응용 분야에 적용된다.
그리고 다양한 응용 프로그램에 대해 이러한 로컬 구조 정보를 이용한 다단계 기능 융합 방법을 제안하고 있다. 예를 들어, 음악 자동 태깅 문제에 대해 멀티 레벨의 특징을 수집하고 수집된 멀티 레벨의 특징은 상이한 타임 스케일 특징에 활용된다.
인간의 뇌는 기능적으로 분리와 통합이라는 두 가지 속성을 가지며, 여기서 분리는 특화된 정보를 국부적으로 처리하는 국부 인지 부하이고, 통합은 전체 뇌에 걸쳐 정보의 글로벌 통합을 수행하는 글로벌 인지 부하이다.
이러한 뇌의 인지 부하를 정확하게 나타내기 위해 국부 인지 부하를 나타내는 뇌파 신호의 로우 레벨 특징과 글로벌 인지 부하를 나타내는 뇌파 신호의 하이 레벨 특징을 분류하여야 한다.
그러나, 기존에는 뇌파 신호에 의거 도출된 멀티 레벨 특징으로부터 인지 부하를 정확하게 분류하는 CNN 기반의 알고리즘은 전혀 없었다.
따라서 본 발명은 CNN 기반의 멀티 레벨 특징 융합 기법을 토대로 뇌파 신호에 의거 학습 속도를 높일 수 있고, 뇌의 인지 부하의 분류 정확도를 향상시킬 수 있는 뇌 인지 부하 분류 시스템 및 방법을 제공하고자 하는 것을 목적으로 한다.
전술한 목적을 달성하기 위한 일 실시 예의 양태에 의거 뇌 인지 부하 분류 시스템은
적어도 하나의 주어진 각 작업에 대해 뇌파 신호를 적어도 하나를 획득하는 데이터 수집부;
상기 데이터 수집부의 뇌파 신호에 대해 스펙트럼 및 공간 정보를 포함하는 3차원 이미지의 입력 데이터로 출력하는 전처리부;
상기 전처리부의 입력 데이터에 대해 학습하여 최적화된 리스케일링 파라미터, 가중치, 바이어스 파라미터, 히든 레이어 파라미터, 및 분류기를 출력하는 학습부; 및
상기 최적화된 리스케일링 파라미터, 가중치, 및 분류기와 상기 전처리부의 입력 데이터를 토대로 3차원 컨볼루션 신경망(CNN) 알고리즘을 수행하여 뇌 인지 부하를 다수의 분류기 중 하나에 분류하는 CNN 수행부를 포함할 수 있다.
바람직하게 상기 뇌 인지 부하의 분류는 하나의 레벨로 출력될 수 있다.
바람직하게 상기 전처리부는,
획득된 소정 주파수 범위의 진동 형태의 뇌파 신호에서 필터링을 통해 노이즈 성분을 제거하고 신호원 국지화 (source localization)를 통해 단일 소스의 신호로 복구하는 필터모듈;
상기 시계열의 단일 소스의 뇌파 신호를 고속 퓨리에 변환 및 웨이블릿을 사용하여 기 정해진 주파수 범위의 스펙트럼 전력의 밀도를 출력하는 추정모듈;
중심점에서의 비례적으로 보정된 거리에 전극이 있다는 정의에 의해 방위각 등거리 투영법(azimuthal equidistant projection)을 적용하여 3차원 전극을 2차원 이미지로 변환하여 뇌파 신호의 공간 정보를 획득하는 매핑모듈; 및
각 공간 별 해당 전극의 스펙트럼 전력에 대해 3차 스플라인 보간법(Cubic Spline Interpolation)을 이용하여 전극과 전극 사이의 빈 공간의 스펙트럼 전력을 보간하여 스펙트럼 및 공간 정보를 포함하는 3차원 이미지의 입력 데이터를 출력하는 보간모듈을 포함할 수 있다.
바람직하게 상기 CNN 수행부는,
소정 수 콘볼루션 계층과 폴링 계층과 완전 연결 계층을 포함하되,
소정 수의 콘볼루션 계층은,
3차원 이미지의 입력 데이터에 대해 지수 선형 단위(Exponential Linear Unit)에 의거 활성화하여 소정 수의 멀티 레벨 특징을 포함하는 레이어를 도출하도록 구비될 수 있고,
폴링 계층은,
소정 수의 레이어의 중 로우 레벨 특징을 나타내는 일부 레이어에 대한 평균 폴링 및 최대 폴링을 적용하여 각 채널 별 평균 및 최대 폴링 특징으로 출력하도록 구비될 수 있고,
상기 완전 연결 계층은,
상기 각 멀티 레벨 특징과 각 분류기의 곱으로 도출된 멀티 레벨 특징의 로지트, 히든 레이어 파라미터, 및 바이어스 파라미터에 대한 활성화 함수를 이용하여 각 멀티 레벨 특징의 중요도를 나타내는 각 가중치를 도출한 다음
상기 도출된 각 가중치와 멀티 레벨 특징의 로지트에 대한 기 정해진 활성화 함수값 및 리스케일링 파라미터의 곱의 합으로 뇌 인지 부하를 추정하고 추정된 뇌 인지 부하를 기 정해진 다수의 분류기 중 하나에 분류하도록 구비될 수 있다.
바람직하게 상기 학습부는
각 멀티 레벨 특징의 로지트에 대한 분류 손실 함수로부터 멀티 레벨 특징의 각도 손실을 도출하고,
도출된 각도 손실의 최소화 해로 최적화된 각 멀티 레벨 특징의 각 가중치를 도출하여 3차원 CNN 수행부로 전달하도록 구비될 수 있다.
바람직하게 상기 각도 손실의 최소화 해는
각 멀티 레벨 특징의 각도 손실에 대한 특징 벡터의 편미분 방정식인 그래디언트 기법으로 도출하도록 구비될 수 있다.
일 실시 예의 다른 양태에 의거 뇌 인지 부하 분류 방법은,
적어도 하나의 주어진 각 작업에 대해 뇌파 신호를 적어도 하나를 획득하는 데이터 수집 단계;
상기 데이터 수집부의 뇌파 신호에 대해 스펙트럼 및 공간 정보를 포함하는 2차원 이미지의 입력 데이터로 출력하는 전처리 단계;
상기 전처리부의 입력 데이터에 대해 학습하여 최적화된 리스케일링 파라미터, 가중치, 바이어스 파라미터, 히든 레이어 파라미터, 및 분류기를 출력하는 학습단계; 및
상기 최적화된 리스케일링 파라미터, 가중치, 및 분류기와 상기 전처리부의 스펙트럼 및 공간 정보를 토대로 3차원 컨볼루션 신경망(CNN) 알고리즘을 수행하여 뇌 인지 부하를 다수의 분류기 중 하나에 분류하는 CNN 수행 단계를 포함할 수 있다.
바람직하게 상기 뇌 인지 부하의 분류는 하나의 레벨로 출력될 수 있다.
바람직하게 상기 전처리단계는
획득된 소정 주파수 범위의 진동 형태의 뇌파 신호에서 필터링을 통해 노이즈 성분을 제거하고 신호원 국지화 (source localization)를 통한 단일 소스의 신호로 복구하는 단계;
상기 시계열의 단일 소스의 뇌파 신호를 고속 퓨리에 변환 및 웨이브릿을 사용하여 기 정해진 주파수 범위의 스펙트럼 전력의 밀도를 출력하는 단계;
중심점에서의 비례적으로 보정된 거리에 전극이 있다는 정의에 의해 방위각 등거리 투영법(azimuthal equidistant projection)을 적용하여 3차원 전극을 2차원 이미지로 변환하여 뇌파 신호의 공간 정보를 획득하는 단계; 및
각 공간 별 해당 전극의 스펙트럼 전력에 대해 3차 스플라인 보간법(Cubic Spline Interpolation)을 이용하여 전극과 전극 사이의 빈 공간의 스펙트럼 전력을 보간하여 스펙트럼 및 공간 정보를 포함하는 3차원 이미지의 입력 데이터를 출력하는 단계를 포함할 수 있다.
바람직하게 상기 CNN 수행단계는
소정 수 콘볼루션 계층과 폴링 계층과 완전 연결 계층을 포함하되,
소정 수의 컨볼루션 계층은,
3차원 이미지의 입력 데이터에 대해 지수 선형 단위(Exponential Linear Unit)에 의거 활성화하여 소정 수의 멀티 레벨 특징으로 포함하는 레이어를 도출하도록 구비될 수 있고,
폴링 계층은,
소정 수의 레이어 중 로우 레벨 특징을 나타내는 일부 레이어에 대한 평균 폴링 및 최대 폴링을 적용하여 각 채널 별 평균 및 최대 폴링 특징으로 출력하도록 구비될 수 있고,
상기 완전 연결 계층은,
상기 각 멀티 레벨 특징과 각 분류기의 곱으로 도출된 멀티 레벨 특징의 로지트, 히든 레이어 파라미터, 및 바이어스 파라미터에 대한 활성화 함수를 이용하여 각 멀티 레벨 특징의 중요도를 나타내는 각 가중치를 도출한 다음
상기 도출된 각 가중치와 멀티 레벨 특징의 로지트에 대한 기 정해진 활성화 함수값 및 리스케일링 파라미터의 곱의 합으로 뇌 인지 부하를 추정하고 추정된 뇌 인지 부하를 기 정해진 다수의 분류기 중 하나에 분류하도록 구비될 수 있다.
바람직하게 상기 학습 단계는
각 멀티 레벨 특징의 로지트에 대한 분류 손실 함수로부터 멀티 레벨 특징의 각도 손실을 도출하고,
도출된 각도 손실의 최소화 해로 최적화된 각 멀티 레벨 특징의 각 가중치를 도출하여 3차원 CNN 수행단계로 전달하도록 구비될 수 있다.
바람직하게 상기 각도 손실의 최소화 해는
각 멀티 레벨 특징의 각도 손실에 대한 특징 벡터의 편미분 방정식인 그래디언트 기법으로 도출하도록 구비될 수 있다.
일 실시 예에 따르면, 입력된 뇌파 신호의 스펙트럼 및 공간 정보를 포함하는 3차원 이미지의 입력 데이터에 대한 소정 수의 콘볼루션을 통해 각 레이어의 각 멀티 레벨 특징을 도출하고, 도출된 멀티 레벨 특징과 학습을 통해 최적화된 파라미터를 토대로 각 멀티 레벨 특징의 각 가중치를 도출하며, 도출된 가중치 및 멀티 레벨 특징에 대한 곱으로 각 멀티 레벨 특징의 로지트를 도출하고, 도출된 각 멀티 레벨 특징의 로지트에 분류 손실 함수를 적용하여 각 멀티 레벨 특징의 각도 손실을 연산하며, 연산된 각도 손실이 최소화된 각 멀티 레벨 특징을 완전 결합하여 입력된 뇌파 신호에 대한 뇌 인지 부하를 다수의 분류기 중 하나로 분류함에 따라, 뇌의 인지 부하의 분류 정확도를 향상시킬 수 있고, 뇌파 신호에 의거 가중치를 학습하여 최적화된 가중치를 결정함에 따라 학습 속도를 높일 수 있고, 이에 시스템의 성능을 향상시킬 수 있다.
본 명세서에서 첨부되는 다음의 도면들은 본 발명의 바람직한 실시 예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니된다.
도 1은 일 실시예의 뇌 인지 부하 분류 시스템의 전체 구성도이다.
도 2는 일 실시예의 주어진 작업을 보인 예시도이다.
도 3은 일 실시예의 뇌파 신호를 획득하는 전극을 보인 예시도이다.
도 4는 일 실시예의 전처리부의 세부 구성도이다.
도 5는 일 실시예의 뇌파 신호의 스펙트럼 밀도를 보인 예시도이다.
도 6은 일 실시예의 CNN 구조를 보인 예시도이다.
도 7은 일 실시예의 가중치 도출 과정을 보인 예시도이다.
도 8은 일 실시예의 각 이미지 별 가중치의 CDF를 보인 그래프이다.
도 1은 일 실시예의 뇌 인지 부하 분류 시스템의 전체 구성도이다.
도 2는 일 실시예의 주어진 작업을 보인 예시도이다.
도 3은 일 실시예의 뇌파 신호를 획득하는 전극을 보인 예시도이다.
도 4는 일 실시예의 전처리부의 세부 구성도이다.
도 5는 일 실시예의 뇌파 신호의 스펙트럼 밀도를 보인 예시도이다.
도 6은 일 실시예의 CNN 구조를 보인 예시도이다.
도 7은 일 실시예의 가중치 도출 과정을 보인 예시도이다.
도 8은 일 실시예의 각 이미지 별 가중치의 CDF를 보인 그래프이다.
이하에서는 도면을 참조하여 본 발명의 실시예들을 보다 상세하게 설명한다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
일 실시 예가 적용되는 뇌 인지 부하 분류 시스템은 각각의 구성요소에 대해 임의 개를 임의의 적절한 구성으로 포함할 수도 있다. 일반적으로, 컴퓨팅 및 통신 시스템들은 광범위한 구성들로 나타나며, 도면은 본 개시의 범위를 어떤 특정 구성으로 한정하지 않는다. 도면은 본 특허 문서에서 개시된 다양한 특성들이 사용될 수 있는 하나의 동작 환경을 도시하고 있지만, 그러한 특성들은 어떤 다른 적절한 시스템에서 사용될 수도 있다.
이하, 일 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
일 실시 예에서 작업에 대한 뇌의 인지 부하는 뇌의 국부적인 동작을 수행하는 분리 인지 부하와 뇌의 통합 동작하는 글로벌 인지 부하를 포함하고, 각 분리 인지 부하는 뇌파 신호의 로우 레벨 특징으로 나타내며, 글로벌 인지 부하는 뇌파 신호의 상위 레벨 특징으로부터 나타낸다.
이에 일 실시예는 입력된 뇌파 신호의 스펙트럼 및 공간 정보를 포함하는 2차원 이미지의 입력 데이터에 대한 소정 수의 콘볼루션을 통해 각 레이어의 각 멀티 레벨 특징을 도출하고, 도출된 멀티 레벨 특징과 학습을 통해 최적화된 파라미터를 토대로 각 멀티 레벨 특징의 각 가중치를 도출하며, 도출된 가중치 및 멀티 레벨 특징에 대한 곱으로 각 멀티 레벨 특징의 로지트를 도출하고, 도출된 각 멀티 레벨 특징의 로지트에 분류 손실 함수를 적용하여 각 멀티 레벨 특징의 각도 손실을 연산하며, 연산된 각도 손실이 최소화된 각 멀티 레벨 특징을 완전 결합하여 입력된 뇌파 신호에 대한 뇌 인지 부하를 다수의 분류기 중 하나로 분류한다. 이에 뇌 인지 부하는 세분화되어 정확하게 분류된다.
도 1은 일 실시 예에 따른 뇌파 신호를 이용하여 뇌 인지 부하를 추정하기 위한 도면으로서, 도 1을 참조하면 일 실시 예의 뇌의 인지부하 분류 시스템은, 딥러닝의 일종인 콘볼루션 신경망(CNN)을 사용한 멀티레벨 특징 융합 기법을 토대로 뇌 인지 부하를 다수의 분류기 중 하나로 분류하도록 구비될 수 있으며, 이에 시스템은 데이터 수집부(110), 전처리부(120), 학습부(130), 및 3차원 CNN 수행부(140) 중 적어도 하나를 포함할 수 있다.
데이터 수집부(110)는 Sternberg에 의거 정해진 작업(Task)의 수행에 따라 측정된 뇌파 신호를 수집하는 것을 포함할 수 있다.
도 2는 Sternberg에 의거 기 정해진 작업(Task)을 보인 예시도이고, 도 3은 도 2의 각 자극에 대한 뇌파 신호를 검출하기 위해 두피에 설치되는 전극을 나타낸 예시도로서, 도 2 및 도 3을 참조하면, 3개의 자극 T3, A1, G7 는 소정(일 례로 0.5초) 주기로 램덤하게 순차 수행되고, 이때 각 자극에 대한 뇌파 신호(EEG: electroencephalogram)는 참가자의 두피에 설치된 소정 수(일 례로 30개)의 전극으로부터 획득된다. 이러한 뇌파 신호가 획득될 때까지 전술한 소정 수의 자극은 반복하여 순차 수행된다.
이 후 마지막으로 주어진 자극 G7이 완전히 사라진 다음 제공되는 자극에 대해 뇌파 신호는 일정 시간(2초) 동안 유지하기 위해, 소정 수의 각 자극은 일정 시간 동안 유지된다.
이러한 자극에 대한 뇌파 신호는 소정 주파수(500Hz) 주기의 샘플링 속도로 획득된다. 추출된 뇌파 신호의 크기가 기 정해진 소정 범위를 초과하는 경우 소정 범위를 초과한 뇌파 신호는 제거되고 소정 범위 내의 뇌파 신호는 전처리부(120)로 전달된다.
전처리부(120)는 입력된 각 전극으로부터 측정된 뇌파 신호를 스펙트럼 및 공간 정보를 포함하는 3D 이미지로 변환하는 기능을 수행한다.
도 4는 전처리부(120)의 세부 구성을 보인 도면으로서, 전처리부(120)는 MATLAB 기반으로 수행될 수 있다. 이에 전처리부(120)는 도 4를 참조하면, 필터모듈(121), 추정모듈(123), 매핑모듈(125), 및 보간모듈(127) 중 적어도 하나를 포함할 수 있다.
필터모듈(121)은 획득된 소정 주파수 범위(4Hz~30Hz)의 뇌파 신호를 소정 주파수 대역(0.5Hz~40Hz)에 대해 밴드 패스 필터링한 후 직류성분 및 노이즈 성분을 제거하고 필터링된 뇌파 신호를 소정 주파수(100Hz)로 다운 샘플링을 수행한다.
여기서 획득된 뇌파 신호는 대뇌 피질의 뇌 활동이 반영된 신호이고, 대뇌 피질은 전두엽, 측두엽, 정수리엽, 및 후두엽을 포함한다. 이에 뇌파 신호는 각 자극에 대한 스펙트럼 전력 및 공간 특성으로 나타낼 수 있다.
이러한 각 자극에 대한 스펙트럼 전력 및 공간 정보를 추출하기 위해, 다수의 소스에서 생성된 신호의 합인 뇌파 신호는 단일 전극에 의거 획득된다. 이에 중첩된 뇌파 신호에 대해 단일 소스의 신호로 복구하기 위해 라플라시안 필터링을 수행할 수 있다.
이에 필터모듈(121)은 직류성분 및 노이즈 성분이 제거된 뇌파 신호에 대해 라플라시안 필터링을 수행하여 각 전극 
의 인접된 전극 
에 대해 가중치의 합을 감산함으로써, 단일 소스의 뇌파 신호를 도출할 수 있으며, 단일 소스의 뇌파 신호 
는 다음 식1을 만족한다.
[식 1]
여기서, 
는 i 번째 전극의 뇌파 신호이고, 
는 시점 t에서 i번째 전극과 가장 인접된 전극이며, 
는 i 번째 전극과 j 번째 전극의 역에 의해 결정된 가중치로서, 주어진 임의의 i 에 대해 
를 만족하도록 정규화된다.
여기서, 
는 각 전극에 대해 가장 인접된 전극 세트로 정의된다.
또한, 라플라시안 필터링된 단일 소스의 뇌파 신호는 추정 모듈(123)로 전달된다.
추정모듈(123)은 시계열의 단일 소스의 뇌파 신호를 고속 퓨리에 변환을 사용하여 주파수 영역의 뇌파 신호로 변환하고 변환된 주파수 영역의 뇌파 신호에 대해 Welch 기법을 수행하여 소정 주파수 범위(2Hz~ 40Hz)의 스펙트럼 전력의 밀도를 출력할 수 있다. 이러한 스펙트럼 전력의 밀도는 웨이블릿 및 multitaper 방법 등 다양한 방식으로 연산될 수 있으나, 이에 한정하지 아니한다. 도 5는 각 자극에 대한 뇌파 신호의 스펙트럼 전력의 밀도를 보인 예시도이다.
한편, 뇌파 신호에 대한 공간 정보를 획득하기 위해, 매핑모듈(125)은 두피의 3차원 전극을 2차원 이미지로 변환하도록 구비될 수 있다. 즉, 매핑모듈(125)는 중심점에서의 비례적으로 보정된 거리에 전극이 있다는 정의에 의해 방위각 등거리 투영법(azimuthal equidistant projection)을 적용하여 3차원 전극을 2차원 이미지로 변환할 수 있다.
이 후 매핑모듈(125)는 투영된 지점을 소정 크기로 분할된 영역에 맵핑한 다음 각 공간에 대한 각 주파수의 해당 전극의 뇌파 신호에 대한 스펙트럼 전력을 할당한다.
그리고, 각 공간 별 해당 전극의 스펙트럼 전력은 보간모듈(127)로 전달된다.
보간모듈(127)은 각 공간 별 해당 전극의 스펙트럼 전력에 대해 3차 스플라인 보간법(Cubic Spline Interpolation)을 이용하여 전극과 전극 사이의 빈 공간의 스펙트럼 전력을 보간함에 따라 30개의 전극으로부터 획득된 각 뇌파 신호에 대해 스펙트럼 및 공간 정보를 포함하는 3차원 뇌파 이미지로 변환할 수 있다.
이러한 각 뇌파 신호에 대해 스펙트럼 및 공간 정보를 포함하는 다수의 3차원 뇌파 이미지의 다수의 입력 데이터 중 소정 수의 입력 데이터는 학습 데이터로서 학습부(130)로 전달된다.
학습부(130)는 학습 데이터에 대해 다수의 파라미터에 대해 최적화된 파라미터를 도출할 수 있다. 여기서, 다수의 파라미터는 리스케일링 파라미터 
, 가중치 
, 바이어스 파라미터 
, 히든 레이어 파라미터 
, 및 분류기 
중 적어도 하나이다.
또한, 학습부(130)의 최적화된 파라미터 리스케일링 파라미터 
, 가중치 
, 바이어스 파라미터 
, 히든 레이어 파라미터 
, 및 분류기 
와 전처리부(120)의 다수의 입력 데이터 중 학습 데이터를 제외한 나머지 입력 데이터는 테스트 데이터로 3차원 콘볼루션 신경망(3차원 CNN) 수행부(140)로 전달된다.
도 6은 3차원 CNN 구조를 보인 도면으로서, 도 6을 참조하면, 3차원 CNN 수행부(140)는 뇌파 신호에 대한 스펙트럼 및 공간 정보를 학습하기 위해 3차원 커널(Kernal)을 기반으로 소정 수(바람직하게 4 개) 콘볼루션 계층(131)과 폴링 계층(135) 및 완전 연결 계층(137)을 포함하는 CNN 구조로 구비될 수 있다.
여기서, 콘볼루션 계층(131)의 선형 각 레이어는 지수 선형 단위(ELU: Exponential Linear Unit)에 의거 활성화되어 출력되며, 지수 선형 단위(ELU)는 다음 식 2로 나타낼 수 있다.
[식 2]
일 실시 예에서 각 레이어는 지수 선형 단위에 의거 활성화되어 출력될 수 있으나, 필요에 따라 정류 선형 단위(ReLYU: Rectified Linear Unit)에 의거 활성화되어 출력될 수 있으며, 이에 한정하지 아니한다.
여기서, β는 음의 입력 데이터 
에 대해 포화값을 제어하기 위한 양의 하이퍼 파라미터이고, 고정된 하이퍼 파라미터의 경우 β=1 이다.
도 6에 도시된 바와 같이, 다수의 Layer 1 내지 Layer 4로 구비된 콘볼루션 계층(131) 중 Layer 1 내지 Layer 3의 로우 레벨 특징은 각 Layer 1 내지 Layer 3 간을 연결하기 위해 추정되어야 하는 파라미터의 수가 크게 증가된다.
이에 로우 레벨 특징의 차수를 줄이기 위해 3차원 CNN 수행부(140)는 각 채널 별로 로우 레벨 특징 각각에 대해 평균 폴링 및 최대 폴링을 적용하여 각 채널 별 폴링 계층(135)를 생성하고, 생성된 각 채널 별 평균 폴링 및 최대 폴링 특징은 완전 연결 계층(137)에 공급된다.
여기서, 로우 레벨 특징은 뇌의 분리 인지 부하를 나타내고, 상위 레벨 특징은 뇌의 통합 인지 부하를 나타내며 일 실시 예의 3차원 CNN 수행부(140)는 평균 폴링 및 최대 폴링에 의해 상위 레벨 특징과 로우 레벨 특징을 통합하여 뇌의 인지 부하를 하나로 분류할 수 있다.
도 7은 로우 레벨 특징과 하위 레벨 특징을 융합하여 최종 뇌의 인지부하를 하나로 분류하기 위한 가중치를 도출하는 다층 구조의 퍼셉트론의 연산 과정을 보인 도면으로서, 도 7을 참조하면, 우선 3차원 CNN 수행부(140)는 각 레이어의 출력 데이터인 각 멀티 레벨 특징을 1차원의 멀티 레벨 특징 벡터 
로 변환한 다음 각 멀티 레벨 특징의 로지트(Logit)을 연산한다. 여기서, 로지트(logit)는 후술될 활성화 함수인 소프트맥스(softmax) 함수 이전에 비정규화된 최종 점수를 말한다.
즉, 3차원 CNN 수행부(140)는 각 멀티 레벨 특징 
및 각 분류기 
의 열에 대해 L2 정규화를 수행한 다음 각 정규화된 항을 곱하여 각 멀티 레벨 특징의 로지트 
을 도출한다. 이때 각 멀티 레벨 특징의 로지트 
는 L2 정규화를 통해 임의의 i 및 j에 대해 -1과 +1 사이의 값을 가진다. 즉, 각 멀티 레벨 특징의 로지트 
는 
, 
를 만족한다.
그리고, 3차원 CNN 수행부(140)는 멀티 레벨 특징의 로지트 
에 하나의 히든 레이어 
와, 바이어스 
및 활성화 함수 
를 이용하여 각 멀티 레벨 특징에 대한 가중치 
를 도출할 수 있다. 여기서 일 실시 예에서 활성화 함수 
는 Softmax 함수이다. 즉, 각 멀티 레벨 특징에 대한 가중치 
는 다음 식 2로 나타낼 수 있다.
[식 3]
여기서, 
는 입력값인 멀티 레벨 특징 
이고, 
는 L2 정규화된 멀티 레벨 특징이며, 
는 하나의 히든 레이어이며, 
는 바이어스 파라미터이고, 
는 가중치이며, 
는 softmax 함수이다. 여기서, 가중치 
는 각 멀티 레벨 특징의 중요도로 가중치 
의 합은 1이다.
그리고, 가중치 
는 바이어스 파라미터 
와 멀티 레벨 특징의 곱의 합과 히든 레이어 
에 의해 결정되며, 여기서, 바이어스 파라미터 
및 히든 레이어 
은 학습 가능한 파라미터로 학습부(130)로부터 최적화된 바이어스 파라미터 및 히든 레이어이다.
그리고, 가중치 
는 3차원 뇌파 신호로부터 추출된 정규화된 
의 종속되어 적응적으로 결정된다.
j 번째 클래스의 인지 부하는 각 가중치가 부여된 출력값의 합으로 도출되며, j 번째 클래스의 인지 부하 추정값 
는 식 3으로 정의된다.
[식 4]
여기서, 
는 분류기 
의 i 번째 열로 정의되고, 
는 가중치 
의 i 번째 성분으로 정의되며, 
는 양의 실수를 가지는 리스케일링 파라미터이다. 리스케일링 파라미터 
는 네트워크 커버리지에 의해 유도된다.
이러한 상위 레벨 특징 및 하위 레벨 특징이 융합된 하나의 특징값인 인지부하 추정값 
은 학습부(130)로 전달되며, 이에 일 실시 예는 인지부하 추정값에 대한 학습을 통해 인지부하 추정값에 대한 분류 정확도를 향상시킬 수 있다.
즉, 각 멀티 레벨 특징에 대한 인지 부하 추정값으로 해당 클래스로 분류하기 위해 가중치 
를 도출함에 있어, 일 실시 예는 입력된 멀티 레벨 특징의 로지트는 분류기와 멀티 레벨 특징의 방향 및 크기로 분해된다. 즉, 
여기서, 
는 L2 정규화된 각 멀티레벨 특징 벡터 
의 놈(norm)이고, L2 정규화된 벡터의 놈은 하나이며, 분류를 위해 각도 정보는 사용된다. 그리고 각 멀티 레벨 특징의 분류 결과는 가중치의 곱으로 가중된다. 이에 멀티 레벨 특징의 각도 손실(angular loss)이 가중되어 발생되고 이러한 가중된 분류 각도 손실은 가중 계수의 문제를 해인 그래디언트 보상 방법에 의해 최소화된다.
즉, 분류 손실 함수 
는 softmax 함수인 교차 엔트로피 손실 함수로 사용되고, softmax 함수는 다음 식 5로 나타낼 수 있다.
[식 5]
여기서, 
는 입력값인 심층 특징으로 정의되고, 
는 심층 특징 
의 인코딩된 클래스 레벨이며, 
는 j 번째 열의 바이어스 파라미터이며, 
은 분류의 클래스 수이다. 그리고 단순화하기 위해, 배치 사이즈(batch size)는 1로 설정되고, 
은 마지막 콘볼루션으로부터 추출되는 특징으로서, 활성화 함수 없이 네트워크의 최종 출력 특징의 로지트는 
로 표현될 수 있다.
그러나, 모든 멀티 레벨 특징의 로지트는 
로 나타낼 수 있다. 여기서, 분류 벡터 
와 특징 벡터 
는 L2 정규화된다.
그리고, 임의의 i에 대해 바이어스 파라미터 
로 설정되면, 멀티 레벨 특징의 로지트는 다음 식 6으로 나타낼 수 있다.
[식 6]
여기서, 
는 분류 벡터 
와 특징 벡터 
사이의 각도이다. 이러한 멀티 레벨 특징의 로지트는 각도 
로 나타낼 수 있다. 여기서 L2 정규화 추정값은 분류 벡터 
와 특징 벡터 
사이의 각 
에 종속된다.
따라서, 식 6을 정리하면 멀티 레벨 특징의 각도 손실 
은 식 7으로 나타낼 수 있다.
[식 7]
다음으로 멀티 레벨 특징의 중요도를 할당하기 위해 가중치 
와 각 멀티 레벨 특징의 로지트 
의 곱으로 멀티 레벨 특징의 각도 손실 
이 도출되며, 이에 도출된 멀티 레벨 특징의 각도 손실 
은 다음 식 8로 도출될 수 있다.
[식 8]
여기서, 
은 멀티 레벨 특징 벡터 
의 로지트이고 각도 손실 
은 멀티 레벨 특징의 벡터 
의 중요도를 나타내는 가중치 
와 멀티 레벨 특징 벡터의 로지트 
의 곱에 의해 결정된다.
또한 각 특징 벡터와 각 분류기의 열이 L2 정규화되면, 교차 엔트로피 손실함수는 로우 바운드(하한계 :Low Bound)를 가진다. 그리고, 손실 함수는 수 천만의 반복을 통해 매우 큰 값으로 수렴하고 네트워크는 수렴하지 아니한다. 이에 일 실시 예는 이러한 문제를 해결하기 위해, 각 멀티 레벨 특징의 로지트에 리스케일링 파라미터 
을 곱하고 역전파 알고리즘에 의해 결정된 리스케일링 파라미터의 학습으로 로지트의 스케일을 재조정한다. 이에 최종 분류 손실 함수는 로지트의 재스케일링에 의거 얻을 수 있으며 최종 분류 손실 함수는 다음 식 9를 만족한다.
[식 9]
여기서, 리스케일링 파라미터 
는 학습 가능한 파라미터이다. 이에 각 멀티 레벨 특징의 분류는 각 정보에 의해 결정되고, 각 멀티 레벨 특징의 중요도는 가중치에 의해 결정된다.
즉, 각 멀티 레벨 특징 벡터 
의 각 로지트에 가중치 
를 곱하고, 이에 멀티 레벨 특징의 학습 속도는 가중치 
에 의존된다. 즉, 가중치 
가 높을수록 훈련 속도는 빨라지고, 가중치 
가 작으면 멀티레벨 특징의 학습은 수렴되지 아니한다.
이러한 문제를 해결하기 위한 식 9의 최종의 분류 손실 함수 
는 다음 식 10으로 정리된다.
[식 10]
여기서, 멀티 레벨 특징 
에 대한 분류기 
의 그래디언트(gradient)는 다음 식 11로 도출될 수 있다.
[식 11]
여기서, 
여기서, 
는 멀티 레벨 특징 
, 
의 벡터이고, 
이다.
여기서, 
의 그래디언트는 가중치 
에 대한 그래디언트와 특징 벡터 
에 대한 그래디언트로 나누어진다. 가중치 
에 특징 벡터 
를 곱하기 때문에 가중치 
의 학습 속도와 유사한 멀티레벨 특징 
의 학습 속도의 조절이 가능하다.
즉, 가중치 
가 다른 가중치에 비해 극도로 작은 경우 멀티 레벨 특징의 벡터 
을 추출함에 있어 역전파 알고리즘 수행 과정에서 멀티레벨 특징 벡터의 학습 속도를 보상하기 위해 가중치 
의 역수의 곱하여 멀티 레벨 특징 
에 대한 그래디언트를 도출하며, 도출된 멀티 레벨 특징에 대한 그래디언트는 다음 식 13으로 나타낼 수 있다.
[식 13]
여기서, 멀티 레벨 특징의 벡터 
를 추출하는데 사용되는 콘볼루션 계층과 완전 연결 계층의 가중치 
는 그래디언트 보정에 영향을 받으며, 가중치 
및 분류기 
를 추출되는데 사용되는 히든 레이어 
및 바이어스 파라미터 
는 경사 보정에 영향을 받지 아니한다.
3차원 CNN 수행부(140)는 완전 결합 계층(147)에 의거 각도 손실의 최소화된 각 멀티 레벨 특징 및 가중치의 곱의 합으로 결합하여 입력된 뇌파 신호에 대해 뇌 인지 부하를 다수의 분류기 중 하나로 분류한다.
이에 일 실시 예는, 입력된 뇌파 신호의 스펙트럼 및 공간 정보를 포함하는 2차원 이미지의 입력 데이터에 대한 소정 수의 콘볼루션을 통해 각 레이어의 각 멀티 레벨 특징을 도출하고, 도출된 멀티 레벨 특징과 학습을 통해 최적화된 파라미터를 토대로 각 멀티 레벨 특징의 각 가중치를 도출하며, 도출된 가중치 및 멀티 레벨 특징에 대한 곱으로 각 멀티 레벨 특징의 로지트를 도출하고, 도출된 각 멀티 레벨 특징의 로지트에 분류 손실 함수를 적용하여 각 멀티 레벨 특징의 각도 손실을 연산하며, 연산된 각도 손실이 최소화된 각 멀티 레벨 특징을 완전 결합하여 입력된 뇌파 신호에 대한 뇌 인지 부하를 다수의 분류기 중 하나로 분류함에 따라, 뇌파 신호에 의거 학습 속도를 높일 수 있고, 뇌의 인지 부하의 분류 정확도를 향상시킬 수 있다.
이러한 일 실시 예의 시스템의 성능(Accuracy)와 기존의 SVM, KNN, 및 멀티레벨 융합 기법의 시스템의 성능은 하기 표 1에 도시된 바와 같다.
[표 1]
표 1에 따르면, 일 실시 예에 따른 시스템의 성능이 기존의 방식 시스템의 성능 보다 향상됨을 알 수 있다.
또한, 고정된 가중치를 가지는 기존의 멀티레벨 융합 기법에 대한 분류 정확도와 일 실시 예에 의거 도출된 가중치에 따른 멀티레벨 융합 기법에 대한 분류 정확도는 하기 표 2에 도시된 바와 같다.
[표 2]
도 8은 각 가중치 
별 CDF(Cumulative Distribution Function)를 보인 그래프로서, 도 8을 참조하면, 일 실시 예는 뇌파 신호에 의거 결정된 히든 레이어 파라미터 
과 멀티 레벨 특징 
의 곱으로 가중치 
가 도출되므로 뇌파 신호에 따라 상이한 가중치 
가 도출된다. 이에 도 8을 참조하면, 중간 멀티 레벨 특징 
, 
에 대한 가중치 
, 
는 주로 0과 0.05 사이에 분포되며 매우 작다. 그러나, 첫 번째 및 마지막 멀티 레벨 특징 
, 
의 가중치 
, 
는 각각 0.2와 0.8 사이에 분포되어 있으므로 상대적으로 높다는 것을 알 수 있다.
이에 제1 콘볼루션의 레이어 Layer 1은 로우 레벨 특징을 가지며, 제4 콘볼루션의 레이어 Layer 4는 상위 레벨 특징을 가진다고 추정할 수 있다. 따라서, 뇌파 신호에 대한 최적화된 가중치 
를 결정함에 따라 시스템 성능이 향상된다.
즉, 일 실시 예는 분리 인지 부하인 로컬 구조와 글로벌 인지 부하인 글러벌 구조를 모두 포함하는 뇌파 신호에 대해 스펙트럼 및 공간 정보를 포함하는 3차원 이미지로 변환한 다음 3차원 콘볼루션 신경망 기반으로 각 멀티 레벨 특징을 추출하고 추출된 멀티 레벨 특징에 가중치를 곱하여 멀티 레벨 특징의 중요도를 결정하고 결정된 멀티 레벨 특징의 중요도에 따라 뇌 인지 부하를 분류한다. 이때 가중치는 뇌파 신호에 대한 학습을 통해 최적화된다. 이에 시스템의 성능이 향상되며, 기존의 다른 알고리즘에 비해 뇌 인지 부하의 분류 정확도가 더욱 향상된다.
이상에서 대표적인 실시 예를 통하여 본 발명을 상세하게 설명하였으나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 상술한 실시 예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리 범위는 설명한 실시 예에 국한되어 정해져서는 안 되며, 후술하는 청구범위뿐만 아니라 청구범위와 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태에 의하여 정해져야 한다.
입력된 뇌파 신호의 스펙트럼 및 공간 정보를 포함하는 3차원 이미지의 입력 데이터에 대한 소정 수의 콘볼루션을 통해 각 레이어의 각 멀티 레벨 특징을 도출하고, 도출된 멀티 레벨 특징과 학습을 통해 최적화된 파라미터를 토대로 각 멀티 레벨 특징의 각 가중치를 도출하며, 도출된 가중치 및 멀티 레벨 특징에 대한 곱으로 각 멀티 레벨 특징의 로지트를 도출하고, 도출된 각 멀티 레벨 특징의 로지트에 분류 손실 함수를 적용하여 각 멀티 레벨 특징의 각도 손실을 연산하며, 연산된 각도 손실이 최소화된 각 멀티 레벨 특징을 완전 결합하여 입력된 뇌파 신호에 대한 뇌 인지 부하를 다수의 분류기 중 하나로 분류함에 따라, 뇌의 인지 부하의 분류 정확도를 향상시킬 수 있고, 뇌파 신호에 의거 가중치를 학습하여 최적화된 가중치를 결정함에 따라 학습 속도를 높일 수 있고, 이에 시스템의 성능을 향상시킬 수 있는 뇌 인지부하 분류 시스템 및 방법에 대한 운용의 정확성 및 신뢰도 측면, 더 나아가 성능 효율 면에 매우 큰 진보를 가져올 수 있으며, 이미지 분류하는 도구의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용 가능성이 있는 발명이다.
Claims (12)
- 적어도 하나의 주어진 각 작업에 대해 뇌파 신호를 적어도 하나를 획득하는 데이터 수집부;
상기 데이터 수집부의 뇌파 신호에 대해 스펙트럼 및 공간 정보를 포함하는 3차원 이미지의 입력 데이터로 출력하는 전처리부;
상기 전처리부의 입력 데이터에 대해 학습하여 최적화된 리스케일링 파라미터, 가중치, 바이어스 파라미터, 히든 레이어 파라미터, 및 분류기를 출력하는 학습부; 및
상기 최적화된 리스케일링 파라미터, 가중치, 및 분류기와 상기 전처리부의 입력 데이터를 토대로 3차원 컨볼루션 신경망(CNN) 알고리즘을 수행하여 뇌 인지 부하를 다수의 분류기 중 하나에 분류하는 CNN 수행부를 포함하는 것을 특징으로 하는 뇌 인지 부하 분류 시스템. - 제1항에 있어서, 상기 뇌 인지 부하의 분류는
하나의 레벨로 출력되는 것을 특징으로 하는 뇌 인지 부하 분류 시스템. - 제1항에 있어서, 상기 전처리부는,
획득된 소정 주파수 범위의 진동 형태의 뇌파 신호에서 필터링을 통해 노이즈 성분을 제거하고 신호원 국지화 (source localization)를 통해 단일 소스의 신호로 복구하는 필터모듈;
상기 시계열의 단일 소스의 뇌파 신호를 고속 퓨리에 변환 및 웨이브릿을 사용하여 기 정해진 주파수 범위의 스펙트럼 전력의 밀도를 출력하는 추정모듈;
중심점에서의 비례적으로 보정된 거리에 전극이 있다는 정의에 의해 방위각 등거리 투영법(azimuthal equidistant projection)을 적용하여 3차원 전극을 2차원 이미지로 변환하여 뇌파 신호의 공간 정보를 획득하는 매핑모듈; 및
각 공간 별 해당 전극의 스펙트럼 전력에 대해 3차 스플라인 보간법(Cubic Spline Interpolation)을 이용하여 전극과 전극 사이의 빈 공간의 스펙트럼 전력을 보간하여 스펙트럼 및 공간 정보를 포함하는 3차원 이미지의 입력 데이터를 출력하는 보간모듈을 포함하는 것을 특징으로 하는 뇌 인지 부하 분류 시스템. - 제3항에 있어서, 상기 CNN 수행부는,
소정 수 콘볼루션 계층과 폴링 계층과 완전 연결 계층을 포함하되,
소정 수의 콘볼루션 계층은,
3차원 이미지의 입력 데이터에 대해 지수 선형 단위(Exponential Linear Unit)에 의거 활성화하여 소정 수의 멀티 레벨 특징을 포함하는 레이어를 도출하도록 구비될 수 있고,
폴링 계층은,
소정 수의 레이어의 중 로우 레벨 특징을 나타내는 일부 레이어에 대한 평균 폴링 및 최대 폴링을 적용하여 각 채널 별 평균 및 최대 폴링 특징으로 출력하도록 구비될 수 있고,
상기 완전 연결 계층은,
상기 각 멀티 레벨 특징과 각 분류기의 곱으로 도출된 멀티 레벨 특징의 로지트, 히든 레이어 파라미터, 및 바이어스 파라미터에 대한 활성화 함수를 이용하여 각 멀티 레벨 특징의 중요도를 나타내는 각 가중치를 도출한 다음
상기 도출된 각 가중치와 멀티 레벨 특징의 로지트에 대한 기 정해진 활성화 함수값 및 리스케일링 파라미터의 곱의 합으로 뇌 인지 부하를 추정하고 추정된 뇌 인지 부하를 기 정해진 다수의 분류기 중 하나에 분류하도록 구비되는 것을 특징으로 하는 뇌 인지 부하 분류 시스템. - 제4항에 있어서, 상기 학습부는
각 멀티 레벨 특징의 로지트에 대한 분류 손실 함수로부터 멀티 레벨 특징의 각도 손실을 도출하고,
도출된 각도 손실의 최소화 해로 최적화된 각 멀티 레벨 특징의 각 가중치를 도출하여 3차원 CNN 수행부로 전달하도록 구비되는 것을 특징으로 하는 뇌 인지 부하 분류 시스템. - 제5항에 있어서, 상기 각도 손실의 최소화 해는
각 멀티 레벨 특징의 각도 손실에 대한 특징 벡터의 편미분 방정식인 그래디언트 기법으로 도출하도록 구비되는 것을 특징으로 하는 뇌 인지 부하 분류 시스템. - 적어도 하나의 주어진 각 작업에 대해 뇌파 신호를 적어도 하나를 획득하는 데이터 수집 단계;
상기 데이터 수집부의 뇌파 신호에 대해 스펙트럼 및 공간 정보를 포함하는 2차원 이미지의 입력 데이터로 출력하는 전처리 단계;
상기 전처리부의 입력 데이터에 대해 학습하여 최적화된 리스케일링 파라미터, 가중치, 바이어스 파라미터, 히든 레이어 파라미터, 및 분류기를 출력하는 학습단계; 및
상기 최적화된 리스케일링 파라미터, 가중치, 및 분류기와 상기 전처리부의 스펙트럼 및 공간 정보를 토대로 3차원 컨볼루션 신경망(CNN) 알고리즘을 수행하여 뇌 인지 부하를 다수의 분류기 중 하나에 분류하는 CNN 수행 단계를 포함하는 것을 특징으로 하는 뇌 인지 부하 분류 방법. - 제7항에 있어서, 상기 뇌 인지 부하의 분류는
하나의 레벨로 출력되는 것을 특징으로 하는 뇌 인지 부하 분류 방법. - 제7항에 있어서, 상기 전처리단계는
획득된 소정 주파수 범위의 진동 형태의 뇌파 신호에서 필터링을 통해 노이즈 성분을 제거하고 신호원 국지화 (source localization)를 통해 단일 소스의 신호로 복구하는 단계;
상기 시계열의 단일 소스의 뇌파 신호를 고속 퓨리에 변환 및 웨이브릿을 사용하여 기 정해진 주파수 범위의 스펙트럼 전력의 밀도를 출력하는 단계;
중심점에서의 비례적으로 보정된 거리에 전극이 있다는 정의에 의해 방위각 등거리 투영법(azimuthal equidistant projection)을 적용하여 3차원 전극을 2차원 이미지로 변환하여 뇌파 신호의 공간 정보를 획득하는 단계; 및
각 공간 별 해당 전극의 스펙트럼 전력에 대해 3차 스플라인 보간법(Cubic Spline Interpolation)을 이용하여 전극과 전극 사이의 빈 공간의 스펙트럼 전력을 보간하여 스펙트럼 및 공간 정보를 포함하는 3차원 이미지의 입력 데이터를 출력하는 단계를 포함하는 것을 특징으로 하는 뇌 인지 부하 분류 방법. - 제9항에 있어서, 상기 CNN 수행단계는
소정 수 콘볼루션 계층과 폴링 계층과 완전 연결 계층을 포함하되,
소정 수의 컨볼루션 계층은,
3차원 이미지의 입력 데이터에 대해 지수 선형 단위(Exponential Linear Unit)에 의거 활성화하여 소정 수의 멀티 레벨 특징으로 포함하는 레이어를 도출하도록 구비될 수 있고,
폴링 계층은,
소정 수의 레이어의 중 로우 레벨 특징을 나타내는 일부 레이어에 대한 평균 폴링 및 최대 폴링을 적용하여 각 채널 별 평균 및 최대 폴링 특징으로 출력하도록 구비될 수 있고,
상기 완전 연결 계층은,
상기 각 멀티 레벨 특징과 각 분류기의 곱으로 도출된 멀티 레벨 특징의 로지트, 히든 레이어 파라미터, 및 바이어스 파라미터에 대한 활성화 함수를 이용하여 각 멀티 레벨 특징의 중요도를 나타내는 각 가중치를 도출한 다음
상기 도출된 각 가중치와 멀티 레벨 특징의 로지트에 대한 기 정해진 활성화 함수값 및 리스케일링 파라미터의 곱의 합으로 뇌 인지 부하를 추정하고 추정된 뇌 인지 부하를 기 정해진 다수의 분류기 중 하나에 분류하도록 구비되는 것을 특징으로 하는 뇌 인지 부하 분류 방법. - 제10항에 있어서, 상기 학습 단계는
각 멀티 레벨 특징의 로지트에 대한 분류 손실 함수로부터 멀티 레벨 특징의 각도 손실을 도출하고,
도출된 각도 손실의 최소화 해로 최적화된 각 멀티 레벨 특징의 각 가중치를 도출하여 3차원 CNN 수행단계로 전달하도록 구비되는 것을 특징으로 하는 뇌 인지 부하 분류 방법. - 제11항에 있어서, 상기 각도 손실의 최소화 해는
각 멀티 레벨 특징의 각도 손실에 대한 특징 벡터의 편미분 방정식인 그래디언트 기법으로 도출하도록 구비되는 것을 특징으로 하는 뇌 인지 부하 분류 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190136685A KR102292678B1 (ko) | 2019-10-30 | 2019-10-30 | 뇌 인지 부하 분류 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190136685A KR102292678B1 (ko) | 2019-10-30 | 2019-10-30 | 뇌 인지 부하 분류 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210051419A true KR20210051419A (ko) | 2021-05-10 |
| KR102292678B1 KR102292678B1 (ko) | 2021-08-24 |
Family
ID=75917520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190136685A KR102292678B1 (ko) | 2019-10-30 | 2019-10-30 | 뇌 인지 부하 분류 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102292678B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113627377A (zh) * | 2021-08-18 | 2021-11-09 | 福州大学 | 基于Attention-Based CNN的认知无线电频谱感知方法及系统 |
| CN114176607A (zh) * | 2021-12-27 | 2022-03-15 | 杭州电子科技大学 | 一种基于视觉Transformer的脑电信号分类方法 |
| CN117033638A (zh) * | 2023-08-23 | 2023-11-10 | 南京信息工程大学 | 一种基于脑电eeg认知对齐知识图谱的文本情感分类方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240002504A (ko) * | 2022-06-29 | 2024-01-05 | 주식회사 뉴로그린 | Eeg 신호 전처리 장치 및 방법 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200129505A (ko) | 2019-05-09 | 2020-11-18 | (주)해피마인드 | 뇌과학 기반 학습 기억 방법 및 시스템 그리고 기록 매체 |
-
2019
- 2019-10-30 KR KR1020190136685A patent/KR102292678B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200129505A (ko) | 2019-05-09 | 2020-11-18 | (주)해피마인드 | 뇌과학 기반 학습 기억 방법 및 시스템 그리고 기록 매체 |
Non-Patent Citations (3)
| Title |
|---|
| Amor N, etc., EEG Dynamic Source Localization using Constrained Particle Filtering. IEEE Symposium Series on Computational Intelligence. 2016, pp1-8 1부.* * |
| Bashivan P, etc., Learning Representations from EEG with Deep Recurrent-Convolutional Neural Networks. ICLR Conference. 2016, pp1-15 1부.* * |
| Zhang P, etc., Learning Spatial-Spectral-Temporal EEG Features With Recurrent 3D Convolutional Neural Networks. IEEE Trans. on Neural Sys. and Rehab. Engineering. Jan. 2019, Vol. 27, No. 1, pp31-42 1부* * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113627377A (zh) * | 2021-08-18 | 2021-11-09 | 福州大学 | 基于Attention-Based CNN的认知无线电频谱感知方法及系统 |
| CN114176607A (zh) * | 2021-12-27 | 2022-03-15 | 杭州电子科技大学 | 一种基于视觉Transformer的脑电信号分类方法 |
| CN114176607B (zh) * | 2021-12-27 | 2024-04-19 | 杭州电子科技大学 | 一种基于视觉Transformer的脑电信号分类方法 |
| CN117033638A (zh) * | 2023-08-23 | 2023-11-10 | 南京信息工程大学 | 一种基于脑电eeg认知对齐知识图谱的文本情感分类方法 |
| CN117033638B (zh) * | 2023-08-23 | 2024-04-02 | 南京信息工程大学 | 一种基于脑电eeg认知对齐知识图谱的文本情感分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102292678B1 (ko) | 2021-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102292678B1 (ko) | 뇌 인지 부하 분류 시스템 및 방법 | |
| Barachant et al. | Riemannian geometry applied to BCI classification | |
| Übeyli | Analysis of EEG signals by implementing eigenvector methods/recurrent neural networks | |
| KR20190128978A (ko) | 인간 감정 인식을 위한 딥 생리적 정서 네트워크를 이용한 인간 감정 추정 방법 및 그 시스템 | |
| Shoka et al. | An efficient CNN based epileptic seizures detection framework using encrypted EEG signals for secure telemedicine applications | |
| Saadati et al. | Mental workload classification from spatial representation of fnirs recordings using convolutional neural networks | |
| Clarke et al. | Oscillatory dynamics of perceptual to conceptual transformations in the ventral visual pathway | |
| Harada et al. | Biosignal generation and latent variable analysis with recurrent generative adversarial networks | |
| KR20190033972A (ko) | 심층신경망을 이용한 자동 뇌파 잡음 제거 방법 및 장치 | |
| KR20190073330A (ko) | 심층신경망을 이용한 자동 뇌파 잡음 제거 방법 및 장치 | |
| Abbas et al. | Hypo-driver: a multiview driver fatigue and distraction level detection system | |
| Reddy et al. | Multiclass fuzzy time-delay common spatio-spectral patterns with fuzzy information theoretic optimization for EEG-based regression problems in brain–computer interface (BCI) | |
| Yu et al. | Motor imagery EEG classification algorithm based on improved lightweight feature fusion network | |
| KR102357000B1 (ko) | 인공 신경망 기반의 비정제 동영상에서의 행동 인식 방법 및 장치 | |
| Reddy et al. | Driver drowsiness detection: An approach based on intelligent brain–computer interfaces | |
| Gannouni et al. | Electroencephalography based emotion detection using ensemble classification and asymmetric brain activity | |
| Asghar et al. | Semi-skipping layered gated unit and efficient network: hybrid deep feature selection method for edge computing in EEG-based emotion classification | |
| CN114578967A (zh) | 一种基于脑电信号的情感识别方法及系统 | |
| Al-dabag et al. | EEG motor movement classification based on cross-correlation with effective channel | |
| Guermoui et al. | Heart sounds analysis using wavelets responses and support vector machines | |
| JP2020004360A (ja) | 多変数データシーケンスの画像化 | |
| CN115721323A (zh) | 一种脑机接口信号识别方法、系统及电子设备 | |
| Mao et al. | Design of deep convolutional networks for prediction of image rapid serial visual presentation events | |
| Fiedler et al. | Deep face segmentation for improved heart and respiratory rate estimation from videos | |
| Gareis et al. | Coherent averaging estimation autoencoders applied to evoked potentials processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |