KR102174232B1 - 생체신호 클래스 분류 장치 및 그 방법 - Google Patents

생체신호 클래스 분류 장치 및 그 방법 Download PDF

Info

Publication number
KR102174232B1
KR102174232B1 KR1020180092917A KR20180092917A KR102174232B1 KR 102174232 B1 KR102174232 B1 KR 102174232B1 KR 1020180092917 A KR1020180092917 A KR 1020180092917A KR 20180092917 A KR20180092917 A KR 20180092917A KR 102174232 B1 KR102174232 B1 KR 102174232B1
Authority
KR
South Korea
Prior art keywords
feature vector
biosignal
class
extracted
signal
Prior art date
Application number
KR1020180092917A
Other languages
English (en)
Other versions
KR20200017709A (ko
Inventor
변혜란
황선희
홍기범
홍종광
김호성
기민송
홍용원
김태형
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020180092917A priority Critical patent/KR102174232B1/ko
Publication of KR20200017709A publication Critical patent/KR20200017709A/ko
Application granted granted Critical
Publication of KR102174232B1 publication Critical patent/KR102174232B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Computation (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)

Abstract

생체신호 클래스 분류 장치 및 그 방법이 개시된다. 본 발명은 복수 개의 채널로부터 미리 설정된 클래스에 속하는 자극에 반응한 제1 생체신호를 수신하고, 수신된 제1 생체신호로부터 미리 설정된 클래스의 정보를 포함하는 제1 생체신호 특징 벡터를 추출하며, 추출된 제1 생체신호 특징 벡터와 동일한 특징 벡터를 생성하도록 학습하여 생성된 특징 벡터 생성 모델을 이용하여 임의의 자극에 반응한 생체신의 클래스를 분류하므로 위험한 상황과 같이 생체신호 데이터 수집이 어려워 미리 학습할 수 없는 상황에서도 학습되지 않은 임의의 자극에 대해 반응한 생체신호의 클래스를 분류할 수 있다.

Description

생체신호 클래스 분류 장치 및 그 방법{BIO-SIGNAL CLASS CLASSIFICATION APPARATUS AND METHOD THEREOF}
본 발명은 딥러닝 기법을 이용하여 임의의 자극에 반응한 생체신호의 클래스를 분류하는 장치 및 그 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
생체신호는 인체에서 측정하여 인체에 대한 에너지나 정보를 보유하고 있는 전기적인 신호를 나타내며, 생체신호의 종류로는 근전도, 뇌파 및 음성신호 등을 포함한다.
뇌파는 신경계에서 뇌신경 사이에 신호가 전달될 때 생기는 전기의 흐름으로 심신의 상태에 따라 다르게 나타난다. 이러한 뇌의 활동 상태를 측정하여 사람의 감정을 파악할 수 있다.
일반적으로, 뇌파 분류에 관한 연구는 데이터의 부족으로 연구에 어려움이 존재하며, 생명에 위협을 가하는 위험한 상황이나 정신적으로 충격을 받을 수 있는 상황에서 실질적으로 뇌파 데이터를 수집할 수 없는 어려움이 있다.
종래에는 기계 학습을 이용해서 미리 학습된 데이터의 클래스를 분류하였다.
기계 학습은 학습 방식에 따라 지도 학습(Supervised Learning), 준지도 학습(Semi-supervised Learning), 비지도 학습(Unsupervised Learning, 자율학습), 강화 학습(Reinforcement Learning)으로 분류된다.
지도 학습은 미리 구축된 학습용 데이터(Training Data)를 활용하여 모델을 학습하며, 준지도 학습은 학습용 데이터와 정리되지 않은 데이터를 모두 훈련에 사용하는 방법이다. 비지도 학습은 별도의 학습용 데이터를 구축하는 것이 아니라 데이터 자체를 분석하거나 군집(Clustering)하면서 학습한다. 강화 학습은 학습 수행 결과에 대해 적절한 보상을 주면서 피드백을 통해 학습한다.
하지만, 기존에 기계 학습을 이용하여 생체신호를 분류하기 위해서는 분류기의 학습이 필요하며, 학습되지 않은 분류기를 이용하여 임의의 자극에 대해서 반응한 생체신호를 분류하는 것은 현실적으로 어려운 문제점이 있다.
따라서, 실질적으로 미리 학습할 수 없는 자극에 대해 반응하는 생체신호의 클래스를 분류할 수 있는 기술의 필요성이 대두되고 있다.
국제공개공보 WO2016/093048(2016.06.16.)
본 발명은 생체신호 데이터의 수집이 어려운 상황에서 학습되지 않은 임의의 자극에 대해 반응한 생체신호의 클래스를 분류하도록 미리 설정된 클래스에 속하는 자극에 반응한 생체신호를 수신하고, 수신된 생체신호로부터 미리 설정된 클래스의 정보를 포함하는 생체신호 특징 벡터를 추출하여, 추출된 생체신호 특징 벡터와 동일한 특징 벡터를 생성하도록 학습된 특징 벡터 생성 모델을 이용하여 임의의 자극에 반응한 생체신호의 클래스를 분류하는 생체신호 클래스 분류 장치 및 그 방법을 제공함에 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 컴퓨팅 디바이스에 의한 임의의 자극에 대해 반응한 생체신호의 클래스 분류 방법은 복수 개의 채널들로부터 미리 설정된 클래스에 속하는 자극에 반응한 제1 생체신호를 수신하는 단계; 상기 수신한 제1 생체신호로부터 상기 미리 설정된 클래스의 정보를 포함하는 제1 생체신호 특징 벡터를 추출하는 단계; 및 상기 추출된 제1 생체신호 특징 벡터와 동일한 특징 벡터를 생성하도록 학습하여 생성한 특징 벡터 생성 모델을 이용하여 상기 임의의 자극에 반응한 생체신호의 클래스를 분류하는 단계;를 포함할 수 있다.
바람직하게, 상기 임의의 자극에 반응한 생체신호의 클래스를 분류하는 단계는 상기 미리 설정된 클래스에 대응하는 워드벡터를 이용하여 상기 특징 벡터 생성 모델을 기반으로 제1 특징 벡터를 생성하는 단계; 및 상기 생성된 제1 특징 벡터가 상기 추출된 제1 생체신호 특징 벡터와 동일하도록 상기 특징 벡터 생성 모델을 학습하는 단계;를 포함할 수 있다.
바람직하게, 상기 임의의 자극에 반응한 생체신호의 클래스를 분류하는 단계는 특징 벡터 판별 모델을 기반으로 상기 추출된 제1 생체신호 특징 벡터 또는 상기 생성된 제1 특징 벡터를 입력 받아 상기 입력 받은 특징 벡터가 상기 추출된 제1 생체신호 특징 벡터인지 판별하는 단계;를 더 포함하고, 상기 특징 벡터 생성 모델을 학습하는 단계는 상기 판별된 결과를 이용하여 상기 특징 벡터 생성 모델을 학습할 수 있다.
바람직하게, 상기 임의의 자극에 반응한 생체신호의 클래스를 분류하는 단계는 상기 특징 벡터 판별 모델이 상기 추출된 제1 생체신호 특징 벡터를 입력 받으면 상기 입력 받은 제1 생체신호 특징 벡터를 상기 추출된 제1 생체신호 특징 벡터라고 판별하는 확률이 증가되도록, 상기 제1 특징 벡터를 입력 받으면 상기 입력 받은 제1 특징 벡터를 상기 추출된 제1 생체신호 특징 벡터라고 판별하는 확률이 감소되도록 상기 특징 벡터 판별 모델을 학습하는 단계;를 더 포함하고, 상기 특징 벡터 생성 모델을 학습하는 단계는 상기 제1 특징 벡터가 상기 제1 생체신호 특징 벡터와 동일하도록 상기 특징 벡터 생성 모델을 상기 특징 벡터 판별 모델과 적대적으로 학습할 수 있다.
바람직하게, 상기 특징 벡터 생성 모델을 학습하는 단계는 상기 특징 벡터 판별 모델이 상기 생성된 제1 특징 벡터를 입력 받아 상기 입력 받은 제1 특징 벡터를 상기 추출된 제1 생체신호 특징 벡터로 판별하는 확률이 증가되도록 상기 특징 벡터 생성 모델을 학습할 수 있다.
바람직하게, 상기 제1 생체신호 특징 벡터를 추출하는 단계는 상기 수신한 제1 생체신호를 상기 미리 설정된 클래스로 분류하도록 학습하여 생성한 생체신호 특징 벡터 추출 모델을 기반으로 상기 미리 설정된 클래스 정보를 포함하는 상기 제1 생체신호 특징 벡터를 추출할 수 있다.
바람직하게, 상기 복수 개의 채널들로부터 상기 임의의 자극에 반응한 생체신호를 수신하는 단계; 및 상기 학습된 특징 벡터 추출 모델을 기반으로 상기 수신한 임의의 자극에 반응한 생체신호로부터 제2 생체신호 특징 벡터를 추출하는 단계;를 더 포함하고, 상기 임의의 자극에 반응한 생체신호의 클래스를 분류하는 단계는 상기 임의의 자극이 속하는 클래스를 포함하는 복수 개의 클래스들에 각각 대응하는 워드벡터들을 이용하여 상기 학습된 특징 벡터 생성 모델을 기반으로 복수 개의 특징 벡터들을 생성하는 단계; 및 상기 생성된 복수 개의 특징 벡터들 각각과 상기 제2 생체신호 특징 벡터를 비교하여 상기 임의의 자극에 반응한 생체신호의 클래스를 결정하는 단계;를 더 포함할 수 있다.
바람직하게, 상기 임의의 자극에 반응한 생체신호의 클래스를 결정하는 단계는 상기 제2 생체신호 특징 벡터와 상기 생성된 복수 개의 특징 벡터들 각각의 차이를 측정하고, 상기 측정된 차이들 중 상기 제2 생체신호 특징 벡터와 가장 작은 차이를 가지는 제2 특징 벡터를 상기 생성된 복수 개의 특징 벡터들로부터 획득하여 상기 임의의 자극에 반응한 생체신호를 상기 획득된 제2 특징 벡터의 클래스로 결정하여 상기 임의의 자극에 반응한 생체신호를 상기 결정된 클래스로 분류할 수 있다.
바람직하게, 상기 생체신호 특징 벡터 추출 모델은 장단기 메모리(Long Short Term Memory, LSTM)구조의 순환신경망(Recurrent Neural Network, RNN)을 기반으로 상기 수신한 제1 생체신호를 인코딩하여 상기 제1 생체신호 특징 벡터를 추출할 수 있다.
바람직하게, 상기 제1 특징 벡터를 생성하는 단계는 상기 미리 설정된 클래스에 대응하는 워드벡터 및 상기 워드벡터의 차원수보다 적은 차원수를 가지는 랜덤 노이즈를 이용하여 상기 특징 벡터 생성 모델을 기반으로 상기 제1 특징 벡터를 생성할 수 있다.
바람직하게, 상기 특징 벡터 생성 모델을 학습하는 단계는 상기 추출된 제1 생체신호 특징 벡터와 상기 생성된 제1 특징 벡터의 차이를 감소시키는 방향으로 상기 특징 벡터 생성 모델을 학습할 수 있다.
바람직하게, 상기 생체신호를 수신하는 단계는 멀티미디어를 시청하는 피검사체의 신체의 일부에 상기 복수의 채널을 부착시키고, 뇌전도(Electroencephalography, EEG) 신호를 측정할 수 있다.
바람직하게, 상기 수신한 제1 생체신호의 아티팩트를 제거하여 전처리하는 단계;를 더 포함할 수 있다.
바람직하게, 상기 전처리하는 단계는 다변량의 신호를 통계적으로 독립적인 성분으로 분리하는 독립 성분 북석(Independent Component Analysis, ICA) 방식을 이용하여 상기 제1 생체신호의 성분들을 선택적으로 분리할 수 있다.
상술한 목적을 달성하기 위한 본 발명의 또 다른 일 실시 예에 따른 생체신호 클래스 분류 장치는 복수 개의 채널들로부터 미리 설정된 클래스에 속하는 자극에 반응한 제1 생체신호를 수신하는 생체신호 수신부; 상기 수신한 제1 생체신호로부터 상기 미리 설정된 클래스의 정보를 포함하는 제1 생체신호 특징 벡터를 추출하는 생체신호 특징 벡터 추출부; 및 상기 추출된 제1 생체신호 특징 벡터와 동일한 특징 벡터를 생성하도록 학습하여 생성한 특징 벡터 생성 모델을 이용하여 임의의 자극에 반응한 생체신호의 클래스를 분류하는 생체신호 클래스 분류부;를 포함할 수 있다.
바람직하게, 상기 생체신호 클래스 분류부는 상기 미리 설정된 클래스에 대응하는 워드벡터를 이용하여 상기 특징 벡터 생성 모델을 기반으로 제1 특징 벡터를 생성하는 특징 벡터 생성부;를 포함하며, 상기 특징 벡터 생성부는 상기 생성된 제1 특징 벡터가 상기 추출된 제1 생체신호 특징 벡터와 동일하도록 상기 특징 벡터 생성 모델을 학습할 수 있다.
바람직하게, 상기 생체신호 클래스 분류부는 특징 벡터 판별 모델을 기반으로 상기 추출된 제1 생체신호 특징 벡터 또는 상기 생성된 제1 특징 벡터를 입력 받아 상기 입력 받은 특징 벡터가 상기 추출된 제1 생체신호 특징 벡터인지 판별하는 특징 벡터 판별부;를 더 포함하고, 상기 특징 벡터 판별부는 상기 추출된 제1 생체신호 특징 벡터를 입력 받으면 상기 입력 받은 제1 생체신호 특징 벡터를 상기 추출된 제1 생체신호 특징 벡터라고 판별하는 확률이 증가되도록 상기 특징 벡터 판별 모델을 학습하고, 상기 제1 특징 벡터를 입력 받으면 상기 입력 받은 제1 특징 벡터를 상기 추출된 제1 생체신호 특징 벡터라고 판별하는 확률이 감소되도록 상기 특징 벡터 판별 모델을 학습하며, 상기 특징 벡터 생성부는 상기 제1 특징 벡터가 상기 제1 생체신호 특징 벡터와 동일하도록 상기 특징 벡터 생성 모델을 상기 특징 벡터 판별 모델과 적대적으로 학습할 수 있다.
상술한 목적을 달성하기 위한 본 발명의 또 다른 일 실시 예에 따른 프로세서에 의해 실행 가능한 컴퓨터 프로그램 명령어들을 포함하는 비일시적(Non-Transitory) 컴퓨터 판독 가능한 매체에 기록되어 생체신호 클래스 분류를 위한 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램 명령어들이 컴퓨팅 디바이스의 프로세서에 의해 실행되는 경우에, 복수 개의 채널들로부터 미리 설정된 클래스에 속하는 자극에 반응한 제1 생체신호를 수신하는 단계; 상기 수신한 제1 생체신호로부터 상기 미리 설정된 클래스의 정보를 포함하는 제1 생체신호 특징 벡터를 추출하는 단계; 및 상기 추출된 제1 생체신호 특징 벡터와 동일한 특징 벡터를 생성하도록 학습하여 생성한 특징 벡터 생성 모델을 이용하여 상기 임의의 자극에 반응한 생체신호의 클래스를 분류하는 단계;를 포함한 동작들을 수행하는 컴퓨터 프로그램을 제공할 수 있다.
본 발명의 일 실시 예에 따르면 생체신호 데이터가 부족한 상황 또는 실제로 생체신호 데이터를 측정할 수 없는 상황에서도 미리 학습되지 않은 임의의 자극에 대해 반응한 생체신호에 대해서도 클래스 분류가 가능하다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 생체신호 클래스 분류 장치의 구성을 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 생체신호 클래스 분류 장치의 구성을 구체적으로 도시한 블록도이다.
도 3a는 본 발명의 일 실시 예에 따른 특징 벡터 생성 모델을 학습하는 방법을 설명하기 위한 도면을 나타낸 것이다.
도 3b는 본 발명의 일 실시 예에 따른 임의의 자극에 반응한 생체신호의 클래스를 결정하는 방법을 설명하기 위한 도면을 나타낸 것이다.
도 4는 본 발명의 또 다른 일 실시 예에 따른 생체신호 클래스 분류 장치의 구성을 개략적으로 도시한 블록도이다.
도 5는 본 발명의 일 실시 예에 따른 생체신호 클래스 분류 방법을 설명하기 위한 흐름도를 나타낸 것이다.
도 6은 본 발명의 또 다른 일 실시 예에 따른 생체신호 클래스 분류 방법을 구체적으로 설명하기 위한 흐름도를 나타낸 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 “학습”, “러닝” 등의 용어는 인간의 교육 활동과 같은 정신적 작용을 지칭하도록 의도된 것이 아닌 절차에 따른 컴퓨팅(computing)을 통하여 기계 학습(machine learning)을 수행함을 일컫는 용어로 해석한다.
본 명세서에서 "제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 명세서에서 각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 명세서에서, “가진다”, “가질 수 있다”, “포함한다” 또는 “포함할 수 있다”등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
도 1은 본 발명의 일 실시 예에 따른 생체신호 클래스 분류 장치의 구성을 개략적으로 도시한 블록도이다.
도 1을 참조하면, 생체신호 클래스 분류 장치(10)는 생체신호 수신부(100), 생체신호 특징 벡터 추출부(200) 및 생체신호 클래스 분류부(300)를 포함한다. 생체신호 클래스 분류 장치(10)는 도 1에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.
생체신호 클래스 분류 장치(10)는 복수 개의 자극들에 대해 반응하여 시간에 따라 복수 개의 채널로부터 수신한 생체신호로부터 상술한 복수 개의 자극들의 공통된 특징에 해당하는 클래스 정보를 포함하는 생체신호 특징 벡터를 추출하고, 추출된 생체신호 특징 벡터를 딥러닝 기반으로 학습하여 임의의 자극에 반응한 생체신호의 클래스를 분류한다. 생체신호로는 시간에 따른 채널별 뇌파 신호를 이용할 수 있으며, 뇌파 모니터링 기술은 치료뿐만 아니라 자동차, 국방, 교육, 오락 등 다양한 분야에 적용될 수 있다.
본 발명의 일 실시 예에 따른 생체신호 수신부(100)는 복수 개의 채널들로부터 미리 설정된 클래스에 속하는 자극에 반응한 제1 생체신호를 수신할 수 있다.
구체적으로, 본 발명의 일 실시 예에 따른 생체신호는 뇌파일 수 있으며, 상술한 생체신호 수신부(100)는 복수의 채널로부터 뇌파를 수신할 수 있다. 생체신호 수신부(100)는 멀티미디어를 시청하는 피검사체의 신체의 일부에 복수의 채널을 부착시키고, 뇌 전도(Electroencephalography, EEG) 신호를 측정한다. 뇌 전도는 뇌 신경 사이의 신호가 전달될 때 생기는 전기의 흐름으로, 뇌 신경 세포의 전기적 활동을 두뇌의 표면에서 측정한 매우 작은 신호를 나타낸다. 뇌 전도는 사용자에게 자극을 주고 감정이 유도된 상태에서 뇌 피질 표면에서 발생하는 신경 세포들의 동기화된 활동으로 인해 발생하는 생체 내부의 전류 흐름을 전극(electrode)을 이용하여 일정 시간 측정하는 것으로, 두피의 피부에 부착하거나 수술적으로 두개강 내에 뇌 전도 전극을 삽입하여 측정할 수 있다. 전위 변화가 파동 형태로 표시되며, 파동의 진폭과 주파수를 분석하여 뇌의 활동 정도를 파악할 수 있다.
본 발명의 일 실시 예에 따른 클래스는 복수 개의 자극들이 가지는 공통적인 특징에 따라 분류될 수 있는 카테고리로서 복수 개 존재할 수 있다. 예를 들면, 복수 개의 자극들은 색깔 또는 종류 등이 다르지만 공통적인 특징에 해당하는 클래스가 강아지에 해당하는 이미지들일 수 있으며, 본 발명의 일 실시 예에 따른 생체신호 클래스 분류 장치(10)는 피검사체로부터 여러 종류의 강아지 이미지들을 시청하면서 반응한 뇌 전도를 수신하여, 수신한 뇌 전도의 클래스를 강아지로 분류할 수 있다. 또는, 복수 개의 자극들은 숫자를 촬영한 이미지일 수 있고, 이 경우 클래스는 각각의 숫자일 수 있다. 단, 상술한 예시는 본 발명의 일 실시 예를 설명하기 위한 예시일 뿐 이에 한정되는 것은 아니며, 이미지에 해당하는 객체를 분류하는 것 외에도 감정 상태 또한 분류할 수 있으며, 뇌파 이외에도 음성신호 등과 같은 생체신호를 이용할 수 있으나 이에 한정되는 것은 아니다.
본 발명의 또 다른 일 실시 예에 따른 생체신호 클래스 분류 장치(10)는 전처리부(도면에 미도시)를 더 포함할 수 있다. 전처리부는 생체신호 수신부(100)에서 수신한 생체신호의 아티팩트를 제거하여 전처리할 수 있다. 구체적으로, 전처리부는 생체신호 수신부(100)에서 뇌파를 수신할 경우 아티팩트를 제거하기 위해 주파수 대역에 따라 고역 통과 필터, 저역 통과 필터, 대역 통과 필터, 정합 필터, 또는 이들의 조합을 이용하여 뇌파 성분을 필터링할 수 있다. 전처리부는 신호를 증폭한 후 필터링 할 수도 있다. 또한, 전처리부는 다변량의 신호를 통계적으로 독립적인 성분으로 분리하는 독립 성분 분석(Independent Component Analysis, ICA) 방식을 이용하여 생체신호 수신부(100)에서 수신된 생체신호의 성분들을 선택적으로 분리할 수 있다. 전처리부(220)는 연속적으로 수신된 생체신호에 독립 성분 분석 방식을 이용하여 아티팩트를 제거할 수 있다.
본 발명의 일 실시 예에 따른 생체신호 특징 벡터 추출부(200)는 생체신호 수신부(100)에서 수신한 제1 생체신호로부터 미리 설정된 클래스의 정보를 포함하는 제1 생체신호 특징 벡터를 추출할 수 있다. 구체적으로, 본 발명의 일 실시 예에 따른 생체신호 특징 벡터 추출부(200)는 생체신호 수신부(100)에서 복수 개의 채널로부터 수신한 제1 생체신호를 미리 설정된 클래스 정보를 포함하며 복수 개의 채널의 개수와 대응하는 차원수에 해당하는 제1 생체신호 특징 벡터를 추출할 수 있다. 예를 들어, m개의 채널(m은 자연수)로부터 제1 생체신호를 수신하였다면, 생체신호 특징 벡터 추출부(200)는 m 차원의 제1 생체신호 특징 벡터를 추출할 수 있다.
본 발명의 일 실시 예에 따른 생체신호 특징 벡터 추출부(200)는 생체신호 수신부(100)에서 수신한 제1 생체신호를 미리 설정된 클래스로 분류하도록 학습하여 생성한 생체신호 특징 벡터 추출 모델을 기반으로 미리 설정된 클래스 정보를 포함하는 제1 생체신호 특징 벡터를 추출할 수 있다.
또한, 본 발명의 또 다른 일 실시 예에 따른 생체신호 특징 벡터 추출부(200)는 아티팩트가 제거된 뇌파를 대상으로 고속 퓨리에 변환(Fast Fourier Transform, FFT)을 수행하여, FFT 변환된 뇌파를 복수의 주파수 대역으로 분류할 수 있고, 잡음 대역에 해당하는 주파수 대역을 제거한 후 파워 스펙트럼(power spectrum) 분석을 통해 생체신호 특징 벡터를 추출할 수 있다. 상술한 복수의 주파수 대역은 알파파(Alpha wave), 베타파(Beta wave), 감마파(Gamma wave), 세타파(Theta wave) 및 델타파(Delta wave)를 포함할 수 있으며, 일반적으로 델타파는 다양한 잡음을 포함한 주파수 대역에 해당할 수 있다. 단, 상술한 예시는 본 발명의 일 실시 예를 설명하기 위한 예시일 뿐 이에 한정되는 것은 아니다.
본 발명의 일 실시 예에 따른 생체신호 클래스 분류부(300)는 생체신호 특징 벡터 추출부(200)에서 추출된 제1 생체신호 특징 벡터와 동일한 특징 벡터를 생성하도록 학습하여 생성한 특징 벡터 생성 모델을 이용하여 임의의 자극에 반응한 생체신호의 클래스를 분류할 수 있다. 구체적으로, 생체신호 클래스 분류부(300)는 생체신호 특징 벡터 추출부(200)에서 추출된 m 차원의 제1 생체신호 특징 벡터와 동일한 m 차원의 특징 벡터를 생성하도록 학습하여 생성한 특징 벡터 생성 모델을 이용하여 임의의 자극에 반응한 생체신호의 클래스를 분류할 수 있다. 생체신호 클래스 분류부(300)에 관해서는 후술하는 도 2를 참조하여 구체적으로 설명하도록 한다.
도 2는 본 발명의 일 실시 예에 따른 생체신호 클래스 분류 장치의 구성을 구체적으로 도시한 블록도이다.
도 2를 참조하면, 생체신호 클래스 분류 장치(10)는 생체신호 수신부(100), 생체신호 특징 벡터 추출부(200) 및 생체신호 클래스 분류부(300)를 포함하고, 생체신호 클래스 분류부(300)는 특징 벡터 생성부(310), 특징 벡터 판별부(320) 및 생체신호 클래스 결정부(330)를 포함할 수 있다. 생체신호 클래스 분류 장치(10)는 도 2에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.
본 발명의 일 실시 예에 따른 생체신호 수신부(100)는 복수 개의 채널들로부터 미리 설정된 클래스에 속하는 자극에 반응한 제1 생체신호를 수신할 수 있고, 또한 복수 개의 채널들로부터 임의의 자극에 반응한 생체신호를 수신할 수 있다. 상술한 생체신호 수신부(100)는 멀티미디어를 시청하는 피검사체의 신체의 일부에 복수의 채널을 부착시켜 측정한 뇌전도(EEG) 신호를 수신할 수 있다.
본 발명의 일 실시 예에 따른 생체신호 특징 벡터 추출부(200)는 생체신호 수신부(100)에서 수신한 제1 생체신호로부터 미리 설정된 클래스의 정보를 포함하는 제1 생체신호 특징 벡터를 추출할 수 있다.
구체적으로, 본 발명의 일 실시 예에 따른 생체신호 특징 벡터 추출부(200)는 생체신호 수신부(100)에서 수신한 제1 생체신호를 미리 설정된 클래스로 분류하도록 학습하여 생성한 생체신호 특징 벡터 추출 모델(201)을 기반으로 미리 설정된 클래스 정보를 포함하는 제1 생체신호 특징 벡터를 추출할 수 있다.
본 발명의 일 실시 예에 따른 복수 개의 채널은 128개의 채널일 수 있고, 이에 따라 생체신호 특징 벡터 추출부(200)에서 추출된 제1 생체신호 특징 벡터는 128차원에 해당하는 벡터일 수 있다. 본 명세서에서는 복수 개의 채널을 128개의 채널로 예를 들어 설명하도록 하지만, 상술한 예시는 본 발명의 일 실시 예를 설명하기 위한 예시일 뿐 이에 한정되는 것은 아니다.
상술한 생체신호 특징 벡터 추출 모델(201)은 장단기 메모리(Long Short Term Memory, LSTM)구조의 순환신경망(Recurrent Neural Network, RNN)을 기반으로 생체신호 수신부(100)에서 수신한 제1 생체신호를 인코딩하여 제1 생체신호 특징 벡터를 추출할 수 있다. 이에 대한 구체적인 설명은 도 4에서 후술하도록 한다.
본 발명의 일 실시 예에 따른 특징 벡터 생성부(310)는 미리 설정된 클래스에 대응하는 워드벡터를 이용하여 특징 벡터 생성 모델(311)을 기반으로 제1 특징 벡터를 생성할 수 있고, 생성된 제1 특징 벡터가 생체신호 특징 벡터 추출부(200)에서 추출된 제1 생체신호 특징 벡터와 동일하도록 특징 벡터 생성 모델(311)을 학습할 수 있다.
본 발명의 일 실시 예에 따른 워드벡터는 딥러닝 기법이 자연어 처리 영역에 적용되는 경우 사용되는 벡터 모델을 나타낼 수 있다. 벡터 공간에서 복수 개의 클래스들이 포함된 차원의 워드벡터는 미리 설정된 클래스를 나타내는 차원의 값만 ‘1’이고, 나머지 차원들의 값이 ‘0’인 희소(sparse) 벡터로서 표현될 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 실시 예에 따라 생체신호 수신부(100)에서 128개의 채널로부터 미리 설정된 클래스에 속하는 자극에 반응한 생체신호를 수신하는 경우 생체신호 특징 벡터 추출부(200)는 128 차원의 제1 생체신호 특징 벡터를 추출할 수 있고, 이에 따라 특징 벡터 생성부(310)는 미리 설정된 클래스에 대응하는 워드벡터를 이용하여 특징 벡터 생성 모델(311)을 기반으로 128 차원의 제1 특징 벡터를 생성할 수 있다. 단, 상술한 예시는 본 발명의 일 실시 예를 설명하기 위한 예시일 뿐 복수 개의 채널은 256 채널일 수도 있으나 이에 한정되는 것은 아니며 다양한 채널에 해당할 수 있으며 이에 따라 다양한 차원의 특징 벡터가 생성될 수 있다.
본 발명의 일 실시 예에 따른 특징 벡터 생성 모델(311)은 생성된 제1 특징 벡터를 특징 벡터 판별부(320)에 포함된 특징 벡터 판별 모델(321)로 전달할 수 있다.
본 발명의 일 실시 예에 따른 특징 벡터 생성부(310)는 미리 설정된 클래스에 대응하는 워드벡터 및 랜덤 노이즈를 이용하여 특징 벡터 생성 모델(311)을 기반으로 제1 특징 벡터를 생성할 수 있다. 상술한 랜덤 노이즈는 워드벡터의 차원수 보다 적은 차원수를 가질 수 있다. 예를 들어, 상술한 워드벡터의 차원수가 128차원인 경우 랜덤 노이즈는 100차원일 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 실시 예에 따른 특징 벡터 생성부(310)가 상술한 특징 벡터 생성 모델(311)을 학습하는 것은 생성된 제1 특징 벡터와 생체신호 특징 벡터 추출부(200)에서 추출된 제1 생체신호 특징 벡터와의 차이를 감소시키는 방향으로 특징 벡터 생성 모델(311)을 학습할 수 있다.
구체적으로, 특징 벡터 생성부(310)는 하기의 수학식 1과 같이 제1 특징 벡터와 제1 생체신호 특징 벡터와의 차이를 평균 제곱 오차(mean square error, MSE)로 나타내어 평균 제곱 오차의 값을 감소시키는 방향으로 특징 벡터 생성 모델(311)을 학습할 수 있다.
Figure 112018078720423-pat00001
상술한 수학식 1에서 i는 차원을, m은 특징 벡터의 차원수를, xi는 생체신호 특징 벡터를, s는 워드벡터를, n은 랜덤 노이즈를, G(s,n)은 특징 벡터를 나타낸다.
예를 들어, 본 발명의 일 실시 예에 따라 128차원의 제1 생체신호 특징 벡터와 128 차원의 제1 특징 벡터의 평균 제곱 오차의 값을 계산하는 경우, m은 128에, xi는 제1 생체신호 특징 벡터에, G(s,n)은 제1 특징 벡터에 해당하며, 각 차원의 제1 생체신호 특징 벡터와 제1 특징 벡터의 오차를 제곱하여 각 차원마다 제곱된 오차를 합한 후 전체 차원의 수에 해당하는 m인 128로 나눈 값에 해당하는 평균 제곱 오차의 값이 최소가 되는 방향으로 특징 벡터 생성부(310)는 특징 벡터 생성 모델(311)을 학습할 수 있다.
상술한 특징 벡터 생성 모델(311)을 학습하는 방법에 대해서는 도 3a를 함께 참조하여 설명하도록 한다.
도 3a는 본 발명의 일 실시 예에 따른 특징 벡터 생성 모델을 학습하는 방법을 설명하기 위한 도면을 나타낸 것이다.
도 3a를 참조하면, 본 발명의 일 실시 예에 따른 생체신호 수신부(100)는 미리 설정된 제1-1 내지 제1-3 자극(312a 내지 312c)에 반응한 제1-1 내지 제1-3 생체신호를 수신할 수 있고, 생체신호 특징 벡터 추출부(200)는 생체신호 수신부(100)에서 수신한 제1-1 내지 제1-3 생체신호로부터 미리 설정된 제1-1 내지 제1-3 자극(312a 내지 312c)이 각각 속하는 복수 개의 클래스들의 정보를 각각 포함하는 제1-1 내지 제1-3 생체신호 특징 벡터들(211-1 내지 211-3)을 추출할 수 있다.
본 발명의 일 실시 예에 따른 특징 벡터 생성부(310)는 미리 설정된 제1-1 내지 제1-3 자극(312a 내지 312c)이 각각 속하는 복수 개의 클래스들에 각각 대응하는 제1-1 내지 제1-3 워드벡터들(312-1 내지 312-3)을 이용하여 특징 벡터 생성 모델(311)을 기반으로 제1-1 내지 제1-3 특징 벡터들(311-1 내지 311-3)을 생성할 수 있다. 단, 상술한 예시는 본 발명의 일 실시 예를 설명하기 위한 예시일 뿐 이에 한정되는 것은 아니다.
특징 벡터 생성부(310)는 제1-1 내지 제1-3 워드벡터들(312-1 내지 312-3)을 각각 이용하여 특징 벡터 생성 모델(311)을 기반으로 제1-1 내지 제1-3 특징벡터들(311-1 내지 311-3)을 생성할 수 있다.
특징 벡터 생성부(310)는 상술한 방법에 의해 생성된 제1-1 특징 벡터(311-1)가 제1-1 생체신호 특징 벡터(211-1)와 동일하도록, 제1-2 특징 벡터(311-2)가 제1-2 생체신호 특징 벡터(211-2)와 동일하도록, 또한 제1-3 특징 벡터(311-3)가 제1-3 생체신호 특징 벡터(211-3)와 동일하도록 특징 벡터 생성 모델(311)을 학습할 수 있다.
다시 도 2를 참조하면, 본 발명의 일 실시 예에 따른 특징 벡터 판별부(320)는 생체신호 특징 벡터 추출 모델(201)에서 추출된 제1 생체신호 특징 벡터 또는 특징 벡터 생성 모델(311)에서 생성된 제1 특징 벡터를 입력 받을 수 있고, 특징 벡터 판별부(320)는 특징 벡터 판별 모델(321)을 기반으로 입력 받은 특징 벡터가 생체신호 특징 벡터 추출 모델(201)에서 추출된 제1 생체신호 특징 벡터인지를 판별할 수 있다.
상술한 특징 벡터 판별 모델(321)은 이진 분류(binary classification)를 이용하여 입력 받은 특징 벡터를 판별할 수 있다. 예를 들어, 특징 벡터 판별 모델(321)이 입력 받은 특징 벡터가 진짜에 해당하는 제1 생체신호 특징 벡터를 입력 받은 경우 레이블을 ‘1’로 나타낼 수 있고, 특징 벡터 판별 모델(321)이 입력 받은 특징 벡터가 제1 생체신호 특징 벡터가 아닌 특징 벡터 생성 모델(311)에서 생성된 가짜에 해당하는 제1 특징 벡터를 입력 받은 경우 레이블을 ‘0’으로 나타낼 수 있다. 단, 상술한 예시는 본 발명의 일 실시 예를 설명하기 위한 예시일 뿐 이에 한정되는 것은 아니다.
본 발명의 일 실시 예에 따른 특징 벡터 판별부(320)는 특징 벡터 판별 모델(321)이 생체신호 특징 벡터 추출 모델(201)에서 추출된 제1 생체신호 특징 벡터를 입력 받으면 입력 받은 제1 생체신호 특징 벡터를 생체신호 특징 벡터 추출 모델(201)에서 추출된 제1 생체신호 특징 벡터라고 판별하는 확률이 증가되도록 특징 벡터 판별 모델(321)을 학습할 수 있다.
또한, 특징 벡터 판별부(320)는 특징 벡터 판별 모델(321)이 특징 벡터 생성 모델(311)에서 제1 특징 벡터를 입력 받으면 입력 받은 제1 특징 벡터를 생체신호 특징 벡터 추출 모델(201)에서 추출된 제1 생체신호 특징 벡터라고 판별하는 확률이 감소되도록 특징 벡터 판별 모델(321)을 학습할 수 있다.
구체적으로, 본 발명의 일 실시 예에 따른 특징 벡터 판별부(320)는 하기의 수학식 2에 나타난 제1 손실함수를 이용하여 특징 벡터 판별 모델(321)을 학습할 수 있다.
Figure 112018078720423-pat00002
상술한 수학식 2에서, xi는 생체신호 특징 벡터, s는 워드벡터, n은 랜덤 노이즈를, G(s,n)은 특징 벡터를 나타낸 것이고, D(x)는 특징 벡터 판별 모델(321)이 생체신호 특징 벡터를 입력 받아 입력 받은 생체신호 특징 벡터를 진짜 생체신호 특징 벡터라고 판별할 확률을, D(G(s,n))은 특징 벡터 판별 모델(321)이 특징 벡터를 입력 받아 입력 받은 특징 벡터를 진짜 생체신호 특징 벡터라고 판별할 확률을 나타낸다.
따라서, 본 발명의 일 실시 예에 따른 특징 벡터 판별부(320)는 제1 손실함수를 이용하여, D(x)는 1로, D(G(s,n))은 0의 확률이 되도록 특징 벡터 판별 모델(321)을 학습할 수 있다.
이와 달리, 본 발명의 일 실시 예에 따른 특징 벡터 생성부(310)는 상술한 특징 벡터 판별 모델(321)에서 판별된 결과를 이용하여 특징 벡터 생성 모델(311)을 기반으로 생성된 제1 특징 벡터가 생체신호 특징 벡터 추출부(200)에서 추출된 제1 생체신호 특징 벡터와 동일하도록 특징 벡터 생성 모델(311)을 상술한 특징 벡터 판별 모델(321)과 적대적으로 학습할 수 있다.
구체적으로, 본 발명의 일 실시 예에 따른 특징 벡터 생성부(310)는 특징 벡터 판별 모델(321)이 특징 벡터 생성 모델(311)에서 생성된 제1 특징 벡터를 입력 받아 입력 받은 제1 특징 벡터를 생체신호 특징 벡터 추출부(200)에서 추출된 제1 생체신호 특징 벡터로 판별하는 확률이 증가되도록 특징 벡터 생성 모델(311)을 학습할 수 있다.
구체적으로, 본 발명의 일 실시 예에 따른 특징 벡터 생성부(310)는 하기의 수학식 3에 나타난 제2 손실함수를 이용하여 특징 벡터 생성 모델(311)을 학습할 수 있다.
Figure 112018078720423-pat00003
상술한 수학식 3에서, xi는 생체신호 특징 벡터, s는 워드벡터, n은 랜덤 노이즈를, G(s,n)은 특징 벡터를 나타낸 것이고, D(G(s,n))은 특징 벡터 판별 모델(321)이 특징 벡터를 입력 받아 입력 받은 특징 벡터를 진짜 생체신호 특징 벡터라고 판별할 확률을, MSE(G(s,n),xi)는 상기 수학식 1에서의 평균 제곱 오차를 나타낸다.
따라서, 본 발명의 일 실시 예에 따른 특징 벡터 생성부(310)는 제2 손실함수를 이용하여, D(G(s,n))가 1의 확률이 되도록 특징 벡터 생성 모델(311)을 학습할 수 있다. 또한, 본 발명의 일 실시 예에 따른 특징 벡터 생성부(310)는 상술한 수학식 1에서 설명한 바와 같이 특징 벡터와 생체신호 특징 벡터와의 차이에 해당하는 평균 제곱 오차(MSE)의 값을 감소시키는 방향으로 특징 벡터 생성 모델(311)을 학습할 수 있다.
따라서, 상술한 바와 같이 본 발명의 일 실시 예에 따른 특징 벡터 생성부(310)와 특징 벡터 판별부(320)는 서로 적대적으로 학습하여, 특징 벡터 판별부(320)는 특징 벡터 생성부(310)에서 생성된 특징 벡터와 생체신호 특징 벡터 추출부(200)에서 추출된 생체신호 특징 벡터 중 어느 하나를 입력 받아도 입력 받은 특징 벡터가 생체신호 특징 벡터인지 아닌지 정확히 판별할 수 있도록 특징 벡터 판별 모델(321)을 학습하고, 이에 비해 특징 벡터 생성부(310)는 특징 벡터 판별 모델(321)이 특징 벡터 생성 모델(311)을 기반으로 생성된 특징 벡터를 입력 받아도 생체신호 특징 벡터 추출부(200)에서 추출된 생체신호 특징 벡터로 판별하도록 특징 벡터 판별 모델(321)을 속이는 방향으로 특징 벡터 생성 모델(311)을 학습할 수 있다. 최종적으로 특징 벡터 생성부(310)는 특징 벡터 생성 모델(311)에서 생성된 특징 벡터가 생체신호 특징벡터와 동일하도록 특징 벡터 생성 모델(311)을 학습할 수 있으며, 이때 특징 벡터 판별 모델(321)의 판별률은 이론적으로 0.5에 수렴될 수 있다.
본 발명의 일 실시 예에 따른 생체신호 클래스 결정부(330)는 상술한 방법에 의해 학습된 특징 벡터 생성 모델(311)을 이용하여 생체신호 수신부(100)에서 수신된 임의의 자극에 반응한 생체신호의 클래스를 결정하여, 결정된 클래스로 생체신호를 분류할 수 있다.
구체적으로, 상술한 생체신호 클래스 결정부(330)가 임의의 자극에 반응한 생체신호의 클래스를 결정하기 위해서, 먼저 생체신호 특징 벡터 추출부(200)가 학습된 특징 벡터 판별 모델(321)을 기반으로 생체신호 수신부(100)에서 수신된 복수 개의 채널들로부터 임의의 자극에 반응한 생체신호로부터 제2 생체신호 특징 벡터를 추출할 수 있다. 생체신호 특징 벡터 추출부(200)는 추출된 제2 생체신호 특징 벡터를 생체신호 클래스 결정부(330)로 전달할 수 있다.
또한, 본 발명의 일 실시 예에 따른 특징 벡터 생성부(310)는 임의의 자극이 속하는 클래스를 포함하는 복수 개의 클래스들에 각각 대응하는 워드벡터들을 이용하여 상술한 방법에 의해 학습된 특징 벡터 생성 모델(311)을 기반으로 복수 개의 특징 벡터들을 생성할 수 있고, 생성된 복수 개의 특징 벡터들을 생체신호 클래스 결정부(330)로 전달할 수 있다.
본 발명의 일 실시 예에 따른 생체신호 클래스 결정부(330)는 생체신호 특징 벡터 추출부(200)에서 추출된 제2 생체신호 특징 벡터와 학습된 특징 벡터 생성 모델(311)을 기반으로 생성된 복수 개의 특징 벡터들을 입력 받을 수 있고, 생체신호 클래스 결정부(330)는 입력 받은 제2 생체신호 특징 벡터와 복수 개의 특징 벡터들을 비교하여 임의의 자극에 반응한 생체신호의 클래스를 결정할 수 있다.
구체적으로, 본 발명의 일 실시 예에 따른 생체신호 클래스 결정부(330)는 제2 생체신호 특징 벡터와 복수 개의 특징 벡터들 각각의 차이를 측정할 수 있고, 측정된 차이들 중에서 제2 생체신호 특징 벡터와 가장 작은 차이를 가지는 제2 특징 벡터를 복수 개의 특징 벡터들로부터 획득할 수 있다. 생체신호 클래스 결정부(330)는 임의의 자극에 반응한 생체신호를 상술한 방법에 의해 획득된 제2 특징 벡터의 클래스로 결정하여 임의의 자극에 반응한 생체신호를 결정된 클래스로 분류할 수 있다. 상술한 생체신호의 클래스를 결정하는 구체적인 방법에 관하여 도 3b를 함께 참조하여 설명하도록 한다.
도 3b는 본 발명의 일 실시 예에 따른 임의의 자극에 반응한 생체신호의 클래스를 결정하는 방법을 설명하기 위한 도면을 나타낸 것이다.
도 3b를 참조하면, 본 발명의 일 실시 예에 따른 생체신호 수신부(100)는 임의의 제2-1 자극(312d)에 반응한 생체신호를 수신할 수 있고, 생체신호 특징 벡터 추출부(200)는 학습된 생체신호 특징 벡터 추출 모델을 기반으로 임의의 제2-1 자극(312d)에 반응한 생체신호로부터 제2-1 생체신호 특징 벡터(211-4)를 추출할 수 있다.
본 발명의 일 실시 예에 따른 특징 벡터 생성부(310)는 임의의 제2-1 자극(312d)이 속하는 클래스를 포함하는 복수 개의 클래스들에 각각 대응하는 워드벡터들(312-1 내지 312-5)을 이용하여 상술한 방법에 의해 학습된 특징 벡터 생성모델(311a)을 기반으로 복수 개의 특징 벡터들(311a-1 내지 311a-5)을 생성할 수 있다.
구체적으로, 워드벡터들(312-1 내지 312-5)은 미리 설정된 제1 내지 제3 자극(312a 내지 312c)이 속한 클래스 각각에 대응하는 제1-1 워드벡터 내지 제1-3 워드벡터(312-1 내지 312-3)와 임의의 제2-1 및 제2-2 자극(312d 및 312e)이 속한 클래스 각각에 대응하는 제2-1 및 제2-2 워드벡터(312-4 및 312-5)를 포함할 수 있다. 단, 상술한 예시는 본 발명의 일 실시 예를 설명하기 위한 예시일 뿐 이에 한정되는 것은 아니다.
특징 벡터 생성부(310)는 제1-1 내지 제1-3 워드벡터들(312-1 내지 312-3)을 각각 이용하여 학습된 특징 벡터 생성 모델(311a)을 기반으로 제1-1 내지 제1-3 특징 벡터들(311a-1 내지 311a-3)을 생성할 수 있고, 또한 제2-1 및 제2-2 워드벡터들(312-4 및 312-5)를 각각 이용하여 학습된 특징 벡터 생성 모델(311a)을 기반으로 제2-1 및 제2-2 특징 벡터들(311a-4 및 311a-5)를 생성할 수 있다.
본 발명의 일 실시 예에 따른 생체신호 클래스 결정부(330)는 특징 벡터 생성부(310)에서 생성된 복수 개의 특징 벡터들(311a-1 내지 311a-5)과 생체신호 특징 벡터 추출부(200)에서 추출된 제2-1 생체신호 특징 벡터(211-4)를 각각 비교할 수 있다.
구체적으로, 상기의 수학식 1을 이용하여 생체신호 클래스 결정부(330)는 제1-1 내지 제1-3 특징벡터들(311a-1 내지 311a-3)과 제2-1 생체신호 특징벡터(211-4)와의 제1 내지 제3 차이에 해당하는 평균 제곱 오차의 값들(330-1 내지 330-3)을 각각 측정할 수 있고, 또한 제2-1 및 제2-2 특징벡터들(311a-4 및 311a-5)과 제2-1 생체신호 특징벡터(211-4)와의 제4 및 제5 차이에 해당하는 평균 제곱 오차의 값들(330-4 및 330-5)을 측정할 수 있다.
예를 들어, 본 발명의 일 실시 예에 따라 128차원의 제2-1 생체신호 특징 벡터(211-4)와 128 차원의 제1-1 내지 제1-3 특징 벡터들(311a-1 내지 311a-3), 제2-1 특징 벡터(311a-4) 및 제2-2 특징 벡터(311a-5) 각각과의 평균 제곱 오차 값을 계산하는 경우, m은 128에, xi는 제2-1 생체신호 특징 벡터(211-4)에, G(s,n)은 제1-1 내지 제1-3 특징 벡터들(311a-1 내지 311a-3), 제2-1 특징 벡터(311a-4) 및 제2-2 특징 벡터(311a-5)에 해당할 수 있으며, 각 차원의 제2-1 생체신호 특징 벡터(211-4)와 제1-1 특징 벡터(311a-1)의 오차를 제곱하여 각 차원마다 제곱된 오차를 합한 후 전체 차원의 수에 해당하는 m인 128로 나눈 값에 해당하는 평균 제곱 오차의 값을 측정할 수 있다. 또한, 상술한 방법으로 제2-1 생체신호 특징 벡터(211-4)와 제1-2 특징 벡터(311a-2)와의 평균 제곱 오차의 값, 제2-1 생체신호 특징 벡터(211-4)와 제1-3 특징 벡터(311a-3)와의 평균 제곱 오차의 값, 제2-1 생체신호 특징 벡터(211-4)와 제2-1 특징 벡터(311a-4)와의 평균 제곱 오차의 값 및 제2-1 생체신호 특징 벡터(211-4)와 제2-2 특징 벡터(311a-5)와의 평균 제곱 오차의 값을 전부 측정할 수 있다.
따라서, 생체신호 클래스 결정부(330)는 상술한 방법에 의해 측정된 평균 제곱 오차의 값들 중 가장 작은 평균 제곱 오차의 값을 가지는 제2-1 특징 벡터(311a-4)를 획득할 수 있으며, 임의의 제2-1 자극(312d)에 반응한 생체신호를 획득된 제2-1 특징 벡터(311a-4)의 클래스로 결정하여, 임의의 제2-1 자극(312d)에 반응한 생체신호를 상술한 방법에 의하여 결정된 클래스로 분류할 수 있다.
도 4는 본 발명의 또 다른 일 실시 예에 따른 생체신호 클래스 분류 장치의 구성을 개략적으로 도시한 블록도이다.
도 4를 참조하면, 본 발명의 또 다른 일 실시 예에 따른 생체신호 클래스 분류 장치(10)는 생체신호 수신부(100), 생체신호 특징 벡터 추출부(200) 및 생체신호 클래스 분류부(300)를 포함할 수 있고, 생체신호 특징 벡터 추출부(200) 는 생체신호 특징 벡터 추출 모델을 포함할 수 있으며, 생체신호 특징 벡터 추출 모델은 장단기 메모리(LSTM)구조의 순환신경망(RNN)으로 구현될 수 있다.
본 발명의 일 실시 예에 따른 생체신호 수신부(100)는 복수 개의 채널들로부터 미리 설정된 클래스에 속하는 자극에 반응한 생체신호를 수신할 수 있고, 또한 복수 개의 채널들로부터 임의의 자극에 반응한 생체신호를 수신할 수 있다. 상술한 생체신호 수신부(100)는 멀티미디어를 시청하는 피검사체의 신체의 일부에 복수의 채널을 부착시켜 일정한 시간 동안 측정한 뇌전도(EEG) 신호를 수신할 수 있다.
본 발명의 일 실시 예에 따른 생체신호 특징 벡터 추출부(200)는 생체신호 특징 벡터 추출 모델을 기반으로 특징 벡터를 추출할 수 있으며, 생체신호 특징 벡터 추출 모델은 장단기 메모리(Long Short Term Memory, LSTM) 구조의 순환신경망(Recurrent Neural Network, RNN)을 기반으로 생체신호 수신부(100)에서 수신한 생체신호를 인코딩 할 수 있다.
RNN은 은닉층의 결과가 다시 같은 은닉층의 입력으로 들어가도록 연결 된 루프가 있고, 과거의 데이터가 미래에 영향을 주는 구조를 갖는다. 즉, RNN은 히든 노드가 방향을 가진 엣지로 연결되어 순환구조를 이룬다.
LSTM 모델은 은닉층에 여러 개의 게이트가 연결된 셀을 추가한 구조이다. 은닉 층은 입력 게이트(Input Gate), 출력 게이트(Output Gate), 포겟 게이트(Forget Gate)를 포함하는 메모리 블록(Memory Block)을 갖는다. 포겟 게이트는 과거 정보를 잊기를 위한 게이트이고, 입력 게이트는 현재 정보를 기억하기 위한 게이트이다. 게이트는 각각 세기 및 방향을 가진다. 셀은 컨베이어 벨트 역할을 하고, 상태가 오래 경과하더라도 그래디언트가 비교적 전파를 유지할 수 있다.
본 발명의 일 실시 예에 따른 생체신호 특징 벡터 추출부(200)에 포함된 LSTM 구조의 생체신호 특징 벡터 추출 모델들은 생체신호 수신부(100)에서 수신된 생체신호를 서로 다른 시간(예를 들어, 시간 1, 시간 2 … 시간 T)에 각각 입력 받을 수 있고, 시간 1에서의 LSTM 구조의 생체신호 특징 벡터 추출 모델은 시간 2에서의 LSTM 구조의 생체신호 특징 벡터 추출 모델에 영향을 끼치고, 시간 2에서의 LSTM 구조의 생체신호 특징 벡터 추출 모델은 시간 3에서의 LSTM 구조의 생체신호 특징 벡터 추출 모델에 영향을 끼치면서, 최종적으로 시간 T에서의 LSTM 구조의 생체신호 특징 벡터 추출 모델에서의 출력을 생체신호 특징 벡터로 추출할 수 있다.
즉, 본 발명의 일 실시 예에 따른 생체신호 특징 벡터 추출부(200)는 시간 T에서의 LSTM 구조의 생체신호 특징 벡터 추출 모델에서의 출력만을 미리 설정된 자극에 반응한 생체신호의 생체신호 특징 벡터로 추출할 수 있고, 또한 시간 T에서의 LSTM 구조의 생체신호 특징 벡터 추출 모델에서의 출력만을 임의의 자극에 반응한 생체신호의 생체신호 특징 벡터로 추출할 수 있으며, 추출된 생체신호 특징 벡터를 생체신호 클래스 분류부(300)로 전달할 수 있다.
본 발명의 일 실시 예에 따른 생체신호 클래스 분류부(300)는 시간 T에서의 LSTM 구조의 생체신호 특징 벡터 추출 모델에서 추출된 미리 설정된 자극에 반응한 생체신호의 생체신호 특징 벡터를 이용하여 특징 벡터 생성 모델을 학습할 수 있다.
또한, 생체신호 클래스 분류부(300)는 시간 T에서의 LSTM 구조의 생체신호 특징 벡터 추출 모델에서 추출된 임의의 자극에 반응한 생체신호의 생체신호 특징 벡터를 입력 받아 학습된 특징 벡터 생성 모델을 이용하여 생체신호의 클래스를 분류할 수 있다. 생체신호 클래스를 분류하는 자세한 방법에 대해서는 도 2 내지 도 3b에서 전술하였으므로 생략하도록 한다.
생체신호 클래스 분류 장치에 포함된 구성요소들이 도 1, 도 2 및 도 4에서는 분리되어 도시되어 있으나, 복수의 구성요소들은 상호 결합되어 적어도 하나의 모듈로 구현될 수 있다. 구성요소들은 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작한다. 이러한 구성요소들은 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.
생체신호 클래스 분류 장치는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합에 의해 로직회로 내에서 구현될 수 있고, 범용 또는 특정 목적 컴퓨터를 이용하여 구현될 수도 있다. 장치는 고정배선형(Hardwired) 기기, 필드 프로그램 가능한 게이트 어레이(Field Programmable Gate Array, FPGA), 주문형 반도체(Application Specific Integrated Circuit, ASIC) 등을 이용하여 구현될 수 있다. 또한, 장치는 하나 이상의 프로세서 및 컨트롤러를 포함한 시스템온칩(System on Chip, SoC)으로 구현될 수 있다.
생체신호 클래스 분류 장치는 하드웨어적 요소가 마련된 컴퓨팅 디바이스에 소프트웨어, 하드웨어, 또는 이들의 조합하는 형태로 탑재될 수 있다. 컴퓨팅 디바이스는 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 프로그램을 실행하기 위한 데이터를 저장하는 메모리, 프로그램을 실행하여 연산 및 명령하기 위한 마이크로프로세서 등을 전부 또는 일부 포함한 다양한 장치를 의미할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 생체신호 클래스 분류 방법을 설명하기 위한 흐름도를 나타낸 것이다.
본 발명의 일 실시 예에 따른 생체신호 클래스 분류 방법은 컴퓨팅 디바이스 또는 생체신호 클래스 분류 장치에 의하여 수행될 수 있으며, 생체신호 클래스 분류 장치가 수행하는 동작에 관한 상세한 설명과 중복되는 설명은 생략하기로 한다
도 5를 참조하면, 컴퓨팅 디바이스는 복수 개의 채널들로부터 미리 설정된 클래스에 속하는 자극에 반응한 제1 생체신호를 수신한다(S510).
상술한 제1 생체신호는 뇌파일 수 있으며, 컴퓨팅 디바이스는 멀티미디어를 시청하는 피검사체의 신체의 일부에 복수의 채널을 부착시켜 측정한 뇌 전도(EEG) 신호를 수신할 수 있다.
본 발명의 또 다른 일 실시 예에 따른 컴퓨팅 디바이스는 수신한 생체신호의 아티팩트를 제거하여 전처리할 수 있다. 또한, 컴퓨팅 디바이스는 다변량의 신호를 통계적으로 독립적인 성분으로 분리하는 독립 성분 분석(Independent Component Analysis, ICA) 방식을 이용하여 수신한 제1 생체신호의 성분들을 선택적으로 분리할 수 있다.
컴퓨팅 디바이스는 제1 생체신호로부터 미리 설정된 클래스의 정보를 포함하는 제1 생체신호 특징 벡터를 추출한다(S520). 구체적으로, 컴퓨팅 디바이스는 수신한 제1 생체신호를 미리 설정된 클래스로 분류하도록 학습하여 생성한 생체신호 특징 벡터 추출 모델을 기반으로 미리 설정된 클래스 정보를 포함하는 제1 생체신호 특징 벡터를 추출할 수 있다. 상술한 생체신호 특징 벡터 추출 모델은 장단기 메모리(LSTM)구조의 순환신경망(RNN)을 기반으로 제1 생체신호를 인코딩하여 제1 생체신호 특징 벡터를 추출할 수 있다.
상술한 생체신호 특징 벡터를 추출하는 구체적인 방법은 전술하였으므로 자세한 설명은 생략하도록 한다.
컴퓨팅 디바이스는 추출된 제1 생체신호 특징 벡터와 동일한 특징 벡터를 생성하도록 학습하여 생성된 특징 벡터 생성 모델을 이용하여 임의의 자극에 반응한 생체신호의 클래스를 분류한다(S530).
컴퓨팅 디바이스는 미리 설정된 클래스에 대응하는 워드벡터를 이용하여 특징 벡터 생성 모델을 기반으로 제1 특징 벡터를 생성할 수 있으며, 생성된 제1 특징 벡터와 제1 생체신호 특징 벡터의 차이를 비교하여 생성된 제1 특징 벡터가 제1 생체신호 특징 벡터와 동일하도록 특징 벡터 생성 모델을 학습할 수 있다.
컴퓨팅 디바이스는 학습된 특징 벡터 생성모델을 기반으로 임의의 자극이 속한 클래스를 포함하는 복수 개의 클래스들에 대응하는 워드벡터들로부터 생성된 복수 개의 특징 벡터들을 이용하여 임의의 자극에 반응한 생체신호의 클래스를 분류할 수 있다.
상술한 임의의 자극에 반응한 생체신호의 클래스를 분류하는 구체적인 방법은 전술하였으므로 자세한 설명은 생략하도록 한다.
도 6은 본 발명의 또 다른 일 실시 예에 따른 생체신호 클래스 분류 방법을 구체적으로 설명하기 위한 흐름도를 나타낸 것이다.
본 발명의 일 실시 예에 따른 생체신호 클래스 분류 방법은 컴퓨팅 디바이스 또는 생체신호 클래스 분류 장치에 의하여 수행될 수 있으며, 생체신호 클래스 분류 장치가 수행하는 동작에 관한 상세한 설명과 중복되는 설명은 생략하기로 한다
도 6을 참조하면, 컴퓨팅 디바이스는 미리 설정된 클래스에 속하는 자극에 반응한 생체신호 및 임의의 자극에 반응한 생체신호를 수신한다(S610).
구체적으로, 컴퓨팅 디바이스는 복수 개의 채널들로부터 미리 설정된 클래스에 속하는 자극에 반응한 제1 생체신호를 수신할 수 있고, 또한 복수 개의 채널들로부터 임의의 자극에 반응한 생체신호를 수신할 수 있다.
컴퓨팅 디바이스는 미리 설정된 클래스에 속하는 자극에 반응한 생체신호로부터 제1 생체신호 특징 벡터 및 임의의 자극에 반응한 생체신호로부터 제2 생체신호 특징 벡터를 추출한다(S620).
구체적으로, 컴퓨팅 디바이스는 수신한 제1 생체신호를 미리 설정된 클래스로 분류하도록 학습하여 생성한 생체신호 특징 벡터 추출 모델을 기반으로 미리 설정된 클래스 정보를 포함하는 제1 생체신호 특징 벡터를 추출할 수 있다. 또한, 컴퓨팅 디바이스는 학습된 특징 벡터 추출 모델을 기반으로 수신한 복수 개의 채널들로부터 임의의 자극에 반응한 생체신호로부터 제2 생체신호 특징 벡터를 추출할 수 있다.
상술한 생체신호 특징 벡터 추출 모델은 장단기 메모리(LSTM)구조의 순환신경망(RNN)으로 구현될 수 있다.
컴퓨팅 디바이스는 미리 설정된 클래스에 대응하는 워드벡터를 이용하여 특징 벡터 생성 모델을 기반으로 제1 특징 벡터를 생성한다(S630).
구체적으로, 컴퓨팅 디바이스는 미리 설정된 클래스에 대응하는 워드벡터 및 워드벡터의 차원수보다 적은 차원수를 가지는 랜덤 노이즈를 이용하여 특징 벡터 생성 모델을 기반으로 제1 특징 벡터를 생성할 수 있다.
컴퓨팅 디바이스는 특징 벡터 판별 모델을 기반으로 추출된 제1 생체신호 특징 벡터 또는 생성된 제1 특징 벡터를 입력 받아 입력 받은 특징 벡터를 판별한다(S640). 상술한 특징 벡터 추출 모델은 이진 분류(binary classification)를 이용하여 입력 받은 특징 벡터를 판별할 수 있다.
컴퓨팅 디바이스는 특징 벡터 판별 모델을 학습한다(S650). 구체적으로, 컴퓨팅 디바이스는 특징 벡터 판별 모델이 생체신호 특징 벡터 추출 모델에서 추출된 제1 생체신호 특징 벡터를 입력 받으면 입력 받은 제1 생체신호 특징 벡터를 생체신호 특징 벡터 추출 모델에서 추출된 제1 생체신호 특징 벡터라고 판별하는 확률이 증가되도록 특징 벡터 판별 모델을 학습하고, 특징 벡터 판별 모델이 특징 벡터 생성 모델에서 생성된 제1 특징 벡터를 입력 받으면 입력 받은 제1 특징 벡터를 생체신호 특징 벡터 추출 모델에서 추출된 제1 생체신호 특징 벡터라고 판별하는 확률이 감소되도록 특징 벡터 판별 모델을 학습할 수 있다.
컴퓨팅 디바이스는 특징 벡터 생성 모델을 특징 벡터 모델과 적대적으로 학습한다(S660).
구체적으로, 컴퓨팅 디바이스는 특징 벡터 판별 모델이 제1 특징 벡터를 입력 받아 입력 받은 제1 특징 벡터를 제1 생체신호 특징 벡터로 판별하는 확률이 증가되도록 특징 벡터 생성 모델을 상술한 특징 벡터 판별 모델과 적대적으로 학습할 수 있다. 또한, 컴퓨팅 디바이스는 제1 생체신호 특징 벡터와 제1 특징 벡터의 차이를 감소시키는 방향으로 특징 벡터 생성 모델을 학습할 수 있다.
상술한 특징 벡터 생성 모델 및 특징 벡터 판별 모델을 학습하는 방법은 전술하였으므로 자세한 설명은 생략하도록 한다.
컴퓨팅 디바이스는 임의의 자극이 속하는 클래스를 포함하는 복수 개의 클래스들에 각각 대응하는 복수 개의 워드벡터들을 이용하여 학습된 특징 벡터 생성 모델을 기반으로 복수 개의 특징 벡터들을 생성하고(S670), 컴퓨팅 디바이스는 생성된 복수 개의 특징 벡터들 각각과 제2 생체신호 특징 벡터를 비교하여 임의의 자극에 반응한 생체신호의 클래스를 결정하여 분류한다(S680).
구체적으로, 컴퓨팅 디바이스는 제2 생체신호 특징 벡터와 복수 개의 특징 벡터들 각각의 차이를 측정할 수 있고, 측정된 차이들 중에서 제2 생체신호 특징 벡터와 가장 작은 차이를 가지는 제2 특징 벡터를 복수 개의 특징 벡터들로부터 획득하여 임의의 자극에 반응한 생체신호를 제2 특징 벡터의 클래스로 결정할 수 있다.
상술한 생체신호의 클래스를 분류하는 구체적인 방법은 전술하였으므로 자세한 설명은 생략하도록 한다.
따라서, 본 발명의 일 실시 예에 따른 생체신호 클래스 분류 방법을 이용하는 경우 공포 감정에 대해서 학습한 후 기쁨의 감정도 표현이 가능하므로, 미리 학습되지 않은 임의의 자극에 반응한 생체신호의 클래스 분류가 가능하다.
또한, 본 발명의 일 실시 예에 따른 생체신호 클래스 분류 방법을 이용하는 경우 위험한 상황에 대해서 생체신호 데이터를 수집할 수 없는 경우에도 미리 설정된 자극에 대해 학습하여 위험한 상황에 대해 반응한 생체신호의 클래스를 분류할 수 있다.
도 5 및 도 6에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 5 및 도 6에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.
본 실시 예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시 예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
10: 생체신호 클래스 분류 장치
100: 생체신호 수신부
200: 생체신호 특징 벡터 추출부
300: 생체신호 클래스 분류부

Claims (18)

  1. 컴퓨팅 디바이스에 의한 임의의 자극에 대해 반응한 생체신호의 클래스 분류 방법에 있어서,
    복수 개의 채널들로부터 미리 설정된 클래스에 속하는 자극에 반응한 제1 생체신호를 수신하는 단계;
    상기 수신한 제1 생체신호로부터 상기 미리 설정된 클래스의 정보를 포함하는 제1 생체신호 특징 벡터를 추출하는 단계; 및
    상기 추출된 제1 생체신호 특징 벡터와 동일한 특징 벡터를 생성하도록 학습하여 생성한 특징 벡터 생성 모델을 이용하여 상기 임의의 자극에 반응한 생체신호의 클래스를 분류하는 단계;를 포함하며,
    상기 임의의 자극에 반응한 생체신호의 클래스를 분류하는 단계는,
    상기 미리 설정된 클래스에 대응하는 워드벡터를 이용하여 상기 특징 벡터 생성 모델을 기반으로 제1 특징 벡터를 생성하는 단계; 및
    상기 생성된 제1 특징 벡터가 상기 추출된 제1 생체신호 특징 벡터와 동일하도록 상기 특징 벡터 생성 모델을 학습하는 단계를 포함하는 것을 특징으로 하는 생체신호 클래스 분류 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 임의의 자극에 반응한 생체신호의 클래스를 분류하는 단계는,
    특징 벡터 판별 모델을 기반으로 상기 추출된 제1 생체신호 특징 벡터 또는 상기 생성된 제1 특징 벡터를 입력 받아 상기 입력 받은 특징 벡터가 상기 추출된 제1 생체신호 특징 벡터인지 판별하는 단계;를 더 포함하고,
    상기 특징 벡터 생성 모델을 학습하는 단계는,
    상기 판별된 결과를 이용하여 상기 특징 벡터 생성 모델을 학습하는 것을 특징으로 하는 생체신호 클래스 분류 방법.
  4. 제3항에 있어서,
    상기 임의의 자극에 반응한 생체신호의 클래스를 분류하는 단계는,
    상기 특징 벡터 판별 모델이 상기 추출된 제1 생체신호 특징 벡터를 입력 받으면 상기 입력 받은 제1 생체신호 특징 벡터를 상기 추출된 제1 생체신호 특징 벡터라고 판별하는 확률이 증가되도록, 상기 제1 특징 벡터를 입력 받으면 상기 입력 받은 제1 특징 벡터를 상기 추출된 제1 생체신호 특징 벡터라고 판별하는 확률이 감소되도록 상기 특징 벡터 판별 모델을 학습하는 단계;를 더 포함하고,
    상기 특징 벡터 생성 모델을 학습하는 단계는,
    상기 제1 특징 벡터가 상기 제1 생체신호 특징 벡터와 동일하도록 상기 특징 벡터 생성 모델을 상기 특징 벡터 판별 모델과 적대적으로 학습하는 것을 특징으로 하는 생체신호 클래스 분류 방법.
  5. 제4항에 있어서,
    상기 특징 벡터 생성 모델을 학습하는 단계는,
    상기 특징 벡터 판별 모델이 상기 생성된 제1 특징 벡터를 입력 받아 상기 입력 받은 제1 특징 벡터를 상기 추출된 제1 생체신호 특징 벡터로 판별하는 확률이 증가되도록 상기 특징 벡터 생성 모델을 학습하는 것을 특징으로 하는 생체신호 클래스 분류 방법.
  6. 제5항에 있어서,
    상기 제1 생체신호 특징 벡터를 추출하는 단계는,
    상기 수신한 제1 생체신호를 상기 미리 설정된 클래스로 분류하도록 학습하여 생성한 생체신호 특징 벡터 추출 모델을 기반으로 상기 미리 설정된 클래스 정보를 포함하는 상기 제1 생체신호 특징 벡터를 추출하는 것을 특징으로 하는 생체신호 클래스 분류 방법.
  7. 제6항에 있어서,
    상기 복수 개의 채널들로부터 상기 임의의 자극에 반응한 생체신호를 수신하는 단계; 및
    상기 학습된 특징 벡터 추출 모델을 기반으로 상기 수신한 임의의 자극에 반응한 생체신호로부터 제2 생체신호 특징 벡터를 추출하는 단계;를 더 포함하고,
    상기 임의의 자극에 반응한 생체신호의 클래스를 분류하는 단계는,
    상기 임의의 자극이 속하는 클래스를 포함하는 복수 개의 클래스들에 각각 대응하는 워드벡터들을 이용하여 상기 학습된 특징 벡터 생성 모델을 기반으로 복수 개의 특징 벡터들을 생성하는 단계; 및
    상기 생성된 복수 개의 특징 벡터들 각각과 상기 제2 생체신호 특징 벡터를 비교하여 상기 임의의 자극에 반응한 생체신호의 클래스를 결정하는 단계;를 더 포함하는 것을 특징으로 하는 생체신호 클래스 분류 방법.
  8. 제7항에 있어서,
    상기 임의의 자극에 반응한 생체신호의 클래스를 결정하는 단계는,
    상기 제2 생체신호 특징 벡터와 상기 생성된 복수 개의 특징 벡터들 각각의 차이를 측정하고, 상기 측정된 차이들 중 상기 제2 생체신호 특징 벡터와 가장 작은 차이를 가지는 제2 특징 벡터를 상기 생성된 복수 개의 특징 벡터들로부터 획득하여 상기 임의의 자극에 반응한 생체신호를 상기 획득된 제2 특징 벡터의 클래스로 결정하여 상기 임의의 자극에 반응한 생체신호를 상기 결정된 클래스로 분류하는 것을 특징으로 하는 생체신호 클래스 분류 방법.
  9. 제6항에 있어서,
    상기 생체신호 특징 벡터 추출 모델은 장단기 메모리(Long Short Term Memory, LSTM)구조의 순환신경망(Recurrent Neural Network, RNN)을 기반으로 상기 수신한 제1 생체신호를 인코딩하여 상기 제1 생체신호 특징 벡터를 추출하는 것을 특징으로 하는 생체신호 클래스 분류 방법.
  10. 제1항에 있어서,
    상기 제1 특징 벡터를 생성하는 단계는,
    상기 미리 설정된 클래스에 대응하는 워드벡터 및 상기 워드벡터의 차원수보다 적은 차원수를 가지는 랜덤 노이즈를 이용하여 상기 특징 벡터 생성 모델을 기반으로 상기 제1 특징 벡터를 생성하는 것을 특징으로 하는 생체신호 클래스 분류 방법.
  11. 제1항에 있어서,
    상기 특징 벡터 생성 모델을 학습하는 단계는,
    상기 추출된 제1 생체신호 특징 벡터와 상기 생성된 제1 특징 벡터의 차이를 감소시키는 방향으로 상기 특징 벡터 생성 모델을 학습하는 것을 특징으로 하는 생체신호 클래스 분류 방법.
  12. 제1항에 있어서,
    상기 생체신호를 수신하는 단계는,
    멀티미디어를 시청하는 피검사체의 신체의 일부에 상기 복수의 채널을 부착시키고, 뇌전도(Electroencephalography, EEG) 신호를 측정하는 것을 특징으로 하는 생체신호 클래스 분류 방법.
  13. 제1항에 있어서,
    상기 수신한 제1 생체신호의 아티팩트를 제거하여 전처리하는 단계;를 더 포함하는 것을 특징으로 하는 생체신호 클래스 분류 방법.
  14. 제13항에 있어서,
    상기 전처리하는 단계는,
    다변량의 신호를 통계적으로 독립적인 성분으로 분리하는 독립 성분 분석(Independent Component Analysis, ICA) 방식을 이용하여 상기 제1 생체신호의 성분들을 선택적으로 분리하는 것을 특징으로 하는 생체신호 클래스 분류 방법.
  15. 복수 개의 채널들로부터 미리 설정된 클래스에 속하는 자극에 반응한 제1 생체신호를 수신하는 생체신호 수신부;
    상기 수신한 제1 생체신호로부터 상기 미리 설정된 클래스의 정보를 포함하는 제1 생체신호 특징 벡터를 추출하는 생체신호 특징 벡터 추출부; 및
    상기 추출된 제1 생체신호 특징 벡터와 동일한 특징 벡터를 생성하도록 학습하여 생성한 특징 벡터 생성 모델을 이용하여 임의의 자극에 반응한 생체신호의 클래스를 분류하는 생체신호 클래스 분류부;를 포함하며,
    상기 생체신호 클래스 분류부는,
    상기 미리 설정된 클래스에 대응하는 워드벡터를 이용하여 상기 특징 벡터 생성 모델을 기반으로 제1 특징 벡터를 생성하는 특징 벡터 생성부;를 포함하며,
    상기 특징 벡터 생성부는 상기 생성된 제1 특징 벡터가 상기 추출된 제1 생체신호 특징 벡터와 동일하도록 상기 특징 벡터 생성 모델을 학습하는 것을 특징으로 하는 생체신호 클래스 분류 장치.
  16. 삭제
  17. 제15항에 있어서,
    상기 생체신호 클래스 분류부는,
    특징 벡터 판별 모델을 기반으로 상기 추출된 제1 생체신호 특징 벡터 또는 상기 생성된 제1 특징 벡터를 입력 받아 상기 입력 받은 특징 벡터가 상기 추출된 제1 생체신호 특징 벡터인지 판별하는 특징 벡터 판별부;를 더 포함하고,
    상기 특징 벡터 판별부는,
    상기 추출된 제1 생체신호 특징 벡터를 입력 받으면 상기 입력 받은 제1 생체신호 특징 벡터를 상기 추출된 제1 생체신호 특징 벡터라고 판별하는 확률이 증가되도록 상기 특징 벡터 판별 모델을 학습하고, 상기 제1 특징 벡터를 입력 받으면 상기 입력 받은 제1 특징 벡터를 상기 추출된 제1 생체신호 특징 벡터라고 판별하는 확률이 감소되도록 상기 특징 벡터 판별 모델을 학습하며,
    상기 특징 벡터 생성부는,
    상기 제1 특징 벡터가 상기 제1 생체신호 특징 벡터와 동일하도록 상기 특징 벡터 생성 모델을 상기 특징 벡터 판별 모델과 적대적으로 학습하는 것을 특징으로 하는 생체신호 클래스 분류 장치.
  18. 프로세서에 의해 실행 가능한 컴퓨터 프로그램 명령어들을 포함하는 비일시적(Non-Transitory) 컴퓨터 판독 가능한 매체에 기록되어 생체신호 클래스 분류를 위한 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램 명령어들이 컴퓨팅 디바이스의 적어도 하나의 프로세서에 의해 실행되는 경우에,
    복수 개의 채널들로부터 미리 설정된 클래스에 속하는 자극에 반응한 제1 생체신호를 수신하는 단계;
    상기 수신한 제1 생체신호로부터 상기 미리 설정된 클래스의 정보를 포함하는 제1 생체신호 특징 벡터를 추출하는 단계; 및
    상기 추출된 제1 생체신호 특징 벡터와 동일한 특징 벡터를 생성하도록 학습하여 생성한 특징 벡터 생성 모델을 이용하여 임의의 자극에 반응한 생체신호의 클래스를 분류하는 단계;를 포함한 동작들을 수행하며,
    상기 임의의 자극에 반응한 생체신호의 클래스를 분류하는 단계는,
    상기 미리 설정된 클래스에 대응하는 워드벡터를 이용하여 상기 특징 벡터 생성 모델을 기반으로 제1 특징 벡터를 생성하는 단계; 및
    상기 생성된 제1 특징 벡터가 상기 추출된 제1 생체신호 특징 벡터와 동일하도록 상기 특징 벡터 생성 모델을 학습하는 단계를 포함하는 것을 특징으로 하는 프로세서에 의해 실행 가능한 컴퓨터 프로그램 명령어들을 포함하는 비일시적(Non-Transitory) 컴퓨터 판독 가능한 매체에 기록되어 생체신호 클래스 분류를 위한 컴퓨터 프로그램.
KR1020180092917A 2018-08-09 2018-08-09 생체신호 클래스 분류 장치 및 그 방법 KR102174232B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180092917A KR102174232B1 (ko) 2018-08-09 2018-08-09 생체신호 클래스 분류 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180092917A KR102174232B1 (ko) 2018-08-09 2018-08-09 생체신호 클래스 분류 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200017709A KR20200017709A (ko) 2020-02-19
KR102174232B1 true KR102174232B1 (ko) 2020-11-04

Family

ID=69670151

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180092917A KR102174232B1 (ko) 2018-08-09 2018-08-09 생체신호 클래스 분류 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102174232B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102662836B1 (ko) * 2020-12-03 2024-05-03 한국전자기술연구원 다채널 압력신호 기반 수면 단계 분류 방법
KR102437594B1 (ko) * 2020-12-29 2022-08-29 서울대학교병원 전기적 바이오 시그널 데이터를 수치 벡터로 변환하는 방법 및 장치, 이를 이용하여 질병을 분석하는 방법 및 장치
KR20230094670A (ko) * 2021-12-21 2023-06-28 주식회사 뷰노 인공 신경망을 이용한 이미지 데이터에 대한 분류 방법 및 이를 위한 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004000138A (ja) 2002-01-11 2004-01-08 Samsung Electronics Co Ltd 生体信号の獲得及び解析を利用した動物の状態把握方法及び装置
JP2004000474A (ja) 2002-01-23 2004-01-08 Samsung Electronics Co Ltd 生理信号の短時間モニタリングを通じたユーザ情緒認識装置及び方法
WO2015182077A1 (ja) 2014-05-27 2015-12-03 日本電気株式会社 感情推定装置、感情推定方法及び感情推定プログラムを記憶する記録媒体
US20160113539A1 (en) 2014-10-26 2016-04-28 Tata Consultancy Services Limited Determining cognitive load of a subject from electroencephalography (eeg) signals
WO2016093048A1 (ja) * 2014-12-09 2016-06-16 株式会社Ｎｔｔデータ・アイ 脳疾患診断支援システム、脳疾患診断支援方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004000138A (ja) 2002-01-11 2004-01-08 Samsung Electronics Co Ltd 生体信号の獲得及び解析を利用した動物の状態把握方法及び装置
JP2004000474A (ja) 2002-01-23 2004-01-08 Samsung Electronics Co Ltd 生理信号の短時間モニタリングを通じたユーザ情緒認識装置及び方法
WO2015182077A1 (ja) 2014-05-27 2015-12-03 日本電気株式会社 感情推定装置、感情推定方法及び感情推定プログラムを記憶する記録媒体
US20160113539A1 (en) 2014-10-26 2016-04-28 Tata Consultancy Services Limited Determining cognitive load of a subject from electroencephalography (eeg) signals
WO2016093048A1 (ja) * 2014-12-09 2016-06-16 株式会社Ｎｔｔデータ・アイ 脳疾患診断支援システム、脳疾患診断支援方法及びプログラム
JP2016106940A (ja) 2014-12-09 2016-06-20 株式会社Ｎｔｔデータ・アイ 脳疾患診断支援システム、脳疾患診断支援方法及びプログラム

Also Published As

Publication number Publication date
KR20200017709A (ko) 2020-02-19

Similar Documents

Publication Publication Date Title
Cheng et al. Emotion recognition from multi-channel EEG via deep forest
Aayesha et al. Machine learning-based EEG signals classification model for epileptic seizure detection
Edla et al. Classification of EEG data for human mental state analysis using Random Forest Classifier
Mazher et al. An EEG-based cognitive load assessment in multimedia learning using feature extraction and partial directed coherence
Isa et al. Motor imagery classification in Brain computer interface (BCI) based on EEG signal by using machine learning technique
Yang et al. A recurrence quantification analysis-based channel-frequency convolutional neural network for emotion recognition from EEG
Sharmila et al. Epileptic seizure detection using DWT-based approximate entropy, Shannon entropy and support vector machine: a case study
Tawhid et al. Diagnosis of autism spectrum disorder from EEG using a time–frequency spectrogram image‐based approach
Oweiss Statistical signal processing for neuroscience and neurotechnology
Siuly et al. EEG signal classification based on simple random sampling technique with least square support vector machine
KR102174232B1 (ko) 생체신호 클래스 분류 장치 및 그 방법
KR102089014B1 (ko) 피검사체의 뇌 활동을 재구성한 이미지 생성 장치 및 그 방법
Wu et al. Offline EEG-based driver drowsiness estimation using enhanced batch-mode active learning (EBMAL) for regression
Arnau-González et al. ES1D: A deep network for EEG-based subject identification
Rachman et al. Alcoholism classification based on eeg data using independent component analysis (ica), wavelet de-noising and probabilistic neural network (pnn)
Suchetha et al. Sequential Convolutional Neural Networks for classification of cognitive tasks from EEG signals
Wang et al. An ensemble of Xgboost models for detecting disorders of consciousness in brain injuries through EEG connectivity
Satapathy et al. An empirical analysis of different machine learning techniques for classification of EEG signal to detect epileptic seizure
Mehta et al. EEG Brainwave Data Classification of a Confused Student Using Moving Average Feature
Adam et al. Evaluation of different time domain peak models using extreme learning machine-based peak detection for EEG signal
Imah et al. A Comparative Analysis of Machine Learning Methods for Joint Attention Classification in Autism Spectrum Disorder Using Electroencephalography Brain Computer Interface.
Pereira et al. Factor analysis for finding invariant neural descriptors of human emotions
Zainuddin et al. Performance of extreme learning machine kernels in classifying EEG signal pattern of dyslexic children in writing
Wang et al. Classification of Single-Trial EEG based on support vector clustering during finger movement
Singh et al. Emotion recognition using deep convolutional neural network on temporal representations of physiological signals

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant