KR101719546B1 - 뇌파 및 심전도 복합 생체신호를 이용한 실시간 감정인식 인터페이스를 위한 방법 및 그 시스템 - Google Patents

Abstract

뇌파 및 심전도 복합 생체신호를 이용한 실시간 감정인식 인터페이스를 위한 방법 및 그 시스템이 개시된다. 컴퓨터로 구현되는 방법은, 사용자의 뇌파 데이터와 심전도 데이터를 입력 데이터로 취득하는 단계; 및 상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값을 혼합한 복합 생체신호를 이용하여 상기 사용자의 감정 상태를 분류하는 단계를 포함한다.

Description

뇌파 및 심전도 복합 생체신호를 이용한 실시간 감정인식 인터페이스를 위한 방법 및 그 시스템{REAL-TIME EMOTION RECOGNITION INTERFACE USING MULTIPLE PHYSIOLOGICAL SIGNALS OF EEG AND ECG}

아래의 설명은 실시간 사용자 인터페이스를 위한 감정인식 기술에 관한 것이다.

정보가 폭증하는 시대에는 정보를 "어떻게 생성할 것인가"보다 "어떻게 전달한 것인가"가 중요하며, 이는 인터페이스의 문제로 귀결된다. 인간 중심으로 옮겨가는 인터페이스 및 시스템 패러다임의 변화를 뒷받침 할 기반 기술의 개발 필요성이 증가됨에 따라 인터페이스는 제품과 사용자 간의 간극(Gap)을 줄이는 효율적인 수단이 될 것이다.

최근 인터페이스에 대한 연구는 과거 마우스, 키보드 이외에도 다양한 접근으로 연구 되고 있다. 의자 팔걸이의 센서와 발판을 게임 인터페이스로 사용한 노인용 걷기 게임이 개발되고, 홀로그램과 햅틱 환경을 사용해 게임의 몰입도를 증가시키는 연구도 진행되고 있다.

이렇게 다양한 연구가 진행되는 가운데 생체신호 기반 인터페이스 기술은 심전도 및 뇌파와 같은 인위적으로 발생 가능한 생체신호를 이용하는 인간 친화적인 인터페이스 기술로서, 문자/음성/제스처 이후의 차세대 사용자 인터페이스로서 연구되고 있다. 생체신호 기반 인터페이스 기술은 국내외적으로 많은 연구들이 이루어지고 있지만 아직까지 상업적으로 이용할 만한 실용적인 기술을 선보이지 못하고 있다.

최근 활발하게 연구되고 있는 BCI(Brain Computer Interface)는 뇌파를 이용한 인터페이스 기술로서, 뇌파를 통해 커서를 컨트롤 하는 인터페이스 기술이나 3차원 가상 환경에서 자동차 운전을 제어하는데 BCI모델 등이 소개되고 있다. 뇌파의 경우 움직임, 눈 깜빡임과 같은 잡음에 민감하기 때문에 전처리 과정이 중요하며, 눈 움직임에 대한 잡음을 회기 분석을 통해 제거하는 기술이 주로 이용되고 있다.

본 발명의 배경이 되는 기술로 한국공개특허 제10-2004-0011612호(생체 신호를 이용한 휴면 인터페이스 시스템 및 방법)가 있다.

뇌파 및 심전도의 생체신호를 복합적으로 이용한 감정인식을 통한 실시간 사용자 인터페이스를 제공한다.

기존에 뇌파를 통한 감정인식의 문제점이었던 낮은 정확도를 개선하기 위해 뇌파의 세타(theta), 알파(alpha), 베타(beta), 감마(gamma)의 상대파워 값과 심전도의 자율신경계 비율을 혼합하는 복합 생체신호 감정인식 시스템을 제공한다.

기쁨, 공포, 슬픔, 즐거움, 화남, 혐오에 해당하는 6가지 감정을 인식하기 위해 사용자별 확률값을 저장하는 데이터 맵을 생성하고 채널에 대응하는 감정인식의 정확도를 향상시키기 위해 가중치를 갱신하는 알고리즘을 제공한다.

컴퓨터로 구현되는 방법에 있어서, 사용자의 뇌파 데이터와 심전도 데이터를 입력 데이터로 취득하는 단계; 및 상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값을 혼합한 복합 생체신호를 이용하여 상기 사용자의 감정 상태를 분류하는 단계를 포함하는 컴퓨터로 구현되는 방법을 제공한다.

일 측면에 따르면, 상기 분류하는 단계는, 상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값을 이용하여 상기 사용자의 데이터 모델인 데이터 맵을 생성하는 단계; 및 상기 데이터 맵을 통해 상기 사용자로부터 실시간으로 측정된 뇌파와 심전도에 대응되는 감정을 분류하는 단계를 포함한다.

다른 측면에 따르면, 상기 분류하는 단계는, 상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값을 이용하여 상기 사용자의 감정 분류를 위한 데이터 맵을 생성하는 단계를 포함하고, 상기 데이터 맵을 생성하는 단계는, 상기 뇌파 데이터와 상기 심전도 데이터에 대한 FFT(고속 푸리에 변환)와 파워 스펙트럼(Power Spectrum) 분석을 통해 상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값을 구하는 단계; 상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값으로 구성된 데이터 테이블을 생성하는 단계; 베이지안 네트워크(Bayesian Network) 분류기를 통해 상기 데이터 테이블을 확률 값으로 변환하는 단계; 및 상기 확률 값을 상기 사용자의 감정을 분류하기 위한 데이터 맵으로 저장하는 단계를 포함한다.

또 다른 측면에 따르면, 상기 데이터 맵을 생성하는 단계는, 상기 뇌파 데이터와 상기 심전도 데이터에 대해 잡음 제거를 위한 전처리 과정을 수행하는 단계를 더 포함할 수 있다.

또 다른 측면에 따르면, 상기 전처리 과정을 수행하는 단계는, 상기 심전도 데이터의 특징 분류를 위해 상기 심전도 데이터로부터 R-R 간격(Interval)의 피크 값을 구한 후 HRV(심박동변동성) 데이터로 변환할 수 있다.

또 다른 측면에 따르면, 상기 데이터 테이블은 상기 뇌파 데이터의 특징 값인 세타(theta), 알파(alpha), 베타(beta), 감마(gamma)파의 파워 값과, 상기 심전도 데이터의 특징 값인 교감 신경(LF)과 부교감 신경(HF)의 파워 값으로 구성될 수 있다.

또 다른 측면에 따르면, 상기 데이터 테이블은 상기 뇌파 데이터를 측정하는 채널 각각에 대해 구성되되, 상기 채널 별로 상기 뇌파 데이터의 상대적인 파워 값의 비율에 따른 가중치가 부여될 수 있다.

또 다른 측면에 따르면, 상기 데이터 테이블은 상기 가중치가 적용된 각 채널의 확률 값 중 가장 확률이 높은 값으로 감정이 분류될 수 있다.

또 다른 측면에 따르면, 상기 분류하는 단계는, 상기 뇌파 데이터로부터 세타(theta), 알파(alpha), 베타(beta), 감마(gamma)파에 해당하는 주파수 영역을 검출하고 상기 심전도 데이터로부터 교감 신경(LF)과 부교감 신경(HF)에 해당되는 주파수 영역을 검출한 후, 상기 검출된 세타(theta), 알파(alpha), 베타(beta), 감마(gamma)파, 및 상기 검출된 교감 신경(LF)과 부교감 신경(HF)의 비율인 자율신경계 비율(LF/HF)을 이용하여 기쁨, 공포, 슬픔, 즐거움, 화남, 혐오에 해당하는 감정을 분류한다.

컴퓨터로 구현되는 방법에 있어서, 사용자의 뇌파 데이터와 심전도 데이터를 입력 데이터로 취득하는 단계; 상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값을 혼합한 복합 생체신호를 이용하여 상기 사용자의 감정 상태를 분류하는 단계; 및 상기 분류된 감정 상태를 컴퓨터 입력을 위한 인터페이스 변수로 사용하는 단계를 포함하는 컴퓨터로 구현되는 방법을 제공한다.

컴퓨터 시스템이 뇌파 측정을 통해 감성상태를 분류하도록 제어하는 명령(instruction)을 포함하는 컴퓨터 판독가능 매체로서, 상기 명령은, 사용자의 뇌파 데이터와 심전도 데이터를 입력 데이터로 취득하는 단계; 및 상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값을 혼합한 복합 생체신호를 이용하여 상기 사용자의 감정 상태를 분류하는 단계를 포함하는 방법에 의하여 상기 컴퓨터 시스템을 제어하는, 컴퓨터 판독가능 저장 매체를 제공한다.

컴퓨터 시스템이 뇌파 측정을 통해 감성상태를 분류하도록 제어하는 명령(instruction)을 포함하는 컴퓨터 판독가능 매체로서, 상기 명령은, 사용자의 뇌파 데이터와 심전도 데이터를 입력 데이터로 취득하는 단계; 상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값을 혼합한 복합 생체신호를 이용하여 상기 사용자의 감정 상태를 분류하는 단계; 및 상기 분류된 감정 상태를 컴퓨터 입력을 위한 인터페이스 변수로 사용하는 단계를 포함하는 방법에 의하여 상기 컴퓨터 시스템을 제어하는, 컴퓨터 판독가능 저장 매체를 제공한다.

적어도 하나의 프로그램이 로딩된 메모리; 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 프로그램의 제어에 따라, 사용자의 뇌파 데이터와 심전도 데이터를 입력 데이터로 취득하는 과정; 및 상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값을 혼합한 복합 생체신호를 이용하여 상기 사용자의 감정 상태를 분류하는 과정을 처리하는 것을 특징으로 하는 시스템을 제공한다.

본 실시예에 따르면, 감정인식의 정확도와 처리속도를 개선해 다양한 분야에서 이용 가능한 인터페이스의 개발을 위해 뇌파와 심전도를 복합하여 사용하는 생체신호 인터페이스 시스템을 제공할 수 있다. 뇌파와 심전도의 복합 생체신호는 뇌파의 감정인식 특징과 심전도의 자율 신경계 비율의 특징을 혼합하는 방법으로 사용자의 감정 상태를 더 정확하게 분류할 수 있다.

도 1은 본 발명의 일실시예에 있어서 복합 생체신호 감정인식 시스템의 구조도를 도시한 것이다.
도 2는 본 발명의 일실시예에 있어서 복합 생체신호 처리를 위한 데이터 맵을 생성하는 과정을 도시한 순서도이다.
도 3과 도 4는 본 발명의 일실시예에 있어서 뇌파 특징 데이터를 설명하기 위한 예시 도면이다.
도 5는 본 발명의 일실시예에 있어서 심전도 특징 데이터를 설명하기 위한 예시 도면이다.
도 6은 본 발명의 일실시예에 있어서 데이터 테이블 구성 및 감정 분류 과정을 설명하기 위한 예시 도면이다.
도 7은 본 발명의 일실시예에 있어서 감정 유발 실험을 위한 영상 구성의 예시를 도시한 것이다.
도 8은 본 발명의 일실시예에 있어서 뇌파 측정을 위한 전극 위치의 예시를 도시한 것이다.
도 9는 본 발명의 일 실시예에 있어서, 컴퓨터 시스템의 내부 구성의 일례를 설명하기 위한 블록도이다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

본 실시예들은 실시간 사용자 인터페이스를 위하여 뇌파 및 심전도의 생체신호를 복합적으로 이용한 감정인식 기술에 관한 것이다.

본 발명에서는 생체신호 기반 인터페이스 연구 중 감정을 인식하는 인터페이스에 초점을 맞춘다. 감정은 인성의 기본 구성 요소이자 동기 부여의 중요한 원천이다. 따라서, 감정을 컴퓨터 입력을 위한 인터페이스 변수로 사용한다면 게임을 포함한 다양한 콘텐츠에서 재미와 동기를 부여할 수 있다. 기존에 감정을 분석하기 위한 연구는 뇌파와 심전도를 이용해 다양하게 진행되었으나, 감정인식의 문제점은 낮은 정확도로 인터페이스로의 사용이 불가능하다는 것이었다. 따라서, 본 발명에서는 감정인식의 정확도와 처리속도를 개선해 다양한 분야에서 이용 가능한 인터페이스의 개발을 위해 뇌파와 심전도를 복합하여 사용하는 생체신호 인터페이스 시스템을 제공한다. 본 발명에서 제안한 뇌파와 심전도의 복합 생체신호는 뇌파의 감정인식 특징과 심전도의 자율 신경계 비율의 특징을 혼합하는 방법으로 사용자의 감정 상태를 더 정확하게 분류할 수 있다.

본 발명은 뇌파와 심전도에 해당하는 복합 생체신호를 이용해 사용자의 감정을 인식하는 시스템과 인터페이스의 개발을 목표로 한다. 따라서 사용자의 뇌파와 심전도를 동시에 측정하고 특정 감정으로 분류하는 감정인식 시스템의 개발과 이에 연동되는 인터페이스 모듈의 개발이 필요하다.

도 1은 본 발명의 일실시예에 있어서 복합 생체신호 감정인식 시스템의 구조도이다.

도 1을 참조하면, 복합 생체신호 감정인식 시스템(100)은 입력 모듈(110), 데이터 맵 생성 모듈(120), 분류 모듈(130), 실시간 처리기(140) 및 감정인식 모듈(150)을 포함한다.

복합 생체신호 감정인식 시스템(100)은 입력 모듈(110)을 통해 입력 데이터로서 사용자의 뇌파와 심전도가 취득되면 먼저 데이터 맵 생성 모듈(120)에서 사용자 데이터의 모델 생성을 위해 데이터 맵을 생성한다. 데이터 맵에 저장된 사용자의 생체신호는 분류 모듈(130)을 통해 각각의 감정으로 분류되어 저장되며 이때 사용된 생체신호의 특징 값들은 사용자의 감정을 분류하는 가중치로 저장된다. 또한, 복합 생체신호 감정인식 시스템(100)을 인터페이스로 사용할 경우 취득되는 입력 데이터는 실시간 처리기(140)를 통해 사용자 뇌파, 심전도의 특징 값들을 추출한 후 감정인식 모듈(150)을 통해 사용자의 데이터 모델과 비교해 사용자의 패턴, 가중치를 고려해 실시간으로 사용자의 감정을 예측한다.

이하에서는 뇌파와 심전도에서 취득되는 감정이 각각의 사용자마다 상이한 패턴을 보이는 점을 보완하기 위해 각각의 사용자마다 데이터 맵을 만들고 지속적으로 가중치를 갱신하는 방법을 적용한다.

도 2는 본 발명의 일실시예에 있어서 복합 생체신호 처리를 위한 데이터 맵 생성 모듈의 구조도를 도시한 것으로, 복합 생체신호를 분류하는 과정은 다음과 같다.

데이터 맵 생성 모듈(120)은 입력 데이터인 뇌파 데이터(EEG data)와 심전도 데이터(ECG data)에 대해 각각 움직임, 호흡과 같은 인공 산물과 잡음을 제거하기 위한 전처리 과정을 수행한다(201). 이때, 데이터 맵 생성 모듈(120)은 심전도 데이터의 경우 전처리 과정(201)에서 특징 분류를 위해 R-R 간격(Interval)의 피크 값을 구해 HRV(심박동변동성) 데이터로 변환한다.

데이터 맵 생성 모듈(120)은 단계(201)에서 전처리 된 데이터에 대해 생체신호 속의 중요한 정보를 분석하기 위해 FFT(고속 푸리에 변환)를 통해 주파수대역 특성으로 변환할 수 있고, 이때 주파수 대역에서는 뇌파와 심전도 모두 의미 있는 데이터를 검출할 수 있기 때문에 파워 스펙트럼(Power Spectrum) 분석을 통해 주파수 대역의 파워 값을 구한다(202).

데이터 맵 생성 모듈(120)은 사용자의 감정을 분류하기 위해 뇌파 데이터와 심전도 데이터에서 취득된 특징 값들로 데이터 테이블을 생성한다(203). 일례로, 데이터 테이블은 뇌파의 특성 상 부착되는 전극(채널)마다 생성되어 1~8채널의 8개의 테이블이 생성된다. 전극과 채널 번호는 각각 <1-C3, 2-C4, 3-T7, 4-T8, 5-P7, 6-P8, 7-CP5, 8-CP6>과 같이 매칭될 수 있다.

데이터 맵 생성 모듈(120)은 단계(203)에서 생성된 데이터 테이블을 베이지안 네트워크 분류기를 통해 각각의 채널 별로 추론된 감정상태를 확률 값으로 변환한다(204). 베이지안 네트워크는 확률 추론이 가능하기 때문에 사용자 별 개인 감정의 차이를 보완할 수 있다.

데이터 맵 생성 모듈(120)은 각 채널 별로 구성된 확률 값을 사용자의 감정을 분류할 수 있는 데이터 맵으로 저장한다(205).

본 실시예에 따르면, 사용자가 지속적으로 훈련 또는 인터페이스를 사용하게 되면 이전의 데이터 맵과 이후에 저장되는 새로운 데이터와 비교해 각각의 감정상태에 대한 가중치를 갱신한다. 따라서, 복합 생체신호 감정인식 시스템(100)은 데이터 맵 생성 모듈(120)을 통해 사용자의 감정 분류의 정확도를 향상시킬 수 있다.

뇌파 특징 데이터 생성

본 발명에서 뇌파 데이터는 기쁨, 공포, 슬픔, 즐거움, 화남, 혐오에 해당하는 6가지 감정을 분류하는 지표로 사용될 수 있다. 예를 들어, 기쁨은 Comic 즉 웃긴 얘기를 들었을 때, 즐거움은 Joy 즉 귀여운 어린 아이를 볼 때와 같이 흐뭇하고 기분이 좋아지는 감정으로 정의한다. 뇌파 데이터를 통해 감정을 분류하기 위해서는 취득되는 신호의 각 채널 별 세타(theta), 알파(alpha), 베타(beta), 감마(gamma)파의 상대적인 파워 값의 비율을 통해 각 채널에 대응하는 감정의 패턴을 파악할 수 있다.

먼저, 실시간으로 뇌파신호에서 4가지 파형의 상대 파워 값을 구하기 위해서 취득되는 원 신호를 90%의 오버랩 비율로 10초 단위의 버퍼를 생성한다. 10초의 버퍼는 실시간으로 취득되는 뇌파에서 감정 패턴을 갱신하는 최소 단위로 사용한다.

버퍼는 신호의 잡음을 포함하는 델타(0~4Hz)파를 제외하고 4~50Hz대역으로 밴드패스 필터를 적용한다. 4~50Hz대역의 데이터는 FFT를 주파수 대역으로 변환되며 파워스펙트럼 분석으로 세타(4-8Hz), 알파(8~12Hz), 베타(12~30Hz), 감마(30~50Hz)파의 파워 값으로 각각 분류된다.

도 3은 공포에 해당하는 영상을 보여 줬을 때 취득한 8개 채널의 상대 파워 값 결과이고, 도4는 기쁨과 공포 그리고 혐오에 대한 상대 파워 값을 각 채널 별로 비교한 데이터이다. 도 3과 도 4에서 확인할 수 있듯이, 기쁨과 상반되는 두 개의 감정에서 특정 채널마다 차이를 보인다. 예를 들어, 공포의 경우 대부분의 채널에서 감마파가 다른 감정에 비해 상대적으로 낮게 측정되는 특징을 보인다.

채널 별로 상대파워의 비율을 확인할 경우 3채널의 데이터에서 기쁨의 경우 알파파가 다른 감정에 비해 작은 12.5%를 보이고 대부분의 감정에서 20%이상의 비율을 보인다. 따라서, 데이터 맵에서 채널 3은 기쁨의 감정을 분류할 때 다른 채널보다 높은 가중치를 부여받게 된다.

이와 같이, 본 발명에서는 뇌파 데이터의 데이터 테이블을 생성하기 위해 각 채널에서 차지하는 상대 파워 값의 비율로 특정 감정을 추론하며 각각의 채널에는 일정한 가중치를 적용한다.

심전도 특징 데이터 생성

심전도에서 측정되는 HRV(Heart rate variability: 심박동변동성)에서는 자율신경의 교감 신경과 부교감 신경의 활성도를 관측할 수 있다. 자율신경은 교감 신경이 흥분하면 심장박동이 빨라지고 위산 분비가 늘어나며 긴장상태가 된다. 반면, 부교감 신경이 흥분하면 심장박동이 줄고 호흡이 깊어지며 몸이 이완된다. 교감과 부교감 신경이 서로 상호작용을 하면서 몸의 균형을 유지하고 생체를 안정시키는 기능을 담당하는 것이다.

본 발명에서는 심전도를 통해 자율신경계의 교감 활성도와 부교감 활성도를 취득해 사용자의 쾌/불쾌에 해당하는 감정 상태를 분류한다. 쾌/불쾌에 대한 감정은 앞서 분류한 뇌파의 6가지 감정의 정확도 향상을 위한 보조 지표로 사용될 수 있다.

먼저, 심전도 데이터에서 자율신경계 정보를 취득하기 위해서는 규칙적으로 취득되는 R피크 간의 간격, 즉 HRV 시계열 데이터를 구해야 한다. 도 5는 심전도 데이터에서 검출된 R피크를 HRV 데이터로 변환되는 신호 처리 과정을 도시한 것이다.

본 발명에서는 실시간 처리환경에서 R피크를 검출하기 위해 사람의 눈으로 파형을 식별하는 작업을 흉내 내는 육안 모방 검출 기법을 사용한다.

R 파형의 경우 정상적인 일반인이 750ms를 주기로 P, Q, R, S, T의 파형을 반복하는 특징을 이용해 첫 최댓값을 기준으로 750ms사이에 기울기가 양에서 음으로 넘어가는 지점을 피크 값(Peak_n)으로 검출하며, 이는 다음 수학식 1과 같다.

[수학식 1]

R 피크는 다음의 수학식 2를 통해 피크 시간의 차와 축적 시간으로 구성된 시계열 정보 HRV로 변환된다.

[수학식 2]

HRV 역시 뇌파와 마찬가지로 FFT와 파워스펙트럼 분석을 거쳐 교감 신경(LF: 0.04~0.15㎐)과 부교감 신경(HF: 0.15~0.4㎐)의 파워 값으로 변환된다.

교감 신경과 부교감 신경은 평상시 일반 활동 중에 교감이 부교감 신경보다 6:4의 비율로 약간 더 활성화 되어 있는 것을 정상으로 본다.

따라서, 본 발명에서는 자율신경계 비율(LF/HF)을 통해 사용자의 감성 상태를 쾌/불쾌로 분류할 수 있다. 일반적인 실험에서 자율신경계 비율은 약 1.5를 정상치로 나타나고 공포와 화남, 혐오와 같은 감성에서는 최대 2.5의 수치를 보인다.

데이터 테이블 구성 및 감정 분류

본 발명에서 뇌파 데이터와 심전도 데이터는 기쁨, 공포, 슬픔, 즐거움, 화남, 혐오에 해당하는 감정을 분류한다. 데이터 테이블은 감정을 분류하기 위한 특징 데이터 세트로서 뇌파에서 사용된 8개의 채널 데이터에 따라 총 8개가 구성된다. 즉, 8개의 입력 데이터를 통해 8개의 감정 후보를 정하게 된다. 각각의 데이터 셋에 포함되는 특징 값은 세타, 알파, 베타, 감마, 자율신경계 비율(LF/HF)로 구성된다. 세타, 알파, 베타, 감마는 해당 채널에서 취득된 값이며 LF/HF는 뇌파와 동시간에 측정된 심전도의 교감/부교감 신경의 비율이다. 아래의 표 1과 표 2는 코믹 감정에 대한 데이터를 취득한 후 8개의 채널 중 1, 2채널에 해당하는 데이터 셋의 예시이다.

<채널 1에 해당하는 데이터 셋>

Theta	Alpha	Beta	Gamma	LF/HF	Class
0.5308694	0.3105837	0.1222113	0.03633557	1.500360455	Comic
0.5310839	0.3213337	0.1102834	0.03729879	1.500360455	Comic
0.3680636	0.4411482	0.1366929	0.05409542	1.500360455	Comic
0.1935838	0.5757977	0.170012	0.06060648	1.500360455	Comic
0.2462982	0.507046	0.1855877	0.06106799	1.500360455	Comic
0.3901815	0.3982252	0.1465701	0.06502326	1.500360455	Comic
0.4368203	0.3914946	0.1259946	0.04569042	1.500360455	Comic
...	...	...	...	...	Comic

<채널 2에 해당하는 데이터 셋>

Theta	Alpha	Beta	Gamma	LF/HF	Class
0.2537077	0.5591028	0.1350256	0.05216391	1.500360455	Comic
0.3670672	0.4551892	0.1262096	0.05153399	1.500360455	Comic
0.3057822	0.4825941	0.1437677	0.06785603	1.500360455	Comic
0.3457878	0.3787247	0.1825089	0.0929786	1.500360455	Comic
0.2282192	0.2522686	0.3320414	0.1874708	1.500360455	Comic
0.2980311	0.2399545	0.290357	0.1716574	1.500360455	Comic
0.3193395	0.416133	0.1358531	0.1286744	1.500360455	Comic
...	...	...	...	...	Comic

표 1과 표 2에서 보는 것과 같이, 채널 1, 2의 뇌파 값은 각각 다른 부위에서 취득된 뇌파이기 때문에 값이 다르지만 LF/HF는 동시간에 취득된 교감/부교감 신경의 비율이기 때문에 동일한 값임을 확인할 수 있다. 하나의 감정 취득을 위한 데이터는 위의 예제 같은 테이블이 8개 생성된다.

도 6은 데이터 테이블을 생성하여 감정으로 분류되는 과정을 도시한 것이다. 도 6을 참조하면, 입력된 8개의 데이터 셋은 각각 베이지안 네트워크 알고리즘을 통해 6개의 감정으로 분류된다. 도 6의 왼쪽 상단에 도시된 표들은 8개 채널의 입력 예시들이다. 베이지안 네트워크에 입력된 데이터는 트레이닝 데이터와 테스트 데이터로 나뉘어 기존에 훈련된 트레이닝 데이터를 통해 베이지안 네트워크 노드를 생성한다. 이때, 노드를 생성하는 구조 학습 방법은 K2 알고리즘을 사용할 수 있다. 네트워크 노드가 생성이 되면 각 노드 별로 확률값이 계산된다. 도 6의 오른쪽 상단에 도시된 표를 보면 각 노드 별로 입력된 값의 분포에 대응하는 감정의 확률 값을 알 수 있다. 테스트 데이터(입력 데이터)는 노드 별 확률 테이블에 근거하여 가장 높은 확률의 감정과 확률 값을 선택한다. 그리고, 선택된 확률 값들 중 가장 비율을 보이는 값을 클래스로 선택하고 그 확률을 저장한다. 도 6의 오른쪽 하단에 도시된 표는 각 채널 별로 선택된 감정과 평균 확률 값이다. 데이터 맵 알고리즘은 각각의 채널 별 확률값을 사용자의 데이터 맵에 적용해 데이터 맵이 갖고 있던 채널의 가중치를 업데이트 한다. 예를 들어, 사용자 A가 Comic감정에 대한 1채널 신뢰도가 80%이고 이번 입력에 1채널의 확률값이 가장 높다면 가중치가 수정되어 다음 데이터 분석 시 1채널이 Comic을 선택하는 경우 분석 결과가 Comic이 될 확률이 증가한다.

다시 말해, 각 채널 별로 수집된 데이터 테이블은 채널 별로 각각 베이지안 네트워크를 통해 추론된 감정과, 확률 값을 생성한다. 모든 채널의 확률 값이 계산되면 결과적으로 사용자의 감정을 정의한다. 데이터 맵에 저장된 사용자 개개인의 채널/감정 별 가중치는 마지막으로 계산된 사용자의 감정 확률을 한가지로 결정하기 위해 각 채널의 신뢰도에 해당하는 가중치를 적용한다. 따라서, 가중치가 적용된 후 가장 확률이 높은 값으로 감정이 분류된다. 이후, 가중치가 계산되기 전의 확률 값은 다시 데이터 맵을 갱신한다.

본 발명의 목적은 게임뿐만이 아니라 다양한 분야에 적용이 가능한 복합 생체신호 인터페이스의 개발에 있다. 따라서, 특별한 상황으로 유도되는 감정이 아닌 일상 생활에서 느끼는 감정을 유도하는데 초점을 맞추고 있으며, 본 발명에서 선택한 기본 정서인 기쁨, 공포, 슬픔, 즐거움, 화남, 혐오는 게임이나 드라마 등을 시청하면서 쉽게 느낄 수 있는 감정으로 다양한 분야에 적용이 가능한 인터페이스 개발을 위해 선택될 수 있다. 감정을 유도하기 위한 방법으로는 영화나 드라마 등에서 나타나는 해당 감정을 유발할 수 있는 영상 자료를 수집해서 사용한다. 예를 들어, 감정 유발 실험의 구성은 도 7과 같다. 실험은 각각의 영상에서 90초 동안 감정유발을 위한 영상을 감상하며 감정유발 영상 사이에는 결과가 겹치는 것을 방지하기 위해 30초간의 명상시간을 갖도록 한다.

뇌파의 경우 8개 채널의 부착 위치에 따라 취득되는 감정과 정보의 의미가 달라지며, 본 발명에서 취득한 뇌파의 측정 위치는 좌우측 측두엽과 두정엽을 대칭되도록 10-20 전극 배치법에 따라 도 8과 같이 T7, C3, P7, CP5, T8, C4, P8 CP6을 측정할 수 있다. 이때, 뇌파 측정 위치 선정은 감정상태가 비교적 뚜렷한 채널 중 대칭되는 구조를 갖는 8개의 채널을 사용한다.

심전도의 경우 양극 표준 유도 방식으로 집게 전극을 오른손, 왼손, 왼발에 연결 후 심전도를 기록하며 오른발에 연결한 전극을 접지로 사용할 수 있고, 유도되는 전위차는 각각 왼손과 오른손의 전위차, 오른손과 왼발의 전위차, 왼발과 왼손의 전위차가 사용된다.

본 발명에서 제안한 실시간 복합 생체신호 감정인식 인터페이스는 뇌파의 상대파워로 추론된 감정과 심전도로 취득된 사용자의 자율신경계 정보의 혼합으로 감정인식의 정확도를 향상시킬 수 있다.

본 발명은 게임뿐만이 아닌 다양한 분야에서 사용이 가능한 복합 생체신호 인터페이스에 대해 뇌파와 심전도를 혼합한 복합 생체신호를 통한 감정 인식 시스템을 제안한 것이다. 본 발명에서 제안한 시스템은 뇌파와 심전도를 이용해 사용자별 데이터 맵을 생성하고 실시간으로 취득하는 생체신호를 개인화 된 데이터 맵 DB를 통해 감정을 분류하는 역할을 한다. 본 발명에 따른 시스템은 뇌파의 경우 FFT와 파워 스펙트럼 분석을 통해 세타, 알파, 베타, 감마에 해당하는 주파수영역의 상대적인 값을 이용하고 심전도 역시 FFT와 파워 스펙트럼 분석을 통해 자율신경계의 교감 신경과 부교감 신경에 해당하는 주파수 영역을 검출한다.

본 발명은 검출된 4개 대역의 뇌파와 자율신경계 비율인 LF/HF를 이용해 사용자의 기쁨, 공포, 슬픔, 즐거움, 화남, 혐오에 해당하는 6가지 감정을 분류할 수 있다. 본 발명에 따른 시스템은 게임, 스마트 공간의 제어를 위한 "더 자연스러운 인터페이스"를 목표로 한다. 본 발명에 따른 시스템을 이용하면 사람에 감정에 따라 게임의 난이도나 오브젝트를 변화하는 서비스나 기분에 맞춰 생활 조명의 조도를 조절하는 서비스 등이 가능할 것이다.

도 9는 본 발명의 일 실시예에 있어서, 컴퓨터 시스템의 내부 구성의 일례를 설명하기 위한 블록도이다. 컴퓨터 시스템(900)은 적어도 하나의 프로세서(processor)(910), 메모리(memory)(920), 주변장치 인터페이스(peripheral interface)(930), 입/출력 서브시스템(I/O subsystem)(940), 전력 회로(950) 및 통신 회로(960)를 포함할 수 있다. 이때, 컴퓨터 시스템(900)은 복합 생체신호 감정인식 시스템에 해당될 수 있다.

메모리(920)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(920)는 컴퓨터 시스템(900)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다. 이때, 프로세서(910)나 주변장치 인터페이스(930) 등의 다른 컴포넌트에서 메모리(920)에 액세스하는 것은 프로세서(910)에 의해 제어될 수 있다.

주변장치 인터페이스(930)는 컴퓨터 시스템(900)의 입력 및/또는 출력 주변장치를 프로세서(910) 및 메모리(920)에 결합시킬 수 있다. 프로세서(910)는 메모리(920)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨터 시스템(900)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.

입/출력 서브시스템(940)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(930)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(940)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(930)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(940)을 거치지 않고 주변장치 인터페이스(930)에 결합될 수도 있다.

전력 회로(950)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(950)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.

통신 회로(960)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨터 시스템과 통신을 가능하게 할 수 있다. 또는 상술한 바와 같이 필요에 따라 통신 회로(960)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨터 시스템과 통신을 가능하게 할 수도 있다.

이러한 도 9의 실시예는, 컴퓨터 시스템(900)의 일례일 뿐이고, 컴퓨터 시스템(900)은 도 9에 도시된 일부 컴포넌트가 생략되거나, 도 9에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨터 시스템은 도 9에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(960)에 다양한 통신 방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨터 시스템(900)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (21)

1. 컴퓨터로 구현되는 뇌파 및 심전도 복합 생체신호를 이용한 실시간 감정인식 인터페이스를 위한 방법에 있어서,
   사용자의 뇌파 데이터와 심전도 데이터를 입력 데이터로 취득하는 단계; 및
   상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값을 혼합한 복합 생체신호를 이용하여 상기 사용자의 감정 상태를 분류하는 단계
   를 포함하고,
   상기 분류하는 단계는,
   상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값을 이용하여 상기 사용자의 감정 분류를 위한 데이터 맵을 생성하는 단계
   를 포함하고,
   상기 데이터 맵을 생성하는 단계는,
   상기 뇌파 데이터와 상기 심전도 데이터에 대한 FFT(고속 푸리에 변환)와 파워 스펙트럼(Power Spectrum) 분석을 통해 상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값을 구하는 단계;
   상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값으로 구성된 데이터 테이블을 생성하는 단계;
   베이지안 네트워크(Bayesian Network) 분류기를 통해 상기 데이터 테이블을 확률 값으로 변환하는 단계; 및
   상기 확률 값을 상기 사용자의 감정을 분류하기 위한 데이터 맵으로 저장하는 단계
   를 포함하는, 뇌파 및 심전도 복합 생체신호를 이용한 실시간 감정인식 인터페이스를 위한 방법.
2. 제1항에 있어서,
   상기 분류하는 단계는,
   상기 데이터 맵을 통해 상기 사용자로부터 실시간으로 측정된 뇌파와 심전도에 대응되는 감정을 분류하는 단계
   를 더 포함하는, 뇌파 및 심전도 복합 생체신호를 이용한 실시간 감정인식 인터페이스를 위한 방법.
3. 삭제
4. 제1항에 있어서,
   상기 데이터 맵을 생성하는 단계는,
   상기 뇌파 데이터와 상기 심전도 데이터에 대해 잡음 제거를 위한 전처리 과정을 수행하는 단계
   를 더 포함하는, 뇌파 및 심전도 복합 생체신호를 이용한 실시간 감정인식 인터페이스를 위한 방법.
5. 제4항에 있어서,
   상기 전처리 과정을 수행하는 단계는,
   상기 심전도 데이터의 특징 분류를 위해 상기 심전도 데이터로부터 R-R 간격(Interval)의 피크 값을 구한 후 HRV(심박동변동성) 데이터로 변환하는 것
   을 특징으로 하는, 뇌파 및 심전도 복합 생체신호를 이용한 실시간 감정인식 인터페이스를 위한 방법.
6. 제1항에 있어서,
   상기 데이터 테이블은 상기 뇌파 데이터의 특징 값인 세타(theta), 알파(alpha), 베타(beta), 감마(gamma)파의 파워 값과, 상기 심전도 데이터의 특징 값인 교감 신경(LF)과 부교감 신경(HF)의 파워 값으로 구성되는 것
   을 특징으로 하는, 뇌파 및 심전도 복합 생체신호를 이용한 실시간 감정인식 인터페이스를 위한 방법.
7. 제1항에 있어서,
   상기 데이터 테이블은 상기 뇌파 데이터를 측정하는 채널 각각에 대해 구성되되, 상기 채널 별로 상기 뇌파 데이터의 상대적인 파워 값의 비율에 따른 가중치가 부여되는 것
   을 특징으로 하는, 뇌파 및 심전도 복합 생체신호를 이용한 실시간 감정인식 인터페이스를 위한 방법.
8. 제7항에 있어서,
   상기 데이터 테이블은 상기 가중치가 적용된 각 채널의 확률 값 중 가장 확률이 높은 값으로 감정이 분류되는 것
   을 특징으로 하는, 뇌파 및 심전도 복합 생체신호를 이용한 실시간 감정인식 인터페이스를 위한 방법.
9. 제1항에 있어서,
   상기 분류하는 단계는,
   상기 뇌파 데이터로부터 세타(theta), 알파(alpha), 베타(beta), 감마(gamma)파에 해당하는 주파수 영역을 검출하고 상기 심전도 데이터로부터 교감 신경(LF)과 부교감 신경(HF)에 해당되는 주파수 영역을 검출한 후,
   상기 검출된 세타(theta), 알파(alpha), 베타(beta), 감마(gamma)파, 및 상기 검출된 교감 신경(LF)과 부교감 신경(HF)의 비율인 자율신경계 비율(LF/HF)을 이용하여 기쁨, 공포, 슬픔, 즐거움, 화남, 혐오에 해당하는 감정을 분류하는 것
   을 특징으로 하는, 뇌파 및 심전도 복합 생체신호를 이용한 실시간 감정인식 인터페이스를 위한 방법.
10. 컴퓨터로 구현되는 뇌파 및 심전도 복합 생체신호를 이용한 실시간 감정인식 인터페이스를 위한 방법에 있어서,
    사용자의 뇌파 데이터와 심전도 데이터를 입력 데이터로 취득하는 단계;
    상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값을 혼합한 복합 생체신호를 이용하여 상기 사용자의 감정 상태를 분류하는 단계; 및
    상기 분류된 감정 상태를 컴퓨터 입력을 위한 인터페이스 변수로 사용하는 단계
    를 포함하고,
    상기 분류하는 단계는,
    상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값을 이용하여 상기 사용자의 감정 분류를 위한 데이터 맵을 생성하는 단계
    를 포함하고,
    상기 데이터 맵을 생성하는 단계는,
    상기 뇌파 데이터와 상기 심전도 데이터에 대한 FFT(고속 푸리에 변환)와 파워 스펙트럼(Power Spectrum) 분석을 통해 상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값을 구하는 단계;
    상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값으로 구성된 데이터 테이블을 생성하는 단계;
    베이지안 네트워크(Bayesian Network) 분류기를 통해 상기 데이터 테이블을 확률 값으로 변환하는 단계; 및
    상기 확률 값을 상기 사용자의 감정을 분류하기 위한 데이터 맵으로 저장하는 단계
    를 포함하는, 뇌파 및 심전도 복합 생체신호를 이용한 실시간 감정인식 인터페이스를 위한 방법.
11. 청구항 11은(는) 설정등록료 납부시 포기되었습니다.

    컴퓨터 시스템이 뇌파 측정을 통해 감성상태를 분류하도록 제어하는 명령(instruction)을 포함하는 컴퓨터 판독가능 매체로서,
    상기 명령은,
    사용자의 뇌파 데이터와 심전도 데이터를 입력 데이터로 취득하는 단계; 및
    상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값을 혼합한 복합 생체신호를 이용하여 상기 사용자의 감정 상태를 분류하는 단계
    를 포함하는 방법에 의하여 상기 컴퓨터 시스템을 제어하고,
    상기 분류하는 단계는,
    상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값을 이용하여 상기 사용자의 감정 분류를 위한 데이터 맵을 생성하는 단계
    를 포함하고,
    상기 데이터 맵을 생성하는 단계는,
    상기 뇌파 데이터와 상기 심전도 데이터에 대한 FFT(고속 푸리에 변환)와 파워 스펙트럼(Power Spectrum) 분석을 통해 상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값을 구하는 단계;
    상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값으로 구성된 데이터 테이블을 생성하는 단계;
    베이지안 네트워크(Bayesian Network) 분류기를 통해 상기 데이터 테이블을 확률 값으로 변환하는 단계; 및
    상기 확률 값을 상기 사용자의 감정을 분류하기 위한 데이터 맵으로 저장하는 단계
    를 포함하는, 컴퓨터 판독가능 저장 매체.
12. 청구항 12은(는) 설정등록료 납부시 포기되었습니다.

    컴퓨터 시스템이 뇌파 측정을 통해 감성상태를 분류하도록 제어하는 명령(instruction)을 포함하는 컴퓨터 판독가능 매체로서,
    상기 명령은,
    사용자의 뇌파 데이터와 심전도 데이터를 입력 데이터로 취득하는 단계;
    상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값을 혼합한 복합 생체신호를 이용하여 상기 사용자의 감정 상태를 분류하는 단계; 및
    상기 분류된 감정 상태를 컴퓨터 입력을 위한 인터페이스 변수로 사용하는 단계
    를 포함하는 방법에 의하여 상기 컴퓨터 시스템을 제어하고,
    상기 분류하는 단계는,
    상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값을 이용하여 상기 사용자의 감정 분류를 위한 데이터 맵을 생성하는 단계
    를 포함하고,
    상기 데이터 맵을 생성하는 단계는,
    상기 뇌파 데이터와 상기 심전도 데이터에 대한 FFT(고속 푸리에 변환)와 파워 스펙트럼(Power Spectrum) 분석을 통해 상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값을 구하는 단계;
    상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값으로 구성된 데이터 테이블을 생성하는 단계;
    베이지안 네트워크(Bayesian Network) 분류기를 통해 상기 데이터 테이블을 확률 값으로 변환하는 단계; 및
    상기 확률 값을 상기 사용자의 감정을 분류하기 위한 데이터 맵으로 저장하는 단계
    를 포함하는, 컴퓨터 판독가능 저장 매체.
13. 청구항 13은(는) 설정등록료 납부시 포기되었습니다.

    적어도 하나의 프로그램이 로딩된 메모리; 및
    적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서는, 상기 프로그램의 제어에 따라,
    사용자의 뇌파 데이터와 심전도 데이터를 입력 데이터로 취득하는 과정; 및
    상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값을 혼합한 복합 생체신호를 이용하여 상기 사용자의 감정 상태를 분류하는 과정
    을 처리하고,
    상기 분류하는 과정은,
    상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값을 이용하여 상기 사용자의 감정 분류를 위한 데이터 맵을 생성하는 과정
    을 포함하고,
    상기 데이터 맵을 생성하는 과정은,
    상기 뇌파 데이터와 상기 심전도 데이터에 대한 FFT(고속 푸리에 변환)와 파워 스펙트럼(Power Spectrum) 분석을 통해 상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값을 구하는 과정;
    상기 뇌파 데이터의 특징 값과 상기 심전도 데이터의 특징 값으로 구성된 데이터 테이블을 생성하는 과정;
    베이지안 네트워크(Bayesian Network) 분류기를 통해 상기 데이터 테이블을 확률 값으로 변환하는 과정; 및
    상기 확률 값을 상기 사용자의 감정을 분류하기 위한 데이터 맵으로 저장하는 과정
    을 포함하는 것을 특징으로 하는, 뇌파 및 심전도 복합 생체신호를 이용한 실시간 감정인식 인터페이스를 위한 시스템.
14. 청구항 14은(는) 설정등록료 납부시 포기되었습니다.

    제13항에 있어서,
    상기 분류하는 과정은,
    상기 데이터 맵을 통해 상기 사용자로부터 실시간으로 측정된 뇌파와 심전도에 대응되는 감정을 분류하는 과정
    을 더 포함하는 것을 특징으로 하는, 뇌파 및 심전도 복합 생체신호를 이용한 실시간 감정인식 인터페이스를 위한 시스템.
15. 삭제
16. 청구항 16은(는) 설정등록료 납부시 포기되었습니다.

    제13항에 있어서,
    상기 데이터 맵을 생성하는 과정은,
    상기 뇌파 데이터와 상기 심전도 데이터에 대해 잡음 제거를 위한 전처리 과정을 수행하는 과정
    을 더 포함하고,
    상기 전처리 과정을 수행하는 과정은,
    상기 심전도 데이터의 특징 분류를 위해 상기 심전도 데이터로부터 R-R 간격(Interval)의 피크 값을 구한 후 HRV(심박동변동성) 데이터로 변환하는 것
    을 특징으로 하는, 뇌파 및 심전도 복합 생체신호를 이용한 실시간 감정인식 인터페이스를 위한 시스템.
17. 청구항 17은(는) 설정등록료 납부시 포기되었습니다.

    제13항에 있어서,
    상기 데이터 테이블은 상기 뇌파 데이터의 특징 값인 세타(theta), 알파(alpha), 베타(beta), 감마(gamma)파의 파워 값과, 상기 심전도 데이터의 특징 값인 교감 신경(LF)과 부교감 신경(HF)의 파워 값으로 구성되는 것
    을 특징으로 하는, 뇌파 및 심전도 복합 생체신호를 이용한 실시간 감정인식 인터페이스를 위한 시스템.
18. 청구항 18은(는) 설정등록료 납부시 포기되었습니다.

    제13항에 있어서,
    상기 데이터 테이블은 상기 뇌파 데이터를 측정하는 채널 각각에 대해 구성되되, 상기 채널 별로 상기 뇌파 데이터의 상대적인 파워 값의 비율에 따른 가중치가 부여되는 것
    을 특징으로 하는, 뇌파 및 심전도 복합 생체신호를 이용한 실시간 감정인식 인터페이스를 위한 시스템.
19. 청구항 19은(는) 설정등록료 납부시 포기되었습니다.

    제18항에 있어서,
    상기 데이터 테이블은 상기 가중치가 적용된 각 채널의 확률 값 중 가장 확률이 높은 값으로 감정이 분류되는 것
    을 특징으로 하는, 뇌파 및 심전도 복합 생체신호를 이용한 실시간 감정인식 인터페이스를 위한 시스템.
20. 청구항 20은(는) 설정등록료 납부시 포기되었습니다.

    제13항에 있어서,
    상기 분류하는 과정은,
    상기 뇌파 데이터로부터 세타(theta), 알파(alpha), 베타(beta), 감마(gamma)파에 해당하는 주파수 영역을 검출하고 상기 심전도 데이터로부터 교감 신경(LF)과 부교감 신경(HF)에 해당되는 주파수 영역을 검출한 후,
    상기 검출된 세타(theta), 알파(alpha), 베타(beta), 감마(gamma)파, 및 상기 검출된 교감 신경(LF)과 부교감 신경(HF)의 비율인 자율신경계 비율(LF/HF)을 이용하여 기쁨, 공포, 슬픔, 즐거움, 화남, 혐오에 해당하는 감정을 분류하는 것
    을 특징으로 하는, 뇌파 및 심전도 복합 생체신호를 이용한 실시간 감정인식 인터페이스를 위한 시스템.
21. 청구항 21은(는) 설정등록료 납부시 포기되었습니다.

    제13항에 있어서,
    상기 분류된 감정 상태는 컴퓨터 입력을 위한 인터페이스 변수로 사용되는 것
    을 특징으로 하는, 뇌파 및 심전도 복합 생체신호를 이용한 실시간 감정인식 인터페이스를 위한 시스템.

Images