KR100829822B1 - 신경회로망을 이용한 감정인식장치 - Google Patents
신경회로망을 이용한 감정인식장치 Download PDFInfo
- Publication number
- KR100829822B1 KR100829822B1 KR1020060069061A KR20060069061A KR100829822B1 KR 100829822 B1 KR100829822 B1 KR 100829822B1 KR 1020060069061 A KR1020060069061 A KR 1020060069061A KR 20060069061 A KR20060069061 A KR 20060069061A KR 100829822 B1 KR100829822 B1 KR 100829822B1
- Authority
- KR
- South Korea
- Prior art keywords
- input
- layer
- neural network
- emotion
- data
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Psychiatry (AREA)
- Engineering & Computer Science (AREA)
- Educational Technology (AREA)
- Biomedical Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Physics & Mathematics (AREA)
- Child & Adolescent Psychology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Developmental Disabilities (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
신경회로망을 이용한 감정인식 시스템이 개시된다. 데이터 생성부는 피측정자로부터 측정된 뇌파신호를 소정의 분할기준에 의해 주파수 대역별로 분할된 각각의 주파수 대역에 속하는 신호의 파워값의 합산값에 대한 각각의 주파수 신호의 파워값의 비를 산출하여 각각의 주파수 신호에 대응하는 파워값을 정량화하고, 각각의 정량화된 파워값을 크기에 따라 사전에 설정되어 있는 레벨값으로 변경하여 입력데이터를 생성한다. 신경회로망은 입력데이터가 입력되는 입력층, 입력데이터에 대응하는 감정값이 출력되는 출력층 및 입력층과 출력층 사이에 위치하는 은닉층으로 구성되고, 입력층과 은닉층 사이와 은닉층과 출력층 사이는 입력데이터와 감정값의 상관관계인 연결강도로 연결되며, 입력데이터에 대응하여 출력층을 통해 출력된 감정값과 사전에 설정되어 있는 감정값을 비교하여 각 층간의 오차율을 기초로 각 층간의 연결강도를 변경한다. 학습부는 각각의 피측정자의 감정상태별로 측정된 뇌파신호에 대응하는 입력데이터를 학습데이터로 하여 신경회로망의 입력층에 입력하고, 출력층의 오차율이 사전에 설정되어 있는 기준오차율에 도달한 시점의 연결강도를 각각의 감정상태에 대응하는 신경회로망의 연결강도로 결정한다. 본 발명에 따르면, 사용자의 감정에 따른 정량화된 뇌파신호로 학습을 수행하여 신경회로망의 연결강도를 결정함으로써 보다 정확한 인식결과를 얻을 수 있다.
Description
도 1은 본 발명에 따른 신경회로망을 이용한 감정인식 시스템의 구성을 도시한 블록도,
도 2는 다층 순방향 신경망의 모델을 도시한 도면,
도 3은 사용자 인터페이스부를 통해 출력되는 출력화면의 일예를 도시한 도면, 그리고,
도 4는 본 발명에 따른 신경회로망을 이용한 감정인식 시스템에서의 학습 및 인식의 수행과정을 도시한 흐름도이다.
본 발명은 신경회로망을 이용한 감정인식 시스템에 관한 것으로, 보다 상세하게는, 신경회로망을 이용하여 사람의 뇌파신호에 의해 감정을 인식하는 시스템에 관한 것이다.
감정인식을 포함하는 패턴인식 시스템의 설계시 주요하게 고려해야할 사항으로는 인식하고자 하는 대상물로부터 측정한 데이터를 정량화하는 방법과 정량화된 데이터에 의해 인식을 수행하는 방법이 있다. 이중에서 정량화된 데이터에 의해 패턴을 인식하는 방법 중 하나로 신경회로망을 이용하는 방법이 제안되어 적용되고 있다. 이러한 신경회로망은 생물의 신경전달과정을 단순화하고 이를 수학적으로 해석한 모델로써 패턴인식 기법에 가장 많이 사용되는 방법이다. 신경회로망은 순방향 신경회로망과 순환 신경회로망으로 구분되고 단층 신경회로망과 다층 신경회로망으로 구분될 수 있다. 신경회로망을 이용한 패턴인식은 가장 널리 사용되는 기법으로 뉴런과 뉴런 사이의 가중치를 조절함으로서 입력 패턴에 대한 출력 결과를 학습하는 방법이다. 다층 구조의 순방향 신경회로망의 효과적인 학습 알고리즘으로는 오류역전파 알고리즘이 많이 사용된다.
사람의 감정을 인식하는 시스템의 경우 다른 패턴인식 시스템과 동일하게 사람으로부터 측정된 생체신호를 정량화한 후에 신경회로망에 입력하여야 한다. 그러나 사람의 감정의 경우 모호성과 복잡성으로 인해 생체신호(특히, 뇌파신호)의 정량화에 대한 방법이 아직까지 정립되어 있지 않다. 때문에 사람의 감정에 따른 생체신호를 측정하고 이에 대한 정량화된 데이터베이스를 구축하고자 다각도의 연구가 진행 중에 있다.
특히 사람의 생체신호 중 가장 애매성을 가지고 있는 부분이 바로 뇌파이다. 뇌파는 진동하는 주파수의 범위에 따라 델타(δ)파(0.2~3.99 Hz), 쎄타(θ)파(4~7.99 Hz), 알파(α)파(8~12.99 Hz), 베타(β)파(13~29.99 Hz), 감마(g)파(30~50 Hz)로 구분되며 뇌의 작동 기전이 대부분 밝혀져 있지 않아 특정 상태에 대한 이론적인 추정이 어려우므로, 직접적인 임상 실험과 분석을 통해서만 그 의미 부여 및 해석이 가능하다. 이러한 이유로 인해 다각도의 연구가 진행 중이지만 뇌파신호를 기초로 사람의 감정을 인식하는 시스템은 아직까지 제안되고 있지 않은 상황이다.
본 발명이 이루고자 하는 기술적 과제는, 사람으로부터 획득된 생체신호를 다층 신경회로망에 오류역전파 알고리즘을 사용하여 학습하고 감정인식을 수행할 대상자의 생체신호를 기초로 사람의 감정을 인식할 수 있는 신경회로망을 이용한 감정인식 시스템을 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 신경회로망을 이용한 감정인식 시스템은, 피측정자로부터 측정된 뇌파신호를 소정의 분할기준에 의해 주파수 대역별로 분할된 각각의 주파수 대역에 속하는 신호의 파워값의 합산값에 대한 각각의 주파수 신호의 파워값의 비를 산출하여 상기 각각의 주파수 신호에 대응하는 파워값을 정량화하고, 상기 각각의 주파수 신호에 대응하는 정량화된 파워값을 크기에 따라 사전에 설정되어 있는 레벨값으로 변경하여 입력데이터를 생성하는 데이터 생성부; 상기 입력데이터가 입력되는 입력층, 상기 입력데이터에 대응하는 감정값이 출력되는 출력층 및 상기 입력층과 출력층 사이에 위치하는 은닉층으로 구성되고, 상기 입력층과 은닉층 사이와 상기 은닉층과 출력층 사이는 상기 입력데이터와 상기 감정값의 상관관계인 연결강도로 연결되며, 상기 입력데이터에 대응하여 출력층을 통해 출력된 감정값과 사전에 설정되어 있는 감정값을 비교하여 상기 출력층의 오차율 및 상기 입력층과 상기 출력층 사이에 배치된 은닉층의 오차율을 기초로 상기 출력층과 상기 은닉층간의 연결강도 및 상기 은닉층과 입력층간의 연결강도를 변경하는 신경회로망; 및 상기 데이터 생성부에 의해 생성된 각각의 피측정자의 감정상태별로 측정된 뇌파신호에 대응하는 입력데이터를 학습데이터로 하여 상기 신경회로망의 입력층에 입력하고, 상기 출력층의 오차율이 사전에 설정되어 있는 기준오차율에 도달한 시점의 연결강도를 상기 각각의 감정상태에 대응하는 신경회로망의 연결강도로 결정하는 학습부;를 구비한다.
본 발명에 따른 신경회로망을 이용한 감정인식 시스템은 상기 신경회로망의 연결강도를 각각의 감정상태별로 순차적으로 상기 학습부에 의해 결정된 연결강도로 설정하고, 피측정자로부터 측정된 인식용 뇌파신호에 대응하여 상기 데이터 생성부에 의해 생성된 입력데이터인 인식데이터를 상기 각각의 감정상태에 대응하는 연결강도가 설정된 상기 신경회로망의 입력층에 순차적으로 입력한 후 상기 각각의 감정상태에 대응하는 연결강도가 설정된 상기 신경회로망의 출력층을 통해 출력되는 감정값 중에서 오차율이 가장 작은 감정값을 상기 인식용 뇌파신호에 해당하는 감정값으로 출력하는 인식부를 추가적으로 구비하는 것이 바람직하다.
이에 의해 정량화된 뇌파신호로 학습을 수행하여 신경회로망의 연결강도를 결정함으로써 보다 정확한 인식결과를 얻을 수 있다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 신경회로망을 이용한 감정인식 시스템의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명에 따른 신경회로망을 이용한 감정인식 시스템의 구성을 도시 한 블록도이다.
도 1을 참조하면, 본 발명에 따른 신경회로망을 이용한 감정인식 시스템은 데이터 생성부(110), 신경회로망(120), 학습부(130), 인식부(140) 및 사용자 인터페이스부(150)를 구비한다.
데이터 생성부(110)는 피측정자로부터 측정된 뇌파신호를 소정의 분할기준에 의해 주파수 대역별로 분할하고, 분할된 각각의 주파수 대역에 속하는 신호의 파워값의 합산값에 대한 각각의 주파수 신호의 파워값의 비를 산출하여 각각의 주파수 신호에 대응하는 파워값을 정량화한다. 뇌파신호는 적어도 25명 이상의 피측정자로부터 측정되며, 측정방법은 시각자극에 대한 피측정자의 반응에 따른 뇌파신호를 측정하는 방법이 사용된다. 이러한 시각자극에 대한 반응측정방법은 플로리다 대학 심리학과 피터 랭(Peter Lang) 교수가 개발하여 국제적으로 통용되고 있는 표준화된 감성자극 체계로 일상생활의 사진 480여장으로 구성된 국제 정서 사진 체계(International Affective Picture System, IAPS)의 사진 중 감성의 이차원적으로 분류된 8가지 감성(평온, 상쾌, 기쁨, 통쾌, 긴장, 불안, 실망, 허탈)을 자극하는 사진 6장을 선택하여 피측정자들에게 보여주고 자극에 따른 기본 감성 6가지(기쁨, 슬픔, 분노, 웃음, 좌절, 놀람)에 대한 생체신호를 측정하는 방법이다.
또한 데이터 생성부(110)는 각각의 주파수 신호에 대응하는 정량화된 파워값을 크기에 따라 사전에 설정되어 있는 레벨값으로 변경하여 입력데이터를 생성한다. 이때 데이터 생성부(110)는 학습용 입력데이터의 경우에는 복수의 피측정자로부터 얻어진 각각의 감정별 뇌파신호에 대한 입력데이터를 생성하고, 인식용 입력 데이터의 경우에는 인식대상자로부터 얻어진 뇌파신호에 대한 입력데이터를 생성한다. 이를 위해 데이터 생성부(110)는 제1정량화부(210), 제2정량화부(220), 제3정량화부(230), 제4정량화부(240), 제5정량화부(250), 제6정량화부(260) 및 데이터 변환부(270)를 구비한다.
제1정량화부(210)는 뇌파신호를 획득하기 위한 각각의 전극 중에서 선택된 복수개의 전극(예를 들면, Fp1, Fp2, P3 및 P4 신호가 입력되는 전극)으로부터 입력되는 각 신호별 파워값에 대한 선택된 복수개의 전극 각각으로부터 입력되는 각각의 신호를 소정의 제1주파수 대역별(예를 들면, 4~7.99 Hz, 8~12.99 Hz, 13~29.99 Hz 및 30~50 Hz)로 분할하고, 분할된 각각의 주파수 대역에 속하는 각각의 제1주파수 신호(쎄타파, 알파파, 베타파 및 감마파)의 파워값의 비를 산출하여 제1정량화 데이터를 생성한다. 표 1에는 학습용 입력데이터의 생성시 제1정량화부(210)에 의해 생성된 각각의 감정별 정량화값이 기재되어 있다.
| 파종류 | 입력신호 | 중립(%) | 기쁨(%) | 웃음(%) | 놀람(%) | 분노(%) | 좌절(%) | 슬픔(%) |
| 쎄타파 | Fp1 | 43.1 | 48.0 | 45.8 | 47.5 | 44.7 | 46.3 | 44.0 |
| Fp2 | 35.7 | 60.6 | 46.1 | 55.3 | 56.3 | 63.7 | 62.8 | |
| P3 | 21.3 | 36.0 | 29.5 | 36.0 | 40.1 | 32.2 | 27.7 | |
| P4 | 15.1 | 35.0 | 31.0 | 35.9 | 33.6 | 36.0 | 50.5 | |
| 알파파 | Fp1 | 17.9 | 16.5 | 17.5 | 16.4 | 16.5 | 14.7 | 16.7 |
| Fp2 | 26.3 | 18.1 | 18.9 | 19.5 | 17.5 | 18.5 | 15.7 | |
| P3 | 33.6 | 25.6 | 29.4 | 28.4 | 23.4 | 30.7 | 32.7 | |
| P4 | 52.1 | 27.2 | 29.7 | 27.4 | 28.3 | 28.9 | 33.1 | |
| 베타파 | Fp1 | 28.9 | 25.9 | 26.5 | 26.2 | 27.9 | 28.0 | 28.3 |
| Fp2 | 29.0 | 16.2 | 29.7 | 19.6 | 21.3 | 14.0 | 18.5 | |
| P3 | 32.4 | 27.9 | 32.0 | 25.9 | 27.8 | 28.5 | 32.0 | |
| P4 | 24.3 | 26.0 | 27.8 | 24.7 | 27.5 | 24.4 | 26.7 | |
| 감마파 | Fp1 | 10.0 | 9.4 | 9.6 | 9.4 | 10.6 | 10.7 | 10.8 |
| Fp2 | 8.6 | 4.6 | 5.1 | 5.0 | 4.4 | 3.3 | 2.6 | |
| P3 | 12.6 | 10.2 | 8.8 | 9.4 | 8.4 | 8.4 | 7.4 | |
| P4 | 8.5 | 11.6 | 11.0 | 11.7 | 10.4 | 10.5 | 9.5 |
표 1에서 Fp1와 Fp2는 뇌의 전두엽에 위치한 전극으로부터 측정된 신호이고, P3 및 P4는 뇌의 후두엽에 위치한 전극으로부터 측정된 신호이다. 각각의 전극으로부터 측정된 신호는 주파수를 기초로 델타파, 쎄타파, 알파파, 베타파 및 감마파로 구분된다.
제1정량화부(210)는 먼저 각각의 전극으로부터 입력된 신호에 대해 감정인식에 사용되는 쎄타파, 알파파, 베타파 및 감마파의 주파수 대역에 속하는 신호들의 파워값을 추출한다. 다음으로, 제1정량화부(210)는 각각의 전극으로부터 입력된 신호의 파워값에 대해 각각의 전극으로부터 입력된 신호에 포함되어 있는 각각의 주파수 성분의 파워값의 비를 산출하여 각각의 전극으로부터 입력된 신호에 포함되어 있는 각각의 주파수 성분의 파워값을 정량화한다. 일예로, Fp1신호에 해당하는 전극으로부터 입력되는 신호의 경우 해당 전극으로부터 입력되는 신호의 전체 파워값에 대한 쎄타파, 알파파, 베타파 및 감마파의 파워값의 비는 각각 43.1%, 17.9%, 28.9% 및 10.0%이다.
다음으로, 데이터 생성부(110)의 데이터 변환부(270)는 정량화된 데이터를 크기를 기준으로 사전에 설정되어 있는 레벨값으로 변경한다. 표 2에는 표 1의 정량화된 데이터에 대해 부여된 순위값과 그에 따른 레벨값이 기재되어 있다. 본 발명에서는 표 2에 기재된 파의 종류별 입력신호의 감정별 순위값 중에서 하나의 파를 선택하여 입력데이터로 사용하며, 바람직하게는 쎄타파를 선택한다. 따라서 표 2에 기재된 레벨값 중에서 기쁨에 해당하는 감정의 학습시 신경회로망(120)에 입력되는 입력데이터는 0, -1, 0.5, 1이다.
| 파의종류 | 입력신호 | 중립 | 기쁨 | 웃음 | 놀람 | 분노 | 좌절 | 슬픔 | |||||||
| 순위 | 레벨 | 순위 | 레벨 | 순위 | 레벨 | 순위 | 레벨 | 순위 | 레벨 | 순위 | 레벨 | 순위 | 레벨 | ||
| 쎄타 | Fp1 | 1 | -1 | 2 | 0 | 2 | 0 | 2 | 0 | 2 | 0 | 2 | 0 | 1 | -1 |
| Fp2 | 2 | 0 | 1 | -1 | 1 | -1 | 1 | -1 | 1 | -1 | 1 | -1 | 3 | 0.5 | |
| P3 | 3 | 0.5 | 3 | 0.5 | 4 | 1 | 3 | 0.5 | 3 | 0.5 | 4 | 1 | 4 | 1 | |
| P4 | 4 | 1 | 4 | 1 | 3 | 0.5 | 4 | 1 | 4 | 1 | 3 | 0.5 | 2 | 0 | |
| 알파 | Fp1 | 4 | 1 | 4 | 1 | 4 | 1 | 4 | 1 | 4 | 1 | 4 | 1 | 3 | 0.5 |
| Fp2 | 3 | 0.5 | 3 | 0.5 | 3 | 0.5 | 3 | 0.5 | 3 | 0.5 | 3 | 0.5 | 4 | 1 | |
| P3 | 2 | 0 | 2 | 0 | 2 | 0 | 1 | -1 | 2 | 0 | 1 | -1 | 2 | 0 | |
| P4 | 1 | -1 | 1 | -1 | 1 | -1 | 2 | 0 | 1 | -1 | 2 | 0 | 1 | -1 | |
| 베타 | Fp1 | 3 | 0.5 | 3 | 0.5 | 4 | 1 | 1 | -1 | 1 | -1 | 2 | 0 | 2 | 0 |
| Fp2 | 2 | 0 | 4 | 1 | 2 | 0 | 4 | 1 | 4 | 1 | 4 | 1 | 4 | 1 | |
| P3 | 1 | -1 | 1 | -1 | 1 | -1 | 2 | 0 | 2 | 0 | 1 | -1 | 1 | -1 | |
| P4 | 4 | 1 | 2 | 0 | 3 | 0.5 | 3 | 0.5 | 3 | 0.5 | 3 | 0.5 | 3 | 0.5 | |
| 감마 | Fp1 | 2 | 0 | 3 | 0.5 | 2 | 0 | 3 | 0.5 | 1 | -1 | 1 | -1 | 1 | -1 |
| Fp2 | 3 | 0.5 | 4 | 1 | 4 | 1 | 4 | 1 | 4 | 1 | 4 | 1 | 4 | 1 | |
| P3 | 1 | -1 | 2 | 0 | 3 | 0.5 | 2 | 0 | 3 | 0.5 | 3 | 0.5 | 3 | 0.5 | |
| P4 | 4 | 1 | 1 | -1 | 1 | -1 | 1 | -1 | 2 | 0 | 2 | 0 | 2 | 0 | |
제2정량화부(220)는 뇌파신호를 획득하기 위한 각각의 전극 중에서 전두엽의 뇌파신호를 측정하는 복수개의 전극으로부터 입력되는 신호를 제1주파수 대역별로 분할하고, 분할된 각각의 주파수 대역에 속하는 각각의 제2주파수 신호(쎄타파, 알파파, 베타파 및 감마파)의 파워값의 합산값에 대한 각각의 제2주파수 신호의 파워값의 비를 산출하여 제2정량화 데이터를 생성한다. 또한 제3정량화부(230)는 뇌파신호를 획득하기 위한 각각의 전극 중에서 전두엽의 뇌파신호를 측정하는 복수개의 전극으로부터 입력되는 신호를 소정의 제2주파수 대역별(예를 들면, 12~12.99 Hz, 18~29.99 Hz 및 30~50 Hz, 8~12.99 Hz)로 분할하고, 분할된 각각의 주파수 대역에 속하는 각각의 제3주파수 신호(패스트 알파파, 하이 베타파, 감마파 및 알파파)의 파워값의 합산값에 대한 각각의 제3주파수 신호의 파워값의 비를 산출하여 제3정량화 데이터를 생성한다. 또한 제4정량화부(240)는 뇌파신호를 획득하기 위한 각각의 전극 중에서 후두엽의 뇌파신호를 측정하는 복수개의 전극으로부터 입력되는 신호를 제1주파수 대역별로 분할하고, 분할된 각각의 주파수 대역에 속하는 각각의 제4주파수 신호의 파워값의 합산값에 대한 각각의 제4주파수 신호의 파워값의 비를 산출하여 제4정량화 데이터를 생성한다. 데이터 변환부(270)는 제2 내지 제4정량화부(220 내지 240)에 의해 생성된 각각의 정량화 데이터를 크기에 따라 사전에 설정되어 있는 레벨값으로 변경하여 입력데이터를 생성한다.
표 3에는 전두엽에 해당하는 제2주파수 신호 및 제3주파수 신호, 그리고, 후두엽에 해당하는 제4주파수 신호의 감정별 정량화 데이터에 대한 순위값과 그에 따른 레벨값이 기재되어 있다.
| 위치 | 파의종류 | 중립 | 기쁨 | 웃음 | 놀람 | 분노 | 좌절 | 슬픔 | |||||||
| 순위 | 레벨 | 순위 | 레벨 | 순위 | 레벨 | 순위 | 레벨 | 순위 | 레벨 | 순위 | 레벨 | 순위 | 레벨 | ||
| 전두엽(제2주파수) | 쎄타 | 1 | -1 | 1 | -1 | 1 | -1 | 1 | -1 | 1 | -1 | 1 | -1 | 1 | -1 |
| 알파 | 2 | 0 | 2 | 0 | 2 | 0 | 2 | 0 | 3 | 0.5 | 3 | 0.5 | 2 | 0 | |
| 베타 | 3 | 0.5 | 3 | 0.5 | 3 | 0.5 | 3 | 0.5 | 2 | 0 | 2 | 0 | 3 | 0.5 | |
| 감마 | 4 | 1 | 4 | 1 | 4 | 1 | 4 | 1 | 4 | 1 | 4 | 1 | 4 | 1 | |
| 전두엽(제3주파수) | 패스트알파 | 4 | 1 | 4 | 1 | 4 | 1 | 4 | 1 | 4 | 1 | 3 | 0.5 | 3 | 0.5 |
| 하이베타 | 2 | 0 | 2 | 0 | 2 | 0 | 2 | 0 | 2 | 0 | 2 | 0 | 2 | 0 | |
| 감마 | 3 | 0.5 | 3 | 0.5 | 3 | 0.5 | 3 | 0.5 | 3 | 0.5 | 4 | 1 | 4 | 1 | |
| 알파 | 1 | -1 | 1 | -1 | 1 | -1 | 1 | -1 | 1 | -1 | 1 | -1 | 1 | -1 | |
| 후두엽 | 쎄타 | 3 | 0.5 | 1 | 1 | 1 | -1 | 2 | 0 | 2 | 0 | 1 | -1 | 3 | 0.5 |
| 알파 | 1 | -1 | 2 | 0 | 2 | 0 | 1 | -1 | 1 | -1 | 3 | 0.5 | 1 | -1 | |
| 베타 | 2 | 0 | 3 | 0.5 | 3 | 0.5 | 3 | 0.5 | 3 | 0.5 | 2 | 0 | 2 | 0 | |
| 감마 | 4 | 1 | 4 | 1 | 4 | 1 | 4 | 1 | 4 | 1 | 4 | 1 | 4 | 1 | |
제5정량화부(250)는 각각의 제2주파수 신호에 대응하는 중립의 감정상태를 나타내는 파워값에 대한 각각의 제2주파수 신호의 파워값의 비를 산출하여 제5정량화 데이터를 생성한다. 또한, 제6정량화부(260)는 각각의 제3주파수 신호에 대응하여 중립의 감정상태를 나타내는 파워값에 대한 각각의 제3주파수 신호의 파워값의 비를 산출하여 제6정량화 데이터를 생성한다. 이때 제5 및 제6정량화부(250, 260)는 다음의 수학식에 의해 전두엽에 해당하는 제2주파수 신호 및 제3주파수 신호에 대한 각각의 감정에 해당하는 파워값을 중립의 감정에 해당하는 파워값에 대한 비를 산출하여 중립감정에 대한 정량화를 수행한다.
수학식 1에서 VN은 각각의 주파수 신호를 중립감정에 대해 정량화한 데이터이고, EN은 각각의 주파수 신호에 대한 중립감정의 정량화 데이터이며, Ei는 각각의 주파수 신호의 정량화 데이터이다.
데이터 변환부(270)는 제5 및 제6정량화부(250, 260)에 의해 생성된 각각의 정량화 데이터를 크기에 따라 사전에 설정되어 있는 레벨값으로 변경하여 입력데이터를 생성한다. 표 4에는 중립감정에 대한 각각의 감정에 해당하는 정량화 데이터를 생성한 후 얻어진 순위값과 그에 따른 레벨값이 기재되어 있다.
| 위치 | 파의종류 | 기쁨 | 웃음 | 놀람 | 분노 | 좌절 | 슬픔 | ||||||
| 순위 | 레벨 | 순위 | 레벨 | 순위 | 레벨 | 순위 | 레벨 | 순위 | 레벨 | 순위 | 레벨 | ||
| 전두엽 (1그룹) | 쎄타 | 4 | 1 | 4 | 1 | 3 | 0.5 | 4 | 1 | 3 | 0.5 | 3 | 0.5 |
| 알파 | 1 | -1 | 2 | 0 | 2 | 0 | 3 | 0.5 | 4 | 1 | 2 | 0 | |
| 베타 | 3 | 0.5 | 3 | 0.5 | 4 | 1 | 2 | 0 | 2 | 0 | 1 | -1 | |
| 감마 | 2 | 0 | 1 | -1 | 1 | -1 | 1 | -1 | 1 | -1 | 4 | 1 | |
| 전두엽 (2그룹) | 패스트알파 | 2 | 0 | 2 | 0 | 3 | 0.5 | 2 | 0 | 1 | -1 | 1 | -1 |
| 하이베타 | 3 | 0.5 | 1 | -1 | 2 | 0 | 3 | 0.5 | 4 | 1 | 3 | 0.5 | |
| 감마 | 1 | -1 | 3 | 0.5 | 1 | -1 | 1 | -1 | 3 | 0.5 | 4 | 1 | |
| 알파 | 4 | 1 | 4 | 1 | 4 | 1 | 4 | 1 | 2 | 0 | 2 | 0 | |
상술한 바와 같은 과정을 통해 데이터 생성부(110)는 복수의 피측정자로부터 측정된 뇌파신호를 감정별로 구분하여 신경회로망(120)의 입력데이터를 생성한다.
신경회로망(120)은 다층 순방향 신경망으로서 입력층(310), 은닉층(320), 출력층(330) 및 으로 구성된다. 도 2에는 다층 순방향 신경망의 모델이 도시되어 있다. 다층 순방향 신경망(120)의 입력층(310)은 특징점으로 선택된 제1정량화 데이터의 레벨값, 제2정량화 데이터의 레벨값, 제3정량화 데이터의 레벨값, 제4정량화 데이터의 레벨값, 제5정량화 데이터의 레벨값 및 제6정량화 데이터의 레벨값이 입력되는 24개의 입력노드를 가진다. 또한 다층 순방향 신경망(120)의 출력층(330)은 중립, 기쁨, 슬픔 및 분노의 4개 감정 중에서 인식된 2진값의 감정별 신호를 출력하는 1개의 출력노드를 갖는다. 은닉층(320)은 5~50개까지 임의로 변경된다.
조작자는 사용자 인터페이스부(150)를 통해 다층 순방향 신경망(120)에 목표 에러값과 은닉노드의 개수를 입력한다. 다층 순방향 신경망(120)은 입력노드와 은닉노드 사이의 가중치의 초기값과 은닉노드와 출력노드 사이의 가중치의 초기값을 랜덤하게 설정한다. 다음으로, 데이터 생성부(110)에 의해 생성된 입력데이터가 다층 순방향 신경망(120)의 입력층(310)을 통해 입력되며, 입력층(310)은 입력노드와 은닉노드 사이에 설정되어 있는 가중치와 입력데이터의 합을 은닉층(320)으로 전달한다. 입력층(310)으로부터 전달받은 입력데이터 합은 은닉층(320)의 은닉노드의 시그모이드 함수를 거친 후 은닉노드와 출력노드 사이에 설정되어 있는 가중치와 합산된 후 출력층(330)으로 전달된다. 은닉층(320)으로부터 출력층(330)으로 전달된 값은 출력층(330)의 시그모이드 함수를 거친 후 0~1 사이의 값의 형태로 출력된다. 다층 순방향 신경망(120)은 출력된 결과값과 설정되어 있는 목표 에러값의 차이를 출력층(330)에서 은닉층(320)으로 역전파하며, 이어서, 은닉층(320)에서 입력층(310)으로 오차신호를 역전파한다.
순방향 다층 신경망(120)의 학습에 효과적으로 사용할 수 있는 역전파 알고리즘은 출력층(330)의 오차신호를 입력층(310)쪽으로 역전파하여 은닉층(320)과 출력층(330)간의 연결 강도와 입력층(310)과 은닉층(320)간의 연결강도를 변경하는 학습 방법이다. 이러한 역전파 알고리즘의 주요 파라메타는 오차율 0.000001, 학습율 0.1, 초기 가중치는 -0.01 ~ 0.01로 랜덤하게 설정된다. 활성화 함수는 단극성 시그모이드함수가 사용되며, 은닉노드의 개수는 학습을 위한 피측정자의 수의 변화에 따른 인식률을 기초로 결정된다. 수학식 2는 역전파 알고리즘의 활성화 함수로 사용되는 단극성 시그모이드 함수이다.
수학식 2에서 Z는 은닉노드와 출력노드의 출력값이고, Weighted_sum은 입력가중합이다. 순방향 다층 신경망(120)은 은닉노드와 출력노드의 시그모이드 함수를 거친 최종출력과 미리 설정된 목표치를 비교하여 출력층의 오차신호를 구한다. 이때 적용되는 식은 다음과 같다.
순방향 다층 신경망(120)은 수학식 3을 적용하여 얻은 출력층의 오차신호에 의해 은닉층에 전파되는 오차신호를 구한 후 수학식 4에 의해 은닉층과 출력층간의 연결강도 및 입력층과 은닉층간의 연결강도의 변화량을 구한다.
다음으로, 순방향 다층 신경망(120)은 각각의 층간의 연결강도의 변화량이 구해지면 수학식 5에 의해 다음 학습단계에서 사용될 연결강도를 구한다.
수학식 5에서 Wk+1은 다음 학습단계에서 사용될 연결강도이고, Wk는 출력층의 오차신호를 기초로 산출된 연결강도이다.
순방향 다층 신경망(120)은 상술한 역전파 학습 알고리즘에 의해 설정된 오차율에 도달할 때까지 학습을 진행한다. 실험결과 약 80만번의 반복을 거친 후 설정 오차율에 도달할 수 있었다.
학습부(130)는 데이터 생성부(110)에 의해 생성된 각각의 피측정자의 감정상태별로 측정된 뇌파신호에 대응하는 입력데이터를 학습데이터로 하여 신경회로망(120)의 입력층(310)에 입력하고, 출력층(330)의 오차율이 사전에 설정되어 있는 기준오차율에 도달한 시점의 연결강도를 각각의 감정상태에 대응하는 신경회로망(120)의 연결강도로 결정한다. 이때 학습부(130)는 피측정자의 각각의 감정상태 별로 입력데이터를 달리하여 신경회로망(120)의 입력층(310)에 입력한다. 표 5에는 신경회로망(120)의 학습에 사용되는 감정상태에 따른 특징데이터 및 각각의 감정에 대한 판단기준이 기재되어 있다. 이때, 총 7개의 감정(중립, 기쁨, 웃음, 좌절, 슬픔, 놀람 및 분노) 중에서 유사한 감정인 기쁨과 웃음, 좌절과 슬픔, 그리고, 놀람과 분노를 하나의 감정으로 분류한다.
| 감정 | 특징데이터 | 감정의 판단기준 |
| 중립 | 전극신호 | Fp1 및 Fp2 신호에 해당하는 레벨값: 0.5 또는 1 Fp1, Fp2, P3 및 P4 신호의 레벨값: (1, 0.5, 0, -1) Fp1 및 Fp2 신호의 레벨값이 각각 -1, 1이면 중립이 아님 |
| 제1전두엽 신호 | 쎄타파, 알파파, 베타파 및 감마파의 레벨값이 (-1, 0, 0.5, 1) 이거나 (-1, 0.5, 0, 1) | |
| 기쁨·웃음 | 제1전두엽 신호_중립 | 중립감정을 기준으로 생성된 쎄타파, 알파파, 베타파 및 감마파의 레벨값이 (-1, 0, 0.5, 1), (-1, 0.5, 0, 1), (1, 0.5, 0, -1)이면 기쁨·웃음이 아님 |
| 제2전두엽 신호 | 패스트 알파파, 하이 베타파, 감마파 및 알파파의 레벨값이 (0, 0.5, 1, -1) 이거나 (0.5, 1, 0, -1)임 | |
| 제2전두엽 신호_중립 | 중립감정을 기준으로 생성된 패스트 알파파, 하이 베타파, 감마파 및 알파파의 레벨값이 (-1, 0.5, 0. 1)임 | |
| 좌절·슬픔 | 후두엽 신호 | 쎄타파, 알파파, 베타파 및 감마파의 레벨값이 (0.5, -1, 0, 1) 이거나 (-1, 0.5, 0, 1)임 |
| 제2전두엽 신호_중립 | 중립감정을 기준으로 생성된 패스트 알파파, 하이 베타파, 감마파 및 알파파의 레벨값이 (0, 0.5, 1, -1) | |
| 놀람·분노 | 제2전두엽 신호_중립 | 중립감정을 기준으로 생성된 패스트 알파파, 하이 베타파, 감마파 및 알파파의 레벨값이 (0.5, 0, -1, 1) 이거나 (0, 0.5, -1, 1) |
다음의 표에는 각각의 감정별 특징데이터에 대응하는 입력데이터의 형태가 기재되어 있다.
| 입력노드 | 해당신호 | 중립 | 기쁨·웃음 | 좌절·슬픔 | 놀람·분노 |
| 1 | Fp1_전극 | ○ | × | × | × |
| 2 | Fp2_전극 | ○ | × | × | × |
| 3 | P3_전극 | ○ | × | × | × |
| 4 | P4_전극 | ○ | × | × | × |
| 5 | 쎄타_전두엽 | ○ | × | × | × |
| 6 | 알파_전두엽 | ○ | × | × | × |
| 7 | 베타_전두엽 | ○ | × | × | × |
| 8 | 감마_전두엽 | ○ | × | × | × |
| 9 | 쎄타_전두엽_중립 | × | ○ | × | × |
| 10 | 알파_전두엽_중립 | × | ○ | × | × |
| 11 | 베타_전두엽_중립 | × | ○ | × | × |
| 12 | 감마_전두엽_중립 | × | ○ | × | × |
| 13 | 쎄타_후두엽 | × | × | ○ | × |
| 14 | 알파_후두엽 | × | × | ○ | × |
| 15 | 베타_후두엽 | × | × | ○ | × |
| 16 | 감마_후두엽 | × | × | ○ | × |
| 17 | F-알파_전두엽 | × | ○ | × | × |
| 18 | H-베타_전두엽 | × | ○ | × | × |
| 19 | 감마_전두엽 | × | ○ | × | × |
| 20 | 알파_전두엽 | × | ○ | × | × |
| 21 | F-알파_전두엽_중립 | × | ○ | ○ | ○ |
| 22 | H-베타_전두엽_중립 | × | ○ | ○ | ○ |
| 23 | 감마_전두엽_중립 | × | ○ | ○ | ○ |
| 24 | 알파_전두엽_중립 | × | ○ | ○ | ○ |
표 6에 따르면, 기쁨/웃음에 대응하는 특징데이터는 중립감정의 정량화된 파워값에 대한 전두엽으로부터 측정된 정량화된 쎄타파, 알파파, 베타파 및 감마파의 파워값의 비의 크기에 따른 레벨값(즉, 제5정량화부에 의해 생성된 제5정량화 데이터), 정량화된 전두엽으로부터 측정된 패스트 알파파, 하이 베타파, 감마파 및 알파파의 파워값의 크기에 따른 레벨값(즉, 제3정량화부에 의해 생성된 제3정량화 데이터), 그리고, 중립감정의 정량화된 파워값에 대한 정량화된 전두엽으로부터 측정된 패스트 알파파, 하이 베타파, 감마파 및 알파파의 파워값의 비의 크기에 따른 레벨값(즉, 제6정량화부에 의해 생성된 제6정량화 데이터)이다. 따라서 기쁨/웃음에 대응하는 감정의 학습시 데이터가 입력되는 노드는 이들 특징데이터에 해당하는 9~10번 노드와 17~24번 노드이며, 나머지 노드의 입력값은 0으로 설정된다.
학습부(130)는 상술한 바와 같은 형태로 작성된 감정별 학습용 입력데이터를 각각의 감정별로 신경회로망(120)의 입력층(310)에 입력한다. 아울러, 학습부(130)는 신경회로망(120)의 출력층(330)으로부터 출력되는 오차율이 사전에 설정되어 있는 기준오차율에 도달한 시점의 신경회로망(120)의 각 층간의 연결강도를 해당 감정에 대응하는 연결강도로 결정하고, 이를 자체에 보유하거나 별도로 구비된 저장수단(미도시)에 저장한다.
상술한 바와 같은 구조를 갖는 본 발명에 따른 감정인식 시스템에서 신경회로망(120)은 총 24개의 입력노드와 1개의 출력노드로 구성되나, 이와 달리, 각각의 감정별로 복수의 신경회로망을 구비할 수도 있다. 본 발명에 따른 감정인식 시스템이 복수의 신경회로망을 구비할 수도 있다. 이 경우, 각각의 감정에 대응하는 신경회로망은 표 6에 기재된 감정별 입력데이터의 수에 해당하는 갯수의 입력노드 및 하나의 출력노드를 갖는다. 즉, 중립감정, 기쁨·웃음, 좌절·슬픔 및 놀람·분노에 대응하는 신경회로망의 입력노드 갯수는 각각 8개, 12개, 8개 및 4개이다. 또한, 학습부(130)는 학습시 각각의 감정에 해당하는 신경회로망에 입력데이터를 입력하며, 각각의 신경회로망의 출력층으로부터 출력되는 오차율이 사전에 설정되어 있는 기준오차율에 도달한 시점의 신경회로망의 각 층간의 연결강도를 해당 감정에 대응하는 연결강도로 결정한다.
인식부(140)는 신경회로망(120)의 연결강도를 각각의 감정상태별로 순차적으로 학습부(130)에 의해 결정된 연결강도로 설정하고, 피측정자로부터 측정된 인식용 뇌파신호에 대응하여 데이터 생성부(110)에 의해 생성된 입력데이터인 인식데이터를 각각의 감정상태에 대응하는 연결강도가 설정된 신경회로망의 입력층에 순차적으로 입력한다. 이때, 인식부(140)는 학습부(130)에 의해 결정된 각각의 감정별 신경회로망(120)의 연결강도를 설정한 후 해당 감정에 대응하는 형태로 작성된 인식데이터를 신경회로망(120)의 입력층에 입력한다. 이러한 과정은 각각의 감정에 대해 순차적으로 수행된다. 다음으로, 인식부(140)는 각각의 감정상태에 대응하는 연결강도가 설정된 신경회로망의 출력층을 통해 출력되는 감정값 중에서 오차율이 가장 작은 감정값을 인식용 뇌파신호에 해당하는 감정값으로 출력한다. 이때, 인식부(140)는 오차율이 가장 작은 감정값이 목표오차율보다 크면 감정인식에 실패한 것으로 판단한다.
한편, 신경회로망(120)이 각각의 감정별로 구비되어 있는 경우에 인식부(140)는 데이터 생성부(110)에 의해 생성된 감정별 인식데이터를 각각의 감정에 대응하는 신경회로망에 입력하고, 각각의 신경회로망으로부터 출력된 감정값 중에서 오차율이 가장 작은 감정값을 인식용 뇌파신호에 해당하는 감정값으로 출력한다.
사용자 인터페이스부(150)는 피측정자로부터 측정된 뇌파신호, 학습결과, 인식결과 등을 조작자에게 출력하거나, 조작자로부터 목표 에러값과 은닉노드의 개수를 포함하는 신경회로망(120) 파라미터, 학습명령, 인식명령 등을 입력받는 수단이다. 이를 위해 사용자 인터페이스부(150)에는 키보드, 마우스 등의 입력장치와 모니터 등의 출력장치가 구비된다. 도 3에는 사용자 인터페이스부(150)를 통해 출력되는 출력화면의 일예가 도시되어 있다.
도 4는 본 발명에 따른 신경회로망을 이용한 감정인식 시스템에서의 학습 및 인식의 수행과정을 도시한 흐름도이다.
도 4를 참조하면, 사용자 인터페이스부(150)를 통해 조작자로부터 학습명령이 입력되면, 데이터 생성부(110)는 복수의 피측정자로부터 측정된 뇌파신호를 기초로 학습을 위한 감정별 입력데이터를 생성한다(S400). 다음으로, 학습부(130)는 데이터 생성부(110)에 의해 생성된 감정별 입력데이터를 신경회로망(120)의 입력층에 입력한다(S410). 신경회로망(120)은 각각의 감정에 대해 출력된 결과값과 사전에 설정되어 있는 목표 에러값을 비교하여 학습의 종료여부를 판단한다(S420). 만약, 결과값이 목표 에러값보다 크면, 양자의 차이를 산출한 후 오차신호를 출력층으로부터 은닉층으로 역전파하고, 이어서, 은닉층으로부터 입력층으로 역전파하면서 각 층간의 연결강도를 변경한다(S430). 이러한 과정은 결과값이 목표 에러값에 도달할 때까지 반복적으로 수행된다.
다음으로, 학습부(130)는 신경회로망(120)의 출력층으로부터 출력되는 오차율이 사전에 설정되어 있는 기준오차율에 도달한 시점의 신경회로망(120)의 각 층간의 연결강도를 해당 감정에 대응하는 연결강도로 결정하고, 이를 자체에 보유하거나 별도로 구비된 저장수단에 저장한다(S440). 이와 같은 과정을 통해 학습이 종료되면, 조작자는 피측정자로부터 측정된 인식용 뇌파신호를 본 발명에 따른 감정인식 시스템에 입력한 후 감정인식을 지시한다. 감정인식명령이 입력되면 인식부(140)는 데이터 생성부(110)가 인식용 뇌파신호를 기초로 인식을 위해 생성한 인식데이터를 신경회로망(120)에 입력한다(S450). 다음으로, 인식부(140)는 신경회로망(120)으로부터 출력되는 각각의 감정별 감정값 중에서 오차율이 가장 작은 감정값을 인식용 뇌파신호에 해당하는 감정값으로 결정하여 사용자 인터페이스부(150)를 통해 출력한다(S460).
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
본 발명에 따른 신경회로망을 이용한 감정인식 시스템에 의하면, 사람으로부터 획득된 생체신호를 다층 신경회로망에 오류역전파 알고리즘을 사용하여 학습하고 감정인식을 수행할 대상자의 생체신호를 기초로 사람의 감정을 인식할 수 있다. 또한, 사용자의 감정에 따른 정량화된 뇌파신호로 학습을 수행하여 신경회로망의 연결강도를 결정함으로써 보다 정확한 인식결과를 얻을 수 있다.
Claims (8)
- 피측정자로부터 측정된 뇌파신호를 소정의 분할기준에 의해 주파수 대역별로 분할된 각각의 주파수 대역에 속하는 신호의 파워값의 합산값에 대한 각각의 주파수 신호의 파워값의 비를 산출하여 상기 각각의 주파수 신호에 대응하는 파워값을 정량화하고, 상기 각각의 주파수 신호에 대응하는 정량화된 파워값을 크기에 따라 사전에 설정되어 있는 레벨값으로 변경하여 입력데이터를 생성하는 데이터 생성부;상기 입력데이터가 입력되는 입력층, 상기 입력데이터에 대응하는 감정값이 출력되는 출력층 및 상기 입력층과 출력층 사이에 위치하는 은닉층으로 구성되고, 상기 입력층과 은닉층 사이와 상기 은닉층과 출력층 사이는 상기 입력데이터와 상기 감정값의 상관관계인 연결강도로 연결되며, 상기 입력데이터에 대응하여 출력층을 통해 출력된 감정값과 사전에 설정되어 있는 감정값을 비교하여 상기 출력층의 오차율 및 상기 입력층과 상기 출력층 사이에 배치된 은닉층의 오차율을 기초로 상기 출력층과 상기 은닉층간의 연결강도 및 상기 은닉층과 입력층간의 연결강도를 변경하는 신경회로망; 및상기 데이터 생성부에 의해 생성된 각각의 피측정자의 감정상태별로 측정된 뇌파신호에 대응하는 입력데이터를 학습데이터로 하여 상기 신경회로망의 입력층에 입력하고, 상기 출력층의 오차율이 사전에 설정되어 있는 기준오차율에 도달한 시점의 연결강도를 상기 각각의 감정상태에 대응하는 신경회로망의 연결강도로 결정하는 학습부;를 포함하며,상기 데이터 생성부는,상기 뇌파신호를 획득하기 위한 각각의 전극 중에서 선택된 복수개의 전극으로부터 입력되는 각 신호별 파워값에 대한 상기 선택된 복수개의 전극 각각으로부터 입력되는 각각의 신호를 소정의 제1주파수 대역별로 분할하고, 분할된 각각의 주파수 대역에 속하는 각각의 제1주파수 신호의 파워값의 비를 산출하여 제1정량화 데이터를 생성하는 제1정량화부;상기 뇌파신호를 획득하기 위한 각각의 전극 중에서 전두엽의 뇌파신호를 측정하는 복수개의 전극으로부터 입력되는 신호를 상기 제1주파수 대역별로 분할하고, 분할된 각각의 주파수 대역에 속하는 각각의 제2주파수 신호의 파워값의 합산값에 대한 각각의 제2주파수 신호의 파워값의 비를 산출하여 제2정량화 데이터를 생성하는 제2정량화부;상기 뇌파신호를 획득하기 위한 각각의 전극 중에서 전두엽의 뇌파신호를 측정하는 복수개의 전극으로부터 입력되는 신호를 소정의 제2주파수 대역별로 분할하고, 분할된 각각의 주파수 대역에 속하는 각각의 제3주파수 신호의 파워값의 합산값에 대한 각각의 제3 주파수 신호의 파워값의 비를 산출하여 제3정량화 데이터를 생성하는 제3정량화부;상기 뇌파신호를 획득하기 위한 각각의 전극 중에서 후두엽의 뇌파신호를 측정하는 복수개의 전극으로부터 입력되는 신호를 상기 제1주파수 대역별로 분할하고, 분할된 각각의 주파수 대역에 속하는 각각의 제4주파수 신호의 파워값의 합산값에 대한 각각의 제4주파수 신호의 파워값의 비를 산출하여 제4정량화 데이터를 생성하는 제4정량화부;상기 각각의 제2주파수 신호에 대응하는 중립의 감정상태를 나타내는 파워값에 대한 각각의 제2주파수 신호의 파워값의 비를 산출하여 제5정량화 데이터를 생성하는 제5정량화부;상기 각각의 제3주파수 신호에 대응하여 중립의 감정상태를 나타내는 파워값에 대한 상기 각각의 제3주파수 신호의 파워값의 비를 산출하여 제6정량화 데이터를 생성하는 제6정량화부; 및상기 각각의 정량화 데이터의 크기에 따라 사전에 설정되어 있는 레벨값으로 변경하여 입력데이터를 생성하는 데이터 변환부;를 포함하는 것을 특징으로 하는 신경회로망을 이용한 감정인식장치.
- 제 1항에 있어서,상기 학습부는 상기 각각의 피측정자로부터 측정된 뇌파신호에 대응하는 입력데이터를 학습데이터로 하여 상기 신경회로망의 입력층에 각각의 피측정자의 감정상태별로 순차적으로 입력하고, 상기 학습데이터에 대응하여 출력층을 통해 출력된 감정상태별 감정값과 사전에 설정되어 있는 각각의 감정상태별 감정값을 비교하여 상기 출력층의 오차율 및 상기 입력층과 상기 출력층 사이에 배치된 은닉층의 오차율을 기초로 상기 출력층과 상기 은닉층간의 연결강도 및 상기 은닉층과 입력층간의 연결강도를 변경하고, 상기 출력층의 오차율이 사전에 설정되어 있는 기준오차율에 도달한 시점의 연결강도를 상기 각각의 감정상태에 대응하는 신경회로망의 연결강도로 결정하는 각각의 감정상태에 해당하는 신경회로망의 연결강도로 결정하는 것을 특징으로 하는 신경회로망을 이용한 감정인식장치.
- 제 2항에 있어서,상기 신경회로망의 연결강도를 각각의 감정상태별로 순차적으로 상기 학습부에 의해 결정된 연결강도로 설정하고, 피측정자로부터 측정된 인식용 뇌파신호에 대응하여 상기 데이터 생성부에 의해 생성된 입력데이터인 인식데이터를 상기 각각의 감정상태에 대응하는 연결강도가 설정된 상기 신경회로망의 입력층에 순차적으로 입력한 후 상기 각각의 감정상태에 대응하는 연결강도가 설정된 상기 신경회로망의 출력층을 통해 출력되는 감정값 중에서 오차율이 가장 작은 감정값을 상기 인식용 뇌파신호에 해당하는 감정값으로 출력하는 인식부를 더 포함하는 것을 특징으로 하는 신경회로망을 이용한 감정인식장치.
- 제 1항에 있어서,상기 신경회로망은 상기 피측정자의 감정상태별로 복수개 구비되며,상기 학습부는 상기 각각의 피측정자의 감정상태별로 측정된 뇌파신호에 대응하는 입력데이터를 학습데이터로 하여 상기 감정상태에 대응하는 신경회로망의 입력층에 입력하고, 상기 학습데이터에 대응하여 출력층을 통해 출력된 감정값과 사전에 설정되어 있는 감정값을 비교하여 상기 출력층의 오차율 및 상기 입력층과 상기 출력층 사이에 배치된 은닉층의 오차율을 기초로 상기 출력층과 상기 은닉층간의 연결강도 및 상기 은닉층과 입력층간의 연결강도를 변경하고, 상기 출력층의 오차율이 사전에 설정되어 있는 기준오차율에 도달한 시점의 연결강도를 상기 각각의 감정상태에 대응하는 신경회로망의 연결강도로 결정하는 각각의 감정상태에 해당하는 신경회로망의 연결강도로 결정하는 것을 특징으로 하는 신경회로망을 이용한 감정인식장치.
- 제 4항에 있어서,상기 각각의 감정상태에 대응하는 신경회로망의 연결강도를 상기 학습부에 의해 결정된 연결강도로 설정하고, 피측정자로부터 측정된 인식용 뇌파신호에 대응하여 상기 데이터 생성부에 의해 생성된 입력데이터인 인식데이터를 상기 각각의 감정상태에 대응하는 신경회로망의 입력층에 입력한 후 상기 각각의 감정상태에 대응하는 신경회로망의 출력층을 통해 출력되는 감정값 중에서 오차율이 가장 작은 감정값을 상기 인식용 뇌파신호에 해당하는 감정값으로 출력하는 인식부를 더 포함하는 것을 특징으로 하는 신경회로망을 이용한 감정인식장치.
- 삭제
- 제 1항 내지 제5항 중 어느 한 항에 있어서,상기 선택된 복수개의 전극으로부터 입력되는 각각의 신호는 Fp1신호, Fp2신호, P3신호 및 P4신호를 포함하고,상기 제1주파수는 세타파, 알파파, 베타파 및 감마파를 포함하며,상기 제2주파수는 패스트 알파파, 하이 베타파, 감마파 및 알파파를 포함하는 것을 특징으로 하는 신경회로망을 이용한 감정인식장치.
- 제 1항 내지 제 5항 중 어느 한 항에 있어서,상기 감정상태는 중립, 기쁨, 슬픔 및 놀람 중에서 적어도 하나를 포함하는 것을 특징으로 하는 감정인식장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020060069061A KR100829822B1 (ko) | 2006-07-24 | 2006-07-24 | 신경회로망을 이용한 감정인식장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020060069061A KR100829822B1 (ko) | 2006-07-24 | 2006-07-24 | 신경회로망을 이용한 감정인식장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20080009458A KR20080009458A (ko) | 2008-01-29 |
| KR100829822B1 true KR100829822B1 (ko) | 2008-05-16 |
Family
ID=39221847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020060069061A KR100829822B1 (ko) | 2006-07-24 | 2006-07-24 | 신경회로망을 이용한 감정인식장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100829822B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103654799A (zh) * | 2013-12-13 | 2014-03-26 | Tcl集团股份有限公司 | 一种基于脑电波的婴儿情绪检测方法和装置 |
| US9189471B2 (en) | 2011-11-18 | 2015-11-17 | Samsung Electronics Co., Ltd. | Apparatus and method for recognizing emotion based on emotional segments |
| KR102043376B1 (ko) * | 2018-08-16 | 2019-11-11 | 한국과학기술연구원 | 심층 신경망 알고리즘을 이용하는 실시간 스트레스 분석 방법 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101325189B1 (ko) * | 2012-05-09 | 2013-11-07 | 상명대학교서울산학협력단 | 뇌파를 이용한 주관적 친애도 평가 방법 및 이를 적용하는 시스템 |
| KR101508200B1 (ko) * | 2014-09-22 | 2015-04-07 | 송주희 | 뇌파신호를 기반으로 하는 성격·행동·정서상태 진단시스템 |
| KR102240870B1 (ko) * | 2018-12-31 | 2021-04-16 | 상명대학교산학협력단 | 신경계 동기화를 이용한 사회 지능 평가 방법 및 장치 |
| CN110141258A (zh) * | 2019-05-16 | 2019-08-20 | 深兰科技（上海）有限公司 | 一种情绪状态检测方法、设备及终端 |
| CN110507335B (zh) * | 2019-08-23 | 2021-01-01 | 山东大学 | 基于多模态信息的服刑人员心理健康状态评估方法及系统 |
-
2006
- 2006-07-24 KR KR1020060069061A patent/KR100829822B1/ko not_active IP Right Cessation
Non-Patent Citations (1)
| Title |
|---|
| 한국퍼지및지능시스템학회 논문지, 제16권, 제3호, 2006.06.25, 이동훈, 심귀보, "MLP에 기반한 감정인식 모델 개발", pp.372-377* |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9189471B2 (en) | 2011-11-18 | 2015-11-17 | Samsung Electronics Co., Ltd. | Apparatus and method for recognizing emotion based on emotional segments |
| CN103654799A (zh) * | 2013-12-13 | 2014-03-26 | Tcl集团股份有限公司 | 一种基于脑电波的婴儿情绪检测方法和装置 |
| KR102043376B1 (ko) * | 2018-08-16 | 2019-11-11 | 한국과학기술연구원 | 심층 신경망 알고리즘을 이용하는 실시간 스트레스 분석 방법 |
| US11317840B2 (en) | 2018-08-16 | 2022-05-03 | Korea Institute Of Science And Technology | Method for real time analyzing stress using deep neural network algorithm |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20080009458A (ko) | 2008-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100829822B1 (ko) | 신경회로망을 이용한 감정인식장치 | |
| Lek et al. | Application of neural networks to modelling nonlinear relationships in ecology | |
| Ratcliff | Connectionist models of recognition memory: constraints imposed by learning and forgetting functions. | |
| CN106778014A (zh) | 一种基于循环神经网络的患病风险预测方法 | |
| CN108451540B (zh) | 一种血流储备分数测量方法和装置 | |
| Chang et al. | Biologically modeled noise stabilizing neurodynamics for pattern recognition | |
| Rodvold et al. | Introduction to artificial neural networks for physicians: taking the lid off the black box | |
| Stelmach et al. | Memory processes in motor control | |
| US5313558A (en) | System for spatial and temporal pattern learning and recognition | |
| Furui et al. | An artificial EMG generation model based on signal-dependent noise and related application to motion classification | |
| Grech et al. | Using neural networks for simultaneous and proportional estimation of upper arm kinematics | |
| JP7226497B2 (ja) | 情報処理装置、情報処理装置に知的行動を模擬させる方法、コンピュータプログラム、及び、それを記憶した記憶媒体 | |
| Phothisonothai et al. | EEG signal classification method based on fractal features and neural network | |
| Khoshdel et al. | Application of statistical techniques and artificial neural network to estimate force from sEMG signals | |
| Samsir et al. | Implementation Learning Vector Quantization Using Neural Network for Classification of Ear, Nose and Throat Disease | |
| Elshaw et al. | An associator network approach to robot learning by imitation through vision, motor control and language | |
| Mirzakuchaki et al. | A nonlinear method to estimate simultaneous force pattern generated by hand fingers; application in prosthetic hand | |
| Goharian et al. | Dynamic Modeling of the Electromyographic and Masticatory Force Relation Through Adaptive Neuro-Fuzzy Inference System Principal Dynamic Mode Analysis | |
| Roy et al. | Concurrent decoding of finger kinematic and kinetic variables based on motor unit discharges | |
| Pietka | Neural nets for ECG classification | |
| Pinzon-Arenas et al. | Deep Learning Analysis of Electrophysiological Series for Continuous Emotional State Detection | |
| Hadjileontiadou et al. | Using ANFIS to efficiently model skills and beliefs in computer-mediated collaboration | |
| Yuan et al. | Activity EMG signal identification based on radial basis function neural networks | |
| Barghout et al. | Haptic rehabilitation exercises performance evaluation using automated inference systems | |
| Maria et al. | Emotion recognition from EEG with normalized mutual information and convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130429 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20140326 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20151028 Year of fee payment: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20160325 Year of fee payment: 9 |
|
| LAPS | Lapse due to unpaid annual fee |