KR101870919B1

KR101870919B1 - 동공 크기 변화율을 이용한 뇌 정보 (EEG spectrum) 추출 방법 및 그 장치

Info

Publication number: KR101870919B1
Application number: KR1020170136607A
Authority: KR
Inventors: 황민철; 박상인; 이동원; 황성택; 원명주
Original assignee: 상명대학교산학협력단; 재단법인 실감교류인체감응솔루션연구단
Priority date: 2017-10-20
Filing date: 2017-10-20
Publication date: 2018-06-25
Also published as: KR20170121110A

Abstract

본 발명은 동공 크기 변화률을 통해 피험자의 뇌정보를 추출한다. 이 방법:은 피험자의 안면으로 동영상을 획득하는 단계; 상기 동영상으로부터 동공영역을 추출하는 단계; 상기 동공영역의 영상으루부터 동공 크기 변화률을 추출하는 단계; 그리고 상기 동공 크기 변화률로부터 피험자의 뇌 정보를 추출하는 단계;를 포함한다.

Description

동공 크기 변화율을 이용한 뇌 정보 (EEG spectrum) 추출 방법 및 그 장치{Method and apparatus for extracting Brain information}

본 발명은 동공 크기 변화율을 이용하여 뇌 정보 (EEG spectrum)를 추출하는 방법 및 그 장치에 관한 것이다.

생체신호 모니터링 기술 (VSM, Vital Sign Monitoring)은 사용자의 신체에 부착된 센서를 이용하여 생체정보를 취득하는 기술은 의미한다. 센서를 통해 취득하는 사용자의 생체 정보는 맥박, 혈압, 심전도, 체온 등이 있다. 사용자로부터 취득된 생체정보는 U-healthcare 산업 (Wellness IT), 감성 ICT 산업 (Emotion Marketing, Services, Therapy 등), 보안 산업, 교육 산업 등의 다양한 산업분야에 적용되어 응용 및 부가가치 창출한다. 또한, 이는 산업간 융복합 및 제품·서비스의 가치혁신을 통해 기존 제품과 전혀 다른 기능·형태의 새로운 제품 및 서비스 제공이 가능하다 (장병준 ＆ 최선웅, 2008; 더힘스 ＆ 박승훈, 2013; 정혜실, 2014).

기존의 생체신호 모니터링 기술은 사용자에 생체 반응을 취득하기 위해 센서를 신체에 부착하는 비현실적 센싱 방법으로 산업분야에 적용하는데 그 한계가 있다. 따라서, 인체에 접촉하지 않고 고통을 주지 않으며 사용자의 활동에 지장을 주지 않도록 의식하지 못하는 가운데 생체정보를 측정하는 무구속/무자각 센싱 기술이 필요한 실정이다 (더힘스 ＆ 박승훈, 2013). 이에 따라, 최근 카메라 기술을 이용해 사용자의 생체정보를 추론하는 기술이 개발되고 있다. 카메라를 이용한 생체 정보 추론 기술은 완전한 무구속/무자각 생체신호 센싱 기술로 볼 수 있다. MIT media lab에서 심장에서 얼굴로 유입되는 혈액에 따라 미세하게 나타나는 얼굴의 색상정보를 분석하고 이를 통해 심장 박동을 추론하는 기술을 개발하였다 (Poh et al., 2011). 또한, MIT CSAIL lab에서는 심장에서 머리로 혈액이 유입되는 과정에서 머리의 미세 움직임이 발생하고 머리의 미세 움직임을 PCA 분석을 통해 심장관련 주파수 영역을 찾아냄으로써, 심장박동을 추론하는 기술을 보고하였다 (Balakrishnan et al., 2013).

상기에 보고된 비접촉식 심장 정보 추론 기술은 추론 가능한 심장 변수가 한정적으로 실제 활용도가 높은 심장 변수가 충분히 고려되지 않았다. 또한, 데이터 검증의 과정에서 피험자의 평균값을 기준으로 계산하여 분석에 사용된 샘플 수가 12개로 검증의 신뢰성 부족하고 자체 개발된 ECG 센서를 기준으로 추론된 데이터를 검증하여 검정의 신뢰성이 부족하다. 따라서 본 발명에서는 선행 연구의 심장 정보 추론 기술에 대비하여 심장 정보의 유효 추론 변수의 증가 및 높은 정확도를 확보할 수 있는 방법론을 제안하고자 한다. 본 발명에서 개발된 무구속/무자각 생체정보 추론 기술은 U-healthcare (Wellness IT), 감성 ICT (Emotion Marketing, Services, Therapy etc.), 보안, 교육 등의 다양한 산업 분야에 적용되어 새로운 제품 및 서비스를 기반으로 새로운 가치를 창출 할 수 있을 것으로 기대된다.

Balakrishnan, G., Durand, F., and Guttag, J. (2013). Detecting pulse from head motions in video. In Computer Vision and Pattern Recognition (CVPR), 2013 IEEE Conference on (pp. 3430-3437). IEEE. Poh, M. Z., McDuff, D. J., and Picard, R. W. (2011). Advancements in noncontact, multiparameter physiological measurements using a webcam. Biomedical Engineering, IEEE Transactions on, 58(1), 7-11. 더힘스, 박승훈. (2013). 웰니스 분야의 IT 융합 동향. 장병준, 최선웅. (2008). Wireless Body Area Network 기술 동향. 전자파기술, 19(3), 35-46. 정혜실. (2014). 헬스케어 웨어러블 디바이스의 동향과 전망. KHIDI Brief, 115.

본 발명은 동공영상으로부터 뇌의 지점별 주파수 정보를 추출하는 방법 및 장치를 제시한다.

본 발명에 따른 방법:은

피험자의 안면으로 동영상을 획득하는 단계;

상기 동영상으로부터 동공영역을 추출하는 단계;

상기 동공영역의 영상으루부터 동공 크기 변화률을 추출하는 단계;

상기 동공 크기 변화률로부터 피험자의 뇌 정보를 추출하는 단계;를 포함한다.

본 발명의 일 실시 예에 따르면, 상기 동공 크기 변화률을 주파수 대역별로 필터링하되, 1/100 조화 주파수를 적용하여 해당 주파수 대역의 뇌 정보에 대응하는 데이터로 추출할 수 있다.

본 발명의 다른 실시 예에 따르면, 상기 주파수 대역별로 필터링된 데이터를 FFT 분석을 통해 Power Spectrum Density를 추출하고 추출된 파워를 합(Summation) 할 수 있다.

본 발명의 다른 실시 예에 따르면, 상기 주파수 대역별로 필터링된 데이터를 FFT 분석하여 얻어진 파워 값을 Total Power로 하여 각 주파수 대역의 파워량 (%)을 계산 할 수 있다.

상기 방법을 수행하는 본 발명에 따른 동공 크기 변화율을 이용한 뇌 정보 추출 장치:는 상기 피험자의 안면을 촬영하는 동영상 카메라;와

상기 동영상으로부터 동공영역을 추출하고, 이를 이용해 동공 크기 변화률을 추출하여 피험자의 뇌정보에 대응하는 데이터를 추출하는 분석 시스템;을 구비할 수 있다.

본 발명은 동공영상으로부터 뇌의 지점별 주파수 정보 (FP1 - low beta, mid beta, SMR, F3 - beta, F8 - high beta, C4 - mu, P4 - gamma)를 추출하는 방법 및 시스템을 제시한다. 이에 따라, 뇌파 센서로부터 취득된 데이터와 동공 데이터에서 추론한 데이터간의 정확도를 분석하였고 두 신호간의 높은 상관성과 낮은 에러율을 확인 하였다. 또한, 상기의 알고리즘을 기반으로 실시간으로 동공 영상을 취득하여 뇌의 주파수 정보를 추론할 수 있는 시스템을 개발하였다. 본 발명에서 개발된 무구속/무자각 뇌정보 추론 기술은 U-healthcare (Wellness IT), 감성 ICT (Emotion Marketing, Services, Therapy etc.), 보안, 교육 등의 다양한 산업 분야에 적용되어 새로운 제품 및 서비스를 기반으로 새로운 가치를 창출 할 수 있을 것으로 기대된다.

도1은 국제10-20법에 따른 EEG(Electroencephalogram) 측정 지점을 나타내 보인다.
도2는 본 발명에 따른 동공 영상 처리 과정을 예시한다.
도3은 본 발명은 뇌파 신호 처리 과정을 예시한다.
도4는 동공 및 뇌파 기반 EEG spectrum (low beta in FP1 area) 신호 비교 결과 (Participants 7) 를 도시한다.
도5는 동공 및 뇌파 기반 EEG spectrum (mid beta in FP1 area) 신호 비교 결과 (Participants 7) 를 도시한다.
도6은 동공 및 뇌파 기반 EEG spectrum (SMR in FP1 area) 신호 비교 결과 (Participants 7) 를 도시한다.
도7은 동공 및 뇌파 기반 EEG spectrum (beta in F3 area) 신호 비교 결과 (Participants 7)를 도시한다.
도8은 동공 및 뇌파 기반 EEG spectrum (high beta in F8 area) 신호 비교 결과 (Participants 7)
도9는 동공 및 뇌파 기반 EEG spectrum (mu in C4 area) 신호 비교 결과 (Participants 7) 를 도시한다.
도10은 동공 및 뇌파 기반 EEG spectrum (gamma in P4 area) 신호 비교 결과 (Participants 7) 를 도시한다.
도11은 동공 및 뇌파 기반 EEG spectrum 신호 상관성 및 에러율 비교 결과를 보인다.
도12는 동공 기반 뇌 반응 추론 시스템의 인터페이스 화면을 예시한다.

이하, 첨부된 도면을 참고하면서, 본 발명에 따라 동공 영상으로부터 뇌파의지점 별 주파수 정보를 추출하는 방법 및 영상 카메라와 분석 시스템을 포함하는 PC 기반의 시스템에 대해 살펴본다.

1. 피험자

본 발명의 실험에서는 피험자 15 명 (남, 여 각각 7명 - 평균 나이: 28.2±3.24)이 실험에 참여하였다. 피험자는 중추 및 자율신경계와 시각기능에 병력이나 과거력이 없는 자를 대상으로 하였다. 실험에 참여하기 전, 신경계에 영향을 끼칠 수 있는 음주, 흡연, 카페인 등을 제한하였고 실험 전날 충분한 수면을 통해 실험 당일, 피로를 최소화할 수 있도록 하였다. 피험자로부터 연구 목적을 제외하고 실험에 대한 대략적인 사항에 대해 설명한 후 자발적 참여의사에 대한 피험자 동의서를 받았다. 실험에 참여한 대가로 소정의 금액을 지불하여 실험 참여의사를 높였다.

2. 실험절차

피험자는 편안한 의자에 앉은 상태로 스크린을 응시하도록 하였고 피험자와 스크린과의 거리는 1m로 하였다. 움직임이 없는 상태에서 3분 동안 스크린에 제시되는 기준 자극(reference stimuli)으로서 그레이바(grey bar)응시하도록 하였다. 피험자가 스크린을 응시하는 동안 심전도 (ECG, electrocardiogram)과 동공 이미지(Pupil image)를 동시에 측정하였다. 동공 측정에 영향을 줄 수 있는 실험 환경 및 자극의 조명은 모든 피험자에게 동일한 조건으로 통제하였다.

3. 데이터 수집 및 신호처리

뇌파는 도1에 도시된 바와 같이, 국제전극배치법 '10-20' 시스템을 기준으로 FP1, FP2, F3, Fz, F4, F7, F8, C3, Cz, C4, T3, T4, T5, T6, P3, Pz, P4, O1, O2 지점의 19 채널 데이터를 측정하였고, AFz 지점을 그라운드로 양쪽 귀를 레퍼런스 (Ear Reference, A1 ＆ A2)로 하여 저항이 3 KΩ 이하가 되도록 하였다. 뇌파는 Mitsar-EEG 202 Machine (Mitsar Ltd., in Russia) 장비를 이용하여 500 Hz Sampling rate로 취득하였다. DC level은 0 - 150 Hz로 설정하였고 300 mV로 취득하였다. 뇌파 신호 취득을 위한 Montage는 Monopolar electrode montages로 설정하였다. 수집된 신호는 Labview 2010 software (National Instrument Inc., USA)를 사용하여 신호처리 하였다. 동공 영상은 Point grey camera (FL3-GE-50S5M-C, Canada)를 이용해 30 frame/second로 취득하였고 영상의 해상도는 960*400으로 하였다.

취득된 적외선 영상에서 동공 영역을 추출하기 위해 OpenCV를 이용하여 그레이스케일과 Threshold를 통한 이진화 변환하였다. 동공 이외의 영역이 제거된 이진화 영상에서 윤곽선 검출 방법을 이용하여 동공 영역을 트래킹 하였다. 영상 처리 프로그램에서 사각형 객체(Object) rect로 저장된 동공 영역에서 동공 크기에 영향을 주는 눈 깜빡임을 측정하기 위한 아래의 식 1의 조건에 부합하는 경우에만 동공의 반지름인 rect.width를 원주율 공식에 적용하여 동공 크기를 추출하였다.

즉, 동공의 높이(rect.height)에 대해 그 폭(rect.width)의 비가 0.5 이상일 때 깜빡임으로 판정하였다. 뇌파 데이터와 비교하기 위해 각 주파수 대역 별로 대역 통과 필터, 즉BPF(Band Pass Filter) 처리하였다. 동공 크기 변화율 데이터는 1 Hz로 샘플링된 데이터로 최대 0.5 Hz 대역까지 주파수 정보를 확인할 수 있으므로 뇌파 주파수와 비교하기 위해 1/100 비율의 조화 주파수(Harmonic Frequency) 개념을 적용하였다. 1/100의 조화 주파수 정보를 , Delta (0.01 - 0.04 Hz), Theta (0.04 - 0.08 Hz), Alpha (0.08 - 0.13 Hz), Beta (0.13 - 0.30 Hz), Gamma (0.30 - 0.50 Hz), Slow alpha (0.08 - 0.09 Hz), Fast Alpha (0.10 - 0.12 Hz), Low Beta (0.12 - 0.15 Hz), Mid Beta (0.15 - 0.18 Hz), High Beta (0.20 - 0.30 Hz), Mu (0.9 - 0.12 Hz), SMR (0.12 - 0.15 Hz) 대역으로 Band Pass Filter 처리하였다. 각 주파수 대역별로 처리된 데이터는 FFT 분석을 통해 Power Spectrum Density를 추출하고 추출된 파워를 모두 합(Summation) 하였다.

이때, 추출된 각 주파수 대역의 파워는 0.01 - 0.5 Hz로 BPF 처리한 동공 크기 데이터를 FFT 하여 얻어진 파워 값을 Total Power로 하여 각 주파수 대역의 파워량 (%)을 계산 하였다. 본 과정에서 추출된 동공의 Delta, Theta, Alpha, Beta, Gamma, Slow alpha, Fast alpha, Low beta, Mid beta, High beta, SMR, Mu의 주파수 대역의 파워량 (%)은 뇌파의 Delta, Theta, Alpha, Beta, Gamma, Slow alpha, Fast alpha, Low beta, Mid beta, High beta, SMR, Mu를 추론하는데 활용하였다. 자세한 신호처리 과정은 도2와 같다.

뇌파 데이터는 BPF (Low cut: 1 Hz, High cut: 50 Hz)를 통해, Delta (1 - 4 Hz)에서부터 Gamma (30 - 50 Hz)까지 분석에 필요한 뇌파 주파수 대역을 제외한 나머지 대역의 노이즈 성분을 제거하였다 (수식 2 참조).

BPF (Low cut: 1 Hz, High cut: 50 Hz) 처리된 뇌파 신호는 주파수 분석을 위해 FFT (Fast Fourier Transform) 분석을 실시하였다 (수식 3 참조). FFT 분석을 통해 추출된 EEG Spectrum Data로부터 Delta를 통해, Delta (1 - 4 Hz), Theta (4 - 8 Hz), Alpha (8 - 13 Hz), Beta (13 - 30 Hz), Gamma (30 - 50 Hz), Slow alpha (8 - 9 Hz), Fast Alpha (10 - 12 Hz), Low Beta (12 - 15 Hz), Mid Beta (15 - 18 Hz), High Beta (20 - 30 Hz), Mu (9 - 12 Hz), SMR (12 - 15 Hz) 12개의 주파수 대역별 파워값을 추출하였다. 각 주파수 대역별로 추출된 파워값은 Total Power (1 - 50 Hz) 대비 각 주파수 대역별 파워값이 차지하고 있는 비율 (Percentage, %)로 계산하였다. 이는 동공 반응을 통해 추론한 결과와 비교하였다. 자세한 신호처리 과정은 도3과 같다.

4. 실험 결과

동공 크기 변화율을 기반으로 추론한 EEG spectrum 신호와 센서 기반의 뇌파 데이터로부터 추출된 EEG spectrum 데이터를 비교하였다. 도1을 참조하면, FP1 지점에서는 low beta, mid beta, SMR 대역에서 상관성이 높고 (low beta - r = .684, p < .05 / mid beta - r = .576, p < .05 / SMR - r = .642, p < .05) 추론된 데이터간의 편차가 작은 것을 확인하였다 (low beta: 0.26%, mid beta: 0.19%, SMR: 0.26%). 자세한 결과는 도4 ~ 6과 같다 (Participants 7).

F3 지점에서는 beta 대역에서 상관성이 높고 (r = .624, p < .05). 추론된 데이터간의 편차가 작은 것을 확인하였다 (error rate: 0.08%). 자세한 결과는 도7 과 같다 (Participants 7).

F8 지점에서는 high beta 대역에서 상관성이 높고 (r = .582, p < .05) 추론된 데이터간의 편차가 작은 것을 확인하였다 (error rate: 0.1%). 자세한 결과는 도8과 같다 (Participants 7).

C4 지점에서는 mu 대역에서 상관성이 높고 (r = .576, p < .05) 추론된 데이터간의 편차가 작은 것을 확인하였다 (error rate: 0.07%). 자세한 결과는 도9와 같다 (Participants 7).

P4 지점에서는 gamma 대역에서 상관성이 높고 (r = .639, p < .05) 추론된 데이터간의 편차가 작은 것을 확인하였다 (error rate: 2.47%). 자세한 결과는 도10과 같다 (Participants 7).

피험자 15명의 데이터는 각각의 피험자 별로 Sliding window (Window size: 30s, Resolution 1s)를 통해 각각 160 데이터 샘플의 상관분석 (correlation)과 에러율 (error rate)을 계산하였다. 상관분석은 피어슨의 상관분석을 통해 r 값을 계산하였고 error rate는 아래의 식 5를 통해 계산하였다.

피험자 15명의 EEG spectrum 데이터의 정확도 비교 결과는 도11과 같다. 동공과 심전도를 기반으로 추출된 EEG spectrum 데이터의 정확도를 비교한 결과, 강한 양의 상관성 (FP1 - low beta: r = 0.613±0.048, p < .05, mid beta: r = 0.599±0.036,p < .05, SMR: r = 0.599±0.029,p < .05, F3 - beta: r = 0.632±0.027,p < .05, F8 - high beta: r = 0.610±0.033, p < .05, C4 - mu: r = 0.627±0.039, p < .05, P4 - gamma: r = 0.618±0.034, p < .05)을 확인 하였고 평균 에러율은 (FP1 - low beta: 0.173±0.079 (%), mid beta: 0.181±0.217 (%), SMR: 0.173±0.079 (%), F3 - beta: 0.682±1.593 (%), F8 - high beta: 0.492±1.131 (%), C4 - mu: 1.773±5.335 (%), P4 - gamma: 1.646±1.938 (%))로 확인 되었다.

상기의 뇌 정보 추론 알고리즘을 기반으로 실시간으로 취득되는 동공영상을 기반으로 뇌의 주파수 정보를 추론할 수 있는 시스템을 개발하였고 개발된 시스템 화면은 도12와 같다. 도12에는 (1) 은 Input 영상, (2)는 이진화 영상, (3)은 동공 트래킹 영상, 그리고 (4)는 뇌 지점별 주파수 대역 파워량 추론 결과를 보인다.

5. 결론

본 발명은 동공영상으로부터 뇌의 지점별 주파수 정보 (FP1 - low beta, mid beta, SMR, F3 - beta, F8 - high beta, C4 - mu, P4 - gamma)를 추출하는 방법론 및 시스템 개발을 그 목적으로 하였다. 이를 위해, 뇌파 센서로부터 취득된 데이터와 동공 데이터에서 추론한 데이터간의 정확도를 분석하였고 두 신호간의 높은 상관성과 낮은 에러율을 확인 하였다. 또한, 상기의 알고리즘을 기반으로 실시간으로 동공 영상을 취득하여 뇌의 주파수 정보를 추론할 수 있는 시스템을 개발하였다. 본 발명에서 개발된 무구속/무자각 뇌정보 추론 기술은 U-healthcare (Wellness IT), 감성 ICT (Emotion Marketing, Services, Therapy etc.), 보안, 교육 등의 다양한 산업 분야에 적용되어 새로운 제품 및 서비스를 기반으로 새로운 가치를 창출 할 수 있을 것으로 기대된다.

이상에서, 본원 발명의 이해를 돕기 위하여 모범적인 실시 예가 설명되고 첨부된 도면에 도시되었다. 그러나, 이러한 실시 예는 단지 본 발명을 예시하기 위한 것이고 이를 제한하지 않는다는 점이 이해되어야 할 것이다. 그리고 본 발명은 도시되고 설명된 내용에 국한되지 않는다는 점이 이해되어야 할 것이다. 이는 다양한 다른 변형이 본 기술분야에서 통상의 지식을 가진 자에게 일어날 수 있기 때문이다.

Claims

피험자의 안면으로 동영상을 획득하는 단계;
상기 동영상으로부터 동공영역을 추출하는 단계;
상기 동공영역의 영상으루부터 동공 크기 변화률을 추출하는 단계; 그리고
상기 동공 크기 변화률로부터 피험자의 뇌 정보를 추출하는 단계;를 포함하며,
상기 동공 크기 변화률을 주파수 대역별로 필터링하되, 1/100 조화 주파수를 적용하여 해당 주파수 대역의 뇌 정보에 대응하는 데이터로 추출하는, 동공 크기 변화율을 이용한 뇌 정보 추출방법.
삭제
제1항에 있어서,
상기 주파수 대역별로 필터링된 데이터를 FFT 분석을 통해 Power Spectrum Density를 추출하고 추출된 파워를 합(Summation) 하는 것을 특징으로 하는 동공 크기 변화율을 이용한 뇌 정보 추출방법.
제3항에 있어서,
상기 주파수 대역별로 필터링된 데이터를 FFT 분석하여 얻어진 파워 값을 Total Power로 하여 각 주파수 대역의 파워량 (%)을 계산 하는 것을 특징으로 하는 동공 크기 변화율을 이용한 뇌정보 추출 방법.
제1항, 제3항 또는 제4 항 중의 어느 한 항의 방법을 수행하는 뇌정보 추출 장치에 있어서,
상기 피험자의 안면을 촬영하는 동영상 카메라;와
상기 동영상으로부터 동공영역을 추출하고, 이를 이용해 동공 크기 변화률을 추출하여 피험자의 뇌정보에 대응하는 데이터를 추출하는 분석 시스템;을 구비하는 동공 크기 변화율을 이용한 뇌정보 추출 장치.