KR101752873B1

KR101752873B1 - 동공 크기 변화율을 이용한 심장 시간 영역의 정보 추출 방법 및 그 장치

Info

Publication number: KR101752873B1
Application number: KR1020160119554A
Authority: KR
Inventors: 황민철; 박상인; 이동원; 황성택; 원명주
Original assignee: 상명대학교산학협력단
Priority date: 2016-09-19
Filing date: 2016-09-19
Publication date: 2017-06-30
Also published as: KR20170004914A

Abstract

본 발명에 따른 방법:은 피험자의 동공을 촬영하는 단계; 동공의 크기 변화율을 추출하는 단계; 상기 변화율을 이용해 심장의 시간 영역의 정보를 추출하는 단계;를 포함한다.

Description

동공 크기 변화율을 이용한 심장 시간 영역의 정보 추출 방법 및 그 장치{Method and system for extracting heart information of time domain}

본 발명은 동공 크기 변화율을 이용한 심장의 시간 영역 (time domain) 정보 추출 방법 및 그 장치에 관한 것이다.

생체신호 모니터링 기술 (VSM, Vital Sign Monitoring)은 사용자의 신체에 부착된 센서를 이용하여 생체정보를 취득하는 기술은 의미한다. 센서를 통해 취득하는 사용자의 생체 정보는 맥박, 혈압, 심전도, 체온 등이 있다. 사용자로부터 취득된 생체정보는 U-healthcare 산업 (Wellness IT), 감성 ICT 산업 (Emotion Marketing, Services, Therapy 등), 보안 산업, 교육 산업 등의 다양한 산업분야에 적용되어 응용 및 부가가치 창출한다. 또한, 이는 산업간 융복합 및 제품·서비스의 가치혁신을 통해 기존 제품과 전혀 다른 기능·형태의 새로운 제품 및 서비스 제공이 가능하다 (장병준 ＆ 최선웅, 2008; 더힘스 ＆ 박승훈, 2013; 정혜실, 2014).

기존의 생체신호 모니터링 기술은 사용자에 생체 반응을 취득하기 위해 센서를 신체에 부착하는 비현실적 센싱 방법으로 산업분야에 적용하는데 그 한계가 있다. 따라서, 인체에 접촉하지 않고 고통을 주지 않으며 사용자의 활동에 지장을 주지 않도록 의식하지 못하는 가운데 생체정보를 측정하는 무구속/무자각 센싱 기술이 필요한 실정이다 (더힘스 ＆ 박승훈, 2013). 이에 따라, 최근 카메라 기술을 이용해 사용자의 생체정보를 추론하는 기술이 개발되고 있다. 카메라를 이용한 생체 정보 추론 기술은 완전한 무구속/무자각 생체신호 센싱 기술로 볼 수 있다. MIT media lab에서 심장에서 얼굴로 유입되는 혈액에 따라 미세하게 나타나는 얼굴의 색상정보를 분석하고 이를 통해 심장 박동을 추론하는 기술을 개발하였다 (Poh et al., 2011). 또한, MIT CSAIL lab에서는 심장에서 머리로 혈액이 유입되는 과정에서 머리의 미세 움직임이 발생하고 머리의 미세 움직임을 PCA 분석을 통해 심장관련 주파수 영역을 찾아냄으로써, 심장박동을 추론하는 기술을 보고하였다 (Balakrishnan et al., 2013).

상기에 보고된 비접촉식 심장 정보 추론 기술은 추론 가능한 심장 변수가 한정적으로 실제 활용도가 높은 심장 변수가 충분히 고려되지 않았다. 또한, 데이터 검증의 과정에서 피험자의 평균값을 기준으로 계산하여 분석에 사용된 샘플 수가 12개로 검증의 신뢰성 부족하고 자체 개발된 ECG 센서를 기준으로 추론된 데이터를 검증하여 검정의 신뢰성이 부족하다. 따라서 본 발명에서는 선행 연구의 심장 정보 추론 기술에 대비하여 심장 정보의 유효 추론 변수의 증가 및 높은 정확도를 확보할 수 있는 방법론을 제안하고자 한다. 본 발명에서 개발된 무구속/무자각 생체정보 추론 기술은 U-healthcare (Wellness IT), 감성 ICT (Emotion Marketing, Services, Therapy etc.), 보안, 교육 등의 다양한 산업 분야에 적용되어 새로운 제품 및 서비스를 기반으로 새로운 가치를 창출 할 수 있을 것으로 기대된다.

Balakrishnan, G., Durand, F., and Guttag, J. (2013). Detecting pulse from head motions in video. In Computer Vision and Pattern Recognition (CVPR), 2013 IEEE Conference on (pp. 3430-3437). IEEE. Pan J., Tompkins W.J., 1985. A real-time QRS detection algorithm. IEEE Trans. Biomed. Eng., 32, 230-236. Poh, M. Z., McDuff, D. J., and Picard, R. W. (2011). Advancements in noncontact, multiparameter physiological measurements using a webcam. Biomedical Engineering, IEEE Transactions on, 58(1), 7-11. 더힘스, 박승훈. (2013). 웰니스 분야의 IT 융합 동향. 장병준, 최선웅. (2008). Wireless Body Area Network 기술 동향. 전자파기술, 19(3), 35-46. 정혜실. (2014). 헬스케어 웨어러블 디바이스의 동향과 전망. KHIDI Brief, 115.

본 발명은 동공 크기 변화율을 이용한 심장의 시간 영역 (time domain)의 정보 추출 방법 및 그 장치를 제공한다.

본 발명에 따른 방법:은

피험자의 동공을 촬영하는 단계;

동공의 크기 변화율을 추출하는 단계;

상기 동공 크기 변화율로부터 RRI 데이터를 추출하는 단계;

상기 RRI 데이터를 이용해 심장의 시간 영역의 정보를 추출하는 단계;를 포함한다.

본 발명의 일 실시 예에 따르면, 상기 시간 영역의 정보는 BPM 과 Heart Rate (RRI) 신호일 수 있다.

본 발명의 일 실시 예에 따르면, 상기 동공 크기 변화 데이터를 회귀 분석(regression analysis)에 의해 심장의 RRI(R-peak to R-peak interval)을 추출할 수 있다.

본 발명의 일 실시 예에 따르면, 상기 RRI 로부터 심장의 시간 정보인 SDNN (Standard deviation normal to normal), rMSSD (Root means square of standard deviation), pNN50 (percent of differences between adjacent NN intervals) 중의 어느 하나의 데이터를 추출할 수 있다.

본 발명의 일 실시 예에 따르면, 상기 동공 변화 데이터(Pupil BPM)로부터 아래의 식에 의해 사용자의 실제 BPM(ECG BPM)을 구할 수 있다.

<식>

본 발명은 심전도 센서로부터 취득된 데이터와 동공 데이터에서 추론한 데이터간의 정확도를 분석하였고 두 신호간의 높은 상관성과 낮은 에러율을 확인 하였다. 또한, 상기의 알고리즘을 기반으로 실시간으로 동공 영상을 취득하여 심장의 시간정보를 추론할 수 있는 시스템을 개발하였다. 본 발명에서 개발된 무구속/무자각 심장정보 추론 기술은 U-healthcare (Wellness IT), 감성 ICT (Emotion Marketing, Services, Therapy etc.), 보안, 교육 등의 다양한 산업 분야에 적용되어 새로운 제품 및 서비스를 기반으로 새로운 가치를 창출 할 수 있을 것으로 기대된다.

도1은 본 발명에 따른 심전도(Electrocardiogram) 측정 지점을 나타내 보인다
도2는 본 발명에 따른 동공 영상 신호처리 과정을 예시한다.
도3은 본 발명에 따른 심전도 신호처리 과정을 예시한다.
도4는 피험자 3(Participants 3)에 대한 동공 및 심전도 기반 BPM 신호 비교 결과를 나타낸다.
도5는 피험자 7(Participants 7)에 대한 동공 및 심전도 기반 BPM 신호 비교 결과를 나타낸다.
도6은 피험자 3(Participants 3)에 대한 동공 및 심전도 기반 Heart Rate (RRI, R-peak to R-peak Intervals) 신호 비교 결과를 나타낸다.
도7은 피험자 7(Participants 7)에 대한 동공 및 심전도 기반 Heart Rate (RRI) 신호 비교 결과를 나타낸다.
도8은 피험자 3(Participants 3)에 대한 동공 및 심전도 기반 SDNN 신호 비교 결과를 나타낸다.
도9는 피험자 7(Participants 7)에 대한 동공 및 심전도 기반 SDNN 신호 비교 결과를 나타낸다.
도10은 피험자 3(Participants 3)에 대한 동공 및 심전도 기반 rMSSD 신호 비교 결과를 나타낸다.
도11은 피험자 7(Participants 7)에 대한 동공 및 심전도 기반 rMSSD 신호 비교 결과를 나타낸다.
도12은 피험자 3(Participants 3)에 대한 동공 및 심전도 기반 pNN50 신호 비교 결과를 나타낸다.
도13은 피험자 7(Participants 7)에 대한 동공 및 심전도 기반 pNN50 신호 비교 결과를 나타낸다.
도14는 동공 및 심전도 기반 BPM 신호 정확도 검증 결과를 도시한다.
도15는 동공 및 심전도 기반 Heart Rate 신호 정확도 검증 결과를 도시한다.
도16은 동공 및 심전도 기반 SDNN 신호 정확도 검증 결과를 도시한다.
도17은 공 및 심전도 기반 rMSSD 신호 정확도 검증 결과를 도시한다.
도18은 동공 및 심전도 기반 pNN50 신호 정확도 검증 결과를 도시한다.
도19는 본 발명에 따른 동공 기반 심장 시간영역 추론 시스템의 인터페이스를 일 례를 도시한다.

이하, 첨부된 도면을 참고하면서, 본 발명에 따라 동공 크기 변화율을 이용한 심장의 시간 영역 (time domain)의 정보를 추출하는 방법 및 그 실시 예에 대해 상세히 설명한다.

1. 피험자

본 발명의 실험에서는 피험자 15 명 (남, 여 각각 7명 - 평균 나이: 28.2±3.24)이 실험에 참여하였다. 피험자는 중추 및 자율신경계와 시각기능에 병력이나 과거력이 없는 자를 대상으로 하였다. 실험에 참여하기 전, 신경계에 영향을 끼칠 수 있는 음주, 흡연, 카페인 등을 제한하였고 실험 전날 충분한 수면을 통해 실험 당일, 피로를 최소화할 수 있도록 하였다. 피험자로부터 연구 목적을 제외하고 실험에 대한 대략적인 사항에 대해 설명한 후 자발적 참여의사에 대한 피험자 동의서를 받았다. 실험에 참여한 대가로 소정의 금액을 지불하여 실험 참여의사를 높였다.

2. 실험절차

피험자는 편안한 의자에 앉은 상태로 스크린을 응시하도록 하였고 피험자와 스크린과의 거리는 1m로 하였다. 움직임이 없는 상태에서 3분 동안 스크린에 제시되는 grey bar (reference stimuli)를 응시하도록 하였다. 피험자가 스크린을 응시하는 동안 심전도 (ECG, electrocardiogram)과 Pupil image를 동시에 측정하였다. 동공 측정에 영향을 줄 수 있는 실험 환경 및 자극의 조명은 모든 피험자에게 동일한 조건으로 통제하였다.

3. 데이터 수집 및 신호처리

심전도는 표준사지 유도법(lead I)을 통해 1 채널 데이터를 측정하였다. 자세한 심전도 측정 방법은 도1에 도시된 바와 같다. 심전도는 ECG100C amplifier (Biopac system Inc., USA)를 통해 신호를 증폭하고, NI-DAQ-Pad9205 (National Instrument Inc., USA)를 이용하여 500 Hz의 속도로 신호를 수집하였다. 수집된 신호는 Labview 2010 software (National Instrument Inc., USA)를 사용하여 신호처리 하였다. 동공 영상은 Point grey camera (FL3-GE-50S5M-C, Canada)를 이용해 30 frame/second로 취득하였고 영상의 해상도는 960*400으로 하였다.

취득된 적외선 영상에서 동공 영역을 추출하기 위해 OpenCV를 이용하여 그레이스케일과 스레스홀드(Threshold)를 통한 이진화 변환하였다. 동공 이외의 영역이 제거된 이진화 영상에서 윤곽선 검출 방법을 이용하여 동공 영역을 트래킹 하였다. 영상처리 프로그램에서 사각형 객체(object 또는 class)인 "rect"로 저장된 동공 영역에서 동공 크기에 영향을 주는 눈 깜빡임을 측정하기 위한 아래의 식 1의 조건에 부합하는 경우에만 동공의 반지름인 rect.width를 원주율 공식에 적용하여 동공 크기를 추출하였다.

즉, 동공의 높이(rect.height)에 대해 그 폭(rect.width)의 비가 0.5 이상일 때 깜빡임으로 판정하였다. 추출된 동공 크기 데이터는 1 Hz로 re-sampling 처리 하였고 Band Pass Filter (0.05 - 0.12 Hz)를 통해 심장 주파수 대역을 제외한 노이즈 정보를 제거하였다. 노이즈가 제거된 동공 데이터는 전후 프레임(Xn-₁, Xn)의 차이((Xn - Xn-₁)를 기반으로 동공 크기 변화 데이터 (PSV, Pupil Size Variation)를 추출하였다(수2 참고). 이때, 도2 및 아래의 수3에 표현된 바와 같이 슬라이딩 윈도우 방법 하에서, 소정의 Window Size(w) 와 Resolution(k)로 슬라이딩 하면서 동공 크기 변화율과 동공 크기 변화의 평균 데이터(Sliding Average, SApsv)를 추출하였고 이는 심장의 정보를 추론하는데 활용하였다.

또한, 동공 크기 변화율에서 추출된 데이터(SApsv, Slinding Average Pupil Size Variation)는 회귀 분석(regression analysis)을 이용하여 심장의 RRI(R-peak to R-peak Intervals) 데이터를 추출하였고 (r square = .961, F = 7381.376, p = .000), 추론된 RRI 데이터를 기반으로 Heart rate, BPM (Beat per minute), SDNN (Standard deviation normal to normal), rMSSD (Root meas square of standard deviation), pNN50 (percent of differences between adjacent NN intervals > 50 ms)의 데이터를 신호처리를 통해 추론하였다. 자세한 신호처리 과정은 도2에 나타내었다.

ECG 센서를 통해 취득된 심전도 데이터는 QRS Detection Algorithm을 이용하여 ECG 신호의 R-peak 검출하였다 (Pan ＆ Tompkins, 1985). 검출된 R-peak(RRIn 또는 RRIn ₊₁ )은 인접한 R-peak(RRIn ₊₁ 또는 RRIn)과의 차이를 통해 RRI (R-peak to R-peak Intervals)를 계산하였다.

RRI 데이터를 분당 맥박수로 환산하기 위해, 아래의 식6에 도시된 바와 같이 60 second로 나누어 BPM (Beat per Min)을 추출하였다. 자세한 신호처리 과정은 도3에 나타내었다.

두 데이터는 상관 분석과 평균 에러(mean error) 및 에러율(error rate)를 통해 신호의 추론 정확도를 비교 검증 하였다.

4. 실험 결과

동공 크기 변화율을 기반으로 추론한 BPM 및 Heart Rate (RRI) 신호와 ECG 센서를 통해 획득한 심전도 데이터로부터 추출된 BPM 및 Heart Rate (RRI) 데이터를 비교하였다. 피험자 (Participants 3 ＆ 7) 두 신호의 샘플은 도4~7과 같다. 두 신호의 패턴이 유사하고 데이터간 편차가 작은 것을 확인할 수 있었다.

또한, 동공 및 심전도를 기반으로 추론된 RRI 데이터를 기반으로 SDNN, rMSSD, pNN50의 데이터를 추출하여 비교하였다. 두 신호의 샘플은 도8~13과 같다. 두 신호의 패턴이 유사하고 데이터간 편차가 작은 편이나 BPM 및 Heart Rate에 비해 정확도가 떨어지는 것을 확인할 수 있었다.

피험자 15명의 데이터는 각각의 피험자 별로 Sliding window (Window size: 30s, Resolution 1s)를 통해 각각 160 데이터 샘플의 상관분석 (correlation), 평균 에러 (mean error) 및 에러율 (error rate)을 계산하였다. 상관분석은 피어슨의 상관분석을 통해 r 값을 계산하였고 mean error는 두 데이터의 차이 값의 평균을 사용하였으며, error rate는 아래의 수7을 통해 계산하였다.

피험자 15명의 BPM 데이터의 정확도 비교 결과는 도14와 같다. 동공과 심전도를 기반으로 추출된 BPM 데이터의 정확도를 비교한 결과, 강한 양의 상관성 (r = 0.906±0.102, p < .001)을 확인 하였고 평균 에러가 1.168±0.762으로 확인 되었으며, 평균 에러율은 1.520±0.934 (%)로 확인 되었다.

피험자 15명의 Heart Rate (RRI) 데이터의 정확도 비교 결과는 도15와 같다. 동공과 심전도를 기반으로 추출된 Heart Rate (RRI) 데이터의 정확도를 비교한 결과, 강한 양의 상관성 (r = 0.906±0.102, p < .001)을 확인 하였고 평균 에러가 0.019±0.013으로 확인 되었으며, 평균 에러율은 2.546±1.903 (%)로 확인 되었다.

피험자 15명의 SDNN 데이터의 정확도 비교 결과는 도16과 같다. 동공과 심전도를 기반으로 추출된 SDNN 데이터의 정확도를 비교한 결과, 강한 양의 상관성 (r = 0.815±0.053, p < .001)을 확인 하였고 평균 에러가 0.337±0.172으로 확인 되었으며, 평균 에러율은 1.181±0.703 (%)로 확인 되었다.

피험자 15명의 rMSSD 데이터의 정확도 비교 결과는 도17과 같다. 동공과 심전도를 기반으로 추출된 rMSSD 데이터의 정확도를 비교한 결과, 강한 양의 상관성 (r = 0.810±0.052, p < .001)을 확인 하였고 평균 에러가 0.310±0.136으로 확인 되었으며, 평균 에러율은 1.365±1.127 (%)로 확인 되었다.

피험자 15명의 pNN50 데이터의 정확도 비교 결과는 도18과 같다. 동공과 심전도를 기반으로 추출된 pNN50 데이터의 정확도를 비교한 결과, 강한 양의 상관성 (r = 1.000±0.000, p < .001)을 확인 하였고 평균 에러가 0.000±0.000 으로 확인 되었으며, 평균 에러율은 0.000±0.000 (%)로 확인 되었다.

상기의 심장정보 추론 알고리즘을 기반으로 실시간으로 취득되는 동공영상을 기반으로 심장의 시간 정보를 추론할 수 있는 시스템을 개발하였고 개발된 시스템 화면은 도19와 같다.

도19에서, (1) 은 Input 영상, (2)는 이진화 영상, (3)은 동공 트래킹 영상, (4) 심장박동 추론 신호, 그리고 (5) 심장 시간영역 정보 추론 결과를 나타낸다.

5. 결론

본 발명은 동공영상으로부터 심장의 시간정보 (Heart Rate(RRI), BPM, SDNN, rMSSD, pNN50)를 추출하는 방법 및 시스템 개발이 가능하게 되었다. 이에 따라, 심전도 센서로부터 취득된 데이터와 동공 데이터에서 추론한 데이터간의 정확도를 분석하였고 두 신호간의 높은 상관성과 낮은 에러율을 확인 하였다. 또한, 상기의 알고리즘을 기반으로 실시간으로 동공 영상을 취득하여 심장의 시간정보를 추론할 수 있는 시스템을 개발하였다. 본 발명에서 개발된 무구속/무자각 심장정보 추론 기술은 U-healthcare (Wellness IT), 감성 ICT (Emotion Marketing, Services, Therapy etc.), 보안, 교육 등의 다양한 산업 분야에 적용되어 새로운 제품 및 서비스를 기반으로 새로운 가치를 창출 할 수 있을 것으로 기대된다.

이상에서, 본원 발명의 이해를 돕기 위하여 모범적인 실시 예가 설명되고 첨부된 도면에 도시되었다. 그러나, 이러한 실시 예는 단지 본 발명을 예시하기 위한 것이고 이를 제한하지 않는다는 점이 이해되어야 할 것이다. 그리고 본 발명은 도시되고 설명된 내용에 국한되지 않는다는 점이 이해되어야 할 것이다. 이는 다양한 다른 변형이 본 기술분야에서 통상의 지식을 가진 자에게 일어날 수 있기 때문이다.

Claims

피험자의 안면을 촬영하면서 동공 영역을 트랙킹 하는 단계;
동공 영역의 전후 영상 프레임 간의 크기 차이를 이용해 동공 크기 변화(Pupil Size Variation)을 추출하는 단계;
아래의 식1에 의해 표현되는 슬라이딩 윈도우 법에 의해 동공 크기 변화 데이터(SApsv)를 구하는 단계;
상기 동공 크기 변화 데이터로부터 동공의 RRI 데이터를 추출하는 단계;
상기 동공의 RRI 데이터를 사용자의 실제 심장의 RRI 데이터로 변환하는 단계;
상기 심장의 RRI 데이터로부터 상기 사용자의 실제 심장의 시간 영역의 정보를 추출하는 단계;를 포함하는 동공 크기 변화를 이용한 심장 정보 추출 방법.
<식1>

위에서 PS(n) 및 PS(n-1)는 n 및 n-1 번째(프레임)의 동공 사이즈(Pupil Size)를 나타낸다
제1항에 있어서,
상기 시간 영역의 정보는 사용자의 심장의 실제 BPM 과 Heart Rate (RRI) 신호 인 것을 특징으로 하는 동공 크기 변화를 이용한 심장 정보 추출 방법.
제1항 또는 제2항에 있어서,
상기 동공 크기 변화 데이터를 회귀 분석(regression analysis)에 의해 심장의 RRI(R-peak to R-peak interval)을 추출하는 것을 특징으로 하는 동공 크기 변화를 이용한 심장 정보 추출 방법.
제3항에 있어서,
상기 RRI 로부터 심장의 시간 정보인 SDNN (Standard deviation normal to normal), rMSSD (Root means square of standard deviation), pNN50 (percent of differences between adjacent NN intervals) 중의 어느 하나의 데이터를 추출하는 것을 특징으로 하는 동공 크기 변화를 이용한 심장 정보 추출 방법.
제1항 또는 제2항에 있어서,
상기 동공의 RRI 데이터로부터 동공 BPM(Pupil BPM)을 구하고, 아래의 식2에 의해 사용자의 실제 심장 BPM(ECG BPM)로 변환하는 것을 특징으로 하는 동공 크기 변화를 이용한 심장 정보 추출 방법.
<식 2>