KR20170004511A - 인체 미동 기반 뇌 정보 추출 방법 - Google Patents

Abstract

인체 미동 기반 뇌 정보 추출 방법: 은 영상 카메라를 이용하여 피험자의 안면을 촬영하는 단계; 피험자의 안면부 영상에서 프레임당 평균 차이를 계산하여 안면부의 미세 움직임에 대한 미동 데이터를 추출하는 단계; 미동 데이터를 FFT 처리 과정을 통해 전체 파워량(ATP, Absolute total power)과 각 해당 대역(Band Power)의 파워 정보를 추출 하는 단계; 그리고 FFT 처리를 통해 각각 구해진 Power 정보를 비율로 계산하여 특정 대역에 Power 출현량을 계산하는 단계;를 포함한다.

Description

인체 미동 기반 뇌 정보 추출 방법{method for extracting Brain-information by using micro-movement of Body}

본 발명은 인체의 미세 움직임 정보를 추출하는 방법으로 인간이 해부학적 구조로부터 발생되는 미세 움직임 정보를 비접촉 형태의 카메라를 이용하여 추출하여 이를 뇌 정보(뇌파, EEG)를 추출하는 방법에 관한 것이다.

인체의 미세한 움직임은 사람의 눈에 보이지 않는 형태로 나타나게 된다. 특히 얼굴 표정을 지을 때도 미세한 표정이 나타나게 되는데 이를 미세표정(Micro-expression)이라고 하며 순간적이고 비의도적인 얼굴 표정을 짓거나 무의식적인 감정이나 반응 상태에 따라 표적을 순간적으로 짓게 되는 것이다. 즉, 의도하여 얼굴 표정을 짓는 것이 아닌 생체적 반응이나 메커니즘에 의해 동작되는 움직임 인 것이다.(바론-코헨)

특히 이런 미세한 표정의 움직임이나 떨림 들을 이용을 해서 사람의 감정이나 정서 상태를 인식하고 이를 통해 피드백 시스템을 구현 등에 사용되고 있다.(FACS)

이러한 인체의 미세한 움직임은 얼굴표정이 아닌 신체의 다른 부분에서도 나타나게 된다. 신체의 움직임은 심혈관계 및 호흡계의 중력에 의한 기계적(본능적/무의식적/생리학적) 변동을 초래하는데, 체위의 변동은 시각, 체성감각, 자율신경로, 전정신호 등 구심성 신경로를 통해 중추신경계로 전달되어 혈관 및 심박동, 호흡근에 적절한 반응을 통해 신체의 움직임이 발생하게 된다. 특히 전정기관(Vestibular system)은 인체의 여러 기관들과 연결되어 균형감각을 잡을 수 있는 역할을 하는 해부학적 기관으로써 여러 반응에 균형감각을 바로 잡음으로 그 움직임을 발생 시킨다고 볼 수 있다. 전정계관의 경우 전정-동안계, 전정-척수계, 전정-자율신경계 등 다양한 해부학적 기관들에 의해 조절 되어지고 이 조절되어지는 것이 자율신경계, 심혈관계, 호흡계 등 다양한 기관에 영향을 받아 반응하는 것으로 이러한 반응을 카메라를 통해 역추적하여 생체정보를 미세 움직임으로 추출하는 방법을 제안하고자 한다.

Wu, H. Y., Rubinstein, M., Shih, E., Guttag, J., Durand, F., and Freeman, W. (2012). Eulerian video magnification for revealing subtle changes in the world. ACM Transactions on Graphics (TOG), 31(4), 65.

본 발명은 다양한 기관의 반응을 카메라를 통해 역추적하여 생체정보를 미세 움직임으로 추출하는 방법을 제안하고자 한다

인체 미동 기반 뇌 정보 추출 방법:은

영상 카메라를 이용하여 피험자의 안면을 촬영하는 단계;

피험자의 안면부 영상에서 프레임당 평균 차이를 계산하여 안면부의 미세 움직임에 대한 미동 데이터를 추출하는 단계;

미동 데이터를 FFT 처리 과정을 통해 전체 파워량(ATP, Absolute total power)과 각 해당 대역(Band Power)의 파워 정보를 추출 하는 단계; 그리고

FFT 처리를 통해 각각 구해진 Power 정보를 비율로 계산하여 특정 대역에 Power 출현량을 계산하는 단계;를 포함한다.

최근 인체로부터 여러 생체 정보를 추출하는 연구가 지속되고 특히 비접촉형태의 생체 정보 취득과 센싱 기술들에 대한 많은 연구들이 많이 진행 되고 있다. 특히 웨어러블 디바이스와 카메라 등을 이용한 다양한 연구들이 있다. 본 발명에서 제안되는 미세 움직임 정보는 인체가 가지고 있는 해부학적 근거를 기반으로 움직임 정보를 추출하는 것으로 다른 접촉형 센싱을 대체하여 뇌 정보를 추출 할 수 있는 새로운 센싱 기술로 비접촉식 기반의 자유로운 센싱에 다양하게 활용 될 수 있을 것으로 예상 된다.

도1은 본 발명에 따른 EEG 신호 처리 흐름도이다.
도2은 본 발명에 따른 미동 신호 처리 흐름도이다.

이하, 본 발명의 실시 예에 따라 본 발명의 구현 방법 및 검증 방법에 대해 설명한다.

가. 피험자

대학교 재학생 15명이 (남자 5명, 여자 5명) 무표정 상태와 표정상태로 구분하여 2차례 실험에 참여하였다. 모든 피험자는 심혈신경계에 이상이나 병력이 없었고 전날 충분한 수면을 취하도록 하였다. 또한 심혈관계 반응에 영향을 미칠 수 있는 카페인, 흡연, 음주 등의 섭취를 실험 전날 금하도록 하였다. 실험 전, 실험에 참가하는 모든 피험자에게 연구목적을 제외한 실험에 대한 대략적인 사항에 대해 설명한 후 실험을 진행하였고 실험의 대가로 소정의 금액을 지불하였다.

나. 실험 방법

실험은 아무런 얼굴 표정을 짓지 않은 상태에서의 무표정 실험과 표정의 자극을 제시하여 그 표정을 따라서 지을 수 있도록 한 표정 실험으로 진행하였다. 이때 표정 자극은 Ekman의 6가지 기본 정서(공포, 혐오, 슬픔, 놀람, 화남, 행복)에 대한 표정 자극을 동일하게 제시하여 얼굴 표정을 지을 수 있도록 하였다. 실험이 진행 되는 동안 PPG센를 착용하고 동시에 상반신의 영상을 측정 하였다. 측정 시간을 무표정 실험 3분, 표정 실험 3분을 각각 진행 하였다.

다. 분석 방법

도1, 2에 도시된 비와 같이, 뇌파(EEG) 신호는 기존의 Raw Data에서 ATP와 각 EEG 밴드에 해당하는 주파수 대역으로 BPF를 후 FFT과정을 통해 해당 주파수의 Power을 계산 할 수 있도록 하였다. 이때 각 해당하는 EEG Band 대역은 alpha, beta, delta, fastalpha, gamma, highbeta, lowbeta, midbeta, slowalpha, smr, theta로 총 11개의 Band 대역을 설정하여 데이터를 추출 될 수 있도록 하였다.

그리고, 아래와 같이, 인체 미동 신호는 기존의 Raw Data에서 미동 데이터를 추출 하는 방법에 있어 처리하는 순서는 총 4단계로 구성되어있다.

1) Face Tracking 단계

카메라를 이용하여 입력 된 영상 데이터를 이용하여 인체의 미세한 움직임을 머리에서 추출하기 위하여 Visage Technology에서 제공하는 3D 모델 기반 안면 트래킹 SDK를 이용한 안면인식을 통해 안면 정보를 확보 후 안면의 특징점(눈, 입 등)에서 해당 위치의 좌표보다 밖으로 15% 확장하여 안면부의 전체의 트래킹 된 영상 정보를 분리 하도록 함

2) Frame Difference Average 단계

분리된 안면부의 영상을 매 시간(30fps 기준)마다 측정되는 영상의 움직임 데이터의 1프레임이 평균의 차이 값을 계산하여 이전 상태와 현 상태의 평균적으로 움직임의 차이 값을 계산하여 전체적인 안면부의 미세 움직임의 양을 추출한다.

3) FFT(Fast Fourier Transform) 단계

추출된 안면부 움직임의 미동 데이터를 FFT 처리 과정을 통해 전체 파워량(ATP, Absolute total power)과 각 해당 대역(Band Power)의 파워 정보를 추출 할 수 있도록 한다.

4) Band Power Ratio 단계

FFT 처리를 통해 각각 구해진 Power 정보를 비율로 계산하여 보고자 하는 대역에 Power 출현량이 얼마나 되는지 비율을 통해 구할 수 있도록 함. 비율은 기존의 전체 Raw Data에서 전체 ATP를 구하고 각 Power 속성에 따라 Band 별로 구해진 Power 값을 비율로 계산하여 구한다.

각각 추출된 서로 다른 두 신호의 Power의 출현량 데이터를 이용하여 상관분석을 진행하였으며 각 뇌파(EEG)와 미동 데이터간 상관분석으로 통해 뇌 신호의 Power 활성화 정도의 상관성을 분석하여 비교 할 수 있도록 하였다.

라. 분석 결과

서로 다른 두 신호는 각 EEG Band 영역별로 Spectrum 분석을 통해 분석된 결과를 상관분석과 Error을 통해 비교 분석 결과를 진행하였음. 분석 결과 총 6개의 지점에서, 아래의 표1에 도시된 바와 같이, 총 9종의 EEG Band에서 유사한 패턴을 보이는 지점들을 발견하였다.

위 표를 참조하면, Gamma 영역에서는 FP2 지점이 유사한 패턴을 보임을 알 수 있다(r=0.503, p<0.05, error=0.373). Theta 영역에서도 FP2 지점에서 유사한 패턴을 보임을 알 수 있다(r=0.442, p<0.05, error=0.557). Alpha 영역에서는 FZ 지점에서 유사한 패턴을 보임을 알 수 있다 (r=0.485, p<0.05, error=0.207). Fast Alpha 영역에서는 CZ 지점에서 유사한 패턴을 보임을 알 수 있다(r=0.499, p<0.05, error=0.363). Low Beta 영역에서는 T4 지점이 유사한 패턴을 보임을 알 수 있다(r=0.479, p<0.05, error=0.376). Beta 영역에서는 FZ 지점에서 유사한 패턴을 보임을 을 알 수 있다(r=0.504, p<0.05, error=0.673). High Beta 영역에서도 FZ 지점에서 유사한 패턴을 보임을 알 수 있다(r=0.508, p<0.05, error=0.450). Slow Alpha 영역 또한 FZ 지점에서 유사한 패턴을 보였음을 알 수 있다(r=0.497, p<0.05, error=0.768). SMR 대역에서는 P4 지점에서 유사한 패턴을 보임을 알 수 있다(r=0.490, p<0.05, error=0.702). 두 신호간 모든 지점에서 유사한 패턴이 나온 것은 아니지만 특정 지점에서의 Power 양이 일치되는 패턴을 보인다.

Claims (1)

1. 영상 카메라를 이용하여 피험자의 안면을 촬영하는 단계;
   피험자의 안면부 영상에서 프레임당 평균 차이를 계산하여 안면부의 미세 움직임에 대한 미동 데이터를 추출하는 단계;
   미동 데이터를 FFT 처리 과정을 통해 전체 파워량(ATP, Absolute total power)과 각 해당 대역(Band Power)의 파워 정보를 추출 하는 단계; 그리고
   FFT 처리를 통해 각각 구해진 Power 정보를 비율로 계산하여 특정 대역에 Power 출현량을 계산하는 단계;를 포함하는 인체 미동 기반 뇌 정보 추출 방법.

Images