KR101757431B1 - 안면 미동 기반 심장 정보 추출 방법 및 시스템 - Google Patents

Abstract

안면 미동을 이용한 심장 정보 추출 방법 및 시스템에 대해 기술한다. 추출 방법:은 피험자로부터 안면 영상을 획득하는 단계; 상기 안면 영상에, 안면 부위별 기준 정점을 정의하는 표준 모델을 마스킹(매칭)하여 상기 피험자의 안면 영상에 안면 부위별로 다수의 정점들을 맵핑하는 단계; 상기 안면 영상에서 동일 안면 부위에서의 정점간의 좌표 변화 값을 추출하는 단계; 상기 정점들이 인체 안면에 대해 정의되어 있는 다수 AU(Action Unit)들 각각의 중점(重點, Centroid)의 변화 값을 포함하는 안면 미세 움직임(MM, Micro-Movement) 정보를 연속적으로 추출하는 단계; 상기 다수의 AU 중 일부 유효 미세 움직임(MM) 정보를 가지는 AU의 미세움직임 정보를 선택하는 단계; 그리고 선택된 미세 움직임 정보로부터 RRI(R-Peak to R-Peak Intervals)를 검출하고, 검출된 RRI를 이용해 상기 피험자의 심장 정보를 추출하는 단계;를 포함하는 포함한다.

Description

안면 미동 기반 심장 정보 추출 방법 및 시스템{Method for extracting heart information of facial micro-movement and system adopting the method}

본 발명은 안면 미세 움직임을 이용한 심장 정보 추출 방법 및 이를 적용하는 시스템에 관한 것으로서, 상세하게는 AU(Action Unit)를 기반으로 하는 심장 정보 추출 방법 및 시스템에 관한 것이다.

IT기술이 발전함에 따라 주변의 많은 장치들도 발전을 하고 있다. 기술의 발전과 삶의 질 향상이 이루어짐에 따라 인간 중심의 사회로 변화 되고 있으며 기존에는 제품, 장치 등 기계적인 측면의 기술발전이 이루어졌다. 최근 이러한 기술들이 인간 중심의 기술들로 변화하고 있으며 특히 스마트폰 기술이 발전되었다. 스마트폰 기술이 발전됨에 따라 그 주변 기기들에 발전이 빨라지게 되었다. 여러 주변기기들 중에 웨어러블 장치들의 발전이 가속화 되고 있다. 이러한 웨어러블 장치는 사람의 건강 정보를 측정 및 관리 하기 위한 장치들이 많이 개발되고 있으며 그 중에서도 심박 정보를 검출하여 운동량 및 건강 정보를 모니터링하는 기술이 많이 발전 되어있다. 소형 장치들의 발전으로 다양하고 많은 분야에서 생체정보를 활용한 연구 및 제품들이 개발 되었다. 이런 기술들을 이용하여 자동차 업계에서는 스마트카, 헬스카와 같은 미래형 자동차 개발에 많은 힘을 쓰고 있다. 하지만 이런 장치들은 인체에 센서를 접촉해야 동작을 하고 움직임이나 동작 등에 영향을 받기 때문에 정확한 데이터를 얻는 것이 매우 어렵다. 따라서 움직임이나 착용감에 부담을 적게 주고 생체적 메커니즘에 기반 된 비 접촉식의 센싱 기술이 필요하다.

인체의 미세한 움직임은 사람의 눈에 보이지 않는 형태로 나타나게 된다. 인체의 움직임은 심혈관계 및 호흡계가 중력에 의한 본능적, 무의식적, 생리학적 변동을 초래하는데, 체위의 변동은 시각, 체성감각, 자율신경로, 전정신호 등 구심성 신경로를 통해 중추신경계로 전달되어 혈관 및 심박, 호흡근에 적절한 반응을 통해 신체의 움직임이 발생하게 된다[3]. 특히 전정기관(Vestibular system)은 인체의 여러 기관들과 연결되어 균형감각을 잡을 수 있는 역할을 하는 해부학적 기관으로써 여러 반응에 균형감각을 바로 잡음으로 그 움직임을 발생 시킨다고 볼 수 있다. 전정계관의 경우 전정-동안계, 전정-척수계, 전정-자율신경계 등 다양한 해부학적 기관들에 의해 조절되고 이것이 자율신경계, 심혈관계, 호흡계 등 다양한 기관에 영향을 받아 반응하는 것이다[3].

미세움직임은 얼굴 표정을 지을 때도 표정으로 나타난다. 이를 미세표정(Micro-expression)이라고 하며 순간적이고 비의도적인 얼굴 표정을 짓거나 무의식적인 감정이나 반응 상태에 따라 표정을 순간적으로 짓게 되는 것이다[4]. 즉, 의도하여 얼굴 표정을 짓는 것이 아닌 생체적 반응이나 메커니즘에 의해 동작되는 움직임 인 것이다[5]. 이러한 미세한 표정의 움직임이나 떨림을 이용을 해서 사람의 감정이나 정서 상태를 인식하고 이를 통해 피드백 시스템을 구현 등에 사용되고 있다[6]. 선행 연구 중 이러한 원리들을 응용한 연구들이 다수 존재 한다. 먼저 감성 및 감정에 대한 정보를 검출하는 vibraimage 기술이 있다. 이 기술의 경우 머리(head)의 미세한 움직임을 카메라를 이용하여 측정 및 인식하여 다양한 감정 변수들을 검출하고 있다[7, 8]. 또한 머리의 미세 움직임을 기반으로 Video Motion 기술을 이용하여 심박 정보를 추출하는 연구도 있다[2]. 이 외에도 Video의 RGB 색상 변화를 이용한 심박 정보 추출 등 다양한 연구들이 존재한다[1].

이런 연구들은 일상 생활에 적용하기는 어려운 한계점이 있다. 미세한 움직임들을 측정하여 심박 정보 등 생체 반응 정보를 측정 하려면 앉아 있거나 서있는 상태에서 아무런 동작 및 움직임에 제한을 두어야지만 정확한 정보를 검출 할 수 있다. 미세한 움직임을 이용하여 실제 심박 정보나 생체 반응에 대한 정보를 검출 하기 위해서는 무엇보다 사람을 인식 할 수 있어야 한다. 또한 1지점에서의 추출되는 정보보다 다양한 지점에서의 검출 및 데이터 수집을 통해 정확도를 높이는 부분들이 필요하다.

US 6834115 B2 US 6904347 B1 US 7352881 B2 EP 0735509 B1 WO 2002009038 A2 WO 2003017186 A1

Poh, Ming-Zher, Daniel J. McDuff, and Rosalind W. Picard. "Advancements in noncontact, multiparameter physiological measurements using a webcam." Biomedical Engineering, IEEE Transactions on 58.1 (2011): 7-11. // MIT Media Balakrishnan, Ganesh, Frederic Durand, and John Guttag. "Detecting pulse from head motions in video." Computer Vision and Pattern Recognition (CVPR), 2013 IEEE Conference on. IEEE, 2013. //MIT CASIL 이태경. 정원희. (2006). 자율신경 조절에 미치는 전정계의 영향. 제5권. 제2호. 대한평형의학회. pp. 329~335. Ekman, P. (2013.12.01). "http://www.paulekman.com/me-historymore/", The website of Paul Ekman Group. Baron-Cohen, S. (1996). Reading the mind in the face: A cross-cultural and developmental study. Visual Cognition, 3(1), 39-60. Ekman, Paul, and Erika L. Rosenberg. What the face reveals: Basic and applied studies of spontaneous expression using the Facial Action Coding System (FACS). Oxford University Press, 1997. Minkin, V. A., and N. N. Nikolaenko. "Application of vibraimage technology and system for analysis of motor activity and study of functional state of the human body." Biomedical Engineering 42.4 (2008): 196-200. Minkin, V. A., Georgi P. Gladyshev and Libb Thims (2007). Head movements vibraimage visualization and energetic model of emotions.

본 발명은 안면 미동을 이용하여 심장 정보를 추출하는 방법 및 이를 적용하는 장치를 제공한다.

본 발명에 따른 심장 정보 추출 방법:은

피험자로부터 안면 영상을 획득하면서, 상기 안면 영상에, 안면 부위별 기준 정점을 정의하는 표준 모델을 마스킹(매칭)하여 상기 피험자의 안면 영상에 안면 부위별로 다수의 정점들을 맵핑하는 단계;

상기 안면 영상에서 동일 안면 부위에서의 정점간의 좌표 변화 값을 추출하는 단계;

상기 정점들이 인체 안면에 대해 정의되어 있는 다수 AU(Action Unit)들 각각의 중점(重點, Centroid)의 변화 값을 포함하는 안면 미세 움직임(MM, Micro-Movement) 정보를 연속적으로 추출하는 단계;

상기 다수의 AU 중 일부 유효 미세 움직임(MM) 정보를 가지는 AU의 미세움직임 정보를 선택하는 단계; 그리고

선택된 미세 움직임 정보로부터 RRI(R-Peak to R-Peak Intervals)를 검출하고, 검출된 RRI를 이용해 상기 피험자의 심장 정보를 추출하는 단계;를 포함한다.

본 발명의 구체적인 실시 예에 따르면, 상기 AU 안면 움직임 정보는 상기 안면 움직임 크기, 면적 크기, 극좌표 개념의 안면 움직임 각도, 정점의 곡선 안면 움직임(r*Sin(

)) 값 중 적어도 어느 하나를 더 포함할 수 있다.

본 발명에 따르면, 상기 정점(Vertex)은 상기 피험자의 안면의 평균 평면에 나란한 방향의 X-Y 평면에서의 X, Y 좌표와, 상기 X-Y 평면에 수직인 Z 좌표를 포함한다.

본 발명의 구체적인 실시 예에 따르면, 상기 극좌표 개념의 안면 움직임 각도, r*Sin(Θ)는 상기 X-Y 평면에 수직한 Z 좌표의 변화로부터 구할 수 있다.

본 발명의 실시 예에 따르면, 상기 AU는 적어도 3개의 정점(Vertex)을 포함한다.

본 발명의 실시 예에 따르면, 상기 AU 안면 움직임 정보는 상기 X, Y, Z 좌표에서, X-Y 평면, X-Z 평면, Y-Z 평면 중, 적어도 어느 하나의 평면에서 움직임(변화)으로부터 추출할 수 있다.

본 발명의 구체적인 실시 예에 따르면, 안면 움직임 정보를 얻기 위해 초기 기준 데이터를 안면 움직임 정보로부터 소정 시간 추출하는 단계; 상기 초기 기준 데이터를 추출 후, 일정 한 시간 간격으로 상기 안면 움직임 정보를 추출하여 이로부터 상기 RRI를 추출하는 단계를 더 포함한다.

또한, 본 발명의 구체적인 실시 예에 따르면, 다수의 AU 중 일부 유효 미세 움직임(MM) 정보를 가지는 AU의 미세 움직임 정보를 선택하는 단계:는 상기 AU의 미세 움직임의 표준 편차 패턴에 기초하여 특정 AU의 미세 움직임을 선택하는 과정;을 포함하고, 그리고

상기 선택된 미세 움직임 정보를 소정 주파수 범위로 필터링한 후, 이로 부터 피이크를 검출하는 단계;

상기 피이크를 이용해 상기 RRI 평균을 구하는 단계; 그리고

상기 RRI 를 이용하여 BPM(Beat Per Minute) 신호를 검출하는 단계;를 더 포함한다.

상기 방법을 수행하는 본 발명에 따른 시스템:은

상기 피험자로부터 안면 영상을 획득하는 동영상 카메라;

상기 동영상 케메라로부터의 영상을 처리하는 영상 처리부;

상기 영상 처리부로 부터의 영상 데이터를 이용해 상기 AU 안면 움직임 정보를 추출하는 시스템;을 포함한다.

본 발명은 안면의 미세 움직임을 AU 별로 정량화된 데이터로서 추출하는 방법과 이를 이용하여 심장 정보를 추출하는 방법을 제시한다. 본 발명에 의해 추출된 심장 정보는 의사 데이터로서 직접 심장으로부터 추출한 심장 정보에 매우 근사한 패턴을 보인다. 이러한 발명은 비 접촉형 센싱 기술인 미동 검출 기술을 이용하여 심장 정보를 우수한 결과로 측정 가능한 것이 확인되었다. 특히 선행 연구 및 유사 기술들이 많지만 비 접촉형 센싱 기술을 실 생활에 활용하기는 매우 어렵다. 또한 영상으로부터 상황에 따라 측정 할 수 있는 제한적이다. 하지만 안면 근육의 여러 지점을 이용하여 심장 정보를 추출 할 수 있음을 확인 할 수 있게 되었다. 하지만 본 발명은 트랙킹 모듈(Tracking Module) 등을 응용 적용한 방법으로 연동 모듈에 대한 경량화 및 더욱 자연스러운 트랙킹 기술에 대한 연구가 필요하다. 이로써 새로운 센싱 기법과 다양한 안면부의 움직임에서도 추론되는 심장 정보는 실 생활 및 많은 관련 연구 분야에 응용 가능 할 것으로 기대 된다.

도1은 본 발명에 따른 AU 기반 움직임 정보 추출 시스템의 개략적 구성도이다.
도2는 본 발명에 따른 AU 기반 안면 움직임 정보 추출 방법의 흐름도이다.
도3은 본 발명의 방법에 적용되는 표준 모델의 일례를 도시한다.
도4는 피험자로부터 획득한 안면 영상에 상기 표준 모델을 마스킹(매핑)하는 것을 예시한다.
도5는 표준 모델을 이용해 피험자 영상에 정점을 맵핑한 결과를 보인다.
도6은 눈 주위에서의 정점 정보를 예시하는데, 좌측은 왼쪽눈, 우측은 우측눈을 나타낸다.
도7 및 도8은 본 발명에 따른 방법에서, 볼(광대근)이 올라가고 아래 눈꺼풀을 누르며 눈가의 주름이 생기는 AU6에서의 움직임을 예시한다.
도9는 본 발명에 따라 미세 움직임으로부터 심장 정보를 추출하는 방법의 흐름을 예시한다.
도10은 본 발명에 따른 미세 움직임으로부터 호흡 정보를 추출하는 방법의흐름을 예시한다.
도11은 본 발명에 따른 움직임 정보의 SD(standard deviation) 분석 결과를 도시한다.
도12는 본 발명에 따라, 움직임 정보에 따른 회귀 분석(Regression Analysis)의 결과를 도시한다.
도13은 본 발명에 따라, 24명의 피험자의 데이터 분석 결과 PPI를 보인다.
도14는 본 발명에 따라, 24명의 피험자의 데이터 분석 결과 BPM을 보인다.
도15는 본 발명에 따라 획득한 RSA(Respiratory Sinus Arrhythmia)를 도시한다.
도16은 본 발명에 따라 획득한 피이크 수(Peak Number)의 경우를 도시한다.

이하 첨부된 도면을 참조하면서, 본 발명에 따른 AU 기반 안면 움직임 정보 추출 방법의 실시 예를 설명한다.

본 발명에 따른 안면 움직임 정보 추출 방법은, 도1에 도시된 바와 같이 키보드(14), 마우스(15), 모니터(12) 등 입출력 장치 및 이들이 연결되는 본체(11)를 포함하는 컴퓨터 시스템(1)을 기반하는 하드웨어에 의존하여 수행되며, 본 발명의 실시 예에 따라 전용화된 시스템에 의해 구현될 수 있다. 이러한 본 발명의 방법은 특정한 하드웨어 시스템에 의해 그 기술적 범위가 제한되지 않는다.

본 발명에 따른 안면 움직임 정보를 추출하는 방법을 수행하는 장치 또는 시스템은 피험자(20)의 안면을 촬영하는 동영상 카메라(13), 예를 들어 소위 웹 캠또는 웹 카메라를 포함할 수 있다. 또한, 이러한 시스템은 소프트웨어 형태로 제공되는 분석 알고리즘을 통해서 피험자로부터 획득된 영상을 처리하고 이를 이용하여 AU 별 안면 움직임 정보를 추출하여 그 결과를 컴퓨터 시스템(1) 내의 데이터 베이스와 모니터(12) 등을 통해 기록 및 표시한다.

도2는 본 발명에 따른 AU 기반 안면 움직임 정보 추출 방법의 흐름도이다.

안면부의 각 국부를 트래킹 할 수 있는 기술을 이용하여 안면에 있는 각 특징을 가지고 있는 눈, 코, 입, 눈썹, 볼, 코 등 특징 점들에 대한 정점(Vertex)을 3D Model 기반으로 트래킹 하여 확보를 하도록 하였다.

안면부 트래킹 및 데이터 취득 과정은 트래킹된 정점(Vertex)을 MPEG4 기준으로 AU(Action Units)를 매핑하여 각 국부의 얼굴 영역을 정하여 중점(重點) 또는 중심(重心, Centroid)의 영역을 정하고 움직임 정보를 취득하도록 하였다. 정해진 매핑 된 중점(Centroid) 영역의 움직임 정보를 프레임(Frame) 간 차이(Difference) 값을 통에 움직임 정보를 추출 할 수 있도록 하였으며 처리 과정은 아래와 같다.

제1단계(S21): 실시간으로 피험자의 안면을 촬영하여 동영상 데이터를 프레임단위로 입력받는 단계이다. 이 단계에서 하드웨어로 예를 들어 웹 카메라(Web Camera)를 이용할 수 있으며, 소프트웨어로는 OpenCV 라이브러리를 이용할 수 있다. 또한 이 단계에서는 연속적으로 입력되는 영상을 증폭하고 이에 포함된 노이즈를 제거하는 등의 일반적인 전처리 과정이 포함될 수 있다.

제2단계(S22): 입력된 안면 영상에 기설정되어 있는 표준 모델을 마스킹한다. 이 과정은 최초에 1회 실시되며, 향후 안면 추적 중, 얼굴 영상을 놓쳤을 때 필요에 따라 재차 마스킹을 수행한다.

상기 표준 모델에는 인체 안면의 어느 한 기준점(Reference point)을 기준으로 하여 안면의 여러 특정 부위들에 대응하는 다수의 정점(Vertex)이 안면 표준 형상 또는 모양에 대응하게 적절하게 배열되어 있다. 상기 기준점은 예를 들어 미간의 중심부분이며, 이를 기준으로 안면의 특정 부위 들에 대한 정점이 결정된다. 맵핑 과정에서, 표준 모델에 기초하여 상기 안면 영상의 부위별로 상기 정점들이 피험자의 안면 영역에 맵핑 된다. 이때에 표준 모델에 대한 피험자의 안면 영역의 비교 부위는 얼굴 윤곽선, 눈, 코, 입 등이다.

제3단계(S23): 맵핑된 안면 영상으로부터 정점들의 좌표 변화 값을 추출한다. 이때의 변화 값을 추출함에 있어서 기준 값은 상기 제2단계의 마스킹을 통해 얻어진 정점 값들이 비교 기준 된다.

이 과정에서 Visage Technology 사에서 제공되는 안면 트랙킹(Face Tracking) 기술을 이용할 수 있다. Visage Technology 사의 안면 트랙킹 기술은 현재 안면부의 다양한 지점에 대해 표준으로 사용되고 있는 Candiate-3의 3D 모델 기반 Tracking 기술로써 안면부의 137개의 지점에 대한 정보 제공 및 MPEG-4 표준과 매핑된 안면부 정보를 제공하기 때문에 표준화된 정보를 측정 할 수 있다.

또한 3D 모델 기반의 트래킹(Tracking) 기술로 다양한 움직임에 대한 영향을 줄일 수 있지만 정점(Vertex)을 이용하여 AU(Action Unit)을 선정하여 얼굴 표정에 따라 영향을 최소화 시킬 수 있다

제4단계(S24): 맵핑된 정점들을 AU(Action Unit) 별로 그룹화 또는 분류(정의)한다.

제5단계(S25): AU 단위로 그룹화된 정점들을 이용하여 각 AU의 중점(重點) 또는 중심(重心, Centroid) 포함하는 AU 별 정량화된 AU 정보를 추출하고, 이를 현재 AU 정보로서 저장하며, 이때에 그 이전에 저장된 AU 정보가 있다면 이는 선행 AU정보가 된다.

제6단계(S26): 이 단계에서는 선행 AU 정보 유무 판단하며, 존재하지 않는 경우 전술한 제1단계(S21)로 회귀한다. 한편, 선행 AU 정보가 있다면 아래의 제7단계(S27)로 이행한다.

제7단계(S27): 이 단계에서는 안면의 미세 움직임(MM, Micro-Movement)을 검출하는 단계이다. 구체적으로 선행 AU 정보에 대해 현재 AU 정보를 비교하여 현재 AU 정보에서 특정 성분의 변화 량을 구한다.

이 단계에서 검출 대상이 되는 특정 성분에는 AU 별 중점 정보 및 그 중점 변화의 크기, AU별 정점들이 이루는 면적의 변화량, 그리고 극좌표의 움직임의 각도, 그리고 정점의 곡선 움직임 r*SIN(

) 등이 있으며, 이들 중 어느 하나가 선택적으로 추출된다.

이렇게 추출된 특정한 AU 정보의 변화량, 즉 미세 움직임(Micor-Movement)은 피험자의 안면의 변형을 다양하게 표현하는 것으로서 다양한 응용분야에 적용가능하며, 예를 들어 피험자의 심장 정보를 추출 또는 추정하는 시스템에 적용할 수 있다.

이하에서는 위에서 설명된 단계들에 대해 좀 더 구체적으로 설명한다.

도3은 표준 모델의 일례를 도시한다. 표준모델은 평균적이 형태와 크기를 가지는 인체 안면을 망상 구조로 모델링한 것으로, 망상 구조의 각 노드(node) 즉 정점(Vertex)는 안면 근육 운동에 민감하게 변화하는 부분이며, 이들은 다양한 얼굴 표정의 변화를 정의하는 AU 별도 그룹화할 수 있다.

도3에서 미간의 정점(136)은 얼굴 표정 변화량을 추출하는 기준점으로 이를 기준으로 눈, 눈썹, 코, 입, 입 꼬리, 광대뼈, 턱 라인 등에 관계된 정점들이 연계되어 있다.

도4는 피험자로부터 획득한 안면 영상에 상기 표준 모델을 마스킹(매핑)하는 것을 예시하며, 도5는 표준 모델을 이용해 피험자 영상에 정점을 맵핑한 결과를 보인다. 도5와 같이 맵핑 되면, 미간 지점(136)의 정점(Vertex)을 기준으로 모든 정점의 정보를 추출한다. 각 정점 정보는 X, Y 그리고 Z의 값을 포함한다.

도6은 눈 주위에서의 정점 정보를 예시하는데, 좌측은 왼쪽 눈, 우측은 우측눈을 나타낸다.

아래의 표1은 얼굴 표정의 변화를 가져 오는 안면 부분의 움직임을 정의하는 AU 와 정점(Vertex)을 매핑한 결과를 보인다.

획득한 안면 영상으로부터 각 AU 정보, 특히 AU 변화로부터 다양한 형태의정보 변화량을 추출할 수 있다.

상기 안면 영상으로부터 X-Y 평면에서 AU의 중점(Cx, Cy) 및 면적(Axy)은 각 AU의 정점들의 좌표 값을 이용하여 아래의 식 1, 2, 3으로부터 얻을 수 있다. 아래의 식에서 N 은 AU 별 정점(Vertex)의 전체 개수이며, x, y는 각각 X, Y 좌표이며 여기에 아래첨자로 병기된 i 는 해당 AU에서의 정점의 번호이다.

삭제

위의 수식에서, X-Y 평면에서의 좌표 값 및 면적을 Y-Z 평면 또는 X-Z평면의 값들로 각각 환함으로써 Y-Z 평면 및 X-Z 평면에서의 AU 등의 중점(Cy, Cz), (Cx, Cz) 및 면적(Ayz, Axz)을 구할 수 있다.

상기와 같은 방법으로 연속적으로 입력되는 안면 영상을 이용해 현행 AU 정보 및 선행 AU 정보로부터 필요한 AU 정보 변화량을 구할 수 있게 된다.

AU 정보 변화량에는 전술한 바와 같이 특정 AU에 대한 안면 움직임의 크기(||V||), 안면 움직임의 각도, 중점의 변화량, 면 적의 변화량 등이 있는데, 이들 변화량을 통해서 피험자의 안면의 변화를 판단할 수 있게 된다.

각 AU에서, n번째 AU(AUn)의 크기 ||V||는 아래의 식으로부터 얻는다.

AU_n의 안면 움직임 크기는 다음 수식을 사용하여 추출한다(n= AU number).

이전 안면 영상 프레임(선행 AU 정보)에서 AU_n의 중점(Centroid)의 좌표를 (x1, y1), 현재 안면 영상 프레임(현재 AU 정보)에서의 AU_n의 중점 좌표를 (x2, y2) 라 했을 때, 중점의 좌표 변화량(V_n) 은 아래의 식4와 같다.

삭제

그러므로, 안면 움직임 벡터의 크기(||V_n||)는 아래 식 5와 같이 계산된다.

삭제

그리고 중점의 안면 움직임 각도(radian,

)는 아래와 같이 계산된다.

삭제

위 식에서

는 선행 AU의 벡터

와 현재의 AU의 벡터

내적을 의미한다. 여기에서 두 벡터의 외적을 통해서 회전 방향을 계산할 수 있다.

즉, 즉, v_1·v₂ > 0 이면 회전 방향은

는 v₁ 의 반시계 방향이며, v_1·v₂ < 0 이면, 회전 방향은

는 v₁ 의 시계 방향이 된다.

도7은 볼(광대근)이 올라가고 아래 눈꺼풀을 누르며 눈가의 주름이 생기는 AU6에서의 움직임을 예시한다. 도7에서, 실선은 선행 안면 영상에서의 벡터를 나타내며, 점선은 현재의 안면 영상에서의 발생한 벡터를 나타낸다. 도7에 도시된 바와 같이 AU6의 동작에 따라

는 시계방향 또는 반시계 방향으로 움직일 수 있다.

이러한 상태에서 AU6의 움직임에 따라 정점의 곡선 움직임(Mr)을 계산할 수 있다.

도8에서,

는 AU6의 중점의 움직임 각도이다.

여기에서 반경 r 과 움직임 각도

아래와 같은 식에 의해 계산된다.

위에서 설명된 본 발명에 따라 추출된 AU 기반 안면 움직임 정보, 예를 들어 AU의 안면 움직임 크기, 각도, 정점의 곡선 안면 움직임 등을 다양한 형태로 응용하여 사용될 수 있다. 예를 들어, 얼굴 표정에 따라 움직이는 AU들의 정보를 추출하여 데이터베이스화 시키고, 이를 실시간으로 입력되는 얼굴표정 영상이미지의 정보를 데이터베이스에 있는 정보와 비교하여, 현재 표정의 감성을 판단하고 수치화하는데 사용될 수 있다. 또한, 안면부의 미동으로부터 의사 심장 정보를 추출할 수 도 있다.

결과적으로 본 발명에 따르면 AU 기반의 안면 움직임 정보를 이용한 감성 얼굴 표정 인식 알고리즘, 또는 심장 정보 추출 알고리즘 기술 개발이 가능하게 된다. 즉, 사람의 얼굴 표정 움직임은 현재 그 사람의 감성 및 심장 정보를 유추할 수 있는 중요한 요소로서, 본 발명은 AU의 변화를 정량적을 추출하여 이를 응용할 수 있는 근간을 제공한다.

본 발명에 따라 안면 영상으로부터 심장 정보를 추출하기 위하여 연속되는전 후 프레임(Frame by Frame)간의 차이 값을 통해 안면부 미동 양을 추출하는데, 전술한 바와 같은 AU의 변화를 이용해 안면부 미세 움직임 데이터를 추출한다.

이하에서 본 발명에 따른 심장 정보 추출 방법의 실험 및 검증에 대해 설명한다.

1. 피험자

상명대학교 재학생 24명이 (남자 12명, 여자 12명, ±1. 72) 실험에 참여하였다. 모든 피험자는 심혈신경계에 이상이나 병력이 없었고 전날 충분한 수면을 취하도록 하였다. 또한 심혈관계 반응에 영향을 미칠 수 있는 카페인, 흡연, 음주 등의 섭취를 실험 전날 금하도록 하였다. 실험 전, 실험에 참가하는 모든 피험자에게 연구목적을 제외한 실험에 대한 대략적인 사항에 대해 설명한 후 실험을 진행하였고 실험의 대가로 소정의 금액을 지불하였다.

2. 실험 방법

실험은 아무런 얼굴 표정을 짓지 않은 상태에서의 무표정을 유지 할 수 있도록 한 뒤 실험을 진행하였다. 이때 심박과 호흡에 영향을 주는 별도의 자극은 주지 않았으며 각 개인별 자율 호흡을 유지 할 수 있도록 하였다. 실험이 진행 되는 동안 맥파(PPG) 센서를 착용하고 동시에 상반신의 영상을 측정 하였다. 측정 시간은 자율 호흡상태에서 3분간 유지 될 수 있도록 하였다.

3. 분석 및 신호처리 방법

맥파(PPG) 신호는 lead-I 방법을 통해 500Hz로 샘플링 하였다. 심전도 신호는 MP100 power supply와 PPG 100C amplifier (Biopac systems Inc. , USA)를 통해 신호를 증폭하고 NI-DAQ-Pad9205 (National instruments, USA) 를 통해 아날로그 신호를 디지털 신호로 변환하여 취득하였다. 센서로부터 취득 된 맥파 신호는 QRS 검출 알고리즘(Detection Algorithm)을 이용하여 PPG 신호의 피크(Peak)치를 검출하였다. 검출된 피크 치는 인접한 피크의 값과의 차이를 통해 PPI (Peak to Peak Intervals)를 계산하였다. 영상 신호는 안면부 미세 움직임(미동) 추출 방법을 통해 데이터를 취득 후 신호 처리를 실시 하였다. 또한 서로 다른 두 신호간 통계적 검증을 위해 윈도우 크기(Window size)는 30초의 동일 조건으로 신호 처리를 실시 하였다. 신호 처리 후 각각 추출 된 데이터는 SPSS 17.0K 를 통해 상관분석을 실시하여 상관계수를 도출하고 평균(Mean), 표준편차(SD, standard deviation), RMSE(Root Mean Square Error) 등의 오차(Error) 분석 방법을 이용하여 데이터 검증을 실시 하였다.

4. 심박 정보 추론 방법

도9에 도시된 바와 같이, 안면부에 매핑된 AU의 미세 움직임(MM, Micro-movement)을 이용하여(S91) 심장반응 데이터를 추론 할 수 있도록 하였다. 미세 움직임은 전술한 과정(S27)에서 추출된 것이다.

인체의 안면부에서는 여러 국부의 AU들이 검출이 되는데 이 때 움직임에 편차가 적고 안정적이고 유효한 정보를 가지고 있는 안면의 국부를 선정하기 위해 움직임 정보의 편차(SD:standard deviation)를 이용하였다(S92). 안정된 움직임을 보이는 국부의 영역이 선정되면 BPF(Band Pass Filter)를 0.7-1.3Hz 대역으로 필터 적용(S93) 후, 심박의 피크(Peak)를 찾기 위해서 피크 검출(Peak Detection) 알고리즘을 적용(S94)하였다.

각 검출 된 피크(Peak)와 피크(Peak) 사이의 간격(Interval)을 구하여 RRI(R-peak to R-peak Intervals)를 추출 후, 통계 검증 후 분류된 보정 계수를 통해 보정된 RRI을 추출하였다(S95). 보정된 RRI를 기준으로 빠름/보통/느림으로 3단계로 구분하여 통계적 검증을 통한 임계치(Threshold)를 설정(S96)하였다.

보정된 미동의 움직임 데이터에 기반하여 BPM(Beat Per Minute) 신호를 추출하였다(S97).

5. 호흡 정보 추론 방법

도10은 미세 움직임(Micro-Movement)에 대한 신호 처리를 통해 호흡 정보를 추출하는 과정을 도시한다.

심박 정보 추론 방법에서와 마찬가지로, 트랙킹(Tracking) 된 AU로부터 미세한 움직임 데이터를 추출하기 위해 현재 프레임과 이전프레임 간의 차이 값에 의한 미세 움직임(S101)을 이용한다.

미세 움직임은 전술한 과정(S27)에서 추출된 것 이다. 검출되는 여러 국부의 AU에서, 움직임에 편차가 적고 안정적인 안면의 국부를 선정하기 위해 움직임 정보의 SD(standard deviation)의 오차(Error)를 이용하였다(S102).

안정된 움직임을 보이는 국부의 영역이 선정되면 BPF(Band Pass Filter)를 0.7-1. 3Hz 대역으로 필터 적용(S103) 후, 피크(Peak)를 찾기 위해서 피크 검출(Peak Detection) 알고리즘을 적용(S104)하였다.

각 검출 된 피크(Peak)와 피크(Peak) 사이의 간격(Interval)을 구하여 RRI를 추출 후, 통계 검증 후 분류된 보정 계수를 통해 보정된 RRI을 추출하였다(S104).

위의 과정에서, 호흡 정보를 추출하기 위한 신호처리를 위해 초기 기준 데이터(Reference data)를 수집하기 위해 데이터(Data)의 윈도우 사이즈(Windows Size)를 30초로 설정하였고 최초 30초의 데이터가 수집된 이후 인터벌(Interval) 간격을 1초로 설정하여 슬라이딩 윈도우(Sliding Window) 기법을 사용해 데이터를 수집되는 데이터 정보를 갱신 되도록 하였다. 이렇게 갱신 된 데이터를 기반으로 움직임 평균(Moving Average)을 이용하여 RSP(Respiration)를 추출 할 수 있는 형태의 신호처리 과정을 거쳤으며 해당 신호의 피크(Peak)의 간격(Interval) 계산을 통해 최종 호흡 정보(RSA, Respiratory Sinus Arrhythmia signal)를 추출 하였다(S106).

6. 결과

도11은 움직임 정보의 SD 분석 결과를 도시한다.

미동 Data와 PPG 신호간 상관분석 결과를 기준으로 각 움직임의 양의 평균 값을 분류한 결과, 미동이 r>0.9 일 때 (t=39.30244, p<.01), r>0.8 일 때(t=49.15492, p<.001), r>0.7 일 때(t=72. 18763, p<.01), r>0.6 일 때(t=62. 60285, p<.01) 모두 통계적으로 유의한 차이를 보였다.

도12는 움직임 정보에 따른 회귀 분석(Regression Analysis)의 결과를 도시한다.

PPG 신호와 미동(MM) 신호간 상관성이 0.9 이상 일 때 심장수의 범위를 상(上), 중(中), 하(下)로 분류하여 움직임 양을 분석결과 상과 중(z=-2.503, p<.05), 중과 하(z=-5.307, p<.001), 상과 하(z=-2. 345, p<.05)의 결과를 보였으며 모두 통계적으로 유의한 차이를 보였다.

통계적으로 유의한 차이를 보일 때 회귀 분석 결과가 상(上)일 경우 x=-0.01293, y=0.705283 이며, 중(中)일 경우 x=0.008202, y=0.832221이고, 하(下)일 경우 x=0.536307, y=0.563826이 도출되었다.

아래의 표2는 추출된 심장 정보의 결과를 보인다.

얼굴 국부의 미세움직임을 기반으로 추론되는 MM(Micro-Movement) 신호와 센서 기반으로 추론된 신호간 데이터를 PPI와 BPM, 오차(Error)를 비교하였다. PPG로부터 계산된 PPI(PPG_PPI)는 0.838825, MM으로부터 계산된 PPI(MM_BPM)는 0.838924로 0.000099의 차이를 보였다. PPG로부터 계산된 BPM(PPG_BPM)은 72.8529096, MM으로부터 계산된 BPM(MM_BPM)은 72. 84675로 0.012311의 차이를 보였다.

도13, 14는 24명의 피험자의 데이터 분석 결과 PPI와 BPM을 보이며, 도15,16은 RSA(Respiratory Sinus Arrhythmia)와 피이크 수(Peak Number)의 경우를 도시한다.

도13에서 실선은 센서에 의해 측정된 PPI, 점선은 본 발명에 의해 추출된 PPI의 변화를 비교 도시한다. 도 13에 도시된 바를 통해 본 발명에 따른 추출 방법에 따른 PPI는 센서에 의해 직접 검출 방식의 PPI에 매우 유사한 패턴을 가짐을 알 수 있다.

도14에서 실선은 센서에 의해 측정된 BPM, 점선은 본 발명에 의해 추출된 BPM의 변화를 비교 도시한다. 도 14에 도시된 바를 통해 본 발명에 따른 추출 방법에 따른 BPM 데이터는 센서에 의해 직접 검출된 BPM 데이터에 매우 유사한 패턴을 가짐을 알 수 있다.

도 15에서 실선은 센서에 의해 측정된 RSA와 점선은 본 발명에 의해 추출된 RSA의 변화를 비교 도시한다. 도 15에 도시된 바를 통해 본 발명에 따른 추출 방법에 따른 RSA 데이터는 센서에 의해 직접 검출된 RSA에 차이는 조금 있지만 어느 정도 유사한 패턴을 가짐을 알 수 있다.

도 16에서 실선은 센서에 의해 측정된 피이크 수(Peak Number)와 점선은 본 발명에 의해 추출된 피이크 수(Peak Number)의 변화를 비교 도시한다. 도 16에 도시된 바를 통해 본 발명에 따른 추출 방법에 따른 피이크 수 데이터는 센서에 의해 직접 검출된 피이크 수 데이터에 유사한 패턴을 가짐을 알 수 있다.

7. 선행 기술 비교 결과

카메라 기반의 움직임 데이터를 기반으로 연구된 MIT CSAIL 선행 연구와의 비교 결과는 BPM Error ratio는0.014%, Peak Count는 16. 89%으로 아래의 표3과 같다.

다른 선행 연구로 카메라 기반에 RGB와 ICA를 이용한 연구인 MIT Media Lab의 Mean Error, SD Error, RMSE Error, Correlation을 비교 하였다. 그 결과 상관계수는 r=1, Error=0.012, SD=0.06, RMSE=0.06으로 아래 표4와 같다.

전술한 바와 같이, 본 발명은 안면부 근육에 미세한 움직임을 기반으로 비접촉식 센싱 기술을 이용해 심장 정보를 추론하였다. 안면부의 미세한 움직임을 자연스럽게 추적하고 이로부터 데이터를 추출 하기 위해 3D 모델 기반의 트랙킹(Tracking) 기술을 적용하였다. 또한 Candidate-3 모델과 FACS의 얼굴 근육을 매핑하여 AU을 선정하였다. 선정된 AU의 기반으로 각 얼굴 표정 및 미세한 움직임을 자연스러운 안면 추적 상태에서도 움직임 데이터를 추출 할 수 있도록 하였다.

AU 기반에서 추출된 데이터 미동 데이터의 SD 패턴(Pattern)을 이용하여 분류하였다. SD 패턴(Pattern)은 AU의 움직임에 대해 데이터 추출함에 있어서, 윈도우 크기(Window size)로 10 초로 설정하여 평균적인 움직임 양을 추출하여 PPG 신호와 상관성에 따른 패턴을 비교하여 통계 검증을 실시하였다. 그 결과 상관성이 r>0.9 일 때 (t=39.30244, p<0.01), r>0.8 일 때(t=49.15492, p<0.001), r>0.7 일 때(t=72. 18763, p<0.01), r>0.6 일 때(t=62.60285, p<0.01) 모두 통계적으로 유의한 차이를 보였다. r>0.9 일 때의 안면부의 AU를 선정 할 수 있도록 하였다. 선정 된 AU로부터 추출되는 움직임에 데이터는 심박 수의 상, 중, 하로 구분하여 분류 하여 통계검증을 실시 하였다.

그 결과 상과 중(z=-2.503, p<.05), 중과 하(z=-5.307, p<.000), 상과 하(z=-2.345, p<.019)의 결과를 보였으며 모두 통계적으로 유의한 차이를 보였다. 유의한 차이를 보이는 각 단계별 통계 검증을 통한 회귀식을 도출하였다. 회귀 분석 결과 상일 경우 x=-0.01293, y=0.705283 이며, 중일 경우 x=0.008202, y=0.832221이고 하일 경우 x=0.536307, y=0.563826이 도출되었다.

미동 데이터 추출 시스템과 도출된 회귀식을 통해야 남녀 대학생 피험자 24명을 대상으로 자율호흡 상태에서 약 3분간 PPG와 미동을 동시에 측정 하였다. 각 측정된 데이터는 PPG 센서와 미동 데이터간 피험자의 평균을 비교하였으며 각 PPI, BPM, BPM 오차(Error) 항목을 분석하여 비교하였다. 그 결과 PPI의 경우 PPG(0.838825)와 MM(0.838924)로 0.000099의 차이를 보였으며 BPM의 경우 PPG(72. 859096)와 MM(72. 846785)로 0.012332의 차이를 보였다.

BPM의 상관성 분석 결과 상관계수는 r=1, Error=0.012, SD=0.06, RMSSE=0.06으로 PPG 센서로부터 추출된 심박수와 매우 유사한 패턴을 보였다. 선행 연구에서 상관분석(Correlation), 평균 오차(Mean Error), 표준편차 오차(SD Error), RMSE(Root Means Square Error), 피이크 카운트(Peak Count, 山數) 등 분석 결과 우수한 결과를 보였다.

이와 같이 본 발명은 비 접촉형 센싱 기술인 미동 검출 기술을 이용하여 심장 정보를 우수한 결과로 측정 가능한 것을 확인하였다. 특히 선행 연구 및 유사 기술들이 많지만 비 접촉형 센싱 기술을 실 생활에 활용하기는 매우 어렵다. 또한 영상으로부터 상황에 따라 측정 할 수 있는 제한적이다. 하지만 안면 근육의 여러 지점을 이용하여 심장 정보를 추출 할 수 있음을 확인 할 수 있게 되었다. 하지만 본 발명은 트랙킹 모듈(Tracking Module) 등을 응용 적용한 방법으로 연동 모듈에 대한 경량화 및 더욱 자연스러운 트랙킹 기술에 대한 연구가 필요하다. 이로써 새로운 센싱 기법과 다양한 안면부의 움직임에서도 추론되는 심장 정보는 실 생활 및 많은 관련 연구 분야에 응용 가능 할 것으로 기대 된다.

이러한 본 발명이, 지금까지, 본원 다양한 모범적 실시 예가 설명되고 첨부된 도면에 도시되었다. 그러나, 이러한 실시 예는 단지 다양한 실시 예들의 일부임이 이해되어야 할 것이다. 다양한 다른 변형이 본 기술분야에서 통상의 지식을 가진 자에게 일어날 수 있기 때문이다.

1: 컴퓨터 시스템
11: 본체
12: 모니터
13: 동영상 카메라
14: 키보드
15: 마우스
20: 피험자

Claims (11)

1. 피험자로부터 안면 영상을 획득하면서, 상기 안면 영상에, 안면 부위별 기준 정점을 정의하는 표준 모델을 마스킹(매칭)하여 상기 피험자의 안면 영상에 안면 부위별로 정점(Vertex)들을 맵핑하는 단계;
   안면 부위별로 정의되는 다수 AU(Action Unit)별로 상기 정점들을 그룹화하는 단계;
   상기 AU(Action Unit)들 각각의 중점(重點, Centroid)의 변화 값을 포함하는 미세 움직임(MM, Micro-Movement) 정보를 연속적으로 추출하는 단계;
   상기 다수의 AU 중 유효 미세 움직임(MM) 정보를 가지는 AU의 미세 움직임 정보를 선택하는 단계; 그리고
   선택된 미세 움직임 정보로부터 RRI(R-Peak to R-Peak Intervals)를 검출하고, 검출된 RRI를 이용해 상기 피험자의 심장 정보를 추출하는 단계;를 포함하는 안면 미동을 이용한 심장 정보 추출 방법.
2. 제1항에 있어서,
   상기 미세 움직임 정보는 상기 중점 변화 값의 크기(||Vn||), AU 별 정점(Vertex)들이 이루는 면적의 변화량, 극좌표 개념의 안면 움직임 각도(

   

   ),정점의 곡선 안면 움직임(Mr) 값 중, 적어도 어느 하나를 포함하는 것을 특징으로 하는 안면 미동을 이용한 심장 정보 추출 방법.
   <식1>
   

   

   
   <식2>
   

   

   
   <식3>
   Mr = r*Sin(

   

   )
   위 식에서

   

   는 중점의 움직임 각도이며, r 은 그 반경으로 아래와 같이 정의된다.
   

   

   
   

   

   
   위 식1, 2, 3에서 x1, x2는 X-Y 좌표계에서 n번 Au의 중점의 x 방향의 이동 전후의 X 좌표, 그리고 y1, y2는 Au 중점의 y 방향의 이동 전후의 Y좌표로서 전후 영상 프레임간의 해당 AU의 좌표 변화를 나타낸다.
3. 제2항에 있어서,
   상기 정점의 좌표는 X-Y 평면상의 X, Y 좌표 및 X-Y 평면에 수직한 Z 좌표를 포함하는 것을 특징으로 하는 안면 미동을 이용한 심장 정보 추출 방법.
4. 제1항 내지 제3항 중의 어느 한 항에 있어서,
   상기 각 AU는 적어도 3개의 정점(Vertex)을 포함하는 것을 특징으로 하는 안면 미동을 이용한 심장 정보 추출 방법.
5. 제1항 내지 제3항 중의 어느 한 항에 있어서,
   상기 미세 움직임 정보는 X, Y, Z 좌표계에서, X-Y 평면, X-Z 평면, Y-Z 평면 중, 적어도 어느 하나의 평면에서 움직임(변화)으로부터 추출되는 것을 특징으로 하는 안면 미동을 이용한 심장 정보 추출 방법.
6. 제1항에 있어서,
   상기 피험자의 안면을 촬영하면서, 상기 미세 움직임 정보에 대한 초기 기준 데이터를 소정 시간 추출하는 단계;
   상기 초기 기준 데이터를 추출 후, 일정 한 시간 간격으로 상기 미세 움직임 정보를 추출하여 이로부터 상기 RRI를 추출하는 것을 특징으로 하는 안면 미동을 이용한 심장 정보 추출 방법.
7. 제6항에 있어서,
   다수의 AU 중 일부 유효 미세 움직임(MM) 정보를 가지는 AU의 미세 움직임 정보를 선택하는 단계:는 상기 AU의 미세 움직임의 표준 편차 패턴에 기초하여 특정 AU의 미세움직임을 선택하는 과정;을 포함하고, 그리고
   상기 선택된 미세 움직임 정보를 소정 주파수 범위로 필터링한 후, 이로 부터 피이크를 검출하는 단계;
   상기 피이크를 이용해 상기 RRI 평균을 구하는 단계; 그리고
   상기 RRI 를 이용하여 BPM(Beat Per Minute) 신호를 검출하는 단계;를 더 포함하는 안면 미동을 이용한 심장 정보 추출방법.
8. 제1항 내지 제3항, 제6항 또는 제7항 중의 어느 한 항에 기재된 방법을 수행하는 시스템으로서,
   상기 피험자로부터 안면 영상을 획득하는 동영상 카메라;
   상기 동영상 카메라로부터의 영상을 처리하는 영상 처리부;
   상기 영상 처리부로부터의 영상 데이터를 이용해 상기 미세 움직임 정보를 추출하고 이로부터 심장 정보를 획득하는 시스템;을 포함하는 안면 미동을 이용한 심장 정보 추출 시스템.
9. 제8항에 있어서,
   상기 미세 움직임 정보는 X, Y, Z 좌표계에서, X-Y 평면, X-Z 평면, Y-Z 평면 중, 적어도 어느 하나의 평면에서 움직임(변화)으로부터 추출되는 것을 특징으로 하는 안면 미동을 이용한 심장 정보 추출 시스템.
10. 제9항에 있어서,
    상기 각 AU는 적어도 3개의 정점(Vertex)을 포함하는 것을 특징으로 하는 안면 미동을 이용한 심장 정보 추출 시스템.
11. 삭제

Images