KR20210078387A

KR20210078387A - 얼굴 색상과 떨림을 이용한 카메라 기반 심박 측정 방법 및 시스템

Info

Publication number: KR20210078387A
Application number: KR1020200113199A
Authority: KR
Inventors: 황민철; 이현우; 김혜진; 김영주; 조영호
Original assignee: (주)감성과학연구센터
Priority date: 2019-12-18
Filing date: 2020-09-04
Publication date: 2021-06-28
Also published as: KR102215557B1; KR102285999B9; KR102215557B9; KR102285999B1

Abstract

개시된 영상 기반 심박 측정 방법은, 동영상 카메라를 통해 피험자의 안면 영상을 획득하고, 획득된 동영상으로부터 얼굴 색상 및 떨림 정보를 추출하고, 그리고, 상기 안면 색상 정보 및 떨림 정보를 복합적으로 이용하여 피험자의 심박수를 비침습적으로 계산하여 추정한다.

Description

얼굴 색상과 떨림을 이용한 카메라 기반 심박 측정 방법 및 시스템 {Heart rate estimation based on facial color variance and micro-movement}

본 개시는 영상 기반 심박 측정 방법 및 시스템에 관해 기술하며, 상세하게는 영상 촬영에 의해 얻은 얼굴 색상 및 떨림을 이용하여 심박(Heart rate)을 측정하는 방법 및 시스템에 관한 것이다.

심박수는 헬스케어 및 감성 서비스에 활용이 가능한 주요 생체 신호이다. 심박수를 측정하는 장치는 대부분 심전도(Electrocardiography, ECG), 광용적 맥파(Photoplethysmography, PPG), 심탄도(Ballistocardiography, BCG)와 같은 피부 접촉 센서를 기반으로 한다. 그러나 접촉 센서는 피험자의 심리적 부담, 피부 손상과 같은 측정 부담으로 인해 편리하지는 않다.

최근에는 카메라로 얼굴을 촬영하여 비접촉 방식으로 심박수를 측정할 수 있는 몇몇 방법들이 제안되었다.

지금까지의 카메라 기반 심박 측정 방법에는 광 용적 맥파(PPG), 심탄도(BCG)를 이용하는 방법이 있다. 광용적 맥파(PPG)는 심장 박동에 의해 변동되는 혈류량을 얼굴 색상의 변화로부터 측정한다. 심탄도(BCG)는 경동맥을 통해 전달되는 심장 박동의 탄도를 미세한 얼굴 떨림으로부터 측정한다.

이러한 종래 방법들은 측정 환경의 변화, 예를 들어 주변 조명과 피험자의 움직임에 민감하다는 단점을 가진다. 이러한 단점은 측정 정밀도를 떨어뜨리며 따라서 카메라 기반 심박 측정 방법의 실생활 적용의 가능성을 제한한다.

본 개시는 영상을 기반으로 주변 조명과 피험체의 음직임에도 안정적인 심박 측정이 가능한 방법을 제시한다.

본 개시는 실생활 적용을 위해서는 PPG, BCG를 상호 보완적으로 통합한 심박 측정 방법 및 시스템을 제시한다.

본 개시의 한 실시 예에 따른 심박 측정 방법:은

동영상 카메라에 의해 피험자의 안면 영상을 획득하는 단계;

획득된 안면 영상으로부터 색상 변화(color variation, CV)를 나타내는 색상 신호 신호와 안면 떨림(facial micro-movement, MM) 을 나타내는 떨림 신호를 추출하는 단계;

상기 색상 신호 및 떨림 신호를 이용해 심장 신호를 추출하는 단계;

상기 심장 신호로부터 피험자의 심박수를 추정하는 단계;를 포함한다.

본 개시의 하나 또는 그 이상의 실시 예에 따르면, 상기 안면 영상을 획득하는 단계에서, 상기 색상 신호는 RGB 기반 색상, HSV 기반 색상-명도-채도, YCbCr 기반 밝기-색차 중의 어느 하나로부터 추출될 수 있다.

본 개시의 하나 또는 그 이상의 실시 예에 따르면, 상기 색상 신호는 영상 프레임에 안면에 정의된 ROI(Region of Interest)로부터 추출될 수 있다.

본 개시의 하나 또는 그 이상의 실시 예에 따르면, 상기 떨림 신호는 상기 피험자의 안면에 정의된 하나 또는 그 이상의 얼굴 특징점 또는 하나의 경계 상자로부터 추출될 수 있다.

본 개시의 하나 또는 그 이상의 실시 예에 따르면, 상기 떨림 신호는 안면의 특징점의 상하 방향의 y축의 움직값으로 추출될 수 있다.

본 개시의 하나 또는 그 이상의 실시 예에 따르면, 상기 색상 신호 및 떨림 신호를 0.75~2.5Hz의 밴드 패스 필터가 적용될 수 있다.

본 개시의 하나 또는 그 이상의 실시 예에 따르면, 상기 밴드 패스 필터를 통과한 떨림 신호(MM _filter )의 평균(mean)과 표준편차(sd)를 구하고, 아래의　식에 의해 떨림 신호가 보정될 수 있다.

<식>

위 식에서, MM _sd 는 편차를 기준으로 보정된 떨림 신호, mean 은 안면 떨림 신호의 평균을 구하는 연산, sd 는 편차를 구하는 연산, i 는 얼굴 특징점 인덱스이다.

본 개시의 하나 또는 그 이상의 다른 실시 예에 따르면, 떨림 신호(MM _raw )의 평균(mean)과 표준편차(sd)를 구하고, 아래의　식에 의해 상기 안면 떨림 신호가 보정될 수 있다.

<식>

위 식에서, MM _sd 는 편차를 기준으로 보정된 떨림 신호, mean 은 떨림 신호 의 평균을 구하는 연산, sd 는 편차를 구하는 연산, i 는 얼굴 특징점 인덱스이다.

본 개시의 하나 또는 그 이상의 실시 예에 따르면, 아래의 식에 기초하여, 색상 신호 CV _raw 에서 색상 신호의 기저 성분인 평균 mean(CVraw) 을 구하고 색상 신호 CV _raw 에서 상기 기저 성분 mean(CVraw) 가 제거될 수 있다.

<식>

위에서 CVraw 는 원형 색상 신호, mean 은 평균 연산을 나타내며, CVnorm 은 기저 성분이 제거된 색상 변화 신호 이다.

본 개시의 하나 또는 그 이상의 실시 예에 따르면, 상기 떨림 신호에 대해 주성분 분석(PCA)을 통해 최종 떨림 신호를 얻고, 상기 색상 신호에 대해 독립성분분석(ICA)을 통해 최종 색상 신호를 얻고, 상기 최종 떨림 신호와 최종 색상 신호에 대한 주성분 분석(PCA)에 의해 최종 심박 신호를 추출하고, 그리고 상기 최종 심박 신호를 이용해 상기 피험자의 심박수가 계산 될 수 있다.

본 개시의 하나 또는 그 이상의 실시 예에 따른 영상기반 심박 측정 장치:는

상기 안면 영상을 획득하는 동영상 카메라;

상기 방법을 수행하는 소프트웨어 형태의 분석 알고리즘이 실행되는 컴퓨터 본체;

심박수 측정 결과를 표시하는 디스플레이;를 포함할 수 있다.

본 개시의 하나 또는 그 이상의 실시 예에 따르면, 상기 알고리즘은 상기 색상 신호 및 떨림 신호에 대해 0.75~2.5Hz의 밴드 패스 필터를 적용할 수 있다.

본 개시의 하나 또는 그 이상의 실시 예에 따르면, 알고리즘은 상기 밴드 패스 필터를 통과한 떨림 신호(MM _filter )의 평균(mean)과 표준편차(sd)를 구하고, 아래의　식에 의해 떨림 신호를 보정할 수 있다.

<식>

본 개시의 하나 또는 그 이상의 실시 예에 따르면, 상기 알고리즘은, 상기 떨림 신호에 대해 주성분 분석(PCA)을 통해 최종 떨림 신호를 얻고, 상기 색상 신호에 대해 독립성분분석(ICA)을 통해 최종 색상 신호를 얻고, 상기 최종 떨림 신호와 최종 색상 신호에 대한 주성분 분석(PCA)에 의해 최종 심박 신호를 추출하고, 그리고 상기 최종 심박 신호를 이용해 상기 피험자의 심박수를 계산할 수 있다.

본 개시의 하나 또는 그 이상의 실시 예에 따르면,

상기 알고리즘:은

상기 떨림 신호에 대해 주성분 분석(PCA)을 통해 최종 떨림 신호를 얻고;

상기 색상 신호에 대해 독립성분분석(ICA)을 통해 최종 색상 신호를 얻고;

상기 최종 떨림 신호와 최종 색상 신호에 대한 주성분 분석(PCA)에 의해 최종 심박 신호를 추출하고; 그리고

상기 최종 심박 신호를 이용해 상기 피험자의 심박수를 계산할 수 있다.

도1은 하나 또는 그 이상의 실시 예에 따른 영상 기반 심박 측정 방법의 흐름도를 예시한다.
도2는 본 개시에 따른 심박 측정 방법에서 안면 색상 신호 처리에 대한 흐름도를 보인다.
도3은 본 개시에 따른 심박 측정 방법에서 안면 떨림 신호의 처리에 대한 흐름도를 보인다.
도4는 본 개시에 따른 실시 예에 의해 얻어진 색상 신호와 떨림 신호를 처리하여 통합 신호를 형성하는 흐름도를 보인다.
도5는 본 개시에 따른 한 실시 예에서, 얼굴 검출 단계로부터 색상 및 떨림 신호 추출과정으로 도식적으로 보인다.
도6은 본 개시에 따른 한 실시 예에서, 색상 및 떨림 신호 추출 및 이 두 신호의 통합에 따른 신호 파형의 변화를 예시한다.
도7은 본 개시에 따른 실시 예에서, 색상 신호 및 떨림 신호를 이용해 추정된 심박 신호와 실제 ECG 센서로 얻은 실측 심박 신호(Ground truth ECG) 파형을 비교해 보인다.
도8은 도7에 도시된 추정된 심박 신호와 실측한 심박 신호의 스펙트럼을 보인다.
도9는 본 개시의 한 실시 예에 따른 영상 기반 심박 측정 장치의 개략적 구성을 보인다.

이하 첨부된 도면을 참조하면서 하나 또는 이상의 실시 예에 따른 심박 측정 방법 및 시스템에 대해 상세히 설명한다.

도1은 본 개시가 제안하는 비침습적 심박 측정 방법의 신호 처리 흐름을 보인다.

본 개시의 한 실시 예는 얼굴 색상과 떨림을 이용한 카메라 기반 심박 측정 방법으로 1) 신호 추출, 2) 신호 필터링, 3) 심박수 추정의 3단계의 과정을 진행한다.

(1) 신호 추출

이 단계에서는 촬영된 피험자의 얼굴 영상에서 얼굴 색상과 떨림의 정보를 추출한다. 이를 위해 얼굴 영상에서 얼굴을 검출하고, 추적하여, 색상 및 떨림 신호를 추출한다.

1-1) 얼굴 검출

카메라 영상의 첫 프레임으로부터 얼굴을 검출하여 얼굴 영역의 위치를 정의한다.

소정의 프레임 레이트(frame rate), 예를 들어 30fps로 입력되는 카메라 영상으로부터 얼굴 부위의 명암 특징을 이용하는 Viola-Jones 알고리즘을 이용해 얼굴을 검출한다. 검출된 얼굴 영역에 대해 이마, 코, 볼 등에 대한 N 개의 포인트, 예를 들어 80 개의 얼굴 포인트를 검출한다.

얼굴 검출에는 Haar 특징 기반 Viola-Jones 알고리즘 외에 HoG(Histogram of Gradient) 기반 방법, CNN(Convolutional Neural Network) 기반 검출 방법 등이 적용될 수 있다.

1-2) 얼굴 추적

ROI(Region of Interest)는 원시 신호를 제공하는 픽셀을 포함하는 영상 안의 영역으로, 얼굴 영역을 여러 형태로 ROI로 정의할 수 있다.

(1) 경계 상자(Bounding box)

-Viola-Jones 알고리즘의 경계 상자는 양쪽의 배경 픽셀이 포함되기 때문에 일반적으로 너비의 60%를 포함한다.

-경계 상자안의 일부분을 ROI로 사용하기도 함-경계 상자에 따라 이마, 뺨 부분에 주목하기도 한다.

(2)다중 ROI

-얼굴의 영역을 나타내는 여러 개의 ROI를 정의하기 위해 랜드마크를 사용한다.

-ROI의 하위 집합을 채택해 동적으로 ROI 산출이 가능하다.

-여러 개의 ROI를 사용하는 만큼 많은 컴퓨팅 비용이 요구됨

(3) 얼굴 랜드마크

-얼굴에 9개의 랜드마크를 사용하여 볼, 이마, 눈 아래 등의 영역을 정의한다.

-상기 AAM과 같은 얼굴 모델 기반의 알고리즘과 동반하여 사용되어야 함

(4) 얼굴 포인트

-Viola-Jones 알고리즘으로 검출된 경계 상자를 쉘 단위로 나누어서 각 쉘의 중심 좌표를 포인트로 정의한다.

-경계 상자를 m x n 의 쉘로 나눈다면, 총 m x n 개의 얼굴 포인트를 정의할 수 있다. 그러나 이 방법은 경계 상자 기반 방법에 비해 세분화되어 심박에 의한 움직임을 더 잘 추적할 수 있으며, 랜드마크 기반 방법에 비해 가볍다.

얼굴 영역의 움직임 궤적으로 추적에서는 첫 프레임에서 소정 수의 얼굴 포인트를 가지는 얼굴 영역을 초기 검출하고 이를 기반으로 이어지는 프레임들에서 ROI 인 얼굴 영역을 지속적으로 검출한다.

움직임 궤적의 추적에서, 연속적인 영상 프레임에 대해 얼굴 영역을 지속적으로 추적하기 위해 이전 프레임에서 검출된 얼굴 포인트에 대해 다음 프레임의 광학적 흐름(Optical Flow)을 계산하며 추적할 수 있다.

이러한 얼굴 추적에는 KLT(Kanade-Lucas-Tomasi) 추적 알고리즘, 변환행렬(Transformation Matrix) 기반 추적 알고리즘 등이 적용될 수 있다.

OpenCV 등에서 계산 가능한 광학적 흐름(Optical Flow)은 아래에 설명된 밝기 항상성, 시간 지속성, 공간 일관성의 3가지 가정을 기반으로 하는 KLT 추적 알고리즘을 기반으로 계산한다.

가정1: 밝기 항상성

어떤 객체에 대한 픽셀은 인접 프레임 간에는 값의 차이가 없다.

가정2: 시간 지속성

인접 프레임 간에는 움직임이 빠르지 않다.

가정3: 공간 일관성

인접 프레임 간에 공간적으로 인접한 객체는 동일 객체일 확률이 높다.

KLT 알고리즘으로부터 추적된 얼굴 포인트로부터 전체 얼굴 영역을 추적하기 위해 이전 프레임의 얼굴 포인트와 다음 프레임의 얼굴 포인트 간의 변환 행렬을 추출한다. 이때, 추적하는 객체가 얼굴이라는 특성을 고려하여 평행이동(Translation), 회전(Rotation), 크기 변화(Scaling)를 고려한 상사변환(Similarity Transformation)을 이용한다.

위 식에서

는 이전(t-1) 프레임에서 N개의 얼굴 포인트의 위치 값에 대한 Nx2 행렬,

는 다음 또는 현재(t) 프레임의 얼굴 포인트의 위치 값에 대한 Nx2 행렬,

는 변환행렬(Transformation matrix)이다.

위 식에서 I _p 는 Pseudo Inverse, 즉 역행렬 연산을 의미한다.

이를 통해 추출된 변환 행렬 T 를 이용해 이전 프레임의 얼굴 포인트 위치로부터 다음 프레임의 얼굴 위치를 추적한다.

위 식에서,

는 t-1 번째, 즉 이전 프레임의 얼굴 영역 위치(Region of Interest),

는 현재(t 번째) 프레임의 얼굴 영역 위치,

는 변환행렬(TM)이다.

1-3) 색상 신호 및 떨림 신호 추출

도5는 얼굴 검출 단계로부터 안면 색상 변화 신호(이하, 색상 신호) 및 안면 떨림 신호(이하, 떨림 신호) 추출과정으로 도식적으로 보이며, 도6은 색상 신호 및 떨림 신호 추출 및 이 두 신호의 통합에 따른 신호 파형의 변화를 예시한다.

경동맥을 통한 혈류의 흐름으로부터 발생하는 미세한 근육들의 움직임과 그에 따른 얼굴 색상의 미세한 변화에 의해 얼굴의 미동(Micro Movement)이 발생한다.

추적되는 얼굴 영역에 대해 얼굴 색상 변화와 안면 떨림을 이용하여 도5, 6에 예시한 바와 같이 통합된 심박 신호를 추출한다.

색상 기반 미동 추출 과정에서, 혈액에 흐름으로 인해 변화하는 얼굴의 미세한 색상 변화를 이용해 얼굴 미동 신호가 추출된다. 이를 위하여, 영상 프레임의 ROI(Region of Interest)에 포함된 모든 픽셀의 각 색상 채널(R, G, B)을 평균하여 값을 계산한다, 이는 단일 픽셀에 포함된 영상의 노이즈를 평균화 하는 것이다.

또한, 머리 움직임 기반 미동을 추출하는 과정에서, 심장박동에 의해 경동맥을 통해 미세하게 움직이는 머리 움직임으로부터 얼굴 미동 신호가 추출된다. 이 과정에서는, 예를 들어 GFTT(good-features-to-track) 알고리즘으로 정의된 얼굴 특징점을 KLT(Kanade-Lucas-Tomasi 추적 알고리즘을 사용하여 각 지점의 궤도를 계산함으로써 경동맥 미세 움직임에 의해 미동 신호을 추출할 수 있다. 이 미동신호는 심장박동에 의한 머리 움직임이 아닌 자발적인 움직임으로 인한 노이즈를 제거하기 위한 것이다.

여기에서, 색상 신호는 연속되는 프레임으로부터 얼굴 영역에 대한 색상의 변화로부터 추출되며, 색상 신호는 RGB 기반 색상, HSV 기반 색상-명도-채도, YCbCr 기반 밝기-색차 등으로부터 추출될 수 있다. 색상 신호의 추출 방법에 따라 다수의 색상 신호를 추출할 수 있는데, 예를 들어, RGB 기반 색상일 경우 총 3개(R, G, B)의 색상 신호 추출이 가능하다.

위와 같이 색상 신호를 추출함에 있어서, 양질의 색상 신호를 추출하기 위해 얼굴 영역에서 혈류에 의한 색상 변화가 뚜렷하고 표정으로 인한 노이즈가 적은 볼 영역을 선택한다.

본 실시 예에서, 얼굴 영역의 영상에서 각 프레임에 대한 색상 신호의 값을 추출하기 위해 볼 영역의 RGB 스펙트럼의 각 평균을 계산한다. 최종적으로 얻어지는 색상 신호는 슬라이딩 윈도우 기법에 의해 일정 시간 동안 누적된 RGB 스펙트럼의 평균값이다.

위 식에서 CV _t 는 t 번째 프레임의 색상 변화 신호(Color Variation), R 은 볼 영역의 Red 스펙트럼의 평균값,

는 볼 영역의 Green 스펙트럼의 평균값, B 는 볼 영역의 Blue 스펙트럼의 평균값이다.

심장박동에 의한 얼굴 미동 신호를 추출하는 과정에서, 영상 프레임 차이로부터 미동을 추출하기 때문에 얼굴 특징점이 아닌 하나의 경계 상자(Bounding box)를 기반으로 적용 가능하다. 이 방법에서는 RGB 색상의 프레임을 Gray 색상의 프레임으로 변환하고, ROI 내의 현재 프레임과 이전 프레임의 픽셀 값의 차이를 구하고 그 평균값을 계산한다.

본 실시 예에서는, 심장박동에 의한 떨림 신호는 연속되는 프레임으로부터 얼굴 특징점 좌표의 미세한 움직임으로부터 추출될 수 있다. 상기 얼굴 특징점은 GFTT 알고리즘, Facial Landmark Detection 등으로부터 정의될 수 있다. 좌표의 미세한 움직임은 탄도에 의한 얼굴의 움직임에 의해 발생한다. 얼굴의 움직임에 있어서, 경동맥을 통해 전달되는 심박의 탄도가 머리를 위 아래(y축 방향)로 떨리도록 하기 때문에 y축 움직임이 심박 성분을 가장 많이 포함한다.

얼굴 특징점은 복수화하여 이로부터 다수의 떨림 신호 N 개(N: 임의 자연수)를 추출할 수 있다. 예를 들어, 10개의 얼굴 특징점을 사용할 경우 10개의 떨림 신호 추출 가능하다.

따라서, 본 실시 예는 N 개의 떨림 신호를 추출하기 위해 N개의 얼굴 포인트에 대해 y축의 움직임 값을 추출한다. 최종적으로 떨림 신호는 일정 시간 동안 누적된 각 얼굴 포인트의 y축 움직임 값(주기적 평균값)으로 추출된다.

위 식에서 MM _t 는 t번째 프레임의 떨림 신호(Micro-Movement, MM), Y 는 얼굴 포인트의 y축 움직임 값, i 는 얼굴 포인트 인덱스이다.

위의 스펙트럼 평균값과 얼굴 포인트의 y축 움직임 값의 계산에는 슬라이딩 윈도우 기법이 적용될 수 있으며, 이 경우 윈도우 사이즈(Window Size)는 30초, 인터벌 사이즈(Interval Size)는 1초로 설정할 수 있다. 이에 따라 영상의 프레임 레이트가 30fps인 경우, 색상 및 떨림 신호는 각각 3x900, 80x900의 크기를 가진다.

위 식에서

는 30fps의 영상으로부터 윈도우 크기(Window Size)가 30초인 슬라이딩 윈도우 기법으로 추출된 색상 신호이다.

위 식에서 MM _raw 는 30fps의 영상으로부터 Window Size 30초의 슬라이딩 윈도우 기법으로 추출된 떨림 신호이다.

(2) 신호 필터링

이 단계에서는 얼굴 색상 및 떨림 신호로부터 심박이 아닌 노이즈 성분을 제거하고, 두 메커니즘의 장단점을 상호 보완하여 통합한다. 이를 위해 필터를 적용하고 색상 및 떨림 신호를 통합하는 단계를 거친다.

2-1) 필터 적용

색상 및 떨림 신호에 대해 주파수 대역 필터를 적용하여 심박이 아닌 노이즈 성분을 제거한다. 상기 주파수 대역 필터는 보편적인 심박의 범위인 45~150 bpm 대역에 해당하는 0.75~2.5 Hz의 대역폭을 가질 수 있다.

색상 신호와 떨림 신호에 각각 대해 심박 성분을 최대화하고 노이즈를 최소화하기 위해 신호 필터를 적용한다.

색상 신호에 적용되는 필터는 도 2에 도시된 바와 같다. 피부로부터 반사되는 색상 값은 헤모글로빈과 멜라닌에 의한 반응에 의해 결정 된다. 헤모글로빈에 의한 반응은 심박에 의한 색상 변화지만, 멜라닌에 의한 반응은 인종 및 피부색에 의한 색상의 기저 성분이다. 따라서 멜라닌에 의한 반응을 제거함으로써 인종 및 피부색에 의한 영향을 제거할 수 있다. 이를 위해 아래의 식8에 표현된 바와 같이 먼저 원형 색상 신호의 각 RGB 값에서 각 RGB 평균값을 빼주어 RGB 스펙트럼의 기저 성분을 제거할 수 있다.

기저 성분이 제거된 색상 신호에서 45~150 BPM에 해당하는 버터워스(Butterworth) 밴드패스 필터(Bandpass Filter, 2 Order, 0.75-2.5 Hz)를 적용할 수 있다.

위 식에서, CV _filter 는 필터링된 색상 신호, bpf 는 밴드패스 필터를 적용하는 연산의 의미한다.

원형 떨림 신호(MM _raw )에 적용되는 필터는 도3과 같다. 먼저 각 신호에 대해 45~150 BPM에 해당하는 버터워스(Butterworth) 밴드 패스 필터(Bandpass Filter, 2 Order, 0.75-2.5 Hz)를 적용한다.

위 식에서 MM _filter 는 필터링된 떨림 신호,

은 밴드패스 필터를 적용하는 연산이다.

떨림 신호는 y축 움직임 값으로부터 측정되기 때문에 머리를 움직일 때 순간적으로 신호가 왜곡된다. 이를 제거하기 위해 떨림 신호의 평균과 편차(Standard Deviation, SD)를 계산하여 평균±편차를 초과하는 값들을 평균 값으로 보정한다.

위 식에서, MM _sd 는 편차 기준으로 보정된 떨림 신호, mean 은 평균을 구하는 연산, sd 는 편차를 구하는 연산, i 는 얼굴 포인트의 인덱스이다.

위의 식11에서는 필터링된 떨림 신호(MM _filter ) 를 적용하였으나, 다른 실시 예에 따르면, 필터링 되지 않은 원형의 떨림 신호( MM _raw )가 적용될 수 도 있다.

따라서, 상기 MM _sd 를 구하는 식 11은 다음과 같이 수정될 수 있다.

또한, 얼굴 표정을 지으면 특정 얼굴 부위에 위치한 얼굴 포인트로부터 측정된 떨림 신호는 노이즈가 많이 포함된다. 이러한 얼굴 포인트들로부터 측정된 떨림 신호는 각 떨림 신호의 신호대잡음비(Signal to Noise Ratio, SNR)를 계산하여 평균 이하인 경우에 제거한다.

위 식에서

는 신호대잡음비(SNR) 기준으로 보정된 떨림 신호, snr 은 신호대잡음비(SNR)를 구하는 연산, mean 은 평균을 구하는 연산, i 는 얼굴 포인트 인덱스이다.

위 식에서 snr 은 신호대 잡음비(SNR)를 구하는 연산, Signal 은 신호, PS 는 신호의 주파수 파워 스펙트럼, max 는 최대값을 구하는 연산이다.

2-2) 색상 및 떨림 신호 통합

색상 신호는 조명에 민감하며, 떨림 신호는 움직임에 민감하다는 문제점이 실생활에서의 카메라 기반 심박수 측정을 어렵게 만든다. 이를 해결하기 위해 두 매커니즘의 장단점을 상호 보완하여 신호를 통합하는 방법이 중요하다.

본 실시 예에서는 조명에 의해 왜곡된 색상 신호와 움직임에 의해 왜곡된 떨림 신호로부터 공통된 속성을 추출하고, 이를 통해서 조명과 움직임 노이즈를 최소화한다. 이를 위하여 본 실시 예에서는(M+N)의 고차원 색상+떨림 신호로부터 공통된 속성을 가지는 1개의 성분을 추출하는, 즉 대표미동 신호를 추출하기 위한 차원 축소법이 적용된다. 상기 차원 축소법에는 성분 분석 또는 벡터 분석 방법으로서 주성분 분석(Principle Component Analysis, PCA), 독립 성분 분석(Independent Component Analysis, ICA), 서포트 벡터 분해(Support Vector Decomposition, SVD) 등이 적용될 수 있다.

차원축소 방법으로부터 추출된 성분들 중에서 1개의 성분을 선택하기 위해서는 생리신호의 특징을 고려하여 주기성이 가장 높은 성분이 선택될 수 있다.

본 개시의 실시 예에 따라, 필터링된 색상 및 떨림 신호를 통합하기 위해 도 4와 같이 두 신호에 대해 대표성 있는 성분을 추출하고 노이즈를 제거하기 위한 차원 축소 기법을 적용한다. 그리고, 색상 신호는 동일한 영역에 대해 RGB 성분을 측정하였기 때문에 독립성분분석(Independent Component Analysis, ICA)을 적용하여 심박 성분과 노이즈 성분을 분해하였다.

위 식에서 CV 는 색상 신호, ica 는 독립 성분 분석(ICA)을 적용하는 연산이다.

심박 성분은 주기성을 보이는 특성이 있기 때문에 각 성분에 대해 가장 높은 주기성을 보이는 성분을 최종 색상 신호로 식13의 공식에 의해 추출한다.

그리고, 떨림 신호는 동일한 y축의 움직임 값을 여러 영역에서 측정하였기 때문에 주성분분석(Principal Component Analysis, PCA)으로 여러 얼굴 포인트에서 공통적으로 보이는 대표적인 심박 성분을 추출한다.

위 식에서 MM 은 떨림 신호, pca 는 주성분 분석(PCA)를 적용하는 연산이다.

떨림 신호에 대해서도 식13의 최대값 연산을 수행하여 각 성분에 대해 가장 높은 주기성을 보이는 성분을 최종 떨림 신호로 추출한다.

색상 신호는 움직임 노이즈에는 안정적이고 조도 변화에는 민감한 반면에, 떨림 신호는 조도 변화에는 안정적이고 움직임 노이즈에는 민감하다. 따라서 색상 신호와 떨림 신호에서 공통적으로 보이는 대표적인 성분은 조도 변화와 움직임 노이즈에 모두 안정적이다. 따라서 색상 신호 떨림 신호에 대해 주성분분석(PCA)을 적용하여 최종 심박 신호를 추출한다.

위 식에서 Sc 는 최종 심박 신호(Cardiac Signal), pca 는 주성분분석(PCA)를 적용하는 연산이다.

(3) 심박수 추정

이 단계에서는 색상 및 떨림 신호로부터 추출된 심박신호를 이용해 심박수를 추정한다. 이를 위해 최종 심박 신호에서 심박 특징을 추출하고 최종적으로 심박수를 추정하는 단계를 거친다.

3-1) 심박특징 추출

심박수의 추정에는, 심장이 수축할 때 발생하는 심박신호의 피크의 검출 과정, 그리고 피크 간의 간격((Peak to Peak Interval, PPI)으로부터 심장 수축의 시간의 계산 과정이 수행된다. 이때에, 노이즈로 인해 심박신호의 피크가 검출되기 어려운 경우, 주파수 대역에서 심박신호의 주기성으로부터 심박수를 추정할 수 도 있다. 이처럼 심박 신호로부터 심박수를 추정하기 위해 시간 및 주파수 대역에서의 심박 특징을 추출한다.

본 개시의 실시 예에 따르면, 심박 신호(PS)로부터 심박수를 추정하기 위한 방법은 시간 도메인과 주파수 도메인에서 수행될 수 있다.

1) 시간 도메인에서는 심박으로 인해 발생하는 신호의 피크를 검출하여 피크와 피크 간의 거리(PPI)를 계산하여 분당 심박수를 추정한다.

2) 주파수 도메인에서는 심박 신호의 주파수 성분으로부터 심박 신호의 주기성을 추출하여 분당 심박수를 추정한다.

본 실시 예에서는 심박 신호를 추출하기 위해 주로 주파수 도메인에서 심박 성분과 노이즈 성분을 필터링하는 방법을 적용한다. 따라서 최종적으로 심박수를 추정하기 위해 고속 푸리에 변환(Fast Fourier Transform, FFT)을 이용한 주파수 분석에 의해 심박 신호를 주파수 도메인으로 변환하고, 45~150 bpm(beat per minute) 대역에 해당하는 0.75~2.5 Hz 대역의 파워 스펙트럼을 심박 특징으로 추출한다.

3-2) 심박수 추정

심박 신호로부터 추출된 파워 스펙트럼으로부터 주기성을 추출하기 위해 최대 파워값을 보이는 아래의 식 17을 이용해 주파수 성분 freq 를 검출한다. 최종적으로 심박 신호의 주파수 성분으로부터 심박수(HR)를 추정한다.

위 식에서 freq 는 주파수 성분, armax 는 최대값 인덱스 검출용 함수, PS 는 주파수 분석(FFT)에 의한 심박 신호의 파워 스펙트럼(power spectrum), fps 는 프레임 레이트(frame rate, frame per second), 그리고 S _w 는 슬라이딩 윈도우의 사이즈(sec)이다.

위 식에서 HR 은 최종 추정된 심박수(heart rate, BPM),

는 주파수 성부이다.

도7은 상기와 같은 과정을 통해 색상 신호 및 떨림 신호를 이용해 추정된 심박 신호와 실제 ECG 센서로 얻은 실측 심박 신호(Ground truth ECG) 파형을 보이며, 도8은 추정된 심박 신호와 실측한 심박 신호의 스펙트럼을 보인다. 도8에 도시된 바와 같이 본 개시의 실시 예에 의해 추정된 심박 신호는 실측 심박 신호에 매우 유사한 형태의 스펙트럼을 보이며, 그 수에 있어서는 양자가 동일하다.

결론적으로 본 개시에 따른 비침습적 심박수 추정 방법은 실측 심박수 측정에 매우 가까운 측정치를 보임을 알 수 있다.

이상에서와 같은 과정을 통해서 추정된 심박수는 기존의 부착식 또는 침습적 센서에 의해 얻어지는 심박수와 동일한 성분으로서 다양한 응용 분야에 이용될 수 있다.

상기와 같은 본 개시의 실시 예에 따라, 상기의 방법을 수행하는 소프트웨어 가 실행되는 컴퓨터 시스템 및 피험자로부터 안면 영상을 촬영하는 동영상 카메라에 의한 비침습적 측정 장치가 제시된다. 컴퓨터 시스템은 영상 처리부, 중앙처리 장치 및 메모리 장치를 가지는 본체, 그리고 처리 정보를 표시하는 디스플레이, 외부 정보 입력을 위한 키보드 및 마우스 등을 포함할 수 있다.

이러한 영상 기반 심박 측정 장치는 도9에 도시된 바와 같은 구성 요소를 포함할 수 있다.

기본적으로 심박 측정장치는 키보드(14), 마우스(15), 모니터(12) 등 입출력 장치 및 이들이 연결되는 본체(11)를 포함하는 컴퓨터 시스템(1)을 기반하는 하드웨어의 구조를 가진다.

상기 하드웨어는 본 개시의 다른 실시 예에 따라 전용화된 시스템에 의해 구현될 수 있다. 이러한 영상 기반 심박 측정 장치는 특정한 하드웨어 시스템에 의해 그 기술적 범위가 제한되지 않는다.

보다 구체적으로서, 전술한 바와 같은 본 개시에 따른 영상 기반 심박 측정 방법을 수행하는 본 개시에 따른 심박 측정 장치 또는 시스템(1)은 피험자(20)의 안면을 촬영하는 동영상 카메라(13), 예를 들어 소위 웹 캠 또는 웹 카메라를 포함할 수 있다. 또한, 이러한 시스템은 소프트웨어 형태로 제공되는 분석 알고리즘을 통해서 영상 콘텐츠와 이를 시청하는 피험자로부터 획득된 얼굴 영상을 처리하고 이를 이용하여 상기 영상 콘텐츠에 대한 시청자(20)의 심박수를 계산 또는 추정 한다.

본 개시에서 특정한 실시 예에 관련하여 도시하고 설명 되었지만, 이하의 특허청구범위에 의해 제공되는 본 발명의 정신이나 분야를 벗어나지 않는 한도 내에서 본 발명이 다양하게 개량 및 변화될 수 있다는 것을 당 업계에서 통상의 지식을 가진 자는 용이하게 알 수 있음을 밝혀 두고자 한다.

Claims

동영상 카메라에 의해 피험자의 안면 영상을 획득하는 단계;
분석 알고리즘이 실행되는 컴퓨터를 이용해 획득된 안면 영상으로부터 색상 변화(color variation, CV)를 나타내는 색상 신호와 안면 떨림(micro-movement, MM)을 나타내는 떨림 신호를 추출하는 단계;
상기 분석 알고리즘에 의해 상기 색상 신호 및 떨림 신호를 이용해 심장 신호를 추출하되, 상기 색상 신호 및 떨림 신호로부터 공통된 속성을 가지는 1개의 성분을 추출하는 성분 분석 또는 벡터 분해에 의한 차원 축소법에 의해 상기 심장 신호를 추출하는 단계; 그리고
상기 분석 알고리즘에 의해 상기 심장 신호로부터 피험자의 심박수를 추정하는 단계;를 포함하는, 영상기반 심박 측정 방법.
제1항에 있어서,
상기 안면 영상을 획득하는 단계에서, 상기 색상 신호는 RGB 기반 색상, HSV 기반 색상-명도-채도, YCbCr 기반 밝기-색차 중의 어느 하나로부터 추출하는, 영상 기반 심박 측정 방법.
제2항에 있어서, 상기 색상 신호는 영상 프레임에 안면에 정의된 ROI(Region of Interest)로부터 추출하는, 영상 기반 심박 측정 방법.
제1항에 있어서,
상기 떨림 신호는 상기 피험자의 안면에 정의된 하나 또는 그 이상의 얼굴 특징점 또는 하나의 경계 상자로부터 추출하는, 영상 기반 심박 측정 방법.
제4항에 있어서,
상기 떨림 신호는 안면의 특징점의 상하 방향의 y축의 움직값으로 추출하는, 영상 기반 심박 측정 방법.
제1항에 있어서,
상기 색상 신호 및 떨림 신호에 0.75~2.5Hz의 밴드 패스 필터를 적용하는, 영상 기반 심박 측정 방법.
제6항에 있어서,
상기 밴드 패스 필터를 통과한 떨림 신호(MM _filter )의 평균(mean)과 표준편차(sd)를 구하고, 아래의　식에 의해 떨림 신호를 보정하는, 영상 기반 심박 측정 방법.
<식>

위 식에서, MM _sd 는 편차를 기준으로 보정된 떨림 신호, mean 은 안면 떨림 신호의 평균을 구하는 연산, sd 는 편차를 구하는 연산, i 는 얼굴 특징점 인덱스이다.
제1항에 있어서,
아래의 식과 같이 색상 신호 CV _raw 에서 색상 변화 신호의 기저 성분인 평균 mean(CV _raw ) 을 구하고 색상 신호 CV _raw 에서 상기 기저 성분 mean(CVraw) 을 제거하는, 영상 기반 심박 측정 방법.
<식>

위에서 CV _raw 는 원형 색상 신호, mean 은 평균 연산을 나타내며, CVnorm 은 기저 성분이 제거된 색상 신호 이다.
제1항 내지 제5항 중의 어느 한 항에 있어서,
떨림 신호(MM _raw )의 평균(mean)과 표준편차(sd)를 구하고, 아래의　식에 의해 상기 떨림 신호를 보정하는, 영상 기반 심박 측정 방법.
<식>

위 식에서, MM _sd 는 편차를 기준으로 보정된 떨림 신호, mean 은 떨림 신호의 평균을 구하는 연산, sd 는 편차를 구하는 연산, i 는 얼굴 특징점 인덱스이다.
제9항에 있어서,
아래의 식에 기초하여, 색상 신호 CV _raw 에서 색상 신호의 기저 성분인 평균 mean(CVraw) 을 구하고 색상 신호 CV _raw 에서 상기 기저 성분 mean(CVraw) 을 제거하는, 영상 기반 심박 측정 방법.
<식>

위에서 CVraw 는 원형 색상 신호, mean 은 평균 연산을 나타내며, CVnorm 은 기저 성분이 제거된 색상 변화 신호 이다.
제2항 내지 제7항 중의 어느 한 항에 있어서,
아래의 식과 같이 색상 신호 CV _raw 에서 색상 신호의 기저 성분인 평균 mean(CVraw) 을 구하고 색상 신호 CV _raw 에서 상기 기저 성분 mean(CVraw) 을 제거하는, 영상 기반 심박 측정 방법.
<식>

위에서 CVraw 는 원형 색상 신호, mean 은 평균 연산을 나타내며, CVnorm 은 기저 성분이 제거된 색상 신호 이다.
제1항 내지 제8항 중의 어느 한 항에 있어서,
상기 차원 축소법:에서,
상기 떨림 신호에 대한 주성분 분석을 통해 최종 떨림 신호를 얻고;
상기 색상 신호에 대한 독립성분 분석(ICA)을 통해 최종 색상 신호를 얻고; 그리고
상기 최종 떨림 신호와 최종 색상 신호에 대한 주성분 분석(PCA)에 의해 최종 심박 신호를 추출하고; 그리고
상기 심박수를 추정하는 단계:에서, 상기 최종 심박 신호를 이용해 상기 피험자의 심박수를 계산;하는, 영상 기반 심박 측정 방법.
제9항에 있어서,
상기 차원 축소법:에서,
상기 떨림 신호에 대한 주성분 분석을 통해 최종 떨림 신호를 얻고;
상기 색상 신호에 대한 독립성분 분석(ICA)을 통해 최종 색상 신호를 얻고; 그리고
상기 최종 떨림 신호와 최종 색상 신호에 대한 주성분 분석(PCA)에 의해 최종 심박 신호를 추출하고; 그리고
상기 심박수를 추정하는 단계:에서, 상기 최종 심박 신호를 이용해 상기 피험자의 심박수를 계산;하는, 영상 기반 심박 측정 방법.
제1항 내지 제6항 중의 어느 한 항의 방법을 수행하는 영상 기반 심박수 측정 장치에 있어서,
피험자의 안면 영상을 획득하는 동영상 카메라;
상기 방법을 수행하는 소프트웨어 형태의 분석 알고리즘을 수행하여 상기 안면 영상으로부터 떨림 신호와 색상 신호를 추출하여 피험자의 심박수를 계산하는 컴퓨터 본체;
상기 심박수를 표시하는 디스플레이;를 포함하는 영상 기반 심박 측정장치.
제16항에 있어서,
상기 떨림 신호(MM _raw )의 평균(mean)과 표준편차(sd)를 구하고, 아래의　식에 의해 상기 떨림 신호를 보정하는, 영상 기반 심박 측정 방법.
<식>

위 식에서, MM _sd 는 편차를 기준으로 보정된 떨림 신호, mean 은 떨림 신호의 평균을 구하는 연산, sd 는 편차를 구하는 연산, i 는 얼굴 특징점 인덱스이다.
제14항에 있어서,
상기 알고리즘:은
상기 떨림 신호에 대한 주성분 분석(PCA)을 통해 최종 떨림 신호를 얻고;
상기 색상 신호에 대한 독립성분분석(ICA)을 통해 최종 색상 신호를 얻고;
상기 최종 떨림 신호와 최종 색상 신호에 대한 주성분 분석(PCA)에 의해 최종 심박 신호를 추출하고; 그리고
상기 최종 심박 신호를 이용해 상기 피험자의 심박수를 계산하는, 영상 기반 심박 측정 장치.