KR101996996B1

KR101996996B1 - 적외선 영상을 이용한 생체신호 측정 방법 및 장치

Info

Publication number: KR101996996B1
Application number: KR1020170089264A
Authority: KR
Inventors: 홍광석; 박진수
Original assignee: 성균관대학교산학협력단
Priority date: 2017-07-13
Filing date: 2017-07-13
Publication date: 2019-07-05
Also published as: KR20190007803A

Abstract

생체 신호 측정 방법 및 장치를 개시한다. 본 발명은 적외선 영상을 이용하여 다양한 환경(차량, 드론 등)에서 주/야간 구분 없이 생체신호(맥파, 맥박, 호흡수, 혈압 등)를 측정하고, 사용자 건강상태(기이 맥박, 스트레스 지수, 부정맥 및 심장질환 발생 위험도 등)를 추정한다. 본 발명의 실시예에 따른 생체 신호 측정 방법은, 카메라를 사용하여 복수의 프레임을 갖는 소스 영상을 획득하는 단계; 상기 소스 영상에서 피부 관심 영역을 검출하는 단계; 상기 피부 관심 영역에 대한 색상 데이터 평균값을 획득하는 단계 및 계산된 색상 데이터 평균값을 이용한 생체신호 측정과 이를 활용한 건강상태 추정을 포함하고, 상기 카메라는 적외선 카메라, 적외선 열화상 카메라 또는 TOF 카메라 중 하나이다.

Description

적외선 영상을 이용한 생체신호 측정 방법 및 장치{Method And Apparatus For Measuring Bio-Signal Using Infrared Image}

이하 설명하는 기술은 적외선 영상을 이용하여 다양한 환경(차량, 드론 등)에서 주/야간 구분 없이 생체 신호(호흡수, 맥파, 맥박, 혈압 등)를 측정하고, 이를 활용하여 사용자의 건강 상태(기이 맥박, 스트레스 지수, 부정맥 및 심장질환 발생 위험도 등)를 추정하는 방법 및 장치에 관한 것이다.

생체신호는 인체 생체 현상을 다양한 센서를 이용하여 접촉식 혹은 비접촉식 방법으로 뇌 또는 심장의 내부에서 일어나는 활동전류의 미세한 변화를 정밀하게 계측한 신호로 대표적인 예로 PPG(Photoplethysmogram) 측정을 들 수 있다. 이는 심장에서 혈액의 박동에 의하여 일정한 간격을 두고 간헐적으로 박출되므로 혈액의 양이 증가하면 빛을 더욱 많이 흡수하고, 투과 또는 반사하는 광량이 감소하게 되는데 이를 통하여 혈관의 용적 변화를 측정할 수 있다. 이를 토대로 심장 박동의 변화 정도를 평가하여 생체신호를 측정하고 이로부터 사용자 건강상태를 추정한다.

종래 비접촉식 일반 카메라 영상을 이용한 생체신호 측정은 신체 영상의 피부 영역에서 계산된 색상 데이터를 이용하여 생체신호(맥파, 맥박, 호흡수, 혈압 등)를 측정하였다. 그러나 조명상태가 열악하거나 다양한 환경(차량, 드론 등)에서 주/야간 촬영 시 피험자의 신체 영상 촬영이 원활하지 않다는 문제점이 있다.

또한, 적외선 영상에서 추출된 신호의 통계적 특성(페이즈(Phase), 첨도, 왜도, 분산, 엔트로피 및 극점 등)에 기반한 생체신호 판별 기준을 활용하여 주/야간 촬영 환경에 구분없이 적외선 영상을 이용하여 비접촉식으로 생체신호를 측정하는 방법이 사용된다. 그러나 이 방법은 통계적 특성을 분석하기 위해 기준이 될 만한 데이터베이스가 필요할 뿐만 아니라 학습한 데이터 수가 적을 경우 생체신호 측정 정확도가 실제 측정 장비를 이용하여 측정한 값과 상당한 차이가 있다는 문제점이 있다.

일본공개특허 14-524177호 (2002-254177) 한국공개특허 제10-2014-0122849호 한국공개특허 제10-2014-0059404호

본 발명은 전술한 문제를 해결하기 위하여, 적외선 카메라를 이용하여 다양한 환경(차량, 드론 등)에서 주/야간 구분없이 촬영한 신체 영상의 피부 관심 영역에서 지속적으로 계산된 색상 데이터 평균값을 이용하여 생체신호(맥파, 맥박, 호흡수, 혈압 등)를 산출하고 산출된 맥파 신호를 이용하여 사용자 건강상태를 추정함으로써 비접촉식 방식의 생체신호 측정 및 사용자 건강상태(기이 맥박, 스트레스 지수, 부정맥 및 심장질환 발생 위험도 등) 추정이 가능하도록 하는 적외선 영상을 이용한 생체신호 측정 방법 및 장치를 제공하는 것을 목적으로 한다.

상술한 기술적 과제를 해결하기 위하여, 본 발명의 실시예에 따른 적외선 영상을 이용한 생체 신호 측정 방법은, 카메라를 사용하여 복수의 프레임을 갖는 소스 영상을 획득하는 단계; 상기 소스 영상에서 피부 영역을 검출하는 단계; 및 상기 피부 관심 영역에 대한 색상 데이터 평균값을 계산하는 단계; 및 계산된 색상 데이터 평균값을 이용한 생체 신호 측정과 이를 활용한 건강상태 추정 단계;를 포함하고, 상기 카메라는 적외선 카메라, 적외선 열화상 카메라 또는 TOF 카메라 등을 포함한다.

본 발명의 실시예에 따른 생체 신호(호흡수) 측정 방법에 있어서, 주/야간 구분 없이 적외선 카메라를 이용하여 영상을 촬영하는 단계; 영상에서 피부 관심 영역을 검출하는 단계; 피부 관심 영역에서 계산된 상기 색상 데이터 평균값에 FFT(Fast Fourier Transform)를 적용하는 단계; 상기 FFT가 적용된 상기 색상 데이터 평균값의 주파수 영역에서 호흡수 산출을 위한 제1 주파수 범위를 결정하는 단계; 및 상기 제1 주파수 범위에서 가장 큰 파워를 갖는 제1 주파수 값을 기준으로 제1 호흡수를 추정하는 단계를 더 포함한다.

본 발명의 실시예에 따른 생체 신호 측정 방법에 있어서, 상기 제1 주파수 범위를 결정하는 단계에 있어서, 상기 제1 주파수 범위는, 맥박과 관련하여 기설정된 제2 주파수 범위 내에서 가장 큰 파워를 갖는 제2 주파수 값 및 기설정된 기준값의 비교 결과에 따라 서로 다른 수식을 사용하여 결정된다.

본 발명의 실시예에 따른 생체 신호 측정 방법에 있어서, 상기 제1 호흡수를 미리 정의된 회귀분석 함수(회귀 직선 또는 곡선 식)에 적용하여 제2 호흡수를 추정하는 단계를 더 포함한다.

본 발명의 실시예에 따른 생체 신호(맥박) 측정 방법에 있어서, 상기 색상 데이터 평균값에 BPF(Band Pass Filter)를 적용하는 단계; 상기 BPF가 적용된 상기 색상 데이터 평균값을 이용하여 맥파 신호를 산출하는 단계; 상기 맥파 신호의 피크 지점을 검출하는 단계; 및 상기 피크 지점의 수에 기초하여 맥박을 측정하는 단계를 더 포함한다.

본 발명의 실시예에 따른 생체 신호(스트레스 지수) 측정 방법에 있어서, 상기 색상 데이터 평균값에 BPF(Band Pass Filter)를 적용하는 단계; 상기 BPF가 적용된 상기 색상 데이터 평균값을 이용하여 맥파 신호를 산출하고, 피크 지점을 검출하는 단계; 상기 맥파 신호로부터 심박 간격에 대한 태코 그램(Tachogram)을 생성하는 단계; 및 상기 태코 그램을 기초로 최종 스트레스 지수를 산출하는 단계를 포함하고, 상기 최종 스트레스 지수는 상기 태코 그램의 주파수 영역에서 기준 주파수 대역의 활성도를 기준으로 산출되는 제1 스트레스 지수 또는 상기 태코 그램에서 상기 심박 간격을 기준으로 산출되는 제2 스트레스 지수 중 적어도 하나를 기준으로 산출된다.

본 발명의 실시예에 따른 생체 신호(기이 맥박) 측정 방법에 있어서, 상기 색상 데이터 평균값에 MAF(Moving Average Filter)를 적용하여 들숨 구간과 날숨 구간을 구분하는 단계; 상기 색상 데이터의 평균값에 BPF(Band Pass Filter)를 적용하여 맥파 신호를 검출하는 단계; 및 상기 들숨 구간, 상기 날숨 구간 및 상기 맥파 신호에 기초하여 기이 맥박을 판별하는 단계를 포함하고, 상기 기이 맥박은 상기 들숨 구간에서의 상기 맥파 신호의 주파수 파워값 평균인 제1 평균값 및 상기 날숨 구간에서 상기 맥파 신호의 주파수 파워값 평균인 제2 평균값을 기준으로 판별된다.

본 발명의 실시예에 따른 생체 신호 측정 방법에 있어서, 상기 들숨 구간과 날숨 구간을 구분하는 단계에 있어서, 상기 MAF가 적용된 상기 색상 데이터 평균값에서 시간의 흐름에 따라 상기 색상 데이터 평균값이 증가하는 구간을 상기 날숨 구간으로 결정하고, 상기 색상 데이터 평균값이 감소하는 구간을 상기 들숨 구간으로 결정한다.

본 발명의 실시예에 따른 생체 신호 측정 방법에 있어서, 상기 색상 데이터 평균값을 획득하는 단계에 있어서, 상기 피부 영역의 RGB 색상을 다른 색상 체계로 변경하고, 상기 다른 색상 체계의 색차 성분 중 적어도 하나의 색상 데이터로부터 상기 색상 데이터 평균값이 획득된다.

본 발명의 실시예에 따른 생체 신호(혈압) 측정 방법에 있어서, 상기 색상 데이터 평균값을 획득하는 단계에 있어서, 상기 피부 영역에 포함된 복수의 대상 영역에서 각각의 색상 데이터 평균값을 획득하고, 상기 생체 신호 측정 방법은, 상기 각각의 색상 데이터 평균값에 BPF(Band Pass Filter)를 적용하여 각 대상 영역의 맥파 신호를 검출하는 단계; 상기 맥파 신호의 피크 지점을 기준으로 맥파 전달 시간을 산출하는 단계: 및 상기 맥파 전달 시간 및 사용자의 신체 정보에 기초하여 혈압을 측정하는 단계를 더 포함한다.

본 발명의 실시예에 따른 개선된 생체신호 측정을 위한 회귀분석 식 DB를 생성하는 단계에 있어서, 적외선 카메라로 촬영한 영상으로부터 추정된 생체신호를 "추정된 생체신호 DB"에 저장하고, 생체신호 측정 장치를 이용하여 측정된 생체신호를 "측정기 생체신호 DB"에 저장한다. 저장된 2쌍의 생체신호(맥박, 호흡수, 혈압, 스트레스 지수 등) 데이터에 회귀분석을 적용하여 회귀 직선(또는 곡선)을 산출하고 이를 "생체신호 회귀분석 식 DB"에 저장한다.

본 발명의 실시예에 따른 개선된 생체신호(맥박, 호흡수, 혈압, 스트레스 지수, 기이 맥박 등) 측정 방법에 있어서, 적외선 카메라를 이용한 영상 촬영과 동시에 생체신호 측정 장치를 이용하여 생체신호를 측정하는 단계; 영상에서 피부 관심 영역을 검출하는 단계; 피부 관심 영역에서 계산된 색상 데이터 평균값을 이용하여 생체신호를 추정하는 단계; 및 추정된 생체신호를 "생체신호 회귀분석 식 DB"에 있는 회귀 직선(또는 곡선) 식에 적용하여 개선된 생체신호 측정 단계를 더 포함한다.상술한 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 생체 신호 측정 장치는, 데이터를 저장하는 메모리; 및 상기 메모리를 제어하는 프로세서를 포함하는 생체 신호 측정 장치에 있어서, 상기 프로세서는 소스 영상에서 피부 영역을 검출하고, 상기 피부 영역에 대한 색상 데이터 평균값을 획득하고, 상기 프로세서는 상기 색상 데이터 평균값을 이용하여 생체신호(맥파, 맥박, 호흡수, 혈압 등)를 측정하고, 사용자 건강상태(스트레스 지수, 기이 맥박, 부정맥 및 심장질환 발생 위험도)를 추정한다.

이하 설명하는 기술은 비접촉식 방식으로 생체 신호를 측정할 수 있다.

이하 설명하는 기술은 생체 신호를 측정하기 위한 별도의 장비 없이 스마트폰과 같은 간단한 장치를 사용하여 영상을 획득하고, 획득한 영상을 이용하여 호흡수 측정, 스트레스 지수를 산출 또는 기이 맥박 판별 등을 수행할 수 있다.

이하 설명하는 기술은 생체 신호 측정의 기준이 되는 데이터베이스의 존재 여부에 관계없이 사용자의 현재 상태를 반영한 생체 신호를 측정할 수 있다.

이하 설명하는 기술은 다양한 환경(차량, 드론 등)에서 주/야간 구분 없이 적외선 카메라, 적외선 열화상 카메라 또는 TOF 카메라 등을 이용하여 생체신호(맥파, 맥박, 호흡수, 혈압 등)를 측정하고, 이를 활용하여 사용자 건강상태(스트레스 지수, 기이 맥박, 부정맥 및 심장질환 발생 위험도 등)을 추정할 수 있다.

도 1은 적외선 영상을 이용하여 맥파, 혈압, 맥박 또는 호흡수 등의 생체 신호를 측정하고, 기이 맥박, 스트레스 지수, 부정맥 또는 심장질환 발생 위험도 등의 사용자 건강 상태를 추정하는 장치의 구성을 도시한 일 예이다.
도 2는 적외선 영상을 이용하여 다양한 생체 신호(맥파, 맥박, 호흡수, 혈압 등)를 측정하고, 사용자의 건강 상태(스트레스 지수, 기이 맥박, 부정맥 및 심장질환 발생 위험도 등)를 추정하는 흐름도의 일 예이다.
도 3은 영상을 이용하여 호흡수를 측정하는 방법에 대한 순서도의 일 예이다.
도 4는 도 3의 방법에 따라 호흡수를 측정하는 과정에 대한 일 예이다.
도 5는 영상을 이용하여 호흡수를 측정하는 방법에 대한 순서도의 다른 예이다.
도 6은 도 5의 방법에 따라 호흡수를 측정하는 과정에 대한 일 예이다.
도 7은 영상으로부터 측정한 호흡수를 사용하여 회귀 분석 함수를 생성하는 과정에 대한 일 예이다.
도 8은 영상을 이용하여 맥박을 측정하는 방법에 대한 순서도의 일 예이다.
도 9는 도 8의 방법에 따라 맥박을 측정하는 과정에 대한 일 예이다.
도 10은 영상을 이용한 스트레스 지수를 산출하는 방법에 대한 순서도의 일 예이다.
도 11은 영상을 이용하여 사용자 건강상태(스트레스 지수, 부정맥 및 심장질환 발생 위험도 등)를 추정하는 과정에 대한 일 예이다.
도 12는 영상을 이용하여 스트레스 지수를 산출하는 방법에 대한 순서도의 다른 일 예이다.
도 13은 영상을 이용하여 맥파 신호에 대한 태코 그램을 생성하는 과정에 대한 일 예이다.
도 14는 맥파 신호에 대한 태코 그램으로부터 스트레스 지수를 산출하는 과정에 대한 일 예이다.
도 15는 맥파 신호에 대한 태코 그램으로부터 스트레스 지수를 산출하는 과정에 대한 다른 일 예이다.
도 16은 스트레스 지수를 사용하여 회귀 분석 함수를 생성하는 과정에 대한 일 예이다.
도 17은 영상을 이용하여 기이 맥박을 판별하는 방법에 대한 순서도의 일 예이다.
도 18은 영상을 이용하여 들숨과 날숨을 구분하는 과정에 대한 일 예이다.
도 19는 MAF가 적용된 색상 데이터의 평균값에 대한 일 예이다.
도 20은 영상을 이용하여 맥파 신호를 검출하는 과정에 대한 일 예이다.
도 21은 도 17의 방법에 따라 기이 맥박을 판별하는 과정에 대한 일 예이다.
도 22는 영상을 이용하여 혈압을 측정하는 방법에 대한 순서도의 일 예이다.
도 23은 도 22의 방법에 따라 혈압을 측정하는 과정에 대한 일 예이다.
도 24는 영상을 이용하여 생체 신호를 측정하는 방법에 대한 순서도의 일 예이다.
도 25는 영상을 이용하여 생체 신호를 측정하는 장치의 구성에 대한 다른 예이다.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당해 기술분야의 통상의 지식을 가진 사람이 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다.

또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 본 명세서에서 사용되는 구성요소에 대한 접미사 "유닛" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.

또한, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

도 1은 적외선 영상을 이용하여 맥파, 혈압, 맥박 또는 호흡수 등의 생체 신호를 측정하고, 기이 맥박 판별, 스트레스 지수 산출, 부정맥 또는 심장질환 발생 위험도 등의 사용자 건강 상태를 추정하는 장치의 구성을 도시한 일 예이다.

도 1은 주/야간 구분 없이 적외선 카메라를 이용하여 획득한 얼굴 영상을 이용한 예를 도시한다. 즉, 도 1은 사용자의 얼굴이 포함된 영상에서 피부 영역을 검출하여 생체신호를 측정하는 예이다.

도 1의 (a)는 적외선 카메라와 같은 사용자 단말(1010)을 이용하여 혈압, 맥박, 호흡수 등 생체 신호를 측정하고, 스트레스 지수, 부정맥 및 심장질환 발생 위험도, 기이 맥박 등을 추정/판별하는 예이다.

사용자는 사용자 단말(1010)에 내장된 적외선 카메라로 주/야간 구분 없이 얼굴을 촬영한다. 사용자 단말은 적외선 카메라가 내장된 스마트폰과 같은 스마트 기기에 해당될 수 있다. 사용자 단말(1010)은 소스 영상에서 얼굴 영역을 검출하고, 사전에 설정된 특정 피부 관심 영역의 색상 데이터 평균값을 지속적으로 계산한다.

사용자 단말(1010)은 지속적으로 계산된 색상 데이터 평균값에 BPF(Band Pass Filter)를 적용하여 맥파 신호를 산출하고, 맥파 신호에서 검출된 피크 수를 이용하여 맥박을 측정할 수 있다. 사용자 단말(1010)은 피부 관심 영역의 색상 데이터의 평균값을 획득(계산)하고, 색상 데이터의 평균값에 주파수 분석 방법을 적용하여 호흡수를 측정할 수 있다. 사용자 단말(1010)은 색상 데이터 평균값에 MAF(Moving Average Filter)필터를 적용하여 들숨 구간과 날숨 구간을 구분하고, 들숨 및 날숨 구간의 맥파 신호의 주파수 파워값 평균을 기준으로 기이 맥박을 추정할 수 있다. 그 외 사용자 단말(1010)은 혈압, 맥박, 호흡수 등의 생체 신호를 측정할 수 있고, 스트레스 지수, 기이 맥박, 부정맥 및 심장질환 발생 위험도 등을 추정할 수 있다. 자세한 과정은 후술한다

도 1의 (a)에서 사용자 단말(1010)은 카메라(1020), 저장 장치(1030), 연산 장치(1040) 및 출력 장치(1050)를 포함한다.

카메라(1020)는 소스 영상을 획득한다. 카메라는 적외선 카메라에 해당한다.

저장 장치(1030)는 소스 영상을 임시로 저장할 수 있다. 또한 저장 장치(1030)는 개선된 생체신호(맥박, 호흡수, 혈압, 스트레스 지수, 기이 맥박 등) 측정에 사용되는 회귀 분석 함수를 저장할 수도 있다.

연산 장치(1040)는 소스 영상에 포함된 피부 관심 영역에 대한 색상 데이터 평균값을 계산하고, 색상 데이터 평균값으로부터 호흡수, 맥박, 혈압 등을 측정하는 연산을 수행할 수 있다. 연산 장치(1040)는 색상 데이터 평균값으로부터 기이 맥박, 스트레스 지수, 부정맥 및 심장 질환 발생 위험도 등을 추정하는 연산을 수행할 수 있다.

출력 장치(1050)는 측정한 맥박, 호흡수, 혈압, 스트레스 지수 또는 기이 맥박 추정 결과 등을 출력할 수 있다.

도 1의 (b)는 PC와 같은 장치에 탑재된 적외선 카메라로 주/야간 구분 없이 촬영한 얼굴 영상을 이용하여 맥박, 혈압, 호흡수, 스트레스 지수 및 기이 맥박 등을 측정하는 예이다.

사용자는 컴퓨터(1070)에 연결된 카메라(1060)로 얼굴을 촬영한다. 카메라는 적외선 카메라에 해당한다. 컴퓨터(1070)는 소스 영상에서 얼굴 영역을 검출하고, 얼굴 영역의 피부 관심 영역에서 색상 데이터 평균값을 계산한다. 컴퓨터(1070)는 색상 데이터 평균값에 BPF(Band Pass Filter)를 적용하여 맥파 신호를 산출하고, 산출된 맥파 신호를 이용하여 맥박, 혈압, 스트레스 지수, 기이맥박, 부정맥 및 심장질환 발생 위험도 등을 추정한다. 동일한 색상 데이터 평균값에 주파수 분석 방법을 적용하여 호흡수를 측정한다. 또한, 컴퓨터(1070)는 색상 데이터 평균값에 MAF(Moving Average Filter)를 적용하여 들숨 구간과 날숨 구간을 구분하고, 들숨 및 날숨 구간의 맥파 신호의 주파수 파워값 평균을 기준으로 기이 맥박을 추정한다.

도 1의 (c)는 사용자 단말로 획득한 적외선 영상을 이용하여 원격지에 있는 서버가 맥박, 혈압, 호흡수, 스트레스 지수, 기이 맥박, 부정맥 및 심장질환 발생 위험도 등을 추정하는 예이다.

사용자는 사용자 단말(1010)에 내장된 카메라로 얼굴을 촬영한다. 카메라는 적외선 카메라에 해당한다. 사용자 단말(1010)은 촬영한 소스 영상을 네트워크를 통해 서버(1080)에 전달한다. 이 경우 사용자 단말(1010)은 데이터 전송을 위한 통신 모듈을 포함한다. 서버(1080)는 소스 영상에서 얼굴 영역을 검출하고, 피부 관심 영역의 색상 데이터 평균값을 계산한다.

서버(1080)는 피부 관심 영역에서 지속적으로 계산된 색상 데이터 평균값에 BPF(Band Pass Filter)를 적용하여 맥파 신호를 산출하고, 상기 맥파 신호에서 검출된 피크 수를 이용하여 맥박을 측정할 수 있다. 서버(1080)는 피부 관심 영역의 데이터 평균값을 계산하고, 색상 데이터의 평균값에 주파수 분석 방법을 적용하여 호흡수를 측정할 수 있다. 서버(1080)는 색상 데이터 평균값에 MAF(Moving Average Filter)를 적용하여 들숨 구간과 날숨 구간을 구분하고, 들숨 및 날숨 구간의 맥파 신호의 주파수 파워값 평균을 기준으로 기이 맥박을 추정할 수 있다. 그 외 서버는(1080)은 혈압 등의 생체 신호를 측정할 수 있으며, 스트레스 지수, 부정맥 및 심장질환 발생 위험도 등을 추정할 수 있다. 자세한 과정은 후술한다. 서버(1080)는 측정한 맥박, 호흡수, 혈압, 스트레스 지수, 기이 맥박, 부정맥 및 심장질환 발생 위험도 등을 사용자 단말(1010)에 전달할 수 있다.

경우에 따라서, 사용자 단말(1010)이 소스 영상에서 피부 관심 영역을 검출하여 서버(1080)에 전달할 수도 있다. 또는 사용자 단말(1010)이 소스 영역에서 피부 영역을 검출하고, 피부 영역에 대한 색상 데이터 평균값을 구할 수 있다. 사용자 단말(1010)은 피부 영역에 대한 색상 데이터 평균값만을 서버(1080)에 전달할 수 있다.

이하에서는, 설명의 편의를 위해 컴퓨터 장치가 적외선 영상을 이용하여 다양한 환경(차량, 드론 등)에서 주/야간 구분 없이 생체신호(맥박, 호흡수, 혈압)를 측정하고, 사용자 건강상태(스트레스 지수, 기이 맥박, 부정맥 및 심장질환 발생 위험도 등)을 추정한다고 설명한다. 본 발명에 사용되는 색상 데이터에 관한 자세한 사항은 후술한다.

도 2는 적외선 영상을 이용하여 다양한 생체 신호(맥파, 맥박, 호흡수, 혈압 등)를 측정하고, 사용자의 건강 상태(스트레스 지수, 기이맥박, 부정맥 및 심장질환 발생 위험도 등)를 추정하는 흐름도의 일 예이다.

컴퓨터 장치는 카메라를 사용하여 소스 영상을 획득한다(S2010). 카메라는 스마트 기기에 내장된 카메라, 일반 카메라, 적외선 카메라, 적외선 열화상 카메라 또는 TOF 카메라 등 주/야간 구분 없이 촬영 가능한 장치에 해당될 수 있다. 이때, 컴퓨터 장치는 미리 사용자의 신체 정보(나이, 키, 몸무게, 혈액형 등)를 입력받아 데이터를 저장할 수 있다. 컴퓨터 장치는 소스 영상에서 피부 영역을 검출한다(S2020). 이 피부 영역은 얼굴 영역 중 색상 데이터 평균값을 계산하는 영역인 피부 관심 영역에 해당한다. 컴퓨터 장치는 피부 관심 영역에서 지속적으로 계산된 색상 데이터 평균값을 획득한다(S2030). 이 때, 컴퓨터 장치는 서로 다른 복수의 대상 영역에서 각각 색상 데이터를 획득하고, 각 색상 데이터를 사용하여 색상 데이터의 평균값을 획득할 수 있다. 또한, 컴퓨터 장치는 하나의 대상 영역으로부터 색상 데이터 평균값을 획득할 수도 있다. 컴퓨터 장치는 색상 데이터 평균값을 사용하여 이하에서 설명하는 다양한 생체 신호를 획득하고, 사용자 건강 상태를 추정할 수 있다.

먼저, 컴퓨터 장치가 혈압 측정, 맥박 측정, 스트레스 지수를 산출하는 과정에 대해 설명한다.

컴퓨터 장치는 서로 다른 복수의 대상 영역의 각 색상 데이터 평균값에 BPF(Band Pass Filter)를 적용한다(S2040). 그 후, 컴퓨터 장치는 각 대상 영역에 대한 맥파 신호를 생성한다(S2050). 컴퓨터 장치는 혈압을 측정하기 위해, 각 대상 영역의 맥파 신호에서 피크 지점을 검출하고(S2060), 복수의 대상 영역의 피크 지점 사이의 시간 차를 기준으로 맥파 전달 시간을 측정/추정한다(S2070). 예를 들어, 컴퓨터 장치는 2개의 맥파 신호를 사용하여 맥파 전달 시간을 측정할 수 있다. 컴퓨터 장치는 맥파 전달 시간 및 사용자의 신체정보를 이용하여 혈압을 측정한다(S2080). 사용자의 신체정보는 미리 입력되어 컴퓨터 장치에 저장될 수 있다.

컴퓨터 장치는 각 대상 영역에 대한 맥파 신호를 생성(S2050)한 후, 그 중 복수의 대상 영역 중 하나의 대상 영역에서 산출된 맥파 신호를 지정한다(S2090). 이 때, 컴퓨터 장치는 복수의 대상 영역이 아닌 하나의 대상 영역만을 사용함으로써 맥파 신호를 생성할 수 있다. 그 후, 컴퓨터 장치는 맥파 신호에서 피크 지점을 검출하고(S2100), 검출된 피크 수에 기초하여 맥박을 측정한다(S2110). 또한, 컴퓨터 장치는 생성된 맥파 신호를 통해 심박 간격 또는 심박 변이도 등을 산출한다(S2120). 컴퓨터 장치는 심박 간격 또는 심박 변이도를 이용하여 부정맥, 심장질환 발생 위험도 또는 스트레스 지수 등을 산출할 수 있다(S2130).

컴퓨터 장치가 기이 맥박을 판단하는 과정에 대해 설명한다.

컴퓨터 장치는 하나의 대상 영역에서 계산된 색상 데이터 평균값에 MAF(Moving Average Filter)를 적용한다(S2140). 컴퓨터 장치는 MAF가 적용된 색상 데이터 평균값에 기초하여 양과 음의 피크를 검출하고(S2150), 피크를 기초로 들숨 및 날숨 구간을 구분한다(S2160). 컴퓨터 장치는 들숨 및 날숨 구간에서 맥파 신호의 주파수 영역을 분석한다(S2170). 컴퓨터 장치는 주파수 분석에 기초하여 기이 맥박을 추정 및 판단한다(S2180).

컴퓨터 장치가 호흡수를 측정하는 과정에 대해 설명한다.

컴퓨터 장치는 색상 데이터 평균값에 FFT(Fast Fourier Transform)을 적용한다(S2190). 컴퓨터 장치는 호흡수를 산출할 주파수 대역을 설정하고(S2200), 설정된 주파수 대역에서 가장 큰 파워를 갖는 주파수 값을 저장한다(S2210). 컴퓨터 장치는 가장 큰 파워를 갖는 주파수 값에 기초하여 호흡수를 측정한다(S2220). 주파수 대역 설정에 관한 구체적인 사항은 후술한다.

컴퓨터 장치는 상술한 과정을 통해 획득한 혈압, 맥박, 스트레스 지수, 부정맥, 심장질환 발생 위험도, 기이 맥박 또는 호흡수 중 적어도 하나를 생체신호로서 생체 신호 DB에 저장할 수 있다.

컴퓨터 장치는 획득한 생체 신호에 회귀분석 식을 적용할 수 있다(A 과정). 회귀 분석 식은 회귀분석 DB에 미리 저장된 식으로서, 이 경우 컴퓨터 장치는 회귀 분석을 사용하여 개선된 생체신호를 획득할 수 있다. 또한, A과정과는 별개의 과정으로, 컴퓨터 장치는 획득한 생체 신호(A과정이 적용되지 않은 생체 신호) 및 PPG 측정기, 혈압 측정기 등의 접촉식 장치를 이용하여 측정한 생체 신호를 사용하여 회귀 분석 함수를 생성할 수 있고, 이를 저장할 수 있다(B 과정). A 과정 및 B 과정은 각각 임의 과정이며, 동시에 수행되지 않는다.

각 생체신호를 획득하는 과정, 회귀 분석 식을 사용하는 과정 또는 회귀 분석 식을 생성하는 과정에 대한 자세한 사항은 후술한다.

도 3은 영상을 이용하여 호흡수를 측정하는 방법에 대한 순서도의 일 예이다.

카메라가 소스 영상을 획득한다(S3010). 카메라는 스마트 기기에 내장된 카메라, 일반 카메라, 적외선 카메라, 적외선 열화상 카메라 또는 TOF 카메라 등에 해당될 수 있다.

소스 영상은 사용자의 피부 영역을 포함한다. 컴퓨터 장치는 카메라가 촬영한 소스 영상에서 피부 영역을 검출한다(S3020). 컴퓨터는 피부 영역에서 피부 관심 영역을 검출한다. 피부 관심 영역은 소스 영상에 있는 피부 영역 중에 분석 대상으로 선택한 영역을 의미한다. 컴퓨터 장치가 피부 관심 영역을 검출하는 알고리즘은 종래 알려진 다양한 기법을 이용할 수 있다. 한편, 컴퓨터 장치는 피부 영역 전체를 분석함으로써 생체 신호 획득에 사용할 수도 있다.

컴퓨터 장치는 피부 관심 영역에 대한 색상 데이터 평균값을 획득한다(S3030). 컴퓨터 장치는 추출한 피부 영역 전체 또는 일부(특정한 영역)에 대한 색상 데이터 평균값을 획득할 수 있다. 컴퓨터 장치는 연속된 복수의 프레임에서 피부 관심 영역의 색상 데이터 평균값을 획득할 수 있다. 즉, 컴퓨터 장치는 일정한 시간 동안 시간의 흐름에 따른 피부 관심 영역의 색상 데이터 평균값을 획득할 수 있다.

본 발명에서 색상 데이터는 다양한 값이 사용될 수 있다.

예를 들어, (1) 색상 데이터는 RGB 색상 체계를 기준으로 R값, G값 및 B값 중 적어도 하나를 사용할 수 있다. 색상 데이터는 R값, G값 및 B값 중 적어도 하나에 대한 색상 데이터 평균값을 사용할 수도 있다.

(2) 컴퓨터 장치는 RGB 색상 체계를 다른 색상 체계로 변환할 수 있다. 예컨대, 컴퓨터 장치는 RGB 색상 체계를 YUV, HSV, YCbCr, YCgCo 등과 같은 다양한 색상 체계로 변환할 수 있다. 이 경우 색상 데이터는 주변 환경(조도 등)에 영향을 적게 받는 색차 성분 중 하나를 이용할 수 있다. 예컨대, YCbCr의 경우 Cb값 또는 Cr값 중 적어도 하나를 이용할 수 있다. YCgCo의 경우는 Cg값 또는 Co값 중 적어도 하나를 이용할 수 있다. 나아가 두 개의 색차 성분 중 조도의 변화에 보다 강인한 어느 하나를 이용할 수 있다. 예컨대, YCgCo의 경우는 Cg값만을 이용할 수 있다. 이 경우 컴퓨터 장치는 피부 영역의 Cg 색상 데이터의 평균값을 색상 데이터로 추출할 수 있다.

(3) 컴퓨터 장치는 피부 영역에서 추출된 Gray 색상 데이터 평균값을 이용하여 Gray 신호를 산출하고 이를 이용할 수 있다.

(4) 나아가 색상 데이터는 RGB, YUV, HSV, YCbCr, YCgCo 등과 같은 다양한 색상 체계에서 적어도 하나 이상의 색 성분에 가중치를 적용하여 조합한 값일 수도 있다. 색 성분을 조합하는 경우 색상 데이터는 색상 체계 및 색 성분의 종류에 따라 서로 다른 가중치를 부여한 값을 합산한 값일 수도 있다.

일 예로, 컴퓨터 장치가 RGB 색상 체계를 갖는 소스 영상을 아래의 수학식 1을 이용하여 YCgCo 색상 체계로 변경할 수 있다.

이하 본 발명에서는 특별한 언급이 없는 한, 컴퓨터 장치가 적외선 카메라를 사용하여 영상을 촬영하고, 얼굴 영상의 Gray 색상 데이터 평균값을 생체 신호 측정/추정에 이용하는 것으로 본다. Gray 색상 데이터가 아닌 다른 색상 데이터를 기준으로 설명된 경우, 이는 Gray 색상 데이터로 대체하여 이해될 수 있을 것이다.

컴퓨터 장치는 색상 데이터의 평균값에 FFT(Fast Fourier Transform)를 적용한다(S3040). 예컨대, 컴퓨터 장치는 매 프레임에서의 Cg 값의 평균을 계산하고, 이 신호에 FFT를 적용하여 주파수 영역으로 변환할 수 있다.

컴퓨터 장치는 주파수 영역에서 관찰한 가장 큰 값을 가지는 주파수 성분을 기준으로 호흡수를 측정할 수 있다. 이를 위해 컴퓨터 장치는 호흡수의 기준이 되는 주파수 성분을 검출하기 위한 주파수 대역을 한정할 수 있다. 컴퓨터 장치는 호흡수 산출을 위한 주파수 범위를 결정하고(S3050), 결정된 주파수 범위에서 가장 큰 파워를 갖는 주파수 값을 이용하여 호흡수를 측정할 수 있다(S3060). 컴퓨터 장치는 일정한 시간 동안 결정된 주파수 범위에서 가장 큰 파워를 갖는 주파수 값을 이용하여 호흡수를 측정할 수 있다. 예컨대, 컴퓨터 장치는 분당 호흡수를 측정할 수 있다.

도 4는 도 3의 방법에 따라 호흡수를 측정하는 과정에 대한 일 예이다.

컴퓨터 장치는 카메라를 이용하여 사람의 얼굴이 포함된 소스 영상을 획득한다(a 과정). 카메라는 스마트 기기에 내장된 카메라, 일반 카메라, 적외선 카메라, 적외선 열화상 카메라 또는 TOF 카메라 등에 해당될 수 있다. 이하에서, 생체 신호를 측정하는 과정 중 카메라를 사용하여 소스 영상을 획득하는 과정은, 설명의 편의를 위해 일반 카메라를 사용하여 획득한 RGB 영상 또는 적외선 카메라를 사용하여 획득한 적외선 영상을 기준으로 설명한다. 적외선 카메라를 사용하는 경우, 주/야간 환경 구분 없이 비접촉식으로 생체 신호를 측정할 수 있다.

컴퓨터 장치는 얼굴 영상이 포함된 소스 영상에서 얼굴 영역을 검출한다(b 과정). 컴퓨터 장치는 얼굴 영역에서 피부 관심 영역을 검출한다(c 과정). 도 4 (c)에서 피부 관심 영역을 사각형으로 도시하였다. 도 4에서 피부 관심 영역은 뺨 부위를 예로 도시한다. 일 예로, 컴퓨터 장치는 피부 영역의 RGB 색상 체계를 YCgCo 색상 체계로 변환하고, Cg 색상 데이터의 평균값을 연속하여 획득한다(d 과정). 컴퓨터 장치는 Cg 색상 데이터의 평균값에 FFT를 적용한다(e 과정). 또 다른 예로, 도 4에 도시되지는 않았으나, 컴퓨터 장치는 적외선 카메라로 획득한 적외선 영상을 사용하는 경우, Gray 색상 데이터 평균값을 계산하여 FFT를 적용하고, 호흡수 산출 주파수 대역을 설정할 수 있다.

컴퓨터 장치는 FFT가 적용된 주파수 영역의 신호에서 호흡수 산출을 위한 특정 주파수 범위를 결정한다(f 과정). 컴퓨터 장치는 호흡수 산출을 위한 특정 주파수 범위를 결정하기 위해 맥박과 관련된 주파수 범위에서 가장 큰 파워를 가지는 주파수 값을 추출한다. 사람은 정상적인 경우 안정 또는 흥분 상태에 따라 약 40~200까지 분당 맥박수가 측정될 수 있다. 따라서 기본적으로 관찰하고자 하는 주파수 범위를 0.67Hz에서 3.34Hz으로 제한할 수 있다. 0.67Hz ~ 3.34 Hz 대역을 기초 주파수 범위(또는 맥박 관련 기본 주파수 범위)로 지칭할 수 있다.

컴퓨터 장치는 먼저 0.67Hz에서 3.34Hz 범위 내에서 주파수 영역을 관찰하고 해당 주파수 범위에서 가장 큰 파워를 가지는 주파수 값에 따라 두 가지 주파수 범위를 결정한다. 맥박과 관련된 주파수 범위에서 가장 큰 파워를 가지는 주파수 값이 1.36 보다 클 경우, f_pulse/4 - 0.21 에서 f_pulse/4 - 0.01 범위를 호흡수 측정을 위한 제1 주파수 범위로 결정한다. 컴퓨터 장치는 맥박과 관련된 주파수 범위에서 가장 큰 파워를 가지는 주파수 값이 1.36 보다 작을 경우, 0.13Hz에서 0.33Hz 범위를 호흡수 측정을 위한 제2 주파수 범위로 결정한다(f 과정).

최종적으로 컴퓨터 장치는 호흡수 측정을 위해 설정된 주파수 범위(제1 주파수 범위 또는 제2 주파수 범위 중 어느 한 범위)에서 가장 큰 파워를 가지는 주파수 값을 이용하여 호흡수를 산출한다(g 과정).

호흡수 측정을 위한 주파수 범위를 결정하는 과정에 대해 설명한다.

얼굴 영상에서 산출된 색상 데이터 평균값에 FFT를 적용한 결과로부터 맥박과 관련된 주파수 범위(0.67Hz ~ 3.34Hz) 내에서 가장 큰 파워를 가지는 주파수 값이 1.36Hz 이상인 경우, 컴퓨터 장치는 아래의 수학식 2를 이용하여 제2 주파수 범위를 결정한다.

수학식 2에서 f_pulse는 맥박과 관련된 주파수 범위(0.67Hz ~ 3.34Hz) 내에서 가장 큰 파워를 가지는 주파수 값, f_respiration은 상기 f_pulse를 이용하여 설정된 호흡수 측정 주파수 범위에서 가장 큰 파워를 가지는 주파수 값을 의미한다. 컴퓨터 장치는 상기 수학식 2로 결정되는 주파수 범위에서 가장 큰 파워를 갖는 주파수 값(호흡수 측정을 위한 주파수 값)을 결정한다.

얼굴 영상에서 산출된 색상 데이터 평균값에 FFT를 적용한 결과로부터 맥박과 관련된 주파수 범위(0.67Hz ~ 3.34Hz) 내에서 가장 큰 파워를 가지는 주파수 값이 1.36 보다 작은 경우, 컴퓨터 장치는 아래의 수학식 3을 이용하여 제2 주파수 범위를 결정한다. 이 경우 컴퓨터 장치는 아래의 수학식 3으로 결정되는 주파수 범위에서 가장 큰 파워를 갖는 주파수 값(호흡수 측정을 위한 주파수 값)을 결정한다.

도 5는 영상을 이용하여 호흡수를 측정하는 방법에 대한 순서도의 다른 예이다.

도 5의 방법은 도 3의 방법과 기본적으로 동일한 과정을 포함한다. 도 5의 방법은 측정된 호흡수에 회귀 분석 함수를 적용하여 개선된 호흡수를 측정하는 것이다.

카메라가 소스 영상을 획득한다(S5010). 소스 영상은 사용자의 피부 영역을 포함한다. 컴퓨터 장치는 카메라가 촬영한 소스 영상에서 피부 관심 영역을 검출한다(S5020). 컴퓨터 장치가 피부 영역을 검출하는 알고리즘은 종래 알려진 다양한 기법을 이용할 수 있다. 컴퓨터 장치는 피부 관심 영역에 대한 색상 데이터 평균값을 획득한다(S5030). 컴퓨터 장치가 적외선 카메라를 사용하여 적외선 영상을 소스 영상으로 획득하는 경우, Gray 색상 데이터를 사용하여 색상 데이터 평균값을 획득할 수 있다.

컴퓨터 장치는 색상 데이터의 평균값에 FFT(Fast Fourier Transform)를 적용한다(S5040). 예컨대, 컴퓨터 장치는 매 프레임에서의 Cg 값의 평균을 계산하고, 이 신호에 FFT를 적용하여 주파수 영역으로 변환할 수 있다.

컴퓨터 장치는 호흡수 측정 기준이 되는 주파수 성분을 검출하기 위한 주파수 대역을 한정할 수 있다. 컴퓨터 장치는 호흡수 산출을 위한 주파수 범위를 결정하고(S5050), 결정된 주파수 범위에서 가장 큰 파워를 갖는 주파수 값을 이용하여 제1 호흡수를 측정할 수 있다(S5060). 제1 호흡수는 도 2의 과정을 통해 측정된 호흡수에 해당한다. 컴퓨터 장치는 제1 호흡수를 사전에 마련된 회귀분석함수에 적용하여 보다 개선된 제2 호흡수를 측정할 수 있다(S5070). 회귀 분석 함수를 마련하는 과정은 후술한다.

도 6은 도 5의 방법에 따라 호흡수를 측정하는 과정에 대한 일 예이다.

컴퓨터 장치는 카메라를 이용하여 사람의 얼굴 영상을 획득한다(a 과정). 카메라는 스마트 기기에 내장된 카메라, 일반 카메라, 적외선 카메라, 적외선 열화상 카메라 또는 TOF 카메라 등에 해당될 수 있다. 컴퓨터 장치는 얼굴 영상이 포함된 소스 영상에서 얼굴 영역을 검출한다(b 과정). 컴퓨터 장치는 얼굴 영역에서 피부 관심 영역을 검출한다(c 과정). 일 예로, 컴퓨터 장치는 피부 영역의 RGB 색상 체계를 YCgCo 색상 체계로 변환하고, Cg 색상 데이터의 평균값을 연속하여 획득한다(d 과정). 일 예로, 컴퓨터 장치는 Cg 색상 데이터의 평균값에 FFT를 적용한다(e 과정). 컴퓨터 장치는 Gray 색상데이터의 평균값을 이용할 수도 있다.

컴퓨터 장치는 색상 데이터 평균값에 FFT가 적용된 주파수 영역에서 맥박과 관련된 주파수 범위 내에서 가장 큰 파워를 가지는 주파수 값에 따라 호흡수 산출을 위한 특정 주파수 범위를 결정한다.

컴퓨터 장치는 호흡수 산출을 위한 특정 주파수 범위를 결정하기 위해 맥박과 관련된 주파수 범위에서 가장 큰 파워를 가지는 주파수 값을 추출한다. 일 예로, 사람은 정상적인 경우 안정 또는 흥분 상태에 따라 약 40~200까지 분당 맥박 수가 측정될 수 있다. 따라서 기본적으로 관찰하고자 하는 주파수 범위를 0.67Hz에서 3.34Hz으로 제한할 수 있다. 0.67Hz ~ 3.34Hz 대역을 초기 주파수 범위(또는 맥박 관련 기본 주파수 범위)로 지칭할 수 있다. 컴퓨터 장치는 먼저 0.67Hz에서 3.34Hz 범위 내에서 주파수 영역을 관찰하고 해당 주파수 범위에서 가장 큰 파워를 가지는 주파수 값에 따라 두 가지 주파수 범위를 결정한다. 맥박과 관련된 주파수 범위에서 가장 큰 파워를 가지는 주파수 값이 1.36 보다 클 경우, f_pulse/4 - 0.21Hz 에서 f_pulse/4 - 0.01Hz 범위를 호흡수 측정을 위한 제1 주파수 범위로 결정한다. 컴퓨터 장치는 맥박과 관련된 주파수 범위에서 가장 큰 파워를 가지는 주파수 값이 1.36 보다 작을 경우, 0.13Hz에서 0.33Hz 범위를 호흡수 측정을 위한 제2 주파수 범위로 결정한다(f 과정).

컴퓨터 장치는 제1 호흡수를 사전에 마련한 또는 미리 정의된 회귀 분석 함수를 적용하여 개선된 제2 호흡수를 산출한다(h 과정). 회귀 분석 함수를 적용하는 과정은 후술할 맥박, 스트레스, 기이 맥박 또는 혈압에도 적용될 수 있다. 도 6에서 회귀 분석 함수는 회귀 분석 식 DB에 저장되는 것으로 도시하였다. 이하 회귀 분석 함수를 마련하는 과정에 대해 설명한다.

도 7은 영상으로부터 측정한 호흡수를 사용하여 회귀 분석 함수를 생성하는 과정에 대한 일 예이다.

회귀 분석은 연속형 변수들에 대해 두 변수 사이의 모형을 구한 뒤 적합도를 측정해 내는 분석 방법이다. 회귀 분석은 사전에 일정한 샘플 데이터를 이용하여 특정 값을 산출하는 함수(수식)를 결정하게 된다. 회귀 분석 함수는 회귀 직선 또는 회귀 곡선을 나타내는 수식으로 표현된다. 컴퓨터 장치는 영상을 이용하여 호흡수(제1 호흡수)를 추정하고, 동시에 PPG 측정기를 이용하여 동일 사용자에 대한 실제 호흡수를 측정한다. 이 과정을 반복하여 복수의 데이터를 생성하고, 컴퓨터 장치는 생성된 복수의 데이터를 기반으로 제1 호흡수와 PPG 측정기로부터 측정한 호흡수에 회귀 분석을 적용하여 제2 호흡수를 산출하는 회귀 분석 함수를 생성한다.

먼저, 제1 호흡수에 대한 데이터를 마련하는 과정의 일 예를 설명한다. 사용자는 스마트 기기나 카메라를 이용하여 사람의 얼굴 영상을 촬영한다(a 과정). 카메라는 스마트 기기에 내장된 카메라, 일반 카메라, 적외선 카메라, 적외선 열화상 카메라 또는 TOF 카메라 등에 해당될 수 있다. 컴퓨터 장치는 얼굴 영상이 포함된 소스 영상에서 사각형으로 표시한 얼굴 영역을 검출한다(b 과정). 컴퓨터 장치는 얼굴 영역에서 피부 관심 영역을 검출한다(c 과정). 컴퓨터 장치는 피부 영역의 RGB 색상 체계를 YCgCo 색상 체계로 변환하고, Cg 색상 데이터의 평균값을 연속하여 획득한다(d 과정). 컴퓨터 장치는 Cg 색상 데이터의 평균값에 FFT를 적용한다(e 과정).

컴퓨터 장치는 먼저 0.67Hz에서 3.34Hz 범위 내에서 주파수 영역을 관찰하고 해당 주파수 범위에서 가장 큰 파워를 가지는 주파수 값에 따라 두 가지 주파수 범위를 결정한다. 맥박과 관련된 주파수 범위에서 가장 큰 파워를 가지는 주파수 값이 1.36 보다 클 경우, f_pulse/4 - 0.21Hz 에서 f_pulse/4 - 0.01Hz 범위를 호흡수 측정을 위한 제1 주파수 범위로 결정한다. 컴퓨터 장치는 맥박과 관련된 주파수 범위에서 가장 큰 파워를 가지는 주파수 값이 1.36 보다 작을 경우, 0.13Hz에서 0.33Hz 범위를 호흡수 측정을 위한 제2 주파수 범위로 결정한다(f 과정).

컴퓨터 장치는 설정된 주파수 범위(제1 주파수 범위 또는 제2 주파수 범위)에서 가장 큰 파워를 가지는 주파수 값을 기준으로 제1 호흡수를 산출한다(g 과정). 컴퓨터 장치는 제1 호흡수들을 제1 호흡수 DB에 저장한다.

제1 호흡수를 추정하기 위한 영상을 획득하면서 동시에 PPG 측정기로 동일 사용자에 대한 실제 호흡수를 측정한다(h 과정). 컴퓨터 장치는 PPG 측정기로부터 측정된 호흡수를 측정기 호흡수 DB에 저장한다.

컴퓨터 장치는 제1 호흡수에 대한 데이터와 동일 시점에 측정기로 측정된 호흡수에 대한 데이터를 이용하여 회귀 분석 함수(회귀 직선 또는 곡선)를 생성하고(i 과정), 생성한 회귀 분석 함수를 회귀 분석 식 DB에 저장한다. 전술한 바와 같이 회귀 분석 함수는 회귀 직선 또는 회귀 곡선을 의미한다.

회귀 직선은 상관도 상의 점집합을 직선으로 대표시켜 구한 직선이다. 회귀 직선은 두 변량 사이의 관계를 나타낸다. 컴퓨터 장치는 동일 영역에 대한 제1 호흡수 DB와 측정기 호흡수 DB를 이용하여 회귀 직선 식을 도출할 수 있다. 회귀 직선 식은 아래의 수학식 4와 같다.

수학식 4에서 y는 개선된 제2 호흡수이고, x는 제1 호흡수이다. 실제 데이터를 적용하여 구한 결과는 사용하는 데이터에 따라 상수 a, b 값이 변할 수 있다.

상술한 방식은 후술할 맥박, 스트레스, 기이 맥박 또는 혈압 등을 측정하는 과정에서도 적용될 수 있다. 이 경우 제1 호흡수 DB는 얼굴 영상 생체 신호(맥박, 스트레스 지수 혈압 등) DB로 대체하여 이해될 수 있을 것이다.

회귀 곡선은 상관도 상의 점집합을 직선이 아닌 곡선으로 대표시켜 구한 곡선이다. 회귀 곡선은 두 변량 사이의 관계를 나타낸다. 컴퓨터 장치는 제1 호흡수 DB와 측정기 호흡수 DB를 이용하여 회귀 곡선 식을 도출할 수 있다. 회귀곡선 식은 아래의 수학식 5와 같다.

여기에서 y는 개선된 제2 호흡수이고, x는 제1 호흡수이다. 실제 데이터를 적용하여 구한 결과는 사용하는 데이터에 따라 상수 a_i, c 값이 변할 수 있다.

상술한 방식은 후술할 맥박, 스트레스, 기이맥박 또는 혈압을 측정하는 과정에서도 적용될 수 있다. 일 예로, 컴퓨터 장치는 Gray 색상 데이터 평균값을 이용하여 생체신호(맥박, 호흡수, 혈압, 스트레스 지수 및 기이 맥박 등)을 추정한다. 컴퓨터 장치는 상기 추정된 생체신호를 생성된 회귀분석 식 DB에 저장되어 있는 각각의 생체신호에 대한 회귀 직선(또는 곡선) 식에 적용하여 개선된 생체신호를 획득할 수 있다.

도 8은 영상을 이용하여 맥박을 측정하는 방법에 대한 순서도의 일 예이다.

카메라는 소스 영상을 획득한다(S8010). 소스 영상은 사용자의 피부 영역을 포함한다. 컴퓨터 장치는 카메라가 촬영한 소스 영상에서 피부 관심 영역을 검출한다(S8020). 컴퓨터 장치는 피부 관심 영역에 대한 색상 데이터 평균값을 획득한다(S8030). 소스 영상 획득(S8010), 피부 영역 검출(S8020) 및 색상 데이터 추출(S8030) 단계는 각각 상술한 도 3의 S3010, S3020 및 S3030 단계와 동일하게 수행될 수 있어 구체적인 설명은 생략한다.

컴퓨터 장치는 색상 데이터 평균값에 BPF(Band Pass Filter)를 적용한다(S8040). 컴퓨터 장치는 BPF 적용된 색상 데이터 평균값에 기초하여 맥파 신호를 검출(연산을 통해서 산출되는 것을 의미한다)한다(S8050). 컴퓨터 장치는 맥파 신호의 피크 지점을 검출하고(S8060), 피크 지점의 수에 기초하여 맥박을 측정한다(S8070).

도 9는 도 8의 방법에 따라 맥박을 측정하는 과정에 대한 일 예이다.

컴퓨터 장치는 카메라를 이용하여 소스 영상을 획득한다(a 과정). 카메라는 스마트 기기에 내장된 카메라, 일반 카메라, 적외선 카메라, 적외선 열화상 카메라 또는 TOF 카메라 등에 해당될 수 있다. 도 9의 (a)는 컴퓨터 장치가 적외선 카메라를 사용하여 소스 영상을 촬영한 모습을 나타낸다. 컴퓨터 장치가 적외선 카메라 등을 사용하는 경우 주/야간 환경 구분 없이 소스 영상을 획득할 수 있다.

컴퓨터 장치는 얼굴 영상이 포함된 소스 영상에서 얼굴 영역을 검출한다(b 과정). 컴퓨터 장치는 얼굴 및 피부 등 사용자의 상태를 잘 반영할 수 있는 영역을 촬영한 후, 얼굴 검출 및 피부색 검출과 같은 전 처리 과정을 통해 피부를 검출한다. 컴퓨터 장치는 얼굴 영역에서 피부 관심 영역을 검출한다(c 과정).

컴퓨터 장치는 검출된 피부 영역으로부터 관심 영역을 설정하며, 해당 영역 안의 모든(또는 일부) 픽셀의 등의 색상 평균값을 추출하여 PPG 신호를 검출할 수 있다. 일 예로, 컴퓨터 장치는 피부 관심 영역의 Gray 색상 데이터 평균값을 연속하여 획득한다(d 과정). 컴퓨터 장치는 Gray 색상 데이터 평균값에 BPF(Band Pass Filter)를 적용한다(e 과정). 컴퓨터 장치는 BPF 적용된 색상 데이터 평균에 기초하여 맥파 신호를 검출(연산을 통해 산출되는 것을 의미)하고, 맥파 신호의 피크 지점을 검출하고, 피크 지점의 수를 이용하여 맥박을 측정한다(f 과정).

도 10은 영상을 이용하여 스트레스 지수를 산출하는 방법에 대한 순서도의 일 예이다.

카메라가 소스 영상을 획득한다(S10010). 소스 영상은 사용자의 피부 영역을 포함한다. 컴퓨터 장치는 카메라가 촬영한 소스 영상에서 피부 관심 영역을 검출한다(S10020). 컴퓨터 장치가 피부 영역을 검출하는 알고리즘은 종래 알려진 다양한 기법을 이용할 수 있다. 컴퓨터 장치는 피부 관심 영역에 대한 색상 데이터 평균값을 획득한다(S10030). 소스 영상 획득(S10010), 피부 영역 검출(S10020) 및 색상 데이터 추출(S10030) 단계는 각각 상술한 도 3의 S3010, S3020 및 S3030 단계와 동일하게 수행될 수 있어 구체적인 설명은 생략한다.

컴퓨터 장치는 색상 데이터의 평균값에 BPF(Band Pass Filter)를 적용하여 맥파 신호를 검출((연산을 통해 산출되는 것을 의미)한다(S10040). 컴퓨터 장치는 맥파 신호로부터 심박 간격을 산출한다(S10050). 컴퓨터 장치는 심박 간격을 이용하여 스트레스 지수를 산출한다(S10060).

도 11은 영상을 이용하여 사용자 건강상태(스트레스 지수, 부정맥 및 심장질환 발생 위험도 등)를 추정하는 과정에 대한 일 예이다.

컴퓨터 장치는 카메라를 이용하여 소스 영상을 획득하고, 소스 영상에서 사각형으로 얼굴 영역을 검출하고, 얼굴 영역에서 피부 관심 영역을 검출한다(a 과정). 도 11의 (a)는 컴퓨터 장치가 적외선 카메라를 사용하여 소스 영상을 촬영한 모습을 나타낸다.

컴퓨터 장치는 피부 관심 영역에 대한 색상 데이터 평균값을 획득한다(b 과정). 컴퓨터 장치는 색상 데이터의 평균값에 BPF(Band Pass Filter)를 적용하여 맥파 신호를 검출(연산을 통해 산출되는 것을 의미)한다(c 과정). 컴퓨터 장치는 맥파 신호로부터 심박 간격 또는 심박 변이도를 산출한다(d 과정). 컴퓨터 장치는 심박 간격 또는 심박 변이도를 이용하여 스트레스 지수, 부정맥 또는 심장질환 발생 위험도 등을 산출한다(e 과정). 컴퓨터 장치는 스트레스 지수, 부정맥 및 심장질환 발생 위험도 중 적어도 하나를 측정할 수 있다. 자세한 사항은 후술한다.

도 12는 영상을 이용하여 스트레스 지수를 산출하는 방법에 대한 순서도의 다른 예이다.

카메라가 소스 영상을 촬영한다. 소스 영상은 얼굴과 같이 피부가 포함된 영상이다. 컴퓨터 장치는 카메라가 촬영한 소스 영상에서 피부 영역을 검출한다(S12010). 컴퓨터 장치가 피부 영역을 검출하는 알고리즘은 종래 알려진 다양한 기법을 이용할 수 있다. 컴퓨터 장치는 피부 영역에 대한 색상 데이터를 추출하고, 색상 데이터로부터 맥파 신호를 검출(연산을 통해 산출되는 것을 의미)한다(S12020).

컴퓨터 장치는 먼저 피부 영역에 대한 색상 데이터를 추출한다. 컴퓨터 장치는 추출한 피부 영역 전체에 대한 색상 데이터를 추출할 수 있다. 또한 컴퓨터 장치는 획득한 영상에서 특정 피부 영역에 대한 색상 데이터를 추출할 수도 있다. 색상 데이터는 다양한 값이 사용될 수 있다. 색상 데이터에 관련된 자세한 사항은 상술한 도 3과 관련된 설명의 S3030 단계를 참조한다.

컴퓨터 장치는 색상 데이터를 일정한 시간 동안 저장한다. 이를 통해 컴퓨터 장치는 색상 데이터의 변화 여부를 파악할 수 있다. 컴퓨터 장치는 시간 축에서 연속된 색상 데이터를 주파수 영역으로 변환(FFT 변환)한다. 컴퓨터 장치는 주파수 영역에서 일정한 기준값 이상인 지점(피크 지점)을 기준으로 맥파 신호의 주기를 파악할 수 있다.

컴퓨터 장치는 산출된 맥파 신호를 통해 맥파 신호의 주기를 기준으로 심박 간격(Peak와 Peak 사이) 태코 그램(Tachogram)을 생성할 수 있다(S12030). 태코 그램은 시간에 따른 심박의 변화를 나타낸다. 컴퓨터 장치는 태코 그램을 시계열 상에서 분석하여 심박 수와 심박 간격 표준편차에 신체 정보(연령, 성별 등)을 적용하여 정규화 심박편향분포도, 정규화 표준편차 및 심박 간격의 복잡도를 산출한다.

컴퓨터 장치는 태코 그램을 주파수 영역으로 변환하여 특정 주파수 대역의 활성도를 산출한다(S12040). 이하 특정 주파수 대역을 기준 주파수 대역이라고 명명한다. 기준 주파수 대역은 낮은 주파수 대역(Low Frequency, LF)일 수 있다. 예컨대, 기준 주파수 대역은 0.04 내지 0.15Hz 사이의 주파수 대역일 수 있다.

또한 컴퓨터 장치는 태코 그램을 시계열 상에서 분석하여 심박 간격을 산출한다(S12050). 컴퓨터 장치는 기준 주파수 대역의 활성도 및 심박 편향 분포도를 기준으로 물리적 스트레스 지수를 산출한다(S12060). 컴퓨터 장치는 심박 간격 표준 편차 및 심박 간격 복잡도를 기준으로 심리적 스트레스 지수를 산출한다(S12070).

한편, 심박이라는 신체 정보는 대상자에 따라 달라질 수 있다. 따라서 정확한 스트레스 지수 산출을 위해 사용자의 성별 및/또는 연령을 고려할 필요가 있다. 컴퓨터 장치는 사전에 사용자 성별 및 연령 정보를 입력 받는다. 컴퓨터 장치는 물리적 스트레스 지수를 산출하는 과정(S12060)에 사용자의 나이 정보를 이용한다. 컴퓨터 장치는 심리적 스트레스 지수를 산출하는 과정(S12070)에 사용자의 나이 및 성별 정보를 이용한다. 구체적인 스트레스 지수 산출 과정은 후술한다.

컴퓨터 장치가 산출한 물리적 스트레스 지수 및 심리적 스트레스 지수 각각이 의미가 있을 수 있다. 나아가 컴퓨터 장치는 물리적 스트레스 지수 및 심리적 스트레스 지수에 일정한 가중치를 부여한 값을 기준으로 최종 스트레스 지수를 산출할 수 있다(S12080).

도 13은 영상을 이용하여 맥파 신호에 대한 태코 그램을 생성하는 과정에 대한 일 예이다.

이하 설명의 편의를 위해 피부 영역을 YCgCo 색상 체계로 변환하고, Cg 색상 데이터의 평균값을 기준으로 스트레스 지수를 측정한다고 가정한다. 적외선 카메라, 적외선 열화상 카메라 또는 TOF 카메라로 촬영한 소스 영상을 이용하여 스트레스 지수를 측정할 수도 있다. 또한 소스 영상은 얼굴이 포함된 영상이고, 얼굴이 포함된 얼굴 영역을 피부 영역으로 검출한다고 가정한다. 물론 피부 영역은 얼굴이 아닌 손과 같은 다른 영역일 수도 있다.

컴퓨터 장치는 카메라를 이용하여 얼굴이 포함된 영상을 획득한다(a 과정). 카메라는 스마트 기기에 내장된 카메라, 일반 카메라, 적외선 카메라, 적외선 열화상 카메라 또는 TOF 카메라 등에 해당될 수 있다. 컴퓨터 장치는 소스 영상에서 사각형으로 표시한 얼굴 영역을 검출한다(b 과정). 컴퓨터 장치는 얼굴 영역에서 피부 영역을 검출한다(c 과정). 컴퓨터 장치는 피부 영역의 RGB 색상 체계를 YCgCo 체계로 변경한다. 컴퓨터 장치는 피부 영역에서 지속적으로 Cg의 평균값을 산출한다(d 과정).

도 13에 대한 설명의 c 과정에서 RGB를 YCgCo로 변경한다고 설명하였다. RGB가 다른 색상 체계(YCgCo)로 변경되는 것은 이전에 수행될 수도 있다. 색상 데이터에 관련된 자세한 사항은 상술한 도 3과 관련된 설명의 S3030 단계를 참조한다. 컴퓨터 장치는 피부 영역에 대한 색상 데이터를 일정한 시간 동안 지속적으로 저장한다. 도 13에서 e는 시간의 흐름에 따른 색상 데이터를 도시한 예이다.

피부는 피부 근처의 혈관에 흐르는 혈류에 따라 색이 변하게 된다. 즉 대상 영역에 대한 색상 데이터 평균값을 모니터링 하면 일정한 규칙이 있는 혈류의 흐름을 파악할 수 있다. 일정한 규칙이란 심장의 박동에 따라 이동하는 혈류의 흐름의 의미한다. (1) 컴퓨터 장치는 프레임마다 대상 영역의 색상 데이터 평균값을 연산하고, 프레임마다 색상 데이터 평균값을 저장할 수 있다. 이 경우 컴퓨터 장치는 프레임단위로 색상 데이터 평균값을 지속적으로 저장한다. (2) 또한 컴퓨터 장치는 일정한 간격을 두고 프레임에 대한 색상 데이터 평균값을 연산하고 저장할 수도 있다. 이 경우 컴퓨터 장치는 일정한 시간 간격을 두고 정지화면에 대한 지정된 색상 모델의 색상 데이터 평균값을 연산한다. (3) 나아가 컴퓨터 장치는 일정한 프레임 단위로 프레임 단위의 전체의 색상 데이터 평균값을 연산하여 저장할 수도 있을 것이다.

컴퓨터 장치는 피부 영역의 지정된 색상 모델의 색상 데이터 평균값을 지속적으로 저장하여 맥파 신호를 생성한다(f 과정). 전술한 바와 같이 대상 영역의 색상 데이터 평균값은 혈류의 흐름과 연관이 있다. 세로축은 색상 데이터 평균값이고 가로축이 시간의 흐름인 그래프에서 색상 데이터 평균값에 의해 산출된 값의 변화는 일정한 파형을 갖는 신호가 될 수 있다. 컴퓨터 장치는 밴드 패스 필터(band pass filter)를 이용하여 지정된 색상 모델의 색상 데이터 평균값을 맥파 신호로 변환할 수 있다. 나아가 컴퓨터 장치는 맥파 신호에서 잡음 제거를 위한 다른 필터를 사용할 수도 있다.

컴퓨터 장치는 YCgCo 색상체계로 변경한 다음 매 프레임의 Cg 값의 평균값을 계산하여 Cg 신호를 추출하고, 이 Cg 신호를 FFT(Fast Fourier Transform)를 이용하여 주파수 영역에서 관찰, 가장 큰 주파수 성분을 맥파의 주기로 판단한다. Cg신호로부터 맥파를 추정하기 위해서는 주파수 영역에서 신호를 관찰 한다. 정상적인 경우 안정 또는 흥분 정도에 따라 40에서 200까지 분당 맥박 수가 측정될 수 있으며, 이에 맞춰 지속적으로 저장된 Cg 색상 데이터 평균값에 밴드 패스 필터를 적용하여 도출된 주파수 영역에서 맥파 측정이 가능한 관찰 영역을 0.67Hz에서 3.34Hz까지로 제한할 수 있다.

컴퓨터 장치는 맥파의 주기를 기준으로 태코 그램을 생성한다(g 과정). 태코 그램은 시간에 따른 심박(heart rate) 간격을 나타낸다.

도 14는 맥파 신호에 대한 태코 그램으로부터 스트레스 지수를 산출하는 과정에 대한 일 예이다.

컴퓨터 장치는 얼굴 영상에서 산출된 색상 데이터를 이용하여 맥파 신호를 생성하였다(a 과정). 컴퓨터 장치는 피부 영역의 색상 데이터를 이용하여 심박에 대한 태코 그램을 생성하였다(b 과정).

컴퓨터 장치는 태코 그램을 주파수 영역으로 변환(FFT 변환)한다. 도 14의 c는 태코 그램을 주파수 영역으로 변환한 예이다. 컴퓨터 장치는 태코 그램에 밴드 패스 필터를 적용하여 도출된 주파수 영역에서 Low Frequency(LF)의 대역(0.04~0.15Hz)의 파워 스펙트럼 밀도(Power Spectral Density, PSD) 값의 합을 이용하여 LF 활성도를 산출한다. LF 대역(전술한 기준 주파수 대역)은 교감신경의 상태를 파악하는 데 주로 이용된다.

LF 활성도(LF Activity, LF'A)는 신체에서 교감신경의 활성화 정도를 나타낸다. LF 활성도란 태코 그램에 대한 주파수 영역에서 0.04~0.15Hz 사이 주파수 대역의 에너지를 말한다. LF 대역의 파워 스펙트럼 밀도 값의 합에 자연로그(Natural Logarithm)를 취해 LF 활성도를 산출할 수 있다. 또한, 컴퓨터 장치는 아래의 수학식 6과 같이 LF 활성도를 일정하게 정규화(NormLF'A)할 수 있다.

LF'A는 LF 대역의 활성도를 의미한다. NormLF'A는 LF 대역의 활성도를 정규화한 값이다. LF'A를 이용하여 평균값을 50으로 두고 백분위로 정규화한 예이다.

전체 연령에 대한 한국인 LF 활성도 평균값은 생체신호 측정 장비를 이용하여 피검자로부터 수 차례 측정한 LF 활성도 결과 값의 평균을 적용할 수 있다. 또한 이 값들을 이용하여 LF 활성도 표준편차를 산출할 수 있다.

산출된 전체 연령에 대한 한국인 LF 활성도 평균값은 5.83이고, LF 활성도 표준편차 값은 0.57으로 알려져 있다. 그리고 실험에 따라 값이 바뀔 수 있다. 예컨대, 미국의 종합 심박변이 분석 가이드 "Autonomic Assessment Report: A Comprehensive Heart Rate Variability Analysis" 미국인 연령별 LF 활성도 평균에 평균이동을 적용하여 산출된 한국인 20세~60세에 대한 LF 활성도 평균은 아래의 표 1과 같다.

한편, 컴퓨터 장치는 태코 그램을 시간 영역에서 시계열 분석할 수 있다. 시계열 분석은 심박 수, 심박간격 표준편차 등을 포함한다. 도 14의 c는 태코 그램에 대한 시계열 분석 과정에 대한 예이다. 스트레스 지수 추정을 위해 필요한 몇 가지 예를 설명한다.

(1) 심박편향분포도(Bias Distribution map of Heart Rate, BDHR)는 심박 수의 치우침(편향) 정도를 의미한다. 정규화 심박편향분포도(Normalization Bias Distribution map of Heart Rate, Norm BDHR)란 측정된 평균 심박 수(Heart Rate, HR)와 심박간격 표준편차(Standard Deviation of RR intervals, SDNN)를 이용하여 정규화 과정을 통해 산출하고, 이는 아래의 수학식 7과 같다.

정규화된 심박편향분포도(Norm BDHR)는 HR 최빈값(측정된 분당 심박 수 중 가장 빈번하게 발생한 분당 심박 수), 측정 심박간격 표준편차(Measurement SDNN, MSDNN), 연령별 평균 심박 수(mean Heart rate, mHR), 측정 평균 심박 수(Measuring average Heart rate, MHR)을 이용하여 심박편향분포도를 50을 기준으로 정규화 배치시켜 산출시키는 과정이다.

연령 및 성별에 따른 남자의 평균 심박 수는 "78.2 - 0.062 × 실제나이"이고, 그리고 여자의 평균 심박 수는 "86.4 + 0.16 × 실제나이를 이용하여 산출할 수 있다. 78.2와 86.4는 각각의 성별 전체의 평균 심박 상수를 의미하고, 0.062와 0.16은 성별에 따른 편차 상수를 의미한다.

(2) 심박간격 표준편차(Standard Deviation of RR intervals, SDNN)는 심박간격 평균 주변에 모여 있는 심박간격의 변화 정도를 수치화한 값으로 심박간격의 편차를 이용하여 산출한다. 이는 아래의 수학식 8과 같다.

정규화 심박간격 표준편차(Norm SDNN)는 측정 심박간격 표준편차(Measurement SDNN, MSDNN), 연령별 평균 심박간격 표준편차(mean SDNN, mSDNN), 연령별 SDNN의 표준편차 값을 이용하여 평균값을 50으로 두고 백분위로 정규화한 것이다.

남자의 평균 심박간격 표준편차는 "96.5 - 0.73 × 실제나이", 그리고 여자의 평균 심박간격 표준편차는 "73.2 - 0.41 × 실제나이"를 이용하여 산출한다. 96.5와 73.2는 각각의 성별 전체의 평균 심박간격 표준편차 상수를 의미하고, 0.73과 0.41은 성별 및 나이에 따른 편차 상수를 의미한다.

연령별 심박간격 표준편차의 표준편차는 측정된 심박간격 표준편차와 연령별 심박간격 표준편차 값 사이의 표준편차를 의미한다.

(3) 심박간격 복잡도는 심박간격의 복잡한 정도를 의미한다. 심박간격 복잡도는 심박간격 태코 그램의 미분을 이용하여 산출된다. 이는 아래의 수학식 9와 같다.

복잡도는 심박간격 표준편차(SDNN)의 1차 미분을 통해 산출된 값과 1차 미분한 데이터를 2차 미분하여 산출된 값을 이용하여 심박간격의 복잡한 정도를 산출하는 과정을 나타낸다. 1차 미분한 데이터의 표준편차는 정상인의 생체신호 일 경우 8.5를 넘지 않고 2차 미분한 데이터의 표준편차는 정상인의 생체신호일 경우 15를 넘지 않는 것으로 알려져 있다.

도 14에 대한 설명으로 돌아가면, 컴퓨터 장치는 태코그램에 대한 주파수 분석 결과와 시계열 분석 결과를 이용하여 물리적 스트레스 지수를 산출한다(d 과정).

물리적 스트레스(Physical Stress)란 장기간의 불규칙한 생활습관, 신체 과부하, 환경 독성, 부적절한 다이어트, 흡연/알코올/약물의 사용 등 불리한 요소에 노출되었을 때를 나타낸다.

컴퓨터 장치는 태코 그램을 분석한 결과를 이용하여 아래의 수학식 10과 같이 물리적 스트레스 지수(Physical Stress Index, PSI)를 산출할 수 있다. 컴퓨터 장치는 기준 주파수 대역(LF)의 활성도와 태코 그램에서의 심박 편향 정도를 기준으로 물리적 스트레스 지수를 산출할 수 있다.

컴퓨터 장치는 태코 그램을 시계열에서 분석한 자료를 이용하여 심리적 스트레스 지수를 산출할 수 있다(e 과정).

심리적 스트레스(Psychological Stress)란 불안, 부정적인 정서, 정식적 과부하, 혼란, 사회적 소외, 가정문제, 권태감, 낮은 자부심 등의 요인 등과 같은 요인에 노출되었을 때 나타낸다.

컴퓨터 장치는 태코 그램을 분석한 결과를 이용하여 아래의 수학식 11과 같이 심리적 스트레스 지수(Psychological Stress Index, SSI)를 산출할 수 있다.

물리적 스트레스 지수(PSI) 및 심리적 스트레스 지수(SSI)가 개별적으로 의미 있을 수 있다. 나아가 컴퓨터 장치는 물리적 스트레스 지수(PSI) 및 심리적 스트레스 지수(SSI)에 일정한 가중치를 부여하여 최종적인 전체 스트레스 지수(Stress Index)를 산출할 수 있다(f 과정). 전체 스트레스 지수(Stress Index)는 아래의 수학식 12와 같이 연산될 수 있다.

도 15는 맥파 신호에 대한 태코 그램으로부터 스트레스 지수를 산출하는 과정에 대한 다른 예이다.

도 15는 회귀 분석을 적용하여 스트레스 지수에 대한 추정 정확도를 높이는 예이다. 컴퓨터 장치는 도 14의 과정을 거쳐 스트레스 지수를 추정하고, 지속적으로 측정한 스트레스 지수 데이터를 이용하여 추정된 스트레스 지수 DB를 저장한다. 컴퓨터 장치는 피부 영역에서 산출된 색상 데이터를 이용하여 생성된 맥파 신호(a 과정)로부터 심박에 대한 태코 그램을 생성하고(b 과정), 태코 그램을 주파수 영역을 변환한다(c 과정). 컴퓨터 장치는 태코 그램에 대한 주파수 영역 분석과 시계열 분석을 통해 물리적 스트레스 지수를 산출하고(d 과정), 태코 그램에 대한 시계열 분석을 통해 심리적 스트레스 지수를 산출한다(e 과정). 컴퓨터 장치는 물리적 스트레스 지수와 심리적 스트레스 지수를 이용하여 전체 스트레스 지수를 추정한다(f 과정). 컴퓨터 장치는 회귀 분석 식 DB에서 적절한 회귀 분석 함수를 선택하고, 추정된 전체 스트레스 지수에 회귀 분석 함수를 적용하여 개선된 스트레스 지수를 추정한다(g 과정). 회귀 분석 식 DB를 마련하는 과정은 후술한다.

도 16은 스트레스 지수를 사용하여 회귀 분석 함수를 생성하는 과정에 대한 일 예이다.

컴퓨터 장치는 피부 영역에서 산출된 색상 데이터를 이용하여 생성된 맥파 신호(a 과정)로부터 심박에 대한 태코 그램을 생성하고(b 과정), 태코 그램을 주파수 영역을 변환한다(c 과정). 컴퓨터 장치는 태코 그램에 대한 주파수 영역 분석과 시계열 분석을 통해 물리적 스트레스 지수를 산출하고(d 과정), 태코 그램에 대한 시계열 분석을 통해 심리적 스트레스 지수를 산출한다(e 과정). 컴퓨터 장치는 물리적 스트레스 지수와 심리적 스트레스 지수를 이용하여 전체 스트레스 지수를 추정한다(f 과정). 컴퓨터 장치는 추정한 스트레스 지수를 추정된 스트레스 지수 DB에 지속적으로 저장한다.

스트레스 지수를 추정하는 동시에 컴퓨터 장치는 별도의 스트레스 지수 측정 장비(Photoplethysmogram, PPG)를 이용하여 스트레스 지수를 산출한다(g 과정). 컴퓨터 장치는 PPG를 이용하여 산출한 스트레스 지수를 측정기 스트레스 지수 DB에 저장한다. 컴퓨터 장치는 추정된 스트레스 지수 DB와 측정기 스트레스 지수 DB에 저장되는 데이터에 회귀 분석을 적용한다. 즉 컴퓨터 장치는 동일한 시점에 측정된 2 개의 스트레스 지수에 대해 회귀 분석을 적용하여 회귀 직선 및/또는 회귀 곡선을 도출한다(h 과정). 컴퓨터 장치는 도출한 회귀 분석 함수를 회귀 분석 식 DB에 저장한다.

도 17은 영상을 이용하여 기이 맥박을 판별하는 방법에 대한 순서도의 일 예이다.

카메라가 소스 영상을 획득한다(S17010). 소스 영상은 사용자의 피부 영역을 포함한다. 카메라는 스마트 기기에 내장된 적외선 카메라, 적외선 열화상 카메라, 또는 TOF 카메라 등에 해당될 수 있고, 이 경우 컴퓨터 장치는 주/야간 환경 구분 없이 소스 영상을 획득할 수 있다. 컴퓨터 장치는 카메라가 촬영한 소스 영상에서 피부 영역을 검출한다(S17020). 컴퓨터 장치는 얼굴 영역을 먼저 검출하고, 얼굴 영역에 포함된 피부 관심 영역을 검출하여 이용할 수 있다. 컴퓨터 장치는 피부 관심 영역에 대한 색상 데이터 평균값을 획득한다(S17030). 소스 영상 획득(S17010), 피부 영역 검출(S17020) 및 색상 데이터 추출(S17030) 단계는 각각 상술한 도 3의 S3010, S3020 및 S3030 단계와 동일하게 수행될 수 있어 구체적인 설명은 생략한다.

색상 데이터는 다양한 값이 사용될 수 있다. 색상 데이터에 관련된 자세한 사항은 상술한 도 3과 관련된 설명의 S3030 단계를 참조한다.

컴퓨터 장치는 색상 데이터 평균값에 MAF(Moving Average Filter)를 적용한다(S17040). MAF는 널리 알려진 바와 같이 2개 이상의 연속된 데이터 값(입력 값)의 평균을 계속적으로 계산해내는 평균화 필터에 해당한다. 컴퓨터 장치는 일정한 시간 동안(연속된 프레임) 수집되는 색상 데이터의 평균값에 MAF를 적용하여 일정한 흐름을 갖는 데이터를 확보할 수 있다. 컴퓨터 장치는 MAF가 적용된 색상 데이터의 평균값에서 들숨 구간과 날숨 구간을 구분한다(S17050). 들숨 구간과 날숨 구간을 구분하는 자세한 과정은 후술한다.

또한, 컴퓨터 장치는 피부 영역의 색상 변화를 기준으로 맥파 신호를 추출한다. 맥파 신호는 혈액이 심장에서 파상을 이루며 전파하는 파장이다. 맥파 신호는 심박변이(HRV) 측정 및 현재 혈액순환과 누적된 스트레스 상태를 파악하는데 사용될 수 있다. 컴퓨터 장치는 Cg 색상 데이터의 평균값에 BPS(band-pass filter)를 적용한다(S17060). 컴퓨터 장치는 색상 데이터의 평균값에 밴드 패스 필터를 적용하여 생체 신호인 맥파 신호를 추출한다(S17070).

최종적으로 컴퓨터 장치는 들숨 구간의 맥파 신호 주파수 파워값 평균과 날숨 구간의 맥파 신호 주파수 파워값 평균을 기준으로 기이 맥박 여부를 판단한다(S17080). 기이 맥박을 판별하는 자세한 기준에 대해서는 후술한다.

도 18은 영상을 이용하여 들숨과 날숨을 구분하는 과정에 대한 일 예이다.

컴퓨터 장치는 카메라를 이용하여 사람의 얼굴 영상을 획득한다(a 과정). 카메라는 스마트 기기에 내장된 카메라, 일반 카메라, 적외선 카메라, 적외선 열화상 카메라 또는 TOF 카메라 등에 해당될 수 있다. 컴퓨터 장치는 얼굴 영상이 포함된 소스 영상에서 사각형으로 표시한 얼굴 영역을 검출한다(b 과정). 컴퓨터 장치는 얼굴 영역에서 피부 영역을 검출한다(c 과정).

컴퓨터 장치는 전체 얼굴 영역에서 피부 관심 영역을 설정하여(d 과정), 관심 영역의 RGB 색상 체계를 YCgCo 색상 체계로 변환하고, Cg 색상 데이터의 평균값을 연속하여 추출한다(e 과정). 컴퓨터 장치가 적외선 카메라를 사용하여 영상을 획득하는 경우 Gray 색상 체계를 사용하여 색상 데이터 평균값을 획득할 수도 있다. 컴퓨터 장치는 Cg 색상 데이터의 평균값에 MAF를 적용한다(f). MAF가 적용된 색상 데이터의 평균값은 시간의 흐름에 따라 도 18의 f에 도시한 바와 같이 일정한 흐름을 갖는 데이터이다. 컴퓨터 장치는 색상 데이터의 평균값의 흐름에서 하(下) 피크(peak)와 상(上) 피크를 기준으로 들숨 구간과 날숨 구간을 구분한다. 도 18의 f에서 파란색으로 표시한 구간은 날숨 구간에 대한 예이고, 붉은색으로 표시한 구간은 들숨 구간에 대한 예이다.

도 19는 MAF가 적용된 색상 데이터의 평균값에 대한 일 예이다.

도 19는 도 18에서 f 과정의 결과로 도출된 그래프의 예이다. MAF가 적용된 색상 데이터의 평균값은 시간의 흐름에 따라 값이 높아지거나 낮아진다. 하 피크에서 연속된 상향 피크까지 평균값이 높아지고, 다시 상 피크에서 연속된 하 피크까지 평균값이 낮아진다. (i) 하 피크에서 상 피크까지 평균값이 높아지는 구간이 날숨 구간이고, 도 19에서 A로 표시한 구간이다. (ii) 상 피크에서 하 피크까지 평균값이 낮아지는 구간이 들숨 구간이고, 도 19에서 B로 표시한 구간이다. 도 19는 날숨 구간과 들숨 구간 중 일부를 표시하였다.

도 20은 영상을 이용하여 맥파 신호를 검출하는 과정에 대한 일 예이다.

맥파는 혈액이 심장에서 파상을 이루며 전파하는 파장을 일컫는 것으로, 심장박동(HRV) 측정 및 현재 혈액순환과 누적된 스트레스 상태를 파악하는 데 주로 사용되고 있다.

컴퓨터 장치는 전체 얼굴 영역에서 피부 관심 영역을 설정하여(d 과정), 관심 영역의 RGB 색상 체계를 YCgCo 색상 체계로 변환하고, Cg 색상 데이터의 평균값을 연속하여 추출한다(e 과정). 컴퓨터 장치는 연속하여 추출된 Cg 색상 데이터의 평균값에 밴드 패스 필터를 적용하여(f 과정), 맥파 신호를 검출(연산을 통해 산출되는 것을 의미)한다(g 과정).

이제 들숨 구간에서의 맥파 신호 주파수 파워값 평균 및 날숨 구간에서의 맥파 신호 주파수 파워값 평균을 이용하여 기이 맥박을 판별하는 과정을 설명한다.

도 21은 도 17의 방법에 따라 기이 맥박을 판별하는 과정에 대한 일 예이다.

컴퓨터 장치는 카메라를 이용하여 사람의 얼굴 영상을 획득한다(a 과정). 카메라는 스마트 기기에 내장된 카메라, 일반 카메라, 적외선 카메라, 적외선 열화상 카메라 또는 TOF 카메라 등에 해당될 수 있다. 컴퓨터 장치는 얼굴 영상이 포함된 소스 영상에서 사각형으로 표시한 얼굴 영역을 검출한다(b 과정). 컴퓨터 장치는 얼굴 영역에서 피부 영역을 검출한다(c 과정). 컴퓨터 장치는 전체 얼굴 영역에서 피부 관심 영역을 설정하여(d 과정), 관심 영역의 RGB 색상 체계를 YCgCo 색상 체계로 변환하고, Cg 색상 데이터의 평균값을 연속하여 추출한다(e 과정).

컴퓨터 장치는 Cg 색상 데이터의 평균값에 MAF를 적용하여 전술한 바와 같이 들숨 구간과 날숨 구간을 구분한다(f 과정). 또 컴퓨터 장치는 연속하여 추출된 Cg 색상 데이터의 평균값에 밴드 패스 필터를 적용하여, 맥파 신호를 검출(연산을 통해 산출되는 것을 의미)한다(g 과정). 최종적으로 컴퓨터 장치는 들숨 구간에서의 맥파 신호 주파수 파워값 평균과 날숨 구간에서의 맥파 신호 주파수 파워값 평균을 기준으로 기이 맥박 여부를 판단한다(h 과정).

기이 맥박은 전술한 바와 같이 들숨 상황에서 맥박이 작아지거나 없어지는 증상을 의미한다. 따라서 기이 맥박을 갖는 사람은 들숨 구간에서의 맥파 신호 주파수 파워값 평균이 날숨 구간에서의 맥파 신호 주파수 파워값 평균보다 약해질 것이다. 컴퓨터 장치는 다음에 설명할 몇 가지 기준을 이용하여 기이 맥박 여부를 판단할 수 있다.

컴퓨터 장치는 아래 수학식 13에서 연산한 결과(x1)를 이용하여 기이 맥박 여부를 판단할 수 있다. 아래 수학식 13에서 P1은 들숨 구간의 맥파 신호 주파수 파워값 평균이고, P2는 날숨 구간의 맥파 신호 주파수 파워값 평균이다.

컴퓨터 장치는 아래의 표 2과 같은 기준으로 기이 맥박 여부를 판단할 수 있다. 표 2는 하나의 예이다.

상기 표 2는 X1의 값에 따라 기이 맥박 증상에 따른 위험 정도를 표시한 예이다. 표 2와 달리 컴퓨터 장치는 X1의 값과 특정 임계값만을 비교하여 X1의 값이 임계값보다 작으면 기이 맥박 증상이 있다고 판단할 수도 있다.

한편 컴퓨터 장치는 아래 수학식 14에서 연산한 결과(x1)를 이용하여 기이 맥박 여부를 판단할 수 있다. 아래 수학식 14에서 P1은 들숨 구간의 맥파 신호 주파수 파워값 평균이고, P는 소스 영상의 전체 구간(들숨 및 날숨 구간)에서 수집한 맥파 신호 주파수 파워값 평균이다. 전체 구간은 색상 데이터의 평균값을 수집한 일정한 전체 시간 영역을 의미한다.

컴퓨터 장치는 아래의 표 3과 같은 기준으로 기이 맥박 여부를 판단할 수 있다. 표 3은 하나의 예이다.

상기 표 3은 X2의 값에 따라 기이 맥박 증상에 따른 위험 정도를 표시한 예이다. 표 3과 달리 컴퓨터 장치는 X2의 값과 특정 임계값만을 비교하여 X2의 값이 임계값보다 작으면 기이 맥박 증상이 있다고 판단할 수도 있다.

나아가 컴퓨터 장치는 상기 수학식 13과 수학식 14와는 다른 기준으로 기이 맥박 여부를 판별할 수도 있다. 예컨대, 컴퓨터 장치는 들숨 구간에서의 맥파 신호 주파수 파워값 평균과 날숨 구간에서의 맥파 신호 주파수 파워값 평균의 차이를 기준으로 사용할 수 있다. 또 컴퓨터 장치는 연속된 하나의 들숨 구간과 하나의 날숨 구간에서의 맥파 신호 주파수 파워값 평균과 들숨 구간에서의 맥파 신호 주파수 파워값 평균의 비를 기준으로 사용할 수도 있다. 결국 컴퓨터 장치는 들숨 구간에서의 맥파 신호의 세기와 다른 구간(날숨 구간, 전체 구간, 일정한 구간)에서의 맥파 신호의 세기를 비교하여 들숨 구간에서 맥파 신호의 세기가 약한가 여부를 판단하는 것이다.

도 22는 영상을 이용하여 혈압을 측정하는 방법에 대한 순서도의 예이다.

카메라가 소스 영상을 획득한다(S22010). 카메라는 스마트 기기에 내장된 적외선 카메라, 적외선 열화상 카메라, 또는 TOF 카메라 등에 해당될 수 있고, 이 경우 컴퓨터 장치는 주/야간 환경의 구분없이 소스 영상을 획득할 수 있다. 컴퓨터 장치는 카메라가 촬영한 소스 영상에서 피부 영역을 검출한다(S22020). 컴퓨터 장치는 얼굴 영역을 먼저 검출하고, 얼굴 영역에 포함된 피부 관심 영역을 검출하여 이용할 수 있다. 컴퓨터 장치는 피부 영역에 포함된 서로 다른 복수의 대상 영역(또는 복수의 피부 관심 영역)에서 각각의 색상 데이터 평균값을 획득한다(S22030). 예를 들어, 컴퓨터 장치는 2개의 대상 영역을 사용하여 2개의 색상 데이터 평균값을 획득할 수 있다. 소스 영상 획득(S22010), 피부 영역 검출(S22020) 및 색상 데이터 추출(S22030) 단계는 각각 상술한 도 3의 S3010, S3020 및 S3030 단계와 동일하게 수행될 수 있어 구체적인 설명은 생략한다.

컴퓨터 장치는 복수의 색상 데이터의 평균값 각각에 BPF(Band Pass Filter)를 적용하여 각 대상 영역의 맥파 신호를 검출(연산을 통해 산출되는 것을 의미)한다(S22040). 컴퓨터 장치는 각 맥파 신호의 피크 지점 사이의 시간차를 기준으로 맥파 전달 시간을 산출한다(S22050). 예를 들어, 컴퓨터 장치는 2개의 대상 영역의 피크 지점의 사이를 기초로 시간차를 계산할 수 있다. 컴퓨터 장치는 사용자의 신체 정보 및 맥파 전달 시간에 기초하여 혈압을 측정한다(S22060). 사용자의 신체 정보는 컴퓨터 장치에 미리 획득되어 컴퓨터 장치에 저장되거나, 혈압을 측정하고자 하는 경우, 컴퓨터 장치가 별도의 입력부를 통해 사용자로부터 입력받을 수 있다. 사용자의 신체 정보는 사용자에 따라 변경될 수 있다.

전술한 바와 같이 컴퓨터 장치는 혈압을 측정하기 전에 사용자의 신체 정보(키, 나이, 몸무게 등) 및 맥파 전달 시간을 이용하여 혈압을 계산한다. 컴퓨터 장치는 아래의 수학식 15 및 수학식 16을 사용하여 혈압을 계산한다. 수학식 15는 최고 혈압(P_s)을 나타내는 수식이고, 수학식 16은 최저 혈압(P_d)을 나타내는 수식이다.

상기 수학식 15 및 16에서 A는 나이, H는 키, W는 몸무게, T_ptt는 맥파 전달 시간을 나타낸다. 수식에서 사용되는 상수 값 b_s0 ~ b_s4 및 b_d0 ~ b_d4 는 사전에 얻은 데이터 정보를 기초로 하여 다중 회귀분석을 통해 획득할 수 있다. 회귀분석은 독립변수의 일정한 값에 대응되는 종속변수의 값을 예측하기 위한 방법이다. 본 발명에서는 혈압을 예측하기 위해 혈압을 종속변수로 하고, 혈압을 구하기 위해 필요한 맥파 전달 시간, 나이, 몸무게, 키 등은 독립변수로 함으로써 회귀모형을 획득한다. 컴퓨터 장치는 사전에 실험을 통해 회귀모형을 획득하고, 위의 과정을 통해 맥파 전달 시간, 몸무게, 또는 키 등의 정보를 얻게 되면 피험자의 혈압을 예측할 수 있다.

도 23은 도 22의 방법에 따라 혈압을 측정하는 과정에 대한 일 예이다.

컴퓨터 장치는 소스 영상을 획득하고, 소스 영상에서 피부 영역을 검출한다(a 과정). 일 예로서, 도 23은 적외선 카메라를 사용하여 소스 영상을 획득한 모습을 나타낸다. 또한, 일 예로서, 도 23은 복수의 대상 영역으로 2개의 대상 영역을 사용하며, 대상 영역은 각각 A, B로 표시된다.

컴퓨터 장치는 A 영역에 대한 색상 데이터 평균값을 획득하고(b 과정), B 영역에 대한 색상 데이터 평균값을 획득한다(c 과정). 컴퓨터 장치는 A 영역의 색상 데이터 평균값에 BPF를 적용하여 A 영역의 맥파 신호를 생성하고(d 과정), B 영역의 색상 데이터 평균값에 BPF를 적용하여 B 영역의 맥파 신호를 생성한다(e 과정). 컴퓨터 장치는 A 영역의 맥파 신호 및 B 영역의 맥파 신호의 피크 지점 사이의 시간차(PTT)를 기준으로 맥파 전달 시간을 산출한다(f 과정). 컴퓨터 장치는 사용자의 신체 정보 및 f 과정에서 획득한 맥파 전달 시간에 기초하여 혈압을 측정한다(g 과정). 자세한 방법은 상술한 도 22와 관련된 설명을 참조한다.

도 24는 영상을 이용하여 생체 신호를 측정하는 방법에 대한 순서도의 일 예이다.

카메라가 소스 영상을 획득한다(S24010). 카메라가 적외선 카메라, 적외선 열화상 카메라, 또는 TOF 카메라인 경우, 컴퓨터 장치는 주/야간 환경구분 없이 생체 신호를 측정할 수 있다. 컴퓨터 장치는 카메라가 촬영한 소스 영상에서 피부 영역을 검출한다(S24020). 컴퓨터 장치는 피부 영역에 대한 색상 데이터 평균값을 획득한다(S24030). 소스 영상 획득(S24010), 피부 영역 검출(S24020) 및 색상 데이터 추출(S24030) 단계는 각각 상술한 도 3의 S3010, S3020 및 S3030 단계와 동일하게 수행될 수 있어 구체적인 설명은 생략한다.

컴퓨터 장치는 색상 데이터 평균값을 사용하여 상술한 과정을 통해 혈압, 맥박, 스트레스 지수, 기이맥박, 호흡수 등 생체 신호를 획득할 수 있다. 자세한 내용은 상술한 설명을 참조한다.

도 25는 영상을 이용하여 생체 신호를 측정하는 장치의 구성에 대한 다른 예이다.

생체 신호 측정 장치(25010)는 데이터를 저장하는 메모리(25020) 및 메모리를 제어하는 프로세서(25040)를 포함할 수 있다. 생체 신호 측정 장치는 내부에 카메라(25030)를 더 포함할 수 있다. 이 경우, 카메라는 적외선 카메라, 적외선 열화상 카메라 및 TOF 카메라 중 하나일 수 있다.

또한, 생체 신호 측정 장치(25010)는 외부의 카메라로부터 유무선으로 영상을 수신하여 사용할 수 있다. 생체 신호 측정 장치(25010)는 필요에 따라 다른 구성요소를 더 포함할 수 있다.

프로세서(25040)는 상술한 도 1의 카메라가 영상을 획득하고, 저장 장치가 데이터를 저장하고, 연산 장치가 상술한 함수 등을 연산하고, 출력 장치가 출력 결과를 디스플레이하도록 각각 제어할 수 있다. 프로세서(25040)는 소스 영상에서 피부 영역을 검출하고, 상술한 과정을 사용하여, 피부 영역에 대한 색상 데이터 평균값을 획득할 수 있다. 프로세서(25040)는 색상 데이터 평균값을 이용하여 호흡수, 맥박, 스트레스 지수, 기이맥박 또는 혈압 중 적어도 하나를 획득할 수 있다.

메모리(25020)는 프로세서(25040)와 연결되어, 프로세서(25040)를 구동하기 위한 다양한 정보를 저장한다. 메모리(25020)는 소스 영상, 색상 데이터 평균값, 맥파 신호, 맥파 전달 시간, 심박 간격 또는 획득한 생체 신호 등 각 과정에서 생성된 데이터를 저장할 수 있다. 메모리(25020)는 프로세서(25040)의 내부에 포함되거나 또는 프로세서(25040)의 외부에 설치되어 프로세서(25040)와 공지의 수단에 의해 연결될 수 있다.

프로세서(25040)는 상술한 도면의 설명에 따른 본 발명의 다양한 실시예에 따른 동작을 수행하도록 구성될 수 있다. 또한, 상술한 본 발명의 다양한 실시예에 따른 생체 신호 측정 장치(6020)의 동작을 구현하는 모듈이 메모리(25020)에 저장되고, 프로세서(25040)에 의해 실행될 수 있다.

생체 신호 측정 장치(25010)의 구체적인 동작은 상술한 도2 내지 도23과 관련된 설명에 기재된 방법으로 수행될 수 있다.

본 실시예 및 본 명세서에 첨부된 도면은 상술한 기술에 포함된 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하다. 상술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서, 당해 기술분야의 통상의 기술자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 상술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.

1010: 사용자 단말
1020: 카메라
1030: 저장 장치
1040: 연산 장치
1050: 출력 장치
1060: 카메라
1070: 컴퓨터
1080: 서버

Claims

카메라를 사용하여 복수의 프레임을 갖는 소스 영상을 획득하는 단계;
상기 소스 영상에서 피부 영역을 검출하는 단계;
상기 피부 영역에 대한 색상 데이터 평균값을 획득하는 단계;
상기 카메라는 적외선 카메라, 적외선 열화상 카메라 및 TOF 카메라 중 하나를 포함하고,
상기 색상 데이터 평균값에 MAF(Moving Average Filter)를 적용하여 들숨 구간과 날숨 구간을 구분하는 단계;
상기 색상 데이터의 평균값에 BPF(Band Pass Filter)를 적용하여 맥파 신호를 검출하는 단계; 및
상기 들숨 구간, 상기 날숨 구간 및 상기 맥파 신호에 기초하여 기이 맥박을 판별하는 단계;를 포함하고,
상기 기이 맥박은 상기 들숨 구간에서의 상기 맥파 신호의 주파수 파워값 평균인 제1 평균값 및 상기 날숨 구간에서 상기 맥파 신호의 주파수 파워값 평균인 제2 평균값을 기준으로 판별되며,
상기 기이 맥박을 판별하는 단계는, 상기 제1 평균값 및 상기 제2 평균값의 비를 임계값과 비교하여 상기 기이 맥박을 판별하는 것을 특징으로 하는 생체 신호 측정 방법.
제1항에 있어서,
상기 색상 데이터 평균값에 FFT(Fast Fourier Transform)를 적용하는 단계;
상기 FFT가 적용된 상기 색상 데이터 평균값의 주파수 영역에서 호흡수 산출을 위한 제1 주파수 범위를 결정하는 단계; 및
상기 제1 주파수 범위에서 가장 큰 파워를 갖는 제1 주파수 값을 기준으로 제1 호흡수를 산출하는 단계를 더 포함하는 생체 신호 측정 방법.
제2항에 있어서,
상기 제1 주파수 범위를 결정하는 단계에 있어서, 상기 제1 주파수 범위는, 맥박과 관련된 기설정된 제2 주파수 범위 내에서 가장 큰 파워를 갖는 제2 주파수 값 및 기설정된 기준값의 비교 결과에 따라 서로 다른 수식을 사용하여 결정되는 생체 신호 측정 방법.
제2항에 있어서,
상기 제1 호흡수를 미리 정의된 회귀분석 함수에 적용하여 제2 호흡수를 측정하는 단계를 더 포함하는 생체 신호 측정 방법.
제1항에 있어서,
상기 색상 데이터 평균값에 BPF(Band Pass Filter)를 적용하는 단계;
상기 BPF가 적용된 상기 색상 데이터 평균값을 이용하여 맥파 신호를 검출하는 단계;
상기 맥파 신호의 피크 지점을 검출하는 단계; 및
상기 피크 지점의 수에 기초하여 맥박을 측정하는 단계를 더 포함하는 생체 신호 측정 방법.
제1항에 있어서,
상기 색상 데이터 평균값에 BPF(Band Pass Filter)를 적용하는 단계;
상기 BPF가 적용된 상기 색상 데이터 평균값을 이용하여 맥파 신호를 검출하는 단계;
상기 맥파 신호로부터 심박 간격에 대한 태코 그램(Tachogram)을 생성하는 단계; 및
상기 태코 그램을 기초로 최종 스트레스 지수를 산출하는 단계를 포함하고,
상기 최종 스트레스 지수는 상기 태코 그램의 주파수 영역에서 기준 주파수 대역의 활성도를 기준으로 산출되는 제1 스트레스 지수 또는 상기 태코 그램에서 상기 심박 간격을 기준으로 산출되는 제2 스트레스 지수 중 적어도 하나를 기준으로 산출되는 생체 신호 측정 방법.
제6항에 있어서,
상기 태코 그램을 생성하는 단계에 있어서, 상기 색상 데이터 평균값을 주파수 영역으로 변환하는 단계를 더 포함하고, 상기 태코 그램은 상기 주파수 영역의 주파수 성분 중 기준값 이상인 지점을 기준으로 생성되는 생체 신호 측정 방법.
제6항에 있어서,
상기 최종 스트레스 지수를 산출하는 단계에 있어서, 상기 제1 스트레스 지수는 상기 기준 주파수 대역의 활성도 및 상기 태코 그램에서의 심박 편향 정도를 사용하여 산출되는 생체 신호 측정 방법.
제6항에 있어서,
상기 최종 스트레스 지수를 산출하는 단계에 있어서, 상기 제2 스트레스 지수는 상기 태코 그램을 이용하여 산출한 상기 심박 간격의 표준 편차 및 상기 심박 간격의 복잡도를 사용하여 산출되는 생체 신호 측정 방법.
제6항에 있어서,
상기 최종 스트레스 지수를 산출하는 단계에 있어서, 상기 최종 스트레스 지수는 상기 제1 스트레스 지수 및 상기 제2 스트레스 지수에 각각 가중치를 부여한 값을 합산하여 산출되는 생체 신호 측정 방법.
제6항에 있어서,
상기 최종 스트레스 지수를 산출하는 단계에 있어서, 상기 제1 스트레스 지수와 상기 제2 스트레스 지수에 가중치를 부여한 값을 합산한 결과 값을 회귀 분석 함수에 적용하여 상기 최종 스트레스 지수를 산출하되,
상기 회귀 분석 함수는 상기 제1 스트레스 지수와 상기 제2 스트레스 지수를 이용하여 추정한 스트레스 지수와 맥파 측정기를 이용하여 측정한 스트레스 지수에 대한 회귀 분석을 통해 미리 정의되는 생체 신호 측정 방법.
삭제
제1항에 있어서,
상기 들숨 구간과 날숨 구간을 구분하는 단계에 있어서, 상기 MAF가 적용된 상기 색상 데이터 평균값에서 시간의 흐름에 따라 상기 색상 데이터 평균값이 증가하는 구간을 상기 날숨 구간으로 결정하고, 상기 색상 데이터 평균값이 감소하는 구간을 상기 들숨 구간으로 결정하는 생체 신호 측정 방법
삭제
제1항에 있어서,
상기 기이 맥박을 판별하는 단계에 있어서, 상기 색상 데이터 평균값을 수집한 전체 구간에서 상기 맥파 신호의 주파수 파워값 평균 및 상기 제1 평균값의 비를 임계값과 비교하여 기이 맥박 여부를 판별하는 생체 신호 측정 방법.
제1항에 있어서,
상기 색상 데이터 평균값을 획득하는 단계에 있어서, 상기 피부 영역의 RGB 색상을 다른 색상 체계로 변경하고, 상기 다른 색상 체계의 색차 성분 중 적어도 하나의 색상 데이터로부터 상기 색상 데이터 평균값이 획득되는 생체 신호 측정 방법.
제1항에 있어서,
상기 색상 데이터 평균값을 획득하는 단계에 있어서, 상기 피부 영역에 포함된 복수의 대상 영역에서 각각의 색상 데이터 평균값을 획득하고,
상기 생체 신호 측정 방법은,
상기 각각의 색상 데이터 평균값에 BPF(Band Pass Filter)를 적용하여 각 대상 영역의 맥파 신호를 검출하는 단계;
상기 맥파 신호의 피크 지점을 기준으로 맥파 전달 시간을 산출하는 단계: 및
상기 맥파 전달 시간 및 사용자의 신체 정보에 기초하여 혈압을 측정하는 단계를 더 포함하는 생체 신호 측정 방법.
제17항에 있어서,
상기 맥파 전달 시간을 산출하는 단계에 있어서, 상기 맥파 전달 시간은 상기 각 대상 영역의 상기 맥파 신호에 포함된 각 피크 지점의 시간차를 기준으로 산출되는 생체 신호 측정 방법.
제 17항에 있어서,
상기 혈압을 측정하는 단계에 있어서, 미리 정의된 회귀분석 함수를 사용하여 최고 혈압 및 최저 혈압을 측정하는 생체 신호 측정 방법.
데이터를 저장하는 메모리; 및
상기 메모리를 제어하는 프로세서를 포함하는 생체 신호 측정 장치에 있어서,
상기 프로세서는 소스 영상에서 피부 영역을 검출하고, 상기 피부 영역에 대한 색상 데이터 평균값을 획득하고,
상기 프로세서는 상기 색상 데이터 평균값을 이용하여 호흡수, 맥박, 스트레스 지수, 기이 맥박 또는 혈압 중 적어도 하나를 획득하며,
상기 프로세서는,
상기 색상 데이터 평균값에 MAF(Moving Average Filter)를 적용하여 들숨 구간과 날숨 구간을 구분하고, 상기 색상 데이터의 평균값에 BPF(Band Pass Filter)를 적용하여 맥파 신호를 검출하고, 상기 들숨 구간, 상기 날숨 구간 및 상기 맥파 신호에 기초하여 기이 맥박을 판별하고,
상기 기이 맥박은 상기 들숨 구간에서의 상기 맥파 신호의 주파수 파워값 평균인 제1 평균값 및 상기 날숨 구간에서 상기 맥파 신호의 주파수 파워값 평균인 제2 평균값을 기준으로 판별되며,
상기 프로세서는,
상기 제1 평균값 및 상기 제2 평균값의 비를 임계값과 비교하여 상기 기이 맥박을 판별하는 것을 특징으로 하는 생체 신호 측정 장치.
제20항에 있어서,
상기 생체 신호 측정 장치는, 상기 소스 영상을 획득하는 카메라를 더 포함하고, 상기 카메라는 적외선 카메라, 적외선 열화상 카메라 및 TOF 카메라 중 하나인 생체 신호 측정 장치.