KR20230087729A - 생체 지수 및 바이오 리듬 제공 방법 - Google Patents

Abstract

생체 지수 및 바이오 리듬 제공 방법이 개시된다. 일 실시예에 따른, 하나 이상의 프로세서에서 수행되며, 비접촉식으로 인공신경망을 이용하여 피측정자에 대한 생체 지수를 제공하는 방법은 복수의 이미지 프레임을 획득하는 단계, 상기 복수의 이미지 프레임을 기초로 생체지수를 획득하는 단계, 제1 피측정자의 개인적 데이터를 기초로 바이로 리듬 정보를 획득하는 단계, 상기 생체지수 및 상기 바이오 리듬을 기초로 수정 바이오 리듬을 산출하는 단계 및 상기 생체 지수 및 상기 수정 바이오 리듬을 제공하는 단계를 포함할 수 있다.

Description

생체 지수 및 바이오 리듬 제공 방법{METHOD FOR A PHYSIOLOGICAL PARAMETER AND BIORHYTHM}

생체 지수 및 바이오 리듬 제공 방법에 관한 것이다.

빛을 이용해 광체적변동기록법(Photoplethysmography, PPG)를 측정하는 가장 일반적인 기술은 인체에 조사한 빛에 대한 투과광의 광량을 분석하는 방법을 이용하며, 흡광도가 흡수하는 물질의 농도 및 흡수층의 두께에 비례한다는 Beer-Lambert법칙으로 설명된다. 이 법칙에 따르면 투과광의 변화는 투과되는 물질의 부피의 변화에 비례하는 신호가 되는 결과가 도출되기 때문에, 물질의 흡수도를 알지 못하는 경우에도 PPG를 이용해 심장의 상태 등을 파악할 수 있다.

최근에는 PPG를 이용한 기술에서 한 단계 더 나아가 rPPG(remote Photoplethysmography)를 이용한 기술이 등장하고 있다. PPG를 이용해 심장박동에 관한 신호를 파악하는 가장 대중화된 기술로서 스마트폰과 같이 카메라와 조명이 근거리에 부착된 장치를 인체에 직접적으로 접촉시켜 빛을 조사하고 곧바로 투과광을 측정해 PPG를 획득하는 기술이 있다면, 최근에는 카메라로 촬영한 영상에서 획득한 신호로부터 혈관의 부피의 변화를 파악하는 rPPG(remote Photoplethysmography)에 관한 기술이 지속적으로 연구 및 개발되고 있는 상황이다.

rPPG를 이용한 기술은 대상체와 측정장비간의 접촉이 요구되지 않는다는 점에서 공항 출입국 관리소, 원격진료 등 카메라를 구비한 장치 및 장소에서 다양하게 응용될 수 있다.

다만 rPPG에 관한 기술은 카메라로 대상체를 촬영하는 과정에서 주변광 및 대상체의 움직임으로 인해 발생하는 노이즈가 신호에 미치는 영향이 크기 때문에, 촬영된 영상으로부터 측정 대상체의 부피 변화에 관련된 신호만을 추출하는 기술이 rPPG를 이용해 생체신호를 측정하는 기술 가운데 핵심기술이라고 볼 수 있다.

최근에는, rPPG를 이용한 생체 신호 및 생체 신호로부터 도출되는 다양한 정보를 제공하기 위한 연구가 계속되고 있다.

일 실시예에 따른 해결하고자 하는 과제는 비접촉식으로 생체 지수를 획득하는 것이다.

다른 일 실시예에 따른 해결하고자 하는 과제는 비접촉식으로 획득된 생체 지수를 기초로 보다 정확한 바이오 리듬을 제공하기 위한 것이다.

다른 일 실시예에 따른 해결하고자 하는 과제는 다양한 어플리케이션에서 생체 지수 및 바이오 리듬을 제공하기 위한 것이다.

본 출원의 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

일 실시예에 따른, 하나 이상의 프로세서에서 수행되며, 비접촉식으로 인공신경망을 이용하여 피측정자에 대한 생체 지수를 제공하는 방법은 복수의 이미지 프레임을 획득하는 단계, 상기 복수의 이미지 프레임을 기초로 생체지수를 획득하는 단계, 제1 피측정자의 개인적 데이터를 기초로 바이로 리듬 정보를 획득하는 단계, 상기 생체지수 및 상기 바이오 리듬을 기초로 수정 바이오 리듬을 산출하는 단계 및 상기 생체 지수 및 상기 수정 바이오 리듬을 제공하는 단계를 포함할 수 있다.

본 출원의 과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 따르면 비 접촉식으로 생체 지수를 획득하는 방법이 제공될 수 있다.

본 발명의 다른 일 실시예에 따르면 비접촉식으로 획득된 생체 지수를 기초로 보다 정확한 바이오 리듬을 제공하기 위한 방법이 제공될 수 있다.

본 발명의 또 다른 일 실시예에 따르면 다양한 어플리케이션에서 생체 지수 및 바이오 리듬을 제공하기 제공하기 위한 방법이 제공될 수 있다.

본 출원의 효과가 상술한 효과들로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.

도 1은 일 실시예에 따른 생체 지수 및 생체 정보 관리 시스템에 관한 도면이다.
도 2는 다른 일 실시예에 따른 생체 지수 및 생체 정보 관리 시스템에 관한 도면이다.
도 3은 일 실시예에 따른 생체 지수 획득 장치를 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 생체 지수 획득 방법을 나타내는 흐름도이다.
도 5는 일 실시예에 따른 생체 지수 획득 방법을 나타내는 도면이다.
도 6은 일 실시예에 따른 생체 정보 획득 방법을 나타내는 흐름도이다.
도 7 및 도 8은 생체 지수 획득 모델을 이용한 생체 지수 획득 방법을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 심박수 측정 방법을 설명하기 위한 흐름도이다.
도 10은 일 실시예에 따른 혈압 측정 방법을 설명하기 위한 흐름도이다.
도 11은 다른 일 실시예에 따른 혈압 측정 방법을 설명하기 위한 흐름도이다.
도 12는 일 실시예에 따른 심박수 획득 방법을 설명하기 위한 흐름도이다.
도 13은 일 실시예에 따른 색 채널 값들에 대한 그래프이다.
도 14는 일 실시예에 따른 노이즈 저감 방법을 설명하기 위한 그래프이다.
도 15는 가시광 대역에서 헤모글로빈과 산소헤모글로빈의 흡광도를 나타낸 도면이다.
도 16은 일 실시예에 따른 특성 값 획득 방법을 설명하기 위한 도면이다.
도 17은 다른 일 실시예에 따른 특성 값 획득 방법을 설명하기 위한 도면이다.
도 18은 복수개의 특성 값을 이용하는 방법에 대해 설명하기 위한 도면이다.
도 19는 특성 값에 대한 그래프로부터 주파수 성분을 추출한 그래프이다.
도 20은 일 실시예에 따른 심박수 획득 방법을 설명하기 위한 도면이다.
도 21은 일 실시예에 따른 출력 심박수의 보정 방법에 대하여 설명하기 위한 흐름도이다.
도 22는 일 실시예에 따른 심박 신호 추출 방법을 설명하기 위한 도면이다.
도 23은 일 실시예에 따른 적외선을 이용한 심박수를 획득 방법을 설명하기 위한 도면이다.
도 24는 일 실시예에 따른 적외선을 이용한 심박수 획득 방법을 설명하기 위한 도면이다.
도 25는 일 실시예에 따른 생체 지수 제공 방법을 설명하기 위한 흐름도이다.
도 26은 일 실시예에 따른 바이오 리듬을 설명하기 위한 도면이다.
도 27은 일 실시예에 따른 수정 바이오 리듬 획득 모델을 설명하기 위한 도면이다.
도 28은 일 실시예에 따른 화상회의 어플리케이션을 설명하기 위한 도면이다.
도 29는 일 실시예에 따른 스포츠 중계 어플리케이션을 설명하기 위한 도면이다.
도 30은 다른 일 실시예에 따른 생체 지수 제공 방법을 설명하기 위한 흐름도이다.

본 명세서에 기재된 실시예는 본 발명이 속하는 기술 분양에서 통상의 지식을 가진 자에게 본 발명의 사상을 명확히 설명하기 위한 것이므로, 본 발명이 본 명세서에 기재된 실시예에 한정되는 것은 아니며, 본 발명의 범위는 본 발명의 사상을 벗어나지 아니하는 수정예 또는 변형예를 포함하는 것으로 해석되어야 한다.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하여 가능한 현재 널리 사용되고 있는 일반적인 용어를 선택하였으나 이는 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자의 의도, 판례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 다만, 이와 달리 특정한 용어를 임의의 의미로 정의하여 사용하는 경우에는 그 용어의 의미에 관하여 별도로 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 한다.

본 명세서에 첨부된 도면은 본 발명을 용이하게 설명하기 위한 것으로 도면에 도시된 형상은 본 발명의 이해를 돕기 위하여 필요에 따라 과장되어 표시된 것일 수 있으므로 본 발명이 도면에 의해 한정되는 것은 아니다.

본 명세서에서 본 발명에 관련된 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에 이에 관한 자세한 설명은 필요에 따라 생략하기로 한다.

일 실시예에 따른, 하나 이상의 프로세서에서 수행되며, 비접촉식으로 인공신경망을 이용하여 피측정자에 대한 생체 지수를 제공하는 방법은 복수의 이미지 프레임을 획득하는 단계, 상기 복수의 이미지 프레임을 기초로 생체지수를 획득하는 단계, 제1 피측정자의 개인적 데이터를 기초로 바이로 리듬 정보를 획득하는 단계, 상기 생체지수 및 상기 바이오 리듬을 기초로 수정 바이오 리듬을 산출하는 단계 및 상기 생체 지수 및 상기 수정 바이오 리듬을 제공하는 단계를 포함할 수 있다.

상기 생체지수 및 상기 바이오 리듬을 기초로 수정 바이오 리듬을 산출하는 단계는, 상기 생체지수 및 상기 바이오 리듬을 미리 학습된 수정 바이오 리듬 획득 모델에 적용하여 수정 바이오 리듬을 산출할 수 있다.

상기 복수의 이미지 프레임을 기초로 생체지수를 획득하는 단계는, 상기 복수의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 제1 색 채널 값, 제2 색 채널 값 및 제3 색 채널 값을 획득하는 단계, 상기 복수의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 상기 제1 색 채널 값, 상기 제2 색 채널 값 및 상기 제3 색 채널 값을 기초로 제1 차이 값 및 제2 차이 값을 계산하는 단계 - 상기 제1 차이 값은 동일한 이미지 프레임에 대한 상기 제1 색 채널 값과 상기 제2 색 채널 값의 차이 값이고, 상기 제2 차이 값은 동일한 이미지 프레임에 대한 상기 제1 색 채널 값과 상기 제3 색 채널 값의 차이 값을 나타냄-, 제1 미리 설정된 시간동안 획득된 제1 이미지 프레임 그룹에 대하여 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 상기 제1 차이 값을 기초로 제1 특성값을 획득하는 단계, 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 제2 차이 값을 기초로 제2 특성값을 획득하는 단계, 상기 제1 특성값 및 상기 제2 특성값을 기초로 시계열 데이터를 획득하는 단계 및 상기 시계열 데이터를 기초로 상기 생체 지수를 획득하는 단계를 포함할 수 있다.

일 실시예에 따른 생체 지수를 제공하는 방법은, 상기 제1 피측정자의 제1 상태에 대한 제1 복수의 이미지 프레임을 획득하고, 상기 복수의 제1 이미지 프레임을 기초로 제1 생체 지수를 획득하는 단계, 상기 제1 피측정자의 제2 상태에 대한 제2 복수의 이미지 프레임을 획득하고, 상기 복수의 제2 이미지 프레임을 기초로 제2 생체 지수를 획득하는 단계, 상기 제1 상태일 때의 상기 제1 피측정자의 외적 상황에 대한 정보를 제공하는 단계 및 상기 제2 상태일 때의 상기 제1 피측정자의 외적 상황에 대한 정보를 제공하는 단계를 더 포함할 수 있다.

일 실시예에 따른 생체 지수를 제공하는 방법은, 상기 복수의 이미지 프레임 중 상기 제1 피측정자에 대한 제1 복수의 세부 이미지 및 제2 피측정자에 대한 제2 복수의 세부 이미지를 획득하는 단계, 상기 제1 복수의 세부 이미지를 기초로 상기 제1 피측정자에 대한 생체 정보를 획득하는 단계, 상기 제2 복수의 세부 이미지를 기초로 상기 제2 피측정자에 대한 생체 정보를 획득하는 단계 및 상기 제1 피측정자에 대한 생체 정보 및 상기 제2 피측정자에 대한 생체 정보를 제공하는 단계를 더 포함할 수 있다.

일 실시예에 따른 비접촉식으로 인공신경망을 이용하여 피측정자에 대한 생체 지수를 제공하는 생체 지수 제공 장치는, 프로세서를 포함하고, 상기 프로세서는, 복수의 이미지 프레임을 획득하고, 상기 복수의 이미지 프레임을 기초로 생체지수를 획득하고, 제1 피측정자의 개인적 데이터를 기초로 바이로 리듬 정보를 획득하고, 상기 생체지수 및 상기 바이오 리듬을 기초로 수정 바이오 리듬을 산출하고, 상기 생체 지수 및 상기 수정 바이오 리듬을 제공할 수 있다.

상기 프로세서는, 상기 생체지수 및 상기 바이오 리듬을 미리 학습된 수정 바이오 리듬 획득 모델에 적용하여 수정 바이오 리듬을 산출할 수 있다.

상기 프로세서는, 상기 복수의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 제1 색 채널 값, 제2 색 채널 값 및 제3 색 채널 값을 획득하고, 상기 복수의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 상기 제1 색 채널 값, 상기 제2 색 채널 값 및 상기 제3 색 채널 값을 기초로 제1 차이 값 및 제2 차이 값을 계산하고, - 상기 제1 차이 값은 동일한 이미지 프레임에 대한 상기 제1 색 채널 값과 상기 제2 색 채널 값의 차이 값이고, 상기 제2 차이 값은 동일한 이미지 프레임에 대한 상기 제1 색 채널 값과 상기 제3 색 채널 값의 차이 값을 나타냄- , 제1 미리 설정된 시간동안 획득된 제1 이미지 프레임 그룹에 대하여 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 상기 제1 차이 값을 기초로 제1 특성값을 획득하고, 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 제2 차이 값을 기초로 제2 특성값을 획득하고, 상기 제1 특성값 및 상기 제2 특성값을 기초로 시계열 데이터를 획득하고, 상기 시계열 데이터를 기초로 상기 생체 지수를 획득할 수 있다.

상기 프로세서는, 상기 제1 피측정자의 제1 상태에 대한 제1 복수의 이미지 프레임을 획득하고, 상기 복수의 제1 이미지 프레임을 기초로 제1 생체 지수를 획득하고, 상기 제1 피측정자의 제2 상태에 대한 제2 복수의 이미지 프레임을 획득하고, 상기 복수의 제2 이미지 프레임을 기초로 제2 생체 지수를 획득하고, 상기 제1 상태일 때의 상기 제1 피측정자의 외적 상황에 대한 정보를 제공하고, 상기 제2 상태일 때의 상기 제1 피측정자의 외적 상황에 대한 정보를 제공할 수 있다.

상기 프로세서는, 상기 복수의 이미지 프레임 중 상기 제1 피측정자에 대한 제1 복수의 세부 이미지 및 제2 피측정자에 대한 제2 복수의 세부 이미지를 획득하고, 상기 제1 복수의 세부 이미지를 기초로 상기 제1 피측정자에 대한 생체 정보를 획득하고, 상기 제2 복수의 세부 이미지를 기초로 상기 제2 피측정자에 대한 생체 정보를 획득하고, 상기 제1 피측정자에 대한 생체 정보 및 상기 제2 피측정자에 대한 생체 정보를 제공할 수 있다.

0. 용어의 정의

본 명세서에서 사용되는 '측정'이라는 용어는 재어서 정하는 것, 추측하여 결정하는 것, 일정 양을 기준으로 다른 양들의 크기를 재는 것 모두를 포함하는 개념으로 이해될 수 있다.

본 명세서에서 사용되는 '심박수(Heart rate)'는 심장 박동 수로 이해될 수 있으며, 이는 심장 박동의 결과물로 심장 근처에서 측정되는 박동 수를 의미할 수 있는 '심박수'의 개념과 심장 박동의 결과로 발생한 진동이 말초 혈관으로 전파된 것을 의미할 수 있는 '맥박'의 개념을 모두 포함하는 개념으로 이해될 수 있다.

본 명세서에서 사용되는 '혈압(Blood pressure)'은 심장에서 혈액을 밀어낼 때 혈관 내에 생기는 압력으로 이해될 수 있으며, 이는 측정 부위에 상관 없이 통상의 '혈압'이라고 이해될 수 있는 값(예를 들어, 위팔의 동맥에서 측정한 값)으로 추측될 수 있는 값으로 이해될 수 있다.

본 명세서에서 사용되는 '산소포화도(oxygen saturation)'는 혈액 내 산소의 포화 정도로 이해 될 수 있으며, 보다 구체적으로 혈액 내 총 헤모글로빈에 대한 산소헤모글로빈의 분율로 이해될 수 있다.

본 명세서에서 사용되는 '체온(Core Temperature)'는 사람이나 동물이 가지는 몸의 온도로 이해될 수 있으며, 피부에서 측정될 수 있는 '피부 온도(Skin Temperature)'와 다르게 이해될 수 있다.

본 명세서에서 사용되는 '피부온도(Skin Temperature)'는 측정되는 피부의 표면 온도로 이해될 수 있다.

본 명세서에서 사용되는 '이미지(Image)'는 하나의 이미지 또는 영상에 포함되는 복수개의 이미지를 모두 포함하는 개념으로 이해될 수 있다.

본 명세서에서 사용되는 '색 채널(Color Channel)'은 색 공간(Color space)을 구성하는 각각의 축으로 이해될 수 있으며, 예를 들어, Red 채널, Green 채널, Blue 채널은 RGB 색 공간을 구성하는 Red 축, Green 축, Blue 축을 의미할 수 있으며, 이러한 색 채널은 2차원으로 구성될 수 도 있으며, 3차원, 4차원으로 구성될 수도 있다.

본 명세서에서 사용되는 '피측정자에 대한 이미지'는 피측정자의 측정 대상 위치를 포함하는 이미지로 이해될 수 있으며, 예를 들어, 측정 위치가 피측정자의 얼굴인 경우, 피측정자에 대한 얼굴 영역을 포함하는 이미지로 이해될 수 있다.

본 명세서에서 사용되는 '개인적, 통계적 데이터'란 나이, 성별, 키, 체중 등 피측정자의 수집 가능한 개인적, 통계적 데이터를 의미할 수 있으며, 피측정자의 표정, 주름, 얼굴 색 등 관측 가능한 개인적, 통계적 데이터를 의미할 수도 있고, 피측정자가 포함되거나 피측정자와 관련된 집단을 대상으로 산정된 통계적 데이터(예를 들어, 20대 평균 혈압, 황인 평균 피부 색상, 30대 남성 평균 키, 대한민국 남성의 평균 체중 등)와 같이 수치화될 수 있는 개인적, 통계적 데이터를 의미할 수도 있다.

본 명세서에서 사용되는 '시계열 데이터'는 시간 축에 따라 나열된 데이터를 의미할 수 있으나, 이에 한정되지 않고 시간에 대응될 수 있는 이미지 프레임 축에 따라 나열된 데이터를 의미할 수 있고, 시간축 또는 이미지 프레임 축에 따라 정렬될 수 있는 데이터를 의미할 수 있으며, 통상의 '시계열 데이터'로 이해될 수도 있다.

1. 생체 지수 및 생체 정보 관리 시스템

"생체 지수(physiological parameter)"는 측정 또는 추정될 수 있는 인체의 생리 활동에 따른 결과물을 의미할 수 있으며, 예를 들어, 심박수, 산소포화도, 혈압, 체온, 혈류량 등을 포함할 수 있으나, 이에 한정되지 않으며, 측정 또는 추정될 수 있는 인체의 생리 활동에 따른 다른 결과물들을 의미할 수 있다.

"생체 정보(physiological information)"는 생체 지수 등 인체의 생리 활동에 따른 결과물 및 표정, 자세, 나이 등 개인적, 통계적 데이터 중 적어도 일부를 고려하여 산출될 수 있는 정보를 의미할 수 있으며, 예를 들어, 졸음 정보, 스트레스 정보, 흥분도 정보, 감정 정보 등을 포함할 수 있으나, 이에 한정되지 않는다.

생체 지수 및 생체 정보 관리 시스템은 측정 또는 추정될 수 있는 생체 지수 및 산출될 수 있는 생체 정보를 저장하거나, 공유하거나 분석하여 이를 활용한 개인의 건강 등을 종합 관리할 수 있는 관리 시스템을 의미할 수 있다.

도 1 및 도 2는 각각 일 실시예에 따른 생체 지수 및 생체 정보 관리 시스템에 관한 도면이다.

도 1을 참조하면, 일 실시예에 따른 생체 지수 및 생체 정보 관리 시스템(100)은 생체 지수 획득 장치(10) 및 서버(20)를 포함할 수 있다.

이 때, 상기 생체 지수 획득 장치(10)는 피측정자(subject)의 생체 지수(physiological parameter)를 측정할 수 있다. 보다 구체적으로, 상기 생체 지수 획득 장치(10)는 상기 피측정자(subject)의 생체 지수를 침습적으로 측정할 수도 있으며, 비칩습적이되 접촉방식으로 측정할 수도 있고, 비 접촉 방식으로 측정할 수도 있다.

예를 들어, 상기 생체 지수 획득 장치(10)는 상기 피측정자에 대한 영상 또는 이미지를 분석하여 상기 피측정자의 심박수, 산소포화도, 혈압 등 생체 지수를 측정할 수 있으나, 이에 한정되지는 않는다.

또한, 상기 생체 지수 획득 장치(10)는 측정된 생체 지수를 기초로 생체 정보(physiological information)를 산출할 수 있다. 보다 구체적으로, 상기 생체 지수 획득 장치(10)는 상기 측정된 생체 지수를 기초로 생체 정보를 산출할 수도 있으며, 상기 측정된 생체 지수 및 표정, 자세 나이 등 개인적, 통계적 데이터를 종합 고려하여 생체 정보를 산출할 수도 있다.

예를 들어, 상기 생체 지수 획득 장치(10)는 심박수, 산소포화도, 혈압 등 측정된 생체 지수를 기초로 상기 피측정자의 감정 정보, 졸음 정보 등 생체 정보를 산출할 수 있으나, 이에 한정되지 않는다.

또한, 상기 생체 지수 획득 장치(10)는 상기 측정된 생체 지수 및 상기 산출된 생체 정보를 저장할 수 있다. 예를 들어, 상기 생체 지수 획득 장치(10)는 상기 피측정자의 측정된 생체 지수 및 산출된 생체 정보를 내부 메모리에 저장할 수 있으나, 이에 한정되지는 않는다.

또한, 상기 생체 지수 획득 장치(10)는 상기 측정된 생체 지수 및 상기 산출된 생체 정보를 디스플레이 할 수 있다. 예를 들어, 상기 생체 지수 획득 장치(10)는 디스플레이를 더 포함할 수 있으며, 상기 디스플레이를 이용하여 상기 피측정자에 대한 측정된 생체 지수 및 산출된 생체 정보를 디스플레이 할 수 있으나, 이에 한정되지 않으며, 외부 디스플레이로 디스플레이 되도록 해당 정보를 전송할 수도 있다.

또한, 상기 생체 지수는 디스플레이를 통해 한번 디스플레이 될 수 있으며, 실시간 적으로 변하는 생체 지수가 지속적으로 디스플레이 될 수 있다.

또한, 상기 생체 지수 획득 장치(10)는 상기 서버(20)를 향해 상기 피측정자에 대한 상기 생체 지수 및 상기 생체 정보를 전송할 수 있다.

이 때, 상기 서버(20)를 향해 전송된 상기 생체 지수 및 상기 생체 정보는 개인 데이터로 상기 서버(20)에 저장될 수 있다. 예를 들어, 피측정자A로부터 측정된 생체 지수 및 산출된 생체 정보는 상기 피측정자A에 대한 데이터로서 상기 서버(20)에 저장될 수 있으며, 피측정자B로부터 측정된 생체 지수 및 산출된 생체 정보는 상기 피측정자B에 대한 데이터로서 상기 서버(20)에 저장될 수 있다.

또한, 상기 서버(20)는 필요시 외부 단말과 통신하여 피측정자에 대한 생체 지수 및 생체 정보를 전송할 수 있다. 예를 들어, 상기 서버(20)에 생체 지수 및 생체 정보 데이터가 저장된 피측정자A라는 사람이 진료를 받기 위해 병원을 방문한 경우, 피측정자A를 진료하기 위한 의사는 피측정자A에 대한 생체 지수 및 생체 정보를 필요로 할 수 있다. 이 때, 상기 서버(20)는 상기 병원에 배치되는 외부 단말로부터 피측정자A에 대한 생체 지수 및 생체 정보 데이터의 전송을 요청받는 경우 상기 외부 단말과 통신하여 상기 피측정자A에 대한 생체 지수 및 생체 정보 데이터를 전송할 수 있다.

이처럼, 상기 생체 지수 및 생체 정보 관리 시스템(100)은 개인의 건강에 대한 지속적이고 종합적인 관리 서비스를 제공하기 위한 바탕이 될 수 있으며, 상술한 예시뿐만 아니라 상기 생체 지수 및 생체 정보 관리 시스템(100)은 지속적으로 측정되고 저장되어 관리되는 생체 지수 및 생체 정보를 활용한 다양한 종합 관리 서비스 제공을 위한 바탕이 될 수 있음은 자명한 사실이다.

또한, 도 2를 참조하면, 일 실시예에 따른 생체 지수 및 생체 정보 관리 시스템(100)은 이미지 획득 장치(30) 및 서버(20)를 포함할 수 있다.

이 때, 상기 이미지 획득 장치(30)는 피측정자에 대한 영상 또는 이미지를 획득할 수 있다.

또한, 상기 서버(20)는 상기 이미지 획득 장치(30)로부터 피측정자에 대한 영상 또는 이미지를 획득할 수 있다.

또한, 상기 서버(20)는 입력장치, 외부 단말 등으로부터 피측정자에 대한 개인적, 통계적 데이터를 획득할 수 있다.

또한, 상기 서버(20)는 상기 획득된 영상 또는 이미지를 기초로 상기 피측정자의 생체 지수를 측정할 수 있다. 예를 들어, 상기 서버(20)는 상기 획득된 영상 또는 이미지를 분석하여 상기 피측정자의 심박수, 산소포화도, 혈압 등 생체 지수를 측정할 수 있으나, 이에 한정되지는 않는다.

또한, 상기 서버(20)는 측정된 생체 지수를 기초로 생체 정보를 산출할 수 있다. 보다 구체적으로, 상기 서버(20)는 상기 측정된 생체 지수를 기초로 생체 정보를 산출할 수도 있으며, 상기 측정된 생체 지수 및 표정, 자세, 나이 등 개인적, 통계적 데이터를 종합 고려하여 생체 정보를 산출할 수 있다.

예를 들어, 상기 서버(20)는 심박수, 산소포화도, 혈압 등 측정된 생체 지수를 기초로 상기 피측정자의 감정 정보, 졸음 정보 등 생체 정보를 산출할 수 있으나, 이에 한정되지 않는다.

또한, 상기 서버(20)는 상기 측정된 생체 지수 및 상기 산출된 생체 정보를 저장할 수 있다.

또한, 상기 이미지 획득 장치(30) 및 상기 서버(20)를 포함하는 생체 지수 및 생체 정보 관리 시스템(100)은 도 1에서 상술한 생체 지수 및 생체 정보 관리 시스템의 기능을 수행할 수 있음은 명확하므로, 중복된 서술은 생략하기로 한다.

2. 생체 지수 획득 장치의 다양한 실시예들

도 3은 일 실시예에 따른 생체 지수 획득 장치를 설명하기 위한 도면이다.

도 3을 참조하면, 일 실시예에 따른 생체 지수 획득 장치(1000)는 이미지 획득부(1010), 제어부(1020), 저장부(1030) 및 통신부(1040)를 포함할 수 있다. 다만, 상기 생체 지수 획득 장치(1000)는 상기 이미지 획득부(1010), 상기 제어부(1020), 상기 저장부(1030) 및 상기 통신부(1040)중 적어도 일부만을 포함할 수 있다. 예를 들어, 상기 생체 지수 획득 장치(1000)는 상기 이미지 획득부(1010) 및 상기 제어부(1020)만을 포함할 수도 있으나, 이에 한정되지 않고 다양한 방식으로 구현될 수 있다.

또한, 상기 이미지 획득부(1010)는 피측정자에 대한 영상 또는 이미지를 획득할 수 있다. 보다 구체적으로 상기 이미지 획득부(1010)는 촬영 장치를 포함할 수 있으며, 상기 촬영 장치를 이용해 상기 피 측정자에 대한 영상 또는 이미지를 획득할 수 있고, 또는 상기 생체 지수 획득 장치(1000) 외부에 배치되는 촬영 장치로부터 상기 피측정자에 대한 영상 또는 이미지를 획득할 수 있으나, 이에 한정되지는 않는다.

또한, 상기 이미지 획득부(1010)가 촬영 장치로부터 피측정자에 대한 영상 또는 이미지를 획득하는 경우, 상기 촬영 장치는 가시광 이미지를 획득하기 위한 가시광 카메라(Visible camera), 적외선 이미지를 획득하기 위한 적외선 카메라(IR camera) 등으로 제공될 수 있으나, 이에 한정되지 않고, 가시광 이미지 및 적외선 이미지를 획득하기 위한 하이브리드 타입의 카메라가 제공될 수도 있다.

또한, 상기 촬영 장치가 가시광 이미지를 획득하는 경우, 획득된 가시광 이미지는 적어도 하나 이상의 색 채널(Color Channel) 값으로 획득될 수 있다. 예를 들어, 상기 획득된 가시광 이미지는 빨강(Red), 초록(Green), 파랑(Blue)으로 표현되는 RGB 색공간의 색 채널 값으로 획득될 수 있으며, 색상(Hue), 채도(Saturation), 명도(Value) 로 포현되는 HSV 색공간의 색채널 값으로 획득될 수도 있으나, 이에 한정되지 않으며, YCrCb, YiQ 등 다양한 색공간의 색채널 값으로 획득될 수 있다.

또한, 상기 촬영 장치가 적외선 이미지를 획득하는 경우, 상기 촬영 장치는 상기 촬영 장치 내부 또는 외부에 배치되는 적외선 조명을 통해 적외선 이미지를 획득할 수 있다. 이 때, 상기 적외선 조명은 750nm ~ 3000nm 의 파장 대역인 근적외선(Near infrared) 영역의 적외선을 비출 수 있으나, 이에 한정되지는 않고, 중적외선 영역(middle infrared), 원적외선 영역(Far infrared) 및 극적외선 영역(extreme infrared)의 적외선을 비출 수도 있다.

또한, 상기 제어부(1020)는 상기 이미지 획득부(1010)로부터 획득된 피측정자에 대한 이미지를 이용하여 생체 지수를 획득할 수 있다.

예를 들어, 상기 제어부(1020)는 상기 이미지 획득부(1010)로부터 획득된 피측정자에 대한 이미지를 분석하여 상기 피측정자의 심박수, 산소포화도, 혈압, 체온 등 생체 지수를 획득할 수 있으나, 이에 한정되지 않고 다양한 생체 지수를 획득할 수 있다.

또한, 상기 제어부(1020)는 상기 획득된 생체 지수를 기초로 생체 정보를 산출할 수 있다.

예를 들어, 상기 제어부(1020)는 심박수, 산소포화도, 혈압, 체온 등 획득된 생체 지수를 기초로 상기 피측정자의 감정 정보, 졸음 정보 등 생체 정보를 산출할 수 있으나, 이에 한정되지 않고 다양한 생체 정보를 산출할 수 있다.

또한, 상기 제어부(1020)는 상기 이미지 획득부(1010), 상기 저장부(1030), 및 상기 통신부(1040) 중 적어도 일부의 동작을 제어할 수 있다.

또한, 상기 저장부(1030)는 상기 제어부(1020)에서 획득된 생체 지수 및 생체 정보를 저장할 수 있다. 보다 구체적으로, 상기 저장부(1030)는 한 명의 피측정자에 대한 생체 지수 및 생체 정보를 저장할 수도 있으며, 여러 명의 피측정자들에 대한 생체 지수 및 생체 정보를 각각 저장할 수도 있다.

또한, 상기 통신부(1040)는 상기 제어부(1020)에서 획득된 생체 지수 및 생체 정보를 전송할 수 있다. 보다 구체적으로, 상기 통신부(1040)는 상기 제어부(1020)에서 획득된 생체 지수 및 생체 정보를 관리 서버를 향해 전송할 수도 있으며, 사용자의 단말을 향해 전송할 수도 있다.

3. 생체 지수 및 생체 정보 획득 방법의 다양한 실시예들

3.1 생체 지수 획득 방법

도 4는 일 실시예에 따른 생체 지수 획득 방법을 나타내는 흐름도이다.

도 4를 참조하면 일 실시예에 따른 생체 지수 획득 방법(1100)은 피측정자에 대한 피측정자에 대한 이미지를 획득하는 단계(S1110)를 포함할 수 있다.

이 때, 피측정자에 대한 이미지를 획득하기 위해 가시광 카메라, 적외선 카메라 등 다양한 카메라를 이용해서 이미지를 획득하거나, 다양한 카메라들로부터 이미지를 획득할 수 있음은 상술한 바 이므로 상세한 설명은 생략하기로 한다.

또한, 일 실시예에 따른 생체 지수 획득 방법(1100)은 피부 영역을 검출하는 단계(S1120)를 포함할 수 있다.

이 때, 상기 피부 영역은 상기 피측정자에 대한 이미지 중 상기 피측정자의 피부 영역으로 추정될 수 있는 영역을 의미할 수 있다.

또한, 상기 피부 영역은 심장 박동에 의한 혈관의 변화를 잘 반영할 수 있으며, 이와 같이 상기 피부 영역을 검출하는 것은 생체 지수 획득의 정확성을 향상시킬 수 있다.

또한, 일 실시예에 따르면 상기 피부 영역을 검출하기 위해, 혈관의 확장에 의한 색상의 변화를 반영할 수 있는 피부 영역을 제외한 상기 피측정자의 눈, 머리카락 등 피부 외의 영역이 제거될 수 있다. 예를 들어, 상기 피측정자의 눈, 머리카락 등 피부 외의 영역의 색상 값을 검정색 등 의미 없는 값으로 치환할 수 있으나, 이에 한정되지는 않는다.

또한, 일 실시예에 따르면 상기 피부 영역을 검출하기 위해, 특정 색공간이 이용될 수 있다. 예를 들어, 피부 영역을 검출하는 단계(S1120)는 획득된 피측정자에 대한 이미지를 YCrCb 색공간의 값으로 치환하고, 상기 YCrCb 색공간으로 표현된 이미지를 기초로 피부영역이 검출할 수 있으나, 이에 한정되지는 않는다.

또한, 상기 피부 영역을 검출하기 위해 종래 알려진 다양한 기법을 이용하여 피부 영역을 검출할 수 있음은 자명하다.

또한, 일 실시예에 따른 생체 지수 획득 방법(1110)은 관심 영역을 설정하는 단계(S1130)를 포함할 수 있다.

이 때, 상기 관심 영역은 획득된 피측정자에 대한 이미지 중 데이터 처리를 하기 위해 관심 있는 영역을 의미할 수 있으며, 생체 지수를 획득하기 위해 데이터 처리에 이용될 수 있는 영역을 의미할 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따르면 상기 관심 영역을 설정하기 위해, 피측정자의 얼굴 영역이 설정될 수 있다. 예를 들어, 상기 피측정자의 얼굴 내에 포함되는 관심 영역을 설정하기 위해 상기 피측정자의 얼굴 영역이 설정될 수 있다.

보다 구체적으로, 설정된 상기 피측정자의 얼굴 영역의 중심을 기초로 일정 비율을 가지는 영역이 관심 영역으로 설정될 수 있다.

예를 들어, 상기 피측정자의 얼굴 영역의 중심을 기초로 세로로 80%, 가로로 60% 크롭할 수 있으나, 이에 한정되지는 않는다.

또한, 일 실시예에 따르면 상기 관심 영역을 설정하기 위해, 특징점이 이용될 수 있다. 예를 들어, 획득된 피측정자에 대한 이미지에서 상기 피측정자의 코 영역이 특징점으로 추출될 수 있으며, 추출된 특징점을 기초로 관심 영역이 설정될 수 있으나 이에 한정되지 않는다.

보다 구체적으로, 설정된 얼굴 영역에 대하여 추출된 특징점을 중심으로 일정 크기를 가지는 영역이 관심 영역으로 설정될 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따르면 상기 관심 영역을 설정하기 위해, 복수개의 특정점이 이용될 수 있다. 예를 들어, 획득된 피측정자에 대한 이미지에서 상기 피측정자의 눈 및 코 영역이 특징점으로 추출될 수 있으며, 추출된 특징점들을 기초로 관심 영역이 설정될 수 있다.

또한, 연속적으로 획득되는 복수개의 이미지 각각에 대해 관심 영역이 설정되는 경우, 복수개의 이미지 각각에 대한 관심 영역을 독립적으로 설정할 수 있으며, 연관성 있도록 설정할 수도 있다.

예를 들어, 복수개의 이미지 각각에 대한 관심 영역을 연관성 있도록 설정하기 위해, 복수개의 이미지 각각에 대한 피측정자의 얼굴 영역이 설정될 수 있으며, 제1 이미지 프레임에서 설정된 얼굴 영역의 중심과 제1 이미지 프레임 다음에 획득되는 제2 이미지 프레임에서 설정된 얼굴 영역의 중심 사이의 차이가 임계치를 초과하지 않는 경우 제2 이미지 프레임의 얼굴 영역은 제1 이미지 프레임에서 설정된 얼굴 영역과 동일하게 설정될 수 있으나, 이에 한정되지는 않는다.

또한, 제1 이미지 프레임에서 설정된 얼굴 영역의 중심과 상기 제2 이미지 프레임에서 설정된 얼굴 영역의 중심 사이의 차이가 임계치를 초과하는 경우 제2 이미지 프레임의 얼굴 영역은 제1 이미지 프레임에서 설정된 얼굴 영역과 상이하도록 설정될 수 있으나 이에 한정되지는 않는다.

또한, 일 실시예에 따른 관심 영역은 획득하고자 하는 생체 지수에 따라 신체부위의 일부를 포함하거나, 얼굴의 일부를 포함하도록 설정될 수 있으며, 적어도 하나 이상의 관심 영역이 설정될 수 있다.

예를 들어, 생체 지수 중 심박수를 획득하기 위해 상기 관심 영역은 볼 영역의 적어도 일부를 포함하도록 설정될 수 있다. 보다 구체적으로, 상기 관심 영역은 혈류에 따라 혈관의 확장 정도를 잘 반영할 수 있어 심박수 획득이 용이한 볼 영역을 포함하도록 설정될 수 있으나 이에 한정되지 않는다.

또한, 예를 들어, 생체 지수 중 혈압을 획득하기 위해 상기 관심 영역은 적어도 둘 이상으로 설정될 수 있으며, 보다 구체적으로, 상기 관심 영역은 혈류의 흐름을 반영하기 위해 얼굴의 상부영역을 포함하는 관심 영역과 얼굴의 하부 영역을 포함하는 관심 영역으로 설정될 수 있으나, 이에 한정되지 않는다.

또한, 예를 들어, 생체 지수 중 혈압을 획득하기 위해 상기 관심 영역은 적어도 둘 이상으로 설정될 수 있으며, 보다 구체적으로, 상기 관심 영역은 심장으로부터 서로 거리가 다른 둘 이상의 관심 영역으로 설정될 수 있다. 예를 들어, 상기 관심 영역은 손 영역을 포함하는 관심 영역과 얼굴 영역을 포함하는 관심영역으로 설정될 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따른 생체 지수 획득 방법(1110)은 관심 영역에 대한 데이터를 처리하는 단계(S1140)를 포함할 수 있다.

또한, 상기 관심 영역에 대한 데이터를 처리하기 위해 상기 관심 영역에 대한 색 채널 값이 추출될 수 있다. 이 때, 색 채널 값은 상기 관심 영역에 포함되는 픽셀들의 색 채널 픽셀 값의 평균 값일 수 있으며, 평균 픽셀 값으로 지칭될 수도 있다.

예를 들어, RGB 색공간에 따른 색 채널 값이 추출되는 경우, 상기 관심 영역에 포함되는 각 픽셀들의 Red 채널 픽셀 값, Green 채널 픽셀 값, Blue 채널 픽셀 값이 추출될 수 있으며, 상기 관심 영역에 포함되는 Red 채널 픽셀 값들의 평균 값인 Red 채널 값, Blue 채널 픽셀 값들의 평균값인 Blue 채널 값 및 Green 채널 픽셀 값들의 평균값인 Green 채널 값이 추출될 수 있으나, 이에 한정되지 않으며, HSV, YCrCb 색공간 등 다양한 색공간에 따른 색 채널 값이 추출 될 수 있다.

또한, 특정 색공간에 따라 추출된 색 채널 값은 다른 색공간으로 변환될 수 있다. 예를 들어, RGB 색공간에 따라 추출된 색 채널 값은 HSV, YCrCb 색공간 등 다양한 색공간에 따른 색 채널 값으로 변환될 수 있다.

또한, 상기 관심 영역에 대한 데이터를 처리하기 위해 추출된 색 채널 값은 다양한 색 공간에 따라 추출된 색 채널 값의 적어도 일부에 가중치를 적용하여 조합된 색 채널 값 일 수 있다.

또한, 상기 색 채널 값은 연속적으로 획득되는 복수개의 이미지 프레임 각각에 대하여 추출될 수 있으며, 적어도 일부의 이미지 프레임에 대하여 추출될 수도 있다.

또한, 하나의 이미지 프레임에서 추출된 색 채널 값들은 연산 등을 통해 가공될 수 있다. 보다 구체적으로 하나의 이미지 프레임에서 획득된 복수개의 채널 값들은 서로 더하거나 빼는 등의 연산을 통해 가공될 수 있으며, 예를 들어, 하나의 이미지 프레임에서 획득된 Green 채널 값과 Red 채널 값은 차분연산을 통해 가공될 수 있으나, 이에 한정되지 않고 다양한 채널 값들이 다양한 연산을 통해 가공될 수 있다.

또한, 복수개의 이미지 프레임 각각에서 추출된 색 채널 값들 또는 가공 값들은 연산 등을 통해 가공될 수 있다. 보다 구체적으로, 복수개의 이미지 프레임 각각에서 추출된 색 채널 값들 또는 색 채널 값의 가공 값들은 일정 구간 평균을 구하거나, 편차를 구하는 등의 연산을 통해 가공될 수 있으나, 이에 한정되지 않으며, 일정 구간 동안의 최대값 최소값들의 차이를 구할 수도 있으며, 다양한 연산을 통해 가공될 수 있다.

또한, 복수개의 이미지 프레임 각각에서 추출된 색 채널 값들 및 색 채널 값의 가공 값들이 처리되어 적어도 하나의 시계열 데이터가 획득될 수 있다.

또한, 색 채널 값들, 가공 값들 및 시계열 데이터들 중 적어도 일부를 기초로 생체 지수를 획득하기 위한 특징 값이 추출될 수 있다. 예를 들어, 시계열 데이터의 주파수 성분에 기초하여 심박수를 획득하기 위한 주파수 성분이 추출될 수 있으나, 이에 한정되지는 않는다.

또한, 일 실시예에 따른 생체 지수 획득 방법(1110)은 생체 지수를 획득하는 단계(S1150)를 포함할 수 있다.

또한, 상기 생체 지수를 획득하기 위해 상기 관심 영역으로부터 추출된 특징 값을 이용할 수 있다. 예를 들어, 상기 관심 영역으로부터 추출된 시계열 데이터의 주파수 성분을 기초로 심박수를 획득할 수 있으나, 이에 한정되지 않는다.

또한, 관심 영역에 대한 데이터를 처리하는 단계(S1140) 및 생체 지수를 획득하는 단계(S1150)는 각 생체 지수에 따라 상이할 수 있으므로, 보다 상세한 내용은 해당되는 부분에서 상세히 기술하기로 한다.

도 5는 일 실시예에 따른 생체 지수 획득 방법을 나타내는 도면이다.

도 5를 참조하면, 피측정자에 대한 이미지(1161)는 얼굴 영역을 포함할 수 있으며, 피부 영역을 검출할 수 있고(1162), 관심 영역을 검출할 수 있다(1163). 이에 대한 상세한 설명은 상술한 바 중복되는 서술은 생략하기로 한다.

또한, 도 5를 참조하면 관심 영역에 대한 색 채널 값이 추출될 수 있으며(1164), 추출된 색 채널 값이 처리될 수 있고(1165) 이를 기초로 생체 지수가 획득될 수 있다(1166).

다만, 이에 대해서는 아래에서 해당되는 부분에서 상세히 기술하기로 한다.

3.2 생체 정보 획득 방법

도 6은 일 실시예에 따른 생체 정보 획득 방법을 나타내는 흐름도이다.

도 6을 참조하면, 일 실시예에 따른 생체 정보 획득 방법은 생체 지수를 획득하는 단계(S1210)를 포함할 수 있다.

이때, 상기 생체 지수는 상술한 생체 지수 획득 방법에 의해서 획득될 수 있으나, 이에 한정되지 않고 ECG 센서 등 외부 센서에 의해 획득될 수 있다.

또한, 상기 생체 지수에 대한 중복된 서술은 생략하기로 한다.

또한, 일 실시예에 따른 생체 정보 획득 방법은 개인적, 통계적 데이터를 획득하는 단계(S1220)를 포함할 수 있다.

이 때, 상기 개인적, 통계적 데이터는 나이, 성별 등 피측정자의 수집 가능한 개인적, 통계적 데이터를 의미할 수 있으며, 피측정자의 표정, 주름 등 관측 가능한 개인적, 통계적 데이터를 의미할 수도 있으나, 이에 한정되지 않고 생체 정보를 획득하기 위한 생체 지수를 제외한 다양한 개인적, 통계적 데이터가 될 수 있다.

또한, 일 실시예에 따른 생체 정보 획득 방법은 생체 정보를 획득하는 단계(S1230)를 포함할 수 있다.

이 때, 상기 생체 정보는 피측정자의 졸음 정보, 감정 정보 등이 될 수 있으나, 이에 한정되지 않는다.

또한, 상기 생체 정보를 획득하기 위해 상기 생체 지수가 이용될 수 있다. 예를 들어, 상기 졸음 정보를 획득하기 위해 상기 생체 지수 중 심박수가 이용될 수 있다. 보다 구체적으로, 피측정자의 심박수가 기준 심박수 이하가 되는 경우 상기 피측정자가 졸음 상태인 것으로 볼 수 있으며, 기준 심박수 이하가 되는 시간에 따라서 상기 피측정자의 졸음 정도를 획득할 수 있다.

또한, 예를 들어, 상기 감정 정보를 획득하기 위해, 상기 생체 지수 중 심박수 및 혈압이 이용될 수 있다. 보다 구체적으로, 피측정자의 심박수 및 혈압이 기준 심박수 및 혈압 이상이 되는 경우 상기 피측정자가 흥분 상태에 있는 것으로 볼 수 있다.

또한, 상기 생체 정보를 획득하기 위해 상기 생체 지수 및 상기 개인적, 통계적 데이터가 이용될 수 있다. 예를 들어, 상기 졸음 정보를 획득하기 위해 심박수 및 피측정자의 나이, 성별 등의 개인적, 통계적 데이터가 이용될 수 있다.

또한, 예를 들어, 상기 감정 정보를 획득하기 위해 심박수, 혈압 및 피측정자의 표정, 나이, 성별 등 개인적, 통계적 데이터가 이용될 수 있다.

또한, 상기 생체 정보를 획득하기 위해 상기 생체 지수 및 상기 개인적, 통계적 데이터에 가중치를 부여할 수 있다. 예를 들어, 상기 생체 정보를 획득하기 위해 상기 생체 지수 및 상기 개인적, 통계적 데이터에 서로 다른 가중치를 부여할 수 있으며, 피측정자에 따라 서로 다른 가중치를 부여할 수도 있다.

3.3 생체 지수 획득 모델을 이용한 생체 지수 획득 방법

도 7 및 도 8은 생체 지수 획득 모델을 이용한 생체 지수 획득 방법을 설명하기 위한 도면이다.

도 7의 (a)는 일 실시예에 따른 생체 지수 획득 모델(1302)를 이용한 생체 지수 획득 방법(1300)에 대하여 도시한다.

이 때, 일 실시예에 따른 생체 지수 획득 모델(1302)은 머신 러닝(Machine learning) 방법으로 구현될 수 있다. 예를 들어, 상기 생체 지수 획득 모델(1302)는 지도 학습을 통해 구현된 모델일 수 있으나, 이에 한정되지 않으며, 비지도 학습, 준지도 학습, 강화 학습 등을 통해 구현된 모델일 수 있다.

또한, 일 실시예에 따른 생체 지수 획득 모델(1302)은 인공 신경망(artificial neural network, ANN)으로 구현될 수 있다. 예를 들어, 상기 생체 지수 획득 모델(1302)은 전방 전달 신경망(Feedforward neural network), 방사 신경망(radial basis function network) 또는 코헨 자기조직 신경망(kohonen self-organizing network) 등으로 구현될 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따른 생체 지수 획득 모델(1302)은 심층 신경망(Deep neural network, DNN)으로 구현될 수 있다. 예를 들어, 상기 생체 지수 획득 모델(1302)은 합성곱신경망(Convolutional neural network, CNN), 순환 인공 신경망(Recurrent neural network, RNN), LSTM(Long Short Term Memory Network) 또는 GRUs(Gated Recurrent Units) 등으로 구현될 수 있으나, 이에 한정되지 않는다.

또한, 상기 생체 지수 획득 모델(1302)에 입력되는 이미지(1301)는 획득된 이미지 데이터 자체일 수 있다.

또한, 상기 생체 지수 획득 모델(1302)에 입력되는 이미지(1302)는 전처리된 이미지 데이터 일 수 있다. 예를 들어, 상기 이미지(1302)는 율러리안 비디오 확대(eulerian video Magnification)될 수 있으나, 이에 한정되지 않고 획득된 RGB 값의 평균 값을 구하는 등의 다양한 전처리가 될 수 있다. 다른 예로서, 상기 이미지(1302)는 후술할 시계열적 데이터 또는 타겟 시계열적 데이터를 포함할 수 있다.

또한, 획득된 생체 지수(1303)는 심박수, 산소포화도, 혈압, 체온 등이 될 수 있다.

또한, 획득된 생체 지수(1303)는 하나일 수 있으며 복수개의 생체 지수가 동시에 획득될 수 있다. 예를 들어, 상기 생체 지수 획득 모델(1302)의 결과물로 심박수가 획득될 수 있으나, 이에 한정되지 않고, 상기 생체 지수 획득 모델(1302)의 결과물로 심박수 및 혈압이 동시에 획득될 수도 있다.

또한, 도 7의 (b)는 다른 일 실시예에 따른 생체 지수 획득 모델(1354)를 이용한 생체 지수 획득 방법(1350)에 대하여 도시한다.

이 때, 상기 생체 지수 획득 모델(1354)은 이미지(1351)로부터 추출된 특징(1352) 및 개인적, 통계적 데이터(1353)을 입력 값으로 획득할 수 있다. 예를 들어, 상기 이미지(1351)로부터 색 채널 값에 대한 시계열 데이터라는 특징이 추출될 수 있으며, 상기 생체 지수 획득 모델(1354)은 상기 색 채널 값에 대한 시계열 데이터 및 개인적, 통계적 데이터를 입력 값으로 획득하여 생체 지수(1355) 결과물로 산출할 수 있다.

또한, 본 명세서에서, 상기 특징은 생체신호 특징 데이터로 표현될 수 있다.

또한, 상기 개인적, 통계적 데이터는 나이, 성별, 키, 체중 등 피측정자의 수집 가능한 개인적, 통계적 데이터를 의미할 수 있으며, 피측정자의 표정, 주름, 얼굴 색 등 관측 가능한 개인적, 통계적 데이터를 의미할 수도 있고, 평균 혈압, 평균 색상, 평균 키, 평균 체중 등 수치화될 수 있는 개인적, 통계적 데이터를 의미할 수도 있다.

또한, 상기 생체 지수 획득 모델(1354)은 상술한 생체 지수 획득 모델(1302)의 내용이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.

또한, 도 8은 또 다른 일 실시예에 따른 생체 지수 획득 모델(1405)를 이용한 생체 지수 획득 방법(1400)에 대하여 도시한다.

이 때, 상기 생체 지수 획득 방법(1400)은 특징 추출 모델(1402)을 포함할 수 있으며, 일 실시예에 따른 특징 추출 모델(1402)은 머신 러닝(Machine learning) 방법으로 구현될 수 있다. 예를 들어, 특징 추출 모델(1402)은 지도 학습을 통해 구현된 모델일 수 있으나, 이에 한정되지 않으며, 비지도 학습, 준지도 학습, 강화 학습 등을 통해 구현된 모델일 수 있다.

또한, 일 실시예에 따른 특징 추출 모델(1402)은 인공 신경망(artificial neural network, ANN) 으로 구현될 수 있다. 예를 들어, 상기 생체 지수 획득 모델(1302)은 전방 전달 신경망(Feedforward neural network), 방사 신경망(radial basis function network) 또는 코헨 자기조직 신경망(kohonen self-organizing network) 등으로 구현될 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따른 특징 추출 모델(1402)은 심층 신경망(Deep neural network, DNN)으로 구현될 수 있다. 예를 들어, 상기 생체 지수 획득 모델(1302)은 합성곱신경망(Convolutional neural network, CNN), 순환 인공 신경망(Recurrent neural network, RNN), LSTM(Long Short Term Memory Network) 또는 GRUs(Gated Recurrent Units) 등으로 구현될 수 있으나, 이에 한정되지 않는다.

또한, 상기 생체 지수 획득 모델(1405)은 상기 특징 추출 모델(1402)로부터 추출된 특징(1403) 및 개인적, 통계적 데이터(1404)를 입력 값으로 획득할 수 있으며, 이를 기초로 생체 지수를(1406)를 결과물로 산출할 수 있다.

또한, 상기 생체 지수 획득 모델(1405)은 상술한 생체 지수 획득 모델(1302)의 내용이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.

도 7 및 도 8을 이용하여 서술한 예시와 같이 생체 지수를 획득하기 위해 머신러닝, 인공 신경망 또는 심층 신경망 모델이 이용될 수 있다.

4. 생체 지수 획득의 다양한 실시예들

4.1 심박수 측정 방법의 다양한 실시예들

살아있는 생물의 신체에서 심장이 박동하는 경우, 심장의 박동에 의해 혈액이 전신으로 운반될 수 있다. 이 때, 혈액은 혈관을 타고 흐르게 되고, 시간에 따라 혈관의 부피가 변할 수 있으며, 혈관에 포함되는 혈액의 양이 변할 수 있다.

따라서, 혈관의 부피의 변화 또는 혈액의 양의 변화를 측정하는 경우 심박수를 획득할 수 있다. 예를 들어, 혈관에 포함되는 혈액의 양이 변하는 경우 혈액에 포함되는 헤모글로빈(hemoglobin) 및 산소 헤모글로빈(oxyhemoglobin)의 양이 변할 수 있으며, 이에 따라 혈액에 의해 반사되는 빛의 양이 변할 수 있다. 따라서, 이와 같이 혈액에 의해 반사되는 빛의 양의 변화를 측정하는 경우 심박수를 획득할 수 있다.

또한, 상술한 예시적 원리 외에도 광으로 심박수를 측정하기 위한 다양한 원리가 적용될 수 있음은 자명하다.

도 9는 일 실시예에 따른 심박수 측정 방법을 설명하기 위한 흐름도이다.

도 9를 참조하면, 일 실시예에 따른 심박수 측정 방법(1500)은 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여, 이미지를 획득하는 단계(S1510), 피부 영역을 검출하는 단계(S1520), 관심 영역을 검출하는 단계(S1530) 및 관심 영역에 대한 데이터를 처리하는 단계(S1540) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지는 않는다.

또한, 상기 이미지를 획득하는 단계(S1510), 상기 피부 영역을 검출하는 단계(S1520) 및 상기 관심 영역을 검출하는 단계(S1530)는 상술한 바 중복되는 서술은 생략하기로 한다.

또한, 상기 관심 영역에 대한 데이터를 처리하는 단계(S1540)는 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여 수행될 수 있다.

또한, 상기 관심 영역에 대한 데이터를 처리하기 위해 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여 상기 관심 영역에 대한 색 채널 값이 추출될 수 있다. 이 때, 상기 색 채널 값은 상기 관심 영역에 포함되는 픽셀들의 색 채널 값의 평균 값일 수 있으며, 평균 픽셀 값으로 지칭될 수 있다.

또한, 상기 관심 영역에 대한 데이터를 처리하는 단계(S1540)의 상세한 내용은 상술한 바 중복되는 서술은 생략하기로 한다.

또한, 일 실시예에 따른 심박수 측정 방법(1500)은 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 시계열 데이터를 추출하는 단계(S1550) 및 심박수를 획득하는 단계(S1560) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 시계열 데이터를 추출하는 단계(S1550)는 상기 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 수행될 수 있다.

이 때, 상기 이미지 프레임 그룹은 연속적이거나 불연속적인 복수개의 이미지 프레임 그룹을 의미할 수 있다. 예를 들어, 상기 이미지 프레임 그룹은 제1 이미지 프레임부터 제180 이미지 프레임까지 연속적인 이미지 프레임들의 그룹을 의미할 수 있으나, 이에 한정되지 않고, 제1 이미지 프레임부터 제180 이미지 프레임 중 적어도 일부의 이미지 프레임들의 그룹을 의미할 수도 있다.

또한, 상기 심박수를 획득하는 단계(S1560)는 상기 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 수행될 수 있다.

이 때, 상기 심박수를 획득하기 위해 상기 획득된 시계열 데이터의 주파수 성분이 추출될 수 있다. 예를 들어, 상기 심박수를 획득하기 위해 상기 시계열 데이터는 푸리에 변환(fourier transform, FT)에 따라 변환되어 주파수 성분이 추출될 수 있으나, 이에 한정되지 않으며, 상기 시계열 데이터는 고속 푸리에 변환(Fast fourier transform, FFT), 이산 푸리에 변화(discrete fourier transform, DFT), STFT(short time fourier transfom) 등에 따라 변환될 수 있으나, 이에 한정되지 않고 주파수 성분을 추출하기 위한 다양한 처리가 될 수 있다.

또한, 상기 심박수는 하나의 심박수를 기초로 획득될 수 있으며, 적어도 둘 이상의 심박수를 기초로 획득될 수 있다. 예를 들어, 하나의 시계열 데이터를 기초로 하나의 심박수가 획득될 수 있으며, 또 다른 하나의 시계열 데이터를 기초로 또 다른 하나의 심박수가 획득될 수 있고, 획득된 적어도 둘 이상의 심박수를 기초로 최종 심박수가 획득될 수도 있으나, 이에 한정되지는 않는다.

4.2 혈압 측정 방법의 다양한 실시예들

혈압은 혈관을 따라 흐르는 혈액이 혈관의 벽에 주는 압력을 의미할 수 있다.

따라서, 혈압은 혈류의 속도, 혈관 벽의 두께, 혈관에 쌓인 노폐물 등에 영향을 받을 수 있다.

또한, 혈액이 혈관을 따라 흐르는 경우 시간에 따라 혈관의 부피가 변할 수 있으며, 혈관에 포함되는 혈액의 양이 변할 수 있다.

따라서, 혈관의 부피의 변화 속도, 혈액의 양의 변화 속도를 측정하는 경우 혈압을 획득할 수 있다.

예를 들어, 심장으로부터 거리가 다른 두 지점에서 혈관의 변화를 측정하는 경우 두 지점에서 혈관의 변화의 차이를 기초로 혈압을 구할 수 있으며, 시간에 따라 변화하는 혈관의 변화를 나타낼 수 있는 특징을 추출하여 혈압을 구할 수 있으나, 이에 한정되지 않는다.

또한, 상술한 예시적 원리 외에도 광으로 혈압을 측정하기 위한 다양한 원리가 적용될 수 있음은 자명하다.

도 10은 일 실시예에 따른 혈압 측정 방법을 설명하기 위한 흐름도이다.

도 10을 참조하면, 일 실시예에 따른 혈압 측정 방법(1800)은 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여, 이미지를 획득하는 단계(S1810), 피부 영역을 검출하는 단계(S1820), 제1 관심 영역을 검출하는 단계(S1830), 제2 관심영역을 검출하는 단계(S1831), 제1 관심 영역에 대한 데이터를 처리하는 단계(S1840) 및 제2 관심 영역에 대한 데이터를 처리하는 단계(S1841) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지는 않는다.

또한, 상기 이미지를 획득하는 단계(S1810), 상기 피부 영역을 검출하는 단계(S1820)는 상술한 바 중복되는 서술은 생략하기로 한다.

또한, 상기 제1 관심영역 및 제2 관심영역을 검출하는 단계 (S1830,S1831)의 상세한 내용은 상술한 바 중복되는 서술은 생략하기로 한다.

이 때, 상기 제1 관심 영역 및 제2 관심 영역은 피측정자의 심장으로부터 거리가 상이한 두 영역으로 설정될 수 있다. 예를 들어, 제1 관심 영역은 피측정자의 얼굴의 상부영역으로 설정되고, 제2 관심 영역은 피측정자의 얼굴의 하부 영역으로 설정될 수 있으나, 이에 한정되지 않고, 제1 관심 영역은 피측정자의 얼굴 영역으로 설정되고, 제2 관심 영역은 피측정자의 손등 영역으로 설정될 수도 있다.

또한, 상기 제1 관심 영역에 대한 데이터를 처리하는 단계(S1840) 및 상기 제2 관심 영역에 대한 데이터를 처리하는 단계(S1841)는 상술한 관심 영역에 대한 데이터를 처리하는 단계의 동작들을 수행할 수 있으므로 중복되는 서술은 생략하기로 한다.

또한, 일 실시예에 따른 혈압 측정 방법(1800)은 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 제1 및 제2 관심 영역에 대한 시계열 데이터를 추출하는 단계(S1850), 획득된 시계열 데이터를 기초로 PTT(Pulse transit Time)를 계산하는 단계(S1860) 및 혈압을 획득하는 단계(S1870) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 및 제2 관심 영역에 대한 시계열 데이터를 추출하는 단계(S1850)는 상술한 시계열 데이터를 추출하는 단계의 동작들이 수행될 수 있으므로, 중복되는 서술은 생략하기로 한다.

또한, 상기 획득된 시계열 데이터를 기초로 PTT를 계산하는 단계(S1860)는 상기 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 수행될 수 있다.

이 때, 상기 PTT는 상기 제1 관심 영역에 대한 시계열 데이터 및 상기 제2 관심 영역에 대한 시계열 데이터의 극값에 기초하여 계산될 수 있다. 예를 들어, 상기 제1 관심 영역에 대한 시계열 데이터의 극대값과 상기 제2 관심 영역에 대한 시계열 데이터의 극대값의 시간 차이를 기초로 PTT가 계산될 수 있으나, 이에 한정되지 않고, 상기 제1 관심 영역에 대한 시계열 데이터의 극소값과 상기 제2 관심 영역에 대한 시계열 데이터의 극소값의 시간 차이를 기초로 PTT가 계산될 수도 있다.

또한, 상기 PTT는 상기 제1 관심 영역에 대한 시계열 데이터 및 상기 제2 관심 영역에 대한 시계열 데이터의 변곡점에 기초하여 계산될 수 있다. 예를 들어, 상기 제1 관심 영역에 대한 시계열 데이터의 변곡점과 상기 제2 관심 영역에 대한 시계열 데이터의 변곡점의 시간 차이를 기초로 PTT가 계산될 수 있으나, 이에 한정되지 않는다.

또한, 상기 PTT는 상술한 극값, 변곡점 외에도 각 관심 영역에 대한 시계열 데이터의 다양한 지점을 기초로 계산될 수 있다.

또한, 상기 제1 관심 영역에 대한 시계열 데이터 및 상기 제2 관심 영역에 대한 시계열 데이터의 시간 차이는 극값, 변곡점 등 지점에 획득된 프레임에 기초하여 계산될 수 있다. 예를 들어, 제1 관심 영역에 대한 시계열 데이터에서 제10 프레임에 극대값이 획득되고, 제2 관심 영역에 대한 시계열 데이터에서 제12 프레임에 극대값이 획득되는 경우, 상기 제1 관심 영역 및 제2 관심 영역에 대한 시계열 데이터의 시간 차이는 2 개의 프레임이 획득되기 위한 시간일 수 있으며, 이를 기초로 PTT가 계산될 수 있다.

또한, 혈압을 획득하는 단계(S1870)는 상기 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 수행될 수 있다.

또한, 상기 혈압을 획득하기 위해 PTT가 이용될 수 있다. 예를 들어, 상기 혈압을 획득하기 위해 PTT에 대한 함수가 이용될 수 있다. 보다 구체적으로, 수학식 1 와 같은 함수가 이용될 수 있으며, 함수는 PTT를 변수로 하는 1차 함수, 2차 함수, 로그 함수, 지수 함수 등 다양한 함수가 이용될 수 있으나, 이에 한정되지는 않는다.

<수학식 1>

또한, 상기 혈압을 획득하기 위해 PTT 및 개인적, 통계적 데이터가 이용될 수 있다. 예를 들어, 상기 혈압을 획득하기 위해 PTT에 대한 함수 및 나이, 체중, 키 등 개인적, 통계적 데이터의 함수가 이용될 수 있다. 보다 구체적으로, 아래와 같은 수학식 2가 이용될 수 있으며, 함수는 PTT, 체중, 키, 나이를 변수로 하는 1차 함수, 2차 함수, 로그 함수, 지수 함수 등 다양한 함수가 이용될 수 있으나, 이에 한정되지는 않는다.

<수학식 2>

또한, 상기 혈압을 획득하기 위해 상술한 함수를 이용한 회귀분석 방법이 이용될 수 있으나, 이에 한정되지 않는다.

또한, 상기 혈압을 획득하기 위해 상술한 함수를 이용한 머신 러닝(Machine learning) 방법이 이용될 수 있으나, 이에 한정되지 않는다.

또한, 상술한 예시적 수학식 외에도 PTT를 이용하여 혈압을 구하기 위한 다양한 수학식이 이용될 수 있음은 자명하다.

또한, 상기 혈압은 하나의 혈압을 기초로 획득될 수 있으며, 적어도 둘 이상의 혈압을 기초로 획득될 수 있다. 예를 들어, 제1 및 제2 관심 영역에 대한 시계열 데이터를 기초로 계산된 제1 PTT를 기초로 하나의 혈압이 획득될 수 있으며, 제1 및 제2 관심 영역에 대한 다른 시계열 데이터를 기초로 계산된 제2 PTT를 기초로 다른 하나의 혈압이 획득될 수 있고, 획득된 적어도 둘 이상의 혈압을 기초로 최종 혈압이 획득될 수 있으나, 이에 한정되지는 않는다.

도 11은 다른 일 실시예에 따른 혈압 측정 방법을 설명하기 위한 흐름도이다.

도 11을 참조하면, 일 실시예에 따른 혈압 측정 방법(1900)은 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여, 이미지를 획득하는 단계(S1910), 피부 영역을 검출하는 단계(S1920), 관심 영역을 검출하는 단계(S1930) 및 관심 영역에 대한 데이터를 처리하는 단계(S1940) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지는 않는다.

이 때, 상기 이미지를 획득하는 단계(S1910), 상기 피부 영역을 검출하는 단계(S1920), 상기 관심 영역을 검출하는 단계(S1930) 및 상기 관심 영역에 대한 데이터를 처리하는 단계(S1940)에 대한 상세한 내용은 상술한 바 중복되는 서술은 생략하기로 한다.

또한, 일 실시예에 따른 혈압 측정 방법(1900)은 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 시계열 데이터를 추출하는 단계(S1950), 획득된 시계열 데이터를 기초로 특징을 추출하는 단계(S1960) 및 혈압을 획득하는 단계(S1970) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지 않는다.

또한, 시계열 데이터를 추출하는 단계(S1950)는 상술한 시계열 데이터 추출하는 단계의 동작들이 수행될 수 있으므로, 중복되는 서술은 생략하기로 한다.

또한, 상기 획득된 시계열 데이터를 기초로 특징을 추출하는 단계(S1960)는 상기 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 수행될 수 있다. 본 명세서에서, 상기 특징은 생체신호 특징 데이터로 표현될 수 있다.

이 때, 상기 특징은 상기 획득된 시계열 데이터의 수학적, 물리적 특징을 의미할 수 있다. 예를 들어, 상기 특징은 상기 획득된 시계열 데이터의 극대값, 극대값의 평균, 극소값, 극소값의 평균, 극대값과 극소값의 차이, 평균, 변곡점, 1차 미분 데이터, 2차 미분 데이터, 특정 시점에서의 기울기 등 수학적 특징을 의미할 수 있으며, 혈액의 변화량, 혈액의 변화 속도, 혈관의 변화량, 혈관의 변화 속도 등 물리적 특징을 의미할 수도 있으나, 이에 한정되지 않는다.

또한, 상기 특징은 상술한 예시적인 특징 외에도 혈압을 획득하기 위한 다양한 특징이 될 수 있음은 자명하다.

또한, 상기 혈압을 획득하는 단계(S1970)는 상기 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 수행될 수 있다.

또한, 상기 혈압을 획득하기 위해 상기 특징이 이용될 수 있다.

예를 들어, 상기 혈압을 획득하기 위해 상기 특징에 대한 함수가 이용될 수 있다. 보다 구체적으로 수학식 3과 같은 함수가 이용될 수 있으며, 함수는 특징을 변수로 하는 1차 함수, 2차 함수, 로그 함수, 지수 함수 등 다양한 함수가 이용될 수 있으나, 이에 한정되지는 않는다.

<수학식 3>

또한, 상기 혈압을 획득하기 위해 상기 특징 및 개인적, 통계적 데이터가 이용될 수 있다. 예를 들어, 상기 혈압을 획득하기 위해 상기 특징에 대한 함수 및 나이, 체중, 키 등 개인적, 통계적 데이터의 함수가 이용될 수 있다. 보다 구체적으로, 아래와 같은 수학식 4가 이용될 수 있으며, 함수는 특징, 체중, 키, 나이를 변수로 하는 1차 함수, 2차 함수, 로그 함수, 지수 함수 등 다양한 함수가 이용될 수 있으나, 이에 한정되지는 않는다.

<수학식 4>

또한, 상기 혈압을 획득하기 위해 상술한 함수를 이용한 회귀분석 방법이 이용될 수 있으나, 이에 한정되지 않는다.

또한, 상기 혈압을 획득하기 위해 상술한 함수를 이용한 머신 러닝(Machine learning) 방법이 이용될 수 있으나, 이에 한정되지 않는다.

또한, 상술한 예시적 수학식 외에도 특징 이용하여 혈압을 구하기 위한 수학식이 이용될 수 있음은 자명하다.

또한, 상기 혈압은 하나의 혈압을 기초로 획득될 수 있으며, 적어도 둘 이상의 혈압을 기초로 획득될 수 있다. 예를 들어, 시계열 데이터를 기초로 계산된 제1 특징을 기초로 하나의 혈압이 획득될 수 있으며, 다른 시계열 데이터를 기초로 계산된 제2 특징을 기초로 다른 하나의 혈압이 획득될 수 있고, 획득된 적어도 둘 이상의 혈압을 기초로 최종 혈압이 획득될 수 있으나, 이에 한정되지는 않는다.

5. 심박수 측정 방법의 다양한 실시예들

도 12는 일 실시예에 따른 심박수 획득 방법을 설명하기 위한 흐름도이다.

도 12를 참조하면, 일 실시예에 따른 심박수 획득 방법(2100)은 이미지를 획득하는 단계(S2110), 피부 영역을 검출하는 단계(S2120), 관심 영역을 검출하는 단계(S2130), 관심 영역에 대한 데이터를 처리하는 단계(S2140), 특성 값을 획득하는 단계(S2150) 및 심박수를 획득하는 단계(S2160) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지 않는다.

이 때, 상기 이미지를 획득하는 단계(S2110), 피부 영역을 검출하는 단계(S2120) 및 관심 영역을 검출하는 단계(S2130)는 상술한 바 중복되는 서술은 생략하기로 한다.

또한, 상기 관심 영역에 대한 데이터를 처리하는 단계(S2140)는 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대해 수행될 수 있다.

또한, 상기 관심 영역에 대한 데이터를 처리하는 단계(S2140)는 움직임에 의한 노이즈(Motion artifact), 외부 광에 의한 노이즈 등을 저감시키기 위해 수행될 수 있다.

또한, 상기 특성 값을 획득하는 단계(S2150)는 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대해 수행될 수 있다.

또한, 상기 특성 값을 획득하는 단계(S2150)는 움직임에 의한 노이즈, 외부 광에 의한 노이즈 등을 저감시키기 위해 수행될 수 있다.

또한, 상기 심박수를 획득하는 단계(S2160)는 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대해 수행될 수 있다.

이 때, 상기 심박수를 획득하기 위한 이미지 프레임 그룹과 상기 특성 값을 획득하기 위한 이미지 프레임 그룹은 서로 동일할 수 있으며, 상이할 수 있다. 예를 들어, 상기 특성 값을 획득하기 위한 이미지 프레임 그룹은 18개의 이미지 프레임을 포함할 수 있으며, 상기 심박수를 획득하기 위한 이미지 프레임 그룹은 180개의 이미지 프레임을 포함할 수 있으나, 이에 한정되지 않는다.

이하에서는, 관심 영역에 대한 데이터를 처리하는 단계(S2140), 특성 값을 획득하는 단계(S2150) 및 심박수를 획득하는 단계(S2160)에 대하여 더욱 상세히 서술하기로 한다.

도 13은 일 실시예에 따른 색 채널 값들에 대한 그래프이다.

일 실시예에 따르면, 관심 영역에 대한 데이터를 처리하기 위해 상기 관심 영역에 대한 색 채널 값이 추출될 수 있다. 이 때, 색 채널 값은 상기 관심 영역에 포함되는 픽셀들의 색 채널 값의 평균 값일 수 있으며, 평균 픽셀 값으로 지칭될 수도 있다.

도 13을 참조하면, 관심 영역에 대한 데이터를 처리하기 위해 상기 관심 영역에 대한 RGB 색공간에 따른 색 채널 값이 추출될 수 있다. 보다 구체적으로, Red 채널 픽셀 값들의 평균 값인 Red 채널 값, Blue 채널 픽셀 값들의 평균값인 Blue 채널 값 및 Green 채널 픽셀 값들의 평균값인 Green 채널 값이 추출될 수 있다.

예를 들어, RGB 색공간에 따른 색 채널 값이 추출되는 경우, 상기 관심 영역에 포함되는 각 픽셀들의 Red 채널 픽셀 값, Green 채널 픽셀 값, Blue 채널 픽셀 값이 추출될 수 있으며, 상기 관심 영역에 포함되는 Red 채널 픽셀 값들의 평균 값인 Red 채널 값, Blue 채널 픽셀 값들의 평균값인 Blue 채널 값 및 Green 채널 픽셀 값들의 평균값인 Green 채널 값이 추출될 수 있으나, 이에 한정되지 않으며, HSV, YCrCb 색공간 등 다양한 색공간에 따른 색 채널 값이 추출 될 수 있다.

또한, 특정 색공간에 따라 추출된 색 채널 값은 다른 색공간으로 변환될 수 있다. 예를 들어, RGB 색공간에 따라 추출된 색 채널 값은 HSV, YCrCb 색공간 등 다양한 색공간에 따른 색 채널 값으로 변환될 수 있다.

또한, 상기 관심 영역에 대한 데이터를 처리하기 위해 추출된 색 채널 값은 다양한 색 공간에 따라 추출된 색 채널 값의 적어도 일부에 가중치를 적용하여 조합된 색 채널 값 일 수 있다.

또한, 상기 색 채널 값은 연속적으로 획득되는 복수개의 이미지 프레임 각각에 대하여 추출될 수 있으며, 적어도 일부의 이미지 프레임에 대하여 추출될 수도 있다.

이하에서는, RGB 색 공간에 따라 추출된 색 채널 값을 기준으로 설명하지만, 이에 한정되지 않고 다양한 색 채널 값이 적용될 수 있음은 자명하다.

도 13의 (a)는 RGB 색공간에 따라 추출된 Red 채널 값을 나타내는 그래프이며, (b)는 RGB 색공간에 따라 추출된 Green 채널 값을 나타내는 그래프이고, (c)는 RGB 색공간에 따라 추출된 Blue 채널 값을 나타내는 그래프이다.

도 13에 도시된 바와 같이, 각각의 색 채널 값은 심장의 박동에 따라 값의 변동이 발생할 수 있다.

다만, 각각의 색 채널 값은 심장의 박동에 따라 값의 변동이 발생함과 동시에 피측정자의 움직임이나, 외부광의 세기의 변화에 따라서도 값의 변동이 발생할 수 있다.

따라서, 이와 같이 추출된 색 채널 값을 이용하여 심박수를 획득하기 위해서 피측정자의 움직임이나, 외부광의 세기의 변화에 따른 값의 변동을 저감시키고, 심장 박동에 따른 값의 변동을 극대화 시키는 동작이 필요할 수 있다.

5.1 관심 영역에 대한 데이터를 처리하는 방법의 다양한 실시예들

관심 영역에 대한 데이터를 처리하는 방법에 대해 상술한 내용들이 적용될 수 있음은 자명하며, 상술한 내용들과 중복되는 서술들은 생략하기로 한다.

도 14는 일 실시예에 따른 노이즈 저감 방법을 설명하기 위한 그래프이다.

도 14의 (a)는 RGB 색공간에 따라 추출된 Red 채널 값을 나타내는 그래프 이며, (b)는 RGB 색공간에 따라 추출된 Green 채널 값을 나타내는 그래프이다.

도 14의 (a) 및 (b)를 참조하면, 추출된 색 채널 값은 시간에 따라 변동이 발생하는 것을 알 수 있다.

이 때, 추출된 색 채널 값은 심장의 박동에 따라 변동이 발생하기도 하지만, 피측정자의 움직임이나, 외부광의 세기의 변화에 따라 변동이 발생하기도 할 수 있다.

보다 구체적으로, 색 채널 값의 변동이 크고 느리게 발생하는 것은 피측정자의 움직임이나, 외부광의 세기의 변화에 더 영향을 많이 받아 변동이 발생하는 것이며, 변동이 작고 빠르게 발생하는 것은 피측정자의 심장의 박동에 더 영향을 많이 받아 변동이 발생하는 것일 수 있다.

따라서, 심장의 박동에 따른 변동보다 피측정자의 움직임이나 외부광의 세기의 변화에 따른 값의 변동이 더 크기 때문에 이를 저감 시키기 위해 적어도 두개의 색 채널 값의 상대적 차이를 이용할 수 있다.

예시적으로, 노이즈를 저감시키기 위해 Green 채널 값과 Red 채널 값의 차이 값을 이용할 수 있다. 보다 구체적으로 동일한 이미지 프레임에서 획득된 Green 채널 값과 Red 채널 값은 동일한 움직임 및 동일한 외부광의 세기를 반영할 수 있으며, 동일한 프레임의 Green 채널 값과 Red 채널 값의 차이 값은 피측정자의 움직임 및 외부광의 세기의 변화 등에 따른 노이즈를 저감시킬 수 있으나, 이에 한정되지 않고, 적어도 두개의 색 채널 값의 상대적 차이를 이용하여 노이즈를 저감시킬 수 있다.

도 14의 (c)는 상기 Green 채널 값과 상기 Red 채널 값의 차이 값을 나타내는 그래프이다.

도 14의 (c)에 도시된 바와 같이, 상기 Green 채널 값과 상기 Red 채널 값의 차이 값은 피측정자의 움직임 및 외부광의 세기의 변화 등에 따른 노이즈를 저감시킬 수 있다.

또한, 상술한 노이즈를 저감시키는 방법은 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여 수행될 수 있으며, 연속된 복수개의 이미지 프레임 각각에 대하여 수행될 수도 있다.

또한, 도 14의 (c)에는 도시되지 않았으나, 상기 Green 채널 값과 상기 Blue 채널 값의 차이 값을 이용하여 노이즈를 저감시킬 수도 있으며, 상기 Red 채널 값과 상기 Blue 채널 값의 차이 값을 이용하여 노이즈를 저감시킬 수도 있다.

또한, 상술한 바와 같이 적어도 두개의 색 채널 값의 상대적 차이를 이용하여 노이즈를 저감시키기 위해 차이 값을 구하기 위해 적어도 두 개의 색 채널 값이 선택될 수 있다.

이 때, 상기 적어도 두 개의 색 채널 값은 혈액의 흡광도를 고려하여 선택될 수 있다.

도 15는 가시광 대역에서 헤모글로빈과 산소헤모글로빈의 흡광도를 나타낸 도면이다.

일 실시예에 따르면, Red 채널은 620nm 내지 750nm 파장 대역 중 적어도 일부를 포함하는 채널일 수 있으며, Green 채널은 495nm 내지 570nm 파장 대역 중 적어도 일부를 포함하는 채널일 수 있으며, Blue 채널은 450nm 내지 495nm 파장 대역 중 적어도 일부를 포함하는 채널일 수 있으나, 이에 한정되지 않으며, Red 채널, Green 채널, Blue 채널 각각 통상 이해될 수 있는 색 채널일 수 있다.

도 15를 참조하면, 빛의 파장 대역에 따른 헤모글로빈과 산소헤모글로빈의 흡광도를 알 수 있다. 예를 들어, 도 18에 도시된 바와 같이 Green 채널에 포함되는 550nm 파장 대역의 빛에 대한 헤모글로빈과 산소 헤모글로빈의 흡광도는 Red 채널에 포함되는 650nm 파장 대역의 빛에 대한 헤모글로빈과 산소 헤모글로빈의 흡광도 보다 높을 수 있다.

또한, 예를 들어, 도 18에 도시된 바와 같이 Green 채널에 포함되는 550nm 파장 대역의 빛에 대한 헤모글로빈과 산소 헤모글로빈의 흡광도는 Blue 채널에 포함되는 470nm 파장 대역의 빛에 대한 헤모글로빈과 산소 헤모글로빈의 흡광도 보다 높을 수 있다.

또한, 심장 박동에 의해 혈액이 전신으로 운반되는 경우, 혈액의 흐름에 의해 혈관의 부피가 변하거나 혈관에 포함되는 혈액의 양이 변할 수 있다.

따라서, 상대적으로 혈액에 포함되는 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 많이 되는 빛의 파장 대역을 포함하는 색 채널 값은 심장 박동에 의한 혈액 양의 변화에 의해 상대적으로 많이 변동될 수 있다.

이에 반해, 상대적으로 혈액에 포함되는 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 적게 되는 빛의 파장 대역을 포함하는 색 채널 값은 심장 박동에 의한 혈액 양의 변화에 의해 상대적으로 적게 변동될 수 있다.

따라서, 일 실시예에 따르면, 헤모글로빈과 산소 헤모글로빈의 흡광도를 고려하여 노이즈를 저감시키기 위한 적어도 두 개의 색 채널이 선택될 수 있다.

예를 들어, 일 실시예에 따르면, 노이즈를 저감시키기 위하여 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 많이 되는 Green 채널 값과 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 적게되는 Red 채널 값의 차이 값이 이용될 수 있다.

또한, 예를 들어, 일 실시예에 따르면, 노이즈를 저감시키기 위하여 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 많이 되는 Green 채널 값과 상대적으로 헤모글로빈과 산소 헤모 글로빈에 의해 흡수가 적게되는 Blue 채널 값의 차이 값이 이용될 수 있다.

또한, 예를 들어, 일 실시예에 따르면, 노이즈를 저감시키기 위하여 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 많이 되는 Blue 채널 값과 상대적으로 헤모글로빈과 산소 헤모글로빈에 의해 흡수가 적게되는 Red 채널 값의 차이 값이 이용될 수 있다.

또한, 예를 들어, 일 실시예에 따르면, 상기 Green 채널 값과 상기 Red 채널 값의 차이 값 및 상기 Green 채널 값과 상기 Blue 채널 값의 차이 값이 동시에 이용될 수 있다.

또한, 상술한 예시들은 차이 값을 기초로 설명되었으나, 피측정자의 움직임에 의한 노이즈 및 외부 광 등에 의한 노이즈를 저감시키기 위해 차이 값 외에도 각 채널 값에 가중치를 이용하여 가공한 가공 값이 이용될 수 있다.

예를 들어, 아래의 수학식 5와 같이 각 채널 값에 가중치를 이용하여 가공한 가공 값이 이용될 수 있다.

<수학식 5>

또한, 이 때 효율적으로 피측정자의 움직임에 의한 노이즈 및 외부 광에 의한 노이즈를 제거하기 위해 a+b+c=0이 되도록 각 a,b,c 값이 결정될 수 있으며, 이는 각각의 채널 값이 하나의 이미지 프레임에서 유사한 정도의 움직임에 의한 노이즈 및 외부 광에 의한 노이즈를 포함할 수 있어, 노이즈를 효과적으로 저감하는데 유리할 수 있다.

5.2 특성 값 획득의 다양한 실시예들

피측정자의 움직임에 의한 노이즈 및 외부광의 세기 등에 따른 노이즈를 저감시키기 위하여 특성 값(Characteristic Value)이 획득될 수 있다.

이 때, 상기 특성 값은 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 획득될 수 있다.

또한, 상기 특성 값은 획득된 색 채널 값 또는 가공 값의 특성을 의미하는 값 일 수 있다. 예를 들어, 상기 특성 값은 이미지 프레임 그룹에 포함되는 색 채널 값 또는 가공 값의 평균 값, 편차 값, 표준 편차 값 등을 의미할 수 있으나, 이에 한정되지는 않는다.

도 16은 일 실시예에 따른 특성 값 획득 방법을 설명하기 위한 도면이다.

도 16의 (a)는 일 실시예에 따라 획득된 색 채널 값을 나타내는 그래프 이며, 보다 구체적으로 Green 채널 값과 Red 채널 값의 차이 값을 나타내는 그래프이다. 다만, 이는 설명의 편의 상 Green 채널 값과 Red 채널 값의 차이값으로 특정하여 나타낸 것일 뿐, 이에 한정되지 않고 다양한 색 채널 값, 차이 값 및 가공 값 등이 될 수 있다.

도 16의 (a)를 참조하면, Green 채널 값과 Red 채널 값의 차이 값(이하 'G-R 값'으로 서술한다.)은 시간에 따라 값의 변화의 크기가 일정하지 않을 수 있음을 알 수 있다.

이 때, G-R값은 피측정자의 움직임에 의해 값이 일정하지 않을 수 있다. 예를 들어, 피측정자의 움직임이 적은 경우 G-R값의 변화가 작을 수 있으며, 피측정자의 움직임이 많은 경우 G-R값의 변화가 클 수 있으나, 이에 한정되지는 않는다.

또한, G-R값은 외부광의 세기에 따라 값이 일정하지 않을 수 있다. 예를 들어, 외부광의 세기가 약한 경우 G-R값의 변화가 작을 수 있으며, 외부광의 세기가 강한 경우 G-R값의 변화가 클 수 있으나, 이에 한정되지는 않는다.

따라서, 이와 같이 피측정자의 움직임이나 외부광의 세기 등에 의한 노이즈를 저감시키기 위해 특성 값이 추출될 수 있다.

또한, 상기 특성 값을 추출하기 위해 상기 특성 값에 대한 윈도우가 설정될 수 있다.

이 때, 상기 특성 값에 대한 윈도우는 미리 설정된 시간 구간을 의미할 수 있으며, 미리 설정된 프레임 개수를 의미할 수도 있으나, 이에 한정되지 않고 상기 특성 값을 획득하기 위해 복수개의 프레임 중 적어도 일부의 프레임 그룹을 설정하기 위한 윈도우를 의미할 수 있다.

도 16의 (b)는 특성 값에 대한 윈도우를 설명하기 위한 개략도이며, 보다 구체적으로, 180개의 이미지 프레임을 10 등분한 18개의 이미지 프레임으로 설정된 특성 값에 대한 윈도우를 설명하기 위한 개략도이다. 다만, 이는 설명의 편의 상 180개의 이미지 프레임을 10 등분한 18개의 이미지 프레임으로 설정된 특성 값에 대한 윈도우를 나타낸 것일 뿐, 이에 한정되지 않고 다양한 방법과 개수로 특성 값에 대한 윈도우가 설정될 수 있다.

도 16의 (b)를 참조하면, 획득된 복수개의 이미지 프레임은 특성 값에 대한 윈도우에 의해 그룹으로 설정될 수 있다. 예를 들어, 도 19의 (b)에 도시된 바와 같이 180개의 이미지 프레임은 특성 값에 대한 윈도우에 의해 각 18개의 이미지 프레임을 포함하는 그룹으로 설정될 수 있다. 보다 구체적으로, 제1 이미지 프레임부터 제18 이미지 프레임까지 제1 이미지 프레임 그룹(2210)에 포함될 수 있으며, 제19 이미지 프레임부터 제36 이미지 프레임까지 제2 이미지 프레임 그룹(2220)에 포함될 수 있으나 이에 한정되지 않는다.

이 때, 상기 특성 값은 특성 값에 대한 윈도우에 의해 설정된 이미지 프레임 그룹에 대하여 획득될 수 있다. 예를 들어, 상기 특성 값은 제1 이미지 프레임 그룹(2210)에 대한 색 채널 값들에 대하여 획득될 수 있으며, 제2 이미지 프레임 그룹(2220)에 대한 색 채널 값들에 대하여 획득될 수 있다.

또한, 예를 들어, 상기 특성 값이 평균 값인 경우 이미지 프레임 그룹에 대한 색 채널 값의 평균 값이 획득될 수 있다. 보다 구체적으로 제1 이미지 프레임 그룹(2210)에 포함되는 제1 내지 제18 이미지 프레임들에 대한 G-R값들의 평균 값이 획득될 수 있으며, 제2 이미지 프레임 그룹(2220)에 포함되는 제19 내지 제36 이미지 프레임들에 대한 G-R값들의 평균 값이 획득될 수 있으나, 이에 한정되지는 않는다.

또한, 예를 들어, 상기 특성 값이 표준편차 값인 경우 이미지 프레임 그룹에 대한 색 채널 값의 표준편차 값이 획득될 수 있다. 보다 구체적으로 제1 이미지 프레임 그룹(2210)에 포함되는 제1 내지 제18 이미지 프레임들에 대한 G-R값들의 표준 편차 값이 획득될 수 있으며, 제2 이미지 프레임 그룹(2220)에 포함되는 제19 내지 제36 이미지 프레임들에 대한 G-R값들의 표준 편차 값이 획득될 수 있으나, 이에 한정되지는 않는다.

다만, 상술한 예시들에 한정되지 않고, 다양한 특성 값이 이미지 프레임 그룹에 대하여 획득될 수 있다.

또한, 상기 특성 값은 특성 값에 대한 윈도우에 의해 나눠진 이미지 프레임 그룹에 포함되는 적어도 일부의 이미지 프레임에 대하여 획득될 수 있다. 예를 들어, 상기 특성 값은 제1 이미지 프레임 그룹(2210)에 포함되는 18개의 이미지 프레임 중 적어도 일부의 이미지 프레임에 대한 색 채널 값에 대하여 획득될 수 있으며, 제2 이미지 프레임 그룹(2220)에 포함되는 18개의 이미지 프레임 중 적어도 일부의 이미지 프레임에 대한 색 채널 값에 대하여 획득될 수 있다.

또한, 예를 들어, 상기 특성 값이 편차 값인 경우 이미지 프레임 그룹에 포함되는 적어도 일부의 이미지 프레임에 대한 색 채널 값의 편차 값이 획득될 수 있다. 보다 구체적으로, 제1 이미지 프레임 그룹(2210)의 G-R값 평균에 대한 제1 이미지 프레임 그룹에 포함되는 제1 이미지 프레임의 G-R값의 편차 값이 획득될 수 있으며, 제2 이미지 프레임 그룹(2220)의 G-R값 평균에 대한 제2 이미지 프레임 그룹에 포함되는 제19 이미지 프레임의 G-R값의 편차 값이 획득될 수 있으나, 이에 한정되지는 않는다.

또한, 예를 들어, 상기 특성 값이 편차 값인 경우 이미지 프레임 그룹에 포함되는 적어도 일부의 이미지 프레임에 대한 색 채널 값의 편차 값이 획득될 수 있다. 보다 구체적으로, 제1 이미지 프레임 그룹(2210)의 G-R값 평균에 대한 제1 이미지 프레임 그룹에 포함되는 제1 이미지 프레임의 G-R값의 편차 값이 획득될 수 있으며, 제1 이미지 프레임 그룹(2210)에 포함되는 제2 이미지 프레임의 G-R값의 편차 값이 획득될 수 있으나, 이에 한정되지는 않는다.

또한, 획득된 특성 값은 정규화될 수 있다.

예를 들어, 상기 특성 값이 편차 값인 경우 상기 편차 값은 표준편차 값에 의해 정규화 될 수 있다. 보다 구체적으로, 제1 이미지 프레임 그룹(2210)의 G-R값 평균에 대한 제1 이미지 프레임 그룹(2210)에 포함되는 제1 이미지 프레임의 G-R값의 편차 값이 획득된 경우 상기 제1 이미지 프레임의 G-R 값의 편차 값은 상기 제1 이미지 프레임 그룹(2210)의 표준편차 값에 의해 정규화 될 수 있으나, 이에 한정되지 않고 다양한 방법으로 정규화될 수 있다.

또한, 이처럼 정규화 되는 경우 변화량의 크기가 정규화 되어 심장 박동에 의한 값의 변화를 더욱 잘 반영할 수 있으며, 피측정자의 움직임에 의한 노이즈 및 외부광의 세기 변화 등에 따른 노이즈를 효과적으로 저감시킬 수 있다.

도 16의 (c)는 일 실시예에 따라 획득된 특성 값을 나타내는 그래프이며, 보다 구체적으로, G-R값을 기초로 획득된 편차 값을 나타낸 그래프이다. 다만, 이는 설명의 편의상 G-R값을 기초로 획득된 편차 값을 특정하여 나타낸 것일 뿐, 이에 한정되지 않고 댜양한 색 채널 값, 차이 값 및 가공 값에 기초하여 획득된 다양한 특성 값 일 수 있다.

도 16의 (c)를 참조하면, 도 19의 (a)와 비교해서 값의 변화의 크기가 보다 일정한 것을 알 수 있다.

따라서, 상술한 바와 같은 특성 값을 획득하는 것은 피측정자의 움직임에 의한 노이즈 및 외부 광의 세기의 변화 등에 따른 노이즈를 저감시키고 심장 박동에 따른 값의 변화를 더욱 잘 반영할 수 있게 한다.

도 17은 다른 일 실시예에 따른 특성 값 획득 방법을 설명하기 위한 도면이다.

도 17의 (a)는 일 실시예에 따라 획득된 색 채널 값을 나타내는 그래프 이며, 보다 구체적으로 Green 채널 값과 Red 채널 값의 차이 값을 나타내는 그래프이다. 다만, 이는 설명의 편의 상 Green 채널 값과 Red 채널 값의 차이값으로 특정하여 나타낸 것일 뿐, 이에 한정되지 않고 다양한 색 채널 값, 차이 값 및 가공 값 등이 될 수 있다.

도 17의 (a)를 참조하면, Green 채널 값과 Red 채널 값의 차이 값(이하 'G-R 값'으로 서술한다.)은 시간에 따라 값의 변화의 크기가 일정하지 않을 수 있음을 알 수 있다.

이 때, G-R값은 피측정자의 움직임에 의해 값이 일정하지 않을 수 있다. 예를 들어, 피측정자가 제1 상태로 위치하는 시간 구간(2301)에서는 전체적인 G-R 값이 작을 수 있으며, 피측정자가 상기 제1 상태와 상이한 제2 상태로 위치하는 시간 구간(2302)에서는 전체적인 G-R 값이 클 수 있으나, 이에 한정되지 않는다.

또한, G-R값은 외부광의 세기에 따라 값이 일정하지 않을 수 있다. 예를 들어, 상기 피측정자가 제1 상태로 위치하는 시간 구간(2301)에서의 외부광의 세기와 상기 피측정자가 제2 상태로 위치하는 시간 구간(2302)에서의 외부광의 세기가 서로 상이할 수 있으며, 이로 인해 전체적인 G-R 값의 차이가 발생할 수 있으나, 이에 한정되지 않는다.

따라서, 이와 같이 피측정자의 움직임이나 외부광의 세기 등에 의한 노이즈를 저감시키기 위해 특성 값이 추출될 수 있다.

또한, 상기 특성 값을 추출하기 위해 상기 특성 값에 대한 윈도우가 설정될 수 있다.

이 때, 상기 특성 값에 대한 윈도우는 미리 설정된 시간 구간을 의미할 수 있으며, 미리 설정된 프레임 개수를 의미할 수도 있으나, 이에 한정되지 않고 상기 특성 값을 획득하기 위해 복수개의 프레임 중 적어도 일부의 프레임 그룹을 설정하기 위한 윈도우를 의미할 수 있다.

또한, 상기 윈도우에 의해 설정된 적어도 일부의 프레임 그룹은 적어도 일부 오버랩 될 수 있다.

도 17의 (b)는 특성 값에 대한 윈도우를 설명하기 위한 개략도이며, 보다 구체적으로, 180개의 이미지 프레임을 8등분한 크기로 설정된 특성 값에 대한 윈도우를 설명하기 위한 개략도이다. 다만, 이는 설명의 편의상 180개의 이미지 프레임을 8등분한 크기로 설정된 특성값에 대한 윈도우를 나타낸 것일 뿐, 이에 한정되지 않고 다양한 방법과 크기로 특성 값에 대한 윈도우가 설정될 수 있다.

또한, 도 17의 (b)를 참조하면, 획득된 복수개의 이미지 프레임은 특성 값에 대한 윈도우에 의해 그룹으로 설정될 수 있다. 예를 들어, 도 20의 (b)에 도시된 바와 같이 180개의 이미지 프레임은 특성 값에 대한 윈도우에 의해 22개 또는 23개의 이미지 프레임을 포함하는 그룹으로 설정될 수 있다. 보다 구체적으로, 제1 이미지 프레임부터 제22 이미지 프레임까지 제1 이미지 프레임 그룹(2310)에 포함될 수 있다.

또한, 도 17의 (b)를 참조하면, 특성 값에 대한 윈도우에 의해 설정된 이미지 프레임 그룹은 적어도 일부 오버랩 될 수 있다. 예를 들어, 도 20의 (b)에 도시된 바와 같이, 제1 이미지 프레임부터 제22 이미지 프레임까지 제1 이미지 프레임 그룹(2310)에 포함될 수 있으며, 제6 이미지 프레임부터 제28 이미지 프레임까지 제2 이미지 프레임 그룹(2320)에 포함될 수 있고, 제12 이미지 프레임부터 제33 이미지 프레임까지 제3 이미지 프레임 그룹(2330)에 포함될 수 있으며, 제17 이미지 프레임부터 제39 이미지 프레임 그룹(2340)에 포함될 수 있으나, 이에 한정되지는 않는다.

또한, 도 17의 (b)를 참조하면, 특성 값에 대한 윈도우에 의해 설정된 이미지 프레임 그룹은 오버랩되지 않을 수 있다. 예를 들어, 도 20의 (b)에 도시된 바와 같이, 제1 이미지 프레임부터 제22 이미지 프레임까지 제1 이미지 프레임 그룹(2310)에 포함될 수 있으나 제23 이미지 프레임부터 제45 이미지 프레임까지 제5 이미지 프레임 그룹(2350)에 포함될 수 있으나, 이에 한정되지는 않는다.

이 때, 상기 특성 값은 특성 값에 대한 윈도우에 의해 설정된 이미지 프레임 그룹에 대하여 획득될 수 있으며, 상기 이미지 프레임 그룹에 포함되는 적어도 일부의 이미지 프레임에 대하여도 획득될 수 있으나, 이에 대한 상세한 내용은 상술한 내용들이 적용될 수 있으므로 중복된 서술은 생략하기로 한다.

다만, 적어도 일부 오버랩되는 이미지 프레임 그룹들에 포함되는 이미지 프레임에 대하여 획득된 특성 값들의 처리는 이하에서 상세하게 설명하기로 한다.

특성 값을 획득하는 경우 적어도 두 개의 이미지 프레임 그룹이 오버랩 되는 영역에 포함되는 이미지 프레임에 대하여 복수개의 특성값이 획득될 수 있다.

예를 들어, 제1 이미지 프레임 그룹(2310) 및 제2 이미지 프레임 그룹(2320)이 오버랩 되는 제6 내지 제22 이미지 프레임들에 대하여 적어도 두 개의 특성 값이 획득될 수 있다.

보다 구체적으로, 제6이미지 프레임에 대하여, 제1 이미지 프레임 그룹(2310)의 G-R값 평균에 대한 제6 이미지 프레임의 G-R값의 편차 값인 제1 편차 값이 획득될 수 있으며, 제2 이미지 프레임 그룹(2320)의 G-R값 평균에 대한 제6 이미지 프레임의 G-R값의 편차 값인 제2 편차 값이 획득될 수 있으나, 이에 한정되지는 않는다.

또한, 획득된 복수개의 특성 값은 연산을 통해 하나의 특성 값으로 획득될 수 있다. 예를 들어, 상기 제1 편차 값 및 제2 편차 값을 합하여 제6 이미지 프레임의 편차 값을 획득할 수 있으나, 이에 한정되지 않는다.

또한, 상술한 동작들은 세 개, 네 개 등 복수의 이미지 프레임 그룹이 오버랩 되는 영역에 포함되는 이미지 프레임에 대한 특성 값을 획득하기 위해 적용될 수 있다.

또한, 상술한 동작 외에도 통상적으로 이해될 수 있는 슬라이딩 윈도우 방식이 적용될 수도 있다.

도 17의 (c)는 일 실시예에 따라 획득된 특성 값을 나타내는 그래프이며, 보다 구체적으로 G-R값을 기초로 획득된 편차 값을 나타낸 그래프이다. 다만, 이는 설명의 편의상 G-R 값을 기초로 획득된 편차 값을 특정하여 나타낸 것일 뿐, 이에 한정되지 않고 다양한 색 채널 값, 차이 값 및 가공 값에 기초하여 획득된 다양한 특성 값 일 수 있다.

도 17의 (c)를 참조하면, 도 20의 (a)와 비교해서 전체적인 값의 크기가 일정해짐을 알 수 있다.

보다 구체적으로, 피측정자가 제1 상태로 위치하는 시간 구간(2301)에서의 전체적인 특성 값과 피측정자가 제2 상태로 위치하는 시간 구간(2302)에서의 전체적인 특성 값은 서로 유사해질 수 있다.

따라서, 상술한 바와 같이 특성 값을 획득하는 것은 피측정자의 움직임에 의한 노이즈 및 외부 광의 세기 등의 변화에 따른 노이즈를 저감시키고 심장 박동에 따른 값의 변화를 더욱 잘 반영할 수 있게 한다.

5.3 복수개의 특성 값을 이용하는 방법의 다양한 실시예들

상술한 방법들에 따라 획득된 특성 값은 기초가 되는 색 채널 값, 차이 값 및 가공 값에 영향을 받을 수 있다. 따라서, 다양한 색 채널 값, 차이 값 및 가공 값을 기초로 복수개의 특성 값을 획득하여 복수개의 특성 값을 이용하는 것은 보다 정확한 생채 지수의 획득을 가능하게 할 수 있다.

도 18은 복수개의 특성 값을 이용하는 방법에 대해 설명하기 위한 도면이다.

도 18의 (a)는 일 실시예에 따라 획득된 두 개의 특성 값을 나타내는 그래프이며, 보다 구체적으로 G-R값을 기초로 획득된 제1 특성 값과 G-B값을 기초로 획득된 제2 특성 값을 나타내는 그래프이다. 다만, 이는 설명의 편의 상 특정하여 나타낸 것일 뿐, 이에 한정되지 않고 다양한 색 채널 값, 차이 값 및 가공 값에 기초하여 획득된 특성 값이 될 수 있다.

이 때, G-R 값을 기초로 획득된 제1 특성 값은 G-R값에 영향을 받을 수 있다. 예를 들어, 외부 광이 Blue 채널에 가까운 빛인 경우 G-R 값은 심장 박동에 따른 혈액의 변화를 잘 반영하지 못할 수 있다.

또는 예를 들어, Green 채널의 흡광도 및 Red 채널의 흡광도의 차이에 영향을 받아 심장 박동에 따른 혈액의 변화를 반영할 수 있다.

또한, G-B 값을 기초로 획득된 제2 특성 값은 G-B값에 영향을 받을 수 있다. 예를 들어, 외부 광이 Red 채널에 가까운 빛인 경우 G-B 값은 심장 박동에 따른 혈액의 변화를 잘 반영하지 못할 수 있다.

또는 예를 들어, Green 채널의 흡광도 및 Blue 채널의 흡광도의 차이에 영향을 받아 심장 박동에 따른 혈액의 변화를 반영할 수 있다.

또한, 도 18의 (a)를 참조하면, 제1 특성 값과 제2 특성 값은 상호 보완적인 관계를 가질 수 있다. 예를 들어, 제1 특성 값이 심장 박동에 따른 변화를 잘 반영하지 못하는 구간에서 제2 특성 값이 심장 박동에 따른 변화를 잘 반영할 수 있으며, 그 반대의 경우도 포함된다.

따라서, 외부광의 파장의 변화에 따른 노이즈를 저감시키거나, 심장 박동에 따른 혈액의 변화를 더욱 잘 반영할 수 있도록 제1 특성 값 및 제2 특성 값이 이용될 수 있다.

도 18의 (b)는 상기 제1 특성 값 및 상기 제2 특성 값을 이용하여 획득된 제3 특성 값을 나타내는 그래프이며, 보다 구체적으로 상기 제1 특성 값 및 상기 제2 특성 값을 합하여 획득된 제3 특성 값을 나타내는 그래프이다. 다만, 이는 설명의 편의상 특정하여 나타낸 것일 뿐, 이에 한정 되지 않는다.

또한, 상기 제3 특성 값은 상기 제1 특성 값 및 상기 제2 특성 값의 연산에 기초하여 획득될 수 있다 .예를 들어, 상기 제3 특성 값은 상기 제1 특성 값 및 상기 제2 특성 값의 합 연산에 기초하여 획득될 수 있으나, 이에 한정되지 않고, 차이 연산, 곱 연산 등 다양한 연산에 기초하여 획득될 수 있다.

또한, 상기 제3 특성 값은 상기 제1 특성 값 및 상기 제2 특성 값에 다양한 가중치를 부여하여 획득될 수 있다. 예를 들어, 아래의 수학식 6에 기초하여 획득될 수 있으나, 이에 한정되지 않는다.

<수학식 6>

또한, 도 18의 (a) 및 (b)를 참조하면, 상기 제3 특성 값은 상기 제1 특성 값 및 상기 제2 특성 값 보다 심장 박동에 따른 혈액의 변화를 잘 반영할 수 있으며, 외부광의 파장의 변화에 따른 노이즈를 저감시킬 수 있다.

5.4 심박수 획득 방법의 다양한 실시예들

상술한 방법들로부터 획득된 데이터로부터 심박수를 획득하기 위해 심장 박동에 따른 주기적인 변화를 감지할 필요가 있을 수 있다. 예를 들어, 획득된 특성 값으로부터 심박수를 획득하기 위해 특성 값에 가장 많이 포함되는 파장 또는 주파수 성분을 획득할 필요가 있다.

도 19는 도 18의 (b)에 도시된 특성 값에 대한 그래프로부터 주파수 성분을 추출한 그래프이다. 보다 구체적으로 도 19는 특성 값에 대한 그래프를 고속 푸리에 변환하여 주파수 도메인으로 변환한 그래프이다. 다만, 이는 설명의 편의를 위해 고속 푸리에 변환을 특정하여 나타내었으나, 이에 한정되지 않고, 특성 값에 대한 그래프는 고속 푸리에 변환(Fast fourier transform, FFT), 이산 푸리에 변화(discrete fourier transform, DFT), STFT(short time fourier transfom) 등에 따라 변환될 수 있다.

또한, 특성 값에 대한 그래프는 도 19에 도시된 바와 같이, 주파수 도메인으로 변환될 수 있다.

이 때, 세기가 가장 높은 주파수 인덱스(frequency index)가 획득될 수 있으며, 심박수는 아래와 같은 수학식 7에 의해 획득될 수 있다.

<수학식 7>

예를 들어, 도 19에 도시된 바와 같이, 세기가 가장 높은 주파수 인덱스가 1.2Hz인 경우 심박수는 72bpm이 될 수 있다.

또한, 특성 값에 대한 그래프는 도 22에 도시되지는 않았으나, 주파수*측정시간 도메인으로 변환될 수 있다.

이 때, 세기가 가장 높은 인덱스(wavelength index)가 획득 될 수 있으며, 심박수는 아래와 같은 수학식 8에 의해 획득될 수 있다.

<수학식 8>

예를 들어, 도 19에 도시되지는 않았으나, 세기가 가장 높은 인덱스는 8이며, 측정 시간이 6.6초인 경우, 심박수는 8/6.6*60으로 72bpm이 될 수 있다.

또한, 상술한 예시 외에도 심박수를 획득하기 위한 다양한 수학식이 이용될 수 있다.

또한, 심박수를 획득하기 위해 예비 심박수가 획득될 수 있다. 이 때, 예비 심박수는 심박수를 획득하기 위해 기초가 되는 계산된 심박수 일 수 있다.

도 20은 일 실시예에 따른 심박수 획득 방법을 설명하기 위한 도면이다.

설명하기에 앞서, 이하에서 서술하는 '예비 심박수(preliminary heart rate)'는 심박수 획득 방법에 따라 획득된 심박수를 의미할 수 있으며, 하나의 심박수를 획득하기 위해 기초가 되는 심박수를 의미할 수도 있다. 예를 들어, 상술한 심박수 획득 방법에 따라 획득된 적어도 2개의 심박수는 하나의 최종 심박수를 획득하기 위한 기초가 되는 제1 예비 심박수 및 제2 예비 심박수 일 수 있으나, 이에 한정되지는 않는다.

또한, 상기 예비 심박수는 그 자체로 최종 심박수가 될 수 있으며, 복수개의 예비 심박수를 기초로 최종 심박수가 획득될 수도 있다.

도 20의 (a)는 시계열 데이터로 획득된 값을 나타내는 그래프이다. 예를 들어, 도 20의 (a)는 시계열 데이터로 획득된 색 채널 값을 의미할 수 있으나, 이에 한정되지 않고, 시계열 데이터로 획득된 차이 값, 가공 값을 의미할 수도 있고, 시계열 데이터로 획득된 특성 값을 의미할 수 있다.

도 20의 (a)에 도시된 바와 같은 시계열 데이터로 획득된 값을 나타내는 그래프를 파장 도메인이나 주파수 도메인으로 변환하는 방법에 대하여 상술한 내용이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.

도 20의 (b)는 예비 심박수에 대한 윈도우를 설명하기 위한 개략도이며, 보다 구체적으로, 6초의 크기로 설정된 예비 심박수에 대한 윈도우를 설명하기 위한 개략도이다. 다만, 이는 설명의 편의상 특정한 것일 뿐 이에 한정되지 않으며 다양한 크기로 윈도우가 설정될 수 있다.

이 때, 상기 예비 심박수에 대한 윈도우는 미리 설정된 시간 구간을 의미할 수 있으며, 미리 설정된 프레임 개수를 의미할 수도 있으나, 이에 한정되지 않고 예비 심박수를 획득하기 위해 복수개의 프레임 중 적어도 일부의 프레임 그룹을 설정하기 위한 윈도우를 의미할 수 있다.

또한, 도 20의 (b)를 참조하면, 획득된 복수개의 이미지 프레임은 예비 심박수에 대한 윈도우에 의해 그룹으로 설정될 수 있다. 예를 들어, 도 20의 (b)에 도시된 바와 같이 0초부터 6초 사이에 획득된 이미지 프레임은 제1 이미지 프레임 그룹(2410)에 포함될 수 있으나, 이에 한정되지 않는다.

또한, 도 20의(b)를 참조하면, 예비 심박수에 대한 윈도우에 의해 설정된 이미지 프레임 그룹은 적어도 일부 오버랩 될 수 있다. 예를 들어, 도 23의 (b)에 도시된 바와 같이, 0초부터 6초 사이에 획득된 이미지 프레임은 제1 이미지 프레임 그룹(2410)에 포함될 수 있으며, 0.5초부터 6.5초 사이에 획득된 이미지 프레임은 제2 이미지 프레임 그룹(2420)에 포함될 수 있고, 1초부터 7초 사이에 획득된 이미지 프레임은 제3 이미지 프레임 그룹(2430)에 포함될 수 있으며, 1.5초부터 7.5초 사이에 획득된 이미지 프레임은 제4 이미지 프레임 그룹(2440)에 포함될 수 있으나, 이에 한정되지는 않는다.

이 때, 상기 예비 심박수는 예비 심박수에 대한 윈도우에 의해 설정된 이미지 프레임 그룹에 대하여 획득될 수 있다. 예를 들어, 제1 예비 심박수는 제1 이미지 프레임 그룹(2410)에 포함되는 이미지 프레임들로부터 획득된 특성 값들에 기초하여 획득될 수 있다.

또한, 예비 심박수를 획득하기 위하여 각 이미지 프레임 그룹에서 시계열 데이터로 획득된 값은 파장 도메인 또는 주파수 도메인으로 변환될 수 있다. 예를 들어, 제1 이미지 프레임 그룹에서 시계열 데이터로 획득된 값은 제1 주파수 데이터(2460)로 변환될 수 있으며, 제2 이미지 프레임 그룹에서 시계열 데이터로 획득된 값은 제2 주파수 데이터(2470)로 변환될 수 있고, 제3 이미지 프레임 그룹에서 시계열 데이터로 획득된 값은 제3 주파수 데이터(2480)로 변환될 수 있으며, 제4 이미지 프레임 그룹에서 시계열 데이터로 획득된 값은 제4 주파수 데이터(2490)로 변환될 수 있으나, 이에 한정되지는 않는다.

또한, 제1 내지 제4 주파수 데이터(2460,2470,2480,2490)로부터 제1 내지 제4 예비 심박수를 획득하는 것은 상술한 심박수 획득 방법이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.

또한, 복수개의 예비 심박수를 기초로 심박수가 획득될 수 있다. 예를 들어, 복수개의 예비 심박수에 대한 연산이 수행되어 심박수가 획득될 수 있으며, 보다 구체적으로 상기 제1 내지 제4 예비 심박수의 평균, 최대값, 최소값 등을 추출하기 위한 연산이 수행되어 심박수가 획득될 수 있으나 이에 한정되지 않는다.

또한, 복수개의 예비 심박수를 기초로 심박수가 획득될 수 있다. 예를 들어, 획득된 복수개의 예비 심박수 중 10의 자리가 상이한 예비 심박수를 제외하고 나머지 심박수에 대한 연산이 수행되어 심박수가 획득될 수 있다.

보다 구체적으로, 제1 예비 심박수가 72bpm, 제2 예비 심박수가 80bpm, 제3 예비 심박수가 75bpm, 제4 예비 심박수가 73bpm인 경우, 10의 자리가 상이한 제2 예비 심박수를 제외하고, 제1, 제3, 제4 예비 심박수에 대한 연산이 수행되어 심박수가 획득될 수 있다. 이 때, 상기 연산은 평균, 최대값, 최소값 등을 추출하기 위한 연산일 수 있다.

또한, 복수개의 예비 심박수를 기초로 심박수가 획득될 수 있다. 예를 들어, 획득된 4개의 예비 심박수의 10의 자리가 쌍을 이뤄 상이한 경우, 획득된 4개의 예비 심박수 중 10의 자리가 이전에 획득된 심박수와 상이한 예비 심박수 쌍을 제외하고 나머지 심박수에 대한 연산이 수행되어 심박수가 획득될 수 있다.

보다 구체적으로, 제1 예비 심박수가 72bpm, 제2 예비 심박수가 80bpm, 제3 예비 심박수가 85bpm, 제4 예비 심박수가 73bpm이며, 이전에 획득된 심박수가 75bpm인 경우 제2 및 제3 예비 심박수를 제외하고, 제1 및 제4 예비 심박수에 대한 연산이 수행되어 심박수가 획득될 수 있다.

또한, 상술한 바와 같이 복수개의 예비 심박수를 이용하여 심박수를 획득하는 경우 보다 노이즈에 강건하고 정확한 심박수가 획득될 수 있다.

5.5 심박수 출력의 다양한 실시예들

상술한 방법들에 의해 획득된 심박수는 디스플레이 등을 통해 출력되거나, 통신부를 이용해 단말이나 서버로 전송될 수 있다. 이하에서는 설명의 편의를 위하여 이와 같은 동작을 심박수의 출력으로 설명하기로한다.

심박수에 대하여 지속적으로 실시간 측정을 하는 경우, 측정되는 심박수에 안정성과 신뢰성을 부여하기 위해 출력되는 심박수에 대하여 보정이 수행될 수 있다.

또한, 출력되는 심박수에 대하여 보정이 수행되는 경우 획득되는 복수개의 이미지 프레임 중 일부에서 좋지 못한 이미지가 획득되더라도 획득되어 출력되는 심박수에 안정성과 신뢰성을 부여할 수 있다.

도 21은 일 실시예에 따른 출력 심박수의 보정 방법에 대하여 설명하기 위한 흐름도이다.

도 21을 참조하면, 일 실시예에 따른 출력 심박수의 보정 방법(2500)은 제1 심박수를 획득하는 단계(S2510), 제1 심박수와 제1 시점 심박수의 차이를 기준 값과 비교하는 단계(S2520)를 포함할 수 있으나, 이에 한정되지는 않는다.

제1 심박수를 획득하는 단계(S2510)는 상술한 심박수 획득 방법들이 적용될 수 있으므로, 중복되는 서술은 생략하기로 한다.

제1 심박수와 제1 시점 심박수의 차이를 기준 값과 비교하는 단계(S2520)에서 상기 제1 시점 심박수는 상기 제1 심박수가 획득되기 전에 획득되거나 출력된 심박수를 의미할 수 있다. 예를 들어, 6.5초에서 제1 심박수가 획득된 경우 제1 시점 심박수는 6초에서 획득된 심박수일 수 있으며, 6초에서 출력된 심박수일 수도 있으나, 이에 한정되지 않는다.

또한, 상기 기준 값은 일정 수치로 정해질 수 있으며, 일정 비율로 정해질 수도 있다. 예를 들어, 상기 기준 값은 10으로 정해질 수 있으며, 이 때, 상기 제1 심박수와 상기 제1 시점 심박수의 차이가 10을 초과하는지를 판단할 수 있으나, 이에 한정되지는 않는다.

또한, 상기 제1 심박수와 제1 시점 심박수의 차이가 기준 값 이하인 경우 상기 제1 심박수를 제2 시점 심박수로 출력하는 단계(S2531)가 수행될 수 있으며, 이 때, 상기 제2 시점은 상기 제1 시점 보다 늦은 시점일 수 있다.

예를 들어, 상기 제1 시점 심박수가 72bpm이며, 상기 제1 심박수가 75bpm이고, 기준 값이 10인 경우 상기 제2 시점에 출력되는 심박수는 75bpm일 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 심박수와 제1 시점 심박수의 차이가 기준 값을 초과하는 경우 상기 제1 시점 심박수로부터 보정된 심박수를 제2 시점 심박수로 출력하는 단계(S2532)가 수행될 수 있으며, 이 때, 상기 제2 시점은 상기 제1 시점 보다 늦은 시점일 수 있다.

또한, 상기 제1 시점 심박수로부터 보정된 심박수를 획득하기 위해 상기 제1 시점 심박수에 대한 연산이 수행될 수 있다. 예를 들어, 상기 제1 시점 심박수에 일정 값을 더하거나 빼는 등의 연산이 수행될 수 있으나, 이에 한정되지는 않는다.

예를 들어, 상기 제1 시점 심박수가 72bpm이며, 상기 제1 심박수가 85bpm이고, 기준 값이 10인경우 상기 제2 시점에 출력되는 심박수는 상기 제1 시점 심박수에 +3bpm을 한 75bpm일 수 있으나, 이에 한정되지 않는다.

또한, 예를 들어, 상기 제1 시점 심박수가 72bpm이며, 상기 제1 심박수가 61bpm이고, 기준 값이 10인 경우 상기 제2 시점에 출력되는 심박수는 상기 제1 시점 심박수에 -3bpm을 한 69bpm일 수 있으나, 이에 한정되지 않는다.

5.6 심박 신호 추출의 다양한 실시예들

심박 신호는 심장 박동에 따라 변동될 수 있는 신호를 의미할 수 있으며, 심장 박동에 따라 변동된다고 추정될 수 있는 신호를 의미할 수 있다.

또한, 획득된 복수개의 이미지 프레임을 기초로 심박 신호가 추출될 수 있다.

도 22는 일 실시예에 따른 심박 신호 추출 방법을 설명하기 위한 도면이다.

먼저, 도 22의 (a)는 시계열 데이터로 획득된 값을 나타내는 그래프이다. 예를 들어, 도 22의 (a)는 시계열 데이터로 획득된 색 채널 값을 의미할 수 있으나, 이에 한정되지 않고, 시계열 데이터로 획득된 차이 값, 가공 값을 의미할 수도 있고, 시계열 데이터로 획득된 특성 값을 의미할 수 있다.

이 때, 상기 시계열 데이터로 획득된 값은 밴드 패스 필터(band pass filter)를 통해 심박 신호로 추출될 수 있다. 보다 구체적으로 상기 시계열 데이터로 획득된 값은 심박수에 해당하는 주파수 대역 또는 파장 대역의 밴드 패스 필터를 통해 심박 신호로 추출될 수 있다.

또한, 상기 심박수에 해당하는 주파수 대역 또는 파장 대역은 통상 이해될 수 있는 주파수 대역 또는 파장 대역일 수 있으나, 이에 한정되지 않고, 상술한 방법들에 의해 획득된 심박수를 기초로 결정되는 주파수 대역 또는 파장 대역일 수 있다.

예를 들어, 통상의 심박수는 60 내지 100bpm일 수 있으며, 해당하는 주파수 대역은 1Hz 내지 1.67Hz일 수 있으며, 이에 해당하는 밴드패스 필터가 이용될 수 있으나, 이에 한정되지 않는다.

또한, 예를 들어, 획득된 심박수가 72bpm인 경우, 해당하는 주파수는 1.2Hz 이며, 이를 기준으로 주파수 대역을 설정할 수 있다. 보다 구체적으로, 0.5Hz 범위의 주파수 대역을 설정하는 경우 0.95Hz 내지 1.45Hz 범위로 주파수 대역이 설정될 수 있으며, 이에 해당하는 밴드 패스 필터가 이용될 수 있으나, 이에 한정되지 않는다.

도 22의 (b)는 도 22의 (a)에 도시된 시계열 데이터로 획득된 값을 밴드 패스 필터를 통해 심박 신호로 추출한 심박 신호 그래프이다.

도 22의 (b)를 참조하면, 시계열 데이터로 획득된 값을 밴드 패스 필터를 통해 심박 신호로 추출할 수 있음을 알 수 있다.

5.7 적외선을 이용한 심박수 측정 방법의 다양한 실시예들

기본적으로 적외선을 이용한 심박수 측정 방법에도 상술한 심박수 측정 방법들이 이용될 수 있다.

도 23은 일 실시예에 따른 적외선을 이용한 심박수 획득 방법을 설명하기 위한 도면이다.

이 때, 상기 적외선은 750nm ~ 3000nm 의 파장 대역인 근적외선(Near infrared) 영역의 적외선이 이용될 수 있으나, 이에 한정되지는 않고, 중적외선 영역(middle infrared), 원적외선 영역(Far infrared) 및 극적외선 영역(extreme infrared)의 적외선이 이용될 수도 있다.

도 23을 참조하면, 일 실시예에 따른 적외선을 이용한 심박수 측정 방법(2600)은 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여, 이미지를 획득하는 단계(S2610), 피부 영역을 검출 하는 단계(S2620), 관심 영역을 검출하는 단계(S2630) 및 관심 영역에 대한 데이터를 처리하는 단계(S2640) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지는 않는다.

또한, 상기 이미지를 획득하는 단계(S2610) 및 상기 피부 영역을 검출하는 단계(S2620)는 상술한 내용들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.

또한, 관심 영역을 검출하는 단계(S2630)의 상세한 동작들은 상술한 관심 영역을 검출하는 방법들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.

또한, 관심 영역을 검출하는 단계(S2630)는 제1, 제2 및 제3 관심영역을 검출하는 동작을 포함할 수 있으며, 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여 수행될 수 있다.

또한, 상기 제1, 제2 및 제3 관심 영역은 서로 적어도 일부 오버랩 될 수 있다. 예를 들어, 상기 제1 관심 영역은 상기 제2 및 제3 관심 영역 내에 포함되도록 설정될 수 있으며, 상기 제2 관심 영역은 상기 제3 관심 영역 내에 포함되도록 설정될 수 있으나, 이에 한정되지는 않고 상기 제1 내지 제3 관심영역은 서로 적어도 일부 오버랩 되도록 설정될 수 있다.

또한, 상기 제1, 제2 및 제3 관심 영역은 서로 오버랩 되지 않도록 설정될 수 있다. 예를 들어, 상기 제1 관심 영역 및 상기 제2 관심 영역은 피측정자의 왼쪽 볼에 상하로 위치할 수 있으며, 상기 제3 관심 영역은 피측정자의 오른쪽 볼에 위치할 수 있으나, 이에 한정되지는 않고 상기 제1 내지 제3 관심 영역은 서로 오버랩 되지 않도록 설정될 수 있다.

또한, 상기 제1, 제2 및 제3 관심 영역에 대한 데이터를 처리하는 단계(S2640)의 상세한 동작들은 상술한 관심 영역에 대한 데이터를 처리하는 방법들이 적용될 수 있으므로 중복되는 서술은 생략하기로 한다.

또한, 관심 영역에 대한 데이터를 처리하는 단계(S2640)는 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여 수행될 수 있다.

또한, 상기 관심 영역에 대한 데이터를 처리하는 단계(S2640)는 상술한 제1, 제2 및 제3 관심 영역에 대하여 수행될 수 있다.

또한, 상기 제1 내지 제3 관심 영역에 대한 데이터를 처리하기 위해 획득된 복수개의 이미지 프레임 중 적어도 하나의 이미지 프레임에 대하여 상기 제1 내지 제3 관심 영역에 대한 IR 세기 값이 추출될 수 있다. 이 때, IR 세기 값은 상기 제1 내지 제3 관심 영역에 포함되는 픽셀들의 IR 세기 값의 평균 값일 수 있으며, 평균 픽셀 값으로 지칭될 수 있다.

또한, 상술한 관심 영역에 대한 데이터를 처리하는 방법을 적용하는 경우 각 관심 영역에 대한 IR 세기 값은 상술한 색 채널 값에 대응될 수 있다. 예를 들어, 제1 관심 영역의 IR 세기 값은 Red 채널 값에 대응될 수 있으며, 제2 관심 영역의 IR 세기 값은 Green 채널 값에 대응될 수 있고, 제3 관심 영역의 IR 세기 값은 Blue 채널 값에 대응될 수 있으나, 이에 한정되지 않는다.

또한, 예를 들어, 상술한 G-R 값은 제2 관심 영역의 IR 세기 값과 제1 관심 영역의 IR 세기 값의 차이값과 대응될 수 있으며, 상술한 G-B 값은 제2 관심 영역의 IR 세기 값과 제3 관심 영역의 IR 세기 값의 차이값과 대응될 수 있다.

따라서, 각 관심 영영에 대한 IR 세기 값을 기초로 데이터가 처리될 수 있으며, 상세한 동작은 상술한 관심 영역에 대한 데이터 처리 방법에 따를 수 있다.

또한, 일 실시예에 따른 적외선을 이용한 심박수 측정 방법(2600)은 획득된 복수개의 이미지 프레임 중 적어도 일부의 이미지 프레임 그룹에 대하여 시계열 데이터를 추출하는 단계(S2650) 및 심박수를 획득하는 단계(S2660) 중 적어도 일부를 포함할 수 있으나, 이에 한정되지 않는다.

이 때, 상기 시계열 데이터를 추출하는 단계(S2650) 및 상기 심박수를 획득하는 단계(S2660)는 상술한 내용이 적용될 수 있으므로 중복된 서술은 생략하기로 한다.

도 24는 일 실시예에 따른 적외선을 이용한 심박수 획득 방법을 설명하기 위한 도면이다.

도 24를 참조하면, 피측정자의 얼굴 영역에 적어도 두 개의 관심 영역이 설정될 수 있다. 보다 구체적으로 피측정자의 얼굴 영역에 제1 관심 영역(2710), 제2 관심 영역(2720) 및 제3 관심 영역(2730)이 설정될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 내지 제3 관심 영역(2710,2720,2730)에 대한 IR 세기 값이 추출될 수 있다.

예를 들어, 상기 제1 관심 영역(2710)에 대한 IR 세기 값(도 27의 (a))이 추출될 수 있으며, 상기 제2 관심 영역(2720)에 대한 IR 세기 값(도 27의 (b))이 추출될 수 있고, 상기 제3 관심 영역(2730)에 대한 IR 세기 값(도 27의 (c))이 추출될 수 있으나, 이에 한정되지 않는다.

또한, 상기 제1 내지 제3 관심 영역(2710,2720,2730)에 대해 추출된 IR 세기 값을 기초로 상기 제1 내지 제3 관심 영역(2710,2720,2730)에 대한 데이터가 처리될 수 있다. 다만, 이에 대한 상세한 동작은 상술한 바 중복되는 서술은 생략하기로 한다.

또한, 상기 제1 내지 제3 관심 영역(2710,2720,2730)에 대해 처리된 데이터를 기초로 특성 값이 획득될 수 있다. 다만, 이에 대한 상세한 동작은 상술한 바 중복되는 서술은 생략하기로 한다.

또한, 상기 제1 내지 제3 관심 영역(2710,2720,2730)에 대해 추출된 IR 세기 값을 기초로 획득된 특성 값을 이용하여 심박수가 획득될 수 있다. 다만, 이에 대한 상세한 동작은 상술한 바 중복되는 서술은 생략하기로 한다.

6. 생체 지수를 이용한 다양한 어플리케이션

도 25는 일 실시예에 따른 생체 지수 제공 방법을 설명하기 위한 흐름도이다.

도 25를 참조하면, 생체 지수 제공 방법은 복수개의 이미지 프레임을 기초로 생체지수를 획득하는 단계(S3100), 생체 지수 및 바이오 리듬을 기초로 수정 바이오 리듬을 획득하는 단계(S3200) 및 생체 지수 및 수정 바이오 리듬을 제공하는 단계(S3300)를 포함할 수 있다.

단계 S3100은 도 1 내지 도 24에서 설명한 내용이 적용될 수 있으므로, 상세한 설명은 생략한다.

단계 S3200에서, 생체 지수 제공 장치는 단계 S3100에서 획득된 생체 정보 및 바이오 리듬을 획득할 수 있다. 여기서, 바이오 리듬은 피측정자의 신체, 감성, 지성의 세 가지 주기에 따른 정보로서, 피측정자의 생년월일에 따라 결정될 수 있다. 바이오리듬에 대해서는 도 26에서 상세하게 설명한다. 또한, 생체 지수 제공 장치는 생체 정보 및 바이오 리듬을 기초로 수정 바이오 리듬을 획득할 수 있다. 여기서, 수정 바이오 리듬은 바이오 리듬에 피측정자의 생체 정보를 적용하여 피측정자의 현재 상태에 맞게 수정된 정보를 의미하는 것으로, 일 예로, 생체 지수 제공 장치는 인공 신경망을 이용하여 수정 바이오 리듬을 획득할 수 있다. 단계 S3200에 대해서는 도 27에서 상세하게 설명한다.

또한, 단계 S3300에서, 생체 지수 제공 장치는 생체 지수 및 수정 바이오 리듬을 제공할 수 있다. 이 때, 생체 지수 제공 장치는 화상회의 어플리케이션, 스포츠 중계 어플리케이션, 체육 훈련 어플리케이션 등 다양한 어플리케이션을 통해 생체 지수 및 수정 바이오 리듬을 제공할 수 있다. 이에 대해서는 도 28 내지 도 33에서 상세하게 설명한다.

도 26은 일 실시예에 따른 바이오 리듬을 설명하기 위한 도면이다.

도 26을 참조하면, 바이오리듬은 크게, 23일 주기의 신체리듬(Physical rhythm), 28일 주기의 감성리듬(Sensitivity rhythm) 및 33일 주기의 지성리듬(Intellectual rhythm)을 가질 수 있다. 상기 3가지의 리듬(신체리듬, 감성리듬 및 지성리듬)은 전반기의 고조기와 후반기의 저조기로 이루어지는 완만한 싸인(sine) 곡선으로 도출될 수 있다.

바이오리듬은 삼각함수의 일종인 싸인 곡선으로 도출되나, 세 가지 리듬의 주기가 다르기 때문에 그래프의 모양은 약간 다를 수 있다. 일 실시예에서, 신체리듬은 sin(2πt/23)으로 계산되고, 감성리듬은 sin(2πt/28)으로 계산되고, 지성리듬은 sin(2πt/33)으로 계산될 수 있다. 여기서, t는 피측정자의 생존 일수를 의미할 수 있다. 도 26의 그래프에서, x축은 일자를 나타내고, y축은 바이오 리듬에 대응되는 지수를 나타낼 수 있다.

싸인 곡선이 가로축 위에 있으면 상태가 양호한 고조기이고 아래에 있으면 침체된 저조기일 수 있다. 싸인 곡선이 가로축과 만나는 때를 위험일로 보는데, 요주의 일은 최저점이 아니라 신체, 감정, 지성의 리듬이 변하는 불안정한 지점일 수 있다. 즉, 각 리듬이 가로축에서 교차되는 고조기에서 저조기 또는 저조기에서 고조기로 전환되는 날은 리듬의 성질이 변환되기 때문에 심신이 불안하여 위험이 잠재하게 되며, 해당일은 위험일로 간주될 수 있다.

도 27은 일 실시예에 따른 수정 바이오 리듬 획득 모델을 설명하기 위한 도면이다.

도 27을 참조하면, 생체 지수 제공 장치는 수정 바이오 리듬 획득 모델(3100)을 이용하여 수정 바이오 리듬을 획득할 수 있다.

일 실시예에 따른 수정 바이오 리듬 획득 모델(3100)은 머신 러닝(Machine learning) 방법으로 구현될 수 있다. 예를 들어, 수정 바이오 리듬 획득 모델(3100)은 지도 학습을 통해 구현된 모델일 수 있으나, 이에 한정되지 않으며, 비지도 학습, 준지도 학습, 강화 학습 등을 통해 구현된 모델일 수 있다.

또한, 일 실시예에 따른 수정 바이오 리듬 획득 모델(3100)은 인공 신경망(artificial neural network, ANN)으로 구현될 수 있다. 예를 들어, 수정 바이오 리듬 획득 모델(3100)은 전방 전달 신경망(Feedforward neural network), 방사 신경망(radial basis function network) 또는 코헨 자기조직 신경망(kohonen self-organizing network) 등으로 구현될 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따른 수정 바이오 리듬 획득 모델(3100)은 심층 신경망(Deep neural network, DNN)으로 구현될 수 있다. 예를 들어, 수정 바이오 리듬 획득 모델(3100)은 합성곱신경망(Convolutional neural network, CNN), 순환 인공 신경망(Recurrent neural network, RNN), LSTM(Long Short Term Memory Network) 또는 GRUs(Gated Recurrent Units) 등으로 구현될 수 있으나, 이에 한정되지 않는다.

또한, 일 실시예에 따른 수정 바이오 리듬 획득 모델(3100)은 복수의 측정자의 생체 정보, 바이오 리듬을 기초로 미리 학습될 수 있다.

또한, 일 실시예에 따른 수정 바이오 리듬 획득 모델(3100)은 피측정자의 생체 지수(3010)을 획득할 수 있다. 여기서, 생체 지수는 심박수, 산소포화도, 혈압, 체온 등 다양한 생체 정보에 대한 값을 포함할 수 있다. 또한, 수정 바이오 리듬 획득 모델(3100)은 피측정자의 이미지 프레임을 획득하고, 상기 이미지를 기초로 생체 지수(3010)를 획득할 수 있다. 이 경우, 수정 바이오 리듬 획득 모델(3100)은 도 1 내지 도 24에서 전술한 생체 지수 획득 방법을 이용하여 상기 이미지 프레임으로부터 생체 지수(3010)를 획득할 수 있다. 또한, 수정 바이오 리듬 획득 모델(3100)에는 전술한 생체 지수 획득 모델이 포함될 수 있고, 수정 바이오 리듬 획득 모델(3100)은 전술한 생체 지수 획득 모델을 이용하여 이미지 프레임으로부터 생체 지수(3010)를 획득할 수 있다.

또한, 수정 바이오 리듬 획득 모델(3100)은 피측정자의 바이오 리듬(3020)를 획득할 수 있다. 일 예로, 수정 바이오 리듬 획득 모델(3100)은 현재 일자에 대응되는 신체리듬 지수, 감성리듬 지수 및 지성리듬 지수를 획득할 수 있다. 또한, 다른 일 예로, 수정 바이오 리듬 획득 모델(3100)은 피측정자의 생년월일에 대한 정보를 획득할 수 있다. 이 경우, 수정 바이오 리듬 획득 모델(3100)은 피측정자의 생년월일을 기초로, 피측정자의 생존일수(t)를 계산하고, 생존일수(t)를 기초로 도 26에서 전술한 수식에 따라 신체리듬 지수, 감성리듬 지수 및 지성리듬 지수를 획득할 수 있다.

또한, 수정 바이오 리듬 획득 모델(3100)은 획득한 생체지수(3010) 및 바이오 리듬(3020)를 기초로 수정 바이오 리듬(3030)를 출력할 수 있다. 이 때, 수정 바이오 리듬(3030)는 바이오 리듬(3020)이 생체 지수(3010)에 따라 변동된 값을 나타낼 수 있다. 또한, 수정 바이오 리듬 획득 모델(3100)은 신체리듬 지수, 감성리듬 지수 및 지성리듬 지수를 수치값으로 표현할 수도 있고, 최상/상/중/하와 같은 복수의 분류 중 어느 하나로 표현할 수도 있다.

도 28은 일 실시예에 따른 화상회의 어플리케이션을 설명하기 위한 도면이다.

도 28을 참조하면, 생체 지수 제공 장치는 화상회의 어플리케이션의 인터페이스(4000) 내에서 생체정보 및 수정 바이오 리듬을 표시할 수 있다. 이 때, 생체정보 및 수정 바이오 리듬은 정보 인터페이스(4010)을 통해 표시될 수 있다. 이에 따라, 피측정자는 자신의 생체지수 및 수정 바이오리듬을 확인하면서 화상회의를 진행할 수 있다.

또한, 정보 인터페이스(4010)는 화상회의에 참석한 모든 참석자에게 표시될 수도 있고, 해당 피측정자에게만 표시될 수도 있다.

또한, 일 실시예에서, 생체 지수 제공 장치는 피측정자의 심리 변화에 대한 정보(예를 들어, 긴장, 정상, 흥분 등)를 제공할 수 있다. 예를 들어, 피측정자는 화상 회의시에 긴장상태일 수 있다. 그리고, 화상회의를 진행하면서 특정 표정을 짓거나, 특정 제스처를 취할 때 긴장상태가 해소될 수 있다. 생체 지수 제공 장치는 피측정자의 긴장 해소의 도움을 주기 위하여, 피측정자의 상태변화를 모니터링할 수 있다. 일 예로, 생체 지수 제공 장치는 피측정자의 생체지수를 확인하고, 생체지수에 대응하는 심리상태(긴장, 정상, 흥분 등)를 추정할 수 있다. 그리고, 생체 지수 제공 장치는 생체지수가 변화함에 따라 심리상태가 변동될 경우의 피측정자의 외적 상황(표정 또는 제스쳐 등)를 확인하고, 심리상태가 변동될 때의 피측정자의 외적 상황에 대한 정보를 제공할 수 있다. 이에 따라, 피측정자는 자신의 심리상태가 변화할 때의 외적 상황에 대한 정보를 이용하여 화상회의에 참여할 수 있다. 예를 들어, 피측정자가 긴장상태에서 정상 상태로 변화할 때 특정 제스쳐를 취하는 경우, 피측정자는 다시 긴장상태가 되었을 때, 긴장 상태를 벗어나기 위해 상기 특정 제스처를 취할 수 있다.

보다 구체적으로, 생제 정보 측정 장치는 피측정자의 제1 상태에 대한 제1 복수의 이미지 프레임을 획득하고, 복수의 제1 이미지 프레임을 기초로 제1 생체 지수를 획득할 수 있다. 예를 들어, 상기 제1 상태는 긴장상태일 수 있다. 생제 정보 측정 장치는 복수의 제1 이미지 프레임을 기초로 제1 생체 지수를 획득하고, 제1 생체 지수를 기초로 피측정자가 제1 상태라는 것을 추정할 수 있다. 또한, 생제 정보 측정 장치는 피측정자의 제2 상태에 대한 제2 복수의 이미지 프레임을 획득하고, 복수의 제2 이미지 프레임을 기초로 제2 생체 지수를 획득할 수 있다. 예를 들어, 상기 제2 상태는 정상상태일 수 있다. 생제 정보 측정 장치는 복수의 제2 이미지 프레임을 기초로 제2 생체 지수를 획득하고, 제2 생체 지수를 기초로 피측정자가 제2 상태라는 것을 추정할 수 있다.

또한, 생체 정보 측정 장치는 상기 제1 상태일 경우의 상기 제1 피측정자의 외적 상황을 캡쳐하고, 상기 피측정자의 외적 상황을 제공할 수 있다. 또한, 생체 정보 측정 장치는 상기 제2 상태일 경우의 상기 피측정자의 외적 상황을 캡쳐하고, 상기 피측정자의 외적 상황을 제공할 수 있다.

도 29는 일 실시예에 따른 스포츠 중계 어플리케이션을 설명하기 위한 도면이다.

도 29를 참고하면, 생체 지수 제공 장치는 스포츠 중계 어플리케이션의 인터페이스 내에서 생체정보 및 수정 바이오 리듬을 표시할 수 있다. 이 때, 생체정보 및 수정 바이오 리듬은 정보 인터페이스을 통해 표시될 수 있다. 이에 따라, 시청자는 선수들의 생체 지수 및 수정 바이오 리듬을 확인하면서 스포츠를 관람할 수 있다.

또한, 정보 인터페이스는 화면에 중계되는 모든 선수들에 대하여 표시될 수도 있고, 생체 정보 제공 장치가 시청자로부터 특정 선수의 생체 지수 및 수정 바이오 리듬의 표시 요청을 획득한 경우, 특정 선수에 대해서만 정보 인터페이스를 표시할 수 있다.

또한, 일 실시예에서, 스포츠 중계의 특성상, 스포츠 중계 화면에서 선수들이 표시되었다가 사라지고, 이후 다시 표시될 수 있다. 이 경우, 생체 정보 제공 장치는 스포츠 중계 화면에서 표시되지 않은 선수에 대해서도 지속적으로 생체 정보를 모니터링하여야 할 수 있다. 일반적으로 스포츠 중계 화면은 복수의 카메라 중 어느 하나의 카메라에서 획득되는 이미지 프레임을 기초로 구성되므로, 생체 정보 제공 장치는 복수의 카메라에서 획득되는 이미지 프레임들을 통합적으로 이용하여 경기를 하는 모든 선수에 대한 생체정보를 지속적으로 획득할 수 있다.

또한, 단체 스포츠 경기의 경우, 복수의 선수가 스포츠 중계 화면에 표시될 수 있다. 이 경우, 생체 정보 제공 장치는 복수의 이미지 프레임에서 복수의 선수에 대한 생체지수를 획득하여야 할 수 있다. 이에 대해서는 도 30에서 보다 상세하게 설명한다.

도 30은 다른 일 실시예에 따른 생체 지수 제공 방법을 설명하기 위한 흐름도이다.

도 30을 참고하면, 다른 일 실시예에 따른 생체 지수 제공 방법은 복수의 이미지 프레임을 획득하는 단계(S4100), 복수의 이미지 프레임으로부터 복수의 피측정자를 특정하는 단계(S4200) 및 복수의 피측정자 각각에 대하여 생체지수 및/또는 수정 바이오 리듬을 획득하는 단계(S4300)를 포함할 수 있다.

단계 S4100에서, 생체 지수 제공 장치는 복수의 이미지 프레임을 획득할 수 있다. 이에 대해서는, 도 1 내지 도 24에서 전술한 내용이 적용될 수 있다.

또한, 단계 S4200에서, 생체 지수 제공 장치는 복수의 이미지 프레임으로부터 복수의 피측정자를 특정할 수 있다. 일 예로, 생체 지수 제공 장치는 복수의 이미지 프레임에 대하여 객체 인식 및 얼굴 인식을 수행할 수 있다. 객체 인식 방식 및 얼굴 인식 방식에 대해서는 다양한 방식이 적용될 수 있다. 또한, 생체 지수 제공 장치는 얼굴 인식을 통해 복수의 이미지 프레임에 포함되는 복수의 피측정자를 특정하고, 복수의 피측정자 각각에 대하여 식별자를 부여할 수 있다.

또한, 단계 S4300에서, 또한, 설명의 편의를 위하여 복수의 이미지 프레임에 2명의 피측정자가 특정된 것을 가정하면, 생체 지수 제공 장치는 복수의 이미지 프레임 중 제1 피측정자에 대한 제1 복수의 세부 이미지 및 제2 피측정자에 대한 제2 복수의 세부 이미지를 획득할 수 있다. 또한, 생체 지수 제공 장치는 제1 복수의 세부 이미지를 기초로 제1 피측정자에 대한 생체 정보를 획득하고, 제2 복수의 세부 이미지를 기초로 상기 제2 피측정자에 대한 생체 정보를 획득할 수 있다. 제1 피측정자에 대한 생체 정보 획득 및 제2 피측정자에 대한 생체 정보 획득에 대해서는 도 1 내지 도 24에서 전술한 내용이 적용될 수 있다.

또한, 생체 지수 제공 장치는 제1 피측정자에 대한 생체 정보를 기초로 제1 피측정자의 수정 바이오 리듬을 획득하고, 제2 피측정자에 대한 생체 정보를 기초로 제2 피측정자의 수정 바이오 리듬을 획득할 수 있다. 수정 바이오 리듬의 획득에 대해서는 도 25 내지 도 27에서 전술한 내용이 적용될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (11)

1. 하나 이상의 프로세서에서 수행되며, 비접촉식으로 인공신경망을 이용하여 피측정자에 대한 생체 지수를 제공하는 방법에 있어서,
   복수의 이미지 프레임을 획득하는 단계;
   상기 복수의 이미지 프레임을 기초로 생체지수를 획득하는 단계;
   제1 피측정자의 개인적 데이터를 기초로 바이로 리듬 정보를 획득하는 단계;
   상기 생체지수 및 상기 바이오 리듬을 기초로 수정 바이오 리듬을 산출하는 단계; 및
   상기 생체 지수 및 상기 수정 바이오 리듬을 제공하는 단계
   를 포함하는,
   생체 지수를 제공하는 방법.
   
2. 제1항에 있어서,
   상기 생체지수 및 상기 바이오 리듬을 기초로 수정 바이오 리듬을 산출하는 단계는,
   상기 생체지수 및 상기 바이오 리듬을 미리 학습된 수정 바이오 리듬 획득 모델에 적용하여 수정 바이오 리듬을 산출하는,
   생체 지수를 제공하는 방법.
   
3. 제1항에 있어서,
   상기 복수의 이미지 프레임을 기초로 생체지수를 획득하는 단계는,
   상기 복수의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 제1 색 채널 값, 제2 색 채널 값 및 제3 색 채널 값을 획득하는 단계;
   상기 복수의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 상기 제1 색 채널 값, 상기 제2 색 채널 값 및 상기 제3 색 채널 값을 기초로 제1 차이 값 및 제2 차이 값을 계산하는 단계 - 상기 제1 차이 값은 동일한 이미지 프레임에 대한 상기 제1 색 채널 값과 상기 제2 색 채널 값의 차이 값이고, 상기 제2 차이 값은 동일한 이미지 프레임에 대한 상기 제1 색 채널 값과 상기 제3 색 채널 값의 차이 값을 나타냄- ;
   제1 미리 설정된 시간동안 획득된 제1 이미지 프레임 그룹에 대하여 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 상기 제1 차이 값을 기초로 제1 특성값을 획득하는 단계;
   상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 제2 차이 값을 기초로 제2 특성값을 획득하는 단계;
   상기 제1 특성값 및 상기 제2 특성값을 기초로 시계열 데이터를 획득하는 단계; 및
   상기 시계열 데이터를 기초로 상기 생체 지수를 획득하는 단계
   를 포함하는,
   생체 지수를 제공하는 방법.
   
4. 제1항에 있어서,
   상기 제1 피측정자의 제1 상태에 대한 제1 복수의 이미지 프레임을 획득하고, 상기 복수의 제1 이미지 프레임을 기초로 제1 생체 지수를 획득하는 단계;
   상기 제1 피측정자의 제2 상태에 대한 제2 복수의 이미지 프레임을 획득하고, 상기 복수의 제2 이미지 프레임을 기초로 제2 생체 지수를 획득하는 단계;
   상기 제1 상태일 때의 상기 제1 피측정자의 외적 상황에 대한 정보를 제공하는 단계; 및
   상기 제2 상태일 때의 상기 제1 피측정자의 외적 상황에 대한 정보를 제공하는 단계
   를 더 포함하는,
   생체 지수를 제공하는 방법.
   
5. 제1항에 있어서,
   상기 복수의 이미지 프레임 중 상기 제1 피측정자에 대한 제1 복수의 세부 이미지 및 제2 피측정자에 대한 제2 복수의 세부 이미지를 획득하는 단계;
   상기 제1 복수의 세부 이미지를 기초로 상기 제1 피측정자에 대한 생체 정보를 획득하는 단계;
   상기 제2 복수의 세부 이미지를 기초로 상기 제2 피측정자에 대한 생체 정보를 획득하는 단계; 및
   상기 제1 피측정자에 대한 생체 정보 및 상기 제2 피측정자에 대한 생체 정보를 제공하는 단계
   를 더 포함하는,
   생체 지수를 제공하는 방법.
   
6. 제1항 내지 제5항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
   
7. 비접촉식으로 인공신경망을 이용하여 피측정자에 대한 생체 지수를 제공하는 생체 지수 제공 장치에 있어서,
   프로세서를 포함하고,
   상기 프로세서는,
   복수의 이미지 프레임을 획득하고,
   상기 복수의 이미지 프레임을 기초로 생체지수를 획득하고,
   제1 피측정자의 개인적 데이터를 기초로 바이로 리듬 정보를 획득하고,
   상기 생체지수 및 상기 바이오 리듬을 기초로 수정 바이오 리듬을 산출하고,
   상기 생체 지수 및 상기 수정 바이오 리듬을 제공하는,
   생체 지수 제공 장치.
   
8. 제7항에 있어서,
   상기 프로세서는,
   상기 생체지수 및 상기 바이오 리듬을 미리 학습된 수정 바이오 리듬 획득 모델에 적용하여 수정 바이오 리듬을 산출하는,
   생체 지수 제공 장치.
   
9. 제7항에 있어서,
   상기 프로세서는,
   상기 복수의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 제1 색 채널 값, 제2 색 채널 값 및 제3 색 채널 값을 획득하고,
   상기 복수의 이미지 프레임에 포함되는 적어도 하나의 이미지 프레임에 대하여 상기 제1 색 채널 값, 상기 제2 색 채널 값 및 상기 제3 색 채널 값을 기초로 제1 차이 값 및 제2 차이 값을 계산하고, - 상기 제1 차이 값은 동일한 이미지 프레임에 대한 상기 제1 색 채널 값과 상기 제2 색 채널 값의 차이 값이고, 상기 제2 차이 값은 동일한 이미지 프레임에 대한 상기 제1 색 채널 값과 상기 제3 색 채널 값의 차이 값을 나타냄 - ,
   제1 미리 설정된 시간동안 획득된 제1 이미지 프레임 그룹에 대하여 상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 상기 제1 차이 값을 기초로 제1 특성값을 획득하고,
   상기 제1 이미지 프레임 그룹에 포함되는 적어도 하나의 이미지 프레임에 대한 제2 차이 값을 기초로 제2 특성값을 획득하고,
   상기 제1 특성값 및 상기 제2 특성값을 기초로 시계열 데이터를 획득하고,
   상기 시계열 데이터를 기초로 상기 생체 지수를 획득하는,
   생체 지수 제공 장치.
   
10. 제7항에 있어서,
    상기 프로세서는,
    상기 제1 피측정자의 제1 상태에 대한 제1 복수의 이미지 프레임을 획득하고, 상기 복수의 제1 이미지 프레임을 기초로 제1 생체 지수를 획득하고,
    상기 제1 피측정자의 제2 상태에 대한 제2 복수의 이미지 프레임을 획득하고, 상기 복수의 제2 이미지 프레임을 기초로 제2 생체 지수를 획득하고,
    상기 제1 상태일 때의 상기 제1 피측정자의 외적 상황에 대한 정보를 제공하고,
    상기 제2 상태일 때의 상기 제1 피측정자의 외적 상황에 대한 정보를 제공하는,
    생체 지수 제공 장치.
    
11. 제7항에 있어서,
    상기 프로세서는,
    상기 복수의 이미지 프레임 중 상기 제1 피측정자에 대한 제1 복수의 세부 이미지 및 제2 피측정자에 대한 제2 복수의 세부 이미지를 획득하고,
    상기 제1 복수의 세부 이미지를 기초로 상기 제1 피측정자에 대한 생체 정보를 획득하고,
    상기 제2 복수의 세부 이미지를 기초로 상기 제2 피측정자에 대한 생체 정보를 획득하고,
    상기 제1 피측정자에 대한 생체 정보 및 상기 제2 피측정자에 대한 생체 정보를 제공하는,
    생체 지수 제공 장치.

Images