KR102416878B1

KR102416878B1 - 심박수 측정을 위한 헬스케어 장치

Info

Publication number: KR102416878B1
Application number: KR1020220046601A
Authority: KR
Inventors: 손량희
Original assignee: 주식회사 엠마헬스케어
Priority date: 2022-04-15
Filing date: 2022-04-15
Publication date: 2022-07-05
Also published as: KR102416878B9

Abstract

헬스케어 장치는 대상자의 BCG 신호를 센싱하기 위한 BCG 센서; 대상자의 얼굴을 촬영하여 얼굴 컬러 이미지를 획득하는 카메라; 및 상기 얼굴 컬러 이미지에서 얼굴에 해당하는 관심영역(ROI)를 검출하고, 상기 검출된 관심영역 중에서 이마(forehead) 부위에 대한 제 1 컬러 이미지를 검출한 후 흑백 이미지로 변환하여 제 1 흑백 이미지를 획득하고 볼(cheek) 부위에 대한 제 2 컬러 이미지를 검출한 후 흑백 이미지로 변환하여 제 2 흑백 이미지를 획득하며, 상기 획득한 제 1 흑백 이미지 및 제 2 흑백 이미지를 소정의 학습된 Multi-task Learning 알고리즘 모델에 적용하여 상기 대상자의 원격 PPG(remote Photoplethysmography, rPPG) 신호 파형을 출력하고, 상기 센싱된 BCG 신호 파형으로부터 제 1 심박수를, 상기 출력된 원격 PPG 신호 파형으로부터 제 2 심박수를 산출하여 상기 제 1 심박수 및 상기 제 2 심박수에 기초해 상기 대상자의 심박수를 출력하는 프로세서를 포함할 수 있다.

Description

심박수 측정을 위한 헬스케어 장치{HEALTHCARE APPARATUS FOR MEASURING HEART RATE}

본 발명은 헬스케어 장치에 관한 것으로, 보다 자세하게는 비접촉식 방식으로 대상자의 심박수, 호흡수, 수면상태 등을 예측하기 위한 헬스케어 장치에 관한 것이다.

비침습적인 방식으로 PPG 센서로 생체신호를 센싱하여 인간의 질병에 대한 사항을 파악하는 연구는 존재한다. 그러나 현재 COVID-19의 대유행으로 인해 비침습적인 방식이면서 원격으로 건강을 모니터링할 수 있는 기술이 상당히 중요해졌다. 각국은 의료 환경에서 COVID-19의 위험을 줄이기 위해 가능하면 원격 건강 전략을 사용할 것을 권고하고 있다. 그렇기 때문에 기존의 신체에 접촉이 필요한 센서를 통한 생체 정보 모니터링 방법이 아닌 새로운 방법이 요구된다.

원격 건강 모니터링 기술은 휴대전화나 온라인 건강 포털과 같은 통신 시스템에 기반을 두고 있다. 이러한 원격 건강 모니터링 기술은 COVID-19와 같은 유행병이 끝난 후에도 지속적인 환자 모니터링에 매우 인접하게 요구될 수 있다. 카메라를 이용하여 안면 비디오 스트림을 기반으로 사용자의 생리학적 신호를 측정하는데 사용된다. 이러한 기술은 전염병뿐 아니라 영유아의 생체정보 모니터링이나 고령자 혹은 정신 건강 모니터링에도 사용될 수 있다.

그러나, 아직까지 원격 건강 모니터링 기술로서 사람의 생체신호를 추정하여, 심박수, 스트레스 지수, 호흡수 등을 예측하는 연구와 헬스케어 제품은 전무한 상황이다.

한국등록공보 10-1712002호

본 발명에서 이루고자 하는 기술적 과제는 헬스케어 장치를 제공하는 데 있다.

본 발명에서 이루고자 하는 다른 기술적 과제는 헬스케어 장치가 헬스케어를 위한 모니터링 방법을 제공하는 데 있다.

본 발명에서 이루고자 하는 또 다른 기술적 과제는 헬스케어를 위한 모니터링 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기의 기술적 과제를 달성하기 위한, 본 발명의 일실시예에 따른 헬스케어 장치는, 대상자의 심탄도(Ballistocardiogram, BCG) 신호를 센싱하기 위한 BCG 센서; 대상자의 얼굴을 촬영하여 얼굴 컬러 이미지를 획득하는 카메라; 및 상기 얼굴 컬러 이미지에서 얼굴에 해당하는 관심영역(ROI)를 검출하고, 상기 검출된 관심영역 중에서 이마(forehead) 부위에 대한 제 1 컬러 이미지를 검출한 후 흑백 이미지로 변환하여 제 1 흑백 이미지를 획득하고 볼(cheek) 부위에 대한 제 2 컬러 이미지를 검출한 후 흑백 이미지로 변환하여 제 2 흑백 이미지를 획득하며, 상기 획득한 제 1 흑백 이미지 및 제 2 흑백 이미지를 소정의 학습된 Multi-task Learning 알고리즘 모델에 적용하여 상기 대상자의 원격 PPG(remote Photoplethysmography, rPPG) 신호 파형을 출력하고, 상기 센싱된 BCG 신호 파형으로부터 제 1 심박수를, 상기 출력된 원격 PPG 신호 파형으로부터 제 2 심박수를 산출하여 상기 제 1 심박수 및 상기 제 2 심박수에 기초해 상기 대상자의 심박수를 출력하는 프로세서를 포함할 수 있다. 상기 출력된 심박수는 상기 제 1 심박수 및 상기 제 2 심박수를 평균한 심박수에 해당할 수 있다. 상기 소정의 학습된 Multi-task Learning 알고리즘 모델은 Siamese Neural Networks (SNN)을 이용할 수 있다. 상기 헬스케어 장치는 상기 대상자가 누울 수 있는 베드를 더 포함하고, 상기 BCG 센서는 베드를 커버하는 커버 내부 표면에 부착되도록 구비할 수 있다. 상기 프로세서는, 상기 획득한 제 1 흑백 이미지 및 제 2 흑백 이미지를 소정의 학습된 Multi-task Learning 알고리즘 모델에 적용하여 상기 대상자의 호흡수 신호 파형을 출력하고, 상기 출력된 호흡수 신호 파형에 기초하여 호흡수를 산출하고, 상기 산출된 호흡수에 기초하여 상기 대상자의 수면 무호흡 여부를 판단할 수 있다. 상기 헬스케어 장치는 상기 산출된 호흡수를 연동된 단말기로 전송하기 위한 통신부를 더 포함할 수 있다.

상기 프로세서는, 상기 관심영역에서 두 눈 부위 이미지들을 검출하고, 검출된 두 눈 부위 이미지에서 두 눈동자 이미지를 검출하되, 상기 검출된 두 눈동자 이미지에서 두 홍채를 검출하여 모두 인식하였으면 상기 대상자가 깨어 있는(Wake) 상태인 것으로 판단할 수 있다. 상기 프로세서는, 상기 검출된 두 눈동자 이미지에서 두 홍채가 모두 인식되지 않는 상태가 소정 시간 지나면 상기 대상자가 슬립(sleep) 상태인 것으로 판단할 수 있다.

상기 헬스케어 장치는 상기 대상자에 해당하는 영유아가 누울 수 있는 베드를 더 포함하고, 상기 프로세서는 상기 대상자가 깨어 있는 상태인 것으로 판단되면 상기 베드에 동작중인 바운스 기능을 유지하도록 제어할 수 있다. 상기 헬스케어 장치는 상기 대상자가 누울 수 있는 베드를 포함하고, 상기 프로세서는 상기 대상자가 슬립 상태인 것으로 판단되면 상기 베드의 수직 및 수평 움직임을 제어하여 바운스 기능을 서서히 멈추도록 제어할 수 있다. 상기 헬스케어 장치는 본체 프레임을 더 포함하고, 상기 카메라는 상기 대상자의 누워 있는 자세 및 방향을 고려하여 상기 대상자의 얼굴이 촬영되도록 상기 본체 프레임 상에서 이동할 수 있다.

상기 헬스케어 장치는 상기 출력된 심박수를 연동된 단말기로 전송하기 위한 통신부를 더 포함할 수 있다. 상기 헬스케어 장치는 상기 출력된 심박수를 디스플레이하기 위한 디스플레이부를 더 포함할 수 있다.

상기의 기술적 과제를 달성하기 위한, 본 발명의 다른 일실시예에 따른 헬스케어 장치는, 대상자의 심탄도(Ballistocardiogram, BCG) 신호를 센싱하기 위한 BCG 센서; 소정의 설정된 밤 시간이거나 주변이 소정의 밝기 이하인 경우에는 대상자의 얼굴을 촬영하여 적외선(IR) 영상을 획득하는 카메라; 및 상기 적외선 영상에서 얼굴에 해당하는 관심영역(ROI)를 검출하고, 상기 검출된 관심영역 중에서 이마(forehead) 부위에 대한 제 1 이미지를 획득하고 볼(cheek) 부위에 대한 제 2 이미지를 획득하며, 상기 획득한 제 1 이미지 및 제 2 이미지를 소정의 학습된 Multi-task Learning 알고리즘 모델에 적용하여 상기 대상자의 원격 PPG(remote Photoplethysmography, rPPG) 신호 파형을 출력하고, 상기 센싱된 BCG 신호 파형으로부터 제 1 심박수를, 상기 출력된 원격 PPG 신호 파형으로부터 제 2 심박수를 산출하여 상기 제 1 심박수 및 상기 제 2 심박수에 기초해 상기 대상자의 심박수를 출력하는 프로세서를 포함할 수 있다.

상기의 다른 기술적 과제를 달성하기 위한, 본 발명의 일 실시예에 따른 헬스케어를 위한 모니터링 방법은, 대상자의 심탄도(Ballistocardiogram, BCG) 신호를 센싱하는 단계; 대상자의 얼굴을 촬영하여 얼굴 컬러 이미지를 획득하는 단계; 상기 얼굴 컬러 이미지에서 얼굴에 해당하는 관심영역(ROI)를 검출하는 단계; 상기 검출된 관심영역 중에서 이마(forehead) 부위에 대한 제 1 컬러 이미지를 검출한 후 흑백 이미지로 변환하여 제 1 흑백 이미지를 획득하고 볼(cheek) 부위에 대한 제 2 컬러 이미지를 검출한 후 흑백 이미지로 변환하여 제 2 흑백 이미지를 획득하는 단계; 상기 획득한 제 1 흑백 이미지 및 제 2 흑백 이미지를 소정의 학습된 Multi-task Learning 알고리즘 모델에 적용하여 상기 대상자의 원격 PPG(remote Photoplethysmography, rPPG) 신호 파형을 출력하는 단계; 및 상기 센싱된 BCG 신호 파형으로부터 제 1 심박수를, 상기 출력된 원격 PPG 신호 파형으로부터 제 2 심박수를 산출하고 상기 제 1 심박수 및 상기 제 2 심박수에 기초해 상기 대상자의 심박수를 출력하는 단계를 포함할 수 있다. 상기 방법은, 상기 관심영역에서 두 눈 부위 이미지들을 검출하고, 검출된 두 눈 부위 영역에서 두 눈동자 이미지들을 검출하는 단계; 및 상기 검출된 두 눈동자 이미지들에서 두 홍채가 모두 인식되었으면 상기 대상자가 깨어 있는(Wake) 상태인 것으로 판단하는 단계를 더 포함할 수 있다. 상기 방법은, 상기 검출된 두 눈동자 이미지들에서 두 홍채가 모두 인식되지 않는 상태가 소정 시간 지나면 상기 대상자가 슬립(sleep) 상태인 것으로 판단하는 단계를 더 포함할 수 있다. 상기 방법은, 상기 획득한 제 1 흑백 이미지 및 제 2 흑백 이미지를 소정의 학습된 Multi-task Learning 알고리즘 모델에 적용하여 상기 대상자의 호흡수 신호 파형을 출력하는 단계; 상기 출력된 호흡수 신호 파형에 기초하여 호흡수를 산출하는 단계; 및 상기 산출된 호흡수에 기초하여 상기 대상자의 수면 무호흡 여부를 판단하는 단계를 더 포함할 수 있다. 상기 방법은 상기 산출된 호흡수를 연동된 단말기로 전송하는 단계를 더 포함할 수 있다. 상기 방법은 상기 산출된 호흡수를 디스플레이부를 통해 디스플레이하는 단계를 더 포함할 수 있다.

상기의 다른 기술적 과제를 달성하기 위한, 본 발명의 다른 일 실시예에 따른 헬스케어를 위한 모니터링 방법은, 대상자의 심탄도(Ballistocardiogram, BCG) 신호를 센싱하는 단계; 소정의 설정된 밤 시간이거나 주변이 소정의 밝기 이하인 경우에는 대상자의 얼굴을 촬영하여 적외선(IR) 영상을 획득하는 단계; 상기 적외선 영상에서 얼굴에 해당하는 관심영역(ROI)를 검출하는 단계; 상기 검출된 관심영역 중에서 이마(forehead) 부위에 대한 제 1 이미지를 획득하고 볼(cheek) 부위에 대한 제 2 이미지를 획득하는 단계; 상기 획득한 제 1 이미지 및 제 2 이미지를 소정의 학습된 Multi-task Learning 알고리즘 모델에 적용하여 상기 대상자의 원격 PPG(remote Photoplethysmography, rPPG) 신호 파형을 출력하는 단계; 및 상기 센싱된 BCG 신호 파형으로부터 제 1 심박수를, 상기 출력된 원격 PPG 신호 파형으로부터 제 2 심박수를 산출하여 상기 제 1 심박수 및 상기 제 2 심박수에 기초해 상기 대상자의 심박수를 출력하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 헬스케어 장치는 대상자의 심박수, 호흡수, 스트레스 지수, 수면 상태(수면 무호흡) 등에 대한 정보를 비접촉식으로 측정하되 정확도를 상당히 향상시킬 수 있다.

본 발명의 일 실시예에 따른 헬스케어 장치는 대상자의 홍채 인식 방식으로 Wake/sleep 상태 파악에 대한 정확도를 상당히 향상시킬 수 있다.

본 발명의 일 실시예에 따른 헬스케어 장치는 얼굴 영상을 기반으로 영유아, 고령자 및 질환자를 PPG와 호흡수(RR)를 예측하는 방식으로 생체신호를 추정함으로써 지속적인 건강 모니터링을 가능하게 한다.

본 발명의 일 실시예에 따른 헬스케어 장치는 COVID-19와 같은 전염병이 지속되는 상황에서 비접촉식으로 영상기반으로 생체신호를 추정하여 영유아, 환자 등의 건강을 모니터링 할 수 있는 효과가 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 인공신경망의 계층 구조(layer structure)를 예시한 도면이다.
도 2는 심탄도 (신호) 파형을 예시한 도면이다.
도 3은 remote PPG (rPPG)를 설명하기 위한 예시적인 도면이다.
도 4는 본 발명의 일 실시예에 따른 헬스케어 장치(400)의 구성을 설명하기 위한 블록도이다.
도 5는 remote PPG 기법을 이용해 MTL 알고리즘 학습 모델에서 PPG 신호, 호흡수(RR) 신호를 출력하는 사항을 설명하기 위한 도면이다.
도 6은 대상자의 스트레스 지수 산출을 위한 PPG 신호 주파수 분석 및 LF점수/HF점수 분포를 예시한 도면이다.
도 7은 본 발명에 따른 헬스케어 장치(400)를 예시한 도면이다.
도 8은 본 발명에 따른 헬스케어 장치(400)가 대상자의 홍채를 검출하는 단계를 예시한 도면이다.
도 9는 본 발명에 따른 헬스케어 장치(400)가 대상자의 눈동자(홍채)를 검출하는 방법을 상세히 설명한 도면이다.

이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 당업자는 본 발명이 이러한 구체적 세부사항 없이도 실시될 수 있음을 안다.

몇몇 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다. 또한, 본 명세서 전체에서 동일한 구성요소에 대해서는 동일한 도면 부호를 사용하여 설명한다.

본 발명을 설명하기에 앞서 인공 지능(AI), 머신 러닝, 딥 러닝에 대해 설명한다. 이러한 세 가지 개념의 관계를 가장 쉽게 파악하는 방법은 세 개의 동심원을 가상하면 된다. 인공 지능이 가장 큰 원이고, 그 다음이 머신 러닝이며, 현재의 인공지능 붐을 주도하는 딥 러닝이 가장 작은 원이라 할 수 있다.

이하 딥러닝에 대해 좀 더 구체적으로 살펴본다.

딥러닝이란 인간의 신경망(Neural Network) 이론을 이용한 인공신경망(Artificial Neural Network, ANN)의 일종으로, 계층 구조(Layer Structure)로 구성하면서 입력층(Input layer)과 출력층(Output layer) 사이에 하나 이상의 숨겨진 층(Hidden layer)(이하, 중간층이라 지칭함)을 갖고 있는 심층 신경망(Deep Neural Network, DNN)을 지칭하는 머신러닝(Machine Learning) 모델 또는 알고리즘의 집합입니다. 간단히 말하면, 딥러닝(Deep Learning)은 심층 계층을 가진 인공신경망이라 할 수 있다.

심층신경망(Deep neural network)는 인공신경망의 후손이라 볼 수 있으며, 기존의 한계를 뛰어넘어서 과거에 수많은 인공 지능 기술이 실패를 겪었던 영역에 성공 사례를 거두고 인공신경망의 최신 버전이다. 생물학적 신경망을 모방하여 인공신경망을 모델링한 내용을 살펴보면 처리 단위(Processing unit) 측면에서는 생물적인 뉴런(neurons)이 노드(nodes)로, 연결성(Connections)은 시냅스(Synapse)가 가중치(weights)로 다음 표 1과 같이 모델링 되었다.

생물학적 신경망	인공신경망
세포체	노드(node)
수상돌기	입력(input)
축삭(Axon)	출력(output)
시냅스	가중치(weight)

도 1은 인공신경망의 계층 구조(layer structure)를 예시한 도면이다.인간의 생물학적 신경세포가 하나가 아닌 다수가 연결되어 의미 있는 작업을 하듯, 인공신경망의 경우도 개별 뉴런들을 서로 시냅스를 통해 서로 연결시켜서 복수개의 계층(layer)이 서로 연결되어 각 층간의 연결 강도는 가중치로 수정(update) 가능하다. 이와 같이 다층 구조와 연결강도로 학습과 인지를 위한 분야에 활용됩니다. 각 노드들은 가중치가 있는 링크들로 연결되어 있고, 전체 모델은 가중치를 반복적으로 조정하면서 학습을 한다. 가중치는 장기 기억을 위한 기본 수단으로서 각 노드들의 중요도를 표현한다. 인공신경망은 이들 가중치를 초기하고 훈련시킬 데이터 세트로 가중치를 갱신하여 조정하여 전체 모델을 훈련(training)시키는 것이다. 훈련이 완료된 후에 새로운 입력값이 들어오면 적절한 출력값을 추론해 내게 된다. 인공신경망의 학습원리는 경험의 일반화로부터 지능이 형성되는 과정이라고 보면 되고 bottom-up 방식으로 이루어지게 된다. 도 1에서 중간층이 2개 이상(즉 5~10개)일 경우를 층이 깊어진다고 보고 심층신경망(Deep Neural Network)이라 하며, 이러한 심층신경망을 통해서 이루어진 학습과 추론 모델을 딥 러닝이라고 지칭할 수 있다.

인공신경망은 입력과 출력을 제외하고 하나의 중간계층(통상적으로 은닉계층, 'hidden layer'라 지칭함)을 가지고 있어도 어느 정도의 역할을 수행할 수 있지만, 문제의 복잡도가 커지면 노드의 수 또는 계층의 수를 증가시켜야 한다. 이 중에서 계층의 수를 증가시켜 다층구조 모델을 가져가는 것이 효과적인데, 효율적인 학습이 불가능하고 네트워크를 학습하기 위한 계산량이 많다는 한계로 인해 활용 범위가 제한적이다.

이전의 심층 신경망들은 보통 앞먹임 신경망으로 설계되어 왔지만, 최근의 연구들은 심층 학습 구조들을 순환 신경망(Recurrent Neural Network, RNN)에 성공적으로 적용했다. 일례로 언어 모델링(language modeling) 분야에 심층 신경망 구조를 적용한 사례 등이 있다. 합성곱 신경망(Convolutional Neural Network, CNN)의 경우에는 컴퓨터 비전(computer vision) 분야에서 잘 적용되었을 뿐만 아니라, 각각의 성공적인 적용 사례에 대한 문서화 또한 잘 되어 있다. 더욱 최근에는 합성곱 신경망이 자동음성인식(Automatic Speech Recognition, ASR)을 위한 음향 모델링(acoustic modeling) 분야에 적용되었으며, 기존의 모델들 보다 더욱 성공적으로 적용되었다는 평가를 받고 있다. 심층 신경망은 표준 오류역전파 알고리즘으로 학습될 수 있다. 이때, 가중치(weight)들은 아래의 등식을 이용한 확률적 경사 하강법(stochastic gradient descent)을 통하여 갱신될 수 있다.

본 발명에서는 소정의 학습된 알고리즘 모델을 이용하여 비접촉 상태에서 얼굴 이미지의 정보만으로 생체와 관련된 정보(심박수, 수면 무호흡 등의 수면 상태, wake/sleep 상태 등) 및 스트레스 지수를 예측하는 헬스케어 장치를 제안하고자 한다. 비접촉식으로 얼굴 영상을 기반으로 PPG와 호흡수(RR)를 예측하는 건강 모니터링 방식은 영유아, 당뇨 등의 질병을 가진 성인 등 지속적인 건강 모니터링이 필요한 대상자에게 적합할 뿐만 아니라 접촉으로 전염되는 COVID-19가 유행하는 환경에서 안전한 건강 모니터링 방식이 될 수 있다. 본 발명에서는 remote PPG(rPPG) 신호 및 심탄도(BCG) 신호를 이용하여 대상자(subject)의 심박수, 스트레스 지수, 수면 무호흡 여부, 웨이크/슬립(wake/sleep) 상태를 예측하는 방법을 제안한다. 이하에서 본 발명에서 사용할 생체 정보로서 인체에 대해 센싱을 통해 획득하는 심탄도, PPG에 대해 먼저 간략히 설명한다.

심박수(Photoplethysmograph, PPG) 센서

심박수 센서의 일 예로서 PPG(Photoplethysmograph) 센서를 설명한다. PPG 센서는 광용 적맥파 센서라고 한다. 광용 적맥파 측정법 (Photoplethysmograph, PPG)은 생체 조직의 광학적 특성을 이용하여 혈관에 흐르는 혈류량을 측정함으로써 심박 활동 상태 혹은 심박수를 알 수 있는 맥파 측정 방법이다. 맥파는 혈액이 심장에서 파상하며 나타내는 맥동성 파형으로, 심장의 이완 수축 작용에 따라 나타나는 혈류량의 변화, 즉 혈관의 용적 변화를 통하여 측정 가능하다. 광용 적맥파 측정법은 빛을 이용하여 맥파를 측정하는 방법으로, 용적 변화시 나타나는 생체조직의 반사, 흡수 투과비 등의 광학적 특성의 변화를 광 센서에서 감지하여 측정하며, 이를 통해 맥박 측정이 가능하다. 이 방법은 비침습적인 맥박 측정이 가능하고 소형화, 사용편의성 등의 장점을 가지고 있어 널리 사용되고 있으며 웨어러블 (wearable) 디바이스에서 생체 신호 감지 센서로 사용될 수 있다.

심탄도(Ballistocardiogram, BCG) 센서

도 2는 심탄도 (신호) 파형을 예시한 도면이다.

심장주기 동안 심실로부터 배출된 혈액이 대동맥을 통과하는 순간 우리 몸에 반동을 전달하게 된다. 이와 관련된 심장 및 혈관에서의 혈류변화에 따른 진동(탄도)을 계측한 신호를 심탄도(Ballistocardiogram, BCG)라고 한다. 심탄도는 심장의 수축과 이완에 따라 심장과 혈관에서의 혈류변화에 따른 탄도를 계측한 신호를 의미하며, 심전도와 유사하게 심장의 활동 상태를 나타내는 지표이다.

심탄도는 심전도와 유사하게 심장의 활동상태를 나타내는 지표로서 심박출량, 심근기능 손상에 따른 역류 및 이상혈류 현상에 대한 정보를 포함하는 것으로 알려져 있다. 따라서 이 생체신호는 심장기능 평가, 심장병(심근장애 등) 진단, 치료효과 확인 및 회복 정도 관찰 등 임상적으로 활용할 수 있는 잠재성을 가지고 있다. 심탄도 신호는 가속도 센서, 로드셀 센서, PVDF필름 센서, EMFi 센서 등을 통해 측정할 수 있다. 이러한 센서들을 이용하면 신체에 전극을 부착할 필요가 없기 때문에 무구속/무자각 상태에서 신호를 계측할 수 있으며, 장시간 또는 일상생활 중 건강 모니터링에 유용하게 활용될 수 있다.

도 2에 도시된 바와 같이, 심탄도 신호에서 심박 패턴은 H, I, J, K 피크로 표현되며 실제 심박으로 인정하는 부분은 J 피크이다. 심탄도 신호에서 심박 패턴은 잡음, 환경, 개인적 영향에 의하여 다양한 형태로 나타나게 되는데 보통 I 피크가 환경 및 측정 조건, 개인차에 따라 눈에 띄게 큰 차이를 보이며 H와 J 피크의 크기가 일정하지 않다. 또한 I 피크가 작은 경우 H 또는 J 피크 중 하나만 큰 형태로 나타나는 경우가 있다.

원격 측정 방법에 대해 간략히 설명한다.

도 3은 remote PPG (rPPG)를 설명하기 위한 예시적인 도면이다.

Remote PPG를 사용하여 원격으로 심박수 및 심박수 변동성을 측정할 수 있다. 도 3에 도시한 바와 같이, 원격으로 심박수 등을 측정하기 위해 고해상도 카메라로 동영상 촬영을 하면 된다. 운전자, 노인, 영유아 모니터링 등 다양한 신체적, 건강, 감정적 모니터링에 유용할 수 있다. Remote PPG는 PPG와 원리는 같지만 비접촉식 측정이다. 정반사(specular reflection)와 난반사 사이의 대비로서 피부에서 변화하는 적색, 녹색, 파랑 빛의 반사의 변화를 측정한다. 정반사는 피부로부터의 순수한 빛 반사이다. 확산 반사(diffuse reflection)는 혈액량 변화에 따라 달라지는 피부 조직의 흡수 및 산란으로 인해 남아 있는 반사이다. 헤모글로빈이 적색광은 반사하고 녹색광은 흡수하는 것을 이용하는 원리이다. 도 3에서는 remote PPG 기법을 이용하여 신호 처리(signal processing) 한 후에 검출된 적색광, 녹색광, 파란색광 파형을 예시하고 있고 이들 각 광 별로 검출된 rPPG 파형도 차이가 있음을 알 수 있다. 원격으로 생체 정보를 모니터링하기 위한 원격측정(Remote Measurement) 기술은 영유아 모니터링, COVID-19같은 전염병 같은 비접촉 모니터링이 요구되는 환경에서 비접촉식으로 얼굴의 정보만으로 생체 정보를 예측할 수 있다는 점에서 그 활용도가 높다. 얼굴 이미지는 대상자의 주변에 있는 주변광(ambient light)을 광원으로 이용하여 획득된다.

Multi-Task Learning (MTL)

심층 신경망과 머신러닝을 사용하여 생체 정보를 예측하는 것이 많이 시도되고 있다. 모바일 의료 시스템의 구현에 있어 다중 작업 학습(Multi-Task Learning, MTL)은 제한된 자원으로 여러 작업을 수행하는 중요한 접근법이다. 안면 비디오 스트림에서 MTL을 사용하여 PPG 신호와 호흡수 신호를 동시에 추출한다. 본 발명에서는 비디오 스트림을 동시에 처리하는 복잡한 가치 기반 다중 작업 학습(Multi-Task Learning, MTL) 알고리즘 모델을 제안한다. 두 개의 안면 영역은 복잡한 값의 신경망 아키텍처에서 동시에 처리되는 복잡한 번호 데이터로 구성된다. 이 복잡한 프로세스를 통해 PPG 신호와 호흡수 신호를 실제 값 단일 작업 학습 알고리즘과 비교하여 보다 효율적이고 정확하게 추출할 수 있다.

MTL(Multi Task Learning)은 공유된 Layer를 통해 두 가지 이상의 여러 task를 동시에 학습하여, 예측하는 모델 학습 방법이다. 연관성이 있는 task를 동시에 학습함으로써 learned representation을 공유하고, 이로써 좋은 representation을 가지고 서로의 task가 모델 학습에 도움을 줄 수 있다. 학습하면 얻은 유용한 정보가 다른 task에 좋은 영향을 주어 더 좋은 모델이 되는데 기여할 수 있다. 그리고 여러 task를 동시에 예측함으로써 overfitting에 보다 강한 generalized 된 모델로 학습되게 되고, 기존의 두 task를 각자 만들어야 했던 것에 있어서 하나의 모델로 만들어 졌기 때문에 모델을 경량화 하는데 크게 도움이 되어, 스마트폰 같은 모바일 기기에 적하기에 보다 유리하다.

도 4는 본 발명의 일 실시예에 따른 헬스케어 장치(400)의 구성을 설명하기 위한 블록도이고, 도 5는 remote PPG 기법을 이용해 MTL 알고리즘 학습 모델에서 PPG 신호, 호흡수(RR) 신호를 출력하는 사항을 설명하기 위한 도면이다.

도 4를 참조하면, 본 발명에 따른 헬스케어 장치(400)는 프로세서(410), 카메라(420), 베드(430), BCG 센서(440), 디스플레이부(450), 통신부(460), 본체 프레임(470) 및 베드 움직임 제어부(480)를 포함할 수 있다.

카메라(420)는 대상자(예를 들어, 베드(430)에 누워있는 영유아)의 얼굴을 촬영한다. 카메라(420)는 촬영한 대상자의 얼굴 이미지를 통신부(460) 등을 통해 프로세서(410)로 전송해 줄 수도 있다. 프로세서(410)는 대상자의 얼굴 이미지를 획득할 수 있다. 여기서 촬영된 대상자의 얼굴 이미지는 컬러 이미지로서 RGB 이미지일 수 있다.

도 5를 참조하면, 프로세서(410)는 대상자의 얼굴을 촬영한 오리지널 데이터(510)를 획득하여 오리지널 데이터(510) 내에서 대상자의 얼굴 이미지 (520)를 검출할 수 있다. 프로세서(410)는 검출된 얼굴 이미지(520)로부터 관심영역 프레임(530, 540)을 획득하고, 각 관심영역 프레임(530, 540)에서 이마(forehead) 영역(430)과 볼(cheek) 영역(560)을 검출할 수 있다. 프로세서(410)는 이미지 프로세싱에 사용되는 딥러닝 네트워크인 CNN(Convolutional Neural Network), Siamese neural network (SNN) 등을 이용하여 얼굴 이미지를 학습하여 PPG 신호, 호흡수 신호를 예측할 수 있다. 본 발명에서는 Multi-task learning 알고리즘 학습 모델이 Siamese neural network (SNN)을 이용하는 것이 바람직할 수 있다. 프로세서(410)는 얼굴 이미지(520)에서 추출한 이마와 볼의 이미지의 모든 영역에 필터(커널)를 반복 적용하여 패턴을 찾아내서 학습한다. 이마와 볼을 추출한 이유는 심장으로부터 올라오는 혈액의 시간차이로 인하여 신체의 두 부위간 차이를 유의미한 정보로서 활용하여 모델을 학습하기 위해서이다.

검출된 이마(forehead) 영역에 대한 이미지, 볼 영역에 대한 이미지는 컬러 이미지이다. 설명의 편의를 위해 이마 영역에 대한 이미지(550)를 제 1 컬러 이미지, 볼 영역에 대한 이미지(560)을 제 2 컬러 이미지라고 칭한다. 이때, 프로세서(410)는 제 1 컬러 이미지와 제 2 컬러 이미지를 흑백영상으로 변환하여 제 1 컬러 이미지로부터 제 1 흑백 이미지를, 제 2 컬러 이미지로부터 제 2 흑백 이미지를 획득한다. 프로세서(410)는 흑백으로 변환한 후에 MTL(예를 들어, Multi-task Siamese network)를 통해 학습하고 PPG 신호와 호흡수 신호를 예측한다.

도 5에 도시한 바와 같이, 프로세서(410)는 이마 부위에 대한 제 1 컬러 이미지와 볼 부위에 대한 제 2 컬러 이미지를 각각 제 1 흑백 이미지 및 제 2 흑백 이미지로 변환해서 Siamese neural network (SNN)을 이용하는 소정의 학습된 Multi-task Learning 알고리즘 모델에 입력한다. 프로세서(410)는 상기 제 1 흑백 이미지 및 상기 제 2 흑백 이미지를 소정의 학습된 Multi-task Learning 알고리즘 모델에 적용하여 대상자의 원격 PPG 신호 파형(혹은 rPPG 기법으로 출력한 PPG 신호 파형이라고 칭할 수도 있음), 호흡수(RR) 파형을 출력한다. 상술한 바와 같이, 프로세서(410)가 이마 부위 및 볼 부위에 대해 각각 컬러 이미지를 흑백 이미지로 변환해서 소정의 학습된 알고리즘 모델에 입력하는 것은 소정의 설정된 낮 시간이거나 주변이 소정 밝기 이상인 경우에 적용하는 것이 바람직하다. 프로세서(410)는 카메라(420)가 상기 소정의 설정된 낮 시간이거나 주변이 소정 밝기 이상인 경우에는 대상자의 얼굴을 촬영하여 컬러 이미지를 획득하도록 제어할 수 있다.

이와 달리, 소정의 설정된 밤 시간이거나 주변이 소정의 밝기 이하인 경우에는 프로세서(410)는 카메라(420)또는 적외선 영상 촬영을 위한 별도로 구비된 카메라가 대상자의 얼굴을 촬영하여 적외선(IR) 영상을 획득하도록 제어할 수 있다. 소정의 설정된 밤 시간이거나 주변이 소정의 밝기 이하인 경우에는, 카메라(420)는 대상자의 얼굴을 촬영하여 적외선(IR) 영상을 획득하고, 프로세서(410)는 적외선 영상에서 얼굴에 해당하는 관심영역(ROI)를 검출하고, 검출된 관심영역 중에서 이마(forehead) 부위에 대한 제 1 이미지를 획득하고 볼(cheek) 부위에 대한 제 2 이미지를 획득할 수 있다. 그리고, 프로세서(410)는 적외선 영상으로부터 각각 획득된 상기 제 1 이미지 및 상기 제 2 이미지를 소정의 학습된 Multi-task Learning 알고리즘 모델에 적용하여 상기 대상자의 원격 PPG(remote Photoplethysmography, rPPG) 신호 파형을 출력할 수 있다. 이후, 프로세서(410)는 상기 센싱된 BCG 신호 파형으로부터 제 1 심박수를, 상기 출력된 원격 PPG 신호 파형으로부터 제 2 심박수를 산출하여 상기 제 1 심박수 및 상기 제 2 심박수에 기초해 상기 대상자의 심박수를 출력할 수 있다.

이와 같이, 프로세서(410)는 시간 대 혹은 주변 밝기도에 따라 대상자의 얼굴을 컬러 이미지로 획득할지 적외선 영상으로 획득할지를 선택할 수 있다. 프로세서(410)는 시간 대 혹은 주변 밝기도에 기초한 선택에 따라 컬러 이미지를 흑백 이미지로 변환하여 소정의 학습된 알고리즘(MTL 알고리즘) 모델에 입력하여 적용하거나, 적외선 영상으로부터 획득한 이미지를 소정의 학습된 알고리즘 모델에 입력하여 적용할 수 있다.

본 발명에 따른 헬스케어 장치(400)는 대상자(예, 영유아)가 누울 수 있는 베드(430)를 포함할 수 있다. 베드(430)의 커버 내부에 BCG 센서(440)가 부착되어 있을 수 있다. BCG 센서(440)는 베드 커버의 내부 표면에 구비되어 있기 때문에 대상자가 누웠을 때 등, 옆구리 등으로부터 심탄도 신호를 센싱할 수 있다.

프로세서(410)는 BCG 센서(440)으로부터 획득한 심탄도 신호 파형으로부터 심박수를 산출하고, 소정의 학습된 MTL 알고리즘 모델로부터 PPG 신호 파형을 획득하고, 획득한 PPG 신호 파형으로부터 심박수를 산출할 수 있다. 여기서, 심탄도 신호 파형으로부터 산출한 심박수를 제 1 심박수, PPG 신호 파형으로부터 산출한 심박수를 제 2 심박수라고 칭한다. 제 1 심박수는 단위 시간당(예, 1분) BCG 신호 파형 중 J-피크의 검출 횟수로 산출되고, 제 2 심박수는 단위 시간당(예, 1분) rPPG 신호 파형의 피크 횟수로 산출될 수 있다. 프로세서(410)는 심탄도 신호 파형으로부터 산출한 상기 제 1 심박수 및 remote PPG 기법을 이용하여 획득한 PPG 신호 파형으로부터 산출한 상기 제 2 심박수에 기초해 대상자의 심박수를 출력할 수 있다. 일 예로서, 프로세서(410)는 상기 제 1 심박수 및 상기 제 2 심박수를 평균한 심박수를 출력할 수 있다.

또한, 프로세서(410)는 심탄도 신호 파형으로부터 심박변이도(Heart Rate Variability, HRV)를 산출할 수 있다. 심박변이도는 일 예로서 다음 수학식 1에 의해 산출할 수 있다. 여기서, 심탄도 신호 파형으로부터 산출된 심박변이도를 제 1 심박변이도라고 칭한다.

프로세서(410)는 다음 수학식 2에 기초하여 rPPG 기법으로부터 산출된 PPG 파형으로부터 심박변이도를 산출할 수 있다. 여기서, PPG 신호 파형으로부터 산출된 심박변이도를 제 2 심박변이도라고 칭한다.

도 6은 대상자의 스트레스 지수 산출을 위한 PPG 신호 주파수 분석 및 LF점수/HF점수 분포를 예시한 도면이다.

프로세서(410)는 스트레스 지수 산출을 위해 PPG 신호 파형의 주파수 분석, BCG 신호 파형의 주파수 분석이 필요하다. 도 6에서는 일 예로서 PPG 신호 파형의 주파수 분석을 도시하였다. 프로세서(410)는 제 1 심박변이도에 기초하여 대상자의 제 1 스트레스 지수(점수)를 산출하고, 제 2 심박변이도에 기초하여 대상자의 제 2 스트레스 지수를 산출할 수 있다. 여기서, 제 1 스트레스 지수 및 제 2 스트레스 지수를 산출하는 방법은 다음 수학식 3과 같다.

수학식 3에서 교감 신경계의 신호(LF), 부교감 신경계의 신호(HF)를 계산하여 스트레스 지수로 환산한다.

상기 수학식 3 및 도 6의 (a)를 참조하여 설명한다. LF(교감신경)는 Low Frequency 0.04~0.15Hz 사이에서의 심박변이도의 power spectral density의 적분값이다. HF(부교감신경)는 High Frequency 0.15~0.40Hz 사이에서의 심박변이도의 power spectral density 그래프에서 적분값이다. 스트레스 지수(점수)는 LF power와 HF power에 자연로그를 취한 뒤 범위에 따라 LF 점수와 HF 점수를 계산하여 스트레스 점수 환산한다. 5번 영역이 정상이며, 5번에서 얼마나 떨어져 있는지를 나타내는 점수이다.

프로세서(410)는 상기 수학식 1 및 상기 수학식 3에 기초하여 대상자의 제 1 스트레스 지수(점수)를 산출하고, 상기 수학식 2 및 상기 수학식 3에 기초하여 제 2 스트레스 지수를 산출할 수 있다. 프로세서(410)는 상기 제 1 스트레스 지수 및 상기 제 2 스트레스 지수에 기초하여 대상자의 스트레스 지수를 출력할 수 있다. 일 예로서, 프로세서(410)는 상기 제 1 및 제 2 스트레스 지수를 평균한 값을 대상자의 스트레스 지수로 출력할 수 있다.

프로세서(410)는 Siamese neural network (SNN)을 이용하는 소정의 학습된 Multi-task Learning 알고리즘 모델에 기초하여 PPG 신호 파형 이외에 호흡수(RR) 신호 파형도 출력한다. 프로세서(410)는 출력된 호흡수 신호 파형에 기초하여 대상자(예, 영유아)의 수면 무호흡 여부 등을 판단하는 등 대상자의 건강 모니터링 기능도 수행한다. 프로세서(410)는 출력된 호흡수 신호 파형, 호흡수 등을 대상자를 모니터링하는 사람이 볼 수 있게 디스플레이부(450)에 디스플레이하도록 제어할 수 있다. 또한, 프로세서(410)는 출력된 심박수, 출력된 스트레스 지수, 출력된(혹은 산출된) 호흡수를 디스플레이부(450)에 디스플레이되도록 제어함으로써 외부에서 대상자의 건강 상태를 모니터링할 수 있도록 한다.

통신부(460)는 출력된 심박수, 출력된 스트레스 지수, 출력된 호흡수 등의 정보를 WiFi, Bluetooth 등을 통해 대상자의 건강 모니터링을 수행하는 사용자의 단말기 혹은 서버에 주기적 혹은 비주기적으로 전송해 줄 수 있다. 비주기적은 경우는 출력된 심박수, 출력된 스트레스 지수, 출력된 호흡수 중 적어도 어느 하나가 소정의 임계치를 초과하는 경우에만 전송해 주는 것이다. 일 예로서, 출력된 호흡 수가 수면 무호흡 상태인 것으로 판단되는 경우에만 통신부(460)가 연동 단말기로 전송해 줄 수도 있다. 사용자는 자신의 연동된 단말기를 통해 대상자의 건강 모니터링 정보를 주기적 혹은 비주기적으로 수신하여 대상자의 건강 상태를 체크할 수 있다.

도 7은 본 발명에 따른 헬스케어 장치(400)를 예시한 도면이다.

도 7을 참조하면, 헬스케어 장치(400)의 본체프레임(470)은 베드(430)를 하부에서 지지하는 하부 지지부, 베드(430)를 둘러싸 대상자가 베드(430)에서 낙상하지 않도록 가드 역할을 수행하는 측면 지지부(475)를 포함할 수 있다. 측면 지지부(475)에 카메라(420)가 위치하여 대상자의 얼굴을 촬영할 수 있다. 대상자가 베드(430)에서 누운 상태로 움직임에 따라 대상자의 얼굴을 추적하기 위해 측면 지지부(475)에 카메라(420)가 이동할 수 있게 하는 이동부재가 구비될 수 있다. 카메라(420)는 대상자의 누워 있는 자세 및 방향을 고려하여 본체프레임(470)의 측면 지지부(475)에서 이동하며 대상자의 얼굴이 촬영할 수 있다.

도 8은 본 발명에 따른 헬스케어 장치(400)가 대상자의 홍채를 검출하는 단계를 예시한 도면이고, 도 9는 본 발명에 따른 헬스케어 장치(400)가 대상자의 눈동자(홍채)를 검출하는 방법을 상세히 설명한 도면이다.

도 8을 참조하면, 카메라(420)는 대상자의 얼굴을 촬영한다. 프로세서(410)는 관심영역인 대상자의 얼굴 영역의 이미지(810)를 검출하고, 검출된 얼굴 이미지(810)에서 대상자의 두 눈(Eye) 부위 이미지(820)을 추출한다. 그리고, 프로세서(410)는 검출된 두 눈 부위 이미지(820)에서 두 홍채를 검출한다. 이때, 프로세서(410)는 검출된 두 눈 부위 이미지(820)에서 두 홍채가 모두 검출 혹은 인식되었으면 대상자가 깨어 있는(Wake) 상태인 것으로 판단한다. 이와 달리, 프로세서(410)는 검출된 두 눈 부위 이미지(820)에서 두 홍채가 모두 인식되지 않는 상태가 소정 시간 지나면 대상자가 수면 혹은 슬립(sleep) 상태인 것으로 판단할 수 있다.

도 9를 참조하면, 프로세서(410)는 대상자의 얼굴 이미지에서 눈 부위 영역을 검출하여 눈 부위 이미지(910)를 획득할 수 있다. 프로세서(410)는 획득한 눈 부위 이미지(910)에서 눈동자를 검출하여 눈동자 부위 이미지(920)를 획득하고, 눈동자 부위 이미지(920)에서 눈썹 및 노이즈를 제거한 후 눈동자 이미지(930)를 획득한다. 프로세서(410)가 눈 동자 이미지(930)에 기초하여 홍채(950)를 검출하여 눈 부위 이미지(940)에서 표시할 수 있다.

도 9에서는 설명의 편의를 위해 하나의 눈만 도시하고 있으나 카메라(420) 및 프로세서(410)는 대상자의 두 눈에 대해 촬영, 이미지 프로세싱 등을 수행한다.

프로세서(410)는 대상자(예, 영유아)가 깨어 있는 상태인 것으로 판단되면 베드 움직임 제어부(480)를 제어하여 베드(430)에서 동작중인 바운스 기능을 유지하도록 제어할 수 있다. 베드 움직임 제어부(480)는 베드(430)의 하부에 구비되어 프로세서(410)의 제어에 따라 베드(430)의 상판의 수평, 수직 움직임을 제어함으로써 베드(430)의 바운스 기능을 수행한다. 이와 달리, 프로세서(410)는 대상자가 슬립 상태인 것으로 판단되면 베드 움직임 제어부(480)를 제어하여 베드(410)의 상판의 수평, 수직 움직임을 제어하여 바운스 기능을 서서히 멈추도록 할 수 있다.

기존에는 눈 주변의 명암과 눈썹의 위치 등을 이용하여 눈 위치를 검출함에 따라 얼굴의 다른 부위를 눈으로 잘못 인식하는 등의 문제가 발생하였다. 그러나, 상술한 바와 같은 본 발명에 따른 프로세서(410)가 대상자의 눈의 위치를 찾는 것이 아니라 두 눈 부위 이미지(820)에서의 홍채를 검출하여 홍채가 인식되는지 여부를 파악한 후에 대상자가 깨어 있는 상태인지 슬립 상태인지를 추정하기 때문에 대상자의 Wake/sleep 상태 파악에 대한 정확도가 매우 향상되었다.

이상에서 설명된 실시예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성하는 것도 가능하다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.

본 발명에서 프로세서(410)는 하드웨어(hardware) 또는 펌웨어(firmware), 소프트웨어, 또는 이들의 결합에 의해 구현될 수 있다. 하드웨어를 이용하여 본 발명의 실시예를 구현하는 경우에는, 본 발명을 수행하도록 구성된 ASICs(application specific integrated circuits) 또는 DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays) 등이 프로세서(410)에 구비될 수 있다. 본 발명에 따른 헬스케어를 위한 모니터링 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현될 수도 있다.

본 발명은 본 발명의 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims

헬스케어 장치에 있어서,
대상자의 심탄도(Ballistocardiogram, BCG) 신호를 센싱하기 위한 BCG 센서;
대상자의 얼굴을 촬영하여 얼굴 컬러 이미지를 획득하는 카메라; 및
상기 얼굴 컬러 이미지에서 얼굴에 해당하는 관심영역(ROI)를 검출하고,
상기 검출된 관심영역 중에서 이마(forehead) 부위에 대한 제 1 컬러 이미지를 검출한 후 흑백 이미지로 변환하여 제 1 흑백 이미지를 획득하고 볼(cheek) 부위에 대한 제 2 컬러 이미지를 검출한 후 흑백 이미지로 변환하여 제 2 흑백 이미지를 획득하며,
상기 획득한 제 1 흑백 이미지 및 제 2 흑백 이미지를 소정의 학습된 알고리즘 모델에 적용하여 상기 대상자의 원격 PPG(remote Photoplethysmography, rPPG) 신호 파형을 출력하고,
상기 센싱된 BCG 신호 파형으로부터 제 1 심박수를, 상기 출력된 원격 PPG 신호 파형으로부터 제 2 심박수를 산출하여 상기 제 1 심박수 및 상기 제 2 심박수에 기초해 상기 대상자의 심박수를 출력하는 프로세서를 포함하는, 헬스케어 장치.
제 1항에 있어서,
상기 출력된 심박수는 상기 제 1 심박수 및 상기 제 2 심박수를 평균한 심박수에 해당하는, 헬스케어 장치.
제 1항에 있어서,
상기 소정의 학습된 알고리즘 모델은 Multi-task Learning의 Siamese Neural Networks (SNN)을 이용하는, 헬스케어 장치.
제 1항에 있어서,
상기 프로세서는,
상기 관심영역에서 두 눈 부위 이미지들을 검출하고, 검출된 두 눈 부위 이미지에서 두 눈동자 이미지를 검출하되,
상기 검출된 두 눈동자 이미지에서 두 홍채를 검출하여 모두 인식하였으면 상기 대상자가 깨어 있는(Wake) 상태인 것으로 판단하는, 헬스케어 장치.
제 4항에 있어서,
상기 프로세서는,
상기 검출된 두 눈동자 이미지에서 두 홍채가 모두 인식되지 않는 상태가 소정 시간 지나면 상기 대상자가 슬립(sleep) 상태인 것으로 판단하는, 헬스케어 장치.
제 4항에 있어서,
상기 대상자에 해당하는 영유아가 누울 수 있는 베드를 더 포함하고,
상기 프로세서는 상기 대상자가 깨어 있는 상태인 것으로 판단되면 상기 베드에 동작중인 바운스 기능을 유지하도록 제어하는, 헬스케어 장치.
제 5항에 있어서,
상기 대상자가 누울 수 있는 베드를 포함하고,
상기 프로세서는 상기 대상자가 슬립 상태인 것으로 판단되면 상기 베드의 수직 및 수평 움직임을 제어하여 바운스 기능을 서서히 멈추도록 제어하는, 헬스케어 장치.
제 1항에 있어서,
본체 프레임을 더 포함하고,
상기 카메라는 상기 대상자의 누워 있는 자세 및 방향을 고려하여 상기 대상자의 얼굴이 촬영되도록 상기 본체 프레임 상에서 이동할 수 있는, 헬스케어 장치.
제 1항에 있어서,
상기 출력된 심박수를 연동된 단말기로 전송하기 위한 통신부를 더 포함하는, 헬스케어 장치.
제 1항에 있어서,
상기 대상자가 누울 수 있는 베드를 더 포함하고,
상기 BCG 센서는 베드를 커버하는 커버 내부 표면에 부착되도록 구비되는, 헬스케어 장치.
제 1항에 있어서,
상기 프로세서는, 상기 획득한 제 1 흑백 이미지 및 제 2 흑백 이미지를 소정의 학습된 알고리즘 모델에 적용하여 상기 대상자의 호흡수 신호 파형을 출력하고, 상기 출력된 호흡수 신호 파형에 기초하여 호흡수를 산출하고, 상기 산출된 호흡수에 기초하여 상기 대상자의 수면 무호흡 여부를 판단하는, 헬스케어 장치.
제 11항에 있어서,
상기 산출된 호흡수를 연동된 단말기로 전송하기 위한 통신부를 더 포함하는, 헬스케어 장치.
헬스케어 장치에 있어서,
대상자의 심탄도(Ballistocardiogram, BCG) 신호를 센싱하기 위한 BCG 센서;
소정의 설정된 밤 시간이거나 주변이 소정의 밝기 이하인 경우에는 대상자의 얼굴을 촬영하여 적외선(IR) 영상을 획득하는 카메라; 및
상기 적외선 영상에서 얼굴에 해당하는 관심영역(ROI)를 검출하고,
상기 검출된 관심영역 중에서 이마(forehead) 부위에 대한 제 1 이미지를 획득하고 볼(cheek) 부위에 대한 제 2 이미지를 획득하며,
상기 획득한 제 1 이미지 및 제 2 이미지를 소정의 학습된 알고리즘 모델에 적용하여 상기 대상자의 원격 PPG(remote Photoplethysmography, rPPG) 신호 파형을 출력하고,
상기 센싱된 BCG 신호 파형으로부터 제 1 심박수를, 상기 출력된 원격 PPG 신호 파형으로부터 제 2 심박수를 산출하여 상기 제 1 심박수 및 상기 제 2 심박수에 기초해 상기 대상자의 심박수를 출력하는 프로세서를 포함하는, 헬스케어 장치.
헬스케어를 위한 모니터링 방법에 있어서,
대상자의 심탄도(Ballistocardiogram, BCG) 신호를 센싱하는 단계;
대상자의 얼굴을 촬영하여 얼굴 컬러 이미지를 획득하는 단계;
상기 얼굴 컬러 이미지에서 얼굴에 해당하는 관심영역(ROI)를 검출하는 단계;
상기 검출된 관심영역 중에서 이마(forehead) 부위에 대한 제 1 컬러 이미지를 검출한 후 흑백 이미지로 변환하여 제 1 흑백 이미지를 획득하고 볼(cheek) 부위에 대한 제 2 컬러 이미지를 검출한 후 흑백 이미지로 변환하여 제 2 흑백 이미지를 획득하는 단계;
상기 획득한 제 1 흑백 이미지 및 제 2 흑백 이미지를 소정의 학습된 알고리즘 모델에 적용하여 상기 대상자의 원격 PPG(remote Photoplethysmography, rPPG) 신호 파형을 출력하는 단계; 및
상기 센싱된 BCG 신호 파형으로부터 제 1 심박수를, 상기 출력된 원격 PPG 신호 파형으로부터 제 2 심박수를 산출하고 상기 제 1 심박수 및 상기 제 2 심박수에 기초해 상기 대상자의 심박수를 출력하는 단계를 포함하는, 헬스케어를 위한 모니터링 방법.
제 14항에 있어서,
상기 관심영역에서 두 눈 부위 이미지들을 검출하고, 검출된 두 눈 부위 영역에서 두 눈동자 이미지들을 검출하는 단계; 및
상기 검출된 두 눈동자 이미지들에서 두 홍채가 모두 인식되었으면 상기 대상자가 깨어 있는(Wake) 상태인 것으로 판단하는 단계를 더 포함하는, 헬스케어를 위한 모니터링 방법.
제 15항에 있어서,
상기 검출된 두 눈동자 이미지들에서 두 홍채가 모두 인식되지 않는 상태가 소정 시간 지나면 상기 대상자가 슬립(sleep) 상태인 것으로 판단하는 단계를 더 포함하는, 헬스케어를 위한 모니터링 방법.
제 14항에 있어서,
상기 획득한 제 1 흑백 이미지 및 제 2 흑백 이미지를 소정의 학습된 알고리즘 모델에 적용하여 상기 대상자의 호흡수 신호 파형을 출력하는 단계;
상기 출력된 호흡수 신호 파형에 기초하여 호흡수를 산출하는 단계; 및
상기 산출된 호흡수에 기초하여 상기 대상자의 수면 무호흡 여부를 판단하는 단계를 더 포함하는, 헬스케어를 위한 모니터링 방법.
제 17항에 있어서,
상기 산출된 호흡수를 연동된 단말기로 전송하는 단계를 더 포함하는, 헬스케어를 위한 모니터링 방법.
헬스케어를 위한 모니터링 방법에 있어서,
대상자의 심탄도(Ballistocardiogram, BCG) 신호를 센싱하는 단계;
소정의 설정된 밤 시간이거나 주변이 소정의 밝기 이하인 경우에는 대상자의 얼굴을 촬영하여 적외선(IR) 영상을 획득하는 단계;
상기 적외선 영상에서 얼굴에 해당하는 관심영역(ROI)를 검출하는 단계;
상기 검출된 관심영역 중에서 이마(forehead) 부위에 대한 제 1 이미지를 획득하고 볼(cheek) 부위에 대한 제 2 이미지를 획득하는 단계;
상기 획득한 제 1 이미지 및 제 2 이미지를 소정의 학습된 알고리즘 모델에 적용하여 상기 대상자의 원격 PPG(remote Photoplethysmography, rPPG) 신호 파형을 출력하는 단계; 및
상기 센싱된 BCG 신호 파형으로부터 제 1 심박수를, 상기 출력된 원격 PPG 신호 파형으로부터 제 2 심박수를 산출하여 상기 제 1 심박수 및 상기 제 2 심박수에 기초해 상기 대상자의 심박수를 출력하는 단계를 포함하는, 헬스케어를 위한 모니터링 방법.
제 14항 내지 제 19항 중 어느 한 항에 기재된 헬스케어를 위한 모니터링 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.