KR20220146251A

KR20220146251A - 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 시스템 및 그 방법

Info

Publication number: KR20220146251A
Application number: KR1020210053285A
Authority: KR
Inventors: 김대열; 김진수
Original assignee: (주)티비스톰
Priority date: 2021-04-23
Filing date: 2021-04-23
Publication date: 2022-11-01
Also published as: WO2022225199A1; US20220338757A1

Abstract

본 발명은 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 시스템 및 그 방법에 관한 것으로, 카메라로 촬영한 얼굴영상의 색정보를 이용하여 추출한 심박수, 호흡수, 산소포화도 등을 포함한 생체 징후 데이터와 온라인상에서 이루어지는 전자 문진의 결과를 통해서 사용자의 건강 상태를 비대면으로 측정함으로써, 각종 감염병에 대한 모니터링을 수행하고, 질병 및 감염병 발생에 신속하게 대응할 수 있도록 하는 시스템 및 그 방법에 관한 것이다.

Description

카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 시스템 및 그 방법{SYSTEM AND METHOD FOR UNTACT HEALTH STATUS MEASUREMENT THROUGH CAMERA-BASED VITAL SIGN DATA EXTRACTION AND ELECTRONIC HEALTH QUESTIONNAIRE}

본 발명은 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 카메라로 촬영한 얼굴영상의 색정보를 이용하여 추출한 심박수, 호흡수, 산소포화도 등을 포함한 생체 징후 데이터와 온라인상에서 이루어지는 전자 문진의 결과를 통해서 사용자의 건강 상태를 비대면으로 측정함으로써, 각종 감염병에 대한 모니터링을 수행하고, 질병 및 감염병 발생에 신속하게 대응할 수 있도록 하는 시스템 및 그 방법에 관한 것이다.

코로나 등의 감염병이 전세계적으로 유행하면서, 감염병에 감염되었는지를 확인하거나 신체에 이상이 발생하였음을 판단하는 기술에 대한 관심이 크게 증대되고 있다.

감염병에 감염된 사람은 심장 박동, 호흡, 산소포화도 등의 생체 징후 데이터가 일반 사람들과 다른 특성이나 패턴을 가진다. 하지만, 어느 하나의 단일 생체 징후 데이터만으로는 전염병 감염 여부에 대한 확인은 물론, 접촉 환자 및 동선 등과 같은 추가적인 2차 감염에 대한 중요 사항을 체크하기 어렵다. 그러므로 각종 감염병에 대한 조기 스크리닝과 2차 감염에 대해 신속하게 대응할 수 있는 시스템의 도입이 필요한 실정이다.

한편, 사람의 질병 여부를 확인할 경우, 상기 심장 박동, 호흡, 산소포화도 등의 생체 징후 데이터 이외에, 의사나 간호사 등의 의료진이 환자를 대상으로 질병과 관련된 여러 가지 사항을 문진하여 질병 여부를 판단할 수 있다.

기존의 문진 방식은 의료진이 환자를 직접 대면하여 진행하는 방식이 대표적이며, 그 이외에 스마트폰 혹은 전용 통신단말을 이용하여 환자에게 준비된 질문을 하고, 이에 대한 답변을 받아 처리하는 전자 문진 방식이 있다. 이때 의료진은 데이터베이스로 구축되어 있는 각 환자의 과거 의료정보를 직접 열람하면서 문진을 수행할 수 있다.

하지만 의료진이 환자와 직접 대면하면서 문진을 수행할 경우, 문진 과정에서 새로운 감염병 환자가 발생하거나 의료진의 추가 피해 문제가 발생할 수 있다. 또한 종래의 문진 방식을 이용한 진단은 의료 데이터와 연동이 어려울 뿐만 아니라 사용자의 현재 신체 상태 데이터를 확인하지 못하고 과거 이력만 확인할 수 있는 문제점이 있다.

따라서 본 발명에서는 카메라로 촬영한 얼굴영상의 색정보를 이용하여 추출한 심박수, 호흡수, 산소포화도 등의 생체 징후 데이터와 온라인상에서 이루어지는 전자 문진의 결과를 통해서 별다른 의료장비 없이 스마트폰을 포함한 사용자 단말만으로 사용자의 현재 건강 상태를 비대면으로 측정할 수 있도록 함으로써, 사용자의 각종 감염병에 대한 모니터링을 수행하고 감염 확산에 신속하게 대응할 수 있는 방안을 제시하고자 한다.

또한, 본 발명은 비대면 건강상태 측정 시스템측에서 각 사용자 단말로 다양하게 설정된 카메라 설정값을 제공하고, 상기 제공한 카메라 설정값에 따라 사용자 단말에서 촬영한 사용자의 얼굴영상으로부터 객관적인 색정보를 획득함으로써, 정확하고 신뢰도 높은 생체 징후 데이터를 추출할 수 있는 방안을 제시하고자 한다.

다음으로 본 발명의 기술분야에 존재하는 선행발명에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행발명에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.

먼저 한국공개특허 제2021-0025811호(2021.03.10.)는 생체정보 수집 및 온라인 문진을 이용한 건강관리케어 서비스 제공 서버에 관한 것으로, 스마트 단말에 포함된 센서 뿐 아니라 웨어러블 장치로부터 얻은 생체정보를 이용하여 사용자가 번거롭게 매일 입력하지 않아도 자동으로 기록되도록 하는, 생체정보 수집 및 온라인 문진을 이용한 건강관리케어 서비스 제공 방법에 관한 선행발명이다.

즉, 상기 선행발명은 맥박, 혈당, 혈압 등의 생체정보와 문진을 이용하여 일상생활에서 사용자의 건강습관을 개선할 수 있도록 도와주는 플랫폼에 대해 기재하고 있다.

하지만, 본 발명은, 상기 선행발명처럼 센서나 웨어러블 장치로부터 얻은 생체정보와 문진으로 건강습관을 개선하는데 도움을 주는 기술과 달리, 카메라로 촬영한 얼굴영상의 색정보를 이용하여 추출한 생체 징후 데이터와 전자 문진의 결과를 종합적으로 판단하여 사용자의 현재 건강 상태를 비대면으로 측정하며, 각 사용자 단말로 다양하게 설정된 카메라 설정값을 제공하고 이를 통해 촬영한 사용자의 얼굴영상으로부터 객관적인 색정보를 획득하여 생체 징후 데이터를 추출할 수 있도록 하는 것이므로, 상기 선행발명과 본 발명은 현저한 구성상의 차이점이 있다.

또한 한국등록특허 제2141597호(2020.08.05.)는 반려견의 생체정보 인식장치에 관한 것으로, 반려견과 접촉하지 않고도, 원거리 영상 촬영을 통해 반려견의 홍채 또는 비문과 같은 생체정보를 획득할 수 있고, 사람에게 비협조적인 반려견으로부터도 반려견 인식 및 식별에 적합한 생체정보를 쉽게 획득할 수 있는 반려견의 생체정보 인식장치에 관한 선행발명이다.

즉, 상기 선행발명은 얼굴방향 유도부를 이용하여 반려견의 관심을 유발하고, 반려견이 생체정보 인식장치를 지속적으로 쳐다보도록 하므로, 반려견의 홍채 또는 비문에 대한 이미지를 촬영하는 데 매우 효율적인 반려견의 생체정보 인식장치를 기재하고 있다.

반면에 본 발명은, 상기 선행발명처럼 이미지로부터 직접 홍채 또는 비문에 대한 이미지를 얻는 것이 아니라, 카메라로 촬영한 얼굴영상의 색정보를 이용하여 추출한 생체 징후 데이터와 전자 문진의 결과를 통해서 별다른 의료장비 없이 스마트폰의 사용자 단말만으로 사용자의 현재 건강 상태를 비대면으로 측정하며, 각 사용자 단말로 다양하게 설정된 카메라 설정값을 제공하고 이를 통해 촬영한 사용자의 얼굴영상으로부터 객관적인 색정보를 획득하여 정확하고 신뢰도 높은 생체 징후 데이터를 추출할 수 있도록 하는 것이므로, 상기 선행발명과 본 발명은 기술적 구성의 차이점이 분명하다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 별다른 의료장비 없이 사용자가 보유한 스마트폰을 포함한 사용자 단말만으로 사용자의 현재 건강 상태를 비대면으로 측정할 수 있도록 하는 시스템 및 그 방법을 제공하는 것을 목적으로 한다.

또한 본 발명은 각 사용자의 각종 감염병에 대한 모니터링을 수행하고 감염 확산에 신속하게 대응할 수 있도록 하는 시스템 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.

또한 본 발명은 사용자의 얼굴영상의 색정보를 이용하여 추출한 심박수, 호흡수, 산소포화도 등의 생체 징후 데이터와 온라인상에서 이루어지는 전자 문진의 결과를 통해서 사용자의 건강 상태를 비대면으로 측정할 수 있도록 하는 시스템 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.

또한 본 발명은 카메라로 촬영한 얼굴영상의 색정보를 이용하여 생체 징후 데이터를 추출할 경우, 비대면 건강상태 측정 시스템 측에서 각 사용자 단말로 다양하게 설정된 카메라 설정값을 제공하고, 상기 제공한 카메라 설정값에 따라 촬영한 사용자의 얼굴영상으로부터 객관적인 색정보를 획득하여 상기 생체 징후 데이터를 추출할 수 있도록 하는 시스템 및 그 방법을 제공하는 것을 또 다른 목적으로 한다.

본 발명의 일 실시예에 따른 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 시스템은, 사용자 단말로부터 수신한 얼굴영상의 색정보를 분석하여 생체 징후 데이터를 추출하는 생체 징후 데이터 추출부; 및 상기 사용자 단말로 사전에 설정된 문진 항목을 전송하고, 상기 사용자 단말로부터 상기 문진 항목에 대한 답변 데이터를 수신하는 전자 문진부;를 포함하며, 상기 추출한 생체 징후 데이터와 상기 수신한 답변 데이터를 토대로 사용자의 건강상태를 비대면으로 측정하는 것을 특징으로 한다.

또한 상기 생체 징후 데이터 추출부는, 상기 사용자 단말로부터 수신한 얼굴영상으로부터 눈, 코, 입 및 귀를 포함한 부위별 특징점을 추출하고, 상기 추출한 부위별 특징점으로부터 이마, 볼 또는 이들의 조합을 포함한 관심영역을 추출하는 얼굴영상 분석 엔진; 및 상기 추출한 관심영역의 R, G 및 B 평균값의 시계열 변화에 대한 패턴을 확인하고, 상기 확인한 시계열 변화에 대한 패턴과 기 구축된 매핑테이블의 패턴 중 유사도가 가장 높은 패턴에 해당하는 심박수, 호흡수, 산소포화도 또는 이들의 조합을 포함한 생체 징후 데이터를 상기 사용자의 생체 징후 데이터로 추출하는 생체 징후 데이터 추출 엔진;을 포함하는 것을 특징으로 한다.

또한 상기 비대면 건강상태 측정 시스템은, 복수의 얼굴영상으로부터 추출한 관심영역의 R, G 및 B 평균값의 시계열 변화에 대한 패턴과 상기 패턴 각각에 해당하는 심박수, 호흡수 및 산소포화도에 대한 각 생체 징후 데이터를 레이블링한 학습데이터를 학습하여, 성별, 연령별 및 인종별로 인공지능 학습모델을 구축하는 학습부;를 더 포함하며, 상기 생체 징후 데이터 추출 엔진은, 상기 얼굴영상 분석 엔진에서 추출한 관심영역의 R, G 및 B 평균값의 시계열 변화에 대한 패턴을 상기 구축한 각 인공지능 학습모델에 입력하고, 상기 각 인공지능 학습모델에서 출력되는 결과 중에서 가장 확률이 높은 패턴에 해당하는 심박수, 호흡수, 산소포화도 또는 이들의 조합을 포함한 생체 징후 데이터를 상기 사용자의 생체 징후 데이터로 추출하는 것을 더 포함하는 것을 특징으로 한다.

또한 상기 비대면 건강상태 측정 시스템은, 복수의 얼굴영상으로부터 추출한 관심영역의 R, G 및 B 평균값의 시계열 변화에 대한 패턴과 상기 패턴 각각에 해당하는 심박수, 호흡수 및 산소포화도에 대한 각 생체 징후 데이터를 성별, 연령별 및 인종별로 구분하여 매핑테이블로 구축하고, 상기 구축한 매핑테이블을 데이터베이스에 저장하는 생체 징후 데이터 구축부;를 더 포함하는 것을 특징으로 한다.

또한 상기 생체 징후 데이터 추출부는, 상기 얼굴영상의 색정보를 분석하여 생체 징후 데이터를 추출할 때, 상기 사용자 단말로 기 설정된 복수의 카메라 설정값을 제공하고, 상기 제공한 복수의 카메라 설정값에 따라 각각 촬영한 사용자의 얼굴영상으로부터 객관적인 색정보를 획득하여 상기 생체 징후 데이터를 추출하는 것을 더 포함하는 것을 특징으로 한다.

아울러, 본 발명의 일 실시예에 따른 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 방법은, 비대면 건강상태 측정 시스템에서, 사용자 단말로부터 수신한 얼굴영상의 색정보를 분석하여 생체 징후 데이터를 추출하는 생체 징후 데이터 추출 단계; 및 상기 사용자 단말로 사전에 설정된 문진 항목을 전송하고, 상기 사용자 단말로부터 상기 문진 항목에 대한 답변 데이터를 수신하는 전자 문진 단계;를 포함하며, 상기 추출한 생체 징후 데이터와 상기 수신한 답변 데이터를 토대로 사용자의 건강상태를 비대면으로 측정하는 것을 특징으로 한다.

또한 상기 생체 징후 데이터 추출 단계는, 상기 비대면 건강상태 측정 시스템의 얼굴영상 분석 엔진에서, 상기 사용자 단말로부터 수신한 얼굴영상으로부터 눈, 코, 입 및 귀를 포함한 부위별 특징점을 추출하고, 상기 추출한 부위별 특징점으로부터 이마, 볼 또는 이들의 조합을 포함한 관심영역을 추출하는 단계; 및 상기 비대면 건강상태 측정 시스템의 생체 징후 데이터 추출 엔진에서, 상기 추출한 관심영역의 R, G 및 B 평균값의 시계열 변화에 대한 패턴을 확인하고, 상기 확인한 시계열 변화에 대한 패턴과 기 구축된 매핑테이블의 패턴 중 유사도가 가장 높은 패턴에 해당하는 심박수, 호흡수, 산소포화도 또는 이들의 조합을 포함한 생체 징후 데이터를 상기 사용자의 생체 징후 데이터로 추출하는 단계;를 포함하는 것을 특징으로 한다.

또한 상기 비대면 건강상태 측정 방법은, 상기 비대면 건강상태 측정 시스템에서, 복수의 얼굴영상으로부터 추출한 관심영역의 R, G 및 B 평균값의 시계열 변화에 대한 패턴과 상기 패턴 각각에 해당하는 심박수, 호흡수 및 산소포화도에 대한 각 생체 징후 데이터를 레이블링한 학습데이터를 학습하여, 성별, 연령별 및 인종별로 인공지능 학습모델을 구축하는 학습 단계;를 더 포함하며, 상기 생체 징후 데이터 추출 엔진에서, 상기 얼굴영상 분석 엔진을 통해 추출한 관심영역의 R, G 및 B 평균값의 시계열 변화에 대한 패턴을 상기 구축한 각 인공지능 학습모델에 입력하고, 상기 각 인공지능 학습모델에서 출력되는 결과 중에서 가장 확률이 높은 패턴에 해당하는 심박수, 호흡수, 산소포화도 또는 이들의 조합을 포함한 생체 징후 데이터를 상기 사용자의 생체 징후 데이터로 추출하는 것을 더 포함하는 것을 특징으로 한다.

또한 상기 비대면 건강상태 측정 방법은, 상기 비대면 건강상태 측정 시스템에서, 복수의 얼굴영상으로부터 추출한 관심영역의 R, G 및 B 평균값의 시계열 변화에 대한 패턴과 상기 패턴 각각에 해당하는 심박수, 호흡수 및 산소포화도에 대한 각 생체 징후 데이터를 성별, 연령별 및 인종별로 구분하여 매핑테이블로 구축하고, 상기 구축한 매핑테이블을 데이터베이스에 저장하는 생체 징후 데이터 구축 단계;를 더 포함하는 것을 특징으로 한다.

또한 상기 생체 징후 데이터 추출 단계는, 상기 얼굴영상의 색정보를 분석하여 생체 징후 데이터를 추출할 때, 상기 사용자 단말로 기 설정된 복수의 카메라 설정값을 제공하는 단계; 및 상기 제공한 복수의 카메라 설정값에 따라 각각 촬영한 사용자의 얼굴영상으로부터 객관적인 색정보를 획득하여 상기 생체 징후 데이터를 추출하는 단계;를 더 포함하는 것을 특징으로 한다.

이상에서와 같이 본 발명의 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 시스템 및 그 방법에 따르면, 카메라로 촬영한 얼굴영상의 색정보를 이용하여 추출한 심박수, 호흡수, 산소포화도 등의 생체 징후 데이터와 온라인상에서 이루어지는 전자 문진의 결과를 종합적으로 판단하여 사용자의 현재 건강 상태를 측정함으로써, 각 사용자별 건강상태 측정의 정확성을 높일 수 있으며, 각 사용자의 각종 감염병에 대한 모니터링을 수행하고, 감염 확산에 신속하게 대응할 수 있는 효과가 있다. 특히, 본 발명은 별다른 의료장비 없이 사용자가 보유한 스마트폰을 포함한 사용자 단말만으로 사용자의 현재 건강 상태를 비대면으로 측정할 수 있다.

또한, 본 발명은 비대면 건강상태 측정 시스템측에서 카메라로 촬영한 얼굴영상의 색정보를 이용하여 생체 징후 데이터를 추출할 때, 각 사용자 단말로 다양하게 설정된 카메라 설정값을 제공하고, 상기 제공한 카메라 설정값에 따라 사용자 단말에서 촬영한 사용자의 얼굴영상으로부터 객관적인 색정보를 획득하여 상기 생체 징후 데이터를 추출함으로써, 상기 생체 징후 데이터의 추출 정확도와 신뢰도를 향상시킬 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 시스템을 포함한 전체 환경의 구성을 개략적으로 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 시스템의 동작과정을 나타낸 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 비대면 건강상태 측정 시스템의 구성을 상세하게 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 생체 징후 데이터 추출과정을 상세하게 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 부위별 특징점 추출과 관심영역 추출을 설명하기 위한 도면이다.
도 6은 본 발명에 적용된 인공지능 학습모델 생성과 인공지능 학습모델을 이용한 생체 징후 데이터를 추정하는 일 예를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 전자 문진 과정을 상세하게 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 방법의 동작과정을 상세하게 나타낸 순서도이다.
도 9는 본 발명의 일 실시예에 따른 비대면 건강상태 측정 시스템에서의 감염병 복합 판단 과정의 예를 상세하게 나타낸 순서도이다.

이하, 첨부한 도면을 참조하여 본 발명의 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 시스템 및 그 방법에 대한 바람직한 실시 예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.

도 1은 본 발명의 일 실시예에 따른 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 시스템을 포함한 전체 환경의 구성을 개략적으로 나타낸 개념도이다.

도 1에 도시된 바와 같이, 본 발명은 비대면 건강상태 측정 시스템(100), 복수의 사용자 단말(200), 데이터베이스(300) 등을 포함하여 구성된다.

상기 비대면 건강상태 측정 시스템(100)은 각 사용자들이 의료진을 대면하거나, 각종 센서 및 의료장비를 사용하지 않고 자신이 보유한 스마트폰, 태블릿 PC 등을 포함한 사용자 단말(200)만으로 현재의 건강상태를 확인할 수 있는 비대면 건강상태 측정 서비스를 제공한다.

상기 비대면 건강상태 측정을 위하여, 상기 비대면 건강상태 측정 시스템(100)은 상기 사용자 단말(200)로부터 카메라로 촬영한 얼굴영상을 수신하고, 상기 수신한 얼굴영상으로부터 R, G 및 B의 색정보를 확인하고, 상기 확인한 R, G 및 B의 색정보를 이용하여 심박수, 호흡수, 산소포화도 등을 포함한 생체 징후 데이터를 추출한다. 이때 상기 생체 징후 데이터를 추출할 때에는 사전에 구축해둔 매핑테이블 혹은 인공지능 학습모델을 사용하여 추출할 수 있는데, 이에 대한 상세한 설명은 하기 도 4 내지 도 6에서 보다 상세하게 설명하기로 한다.

또한 상기 비대면 건강상태 측정 시스템(100)은 상기 생체 징후 데이터를 추출하는 것과 함께 상기 사용자 단말(200)로 건강 상태를 확인하기 위한 표준화된 문진 항목을 제공하고, 상기 문진 항목에 따라 사용자가 입력하는 답변 데이터를 분석하여 전자 문진 분석결과를 생성한다.

이어서, 상기 비대면 건강상태 측정 시스템(100)은 상기 추출한 생체 징후 데이터와 상기 분석한 전자 문진 분석결과를 토대로 사용자의 현재 건강 상태를 비대면으로 측정하고, 상기 측정한 결과를 상기 사용자 단말(200)로 제공한다.

이에 따라 상기 비대면 건강상태 측정 시스템(100)은 각 사용자의 건강 상태 모니터링을 통해서 각종 감염병에 대한 조기 스크리닝을 수행할 수 있으며, 건강 상태 이상으로 측정되는 경우 해당 사용자에게 의료기관에 즉시 방문하도록 안내함으로써 각 사용자가 질병이나 감염병 발생에 신속하게 대응할 수 있도록 한다.

상기 사용자 단말(200)은 사용자가 소지하고 있는 스마트폰, 태블릿 PC 등의 카메라가 구비되고, 유무선 인터넷을 사용할 수 있는 통신기기로서, 네트워크를 통해 상기 비대면 건강상태 측정 시스템(100)과 통신 접속을 진행한다. 이때 상기 사용자 단말(200)은 상기 비대면 건강상태 측정 시스템(100)의 웹 서버에 직접 접속하거나, 사전에 설치해둔 비대면 건강상태 측정 서비스를 위한 전용의 애플리케이션 프로그램을 통해서 접속할 수 있다.

또한 상기 사용자 단말(200)은 비대면 건강상태 측정 서비스를 이용하기 위해 사용자가 촬영한 얼굴영상을 상기 비대면 건강상태 측정 시스템(100)으로 전송하며, 상기 비대면 건강상태 측정 시스템(100)에서 제공하는 문진 항목에 따라 사용자가 입력하는 답변 데이터를 상기 비대면 건강상태 측정 시스템(100)으로 전송한다.

또한 상기 사용자 단말(200)은 상기 비대면 건강상태 측정 시스템(100)으로부터 상기 얼굴영상과 온라인상에서 수행한 전자 문진을 통해서 측정한 현재의 건강 상태에 대한 정보를 수신하여 화면상에 텍스트, 그래픽 또는 이들의 조합을 통해 표시함으로써, 사용자가 즉시 확인할 수 있도록 한다.

상기 데이터베이스(300)는 비대면 건강상태 측정 서비스를 이용하는 각 사용자의 회원 정보를 저장하여 관리하며, 상기 비대면 건강상태 측정 시스템(100)에서 수행한 비대면 건강상태 측정 결과를 각 사용자별로 구분하여 저장하여 관리한다.

또한 상기 데이터베이스(300)는 상기 비대면 건강상태 측정 시스템(100)에서 사용자의 얼굴영상의 색정보로부터 생체 징후 데이터를 추출할 때 사용되는 매핑테이블 혹은 인공지능 학습모델을 저장하여 관리한다. 이때 상기 매핑테이블 혹은 인공지능 학습모델은 성별, 연령별 및 인종별로 각각 구비될 수 있으며, 지속적으로 업데이트된다.

이러한 비대면 건강상태 측정 서비스를 이용하기 위한 과정을 도 2를 참조하여 상세하게 설명하면 다음과 같다.

도 2는 본 발명의 일 실시예에 따른 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 시스템의 동작과정을 나타낸 개략적으로 나타낸 도면이다.

도 2에 도시된 바와 같이, 특정 사용자가 사용자 단말(200)을 통해 비대면 건강상태 측정 시스템(100)에 통신 접속을 수행하여 비대면 건강상태 측정 서비스를 요청하면, 상기 비대면 건강상태 측정 시스템(100)에서는 상기 사용자 단말(200)로 사용자의 얼굴영상을 요청함과 동시에, 사전에 마련해둔 소정의 문진 항목을 상기 사용자 단말(200)로 전송하여 답변을 요청한다.

이에 따라 사용자가 상기 사용자 단말(200)에 구비된 카메라를 통해서 자신의 얼굴영상을 촬영하면, 상기 사용자 단말(200)은 상기 사용자의 얼굴영상을 상기 비대면 건강상태 측정 시스템(100)으로 전송한다(①). 이때 사용자는 상기 얼굴영상과 함께 자신의 성, 연령, 인종 또는 이들의 조합을 포함한 사용자 정보를 상기 비대면 건강상태 측정 시스템(100)으로 제공할 수 있다.

또한, 상기 사용자 단말(200)은 상기 얼굴영상을 촬영하여 상기 비대면 건강상태 측정 시스템(100)으로 전송하는 것과 함께, 상기 비대면 건강상태 측정 시스템(100)으로부터 제공받은 전자 문진을 위한 소정의 문진 항목을 확인한 사용자가 상기 문진 항목에 따라 입력하는 답변 데이터를 상기 비대면 건강상태 측정 시스템(100)으로 전송한다(②). 이때 상기 문진 항목에는 상기 사용자가 현재 발열, 기침, 피로감, 근육통, 가래 두통, 설사 등의 증상이 있는지를 확인하는 내용, 해외에서 입국한 경우 감염병 병력이나 병원방문 이력이 있는지를 확인하는 내용 등이 포함될 수 있다.

또한, 상기 비대면 건강상태 측정 시스템(100)은 상기 사용자 단말(200)로부터 사용자의 얼굴영상이 수신되면, 상기 수신한 사용자의 얼굴영상에서 적어도 하나 이상의 관심영역(ROI: Region of Interest)을 추출하고, 상기 추출한 적어도 하나 이상의 관심영역에 대한 R, G 및 B의 색정보를 분석하여 심박수, 호흡수, 산소포화도 등을 포함한 생체 징후 데이터를 추출한다(③).

또한, 상기 비대면 건강상태 측정 시스템(100)은 사용자의 얼굴영상의 색정보 분석을 통해서 생체 징후 데이터를 추출한 이후, 상기 사용자 단말(200)로부터 수신한 전자 문진에 대한 답변 데이터를 통해서 전자 문진 분석결과를 생성한다(④).

이어서, 상기 비대면 건강상태 측정 시스템(100)은 상기 추출한 심박수, 호흡수, 산소포화도 등을 포함한 생체 징후 데이터와 상기 분석한 전자 문진 분석결과를 종합적으로 확인하여, 상기 사용자의 현재 건강 상태를 측정한다(⑤). 즉 얼굴영상 분석을 통해 추출한 생체 징후 데이터와 온라인상의 전자 문진을 통해서 사용자의 현재 건강상태가 정상인지, 아니면 질병이나 감염병이 예측되어 의료기관을 방문할 필요성이 있는지를 확인하는 것이다.

이렇게 측정된 상기 사용자의 건강상태에 대한 결과정보는 상기 사용자 단말(200)로 제공되며, 상기 사용자는 상기 사용자 단말(200)에 표시되는 건강상태에 대한 결과정보를 즉시 확인할 수 있게 된다. 즉 의료기관을 방문하거나 의료진을 직접 만날 필요없이 비대면으로 자신의 현재 건강상태를 간단한 얼굴영상 촬영과 온라인 전자 문진을 통해서 손쉽게 확인할 수 있는 것이다.

한편, 상기 비대면 건강상태 측정 시스템(100)은 상기 사용자 단말(200)에 구비된 카메라로 촬영한 얼굴영상의 색정보를 이용하여 생체 징후 데이터를 추출할 때, 객관성있게 색정보를 획득하기 위하여, 각 사용자 단말(200)로 다양하게 설정된 카메라 설정값을 제공하고, 상기 제공한 다양한 카메라 설정값에 따라 촬영한 사용자의 얼굴영상으로부터 객관적인 색정보를 획득하여 상기 생체 징후 데이터를 추출할 수 있다.

예를 들어, 상기 비대면 건강상태 측정 시스템(100)은 상기 사용자 단말(200)에 구비된 카메라 정보를 확인하여, 기 설정된 복수의 카메라 설정값 중 상기 사용자 단말(200)에 가장 적합한 카메라 설정값을 제공하고, 상기 제공한 카메라 설정값에 따라 촬영한 사용자의 얼굴영상으로부터 색정보를 분석하여 상기 생체 징후 데이터를 추출할 수 있다. 또한 상기 비대면 건강상태 측정 시스템(100)은 복수의 카메라 설정값을 상기 사용자 단말(200)로 제공하고, 상기 제공한 복수의 카메라 설정값에 따라 각각 촬영한 사용자의 얼굴영상의 색정보를 평균하고, 상기 평균한 색정보를 분석하여 상기 생체 징후 데이터를 추출할 수도 있다.

도 3은 본 발명의 일 실시예에 따른 비대면 건강상태 측정 시스템의 구성을 상세하게 나타낸 도면이다.

도 3에 도시된 바와 같이, 상기 비대면 건강상태 측정 시스템(100)은 생체 징후 데이터 구축부(110), 학습부(120), 사용자 인터페이스부(130), 사용자 정보 수신부(140), 생체 징후 데이터 추출부(150), 전자 문진부(160), 건강상태 측정부(170), 건강상태 결과 제공부(180) 등을 포함하여 구성된다.

또한 상기 비대면 건강상태 측정 시스템(100)은 도면에 도시하지는 않았지만, 하드웨어적으로는 프로세서, 메모리 및 이들을 연결하는 버스와 각종 인터페이스 카드 등을 포함하며, 소프트웨어적으로는 상기 메모리에 상기 프로세서를 통해서 구동할 프로그램들이 저장되어 있으며, 각종 동작프로그램의 업데이트를 관리하는 업데이트 관리부, 데이터베이스 등의 외부 장치와 데이터 송수신을 위한 인터페이스부 등을 추가로 포함할 수 있다.

상기 생체 징후 데이터 구축부(110)는 다양한 사람들의 얼굴영상으로부터 추출한 적어도 하나 이상의 관심영역의 R, G 및 B 평균값의 시계열 변화(예: 1초, 1분, 10분 등의 시간 주기에 따른 변화)에 대한 패턴과 상기 패턴 각각에 해당하는 심박수, 호흡수 및 산소포화도에 대한 각 생체 징후 데이터를 성별, 연령별 및 인종별로 구분하여 매핑테이블로 구축하고, 상기 구축한 매핑테이블을 상기 데이터베이스(300)에 저장한다.

상기 학습부(120)는 다양한 사람들의 얼굴영상으로부터 추출한 관심영역의 R, G 및 B 평균값의 시계열 변화에 대한 패턴과 상기 패턴 각각에 해당하는 심박수, 호흡수 및 산소포화도에 대한 각 생체 징후 데이터를 레이블링한 학습데이터를 학습하여, 성별, 연령별 및 인종별로 인공지능 학습모델을 구축하고, 상기 구축한 각 인공지능 학습모델을 상기 데이터베이스(300)에 저장한다.(도 6 참조)

한편, 상기 매핑테이블로 구축되거나 혹은 인공지능 학습모델에 적용되는 생체 징후 데이터는 성, 연령, 인종 등이 서로 다른 다양한 사람들이 자신의 얼굴영상을 촬영한 시점에서 EIT(Electrical Impedance Tomography), 인공호흡기, 각종 센서, 의료장비 등을 사용하여 상세하게 측정한 심박수 관련 정보(예: 심장 박동, 스트레스 지수, 심장 박동 변이도 등), 호흡수(들숨, 날숨) 관련 정보, 산소포화도 등을 포함한 데이터이다.

또한 상기 매핑테이블 혹은 인공지능 학습모델은 주기적으로 업데이트되어 상기 데이터베이스(300)에 저장하여 관리될 수 있다.

또한 상기 매핑테이블 혹은 인공지능 학습모델을 성, 연령 및 인종별로 구분하여 각각 생성하게 되면, 실제 사용자의 얼굴영상으로부터 생체 징후 데이터를 추정할 때 사용자가 제공하는 성, 연령, 인종 등의 정보를 통해서 연산에 사용될 매핑테이블 혹은 인공지능 학습모델의 수를 줄일 수 있고, 이에 따라 생체 징후 데이터를 추정하는 속도의 향상은 물론, 시스템 부하를 줄일 수 있으며, 각 사용자별 생체 징후 데이터 추출의 정확도를 향상시킬 수 있는 장점이 있다.

또한 상기 생체 징후 데이터 구축부(110)와 학습부(120)는 본 발명에서의 적용방식에 따라 어느 하나만 적용되는 것이 바람직하지만, 두 가지 방식 모두 사용할 수도 있다.

상기 사용자 인터페이스부(130)는 네트워크를 통해 상기 비대면 건강상태 측정 시스템(100)과 상기 사용자 단말(200)간에 이루어지는 얼굴영상, 전자 문진, 건강상태 결과 등에 관련된 데이터 송수신을 수행한다.

상기 사용자 정보 수신부(140)는 상기 사용자 인터페이스부(130)를 통해서 상기 사용자 단말(200)로부터 비대면 건강상태 측정을 수행하는 사용자의 성, 연령, 인종 또는 이들의 조합을 포함한 사용자 정보를 수신하고, 상기 수신한 사용자 정보를 상기 생체 징후 데이터 추출부(150)로 출력한다.

상기 생체 징후 데이터 추출부(150)는 상기 사용자 단말(200)로부터 수신한 얼굴영상의 색정보를 분석하여 생체 징후 데이터를 추출하고, 상기 추출한 생체 징후 데이터를 상기 건강상태 측정부(170)로 출력한다.(도 4 및 도 5 참조)

즉 상기 사용자 정보 수신부(140)로부터 전달받은 상기 사용자의 성, 연령, 인종 또는 이들의 조합을 포함한 사용자 정보를 토대로, 상기 사용자 인터페이스부(130)를 통해서 상기 사용자 단말(200)로부터 수신한 상기 사용자의 얼굴영상의 색정보를 참조하여, 상기 사용자의 심박수, 호흡수, 산소포화도 또는 이들의 조합을 포함한 생체 징후 데이터를 추출하는 것이다.

이때 상기 생체 징후 데이터 추출부(150)는 얼굴영상 분석 엔진(151)과 생체 징후 데이터 추출 엔진(152)으로 구성된다.

상기 얼굴영상 분석 엔진(151)은 상기 사용자 단말(200)로부터 수신한 상기 사용자의 얼굴영상으로부터 눈, 코, 입 및 귀를 포함한 부위별 특징점을 추출하고, 상기 추출한 부위별 특징점으로부터 이마, 볼 또는 이들의 조합을 포함한 관심영역을 추출한다.

상기 생체 징후 데이터 추출 엔진(152)은 상기 얼굴영상 분석 엔진(151)에서 추출한 관심영역의 R, G 및 B 평균을 구하고, 상기 구한 R, G 및 B 평균값의 시계열 변화에 대한 패턴을 확인하고, 상기 확인한 시계열 변화에 대한 패턴과 상기 생체 징후 데이터 구축부(110)를 통해서 사전에 구축한 매핑테이블의 각 패턴을 비교하며, 상기 비교한 결과 유사도가 가장 높은 패턴에 해당하는 심박수, 호흡수, 산소포화도 또는 이들의 조합을 포함한 생체 징후 데이터를 상기 사용자의 생체 징후 데이터로 추출한다.

또한 상기 생체 징후 데이터 추출 엔진(152)은 상기 설명과 같이 사전에 구축해둔 매핑테이블을 이용하여 사용자의 얼굴영상으로부터 생체 징후 데이터를 추출하는 방식 이외에, 인공지능을 활용하여 사용자의 얼굴영상으로부터 생체 징후 데이터를 추출할 수 있다.

즉 상기 생체 징후 데이터 추출 엔진(152)은 상기 얼굴영상 분석 엔진(151)에서 추출한 관심영역의 R, G 및 B 평균값의 시계열 변화에 대한 패턴을 상기 학습부(120)를 통해서 구축한 성별, 연령별 및 인종별 인공지능 학습모델에 각각 입력하고, 상기 각 인공지능 학습모델에서 출력되는 결과 중에서 가장 확률이 높은 패턴에 해당하는 심박수, 호흡수, 산소포화도 또는 이들의 조합을 포함한 생체 징후 데이터를 상기 사용자의 생체 징후 데이터로 추출하는 것이다.

한편, 상기 생체 징후 데이터 추출부(150)는 상기 사용자의 얼굴영상의 색정보를 분석하여 생체 징후 데이터를 추출할 때, 상기 사용자 단말(200)로 사전에 설정해둔 복수의 카메라 설정값을 제공하고, 상기 제공한 복수의 카메라 설정값에 따라 각각 촬영한 사용자의 얼굴영상으로부터 객관적인 색정보를 획득하여 상기 생체 징후 데이터를 추출할 수 있다.

상기 전자 문진부(160)는 상기 사용자 단말(200)로 사전에 설정된 문진 항목을 전송하고, 상기 사용자 단말(200)로부터 상기 문진 항목에 대한 답변 데이터를 수신하여 상기 건강상태 측정부(170)로 출력한다.

상기 건강상태 측정부(170)는 상기 생체 징후 데이터 추출부(150)에서 사용자의 얼굴영상으로부터 추출한 생체 징후 데이터와 상기 전자 문진부(160)에서 수신한 답변 데이터를 토대로 상기 사용자의 현재 건강상태를 확인하고, 상기 확인한 건강상태에 대한 정보를 상기 건강상태 결과 제공부(180)로 출력한다. 즉 상기 사용자의 현재 건강상태를 얼굴영상과 전자 문진 데이터만을 사용하여 비대면으로 측정함으로써, 정상인지 아니면 의료기관을 방문할 필요성이 있는지를 확인하는 것이다.(도 7 참조)

상기 건강상태 결과 제공부(180)는 상기 건강상태 측정부(170)로부터 입력되는 상기 사용자의 현재 건강상태에 대한 정보를 토대로 텍스트, 그래픽 또는 이들을 조합하여 건강상태 결과 데이터를 생성하고, 상기 생성한 건강상태 결과 데이터를 상기 사용자 인터페이스부(130)를 통해 해당 사용자 단말(200)로 전송함으로써, 사용자가 결과를 즉시 확인할 수 있도록 한다.

도 4는 본 발명의 일 실시예에 따른 생체 징후 데이터 추출과정을 상세하게 나타낸 도면이며, 도 5는 본 발명의 일 실시예에 따른 부위별 특징점 추출과 관심영역 추출을 설명하기 위한 도면이다.

도 4에 도시된 바와 같이, 상기 비대면 건강상태 측정 시스템(100)은 상기 사용자 단말(200)로부터 수신한 촬영영상(즉 얼굴영상)에서 이미지 프레임을 추출하고(①), 상기 추출한 프레임에서 얼굴을 인식한다(②).

이어서, 상기 비대면 건강상태 측정 시스템(100)은 상기 인식한 얼굴 영역에서 도 5a에 나타낸 바와 같이 눈, 코, 입 및 귀를 포함한 부위별 특징점을 추출하고, 상기 추출한 부위별 특징점으로부터 이마 및 양쪽 볼의 제1 내지 제3 관심영역을 추출한다(③).

이때 본 발명에서는 상기 관심영역을 도 5b에 나타낸 바와 같이 이마 부분의 제1 관심영역과, 양쪽 볼의 제2 및 제3 관심영역을 포함하여 3개로 설정한 것을 예로 하여 설명한다. 여기서, 상기 관심영역은 3개 이하 또는 그 이상으로 설정할 수 있음을 밝혀둔다.

이렇게 제1 내지 제3 관심영역이 추출되면, 상기 비대면 건강상태 측정 시스템(100)은 상기 제1 내지 제3 관심영역에 대한 R, G 및 B의 평균값을 확인하고(④), R-B 시계열 데이터 및 G 시계열 데이터로 분류하고, 상기 G값의 시계열 변화에 대한 패턴을 나타내는 제1 특징과 제2 특징, 상기 R-B값의 시계열 변화에 대한 패턴을 나타내는 제3 특징을 확인한다(⑤).

또한 상기 비대면 건강상태 측정 시스템(100)은 얼굴영상을 촬영한 사용자의 성, 연령, 인종 등의 정보를 참조하여, 상기 확인한 제1 내지 제3 특징을 토대로 상기 사용자의 심박수, 호흡수, 산소포화도 등의 생체 징후 데이터를 추출한다(⑥). 즉 사전에 구축해둔 매핑테이블 혹은 인공지능 학습모델을 통해서 상기 제1 내지 제3 특징인 R, G 및 B 평균값의 시계열 변화에 대한 패턴과 가장 유사하거나 혹은 가장 확률이 높은 패턴에 해당하는 생체 징후 데이터를 상기 사용자의 생체 징후 데이터로 추출하는 것이다.

예를 들어, 상기 제1 특징을 통해서는 심박수 관련 정보(예: 심장 박동, 스트레스 지수, 심장 박동 변이도 등)를 추출할 수 있고, 상기 제2 특징을 통해서는 호흡수(들숨, 날숨) 관련 정보를 추출할 수 있으며, 상기 제3 특징을 통해서는 산소포화도 관련 정보를 추출할 수 있다.

도 6은 본 발명에 적용된 인공지능 학습모델 생성과 인공지능 학습모델을 이용한 생체 징후 데이터를 추정하는 일 예를 나타낸 도면이다.

먼저 도 6의 (a)에 도시된 바와 같이, 상기 비대면 건강상태 측정 시스템(100)은 성, 연령, 인종 등이 서로 다른 사람들의 얼굴영상으로부터 추출한 관심영역의 R, G 및 B 평균값의 시계열 변화에 대한 패턴을 학습하여 성별, 연령별 및 인종별 인공지능 학습모델을 생성하고, 상기 생성한 인공지능 학습모델을 상기 데이터베이스(300)에 저장한다.

이때 상기 학습에 사용하는 학습데이터는 다양한 사람들의 얼굴영상으로부터 추출한 R, G 및 B 평균값의 시계열 변화에 대한 패턴과, 상기 얼굴영상을 촬영한 시점에서 각각의 패턴에 따라 실제 의료장비나 센서로 측정한 심박수, 호흡수 및 산소포화도를 포함한 생체 징후 데이터를 레이블링한 것이다. 또한 상기 시계열 변화에 대한 패턴은 단위 시간에 따라 동일하게 유지되거나, 시간 경과에 따라 점차 상승 또는 하강하거나, 상승 및 하강을 반복하는 등 매우 다양한 패턴으로 나타날 수 있다.

또한 상기 비대면 건강상태 측정 시스템(100)은 도 6의 (b)에 도시된 바와 같이, 상기 사용자 단말(200)로부터 특정 사용자의 얼굴영상이 수신되면, 상기 얼굴영상에서 눈, 코, 입 및 귀의 부위별 특징점을 추출하고, 상기 추출한 부위별 특징점으로부터 이마 및 양쪽 볼의 제1 내지 제3 관심영역을 추출한다. 그리고 상기 제1 내지 제3 관심영역에 대한 R, G 및 B 평균값의 시계열 변화에 대한 패턴을 생성하는 전처리를 수행한다.

이어서, 상기 비대면 건강상태 측정 시스템(100)은 상기 생성한 R, G 및 B 평균값의 시계열 변화에 대한 패턴을 사전에 구축해둔 성별, 연령별 및 인종별 인공지능 학습모델에 입력하고, 상기 각 인공지능 학습모델에서 출력되는 결과 중에서 가장 확률이 높은 패턴에 해당하는 생체 징후 데이터를 상기 얼굴영상을 제공한 사용자의 생체 징후 데이터로 추정한다.

도 7은 본 발명의 일 실시예에 따른 전자 문진 과정을 상세하게 나타낸 도면이다.

도 7에 도시된 바와 같이, 상기 비대면 건강상태 측정 시스템(100)은 온라인 상에서 비대면 건강상태 측정 서비스를 이용하는 각 사용자들을 대상으로 전자 문진을 수행할 때 다음의 절차에 따라 진행한다.

보다 구체적으로 설명하면, 상기 비대면 건강상태 측정 시스템(100)은 비대면 건강상태 측정 서비스를 요청한 상기 사용자 단말(200)로 상기 데이터베이스(300)에 저장되어 있는 표준화된 문진 항목을 전송한다(①).

또한 상기 비대면 건강상태 측정 시스템(100)은 상기 표준화된 문진 항목을 확인한 사용자가 입력하는 각 문진 항목에 대한 답변 데이터를 상기 사용자 단말(200)로부터 수신한다(②).

또한 상기 비대면 건강상태 측정 시스템(100)은 상기 수신한 문진 항목에 대한 답변 데이터를 정해진 문진 시나리오에 따라 분석하여 정상인지, 아니면 질병이나 감염병의 발생이 예측되는지를 확인하며(③), 상기 확인한 문진 결과를 상기 데이터베이스(300)에 저장한다(④).

이에 따라 상기 비대면 건강상태 측정 시스템(100)은 상기 전자 문진 결과와 상기 사용자의 얼굴영상으로부터 추출한 생체 징후 데이터를 복합적으로 판단하여, 상기 사용자의 현재 건강상태를 확인할 수 있게 된다.

다음에는, 이와 같이 구성된 본 발명에 따른 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 방법의 일 실시예를 도 8과 도 9를 참조하여 상세하게 설명한다. 이때 본 발명의 방법에 따른 각 단계는 사용 환경이나 당업자에 의해 순서가 변경될 수 있다.

도 8은 본 발명의 일 실시예에 따른 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 방법의 동작과정을 상세하게 나타낸 순서도이다.

도 8에 도시된 바와 같이, 비대면 건강상태 측정 시스템(100)은 네트워크를 통해 사용자 단말(200)로부터 수신한 촬영영상(즉 얼굴영상)에서 프레임을 추출하고(S10), 상기 추출한 프레임을 전처리한다(S20). 예를 들어, 상기 얼굴영상으로부터 색정보를 추출하기 위한 밝기, 명암, 해상도, 크기 등을 조절하는 것이다.

또한 상기 비대면 건강상태 측정 시스템(100)은 상기 전처리한 프레임에서 눈, 코, 입, 귀 등의 부위별 특징점을 추출하고(S30), 상기 추출한 부위별 특징점으로부터 이마, 볼 등의 관심영역을 추출한다(S40).

이어서, 상기 비대면 건강상태 측정 시스템(100)은 상기 추출한 관심영역별 R, G 및 B 평균값의 시계열 변화에 대한 패턴을 확인하고(S50), 상기 확인한 시계열 변화에 대한 패턴과 사전에 성별, 연령별 및 인종별로 구축된 매핑테이블의 패턴과 비교하여, 가장 유사도가 가장 높은 패턴에 해당하는 심박수, 호흡수, 산소포화도 또는 이들의 조합을 포함한 생체 징후 데이터를 상기 사용자의 생체 징후 데이터로 추출한다(S60).

이때 상기 비대면 건강상태 측정 시스템(100)은 상기 S60 단계를 통해 생체 징후 데이터를 추출할 때, 상기 설명과 같이 사전에 구축된 매핑테이블을 사용하지 않고 인공지능 학습모델을 통해서 생체 징후 데이터를 추출하는 경우, 상기 S50 단계에서 확인한 관심영역의 R, G 및 B 평균값의 시계열 변화에 대한 패턴을 사전에 구축해둔 성별, 연령별 및 인종별 인공지능 학습모델에 입력하고, 상기 각 인공지능 학습모델에서 출력되는 결과 중에서 가장 확률이 높은 패턴에 해당하는 심박수, 호흡수, 산소포화도 또는 이들의 조합을 포함한 생체 징후 데이터를 상기 사용자의 생체 징후 데이터로 추출한다.

한편, 상기 S10 단계 내지 S60 단계를 통해 사용자의 얼굴영상의 색정보를 이용하여 생체 징후 데이터를 추출한 이후, 상기 비대면 건강상태 측정 시스템(100)은 온라인 전자 문진을 위해서 상기 사용자 단말(200)로 사전에 설정된 문진 항목을 전송한다(S70).

또한 상기 비대면 건강상태 측정 시스템(100)은 상기 사용자 단말(200)로부터 상기 문진 항목에 대한 답변 데이터를 수신하며(S80), 상기 수신한 답변 데이터를 문진 시나리오에 따라 분석하여 전자 문진 분석결과를 생성하고, 이를 상기 데이터베이스(300)에 저장한다(S90).

이어서, 상기 비대면 건강상태 측정 시스템(100)은 상기 S60 단계에서 추출한 생체 징후 데이터와 상기 S90 단계에서 생성한 전자 문진 분석결과를 복합적으로 판단하여, 상기 사용자의 건강상태를 비대면으로 측정하고(S100), 상기 비대면으로 측정한 사용자의 건강상태에 대한 결과 데이터를 상기 사용자 단말(200)로 전송하여 사용자가 즉시 자신의 현재 건강상태를 확인할 수 있도록 한다(S110).

또한, 도면에 도시하지는 않았지만, 상기 비대면 건강상태 측정 시스템(100)은 상기 얼굴영상의 색정보를 분석하여 생체 징후 데이터를 추출할 때, 색정보의 객관성을 높이기 위하여, 상기 사용자 단말(200)로 다양하게 설정된 복수의 카메라 설정값을 제공하고, 상기 제공한 복수의 카메라 설정값에 따라 각각 촬영한 사용자의 얼굴영상으로부터 색정보를 획득하여 상기 생체 징후 데이터를 추출할 수 있음은 상기 설명한 바와 같다.

도 9는 본 발명의 일 실시예에 따른 비대면 건강상태 측정 시스템에서의 감염병 복합 판단 과정의 예를 상세하게 나타낸 순서도로서, 해외에 일정 기간 체류한 사용자를 대상으로 비대면으로 얼굴영상의 색정보를 토대로 추출한 생체 징후 데이터와 온라인 전자 문진으로 감염병 여부를 측정하여 확인하는 구체적인 실시예이다.

도 9에 도시된 바와 같이, 비대면 건강상태 측정 시스템(100)은 사용자 단말(200)로부터 수신한 문진 항목에 대한 답변 데이터를 토대로, 해외 체류시 감염병 확진자인지, 의료기관 방문이력이 있는지, 자가격리 이력이 있는지의 3가지 사항을 확인하고(S201), 상기 확인한 3가지 사항 중에서 1개 이상 해당되는지를 판단한다(S202).

상기 S202 단계에서 판단한 결과 1개 이상 해당되지 않으면, 상기 비대면 건강상태 측정 시스템(100)은 COPD(만성 폐쇄성 폐질환), 천식 유병 여부를 확인하고(S203), 1개 이상 해당되는지를 판단한다(S204).

상기 S204 단계에서 판단한 결과 1개 이상 해당되지 않으면, 상기 비대면 건강상태 측정 시스템(100)은 발열여부를 확인하고(S205), 발열 증상이 있는지를 판단한다(S206).

상기 S206 단계에서 판단한 결과 발열 증상이 없으면, 상기 비대면 건강상태 측정 시스템(100)은 기침여부를 확인하고(S207), 기침 증상이 있는지를 판단한다(S208).

상기 S208 단계에서 판단한 결과 기침 증상이 없으면, 상기 비대면 건강상태 측정 시스템(100)은 피로감, 근육통, 가래 및 숨참 여부를 확인하고(S209), 4가지 중에서 1개 이상 해당되는지를 판단한다(S210).

상기 S210 단계에서 판단한 결과 1개 이상 해당되지 않으면, 상기 비대면 건강상태 측정 시스템(100)은 흉통, 오한, 두통 및 목따가움 여부를 확인하고(S211), 4가지 중에서 1개 이상 해당되는지를 판단한다(S212).

상기 S212 단계에서 판단한 결과 1개 이상 해당되지 않으면, 상기 비대면 건강상태 측정 시스템(100)은 어지러움, 설사, 콧물, 피섞인 가래, 코막힘 여부를 확인하고(S213), 5가지 중에서 2개 이상 해당되는지를 판단한다(S214).

상기 S214 단계에서 판단한 결과 2개 이상 해당되지 않으면, 상기 비대면 건강상태 측정 시스템(100)은 정상으로 측정하여 안내하고 비대면 건강상태 측정 서비스를 종료한다(S215).

하지만, 상기 S202, S204, S210 및 S212 단계에서 판단한 결과 1개 이상 해당되거나, S206 및 S208 단계에서 판단한 결과 발열 혹은 기침 증상이 있거나, S214 단계에서 판단한 결과 2개 이상 해당되면, 상기 비대면 건강상태 측정 시스템(100)은 진료소 이동을 안내하고 비대면 건강상태 측정 서비스를 종료한다(S216).

한편, 상기 비대면 건강상태 측정 시스템(100)은 상기 사용자의 얼굴영상의 색정보를 토대로 추출한 호흡수, 심박수 및 산소포화도를 포함한 생체 징후 데이터를 확인한다(S217).

이어서, 상기 비대면 건강상태 측정 시스템(100)은 상기 S217 단계에서 확인한 호흡수가 분당 12 미만, 25 이상인지를 판단하고(S218), 상기 판단한 결과 호흡수가 분당 12 미만, 25 이상이면 진료소 이동을 안내하는 상기 S216 단계를 수행하고 비대면 건강상태 측정 서비스를 종료한다.

또한 상기 S218 단계에서 판단한 결과 호흡수에 이상이 없으면, 상기 비대면 건강상태 측정 시스템(100)은 상기 S217 단계에서 확인한 심박수가 60 미만인지, 100이상인지를 판단하고(S219), 상기 판단한 결과 호흡수가 심박수가 60 미만이거나 100이상이면 진료소 이동을 안내하는 상기 S216 단계를 수행하고 비대면 건강상태 측정 서비스를 종료한다.

또한 상기 S219 단계에서 판단한 결과 심박수에 이상이 없으면, 상기 비대면 건강상태 측정 시스템(100)은 상기 S217 단계에서 확인한 산소포화도가 95% 이하인지를 판단하고(S220), 상기 판단한 결과 호흡수가 심박수가 60 미만이거나 100이상이면 진료소 이동을 안내하는 상기 S216 단계를 수행하고 비대면 건강상태 측정 서비스를 종료한다.

또한 상기 S220 단계에서 판단한 결과 산소포화도에 이상이 없으면, 상기 비대면 건강상태 측정 시스템(100)은 정상으로 측정하여 안내하고 비대면 건강상태 측정 서비스를 종료한다(S221).

이처럼, 본 발명은 카메라로 촬영한 얼굴영상의 색정보를 이용하여 추출한 생체 징후 데이터와 전자 문진의 결과를 종합적으로 판단하여 사용자의 현재 건강 상태를 측정하므로, 각 사용자별 건강상태 측정의 정확성을 높일 수 있으며, 각 사용자의 각종 감염병에 대한 모니터링을 수행하고, 감염 확산에 신속하게 대응할 수 있다. 특히, 본 발명은 별다른 의료장비 없이 사용자가 보유한 스마트폰을 포함한 사용자 단말만으로 사용자의 현재 건강 상태를 비대면으로 측정할 수 있다.

또한, 본 발명은 비대면 건강상태 측정 시스템측에서 카메라로 촬영한 얼굴영상의 색정보를 이용하여 생체 징후 데이터를 추출할 때, 각 사용자 단말로 다양하게 설정된 카메라 설정값을 제공하고, 상기 제공한 카메라 설정값에 따라 사용자 단말에서 촬영한 사용자의 얼굴영상으로부터 객관적인 색정보를 획득하여 상기 생체 징후 데이터를 추출하기 때문에, 상기 생체 징후 데이터의 추출 정확도와 신뢰도를 향상시킬 수 있다.

이상에서와 같이 본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 판단되어야 할 것이다.

100 : 비대면 건강상태 측정 시스템 110 : 생체 징후 데이터 구축부
120 : 학습부 130 : 사용자 인터페이스부
140 : 사용자 정보 수신부 150 : 생체 징후 데이터 추출부
151 : 얼굴영상 분석 엔진 152 : 생체 징후 데이터 추출 엔진
160 : 전자 문진부 170 : 건강상태 측정부
180 : 건강상태 결과 제공부 200 : 사용자 단말
300 : 데이터베이스

Claims

사용자 단말로부터 수신한 얼굴영상의 색정보를 분석하여 생체 징후 데이터를 추출하는 생체 징후 데이터 추출부; 및
상기 사용자 단말로 사전에 설정된 문진 항목을 전송하고, 상기 사용자 단말로부터 상기 문진 항목에 대한 답변 데이터를 수신하는 전자 문진부;를 포함하며,
상기 추출한 생체 징후 데이터와 상기 수신한 답변 데이터를 토대로 사용자의 건강상태를 비대면으로 측정하는 것을 특징으로 하는 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 시스템.
청구항 1에 있어서,
상기 생체 징후 데이터 추출부는,
상기 사용자 단말로부터 수신한 얼굴영상으로부터 눈, 코, 입 및 귀를 포함한 부위별 특징점을 추출하고, 상기 추출한 부위별 특징점으로부터 이마, 볼 또는 이들의 조합을 포함한 관심영역을 추출하는 얼굴영상 분석 엔진; 및
상기 추출한 관심영역의 R, G 및 B 평균값의 시계열 변화에 대한 패턴을 확인하고, 상기 확인한 시계열 변화에 대한 패턴과 기 구축된 매핑테이블의 패턴 중 유사도가 가장 높은 패턴에 해당하는 심박수, 호흡수, 산소포화도 또는 이들의 조합을 포함한 생체 징후 데이터를 상기 사용자의 생체 징후 데이터로 추출하는 생체 징후 데이터 추출 엔진;을 포함하는 것을 특징으로 하는 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 시스템.
청구항 2에 있어서,
상기 비대면 건강상태 측정 시스템은,
복수의 얼굴영상으로부터 추출한 관심영역의 R, G 및 B 평균값의 시계열 변화에 대한 패턴과 상기 패턴 각각에 해당하는 심박수, 호흡수 및 산소포화도에 대한 각 생체 징후 데이터를 레이블링한 학습데이터를 학습하여, 성별, 연령별 및 인종별로 인공지능 학습모델을 구축하는 학습부;를 더 포함하며,
상기 생체 징후 데이터 추출 엔진은,
상기 얼굴영상 분석 엔진에서 추출한 관심영역의 R, G 및 B 평균값의 시계열 변화에 대한 패턴을 상기 구축한 각 인공지능 학습모델에 입력하고, 상기 각 인공지능 학습모델에서 출력되는 결과 중에서 가장 확률이 높은 패턴에 해당하는 심박수, 호흡수, 산소포화도 또는 이들의 조합을 포함한 생체 징후 데이터를 상기 사용자의 생체 징후 데이터로 추출하는 것을 더 포함하는 것을 특징으로 하는 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 시스템.
청구항 1에 있어서,
상기 비대면 건강상태 측정 시스템은,
복수의 얼굴영상으로부터 추출한 관심영역의 R, G 및 B 평균값의 시계열 변화에 대한 패턴과 상기 패턴 각각에 해당하는 심박수, 호흡수 및 산소포화도에 대한 각 생체 징후 데이터를 성별, 연령별 및 인종별로 구분하여 매핑테이블로 구축하고, 상기 구축한 매핑테이블을 데이터베이스에 저장하는 생체 징후 데이터 구축부;를 더 포함하는 것을 특징으로 하는 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 시스템.
청구항 1에 있어서,
상기 생체 징후 데이터 추출부는,
상기 얼굴영상의 색정보를 분석하여 생체 징후 데이터를 추출할 때, 상기 사용자 단말로 기 설정된 복수의 카메라 설정값을 제공하고, 상기 제공한 복수의 카메라 설정값에 따라 각각 촬영한 사용자의 얼굴영상으로부터 객관적인 색정보를 획득하여 상기 생체 징후 데이터를 추출하는 것을 더 포함하는 것을 특징으로 하는 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 시스템.
비대면 건강상태 측정 시스템에서, 사용자 단말로부터 수신한 얼굴영상의 색정보를 분석하여 생체 징후 데이터를 추출하는 생체 징후 데이터 추출 단계; 및
상기 사용자 단말로 사전에 설정된 문진 항목을 전송하고, 상기 사용자 단말로부터 상기 문진 항목에 대한 답변 데이터를 수신하는 전자 문진 단계;를 포함하며,
상기 추출한 생체 징후 데이터와 상기 수신한 답변 데이터를 토대로 사용자의 건강상태를 비대면으로 측정하는 것을 특징으로 하는 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 방법.
청구항 6에 있어서,
상기 생체 징후 데이터 추출 단계는,
상기 비대면 건강상태 측정 시스템의 얼굴영상 분석 엔진에서, 상기 사용자 단말로부터 수신한 얼굴영상으로부터 눈, 코, 입 및 귀를 포함한 부위별 특징점을 추출하고, 상기 추출한 부위별 특징점으로부터 이마, 볼 또는 이들의 조합을 포함한 관심영역을 추출하는 단계; 및
상기 비대면 건강상태 측정 시스템의 생체 징후 데이터 추출 엔진에서, 상기 추출한 관심영역의 R, G 및 B 평균값의 시계열 변화에 대한 패턴을 확인하고, 상기 확인한 시계열 변화에 대한 패턴과 기 구축된 매핑테이블의 패턴 중 유사도가 가장 높은 패턴에 해당하는 심박수, 호흡수, 산소포화도 또는 이들의 조합을 포함한 생체 징후 데이터를 상기 사용자의 생체 징후 데이터로 추출하는 단계;를 포함하는 것을 특징으로 하는 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 방법.
청구항 7에 있어서,
상기 비대면 건강상태 측정 방법은,
상기 비대면 건강상태 측정 시스템에서, 복수의 얼굴영상으로부터 추출한 관심영역의 R, G 및 B 평균값의 시계열 변화에 대한 패턴과 상기 패턴 각각에 해당하는 심박수, 호흡수 및 산소포화도에 대한 각 생체 징후 데이터를 레이블링한 학습데이터를 학습하여, 성별, 연령별 및 인종별로 인공지능 학습모델을 구축하는 학습 단계;를 더 포함하며,
상기 생체 징후 데이터 추출 엔진에서, 상기 얼굴영상 분석 엔진을 통해 추출한 관심영역의 R, G 및 B 평균값의 시계열 변화에 대한 패턴을 상기 구축한 각 인공지능 학습모델에 입력하고, 상기 각 인공지능 학습모델에서 출력되는 결과 중에서 가장 확률이 높은 패턴에 해당하는 심박수, 호흡수, 산소포화도 또는 이들의 조합을 포함한 생체 징후 데이터를 상기 사용자의 생체 징후 데이터로 추출하는 것을 더 포함하는 것을 특징으로 하는 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 방법.
청구항 6에 있어서,
상기 비대면 건강상태 측정 방법은,
상기 비대면 건강상태 측정 시스템에서, 복수의 얼굴영상으로부터 추출한 관심영역의 R, G 및 B 평균값의 시계열 변화에 대한 패턴과 상기 패턴 각각에 해당하는 심박수, 호흡수 및 산소포화도에 대한 각 생체 징후 데이터를 성별, 연령별 및 인종별로 구분하여 매핑테이블로 구축하고, 상기 구축한 매핑테이블을 데이터베이스에 저장하는 생체 징후 데이터 구축 단계;를 더 포함하는 것을 특징으로 하는 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 방법.
청구항 6에 있어서,
상기 생체 징후 데이터 추출 단계는,
상기 얼굴영상의 색정보를 분석하여 생체 징후 데이터를 추출할 때, 상기 사용자 단말로 기 설정된 복수의 카메라 설정값을 제공하는 단계; 및
상기 제공한 복수의 카메라 설정값에 따라 각각 촬영한 사용자의 얼굴영상으로부터 객관적인 색정보를 획득하여 상기 생체 징후 데이터를 추출하는 단계;를 더 포함하는 것을 특징으로 하는 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 방법.