KR102606193B1 - 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법, 장치 및 컴퓨터프로그램 - Google Patents
카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법, 장치 및 컴퓨터프로그램 Download PDFInfo
- Publication number
- KR102606193B1 KR102606193B1 KR1020230071467A KR20230071467A KR102606193B1 KR 102606193 B1 KR102606193 B1 KR 102606193B1 KR 1020230071467 A KR1020230071467 A KR 1020230071467A KR 20230071467 A KR20230071467 A KR 20230071467A KR 102606193 B1 KR102606193 B1 KR 102606193B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- health
- information
- biometric information
- image data
- Prior art date
Links
- 230000036541 health Effects 0.000 title claims abstract description 253
- 238000003745 diagnosis Methods 0.000 title claims abstract description 94
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000004590 computer program Methods 0.000 title claims abstract description 18
- 238000012544 monitoring process Methods 0.000 claims abstract description 35
- 230000008859 change Effects 0.000 claims description 69
- 230000003862 health status Effects 0.000 claims description 41
- 230000017531 blood circulation Effects 0.000 claims description 37
- 238000013473 artificial intelligence Methods 0.000 claims description 25
- 235000015872 dietary supplement Nutrition 0.000 claims description 21
- 239000003814 drug Substances 0.000 claims description 15
- 229940079593 drug Drugs 0.000 claims description 12
- 230000036772 blood pressure Effects 0.000 claims description 11
- 238000013186 photoplethysmography Methods 0.000 claims description 10
- 230000036387 respiratory rate Effects 0.000 claims description 8
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 7
- 230000003340 mental effect Effects 0.000 claims description 7
- 229910052760 oxygen Inorganic materials 0.000 claims description 7
- 239000001301 oxygen Substances 0.000 claims description 7
- 235000003715 nutritional status Nutrition 0.000 claims description 6
- 230000000241 respiratory effect Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 208000016252 change in skin color Diseases 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 14
- 238000007405 data analysis Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 230000008921 facial expression Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000002996 emotional effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000005189 cardiac health Effects 0.000 description 3
- 238000009795 derivation Methods 0.000 description 3
- 230000036544 posture Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 102000017011 Glycated Hemoglobin A Human genes 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 2
- 108010054147 Hemoglobins Proteins 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 108091005995 glycated hemoglobin Proteins 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 210000001002 parasympathetic nervous system Anatomy 0.000 description 2
- 230000003938 response to stress Effects 0.000 description 2
- 210000002820 sympathetic nervous system Anatomy 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002483 medication Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 206010033675 panniculitis Diseases 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 210000004304 subcutaneous tissue Anatomy 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000036642 wellbeing Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
- A61B5/0013—Medical image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/10—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to drugs or medications, e.g. for ensuring correct administration to patients
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Pathology (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radiology & Medical Imaging (AREA)
- Chemical & Material Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medicinal Chemistry (AREA)
- Physical Education & Sports Medicine (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법, 장치 및 컴퓨터프로그램이 제공된다. 본 발명의 다양한 실시예에 따른 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법은 카메라를 이용하여 소정의 시간동안 사용자의 얼굴을 촬영함에 따라 영상 데이터를 생성하는 단계, 상기 생성된 영상 데이터를 분석함에 따라 상기 사용자에 대한 생체 정보를 도출하는 단계, 상기 도출된 생체 정보를 이용하여 상기 사용자의 건강과 관련된 지표를 산출하고, 상기 도출된 생체 정보와 상기 산출된 지표에 관한 정보를 포함하는 건강진단 결과를 도출하는 단계, 상기 사용자의 상태 정보로서, 클라우드 서버에 상기 도출된 건강진단 결과를 저장하는 단계, 상기 저장된 건강진단 결과를 기반으로 상기 사용자의 건강 상태를 모니터링하는 단계 및 상기 저장된 건강진단 결과와 상기 사용자의 건강 상태를 모니터링한 결과에 기초하여 상기 사용자에게 맞춤형 웰니스 정보를 제공하는 단계를 포함한다.
Description
본 발명의 다양한 실시예는 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법, 장치 및 컴퓨터프로그램에 관한 것이다.
스마트 헬스케어(혹은 디지털 헬스케어)는 개인의 건강과 의료에 관한 정보, 기기, 시스템, 플랫폼을 다루는 산업분야로서 건강관련서비스와 의료 IT가 융합된 종합의료서비스이다. 그리고 개인맞춤형 건강관리서비스를 제공, 개인이 소유한 휴대형, 착용형 기기나 클라우드 병원정보시스템 등에서 확보된 생활습관, 신체검진, 의료이용정보, 인공지능, 가상현실, 유전체정보 등의 분석을 바탕으로 제공되는 개인중심의 건강관리 생태계이다.
지금까지의 헬스케어는 의사와 의료기관을 중심으로 이끌어져 왔다. 의사는 헬스케어 분야에서 전통적으로 정보를 생성하고 이러한 정보를 바탕으로 환자를 치료하는 역할을 담당하였다. 의료기관은 의사가 환자를 치료할 수 있는 공간을 제공하고, 생성되는 정보들을 저장, 관리하려는 역할을 수행하였다. 환자는 수동적이었으며, 생성된 정보는 의료기관에서만 확인 가능하였다.
그러나 현재 헬스케어는 사회변혁의 중심에 있다. 현재의 대응적, 사후적 헬스케어에서 미래 예측(Predictive), 예방(Preventive)의학으로 변화하고 있으며, 환자 개개인의 고유한 특성에 적합한 맞춤의학(Personalized), 환자가 적극적으로 참여하는 참여의학(Participatory)의 새로운 현상으로까지 나타났다.
한국공개특허 제10-2020-0037626호, '헬스케어 웨어러블 디바이스'에 의하면, 신체에 착용할 수 있으며, 주기적으로 착용자의 생체정보를 측정하여 전송함으로써 체계적인 건강관리가 이루어질 수 있는 헬스케어 웨어러블 디바이스를 개시하고 있다.
그러나, 종래의 헬스케어 방법의 경우, 사용자에 대한 생체 정보를 보다 용이하게 측정할 수는 있으나, 사용자가 직접 이러한 생체 정보를 기반으로 건강을 진단하는 등 건강을 체크하기 어렵다는 문제가 있다.
또한, 종래의 헬스케어 방법의 경우, 사용자에 대한 생체 정보를 측정하고, 이러한 정보들을 일시적으로 이용할 뿐, 생체 정보들을 저장 및 관리하거나 누적된 정보를 기반으로 건강을 진단하거나, 건강 상태 변화를 추적 관리할 수 없다는 한계가 있다.
본 발명이 해결하고자 하는 과제는 상술된 종래의 문제점을 해소하기 위한 목적으로, 카메라를 통해 수집된 영상 데이터를 분석함에 따라 사용자에 대한 건강진단을 원격으로 수행하고, 이를 기반으로 사용자에게 맞춤형 웰니스 정보를 제공함으로써, 원격으로 사용자가 보다 쉽고 편리하게 건강을 관리할 수 있도록 하는 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법, 장치 및 컴퓨터프로그램을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는 사용자의 영상 데이터 분석을 통해 도출되는 생체 정보와 이를 기반으로 산출되는 건강과 관련된 지표를 클라우드에 저장하고, 클라우드에 저장된 정보들을 지속적으로 관리 및 비교하여 사용자의 건강 상태를 모니터링함으로써, 사용자에 대한 정보를 보가 효율적으로 관리할 수 있고, 이를 통해 사용자의 건강 상태를 지속적으로 추적 관리할 수 있는 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법, 장치 및 컴퓨터프로그램을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법은 컴퓨팅 장치에 의해 수행되는 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법에 있어서, 카메라를 이용하여 소정의 시간동안 사용자의 얼굴을 촬영함에 따라 영상 데이터를 생성하는 단계, 상기 생성된 영상 데이터를 분석함에 따라 상기 사용자에 대한 생체 정보를 도출하는 단계, 상기 도출된 생체 정보를 이용하여 상기 사용자의 건강과 관련된 지표를 산출하고, 상기 도출된 생체 정보와 상기 산출된 지표에 관한 정보를 포함하는 건강진단 결과를 도출하는 단계, 상기 사용자의 상태 정보로서, 클라우드 서버에 상기 도출된 건강진단 결과를 저장하는 단계, 상기 저장된 건강진단 결과를 기반으로 상기 사용자의 건강 상태를 모니터링하는 단계 및 상기 저장된 건강진단 결과와 상기 사용자의 건강 상태를 모니터링한 결과에 기초하여 상기 사용자에게 맞춤형 웰니스 정보를 제공하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 사용자에 대한 생체 정보를 도출하는 단계는, 원격광혈류측정(remote Photoplethysmography, rPPG) 방식을 기반으로 상기 생성된 영상 데이터를 분석함에 따라 상기 사용자에 대한 생체 정보를 도출하는 단계를 포함하며, 상기 원격광혈류측정 방식을 기반으로 상기 생성된 영상 데이터를 분석함에 따라 상기 사용자에 대한 생체 정보를 도출하는 단계는, 상기 생성된 영상 데이터를 분석하여 상기 사용자의 얼굴에 대한 피부색 변화를 산출하는 단계, 상기 산출된 피부색 변화를 기반으로 상기 사용자의 얼굴에 대한 혈류 변화를 산출하고, 상기 산출된 혈류 변화에 기초하여 혈류 변화 패턴을 추출하는 단계 및 상기 추출된 혈류 변화 패턴에 기초하여 상기 사용자에 대한 생체 정보를 도출하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 사용자에 대한 생체 정보를 도출하는 단계는, 상기 생성된 영상 데이터를 분석하여 상기 사용자의 얼굴 영역으로부터 RGB 컬러 정보를 추출하는 단계, 상기 추출된 RGB 컬러 정보를 변환하여 주파수 데이터를 생성하는 단계 및 상기 생성된 주파수 데이터의 속성 - 상기 생성된 주파수 데이터의 속성은, 주파수 데이터의 변환 시간, 최대 피크값 및 최대 주파수 값 중 적어도 하나를 포함함 - 에 기초하여, 상기 사용자에 대한 생체 정보를 도출하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 RGB 컬러 정보를 추출하는 단계는, 상기 생성된 영상 데이터를 분석하여 상기 사용자의 얼굴 영역 중 적어도 일부 영역을 관심 영역(Region of Interest, ROI)으로 설정하는 단계 및 상기 설정된 관심 영역으로부터 RGB 컬러 정보를 추출하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 사용자에 대한 생체 정보를 도출하는 단계는, 기 학습된 인공지능 모델을 기반으로 상기 생성된 영상 데이터를 분석함에 따라 상기 사용자에 대한 생체 정보를 도출하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 도출된 생체 정보는, 심박수, 호흡 수, 혈압, 산소포화도, 맥박/호흡지수(PRQ) 및 심박변이도(HRV-SDNN)를 포함하며, 상기 건강진단 결과를 도출하는 단계는, 상기 심박수, 상기 호흡 수, 상기 혈압, 상기 산소포화도, 상기 맥박/호흡지수 및 상기 심박변이도 중 적어도 하나를 선택적으로 이용하여 상기 사용자에 대한 건강진단 결과로서, 상기 사용자의 육체활력 지표, 정신활력 지표, 영양상태 지표 및 운동능력 지표를 도출하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 사용자의 건강 상태를 모니터링하는 단계는, 소정의 기간동안 상기 클라우드 서버에 저장된 복수의 건강진단 결과를 비교하여 상기 사용자의 건강 상태를 판단하는 단계 및 상기 판단된 건강 상태에 관한 정보를 상기 사용자의 단말로 제공하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 영상 데이터를 생성하는 단계는, 상기 사용자가 위치하는 공간의 밝기에 기초하여 상기 카메라에 대하여 기 설정된 설정 값에 대한 캘리브레이션을 수행하는 단계 및 상기 설정 값이 캘리브레이션된 카메라를 이용하여 상기 사용자의 얼굴을 촬영함에 따라 영상 데이터를 생성하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 영상 데이터를 생성하는 단계는, 상기 사용자로부터 상기 사용자의 휴대폰 번호를 입력받는 것에 대응하여 상기 카메라의 동작을 개시함에 따라 영상 데이터를 생성하는 단계를 포함하며, 상기 도출된 건강진단 결과를 저장하는 단계는, 상기 생성된 영상 데이터를 기반으로 도출된 건강진단 결과를 상기 클라우드 서버에 저장하되, 기 등록된 복수의 사용자 정보 중 상기 입력된 휴대폰 번호에 대응하는 사용자 정보를 추출하고, 상기 생성된 영상 데이터를 기반으로 도출된 건강진단 결과와 상기 추출된 사용자 정보를 매칭하여 상기 클라우드 서버에 저장하는 단계를 포함할 수 있다.
다양한 실시예에서, 상기 맞춤형 웰니스 정보를 제공하는 단계는, 상기 저장된 건강진단 결과와 상기 사용자의 건강 상태를 모니터링한 결과에 기초하여 상기 사용자에 대한 맞춤형 웰니스 정보로서, 추천 운동 및 운동량에 관한 정보를 포함하는 운동 가이드를 제공하거나, 추천 영양제 또는 추천 약품에 관한 정보를 포함하는 복약 가이드를 제공하는 단계를 포함할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법을 수행하는 컴퓨팅 장치는 프로세서, 네트워크 인터페이스, 메모리 및 상기 메모리에 로드(load) 되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되, 상기 컴퓨터 프로그램은, 카메라를 이용하여 소정의 시간동안 사용자의 얼굴을 촬영함에 따라 영상 데이터를 생성하는 인스트럭션(instruction), 상기 생성된 영상 데이터를 분석함에 따라 상기 사용자에 대한 생체 정보를 도출하는 인스트럭션, 상기 도출된 생체 정보를 이용하여 상기 사용자의 건강과 관련된 지표를 산출하고, 상기 도출된 생체 정보와 상기 산출된 지표에 관한 정보를 포함하는 건강진단 결과를 도출하는 인스트럭션, 상기 사용자의 상태 정보로서, 클라우드 서버에 상기 도출된 건강진단 결과를 저장하는 인스트럭션, 상기 저장된 건강진단 결과를 기반으로 상기 사용자의 건강 상태를 모니터링하는 인스트럭션 및 상기 저장된 건강진단 결과와 상기 사용자의 건강 상태를 모니터링한 결과에 기초하여 상기 사용자에게 맞춤형 웰니스 정보를 제공하는 인스트럭션을 포함할 수 있다.
상술한 과제를 해결하기 위한 본 발명의 또 다른 실시예에 컴퓨터프로그램은 컴퓨팅 장치와 결합되어, 카메라를 이용하여 소정의 시간동안 사용자의 얼굴을 촬영함에 따라 영상 데이터를 생성하는 단계, 상기 생성된 영상 데이터를 분석함에 따라 상기 사용자에 대한 생체 정보를 도출하는 단계, 상기 도출된 생체 정보를 이용하여 상기 사용자의 건강과 관련된 지표를 산출하고, 상기 도출된 생체 정보와 상기 산출된 지표에 관한 정보를 포함하는 건강진단 결과를 도출하는 단계, 상기 사용자의 상태 정보로서, 클라우드 서버에 상기 도출된 건강진단 결과를 저장하는 단계, 상기 저장된 건강진단 결과를 기반으로 상기 사용자의 건강 상태를 모니터링하는 단계 및 상기 저장된 건강진단 결과와 상기 사용자의 건강 상태를 모니터링한 결과에 기초하여 상기 사용자에게 맞춤형 웰니스 정보를 제공하는 단계를 포함하는 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법을 실행시키기 위하여 컴퓨팅 장치로 판독 가능한 기록매체에 저장될 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 다양한 실시예에 따르면, 카메라를 통해 수집된 영상 데이터를 분석함에 따라 사용자에 대한 건강진단을 원격으로 수행하고, 이를 기반으로 사용자에게 맞춤형 웰니스 정보를 제공함으로써, 원격으로 사용자가 보다 쉽고 편리하게 건강을 관리할 수 있도록 한다는 이점이 있다.
또한, 사용자의 영상 데이터 분석을 통해 도출되는 생체 정보와 이를 기반으로 산출되는 건강과 관련된 지표를 클라우드에 저장하고, 클라우드에 저장된 정보들을 지속적으로 관리 및 비교하여 사용자의 건강 상태를 모니터링함으로써, 사용자에 대한 정보를 보가 효율적으로 관리할 수 있고, 이를 통해 사용자의 건강 상태를 지속적으로 추적 관리할 수 있다는 이점이 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공 시스템을 도시한 도면이다.
도 2 및 도 3은 다양한 실시예에서, 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공 시스템에 포함된 건강진단 장치를 예시적으로 도시한 도면이다.
도 4는 본 발명의 다른 실시예에 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법을 수행하는 컴퓨팅 장치의 하드웨어 구성도이다.
도 5는 본 발명의 또 다른 실시예에 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법의 순서도이다.
도 6은 다양한 실시예에서, 원격광혈류측정(remote Photoplethysmography, rPPG) 방식 기반의 생체 정보 도출 과정을 예시적으로 도시한 도면이다.
도 7은 다양한 실시예에서, 사용자의 건강진단 결과를 클라우드에 저장하고, 이를 기반으로 사용자의 건강 상태를 모니터링하는 과정을 도시한 도면이다.
도 8 내지 도 11은 다양한 실시예에서, 컴퓨팅 장치가 제공하는 사용자 인터페이스(User Interface, UI)를 예시적으로 도시한 도면이다.
도 12는 다양한 실시예에서, 영상 데이터 분석을 통해 도출된 생체 정보와 이를 기반으로 산출된 지표를 출력하는 화면을 예시적으로 도시한 도면이다.
도 13 및 도 14는 다양한 실시예에서, 사용자의 영상 데이터를 기반으로 원격 건강진단을 수행한 결과를 출력하는 화면을 예시적으로 도시한 도면이다.
도 2 및 도 3은 다양한 실시예에서, 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공 시스템에 포함된 건강진단 장치를 예시적으로 도시한 도면이다.
도 4는 본 발명의 다른 실시예에 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법을 수행하는 컴퓨팅 장치의 하드웨어 구성도이다.
도 5는 본 발명의 또 다른 실시예에 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법의 순서도이다.
도 6은 다양한 실시예에서, 원격광혈류측정(remote Photoplethysmography, rPPG) 방식 기반의 생체 정보 도출 과정을 예시적으로 도시한 도면이다.
도 7은 다양한 실시예에서, 사용자의 건강진단 결과를 클라우드에 저장하고, 이를 기반으로 사용자의 건강 상태를 모니터링하는 과정을 도시한 도면이다.
도 8 내지 도 11은 다양한 실시예에서, 컴퓨팅 장치가 제공하는 사용자 인터페이스(User Interface, UI)를 예시적으로 도시한 도면이다.
도 12는 다양한 실시예에서, 영상 데이터 분석을 통해 도출된 생체 정보와 이를 기반으로 산출된 지표를 출력하는 화면을 예시적으로 도시한 도면이다.
도 13 및 도 14는 다양한 실시예에서, 사용자의 영상 데이터를 기반으로 원격 건강진단을 수행한 결과를 출력하는 화면을 예시적으로 도시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공 시스템을 도시한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공 시스템은 컴퓨팅 장치(100), 건강진단 장치(200), 사용자 단말(300), 외부 서버(400) 및 네트워크(500)를 포함할 수 있다.
여기서, 도 1에 도시된 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공 시스템은 일 실시예에 따른 것이고, 그 구성 요소가 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 부가, 변경 또는 삭제될 수 있다.
일 실시예에서, 컴퓨팅 장치(100)는 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법을 수행할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 개인 건강 관리 서비스로서, 사용자에 대한 건강을 진단할 수 있다. 예컨대, 컴퓨팅 장치(100)는 네트워크(500)를 통해 건강진단 장치(200)와 연결될 수 있으며, 건강진단 장치(200)로부터 사용자의 얼굴을 촬영함에 따라 생성되는 영상 데이터를 획득할 수 있고, 이를 분석하여 사용자에 대한 생체 정보와 건강과 관련된 지표를 산출할 수 있으며, 사용자의 생체 정보와 이를 기반으로 산출되는 지표를 사용자에 대한 건강진단 결과로서 사용자에게 제공할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 개인 건강 관리 서비스로서, 사용자의 건강 상태를 모니터링할 수 있다. 예컨대, 컴퓨팅 장치(100)는 건강진단 장치(200)를 통해 도출되는 건강진단 결과를 클라우드에 저장할 수 있으며, 소정의 기간 동안 클라우드에 저장된 정보를 비교 분석하여 사용자의 건강 상태를 모니터링할 수 있고, 사용자의 건강 상태를 모니터링한 결과를 사용자에게 제공할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 개인 건강 관리 서비스로서, 사용자의 건강진단 결과와 사용자의 건강 상태를 모니터링한 결과에 기초하여 사용자에게 제공할 맞춤형 웰니스 정보(wellness information)를 생성하고, 이를 사용자에게 제공할 수 있다. 예컨대, 컴퓨팅 장치(100)는 사용자의 건강진단 결과와 사용자의 건강 상태를 모니터링한 결과에 기초하여, 운동을 가이드하거나 영양제를 추천할 수 있다. 그러나, 이에 한정되지 않는다.
여기서, 네트워크(500)는 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미할 수 있다. 예를 들어, 네트워크(500)는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함할 수 있다.
무선 데이터 통신망은 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등을 포함할 수 있으나, 이에 한정되지는 않는다.
또한, 여기서, 도 1에 도시된 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공 시스템에 따르면, 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스를 제공하는 컴퓨팅 장치(100)가 건강진단 장치(200)의 외부에 별로도 구비되는 것으로 설명하고 있으나, 이에 한정되지 않고, 컴퓨팅 장치(100)는 건강진단 장치(200) 내부에 구비되며, 건강진단 장치(200)의 내부에서 건강진단 장치(200)에 포함된 구성요소들의 동작을 제어함과 동시에 이를 기반으로 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스를 제공하는 형태로 구현될 수 있다.
일 실시예에서, 건강진단 장치(200)는 네트워크(500)를 통해 컴퓨팅 장치(100)와 연결될 수 있으며, 컴퓨팅 장치(100)가 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법을 수행하기 위해 필요한 각종 정보 및 데이터를 생성 및 수집하여 제공할 수 있다.
보다 구체적으로, 도 2 및 도 3을 참조하면, 건강진단 장치(200)는 입력부(210)를 포함할 수 있으며, 입력부(210)를 통해 사용자로부터 정보(예: 이름, 휴대폰 번호 등 사용자의 개인 정보나 경우에 따라 기저질환, 복용 중인 약 등과 같은 문진 정보 포함)를 입력받을 수 있고, 입력된 정보를 컴퓨팅 장치(100)로 제공할 수 있다. 예컨대, 입력부(210)는 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공하는 UI(예: 도 8 내지 도 11)를 출력할 수 있는 디스플레이를 포함할 수 있으나, 이에 한정되지 않는다.
또한, 건강진단 장치(200)는 카메라(220)를 포함할 수 있으며, 카메라(220)를 통해 사용자의 얼굴을 촬영함에 따라 영상 데이터를 생성할 수 있고, 이를 컴퓨팅 장치(100)로 제공할 수 있다.
여기서, 도 1에 도시된 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공 시스템에 따르면, 건강진단 장치(200)를 통해 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스를 제공하기 위한 각종 정보를 수집 및 생성하고, 이를 컴퓨팅 장치(100)에 제공하는 것으로 설명하고 있으나, 이에 한정되지 않고, 경우에 따라 건강진단 장치(200)를 통해 수행되는 일련의 동작들(예: 사용자에 관한 정보 입력 동작 및 사용자의 영상 데이터 생성 동작 등)이 사용자 단말(300)을 통해 수행될 수 있다. 예컨대, 사용자는 사용자 단말(300)을 통해 컴퓨팅 장치(100)로부터 제공되는 애플리케이션을 다운로드, 설치 및 실행함에 따라 사용자 단말(300)을 통해 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스를 제공받을 수 있고, 사용자 단말(300)을 통해 서비스 이용을 위한 동작들(예: 사용자에 관한 정보 입력 동작 및 사용자의 영상 데이터 생성 동작 등)을 수행할 수 있다.
일 실시예에서, 사용자 단말(300)은 컴퓨팅 장치(100)와 통신을 위한 메커니즘을 갖는 시스템에서의 임의의 형태의 엔티티(들)를 의미할 수 있다. 예를 들어, 이러한 사용자 단말(300)은 PC(personal computer), 노트북(note book), 모바일 단말기(mobile terminal), 스마트 폰(smart phone), 태블릿 PC(tablet pc) 및 웨어러블 디바이스(wearable device) 등을 포함할 수 있으며, 유/무선 네트워크에 접속할 수 있는 모든 종류의 단말을 포함할 수 있다. 또한, 사용자 단말(300)은 에이전트, API(Application Programming Interface) 및 플러그-인(Plug-in) 중 적어도 하나에 의해 구현되는 임의의 컴퓨팅 장치를 포함할 수도 있다. 또한, 사용자 단말(300)은 애플리케이션 소스 및/또는 클라이언트 애플리케이션을 포함할 수 있다.
일 실시예에서, 외부 서버(400)는 네트워크(500)를 통해 컴퓨팅 장치(100)와 연결될 수 있으며, 컴퓨팅 장치(100)가 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법을 수행하기 위해 필요한 각종 정보 및 데이터를 저장 및 관리하거나, 컴퓨팅 장치(100)가 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법을 수행함에 따라 생성되는 각종 정보 및 데이터를 제공받아 저장 및 관리할 수 있다. 일례로, 외부 서버(400)는 컴퓨팅 장치(100)의 외부에 별도로 구비되는 저장 서버(예: 클라우드 서버)일 수 있으나, 이에 한정되지 않는다. 이하, 도 4를 참조하여, 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법을 수행하는 컴퓨팅 장치(100)의 하드웨어 구성에 대해 설명하도록 한다
도 4는 본 발명의 다른 실시예에 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법을 수행하는 컴퓨팅 장치의 하드웨어 구성도이다.
도 4를 참조하면, 다양한 실시예에서, 컴퓨팅 장치(100)는 하나 이상의 프로세서(110), 프로세서(110)에 의하여 수행되는 컴퓨터 프로그램(151)을 로드(Load)하는 메모리(120), 버스(130), 통신 인터페이스(140) 및 컴퓨터 프로그램(151)을 저장하는 스토리지(150)를 포함할 수 있다. 여기서, 도 4에는 본 발명의 실시예와 관련 있는 구성요소들만 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 4에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.
프로세서(110)는 컴퓨팅 장치(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(110)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다.
또한, 프로세서(110)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있으며, 컴퓨팅 장치(100)는 하나 이상의 프로세서를 구비할 수 있다.
다양한 실시예에서, 프로세서(110)는 프로세서(110) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(110)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.
메모리(120)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(120)는 본 발명의 다양한 실시예에 따른 방법/동작을 실행하기 위하여 스토리지(150)로부터 컴퓨터 프로그램(151)을 로드할 수 있다. 메모리(120)에 컴퓨터 프로그램(151)이 로드되면, 프로세서(110)는 컴퓨터 프로그램(151)을 구성하는 하나 이상의 인스트럭션들을 실행함으로써 상기 방법/동작을 수행할 수 있다. 메모리(120)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 개시의 기술적 범위가 이에 한정되는 것은 아니다.
버스(130)는 컴퓨팅 장치(100)의 구성 요소 간 통신 기능을 제공한다. 버스(130)는 주소 버스(address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.
통신 인터페이스(140)는 컴퓨팅 장치(100)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(140)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(140)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다. 몇몇 실시예에서, 통신 인터페이스(140)는 생략될 수도 있다.
스토리지(150)는 컴퓨터 프로그램(151)을 비 임시적으로 저장할 수 있다. 컴퓨팅 장치(100)를 통해 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공 프로세스를 수행하는 경우, 스토리지(150)는 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공 프로세스를 제공하기 위하여 필요한 각종 정보를 저장할 수 있다.
스토리지(150)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.
컴퓨터 프로그램(151)은 메모리(120)에 로드될 때 프로세서(110)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 프로세서(110)는 상기 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 상기 방법/동작을 수행할 수 있다.
일 실시예에서, 컴퓨터 프로그램(151)은 카메라를 이용하여 소정의 시간동안 사용자의 얼굴을 촬영함에 따라 영상 데이터를 생성하는 단계, 생성된 영상 데이터를 분석함에 따라 사용자에 대한 생체 정보를 도출하는 단계, 도출된 생체 정보를 이용하여 사용자의 건강과 관련된 지표를 산출하고, 도출된 생체 정보와 산출된 지표에 관한 정보를 포함하는 건강진단 결과를 도출하는 단계, 사용자의 상태 정보로서, 클라우드 서버에 상기 도출된 건강진단 결과를 저장하는 단계, 저장된 건강진단 결과를 기반으로 사용자의 건강 상태를 모니터링하는 단계 및 저장된 건강진단 결과와 사용자의 건강 상태를 모니터링한 결과에 기초하여 사용자에게 맞춤형 웰니스 정보를 제공하는 단계를 포함하는 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법을 수행하도록 하는 하나 이상의 인스트럭션을 포함할 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 이하, 도 5를 참조하여, 컴퓨팅 장치(100)에 의해 수행되는 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법에 대해 설명하도록 한다.
도 5는 본 발명의 또 다른 실시예에 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법의 순서도이다.
도 5를 참조하면, S110 단계에서, 사용자에 대한 건강진단을 목적으로, 사용자에 대한 영상 데이터가 생성된다.
다양한 실시예에서, 컴퓨팅 장치(100)는 카메라(220)의 동작을 제어하는 제어명령을 결정하여 건강진단 장치(200)로 제공할 수 있고, 건강진단 장치(200)는 컴퓨팅 장치(100)로부터 제공되는 제어명령에 따라 카메라(220)를 통해 소정의 시간동안 사용자의 얼굴을 촬영함으로써, 사용자에 대한 영상 데이터를 생성할 수 있다.
다양한 실시예에서, 건강진단 장치(200)는 입력부(210)를 통해 사용자에 관한 정보(예: 사용자의 휴대폰 번호)를 입력받을 수 있고, 사용자에 관한 정보가 입력되는 것에 대응하여 카메라(220)를 통해 소정의 시간동안 사용자의 얼굴을 촬영함으로써, 사용자에 대한 영상 데이터를 생성할 수 있다.
여기서, 영상 데이터가 건강진단 장치(200)에 포함된 카메라(220)를 통해 생성되는 것으로 설명하고 있으나, 이에 한정되지 않고, 사용자 단말(300)에 구비되는 카메라 모듈을 통해 생성되거나, 경우에 따라 외부의 카메라 모듈을 통해 기 생성된 영상 데이터를 업로드받는 형태로 구현될 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 사용자가 위치하는 공간의 밝기에 기초하여 카메라(220)에 대하여 기 설정된 설정 값(예: 크기, 해상도, 프레임 레이트, 비율, 셔터 속도, 노출/ISO, 조리개(F값), 화이트밸런스(WB) 등)에 대한 캘리브레이션(calibration)을 수행할 수 있고, 설정 값이 캘리브레이션된 카메라(220)를 통해 소정의 시간동안 사용자의 얼굴을 촬영함으로써, 사용자에 대한 영상 데이터를 생성할 수 있다.
한편, 영상 데이터를 분석하여 신뢰도 높은 결과 데이터를 도출하기 위해서는 영상 데이터를 분석하는 기술을 최적화 및 고도화하는 작업뿐만 아니라, 이러한 기술을 이용하여 분석하고자 하는 영상 데이터가 이상적인 상태로 생성 및 수집되는 것 역시 매우 중요하다.
이에, 컴퓨팅 장치(100)는 건강진단 장치(200)에 포함된 입력부(210)(예: 디스플레이)를 통해 출력되는 UI(예: 도 8 내지 도 11)을 통해, 이상적인 상태의 영상 데이터가 생성될 수 있도록 가이드하는 가이드 정보(예컨대, 사용자의 얼굴이 보다 명확하게 드러날 수 있는 자세를 안내하거나 경우에 따라 머리를 넘기거나, 안경을 벗는 등의 행동을 지시하는 내용 등)를 제공할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 컴퓨팅 장치(100)는 건강진단 장치(200)에 포함된 카메라(220)를 통해 실시간으로 사용자의 얼굴을 촬영한 이미지를 수집할 수 있고, 실시간으로 수집되는 이미지를 분석하여 사용자가 컴퓨팅 장치(100)에 의해 제공되는 가이드 정보에 따른 동작 및 자세를 얼마나 정확하게 수행하고 있는지에 대한 점수를 산출하여 UI를 통해 표시해줌으로써, 사용자가 자신이 가이드에 따라 제대로된 동작을 수행하고 있는지를 직관적으로 알 수 있도록 가이드할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 건강진단 장치(200)에 포함된 카메라(220)를 통해 실시간으로 사용자의 얼굴을 촬영한 이미지를 수집할 수 있고, 실시간으로 수집되는 이미지를 분석하여 컴퓨팅 장치(100)가 제공하는 가이드 정보에 따른 동작 및 자세를 취한 것으로 인지되는 경우, 해당 시점부터 소정의 기간 동안의 사용자의 얼굴을 촬영함에 따라 영상 데이터가 생성되도록 카메라(220)의 동작을 제어할 수 있다.
S120 단계에서, S110 단계를 거쳐 생성된 영상 데이터를 분석함에 따라 사용자에 대한 생체 정보가 도출된다.
다양한 실시예에서, 컴퓨팅 장치(100)는 사용자의 얼굴을 촬영함에 따라 생성되는 영상 데이터를 분석하여 사용자의 생체 정보를 도출할 수 있다.
여기서, 사용자의 생체 정보는, 사용자의 심박수, 호흡 수, 혈압, 산소포화도, 맥박/호흡지수(PRQ) 및 심박변이도(HRV-SDNN)를 포함할 수 있으나, 이에 한정되지 않고, 사용자의 생체 정보는 스트레스 레벨, 스트레스반응/교감신경(SNS Index), 회복력/부교감신경(PNS Index), 심박간격 변이성(RMSSD), 평균심박거리(Mean RRI), 심장건강지표(SD1, SD2), 헤모글로빈(Hemoglobin) 및 당화혈색소(A1c)를 더 포함할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 원격광혈류측정(remote Photoplethysmography, rPPG) 방식을 기반으로 영상 데이터를 분석함에 따라 사용자에 대한 생체 정보를 도출할 수 있다.
여기서, 도 6을 참조하면, 카메라를 통해 사용자의 피부를 촬영할 경우, 환경광 및 주변광(ambient light)이 사용자의 피부 표면(Outer Skin)에 의해 반사됨에 따라 정반사(Specular Reflection)된 빛과 피부 내부로 투과된 환경광 및 주변광이 피하 조직(subcutaneous tissue) 내의 혈관들(blood vessels)에 의해 피부 외부로 반사됨에 따라 난반사(diffuse reflection)된 빛이 카메라에 의해 동시에 포착되는데, 컴퓨팅 장치(100)에 의해 수행되는 rPPG 방식 기반의 생체 정보 도출 방법은 영상 데이터에 포함된 빛 신호를 분석하여 피부색 변화 및 혈류 변화를 분석하고, 이를 기반으로 패턴을 추적하여 생체 정보를 도출하는 방식을 의미할 수 있다.
보다 구체적으로, 먼저, 컴퓨팅 장치(100)는 영상 데이터를 분석하여 사용자의 얼굴에 대한 피부색 변화를 산출할 수 있다. 예컨대, 컴퓨팅 장치(100)는 영상 데이터를 분석함에 따라 사용자의 얼굴 영역으로부터 RGB 컬러 정보를 추출할 수 있고, 소정의 기간 동안 추출되는 RGB 컬러 정보(예컨대, 적(R), 녹(G) 및 청(B) 각각에 대한 0 내지 255 범위 내의 값)를 비교하여 사용자의 얼굴 영역에 대한 피부색 변화를 산출할 수 있다.
이때, 컴퓨팅 장치(100)는 영상 데이터를 분석하여 사용자의 얼굴 영역 중 적어도 일부 영역을 관심 영역(Region of Interest, ROI)으로 설정할 수 있고, 관심 영역으로부터 RGB 컬러 정보를 추출할 있다.
일례로, 컴퓨팅 장치(100)는 영상 데이터를 분석하여 사용자의 얼굴 영역 중 피부에 대응하는 영역만을 관심 영역으로 설정할 수 있다.
다른 예로, 컴퓨팅 장치(100)는 특정 사용자에 대한 소정 기간 동안의 영상 데이터 분석 이력에 기초하여, 사용자의 얼굴 영역 중 피부색 변화량이 가장 큰 영역을 관심 영역으로 설정할 수 있다.
또 다른 예로, 컴퓨팅 장치(100)는 사용자의 얼굴 영역을 소정의 크기로 격자화함에 따라 복수의 격자를 생성하고, 특정 사용자에 대한 소정 기간 동안의 영상 데이터 분석 이력에 기초하여 복수의 격자 각각에 대응하는 피부색 변화량을 산출하며, 산출된 피부색 변화량이 기준 변화량 이상인 적어도 하나의 격자 또는 산출된 피부색 변화량이 가장 높은 격자부터 순차적으로 N개의 격자에 대응하는 영역을 관심 영역으로 설정할 수 있다.
다음으로, 컴퓨팅 장치(100)는 사용자의 얼굴 영역에 대한 피부색 변화에 기초하여, 사용자의 얼굴에 대한 혈류 변화를 산출할 수 있고, 산출된 혈류 변화에 기초하여 혈류 변화 패턴을 추출할 수 있다.
일례로, 컴퓨팅 장치(100)는 사용자의 영상 데이터로부터 추출되는 RGB 컬러 정보를 변환함으로써, 사용자의 얼굴에 대한 혈류 변화에 대응하는 주파수 데이터를 생성할 수 있고, 주파수 데이터의 속성(예: 주파수 데이터의 변환 시간, 최대 피크값 중 최대 주파수 값 등)에 기초하여 혈류 변화 패턴으로서 주파수 데이터 패턴을 추출할 수 있다.
마지막으로, 컴퓨팅 장치(100)는 사용자의 혈류 변화 패턴에 기초하여 사용자에 대한 생체 정보를 도출할 수 있다.
일례로, 컴퓨팅 장치(100)는 복수의 생체 정보 항목 각각에 대하여, 사전에 혈류 변화 패턴별 생체 정보 값을 정의할 수 있으며, 사전에 정의된 혈류 변화 패턴별 생체 정보 값으로부터 상술된 방법에 따라 도출되는 혈류 변화 패턴에 대응하는 생체 정보 값을 추출함으로써, 사용자에 대한 생체 정보를 도출할 수 있다. 예컨대, 컴퓨팅 장치(100)는 혈류 변화 패턴별 혈압 값을 사전에 정의할 수 있고, 사전에 정의된 혈류 변화 패턴별 혈압 값으로부터 영상 데이터 분석을 통해 도출된 혈류 변화 패턴에 대응하는 혈압 값을 추출할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 사용자의 얼굴 영역 상에 둘 이상의 관심 영역이 설정되는 경우, 둘 이상의 관심 영역 각각에 대하여 피부색 변화 산출 동작, 혈류 변화 산출 동작, 혈류 변화 패턴 추출 동작 및 생체 정보 도출 동작을 개별적으로 수행할 수 있다.
이때, 컴퓨팅 장치(100)는 둘 이상의 관심 영역 각각으로부터 도출된 생체 정보가 상이한 경우(예: 둘 이상의 관심 영역 각각으로부터 도출된 생체 정보 간의 차이가 임계 값을 초과하는 경우), 둘 이상의 관심 영역 각각으로부터 도출된 생체 정보의 평균 값을 생체 정보로서 도출하거나, 경우에 따라 둘 이상의 관심 영역 중 중요도가 높은 관심 영역(예: 면적의 크기가 가장 큰 관심 영역, 피부색 변화량이 가장 큰 관심 영역 등)으로부터 도출되는 생체 정보를 채택할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 기 학습된 인공지능 모델을 기반으로 영상 데이터를 분석함에 따라 사용자에 대한 생체 정보를 도출할 수 있다.
여기서, 기 학습된 인공지능 모델은 피부색 변화, 혈류 변화, 혈류 변화 패턴 및 생체 정보가 레이블링(Labeling)된 복수의 영상 데이터를 학습데이터로 하여 머신러닝 기반의 학습 방법(예: 지도 학습(Supervised learning))에 따라 학습된 모델로서, 피부색 변화, 혈류 변화, 혈류 변화 패턴 및 생체 정보 간의 상관관계가 학습된 모델이며, 영상 데이터를 입력 데이터로 하여 영상 데이터에 대한 피부색 변화, 혈류 변화, 혈류 변화 패턴 및 생체 정보를 추출하는 모델일 수 있다.
인공지능 모델(예: 신경망)은 하나 이상의 네트워크 함수로 구성되며, 하나 이상의 네트워크 함수는 일반적으로 ‘노드’라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있다. 이러한 ‘노드’들은 ‘뉴런(neuron)’들로 지칭될 수도 있다. 하나 이상의 네트워크 함수는 적어도 하나 이상의 노드들을 포함하여 구성된다. 하나 이상의 네트워크 함수를 구성하는 노드(또는 뉴런)들은 하나 이상의 ‘링크’에 의해 상호 연결될 수 있다.
인공지능 모델 내에서, 링크를 통해 연결된 하나 이상의 노드들은 상대적으로 입력 노드 및 출력 노드의 관계를 형성할 수 있다. 입력 노드 및 출력 노드의 개념은 상대적인 것으로서, 하나의 노드에 대하여 출력 노드 관계에 있는 임의의 노드는 다른 노드와의 관계에서 입력 노드 관계에 있을 수 있으며, 그 역도 성립할 수 있다. 전술한 바와 같이, 입력 노드 대 출력 노드 관계는 링크를 중심으로 생성될 수 있다. 하나의 입력 노드에 하나 이상의 출력 노드가 링크를 통해 연결될 수 있으며, 그 역도 성립할 수 있다.
하나의 링크를 통해 연결된 입력 노드 및 출력 노드 관계에서, 출력 노드는 입력 노드에 입력된 데이터에 기초하여 그 값이 결정될 수 있다. 여기서 입력 노드와 출력 노드를 상호 연결하는 노드는 가중치(weight)를 가질 수 있다. 가중치는 가변적일 수 있으며, 인공지능 모델이 원하는 기능을 수행하기 위해, 사용자 또는 알고리즘에 의해 가변될 수 있다. 예를 들어, 하나의 출력 노드에 하나 이상의 입력 노드가 각각의 링크에 의해 상호 연결된 경우, 출력 노드는 상기 출력 노드와 연결된 입력 노드들에 입력된 값들 및 각각의 입력 노드들에 대응하는 링크에 설정된 가중치에 기초하여 출력 노드 값을 결정할 수 있다.
전술한 바와 같이, 인공지능 모델은 하나 이상의 노드들이 하나 이상의 링크를 통해 상호연결 되어 인공지능 모델 내에서 입력 노드 및 출력 노드 관계를 형성한다. 인공지능 모델 내에서 노드들과 링크들의 개수 및 노드들과 링크들 사이의 연관관계, 링크들 각각에 부여된 가중치의 값에 따라, 인공지능 모델의 특성이 결정될 수 있다. 예를 들어, 동일한 개수의 노드 및 링크들이 존재하고, 링크들 사이의 가중치 값이 상이한 두 인공지능 모델이 존재하는 경우, 두 개의 인공지능 모델들은 서로 상이한 것으로 인식될 수 있다.
인공지능 모델을 구성하는 노드들 중 일부는, 최초 입력 노드로부터의 거리들에 기초하여, 하나의 레이어(layer)를 구성할 수 있다. 예를 들어, 최초 입력 노드로부터 거리가 n인 노드들의 집합은, n 레이어를 구성할 수 있다. 최초 입력 노드로부터 거리는, 최초 입력 노드로부터 해당 노드까지 도달하기 위해 거쳐야 하는 링크들의 최소 개수에 의해 정의될 수 있다. 그러나, 이러한 레이어의 정의는 설명을 위한 임의적인 것으로서, 인공지능 모델 내에서 레이어의 차수는 전술한 것과 상이한 방법으로 정의될 수 있다. 예를 들어, 노드들의 레이어는 최종 출력 노드로부터 거리에 의해 정의될 수도 있다.
최초 입력 노드는 인공지능 모델 내의 노드들 중 다른 노드들과의 관계에서 링크를 거치지 않고 데이터가 직접 입력되는 하나 이상의 노드들을 의미할 수 있다. 또는, 인공지능 모델 네트워크 내에서, 링크를 기준으로 한 노드 간의 관계에 있어서, 링크로 연결된 다른 입력 노드들 가지지 않는 노드들을 의미할 수 있다. 이와 유사하게, 최종 출력 노드는 인공지능 모델 내의 노드들 중 다른 노드들과의 관계에서, 출력 노드를 가지지 않는 하나 이상의 노드들을 의미할 수 있다. 또한, 히든 노드는 최초 입력 노드 및 최후 출력 노드가 아닌 인공지능 모델을 구성하는 노드들을 의미할 수 있다. 본 발명의 일 실시예에 따른 인공지능 모델은 입력 레이어의 노드가 출력 레이어에 가까운 히든 레이어의 노드보다 많을 수 있으며, 입력 레이어에서 히든 레이어로 진행됨에 따라 노드의 수가 감소하는 형태의 인공지능 모델일 수 있다.
인공지능 모델은 하나 이상의 히든 레이어를 포함할 수 있다. 히든 레이어의 히든 노드는 이전의 레이어의 출력과 주변 히든 노드의 출력을 입력으로 할 수 있다. 각 히든 레이어 별 히든 노드의 수는 동일할 수도 있고 상이할 수도 있다. 입력 레이어의 노드의 수는 입력 데이터의 데이터 필드의 수에 기초하여 결정될 수 있으며 히든 노드의 수와 동일할 수도 있고 상이할 수도 있다. 입력 레이어에 입력된 입력 데이터는 히든 레이어의 히든 노드에 의하여 연산될 수 있고 출력 레이어인 완전 연결 레이어(FCL: fully connected layer)에 의해 출력될 수 있다.
다양한 실시예에서, 인공지능 모델은 딥러닝(Deep learning) 모델일 수 있다.
딥러닝 모델(예: 딥 뉴럴 네트워크(DNN: deep neural network, 심층신경망)는 입력 레이어와 출력 레이어 외에 복수의 히든 레이어를 포함하는 인공지능 모델을 의미할 수 있다. 딥 뉴럴 네트워크를 이용하면 데이터의 잠재적인 구조(latent structures)를 파악할 수 있다. 즉, 사진, 글, 비디오, 음성, 음악의 잠재적인 구조(예를 들어, 어떤 물체가 사진에 있는지, 글의 내용과 감정이 무엇인지, 음성의 내용과 감정이 무엇인지 등)를 파악할 수 있다.
딥 뉴럴 네트워크는 컨벌루셔널 뉴럴 네트워크(CNN: convolutional neural network), 리커런트 뉴럴 네트워크(RNN: recurrent neural network), 오토 인코더(auto encoder), GAN(Generative Adversarial Networks), 제한 볼츠만 머신(RBM: restricted boltzmann machine), 심층 신뢰 네트워크(DBN: deep belief network), Q 네트워크, U 네트워크, 샴 네트워크 등을 포함할 수 있으나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 영상 데이터에 포함된 사용자의 얼굴 영역을 분석함에 따라 사용자의 표정(및/또는 표정 변화)를 인식할 수 있고, 인식된 사용자의 표정에 기초하여, 영상 데이터로부터 도출된 생체 정보를 검증할 수 있다. 예컨대, 컴퓨팅 장치(100)는 영상 데이터로부터 도출된 생체 정보가 심박수일 때, 영상 데이터 분석을 통해 사용자의 표정 및/또는 표정 변화를 감지할 수 있고, 사용자의 표정 및/또는 표정 변화에 따른 사용자의 감정 상태 및/또는 감정 상태 변화를 판단할 수 있으며, 판단된 감정 상태 및/또는 감정 상태 변화에 따라 사용자의 심박수를 검증할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 사용자에 대한 영상 데이터가 생성되는 시점에 외부로부터 측정된 사용자의 생체 정보에 기초하여, 영상 데이터로부터 추출되는 생체 정보들에 대한 검증을 수행할 수 있다.
보다 구체적으로, 먼저, 컴퓨팅 장치(100)는 사용자의 얼굴을 촬영함에 따라 사용자에 대한 영상 데이터가 생성되는 시점에, 사용자에 대한 생체 정보를 측정하는 장치(예: 스마트 워치 등)를 통해 측정된 제1 생체 정보 값(예: 혈압)을 획득할 수 있다.
이후, 컴퓨팅 장치(100)는 영상 데이터 분석을 통해 제1 생체 정보 값 내지 제6 생체 정보 값이 도출된 경우, 영상 데이터로부터 도출된 제1 생체 정보 값과 외부 장치를 통해 측정된 제1 생체 정보 값을 비교하여 영상 데이터 분석을 통해 도출된 생체 정보가 정확하게 도출된 것인지를 검증할 수 있다.
예컨대, 컴퓨팅 장치(100)는 영상 데이터로부터 도출된 제1 생체 정보 값과 외부 장치를 통해 측정된 제1 생체 정보 값의 차이가 오차 범위 내인 경우, 영상 데이터 분석을 통해 도출된 생체 정보가 정확하게 도출된 것으로 판단할 수 있다.
한편, 컴퓨팅 장치(100)는 영상 데이터로부터 도출된 제1 생체 정보 값과 외부 장치를 통해 측정된 제1 생체 정보 값의 차이가 오차 범위를 벗어난 경우, 영상 데이터 분석을 통해 도출된 제1 생체 정보 값뿐만 아니라 영상 데이터 분석을 통해 도출된 모든 생체 정보 값들이 정확하게 도출되지 않은 것으로 판단할 수 있다.
이때, 컴퓨팅 장치(100)는 영상 데이터로부터 생체 정보가 정확하게 도출되지 못한 것으로 판단되는 경우, 영상 데이터로부터 생체 정보가 정확하게 도출될 때까지 즉, 영상 데이터로부터 도출된 제1 생체 정보와 외부 장치를 통해 측정된 제1 생체 정보 값과의 차이가 오차 범위 내가 될 때까지 반복적으로 영상 데이터를 재 생성 및 분석할 수 있다.
S130 단계에서, S120 단계를 거쳐 도출된 생체 정보를 기반으로, 사용자에 대한 건강진단 결과가 도출된다.
다양한 실시예에서, 컴퓨팅 장치(100)는 영상 데이터 분석을 기반으로 도출된 생체 정보를 이용하여 사용자의 건강과 관련된 지표를 산출할 수 있고, 영상 데이터 분석을 통해 도출된 생체 정보와 생체 정보 기반으로 산출된 지표에 관한 정보를 포함하는 건강진단 결과를 도출할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 영상 데이터 분석을 통해 도출된 복수의 생체 정보 중 적어도 하나의 생체 정보를 이용하여 사용자의 건강과 관련된 지표로서, 육체활력 지표, 정신활력 지표, 영양상태 지표 및 운동능력 지표를 도출할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 산출하고자 하는 지표에 기초하여 복수의 생체 정보 중 적어도 하나의 생체 정보를 선택하고, 선택된 적어도 하나의 생체 정보의 값에 기초하여 사용자의 건강과 관련된 지표를 산출할 수 있다.
예컨대, 컴퓨팅 장치(100)는 사용자에 대한 육체활력 지표를 산출하고자 하는 경우, 복수의 생체 정보 중 사용자의 심박수, 호흡 수 및 혈압을 선택하고, 선택된 생체 정보가 정상 범위로부터 벗어난 정도에 기초하여, 사용자의 선택된 생체 정보 각각에 대한 점수를 산출할 수 있으며, 산출된 점수를 합산함으로써, 사용자의 육체활력 지표를 산출할 수 있다.
또한, 컴퓨팅 장치(100)는 사용자에 대하여 정신활력 지표를 산출하고자 하는 경우, 복수의 생체 정보 중 심박변이도(HRV-SDNN), 스트레스레벨 및 스트레스반응/교감신경(SNS Index)를 선택하고, 선택된 생체 정보가 정상 범위로부터 벗어난 정도에 기초하여, 사용자의 선택된 생체 정보 각각에 대한 점수를 산출할 수 있으며, 산출된 점수를 합산함으로써, 사용자의 육체활력 지표를 산출할 수 있다.
또한, 컴퓨팅 장치(100)는 사용자에 대하여 영양상태 지표를 산출하고자 하는 경우, 복수의 생체 정보 중 심박수, 스트레스 레벨, 회복력/부교감신경(PNS Index), 심박간격 변이성(RMSSD), 평균심박거리(Mean RRI), 심장건강지표(SD1, SD2), 헤모글로빈(Hemoglobin) 및 당화혈색소(A1c)를 선택하고, 선택된 생체 정보가 정상 범위로부터 벗어난 정도에 기초하여, 사용자의 선택된 생체 정보 각각에 대한 점수를 산출할 수 있으며, 산출된 점수를 합산함으로써, 사용자의 영양상태 지표를 산출할 수 있다.
또한, 컴퓨팅 장치(100)는 사용자에 대하여 운동능력 지표를 산출하고자 하는 경우, 복수의 생체 정보 중 심박수, 호흡 수, 산소포화도 및 심장건강지표(SD1)를 선택하고, 선택된 생체 정보가 정상 범위로부터 벗어난 정도에 기초하여, 사용자의 선택된 생체 정보 각각에 대한 점수를 산출할 수 있으며, 산출된 점수를 합산함으로써, 사용자의 운동능력 지표를 산출할 수 있다. 그러나, 이에 한정되지 않는다.
다양한 실시예에서, 컴퓨팅 장치(100)는 상술된 바와 같이, 사용자의 영상 데이터를 분석함에 따라 도출된 생체 정보와 생체 정보를 기반으로 도출된 지표에 관한 정보를 포함하는 건강진단 결과를 사용자 단말(300)로 제공할 수 있다. 예컨대, 컴퓨팅 장치(100)는 도 12에 도시된 바와 같이, 사용자의 생체 정보와 건강과 관련된 지표에 관한 정보를 개략적으로 출력하는 UI를 사용자 단말(300)로 제공할 수 있다. 또한, 컴퓨팅 장치(100)는 도 13 및 도 14에 도시된 바와 같이 사용자의 영상 데이터를 기반으로 원격 건강진단을 수행한 결과를 보고서 형태로 출력하는 UI를 사용자 단말(300)로 제공할 수 있다.
S140 단계에서, S130 단계를 거쳐 도출된 건강진단 결과가 클라우드 상에 저장된다.
다양한 실시예에서, 컴퓨팅 장치(100)는 사용자의 영상 데이터 분석을 통해 도출된 생체 정보와 생체 정보를 기반으로 도출된 지표에 관한 정보를 포함하는 건강진단 결과를 사용자의 상태 정보로서 외부 서버(400)(예: 클라우드 서버)에 저장할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 영상 데이터를 기반으로 도출된 건강진단 결과를 클라우드에 저장하되, 기 등록된 복수의 사용자 정보 중 사용자로부터 입력된 휴대폰 번호에 대응하는 사용자 정보를 추출할 수 있고, 영상 데이터를 기반으로 도출된 건강진단 결과와 추출된 사용자 정보를 매칭하여 클라우드 서버에 저장할 수 있다.
즉, 컴퓨팅 장치(100)는 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스를 이용하고자 하는 사용자로부터 최초에 입력된 휴대폰 번호를 기반으로 사용자의 정보와 건강진단 결과를 매칭하여 저장함으로써, 사용자별로 건강진단 결과를 분류하여 저장할 수 있다.
S150 단계에서, S140 단계를 거쳐 클라우드에 저장된 건강진단 결과를 기반으로 사용자의 건강 상태가 모니터링된다.
다양한 실시예에서, 컴퓨팅 장치(100)는 소정의 기간동안 클라우드 서버에 저장된 복수의 건강진단 결과를 비교하여 사용자의 건강 상태를 판단할 수 있다.
일례로, 컴퓨팅 장치(100)는 소정의 기간동안 클라우드 서버에 저장된 복수의 건강진단 결과(예: 복수의 생체 정보 항목(예: 심박수, 호흡 수, 혈압, 산소포화도, 맥박/호흡지수 및 심박변이도)과 복수의 지표(예: 육체활력 지표, 정신활력 지표, 영양상태 지표 및 운동능력 지표) 각각에 대응하는 값 포함)를 비교하여 복수의 생체 정보 항목과 복수의 지표 각각이 정상 범위를 벗어나는지 여부를 판단할 수 있고, 기 설정된 횟수 이상 정상 범위를 벗어나는 생체 정보 항목이나 지표가 존재하는 경우, 사용자의 건강 상태(특히, 설정된 횟수 이상 정상 범위를 벗어나는 생체 정보 항목이나 지표에 대응하는 상태)가 이상 상태인 것으로 판단할 수 있다.
다른 예로, 컴퓨팅 장치(100)는 소정의 기간동안 클라우드 서버에 저장된 복수의 건강진단 결과를 이용하여 복수의 생체 정보 항목과 복수의 지표 각각에 대한 평균 값을 산출할 수 있고, 복수의 생체 정보 항목과 복수의 지표 각각에 대응하는 값과 평균 값의 차이가 임계 값 이상인지를 판단할 수 있으며, 평균 값과의 차이가 임계 값 이상인 횟수가 기 설정된 횟수 이상인 생체 정보 항목이나 지표가 존재하는 경우, 사용자의 건강 상태가 이상 상태인 것으로 판단할 수 있다.
또 다른 예로, 컴퓨팅 장치(100)는 소정의 기간동안 클라우드 서버에 저장된 복수의 건강진단 결과를 비교하여 복수의 생체 정보 항목과 복수의 지표 각각의 변화량을 산출할 수 있고, 산출된 변화량이 임계 변화량 이상인 생체 정보 항목이나 지표가 존재하는 경우, 사용자의 건강 상태가 이상 상태인 것으로 판단할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 소정의 기간동안 클라우드 서버에 저장된 복수의 건강진단 결과를 비교하여 사용자의 건강 상태를 판단할 수 있고, 판단된 건강 상태에 관한 정보를 사용자 단말(300)로 제공할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 사용자의 건강 상태를 모니터링한 결과를 포함하는 모니터링 결과 보고서를 사용자 단말(300)로 제공할 수 있다. 예컨대, 컴퓨팅 장치(100)는 소정의 기간동안 복수의 생체 정보 각각의 값 및 변화량과, 복수의 지표 각각의 값 및 변화량을 기 설정된 형태의 템플릿에 맞춰 작성함에 따라 모니터링 결과 보고서를 생성할 수 있고, 이를 사용자 단말(300)로 제공할 수 있다. 이때, 컴퓨팅 장치(100)는 모니터링 결과 보고서에 모든 생체 정보와 모든 지표에 대한 정보가 포함되도록 가공할 수 있으나, 경우에 따라 이상이 있는 것으로 판단되는 생체 정보 및/또는 지표(예: 정상 범위를 벗어나거나, 평균 값을 임계 값 이상 차이가 나도록 벗어나거나, 변화량이 임계 변화량 이상 차이가 나거나 등)에 대한 정보만이 포함되도록 할 수 있다. 또한, 컴퓨팅 장치(100)는 사용자의 건강 상태가 모니터링한 결과 시각화(예: 복수의 생체 정보 각각의 값 및 변화량과, 복수의 지표 각각의 값 및 변화량을 나타내는 그래프)하여 사용자 단말(200)로 제공할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 사용자로부터 웰니스 정보 제공 요청(또는 건강 상태 확인 요청)을 획득하는 경우, 상기의 방법에 따라 사용자의 건강 상태를 모니터링할 수 있고, 사용자의 건강 상태를 모니터링한 결과를 사용자에게 제공하되, 사용자에게 건강 상태 체크에 따른 리워드를 제공할 수 있다. 여기서, 리워드는, 후술되는 웰니스 정보에 따라 추천 약품이나 추천 영양제를 구매하거나, 운동 기구 등을 구매할 수 있는 가상의 포인트를 의미할 수 있으나, 이에 한정되지 않고, 경우에 따라 교환권, 할인권 등 다양한 형태로 구현될 수 있다.
S160 단계에서, 사용자에게 맞춤형 웰니스 정보가 제공된다.
다양한 실시예에서, 컴퓨팅 장치(100)는 클라우드 상에 저장된 사용자의 건강진단 결과와 클라우드에 저장된 사용자의 건강진단 결과들을 분석함에 따라 판단된 사용자의 건강 상태에 기초하여, 사용자에게 제공할 웰니스 정보를 생성할 수 있고, 생성된 웰니스 정보를 사용자 단말(300)로 제공할 수 있다.
여기서, 웰니스는 웰빙(well-being)’에 ‘행복(happiness)’과 ‘건강(fitness)’을 합친 용어로, 정신적, 사회적인 안정과 신체적인 건강이 조화를 이루도록 하는 것이다. 따라서, 사용자에게 제공되는 맞춤형 웰니스 정보는 사용자가 정신적, 사회적인 안정을 취하고 신체적인 건강과 조화를 이룰 수 있도록 가이드하는 정보를 의미할 수 있다.
일례로, 컴퓨팅 장치(100)는 사용자의 건강진단 결과와 사용자의 건강 상태를 모니터링한 결과에 기초하여 추천 운동 및 운동량을 결정할 수 있고, 사용자에 대한 맞춤형 웰니스 정보로서, 추천 운동 및 운동량에 관한 정보를 포함하는 운동 가이드를 사용자 단말(300)로 제공할 수 있다.
다른 예로, 컴퓨팅 장치(100)는 사용자의 건강진단 결과와 사용자의 건강 상태를 모니터링한 결과에 기초하여 추천 영양제 또는 추천 약품을 결정할 수 있고, 사용자에 대한 맞춤형 웰니스 정보로서, 추천 영양제 또는 추천 약품에 관한 정보를 포함하는 복약 가이드를 제공할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 맞춤형 웰니스 정보로서, 사용자에게 추천 영양제에 관한 정보를 포함하는 복약 가이드를 제공한 것에 대응하여, 사용자로부터 추천 영양제에 대한 복약 정보(예: 복약 중인 영양제의 종류, 횟수, 개수, 복약 시간 등)를 획득하는 경우, 추천 영양제를 복용하기 전의 생체 정보 및 지표(예: 추천 영양제를 복용하기 전에 생성된 영상 데이터를 분석함에 따라 도출된 정보들)와 추천 영양제를 복용한 이후의 생체 정보 및 지표(예: 추천 영양제를 복용한 후에 생성된 영상 데이터를 분석함에 따라 도출된 정보들)를 비교하고, 이를 사용자 단말(300)로 제공함으로써, 사용자가 추천 영양제의 복용 효과를 확인할 수 있도록 한다.
또한, 컴퓨팅 장치(100)는 추천 영양제를 복용하기 전의 생체 정보 및 지표와 추천 영양제를 복용한 이후의 생체 정보 및 지표를 비교하여, 생체 정보들 간의 평균 차이 값 및/또는 지표들의 평균 차이 값이 소정의 값 이내인 경우, 새로운 추천 영양제를 선정하여 사용자에게 가이드할 수 있다.
컴퓨팅 장치(100)는 다수의 사용자들에게 영양제를 추천하고, 상기와 같이 추천 영양제를 복용하기 전후의 생체 정보 및 지표를 비교함에 따라 추천 영양제들의 효과를 도출할 수 있으며, 이와 같이 도출된 영양제들의 효과를 클라우드 서버에 저장해두고, 추후 또 다른 사용자에게 영양제를 추천할 때 활용할 수 있다.
다양한 실시예에서, 컴퓨팅 장치(100)는 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스를 이용하는 다수의 사용자들이 지속적으로 서비스를 이용할 수 있도록 유도할 수 있다. 예컨대, 컴퓨팅 장치(100)는 게이미피케이션 요소가 포함된 콘텐츠를 제공함으로써, 콘텐츠를 통해 사용자가 자발적으로 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스를 이용할 수 있도록 유도할 수 있다.
여기서, 게이미피케이션 요소가 포함된 콘텐츠는 예를 들어, 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스의 이용과 관련된 각종 미션을 제공하고, 이에 따른 보상으로서 리워드를 제공하는 콘텐츠나, 사용자에 대응하는 게임 캐릭터를 생성하고, 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스를 이용할 때마다 소정의 경험치를 제공함으로써, 사용자에 대응하는 게임 캐릭터를 성장시킬 수 있는 콘텐츠를 포함할 수 있으나, 이에 한정되지 않고, 어떠한 형태의 콘텐츠든 적용이 가능하다.
전술한 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법은 도면에 도시된 순서도를 참조하여 설명하였다. 간단한 설명을 위해 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법은 일련의 블록들로 도시하여 설명하였으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 본 명세서에 도시되고 시술된 것과 상이한 순서로 수행되거나 또는 동시에 수행될 수 있다. 또한, 본 명세서 및 도면에 기재되지 않은 새로운 블록이 추가되거나, 일부 블록이 삭제 또는 변경된 상태로 수행될 수 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100 : 컴퓨팅 장치
200 : 건강진단 장치
300 : 사용자 단말
400 : 외부 서버
500 : 네트워크
200 : 건강진단 장치
300 : 사용자 단말
400 : 외부 서버
500 : 네트워크
Claims (12)
- 컴퓨팅 장치에 의해 수행되는 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법에 있어서,
카메라를 이용하여 소정의 시간동안 사용자의 얼굴을 촬영함에 따라 영상 데이터를 생성하는 단계;
상기 생성된 영상 데이터를 분석함에 따라 상기 사용자에 대한 생체 정보를 도출하는 단계;
상기 도출된 생체 정보를 이용하여 상기 사용자의 건강과 관련된 지표를 산출하고, 상기 도출된 생체 정보와 상기 산출된 지표에 관한 정보를 포함하는 건강진단 결과를 도출하는 단계;
상기 사용자의 상태 정보로서, 클라우드 서버에 상기 도출된 건강진단 결과를 저장하는 단계;
상기 저장된 건강진단 결과를 기반으로 상기 사용자의 건강 상태를 모니터링하는 단계; 및
상기 저장된 건강진단 결과와 상기 사용자의 건강 상태를 모니터링한 결과에 기초하여 상기 사용자에게 맞춤형 웰니스 정보를 제공하는 단계를 포함하고,
상기 사용자에 대한 생체 정보를 도출하는 단계는,
원격광혈류측정(remote Photoplethysmography, rPPG) 방식을 기반으로 상기 생성된 영상 데이터를 분석함에 따라 상기 사용자에 대한 생체 정보를 도출하는 단계를 포함하며,
상기 원격광혈류측정 방식을 기반으로 상기 생성된 영상 데이터를 분석함에 따라 상기 사용자에 대한 생체 정보를 도출하는 단계는,
상기 생성된 영상 데이터를 분석하여 상기 사용자의 얼굴에 대한 피부색 변화를 산출하는 단계;
상기 산출된 피부색 변화를 기반으로 상기 사용자의 얼굴에 대한 혈류 변화를 산출하고, 상기 산출된 혈류 변화에 기초하여 혈류 변화 패턴을 추출하는 단계; 및
상기 추출된 혈류 변화 패턴에 기초하여 상기 사용자에 대한 생체 정보를 도출하는 단계를 포함하고,
상기 사용자에 대한 생체 정보를 도출하는 단계는,
상기 생성된 영상 데이터를 분석하여 상기 사용자의 얼굴 영역으로부터 RGB 컬러 정보를 추출하는 단계;
상기 추출된 RGB 컬러 정보를 변환하여 주파수 데이터를 생성하는 단계; 및
상기 생성된 주파수 데이터의 속성 - 상기 생성된 주파수 데이터의 속성은, 주파수 데이터의 변환 시간, 최대 피크값 및 최대 주파수 값 중 적어도 하나를 포함함 - 에 기초하여, 상기 사용자에 대한 생체 정보를 도출하는 단계를 더 포함하며,
상기 사용자의 건강 상태를 모니터링하는 단계는,
소정의 기간동안 상기 클라우드 서버에 저장된 복수의 건강진단 결과를 비교하여 상기 사용자의 건강 상태를 판단하는 단계; 및
상기 판단된 건강 상태에 관한 정보를 상기 사용자의 단말로 제공하는 단계를 포함하는,
카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법. - 삭제
- 삭제
- 제1항에 있어서,
상기 RGB 컬러 정보를 추출하는 단계는,
상기 생성된 영상 데이터를 분석하여 상기 사용자의 얼굴 영역 중 적어도 일부 영역을 관심 영역(Region of Interest, ROI)으로 설정하는 단계; 및
상기 설정된 관심 영역으로부터 RGB 컬러 정보를 추출하는 단계를 포함하는,
카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법. - 제1항에 있어서,
상기 사용자에 대한 생체 정보를 도출하는 단계는,
기 학습된 인공지능 모델을 기반으로 상기 생성된 영상 데이터를 분석함에 따라 상기 사용자에 대한 생체 정보를 도출하는 단계를 포함하는,
카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법. - 제1항에 있어서,
상기 도출된 생체 정보는,
심박수, 호흡 수, 혈압, 산소포화도, 맥박/호흡지수(PRQ) 및 심박변이도(HRV-SDNN)를 포함하며,
상기 건강진단 결과를 도출하는 단계는,
상기 심박수, 상기 호흡 수, 상기 혈압, 상기 산소포화도, 상기 맥박/호흡지수 및 상기 심박변이도 중 적어도 하나를 선택적으로 이용하여 상기 사용자에 대한 건강진단 결과로서, 상기 사용자의 육체활력 지표, 정신활력 지표, 영양상태 지표 및 운동능력 지표를 도출하는 단계를 포함하는,
카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법. - 삭제
- 제1항에 있어서,
상기 영상 데이터를 생성하는 단계는,
상기 사용자가 위치하는 공간의 밝기에 기초하여 상기 카메라에 대하여 기 설정된 설정 값에 대한 캘리브레이션을 수행하는 단계; 및
상기 설정 값이 캘리브레이션된 카메라를 이용하여 상기 사용자의 얼굴을 촬영함에 따라 영상 데이터를 생성하는 단계를 포함하는,
카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법. - 제1항에 있어서,
상기 영상 데이터를 생성하는 단계는,
상기 사용자로부터 상기 사용자의 휴대폰 번호를 입력받는 것에 대응하여 상기 카메라의 동작을 개시함에 따라 영상 데이터를 생성하는 단계를 포함하며,
상기 도출된 건강진단 결과를 저장하는 단계는,
상기 생성된 영상 데이터를 기반으로 도출된 건강진단 결과를 상기 클라우드 서버에 저장하되, 기 등록된 복수의 사용자 정보 중 상기 입력된 휴대폰 번호에 대응하는 사용자 정보를 추출하고, 상기 생성된 영상 데이터를 기반으로 도출된 건강진단 결과와 상기 추출된 사용자 정보를 매칭하여 상기 클라우드 서버에 저장하는 단계를 포함하는,
카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법. - 제1항에 있어서,
상기 맞춤형 웰니스 정보를 제공하는 단계는,
상기 저장된 건강진단 결과와 상기 사용자의 건강 상태를 모니터링한 결과에 기초하여 상기 사용자에 대한 맞춤형 웰니스 정보로서, 추천 운동 및 운동량에 관한 정보를 포함하는 운동 가이드를 제공하거나, 추천 영양제 또는 추천 약품에 관한 정보를 포함하는 복약 가이드를 제공하는 단계를 포함하는,
카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법. - 프로세서;
네트워크 인터페이스;
메모리; 및
상기 메모리에 로드(load) 되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되,
상기 컴퓨터 프로그램은,
카메라를 이용하여 소정의 시간동안 사용자의 얼굴을 촬영함에 따라 영상 데이터를 생성하는 인스트럭션(instruction);
상기 생성된 영상 데이터를 분석함에 따라 상기 사용자에 대한 생체 정보를 도출하는 인스트럭션;
상기 도출된 생체 정보를 이용하여 상기 사용자의 건강과 관련된 지표를 산출하고, 상기 도출된 생체 정보와 상기 산출된 지표에 관한 정보를 포함하는 건강진단 결과를 도출하는 인스트럭션;
상기 사용자의 상태 정보로서, 클라우드 서버에 상기 도출된 건강진단 결과를 저장하는 인스트럭션;
상기 저장된 건강진단 결과를 기반으로 상기 사용자의 건강 상태를 모니터링하는 인스트럭션; 및
상기 저장된 건강진단 결과와 상기 사용자의 건강 상태를 모니터링한 결과에 기초하여 상기 사용자에게 맞춤형 웰니스 정보를 제공하는 인스트럭션을 포함하고,
상기 사용자에 대한 생체 정보를 도출하는 인스트럭션은,
원격광혈류측정(remote Photoplethysmography, rPPG) 방식을 기반으로 상기 생성된 영상 데이터를 분석함에 따라 상기 사용자에 대한 생체 정보를 도출하는 인스트럭션을 포함하며,
상기 원격광혈류측정 방식을 기반으로 상기 생성된 영상 데이터를 분석함에 따라 상기 사용자에 대한 생체 정보를 도출하는 인스트럭션은,
상기 생성된 영상 데이터를 분석하여 상기 사용자의 얼굴에 대한 피부색 변화를 산출하는 인스트럭션;
상기 산출된 피부색 변화를 기반으로 상기 사용자의 얼굴에 대한 혈류 변화를 산출하고, 상기 산출된 혈류 변화에 기초하여 혈류 변화 패턴을 추출하는 인스트럭션; 및
상기 추출된 혈류 변화 패턴에 기초하여 상기 사용자에 대한 생체 정보를 도출하는 인스트럭션을 포함하고,
상기 사용자에 대한 생체 정보를 도출하는 인스트럭션은,
상기 생성된 영상 데이터를 분석하여 상기 사용자의 얼굴 영역으로부터 RGB 컬러 정보를 추출하는 인스트럭션;
상기 추출된 RGB 컬러 정보를 변환하여 주파수 데이터를 생성하는 인스트럭션; 및
상기 생성된 주파수 데이터의 속성 - 상기 생성된 주파수 데이터의 속성은, 주파수 데이터의 변환 시간, 최대 피크값 및 최대 주파수 값 중 적어도 하나를 포함함 - 에 기초하여, 상기 사용자에 대한 생체 정보를 도출하는 인스트럭션을 더 포함하며,
상기 사용자의 건강 상태를 모니터링하는 인스트럭션은,
소정의 기간동안 상기 클라우드 서버에 저장된 복수의 건강진단 결과를 비교하여 상기 사용자의 건강 상태를 판단하는 인스트럭션; 및
상기 판단된 건강 상태에 관한 정보를 상기 사용자의 단말로 제공하는 인스트럭션을 포함하는,
카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법을 수행하는 컴퓨팅 장치. - 컴퓨팅 장치와 결합되어,
카메라를 이용하여 소정의 시간동안 사용자의 얼굴을 촬영함에 따라 영상 데이터를 생성하는 단계;
상기 생성된 영상 데이터를 분석함에 따라 상기 사용자에 대한 생체 정보를 도출하는 단계;
상기 도출된 생체 정보를 이용하여 상기 사용자의 건강과 관련된 지표를 산출하고, 상기 도출된 생체 정보와 상기 산출된 지표에 관한 정보를 포함하는 건강진단 결과를 도출하는 단계;
상기 사용자의 상태 정보로서, 클라우드 서버에 상기 도출된 건강진단 결과를 저장하는 단계;
상기 저장된 건강진단 결과를 기반으로 상기 사용자의 건강 상태를 모니터링하는 단계; 및
상기 저장된 건강진단 결과와 상기 사용자의 건강 상태를 모니터링한 결과에 기초하여 상기 사용자에게 맞춤형 웰니스 정보를 제공하는 단계를 포함하고,
상기 사용자에 대한 생체 정보를 도출하는 단계는,
원격광혈류측정(remote Photoplethysmography, rPPG) 방식을 기반으로 상기 생성된 영상 데이터를 분석함에 따라 상기 사용자에 대한 생체 정보를 도출하는 단계를 포함하며,
상기 원격광혈류측정 방식을 기반으로 상기 생성된 영상 데이터를 분석함에 따라 상기 사용자에 대한 생체 정보를 도출하는 단계는,
상기 생성된 영상 데이터를 분석하여 상기 사용자의 얼굴에 대한 피부색 변화를 산출하는 단계;
상기 산출된 피부색 변화를 기반으로 상기 사용자의 얼굴에 대한 혈류 변화를 산출하고, 상기 산출된 혈류 변화에 기초하여 혈류 변화 패턴을 추출하는 단계; 및
상기 추출된 혈류 변화 패턴에 기초하여 상기 사용자에 대한 생체 정보를 도출하는 단계를 포함하고,
상기 사용자에 대한 생체 정보를 도출하는 단계는,
상기 생성된 영상 데이터를 분석하여 상기 사용자의 얼굴 영역으로부터 RGB 컬러 정보를 추출하는 단계;
상기 추출된 RGB 컬러 정보를 변환하여 주파수 데이터를 생성하는 단계; 및
상기 생성된 주파수 데이터의 속성 - 상기 생성된 주파수 데이터의 속성은, 주파수 데이터의 변환 시간, 최대 피크값 및 최대 주파수 값 중 적어도 하나를 포함함 - 에 기초하여, 상기 사용자에 대한 생체 정보를 도출하는 단계를 더 포함하며,
상기 사용자의 건강 상태를 모니터링하는 단계는,
소정의 기간동안 상기 클라우드 서버에 저장된 복수의 건강진단 결과를 비교하여 상기 사용자의 건강 상태를 판단하는 단계; 및
상기 판단된 건강 상태에 관한 정보를 상기 사용자의 단말로 제공하는 단계를 포함하는 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법을 실행시키기 위하여 컴퓨팅 장치로 판독 가능한 기록매체에 저장된, 컴퓨터프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230071467A KR102606193B1 (ko) | 2023-06-02 | 2023-06-02 | 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법, 장치 및 컴퓨터프로그램 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020230071467A KR102606193B1 (ko) | 2023-06-02 | 2023-06-02 | 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법, 장치 및 컴퓨터프로그램 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102606193B1 true KR102606193B1 (ko) | 2023-11-30 |
Family
ID=88968349
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230071467A KR102606193B1 (ko) | 2023-06-02 | 2023-06-02 | 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법, 장치 및 컴퓨터프로그램 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102606193B1 (ko) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150137744A (ko) * | 2014-05-30 | 2015-12-09 | 주식회사 제이에스테크놀러지 | 헬스케어 웨어러블 디바이스와 스마트폰을 연동한 피부진단 시스템 및 방법 |
| JP2020513958A (ja) * | 2017-03-08 | 2020-05-21 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 健康状態を監視するためのシステム及び方法 |
| KR102411622B1 (ko) * | 2021-08-02 | 2022-06-22 | 상명대학교산학협력단 | 비접촉 산소포화도 측정 방법 및 장치 |
| KR20220146251A (ko) * | 2021-04-23 | 2022-11-01 | (주)티비스톰 | 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 시스템 및 그 방법 |
-
2023
- 2023-06-02 KR KR1020230071467A patent/KR102606193B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150137744A (ko) * | 2014-05-30 | 2015-12-09 | 주식회사 제이에스테크놀러지 | 헬스케어 웨어러블 디바이스와 스마트폰을 연동한 피부진단 시스템 및 방법 |
| JP2020513958A (ja) * | 2017-03-08 | 2020-05-21 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 健康状態を監視するためのシステム及び方法 |
| KR20220146251A (ko) * | 2021-04-23 | 2022-11-01 | (주)티비스톰 | 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 시스템 및 그 방법 |
| KR102411622B1 (ko) * | 2021-08-02 | 2022-06-22 | 상명대학교산학협력단 | 비접촉 산소포화도 측정 방법 및 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210128059A1 (en) | Method and apparatus for determining health status | |
| Nalepa et al. | Mobile platform for affective context-aware systems | |
| US11904224B2 (en) | System and method for client-side physiological condition estimations based on a video of an individual | |
| Rehg et al. | Mobile health | |
| CN111183424B (zh) | 识别用户的系统和方法 | |
| US20160364549A1 (en) | System and method for patient behavior and health monitoring | |
| Albuquerque et al. | Wauc: a multi-modal database for mental workload assessment under physical activity | |
| US9814423B2 (en) | Method and system for monitoring pain of users immersed in virtual reality environment | |
| Sannino et al. | A continuous noninvasive arterial pressure (CNAP) approach for health 4.0 systems | |
| US20190313966A1 (en) | Pain level determination method, apparatus, and system | |
| Bhavnani | Digital health: opportunities and challenges to develop the next-generation technology-enabled models of cardiovascular care | |
| US20190365314A1 (en) | Ocular fundus image processing device and non-transitory computer-readable medium storing computer-readable instructions | |
| Hu et al. | Contactless blood oxygen estimation from face videos: A multi-model fusion method based on deep learning | |
| KR102606193B1 (ko) | 카메라 기반의 원격 건강진단 및 이를 이용한 개인 건강 관리 서비스 제공방법, 장치 및 컴퓨터프로그램 | |
| CA3160255A1 (en) | A method for determining a risk score for a patient | |
| Al-Taee et al. | Towards developing online compliance index for self-monitoring of blood glucose in diabetes management | |
| Seto et al. | Prediction of personal cardiovascular risk using machine learning for smartphone applications | |
| Ktistakis et al. | Applications of ai in healthcare and assistive technologies | |
| KR102646733B1 (ko) | 디지털 치료제 제공 방법 | |
| Mocanu et al. | Mobile@ Old: A smart home platform for enhancing the elderly mobility | |
| KR102438367B1 (ko) | 생체정보 관리 시스템 | |
| Keary et al. | How affective computing could complement and advance the quantified self | |
| US20240074740A1 (en) | Systems, methods, and computer program products for integrating menstrual cycle data and providing customized feminine wellness information | |
| US11429188B1 (en) | Measuring self awareness utilizing a mobile computing device | |
| EP4250311A1 (en) | Ultrasound system with customization unit |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |