KR20230077762A - Health Management Method and System Using Facial Image - Google Patents
Health Management Method and System Using Facial Image Download PDFInfo
- Publication number
- KR20230077762A KR20230077762A KR1020210163893A KR20210163893A KR20230077762A KR 20230077762 A KR20230077762 A KR 20230077762A KR 1020210163893 A KR1020210163893 A KR 1020210163893A KR 20210163893 A KR20210163893 A KR 20210163893A KR 20230077762 A KR20230077762 A KR 20230077762A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- facial image
- body information
- health
- score
- Prior art date
Links
- 230000036541 health Effects 0.000 title claims abstract description 243
- 230000001815 facial effect Effects 0.000 title claims abstract description 187
- 238000007726 management method Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000005259 measurement Methods 0.000 claims abstract description 26
- 238000004891 communication Methods 0.000 claims description 44
- 238000012937 correction Methods 0.000 claims description 43
- 239000000284 extract Substances 0.000 claims description 17
- 239000008280 blood Substances 0.000 claims description 16
- 210000004369 blood Anatomy 0.000 claims description 16
- 230000036760 body temperature Effects 0.000 claims description 14
- 230000036772 blood pressure Effects 0.000 claims description 10
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 7
- 229910052760 oxygen Inorganic materials 0.000 claims description 7
- 239000001301 oxygen Substances 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 19
- 238000012544 monitoring process Methods 0.000 abstract description 10
- 230000000694 effects Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 13
- 230000003862 health status Effects 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 8
- 201000004624 Dermatitis Diseases 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 201000005111 ocular hyperemia Diseases 0.000 description 2
- 206010049047 Chapped lips Diseases 0.000 description 1
- 206010016825 Flushing Diseases 0.000 description 1
- 206010020565 Hyperaemia Diseases 0.000 description 1
- 206010024552 Lip dry Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000003715 nutritional status Nutrition 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/1032—Determining colour for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/117—Identification of persons
- A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
- A61B5/1176—Recognition of faces
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
- A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Databases & Information Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Physiology (AREA)
- Cardiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Dermatology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Pulmonology (AREA)
- Radiology & Medical Imaging (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
본 발명은 안면 이미지를 이용한 건강관리 방법 및 시스템에 관한 것으로, 본 발명의 일 실시예에 따른 안면 이미지를 이용한 건강관리 시스템은, 사용자의 신체 정보를 수집하는 신체 정보 수집 장치와, 사용자의 안면 이미지를 수집하는 사용자 단말, 그리고 신체 정보 수집 장치로부터 수신한 학습용 신체 정보와 사용자 단말로부터 수신한 학습용 안면 이미지에 기초하여 사용자의 안면 이미지에 따른 건강 점수를 학습하여 학습 정보를 생성 및 저장하는 서버를 포함하고, 서버는 사용자 단말로부터 판단용 안면 이미지를 수신하면, 저장된 학습 정보에 기초하여 판단용 안면 이미지에 따른 사용자의 현재 건강 점수를 판단하고 판단 결과를 제공한다. 본 발명에 의하면, 스마트폰과 같이 사용자의 안면 이미지를 수집 및 송신 가능한 디바이스만을 소지하여도 사용자가 원할 때 언제든지 사용자의 건강 상태를 모니터 가능한 효과가 있으며, 사용자의 건강 상태를 모니터시 사용자의 안면 이미지를 수집하는 과정 외에 다수의 신체 정보 측정 과정을 생략 가능하므로 사용자의 건강 상태를 빠르고 편리하게 모니터 가능한 효과가 있다. The present invention relates to a health management method and system using a facial image. A health management system using a facial image according to an embodiment of the present invention includes a body information collecting device for collecting user's body information, and a user's facial image. A user terminal that collects, and a server that generates and stores learning information by learning health scores according to the user's facial image based on the body information for learning received from the body information collection device and the facial image for learning received from the user terminal. When the server receives the facial image for judgment from the user terminal, the server determines the current health score of the user according to the facial image for judgment based on the stored learning information and provides the judgment result. According to the present invention, even if the user possesses only a device capable of collecting and transmitting the user's facial image, such as a smartphone, the user's health condition can be monitored whenever the user wants, and the user's facial image can be monitored when the user's health condition is monitored. Since it is possible to omit a number of body information measurement processes in addition to the process of collecting, there is an effect of quickly and conveniently monitoring the user's health condition.
Description
본 발명은 안면 이미지를 이용한 건강관리 방법 및 시스템에 관한 것으로, 더욱 상세하게는 소정의 학습 기간 후에 사용자의 안면 이미지를 통해 사용자의 건강 상태를 판단하여, 스마트폰과 같이 사용자의 안면 이미지를 수집 및 송신 가능한 디바이스만을 소지하여도 사용자가 원할 때 언제든지 사용자의 건강 상태를 모니터할 수 있으며, 사용자의 건강 상태를 모니터시 사용자의 안면 이미지를 수집하는 과정 외에 다수의 신체 정보 측정 과정을 생략 가능하므로 사용자의 건강 상태를 빠르고 편리하게 모니터 가능하게 하는 안면 이미지를 이용한 건강관리 방법 및 시스템에 관한 것이다.The present invention relates to a health management method and system using facial images, and more particularly, by determining the user's health status through the user's facial images after a predetermined learning period, collecting and Even if the user only possesses a device capable of transmitting, the user's health condition can be monitored whenever the user wants, and when monitoring the user's health condition, it is possible to omit a number of body information measurement processes other than the process of collecting the user's facial image. It relates to a health management method and system using a facial image that enables quick and convenient monitoring of a health condition.
현대 사회는 건강에 대한 관심이 나날이 증가하고 있다. 이러한 시대적인 관심과 더불어, 실시간 데이터 수집에 의한 데이터 분석 방식 및 툴(tool)이 고도화되는 등 기술이 비약적으로 발전함에 따라서, 건강 상태를 모니터하고 개인화된 건강관리 서비스를 제공받는 것이 가능하게 되었다.In modern society, interest in health is increasing day by day. In addition to this interest of the times, as technology has rapidly developed, such as data analysis methods and tools by real-time data collection, it has become possible to monitor health conditions and receive personalized health care services.
개인의 건강 상태를 모니터하는 장치의 일례로 웨어러블(Wearable) 디바이스가 있다. 웨어러블(Wearable) 디바이스란 말 그대로 인간의 몸에 착용할 수 있는 디바이스를 의미하며, 착용 부위에 따라 안경(Glasses), 워치(Watch), 팔찌, 신발, 반지, 벨트, 밴드(Band), 목걸이, 헤드셋(Headset), 의류 등 매우 다양한 종류가 존재한다. 이러한 웨어러블 디바이스는 현재 빠른 보급화 단계에 있으며, 그 중에서 인간의 생활과 매우 밀접하게 연관됨과 동시에 착용이 용이한 웨어러블 안경, 웨어러블 워치 그리고 웨어러블 밴드가 가장 많은 제품군을 형성하고 있다.As an example of a device for monitoring a person's health condition, there is a wearable device. A wearable device literally means a device that can be worn on the human body. There are many types of headsets, clothing, and so on. These wearable devices are currently in a rapid dissemination stage, and among them, wearable glasses, wearable watches, and wearable bands that are very closely related to human life and are easy to wear form the most product groups.
이 중 웨어러블 워치와 웨어러블 밴드에는 통상적으로 다양한 센서가 구비되어 있으며, 웨어러블 워치와 밴드에 구비되는 센서 중에는 심박수 측정 센서, 도보 측정 센서, 혈당 측정 센서, 혈압 측정 센서, 체온 측정 센서 등 사용자의 건강 상태를 모니터링 가능한 다양한 센서가 포함될 수 있다.Among them, wearable watches and wearable bands are usually equipped with various sensors, and among the sensors provided in wearable watches and bands, such as heart rate measuring sensors, walking measuring sensors, blood sugar measuring sensors, blood pressure measuring sensors, body temperature measuring sensors, etc. A variety of sensors capable of monitoring may be included.
이와 같이, 최근에는 웨어러블 디바이스 등의 기기를 이용하여 언제든지 개인 건강 상태를 다방면으로 모니터 가능하게 되어 사용자가 원할 때마다 언제든지 건강 상태를 모니터할 수 있다. 그러나 이와 같이 사용자가 원할 때마다 언제든지 건강 상태 모니터를 가능하게 하기 위해서는 사용자가 다양한 신체 정보(심박수, 혈당, 혈합, 체온 등)를 수집 가능한 장치를 상시 구비(휴대)해야 하며, 다양한 신체 정보를 모두 측정하기 위해서는 상당한 시간이 소요되기 때문에 건강 상태를 모니터하고자 할 때마다 다수의 신체 정보를 모두 측정하기에는 불편함이 크다는 문제점이 존재한다.In this way, it has recently become possible to monitor personal health conditions in various ways at any time using devices such as wearable devices, so that users can monitor their health conditions whenever they want. However, in order to enable the health status monitoring whenever the user wants, the user must always have (carry) a device that can collect various body information (heart rate, blood sugar, blood pressure, body temperature, etc.), and all of the various body information Since it takes a considerable amount of time to measure, there is a problem in that it is inconvenient to measure all of the body information whenever a health condition is to be monitored.
본 발명은 위에서 언급한 종래 기술이 가지는 문제점을 해결하기 위한 것으로 본 발명이 이루고자 하는 목적은, 소정의 학습 기간 후에 사용자의 안면 이미지를 통해 사용자의 건강 상태를 판단하여, 스마트폰과 같이 사용자의 안면 이미지를 수집 및 송신 가능한 디바이스만을 소지하여도 사용자가 원할 때 언제든지 사용자의 건강 상태를 모니터 가능한 안면 이미지를 이용한 건강관리 방법 및 시스템을 제공하는 것이다.The present invention is to solve the problems of the prior art mentioned above, and an object of the present invention is to determine the user's health status through the user's facial image after a predetermined learning period, and to determine the user's facial An object of the present invention is to provide a health management method and system using a facial image capable of monitoring a user's health condition whenever the user desires, even with only a device capable of collecting and transmitting images.
또한, 본 발명이 이루고자 하는 다른 목적은, 건강 상태 학습이 완료된 후에 설정 주기마다 학습 데이터에 대한 교정 기간을 두어, 학습 데이터가 주기적으로 업데이트되도록 하는 안면 이미지를 이용한 건강관리 방법 및 시스템을 제공하는 것이다.In addition, another object to be achieved by the present invention is to provide a health management method and system using a facial image that allows learning data to be periodically updated by setting a calibration period for learning data for each set cycle after health state learning is completed. .
또한, 본 발명이 이루고자 하는 또 다른 목적은, 신체 정보 수집 장치와 사용자 단말이 신체 정보 수집과 안면 이미지 수집을 동시에 수행 가능하도록 하여, 사용자의 안면 이미지에 따른 건강 상태에 대한 학습 데이터의 신뢰도를 향상시킬 수 있는 안면 이미지를 이용한 건강관리 방법 및 시스템을 제공하는 것이다.In addition, another object to be achieved by the present invention is to enable a body information collection device and a user terminal to simultaneously collect body information and facial images, thereby improving the reliability of learning data for health conditions according to user's facial images. It is to provide a health management method and system using a facial image that can be performed.
본 발명의 일 실시예에 따른 안면 이미지를 이용한 건강관리 시스템은, 사용자의 신체 정보를 수집하는 신체 정보 수집 장치와, 사용자의 안면 이미지를 수집하는 사용자 단말, 그리고 신체 정보 수집 장치로부터 수신한 학습용 신체 정보와 사용자 단말로부터 수신한 학습용 안면 이미지에 기초하여 사용자의 안면 이미지에 따른 건강 점수를 학습하여 학습 정보를 생성 및 저장하는 서버를 포함하고, 서버는 사용자 단말로부터 판단용 안면 이미지를 수신하면, 저장된 학습 정보에 기초하여 판단용 안면 이미지에 따른 사용자의 현재 건강 점수를 판단하고 판단 결과를 제공한다.A health management system using facial images according to an embodiment of the present invention includes a body information collection device for collecting user's body information, a user terminal for collecting user's facial images, and a body for learning received from the body information collection device. A server configured to generate and store learning information by learning a health score according to the user's facial image based on the information and the facial image for learning received from the user terminal, and when the server receives the facial image for judgment from the user terminal, the stored Based on the learning information, the current health score of the user according to the facial image for judgment is judged and a judgment result is provided.
이때, 서버는 수신한 학습용 신체 정보의 건강 점수를 기설정된 규칙에 따라 결정하는 건강 점수 결정부와, 수신한 학습용 안면 이미지로부터 특이점을 추출하는 특이점 추출부와, 소정 시간차 내에 수집된 학습용 신체 정보와 학습용 안면 이미지 간의, 특이점에 따른 건강 점수를 매칭한 특이점 점수를 생성하는 특이점 점수 생성부, 그리고 생성한 특이점 점수를 저장하는 데이터베이스를 포함할 수 있다.At this time, the server includes a health score determining unit for determining the health score of the received body information for learning according to a predetermined rule, a singularity extracting unit for extracting a singularity from the received face image for learning, and the body information for learning collected within a predetermined time interval. It may include a singularity score generation unit that generates a singularity score obtained by matching health scores according to singularity between facial images for learning, and a database storing the generated singularity score.
또한, 특이점 점수 생성부는 학습 기간 중에 특정 특이점에 건강 점수가 다회 매칭되면, 다회 매칭된 건강 점수의 평균값을 특정 특이점의 건강 점수로 결정하여 특이점 점수를 생성할 수 있다.In addition, the singularity score generation unit may generate a singularity score by determining an average value of the multiple matched health points as the health score of the specific singularity, when health scores are matched to a specific singularity multiple times during the learning period.
또한, 서버는 사용자의 안면 이미지에 따른 건강 점수 학습이 완료된 후에 설정 주기마다 교정 기간을 가지며, 교정 기간 동안 신체 정보 수집 장치에 교정용 신체 정보 송신을 1회 이상 요청하고 사용자 단말에 교정용 안면 이미지 송신을 1회 이상 요청하며, 수신한 교정용 신체 정보와 교정용 안면 이미지에 기초하여 데이터베이스에 저장된 특이점 점수를 교정하는 교정부를 더 포함할 수 있다.In addition, the server has a calibration period for each set period after the health score learning according to the user's facial image is completed, and during the calibration period, the server requests the body information collection device to transmit body information for calibration one or more times, and sends the user terminal a calibration facial image. It may further include a correction unit that requests transmission one or more times and corrects the singularity score stored in the database based on the received body information for correction and the face image for correction.
또한, 건강 점수 결정부는 수신한 교정용 신체 정보의 건강 점수를 기설정된 규칙에 따라 결정하고, 특이점 추출부는 수신한 교정용 안면 이미지로부터 특이점을 추출하며, 특이점 점수 생성부는 소정 시간차 내에 수집된 교정용 신체 정보와 교정용 안면 이미지 간의, 특이점에 따른 건강 점수를 매칭한 특이점 점수를 생성하고, 교정부는 교정 기간 중에 생성된 특이점 점수와 데이터 베이스에 기저장된 특이점 점수를 함께 평균 내어, 특이점별 건강 점수를 교정하되, 교정 기간 중에 생성된 특이점 점수에 가중치를 부여하여 특이점별 건강 점수를 교정할 수 있다.In addition, the health score determiner determines the health score of the received body information for correction according to a predetermined rule, the singularity extractor extracts a singularity from the received facial image for correction, and the singularity score generator for correction collected within a predetermined time interval. A singularity score is generated by matching the health scores according to the singularity between the body information and the corrective facial image, and the calibration unit averages the singularity score generated during the correction period and the singularity score previously stored in the database to obtain the health score for each singularity However, the health score for each singularity may be calibrated by assigning a weight to the singularity score generated during the calibration period.
또한, 서버는 사용자 단말로부터 판단용 안면 이미지를 수신하면 사용자의 현재 건강 점수를 판단하는 건강 점수 판단부를 더 포함하고, 특이점 추출부는 판단용 안면 이미지로부터 특이점을 추출하며, 건강 점수 판단부는 데이터베이스에 저장된 학습 정보에 기초하여, 판단용 안면 이미지로부터 추출한 특이점에 따른 사용자의 현재 건강 점수를 판단할 수 있다.In addition, the server further includes a health score determination unit that determines the user's current health score when receiving the facial image for determination from the user terminal, the singularity extractor extracts a singularity from the facial image for determination, and the health score determination unit stores the information in the database. Based on the learning information, a current health score of the user may be determined according to a singularity extracted from the facial image for judgment.
또한, 건강 점수 판단부는 판단용 안면 이미지로부터 다수개의 특이점이 추출되면, 추출한 다수개의 특이점에 따라 판단된 다수개의 건강 점수 중 최저 점수를 사용자의 현재 건강 점수로 판단할 수 있다.Also, when a plurality of singular points are extracted from the facial image for judgment, the health score determiner may determine the lowest score among the plurality of health scores determined according to the extracted plurality of singular points as the user's current health score.
또한, 신체 정보 수집 장치와 사용자 단말은 서로 간에 블루투스 연결 가능하고, 신체 정보 수집 장치와 사용자 단말이 서로 간에 블루투스 연결되면, 신체 정보 수집 장치와 사용자 단말 중 하나의 기기를 조작하여 신체 정보와 안면 이미지의 수집을 동시에 수행 가능할 수 있다.In addition, the body information collection device and the user terminal can be connected to each other through Bluetooth, and when the body information collection device and the user terminal are Bluetooth-connected to each other, one of the body information collection device and the user terminal is operated to obtain body information and a facial image. It may be possible to perform the collection of at the same time.
또한, 신체 정보 수집 장치는, 사용자로부터 신체 정보를 수집하는 신체 정보 측정부와, 신체 정보를 수집하도록 신체 정보 측정부를 작동 제어하는 측정 제어부, 그리고 사용자 단말과 블루투스 연결하는 제1 근거리 통신부를 포함하고, 사용자 단말은, 사용자로부터 안면 이미지를 수집하는 카메라와, 사용자 단말의 사용자 조작에 따라 촬영 조작 신호가 생성되면 안면 이미지를 수집하도록 카메라를 작동 제어하는 촬영 제어부, 그리고 제1 근거리 통신부와 블루투스 연결하는 제2 근거리 통신부를 포함하며, 제2 근거리 통신부는 생성된 촬영 조작 신호를 블루투스 연결된 제1 근거리 통신부로 송신하고, 제1 근거리 통신부에서 촬영 조작 신호를 수신하면 측정 제어부는 신체 정보를 수집하도록 신체 정보 측정부를 작동 제어할 수 있다.In addition, the body information collection device includes a body information measurement unit that collects body information from a user, a measurement control unit that operates and controls the body information measurement unit to collect body information, and a first short-range communication unit that makes a Bluetooth connection with a user terminal. , The user terminal includes a camera that collects a facial image from the user, a photographing control unit that operates and controls the camera to collect a facial image when a photographing manipulation signal is generated according to a user manipulation of the user terminal, and a first short-range communication unit that is connected via Bluetooth. A second short-range communication unit, wherein the second short-range communication unit transmits the generated shooting control signal to the first short-range communication unit connected to Bluetooth, and when the first short-range communication unit receives the shooting control signal, the measurement control unit collects body information. The measurement unit can be operated and controlled.
또한, 신체 정보 수집 장치는 사용자가 착용 가능한 웨어러블 기기이며, 신체 정보는 체온, 혈압, 심장 박동수, 혈중 산소포화도, 혈당 중 적어도 하나를 포함할 수 있다.Also, the body information collecting device is a wearable device worn by a user, and the body information may include at least one of body temperature, blood pressure, heart rate, blood oxygen saturation, and blood sugar.
한편, 본 발명의 일 실시예에 따른 안면 이미지를 이용한 건강관리 방법은, 신체 정보 수집 장치로부터 수신한 학습용 신체 정보와 사용자 단말로부터 수신한 학습용 안면 이미지에 기초하여, 서버가 사용자의 안면 이미지에 따른 건강 점수를 학습하여 학습 정보를 생성 및 저장하는 단계와, 서버가 사용자 단말로부터 판단용 안면 이미지를 수신하면 저장된 학습 정보에 기초하여 판단용 안면 이미지에 따른 현재 건강 점수를 판단하는 단계, 그리고 서버가 판단한 현재 건강 점수 정보를 사용자 단말로 송신하여 제공하는 단계를 포함한다.On the other hand, in the health management method using facial images according to an embodiment of the present invention, based on the body information for learning received from the body information collection device and the facial images for learning received from the user terminal, the server determines the user's facial image Learning health scores to generate and store learning information, and when the server receives a facial image for judgment from a user terminal, determining a current health score according to the facial image for judgment based on the stored learning information, and the server and transmitting and providing the determined current health score information to a user terminal.
본 발명에 의하면, 소정의 학습 기간 후에 사용자의 안면 이미지를 통해 사용자의 건강 상태를 판단함으로써, 스마트폰과 같이 사용자의 안면 이미지를 수집 및 송신 가능한 디바이스만을 소지하여도 사용자가 원할 때 언제든지 사용자의 건강 상태를 모니터 가능한 효과가 있다.According to the present invention, by determining the user's health status through the user's facial image after a predetermined learning period, the user's health status is determined whenever the user desires, even if the user possesses only a device capable of collecting and transmitting the user's facial image, such as a smartphone. There is an effect that can monitor the state.
또한, 본 발명은 사용자의 건강 상태를 모니터시 사용자의 안면 이미지를 수집하는 과정 외에 다수의 신체 정보 측정 과정을 생략 가능하므로 사용자의 건강 상태를 빠르고 편리하게 모니터 가능한 효과가 있다. In addition, since the present invention can omit a number of body information measurement processes in addition to the process of collecting the user's face image when monitoring the user's health condition, the user's health condition can be monitored quickly and conveniently.
또한, 본 발명은 건강 상태 학습이 완료된 후에 설정 주기마다 학습 데이터에 대한 교정 기간을 두어, 학습 데이터가 주기적으로 업데이트되도록 함으로써, 사용자의 안면 이미지를 통해 판단하는 건강 상태 정보의 정확도를 향상시킬 수 있다.In addition, the present invention can improve the accuracy of the health state information determined through the user's facial image by setting a calibration period for the learning data for each set cycle after the health state learning is completed so that the learning data is periodically updated. .
또한, 본 발명은 신체 정보 수집 장치와 사용자 단말이 신체 정보 수집과 안면 이미지 수집을 동시에 수행 가능하도록 함으로써, 사용자의 안면 이미지에 따른 건강 상태에 대한 학습 데이터의 신뢰도를 향상시킬 수 있다.In addition, the present invention enables the body information collection device and the user terminal to simultaneously collect body information and face image, thereby improving the reliability of learning data for health status according to the user's face image.
도 1은 본 발명의 일 실시예에 따른 안면 이미지를 이용한 건강관리 시스템을 개념적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 안면 이미지를 이용한 건강관리 방법을 개략적으로 도시한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 안면 이미지를 이용한 건강관리 시스템에서 사용자 단말에서 출력되는 메시지 일례를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 안면 이미지를 이용한 건강관리 방법에서 학습 단계를 보다 구체적으로 도시한 순서도이다.
도 5는 본 발명의 일 실시예에 따른 안면 이미지를 이용한 건강관리 방법에서 학습 단계에서의 신체 정보 건강 점수 결정 및 특이점 추출 일례를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 안면 이미지를 이용한 건강관리 방법에서 현재 건강 점수의 판단 단계를 보다 구체적으로 도시한 순서도이다.
도 7은 본 발명의 일 실시예에 따른 안면 이미지를 이용한 건강관리 시스템에서 신체 정보 수집 장치의 기능 블록도이다.
도 8은 본 발명의 일 실시예에 따른 안면 이미지를 이용한 건강관리 시스템에서 사용자 단말의 기능 블록도이다.
도 9는 본 발명의 일 실시예에 따른 안면 이미지를 이용한 건강관리 시스템에서 서버의 기능 블록도이다.
도 10은 본 발명의 일 실시예에 따른 안면 이미지를 이용한 건강관리 시스템에서 서버의 교정 기간을 설명하기 위해 도시한 도면이다.1 is a diagram conceptually illustrating a health management system using a facial image according to an embodiment of the present invention.
2 is a flowchart schematically illustrating a health management method using a facial image according to an embodiment of the present invention.
3 is a diagram illustrating an example of a message output from a user terminal in a health management system using a facial image according to an embodiment of the present invention.
4 is a flowchart illustrating a learning step in more detail in the health management method using a facial image according to an embodiment of the present invention.
5 is a diagram showing an example of determining a body information health score and extracting a singularity in a learning step in a health management method using a facial image according to an embodiment of the present invention.
6 is a flowchart illustrating a step of determining a current health score in more detail in the health management method using a facial image according to an embodiment of the present invention.
7 is a functional block diagram of a body information collecting device in a health management system using a facial image according to an embodiment of the present invention.
8 is a functional block diagram of a user terminal in a health management system using a facial image according to an embodiment of the present invention.
9 is a functional block diagram of a server in a health management system using a facial image according to an embodiment of the present invention.
10 is a diagram for explaining a calibration period of a server in a health management system using a facial image according to an embodiment of the present invention.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다.It should be noted that technical terms used in the present invention are only used to describe specific embodiments and are not intended to limit the present invention. In addition, technical terms used in the present invention should be interpreted in terms commonly understood by those of ordinary skill in the art to which the present invention belongs, unless specifically defined otherwise in the present invention, and are excessively inclusive. It should not be interpreted in a positive sense or in an excessively reduced sense. In addition, when the technical terms used in the present invention are incorrect technical terms that do not accurately express the spirit of the present invention, they should be replaced with technical terms that those skilled in the art can correctly understand.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서, "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들, 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.Also, singular expressions used in the present invention include plural expressions unless the context clearly dictates otherwise. In the present invention, terms such as "consisting of" or "comprising" should not be construed as necessarily including all of the various elements or steps described in the invention, and some of the elements or steps are included. It should be construed that it may not be, or may further include additional components or steps.
또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.In addition, it should be noted that the accompanying drawings are only for easily understanding the spirit of the present invention, and should not be construed as limiting the spirit of the present invention by the accompanying drawings.
이하 첨부한 도면을 참고로 본 발명에 따른 안면 이미지를 이용한 건강관리 방법 및 시스템에 대해 보다 구체적으로 살펴본다.Hereinafter, a health care method and system using a facial image according to the present invention will be described in more detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 안면 이미지를 이용한 건강관리 시스템을 개념적으로 도시한 도면이다.1 is a diagram conceptually illustrating a health management system using a facial image according to an embodiment of the present invention.
본 발명의 일 실시예에 따른 안면 이미지를 이용한 건강관리 시스템(이하, '건강관리 시스템'이라 한다.)은 소정의 학습 기간 후에 사용자의 안면 이미지만을 이용하여 사용자의 건강 상태를 판단하는 것을 특징으로 한다.A health management system using a facial image according to an embodiment of the present invention (hereinafter, referred to as a 'health management system') is characterized by determining the user's health status using only the user's facial image after a predetermined learning period. do.
이를 위해, 본 실시예에 따른 건강관리 시스템은 사용자의 각종 신체 정보를 수집하는 신체 정보 수집 장치(10)와, 사용자의 안면 이미지를 수집하는 사용자 단말(30)과, 사용자의 안면 이미지로부터 사용자의 건강 점수를 판단하는 서버(50)를 포함하여 구성될 수 있다.To this end, the health management system according to the present embodiment includes a body
신체 정보 수집 장치(10)는 사용자의 신체 정보를 수집하는데, 이때, 수집하는 사용자 신체 정보에는 체온 정보, 혈압 정보, 심장 박동수 정보, 혈중 산소포화도 정보, 혈당 정보 중 하나 이상이 포함될 수 있다. 신체 정보 수집 장치(10)는 이와 같은 신체 정보를 수집하기 위해 다수의 센서를 구비할 수 있으며, 수집한 신체 정보를 서버(50)로 송신하기 위해 와 연결될 수 있다.The body
신체 정보 수집 장치(10)는 다수의 센서가 하나의 몸체에 일체로 구비되며, 네트워크 연결 가능한 스마트 워치와 같은 웨어러블 기기로 구현될 수 있으나, 이에 한정하는 것은 아니다. 일례로 신체 정보 수집 장치(10)는 신체 정보를 종류에 따라 개별 수집하도록 분리된 몸체로 구성되는 다수개의 수집 장치(체온계, 혈압계, 심박계 등)로 구현 가능하며, 이 경우 다수개의 수집 장치에서 수집한 신체 정보를 서버(50)로 송신하도록 서버(50)와 유선 또는 무선 연결되는 통신 장치가 별도로 구비될 수 있다.The body
사용자 단말(30)은 사용자의 안면 이미지를 수집 가능하도록 카메라를 구비할 수 있으며, 수집한 안면 이미지를 서버(50)로 송신하기 위해 네트워크(70)와 연결될 수 있다. 또한, 사용자 단말(30)은 서버(50)로부터 사용자의 현재 건강 상태(건강 점수)를 수신하면, 수신한 현재 건강 상태를 시각적으로 출력하여 사용자가 확인 가능하도록 디스플레이 화면을 구비할 수 있다. 사용자 단말(30)은 사용자가 평시 소지하며 카메라와 디스플레이 화면을 구비하고 네트워크(70) 연결 가능한 스마트폰으로 구현될 수 있으나, 이에 한정하는 것은 아니다. The
서버(50)는 신체 정보 수집 장치(10)로부터 신체 정보를 수신하거나 또는 사용자 단말(30)로부터 안면 이미지를 수신하기 위해 네트워크(70)와 연결될 수 있다. 또한, 서버(50)는 사용자 단말(30)로부터 판단용 안면 이미지를 수신하면, 수신한 판단용 안면 이미지에 기초하여 사용자의 현재 건강 점수를 판단하고 네트워크(70)를 통해 판단한 사용자의 현재 건강 점수를 사용자 단말(30)로 송신할 수 있다. 여기서, 서버(50)에서 판단한 사용자의 건강 점수란 사용자의 영양 상태에 따른 점수이거나 또는 사용자의 피로도에 따른 점수이거나 또는 사용자의 질병 의심 정도에 따른 점수일 수 있다. 이 외에도 건강 점수는 사용자의 건강에 대한 다양한 지표를 점수로 환산한 것일 수 있다.The
서버(50)는 수신한 판단용 안면 이미지로부터 사용자의 현재 건강 점수를 판단하기 위해 안면 이미지에 따른 건강 점수를 학습할 수 있다. 구체적으로, 서버(50)는 소정 기간의 학습 기간 동안 신체 정보 수집 장치(10)로부터 수신한 학습용 신체 정보와 사용자 단말(30)로부터 수신한 학습용 안면 이미지에 기초하여 사용자의 안면 이미지에 따른 건강 점수를 학습하여 학습 정보를 생성 및 저장할 수 있다. 이와 같은 서버(50)의 학습 정보 생성 및 저장 과정에 대한 보다 구체적인 설명은 도 4를 참조하여 후술하기로 한다.The
서버(50)가 소정의 학습 기간 동안 사용자의 안면 이미지에 따른 건강 점수 학습을 완료하면, 사용자는 사용자 단말(30)을 이용하여 서버(50)에 사용자의 현재 건강 점수 판단을 요청할 수 있으며, 사용자 단말(30)로부터 현재 건강 점수 판단을 요청받은 서버(50)는 사용자의 현재 건강 점수를 판단하여 사용자 단말(30)로 송신할 수 있다. 이때, 사용자 단말(30)은 서버(50)에 사용자의 현재 건강 점수 판단을 요청하기 위해 판단용 안면 이미지를 수집하여 서버(50)로 송신할 수 있다. When the
서버(50)는 학습 기간이 종료된 후 사용자 단말(30)로부터 판단용 안면 이미지를 수신하면, 학습 기간 동안 저장된 학습 정보에 기초하여 판단용 안면 이미지에 따른 사용자의 현재 건강 점수를 판단할 수 있는데, 이와 같은 서버(50)의 현재 건강 점수 판단 과정에 대한 구체적인 설명은 도 6을 참조하여 후술하기로 한다.When the
도 2는 본 발명의 일 실시예에 따른 안면 이미지를 이용한 건강관리 방법을 개략적으로 도시한 순서도이고, 도 3은 본 발명의 일 실시예에 따른 안면 이미지를 이용한 건강관리 시스템에서 사용자 단말에서 출력되는 메시지 일례를 도시한 도면이다.2 is a flowchart schematically illustrating a health management method using a facial image according to an embodiment of the present invention, and FIG. 3 is a flowchart output from a user terminal in a health management system using a facial image according to an embodiment of the present invention. It is a diagram showing an example of a message.
도 2를 참조하여 본 실시예에 따른 건강관리 시스템을 이용하여 수행하는 안면 이미지를 이용한 건강관리 방법(이하, '건강관리 방법'이라 한다.)을 살펴보면, 우선, 서버(50)가 학습 기간 동안 신체 정보 수집 장치(10)로부터 수신한 학습용 신체 정보와 사용자 단말(30)로부터 수신한 학습용 안면 이미지에 기초하여 사용자의 안면 이미지에 따른 건강 점수를 학습하여 학습 정보를 생성 및 저장할 수 있다(S10).Looking at the health management method using a facial image (hereinafter, referred to as the 'health management method') performed using the health management system according to the present embodiment with reference to FIG. 2, first, the
학습 기간이 완료되면, 서버(50)는 사용자 단말(30)로부터 판단용 안면 이미지가 수신되었는지 판단할 수 있다(S30).When the learning period is completed, the
만약, 서버(50)가 사용자 단말(30)로부터 판단용 안면 이미지를 수신하지 않았다면(S30-N), 서버(50)는 판단용 안면 이미지를 수신할 때까지 대기하며, 만약, 사용자 단말(30)에서 판단용 안면 이미지를 수집하여 서버(50)로 송신하고, 서버(50)가 사용자 단말(30)로부터 판단용 안면 이미지를 수신하였으면(S30-Y), 서버(50)는 학습 기간 동안 저장한 학습 정보에 기초하여 판단용 안면 이미지에 따른 현재 건강 점수를 판단할 수 있다(S50).If the
그리고 서버(50)는 판단한 현재 건강 점수를 사용자 단말(30)로 송신하여 제공하며(S70), 사용자 단말(30)은 수신한 현재 건강 점수를 시각적으로 출력하여 사용자가 확인 가능하게 할 수 있다. The
이때, 서버(50)는 사용자 단말(30)에 판단한 현재 건강 점수뿐 아니라 현재 건강 점수에 대한 추천 정보도 함께 송신할 수 있으며, 사용자 단말(30)은 수신한 현재 건강 점수와 추천 정보에 대한 메시지를 함께 출력할 수 있다. 도 3을 예로 하여 설명하면, 서버(50)에서 판단하는 사용자의 현재 건강 점수가 피로도에 관한 점수라면, 서버(50)에서 건강 점수와 함께 송신하는 추천 정보는 사용자의 피로도에 따른 필요 조치 정보일 수 있으며, 더욱 구체적인 예로는 사용자의 피로도가 높게 판단된 경우 추천 정보는 휴식 권유일 수 있다. At this time, the
상술한 과정을 통해 본 실시예에 따른 건강관리 방법은, 소정의 학습 과정을 거치면, 사용자는 사용자 단말(30)을 이용해 판단용 안면 이미지를 촬영하여 서버(50)로 송신하는 간단한 과정만으로 현재의 건강 점수(건강 상태)를 모니터할 수 있다. 따라서, 사용자가 스마트폰과 같이 안면 이미지를 수집 및 송신 가능한 디바이스만을 소지하여도 사용자가 원할 때 언제든지 사용자의 건강 상태를 모니터하고, 이에 따른 추천 정보를 제공받을 수 있다. 또한, 본 발명은 사용자의 건강 상태를 모니터시 사용자의 안면 이미지를 수집하는 과정 외에 다수의 신체 정보 측정 과정을 생략 가능하므로 사용자의 건강 상태를 빠르고 편리하게 모니터할 수 있다.In the health management method according to the present embodiment through the above-described process, after a predetermined learning process, the user takes a facial image for judgment using the
바람직하게, 사용자 단말(30)은 안면 이미지를 이용하여 사용자를 식별하여 잠금 해제 가능한, 얼굴 인식 잠금 해제 기능을 구비하는 스마트폰으로 구현될 수 있으며, 사용자 단말(30)이 얼굴 인식 잠금 해제 기능을 구비하는 스마트폰인 경우, 잠금 해제를 위해 사용자의 안면 이미지를 수집시, 수집한 안면 이미지를 판단용 안면 이미지로서 서버(50)에 송신할 수 있다. 따라서, 사용자가 현재 건강 점수 모니터를 위해 별도로 안면 이미지를 촬영하는 과정을 생략하여도 스마트폰의 안면 인식 잠금 해제 과정에서 수집한 안면 이미지를 이용하여 서버(50)에 현재 건감 점수 판단 및 결과 송신을 요청할 수 있다. 나아가서는 사용자가 서버(50)에 현재 건강 점수 판단 및 송신을 별도로 요청하지 않아도 스마트폰의 안면 인식 잠금 해제시마다 판단용 안면 이미지가 서버(50)로 송신되도록 함으로써, 사용자는 스마트폰의 안면 인식 잠금 해제시마다 별도의 요청 또는 안면 촬영 없이 서버(50)로부터 사용자의 현재 건강 점수를 수신하여 확인할 수 있다. 이때, 사용자 단말(30)의 안면 인식 잠금 해제를 이용한 서버(50)로의 판단용 안면 이미지 송신 여부는 별도의 옵션 설정을 통해 결정 가능할 수 있다. Preferably, the
도 4는 본 발명의 일 실시예에 따른 안면 이미지를 이용한 건강관리 방법에서 학습 단계를 보다 구체적으로 도시한 순서도이고, 도 5는 본 발명의 일 실시예에 따른 안면 이미지를 이용한 건강관리 방법에서 학습 단계에서의 신체 정보 건강 점수 결정 및 특이점 추출 일례를 도시한 도면이다.4 is a flowchart illustrating a learning step in more detail in the health management method using a facial image according to an embodiment of the present invention, and FIG. 5 is learning in the health management method using a facial image according to an embodiment of the present invention. It is a diagram showing an example of body information health score determination and singularity extraction in the step.
상술한 바와 같이, 서버(50)는 학습 기간 동안 신체 정보 수집 장치(10)로부터 수신한 학습용 신체 정보와 사용자 단말(30)로부터 수신한 학습용 안면 이미지에 기초하여, 사용자의 안면 이미지에 따른 건강 점수를 학습하여 학습 정보를 생성 및 저장할 수 있다. As described above, the
이하에서는 도 4를 참조하여 이와 같은 서버(50)의 학습 정보 생성 및 저장 과정에 대한 보다 구체적으로 살펴보기로 한다.Hereinafter, with reference to FIG. 4 , the learning information creation and storage process of the
우선, 서버(50)는 신체 정보 수집 장치(10)로부터 학습용 신체 정보를 수신하고, 사용자 단말(30)로부터 학습용 안면 이미지를 수신할 수 있다(S11). 이때, 서버(50)는 학습용 신체 정보와 학습용 안면 이미지 수신을 위해 신체 정보 수집 장치(10)와 사용자 단말(30)에 학습용 데이터 송신을 다회 요청할 수 있으며, 바람직하게, 서버(50)는 각 요청 간에 소정의 간격을 둘 수 있다. 예를 들면 서버(50)는 학습 기간 동안 신체 정보 수집 장치(10)와 사용자 단말(30)에 학습용 데이터 송신을 하루 간격으로 다회 요청할 수 있다. First, the
이때, 신체 정보 수집 장치(10)와 사용자 단말(30)은 서버(50)로부터 학습용 데이터 송신을 요청받으면 서로 간에 동시 또는 소정 시간 내에 수집한 학습용 신체 정보와 학습용 안면 이미지를 송신할 수 있다.At this time, when the body
신체 정보 수집 장치(10)와 사용자 단말(30)로부터 학습용 신체 정보와 학습용 안면 이미지를 수신한 서버(50)는 수신한 각각의 학습용 신체 정보에 따른 건강 점수를 결정할 수 있다(S12). The
구체적으로, 서버(50)는 신체 정보 수집 장치(10)로부터 수신한 학습용 신체 정보의 회차 별로 건강 점수를 각각 결정할 수 있으며, 각 회차별로 수신한 학습용 신체 정보에 포함되는 사용자의 체온 정보, 혈압 정보, 심장 박동수 정보, 혈중 산소포화도 정보, 혈당 정보 중 하나 이상의 정보에 기초하여 수신한 학습용 신체 정보에 따른 건강 점수를 결정할 수 있으며, 각각의 정보에 대하여 기설정된 규칙에 따라 건강 점수를 결정할 수 있다.Specifically, the
예를 들어 설명하면, 서버(50)는 수신한 사용자의 학습용 신체 정보에 포함되는 사용자의 체온 정보에 기초하여 사용자의 건강 점수를 결정할 수 있는데, 이 경우 사용자의 체온이 36℃ 이상이며 37℃ 이하이면 건강 점수를 10점으로 결정할 수 있고, 사용자의 체온이 37℃를 초과하고 37.5℃ 이하로 판단되면 건강 점수를 8점으로 결정할 수 있으며, 사용자의 체온이 37.5℃를 초과하고 38℃ 이하이면 건강 점수를 6점으로 결정할 수 있으며, 사용자의 체온이 38.5℃를 초과하고 39℃ 이하이면 건강 점수를 4점으로 결정할 수 있고, 사용자의 체온이 39℃를 초과하거나 또는 36℃ 미만이면 건강 점수를 2점으로 결정할 수 있다.For example, the
바람직하게, 서버(50)는 수신한 사용자의 학습용 신체 정보에 포함된 여러 종류의 정보에 따라 사용자의 건강 점수를 다각도로 결정할 수 있으며, 구체적으로는 사용자의 체온 정보, 혈압 정보, 심장 박동수 정보, 혈중 산소포화도 정보, 혈당 정보를 통해 각각 점수를 결정한 후, 결정한 점수의 평균값 또는 결정한 점수 중 가장 낮은 점수를 건강 점수로 결정할 수 있다. Preferably, the
한편, 서버(50)는 수신한 학습용 안면 이미지로부터 특이점을 추출할 수 있다(S13). 여기서, 특이점이란 사용자의 안면 이미지에서 특정 영역 또는 특정 안면 부위가 정상 범위를 벗어난 것으로 판단되는 것으로, 피부 염증, 안면 홍조, 다크 서클, 눈의 충혈, 입술의 건조 또는 갈라짐, 입술 수포 등이 특이점에 포함될 수 있다. 이때, 서버(50)는 머신 러닝 기술을 통해 사용자의 안면 이미지로부터 특이점을 추출할 수 있다. 또한, 서버(50)는 사용자의 안면 이미지 상의 부위별 픽셀 RGB값이 설정된 정상 범위를 벗어나거나 또는 주변 RGB 값과 임계치 이상 차이가 나는 경우, 해당 부위를 특이점으로 추출할 수 있으며, 이때의 RGB값 정상 범위와 주변과의 비교를 위한 임계치는 부위별로 다르게 설정될 수 있다. Meanwhile, the
학습용 신체 정보에 따른 건강 점수를 결정하고, 학습용 안면 이미지로부터 특이점을 추출한 서버(50)는, 동일 회차의(서로 간에 소정 시간차 내에 수집된) 학습용 신체 정보와 학습용 안면 이미지 간의 건강 점수와 특이점을 매칭하여 특이점 점수를 생성하고, 생성한 특이점 점수를 저장할 수 있다(S14).The
도 5를 예로 하여 서버(50)의 특이점 점수 생성 과정을 보다 구체적으로 설명하면, 도 5에 도시된 바와 같이 1차 수집된 학습용 신체 정보로부터 결정한 건강 점수가 6점이고 1차 수집된 학습용 안면 이미지로부터 추출한 특이점이 피부 염증이 경우, 특이점 점수인 피부 염증 점수는 6점일 수 있다.Taking FIG. 5 as an example, the process of generating the singularity score of the
또한, 도 5에 도시된 바와 같이 2차, 3차 수집된 학습용 안면 이미지로부터 추출한 특이점이 다크 서클로 서로 같은데, 2차, 3차 수집된 학습용 신체 정보로부터 결정한 건강 점수가 서로 다른 경우 각 건강 점수의 평균값인 6.5점을 다크 서클 점수로 매칭하여 특이점 점수를 생성할 수 있다.In addition, as shown in FIG. 5, when the singularities extracted from the second and third collected facial images for learning are the same as dark circles, but the health scores determined from the second and third collected body information for learning are different, each health score The singular point score can be generated by matching the average value of 6.5 points with the dark circle score.
또한, 도 5에 도시된 바와 같이 N차 수집된 학습용 안면 이미지로부터 다수개의 특이점이 추출된 경우 각각의 특이점(눈의 충혈, 다크 서클)에 건강 점수(4점)을 개별 매칭하여 각각의 특이점 점수를 생성할 수 있다. 바람직하게, 서버(50)는 수집한 하가습용 안면 이미지로부터 다수개의 특이점이 추출된 경우 각각의 특이점(눈의 충혈, 다크 서클)에 건강 점수를 개별 매칭하되, 건강 점수를 매칭 전에 건강 점수에 소정의 제1 보정치를 가산한 건강 점수(예를 들면 건강 점수 4점에 제1 보정치 1점을 가산한 건강 점수 5점)를 개별 매칭할 수 있다. 이는 다수의 특이점이 복합적으로 원인이 되어 낮게 발현된 건강 점수를 보정하기 위한 것으로, 가산하는 제1 보정치는 추출된 특이점의 개수에 비례하게(예를 들어 특이점이 2개이면 제1 보정치 1점, 3개이면 제1 보정치 2점) 결정될 수 있다. In addition, as shown in FIG. 5, when a plurality of singularities are extracted from the N-order collected facial images for learning, health scores (4 points) are individually matched to each singularity (eye congestion, dark circles), and each singularity score can create Preferably, when a plurality of singular points are extracted from the collected facial images for lower humidity, the
도 6은 본 발명의 일 실시예에 따른 안면 이미지를 이용한 건강관리 방법에서 현재 건강 점수의 판단 단계를 보다 구체적으로 도시한 순서도이다.6 is a flowchart illustrating a step of determining a current health score in more detail in the health management method using a facial image according to an embodiment of the present invention.
상술한 바와 같이, 서버(50)는 학습 기간이 종료된 후 사용자 단말(30)로부터 판단용 안면 이미지를 수신하면, 학습 기간 동안 저장된 학습 정보에 기초하여 판단용 안면 이미지에 따른 사용자의 현재 건강 점수를 판단할 수 있다.As described above, when the
이하에서는, 도 6을 참조하여 이와 같은 서버(50)의 현재 건강 점수 판단 과정을 보다 구체적으로 설명하기로 한다.Hereinafter, the process of determining the current health score of the
서버(50)는 사용자 단말(30)로부터 수신한 판단용 안면 이미지로부터 특이점을 추출할 수 있다(S51). 이때, 판단용 안면 이미지로부터 추출하는 특이점의 종류 또는 특이점 추출 방법은 학습용 안면 이미지로부터 추출하는 특이점의 종류 또는 특이점 추출 방법과 같을 수 있다.The
서버(50)는 수신한 판단용 안면 이미지로부터 추출한 특이점이 다수개인지 판단할 수 있다(S52).The
만약, 판단용 안면 이미지로부터 추출한 특이점이 하나인 경우(S52-N), 서버(50)는 저장된 특이점 점수에 기초하여 추출한 특이점에 따른 현재 건강 점수를 판단할 수 있다(S53).If there is only one singularity extracted from the facial image for judgment (S52-N), the
예를 들어, 서버(50)는 판단용 안면 이미지로부터 추출한 특이점이 눈의 충혈 하나이고, 저장된 눈의 충혈에 대한 특이점 점수가 7점인 경우 사용자의 현재 건강 점수를 7점으로 판단할 수 있다.For example, the
반면에, 판단용 안면 이미지로부터 추출한 특이점이 다수개인 경우(S53-Y), 서버(50)는 저장된 특이점 점수에 기초하여 추출한 특이점 각각에 대한 건강 점수를 1차 추출한 후 1차 추출한 건강 점수 중 최저 점수를 현재 건강 점수로 판단할 수 있다(S55). 예를 들어 설명하면 서버(50)는 판단용 안면 이미지로부터 추출한 특이점이 눈의 충혈과 다크 서클로 두 개인 경우, 눈의 충혈에 대한 건강 점수 7점과, 다크 서클에 대한 건강 점수 6점을 추출한 후, 둘 중 더 낮은 점수인 6점을 사용자의 현재 건강 점수로 판단할 수 있다. On the other hand, when there are a plurality of outliers extracted from the facial image for judgment (S53-Y), the
바람직하게, 서버(50)는 판단용 안면 이미지로부터 추출한 특이점이 다수개인 경우, 다수개의 특이점에 대한 건강 점수 중 최저 점수를 추출하고 추출한 최저 점수에 소정의 제2 보정치를 감산한 점수를 사용자의 현재 건강 점수로 판단할 수 있다. 예를 들어 설명하면 서버(50)는 판단용 안면 이미지로부터 추출한 특이점이 눈의 충혈과 다크 서클로 두 개인 경우, 눈의 충혈에 대한 건강 점수 7점과, 다크 서클에 대한 건강 점수 6점을 추출한 후, 둘 중 더 낮은 점수인 6점에 제2 보정치 1을 감산한 5점을 사용자의 현재 건강 점수로 판단할 수 있다. 이는 판단용 안면 이미지에서 다수개의 특이점이 추출된 경우, 추출된 특이점 중 가장 낮은 건강 점수를 갖는 하나의 특이점이 추출되었을 때보다 사용자의 건강 점수를 더 낮게 보정하기 위한 것으로, 감산하는 제2 보정치는 추출된 특이점의 개수에 비례하게(예를 들어 특이점이 2개이면 제1 보정치 1점, 3개이면 제1 보정치 2점) 결정될 수 있다. Preferably, if there are a plurality of singularities extracted from the facial image for judgment, the
도 7은 본 발명의 일 실시예에 따른 안면 이미지를 이용한 건강관리 시스템에서 신체 정보 수집 장치의 기능 블록도이고, 도 8은 본 발명의 일 실시예에 따른 안면 이미지를 이용한 건강관리 시스템에서 사용자 단말의 기능 블록도이다.7 is a functional block diagram of a body information collection device in a health management system using a facial image according to an embodiment of the present invention, and FIG. 8 is a user terminal in the health management system using a facial image according to an embodiment of the present invention. is a functional block diagram of
이하에서는, 도 7 내지 도 8을 참조하여 본 실시예에 따른 건강관리 시스템의 신체 정보 수집 장치(10)와, 사용자 단말(30)의 구성을 구체적으로 설명하기로 한다.Hereinafter, configurations of the body
도 7을 참조하면, 신체 정보 수집 장치(10)는 네트워크 연결을 위한 제1 네트워크 통신부(11)와, 신체 정보를 수집하는 신체 정보 측정부(13)와, 신체 정보 측정부(13)를 작동 제어하는 측정 제어부(14)를 포함하여 구성될 수 있다.Referring to FIG. 7 , the body
제1 네트워크 통신부(11)는 네트워크(70)를 통해 서버(50)와 통신 연결되어 수집한 신체 정보를 서버(50)로 송신하거나 서버(50)로부터 학습용 데이터 송신 요청 신호를 수신할 수 있다. The first
신체 정보 측정부(13)는 사용자의 각종 신체 정보를 수집하기 위한 것으로, 사용자의 체온 정보, 혈압 정보, 심장 박동수 정보, 혈중 산소포화도 정보, 혈당 정보 중 하나 이상을 수집하도록 다양한 센서가 구비될 수 있다.The body
측정 제어부(14)는 신체 정보 측정부(13)가 사용자의 각종 신체 정보를 수집하도록 신체 정보 측정부(13)를 작동 제어할 수 있다. 구체적으로, 측정 제어부(14)는 사용자가 신체 정보 수집 장치(10)에 별도로 구비되는 조작부를 조작하여 수집 조작 신호가 생성되면, 신체 정보 측정부(13)가 사용자의 신체 정보를 수집하도록 작동 제어할 수 있다. The
도 8을 참조하면, 사용자 단말(30)은 네트워크 연결을 위한 제2 네트워크 통신부(31)와, 안면 이미지를 수집하는 카메라(32)와, 카메라(32)를 작동 제어하는 촬영 제어부(33), 그리고 사용자의 현재 건강 점수 및 추천 정보를 출력하는 출력부(34)를 포함하여 구성될 수 있다.Referring to FIG. 8 , the
제2 네트워크 통신부(31)는 네트워크(70)를 통해 서버(50)와 통신 연결되어 수집한 안면 이미지를 서버(50)로 송신하거나 서버(50)로부터 학습용 데이터 송신 요청 신호와 사용자의 현재 건강 점수 및 추천 정보를 수신할 수 있다. The second
카메라(32)는 사용자의 안면 이미지를 수집하기 위한 것으로, 촬영 제어부(33)에 의해 작동 제어될 수 있다. 촬영 제어부(33)는 사용자가 사용자 단말(30)에 별도로 구비되는 조작부를 조작하여 촬영 조작 신호가 생성되면, 카메라(32)가 사용자의 안면 이미지를 수집하도록 작동 제어할 수 있다.The
출력부(34)는 제2 네트워크 통신부(31)를 통해 서버(50)로부터 사용자의 현재 건강 점수 및 추천 정보를 수신하면, 수신한 사용자의 현재 건강 점수 및 추천 정보를 사용자에게 출력할 수 있다. 이때, 출력부(34)는 서버(50)로부터 수신된 현재 건강 점수 및 추천 정보를 그대로 출력할 수 있지만, 바람직하게, 사용자가 사용자의 현재 건강 상태와 추천 정보 내용을 쉽게 파악할 수 있도록, 서버(50)로부터 수신된 현재 건강 점수 및 추천 정보를 부드럽게 가공된 문장으로 편집하여 출력할 수 있다.Upon receiving the user's current health score and recommendation information from the
한편, 상술한 바와 같이 신체 정보 수집 장치(10)와 사용자 단말(30)은 서버(50)로부터 학습용 데이터 송신을 요청받으면 서로 간에 동시 또는 소정 시간 내에 수집한 학습용 신체 정보와 학습용 안면 이미지를 송신할 수 있다. 이와 같이 학습용 신체 정보와 학습용 안면 이미지의 수집 시간차가 적을수록 학습용 신체 정보와 학습용 안면 이미지 간에 연관성이 높아져, 학습용 신체 정보와 학습용 안면 이미지로부터 도출된 특이점 점수의 신뢰도가 높을 것이다.On the other hand, as described above, when the body
본 실시예에 따른 신체 정보 수집 장치(10)와 사용자 단말(30)은 둘 중 하나의 기기를 조작하여 신체 정보와 안면 이미지의 수집을 동시에 수행 가능하도록 하여, 학습용 신체 정보와 학습용 안면 이미지의 수집 시간차를 최소화할 수 있다.The body
이를 위해, 신체 정보 수집 장치(10)와 사용자 단말(30)은 서로 간에 블루투스 연결 가능하고, 신체 정보 수집 장치와 사용자 단말이 서로 간에 블루투스 연결되면, 신체 정보 수집 장치와 사용자 단말 중 하나의 기기를 조작하여 신체 정보와 안면 이미지의 수집을 동시에 수행되도록 할 수 있다.To this end, the body
구체적으로, 신체 정보 수집 장치(10)는 제1 근거리 통신부(15)를 구비하고, 사용자 단말(30)은 제2 근거리 통신부(35)를 구비하여, 제1 근거리 통신부(15)와 제2 근거리 통신부(35)는 서로 간에 블루투스 연결될 수 있다.Specifically, the body
이와 같이 신체 정보 수집 장치의 제1 근거리 통신부(15)와 사용자 단말(30)의 제2 근거리 통신부(35)가 서로 간에 블루투스 연결된 상태에서, 사용자가 신체 정보 수집 장치(10)의 조작부를 조작하여 수집 조작 신호가 생성되면 생성된 수집 조작 신호를 제1 근거리 통신부(15)를 통해 제2 근거리 통신부(35)로 송신하고, 제2 근거리 통신부(35)로 수집 조작 신호가 수신되면 촬영 제어부(33)는 안면 이미지를 수집하도록 카메라(32)를 작동 제어할 수 있다.In this way, in a state where the first short-
또한, 신체 정보 수집 장치의 제1 근거리 통신부(15)와 사용자 단말(30)의 제2 근거리 통신부(35)가 서로 간에 블루투스 연결된 상태에서, 사용자가 사용자 단말(30)의 조작부를 조작하여 촬영 조작 신호가 생성되면 생성된 촬영 조작 신호를 제2 근거리 통신부(35)를 통해 제1 근거리 통신부(15)로 송신하고, 제1 근거리 통신부(15)로 촬영 조작 신호가 수신되면 측정 제어부(14)는 신체 정보를 수집하도록 신체 정보 측정부(13)를 작동 제어할 수 있다.In addition, in a state where the first short-
이와 같이, 본 발명은 신체 정보 수집 장치(10)와 사용자 단말(30)이 서로 간에 블루투스 연결되어 신체 정보 수집과 안면 이미지 수집을 동시에 수행 가능하도록 함으로써, 사용자의 안면 이미지에 따른 건강 상태에 대한 학습 데이터의 신뢰도를 향상시킬 수 있다.In this way, the present invention enables the body
도 9는 본 발명의 일 실시예에 따른 안면 이미지를 이용한 건강관리 시스템에서 서버의 기능 블록도이고, 도 10은 본 발명의 일 실시예에 따른 안면 이미지를 이용한 건강관리 시스템에서 서버의 교정 기간을 설명하기 위해 도시한 도면이다.9 is a functional block diagram of a server in a health management system using a facial image according to an embodiment of the present invention, and FIG. 10 is a calibration period of a server in a health management system using a facial image according to an embodiment of the present invention. It is a drawing shown for explanation.
상술한 바와 같이 서버(50)는 수신한 학습용 신체 정보와 학습용 안면 이미지를 이용하여 안면 이미지에 따른 건강 점수를 학습하여 학습 정보를 생성 및 저장하고, 판단용 안면 이미지를 수신하면 저장한 학습 정보에 기초하여 사용자의 현재 건강 점수를 판단할 수 있다.As described above, the
도 9를 참조하면, 이를 위해 서버(50)는 네트워크 연결을 위한 제3 네트워크 통신부(51)와, 신체 정보에 따른 건강 점수를 결정하는 건강 점수 결정부(52)와, 안면 이미지로부터 특이점을 추출하는 특이점 추출부(53)와, 특이점 점수를 생성하는 특이점 점수 생성부(54)와, 생성한 특이점 점수를 저장하는 데이터베이스(55), 그리고 사용자의 현재 건강 점수를 판단하는 건강 점수 판단부(56)를 포함하여 구성될 수 있다.Referring to FIG. 9 , for this purpose, the
제3 네트워크 통신부(51)는 네트워크(70)를 통해 제1 네트워크 통신부(11)와 통신 연결되어 신체 정보를 수신하거나 학습용 데이터 송신 요청 신호를 송신할 수 있으며, 네트워크(70)를 통해 제2 네트워크 통신부(31)와 통신 연결되어 학습용 안면 이미지, 판단용 안면 이미지를 수신하거나 학습용 데이터 송신 요청 신호, 사용자의 현재 건강 점수 및 추천 정보를 송신할 수 있다.The third
건강 점수 결정부(52)는 신체 정보 수집 장치(10)로부터 수신한 학습용 신체 정보에 따른 건강 점수를 결정할 수 있다. 구체적으로, 건강 점수 결정부(52)는 신체 정보 수집 장치(10)로부터 수신한 학습용 신체 정보의 회차 별로 건강 점수를 각각 결정할 수 있으며, 각 회차별로 수신한 학습용 신체 정보에 포함되는 사용자의 체온 정보, 혈압 정보, 심장 박동수 정보, 혈중 산소포화도 정보, 혈당 정보 중 하나 이상의 정보에 기초하여 수신한 학습용 신체 정보에 따른 건강 점수를 결정할 수 있으며, 각각의 정보에 대하여 기설정된 규칙에 따라 건강 점수를 결정할 수 있다. The health
특이점 추출부(53)는 수신한 학습용 안면 이미지 또는 판단용 안면 이미지로부터 특이점을 추출할 수 있다. 특이점 추출부(53)는 머신 러닝 기술을 통해 사용자의 안면 이미지로부터 특이점을 추출하거나, 또는 안면 이미지의 부위별 RGB 값에 기초하여 특이점을 추출할 수 있다.The
특이점 점수 생성부(54)는 동일 회차의(서로 간에 소정 시간차 내에 수집된) 학습용 신체 정보와 학습용 안면 이미지 간의 건강 점수와 특이점을 매칭하여 특이점 점수를 생성할 수 있으며, 데이터베이스(55)는 특이점 점수 생성부(54)에서 생성한 특이점 점수를 저장할 수 있다.The singularity score generating
건강 점수 판단부(56)는 제3 네트워크 통신부(51)를 통해 판단용 안면 이미지가 수신되면, 수신된 판단용 안면 이미지에 대한 사용자의 현재 건강 점수를 판단할 수 있다. 구체적으로, 건강 점수 판단부(56)는 특이점 추출부(53)가 판단용 안면 이미지로부터 추출한 특이점에 해당하는 특이점 점수를 데이터베이스(55)에서 추출하여 판단용 안면 이미지의 특이점 점수를 판단할 수 있다.When a facial image for determination is received through the third
한편, 본 실시예에 따른 건강관리 시스템은 학습 데이터를 주기적으로 업데이트할 수 있다.Meanwhile, the health management system according to the present embodiment may periodically update learning data.
이를 위해, 본 실시예에 따른 건강관리 시스템은 도 10에 도시된 바와 같이 사용자의 안면 이미지에 따른 건강 점수 학습이 완료된 후에 설정 주기마다 교정 기간을 가지며, 서버(50)는 교정 기간 동안 데이터베이스(55)에 저장된 특이점 점수를 교정하는 교정부(57)를 구비할 수 있다.To this end, as shown in FIG. 10, the health management system according to the present embodiment has a calibration period for each set period after the health score learning according to the user's facial image is completed, and the
교정부(57)는 교정 기간 동안 신체 정보 수집 장치(10)에 교정용 신체 정보 송신을 1회 이상 요청하고 사용자 단말(30)에 교정용 안면 이미지 송신을 1회 이상 요청하며, 수신한 교정용 신체 정보와 교정용 안면 이미지에 기초하여 데이터베이스에 저장된 특이점 점수를 교정할 수 있다.During the calibration period, the
교정 기간 중에 교정용 신체 정보가 수신되면, 건강 점수 결정부(52)는 학습용 신체 정보가 수신되었을 때와 마찬가지로, 교정용 신체 정보로부터 건강 점수를 결정하고, 교정 기간 중에 교정용 안면 이미지가 수신되면, 특이점 추출부(53)는 학습용 안면 이미지가 수신되었을 때와 마찬가지로, 교정용 안면 이미지로부터 특이점을 추출할 수 있다. 또한, 특이점 점수 생성부(54)는 학습용 신체 정보로부터 건강 점수가 결정되고 학습용 안면 이미지로부터 특이점이 추출되었을 때와 마찬가지로, 소정 시간차 내에 수집된(동일 회차에 수집된) 교정용 신체 정보와 교정용 안면 이미지 간의 특이점에 따른 건강 점수를 매칭한 특이점 점수를 생성할 수 있다.If the body information for correction is received during the correction period, the health
교정부(57)는 교정 기간 중에 생성된 특이점 점수와 데이터 베이스에 기저장된 특이점 점수를 함께 평균 내어, 특이점별 건강 점수를 교정하되, 교정 기간 중에 생성된 특이점 점수에 가중치를 부여하여 특이점별 건강 점수를 교정할 수 있다. 예를 들어, 교정부(57)는 교정 기간 중에 생성된 특이점 점수를 데이터 베이스에 기저장된 특이점 점수에 비하여 2배의 가중치를 두어 평균값을 통해 특이점 점수를 교정할 수 있다. 만약, 교정 기간 중에 생성된 눈의 충혈에 대한 특이점 점수가 5점이고, 데이터 베이스에 기저장된 눈의 충혈에 대한 특이점 점수가 8점인 경우 교정 기간 중에 생성된 특이점 점수인 5점에 2배의 가중치를 두어 산출한 평균값 6점으로 눈의 충혈에 대한 특이점 점수를 교정할 수 있다. 이는, 최근 학습한 정보에 대한 신뢰도가 과거 학습한 정보보다 신뢰도가 높기 때문이다. The
이상에서 상술한 바와 같이, 본 발명은 소정의 학습 기간 후에 사용자의 안면 이미지를 통해 사용자의 건강 상태를 판단함으로써, 스마트폰과 같이 사용자의 안면 이미지를 수집 및 송신 가능한 디바이스만을 소지하여도 사용자가 원할 때 언제든지 사용자의 건강 상태를 모니터 가능하며, 또한, 사용자의 건강 상태를 모니터시 사용자의 안면 이미지를 수집하는 과정 외에 다수의 신체 정보 측정 과정을 생략 가능하므로 사용자의 건강 상태를 빠르고 편리하게 모니터 가능한 효과가 있다. As described above, the present invention determines the user's health status through the user's facial image after a predetermined learning period, so that the user can obtain the user's desired image even if the user possesses only a device capable of collecting and transmitting the user's facial image, such as a smartphone. It is possible to monitor the user's health condition at any time, and also, when monitoring the user's health condition, it is possible to omit a number of body information measurement processes other than the process of collecting the user's facial image, so the user's health condition can be monitored quickly and conveniently. there is
또한, 본 발명은 건강 상태 학습이 완료된 후에 설정 주기마다 학습 데이터에 대한 교정 기간을 두어, 학습 데이터가 주기적으로 업데이트되도록 함으로써, 사용자의 안면 이미지를 통해 판단하는 건강 상태 정보의 정확도를 향상시킬 수 있으며, 건강 상태 학습이 완료된 후에 설정 주기마다 학습 데이터에 대한 교정 기간을 두어 학습 데이터가 주기적으로 업데이트되도록 함으로써, 사용자의 안면 이미지를 통해 판단하는 건강 상태 정보의 정확도를 향상시킬 수 있다.In addition, the present invention can improve the accuracy of health state information determined through a user's facial image by providing a calibration period for learning data for each set period after health state learning is completed so that learning data is periodically updated. , Accuracy of the health state information determined through the user's face image can be improved by setting a calibration period for the learning data at each set period after the health state learning is completed so that the learning data is periodically updated.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely an example of the technical idea of the present invention, and those skilled in the art will be able to make various modifications and variations without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed according to the claims below, and all technical ideas within the equivalent range should be construed as being included in the scope of the present invention.
10: 신체 정보 수집 장치
11: 제1 네트워크 통신부
13: 신체 정보 측정부
14: 측정 제어부
15: 제1 근거리 통신부
30: 사용자 단말
31: 제2 네트워크 통신부
32: 카메라
33: 촬영 제어부
34: 출력부
35: 제2 근거리 통신부
50: 서버
51: 제3 네트워크 통신부
52: 건강 점수 결정부
53: 특이점 추출부
54: 특이점 점수 생성부
55: 데이터베이스
56: 건강 점수 판단부
57: 교정부
70: 네트워크10: body information collection device
11: first network communication unit
13: body information measuring unit
14: measurement control unit
15: first short-range communication unit
30: user terminal
31: second network communication unit
32: camera
33: shooting control unit
34: output unit
35: second short-range communication unit
50: server
51: third network communication unit
52: health score determining unit
53: singularity extraction unit
54: singularity score generator
55: database
56: health score determination unit
57: correction department
70: network
Claims (11)
사용자의 안면 이미지를 수집하는 사용자 단말; 및
상기 신체 정보 수집 장치로부터 수신한 학습용 신체 정보와 상기 사용자 단말로부터 수신한 학습용 안면 이미지에 기초하여 사용자의 안면 이미지에 따른 건강 점수를 학습하여 학습 정보를 생성 및 저장하는 서버를 포함하고,
상기 서버는 상기 사용자 단말로부터 판단용 안면 이미지를 수신하면, 저장된 상기 학습 정보에 기초하여 상기 판단용 안면 이미지에 따른 사용자의 현재 건강 점수를 판단하고 판단 결과를 제공하는 것을 특징으로 하는 안면 이미지를 이용한 건강관리 시스템.
a body information collecting device that collects user's body information;
A user terminal that collects a user's face image; and
A server configured to generate and store learning information by learning a health score according to a user's facial image based on the body information for learning received from the body information collecting device and the facial image for learning received from the user terminal;
When the server receives a facial image for judgment from the user terminal, the server determines a current health score of the user according to the facial image for judgment based on the stored learning information and provides a result of the judgment. health management system.
수신한 상기 학습용 신체 정보의 건강 점수를 기설정된 규칙에 따라 결정하는 건강 점수 결정부;
수신한 상기 학습용 안면 이미지로부터 특이점을 추출하는 특이점 추출부;
소정 시간차 내에 수집된 상기 학습용 신체 정보와 상기 학습용 안면 이미지 간의, 상기 특이점에 따른 건강 점수를 매칭한 특이점 점수를 생성하는 특이점 점수 생성부; 및
생성한 상기 특이점 점수를 저장하는 데이터베이스를 포함하는 것을 특징으로 하는 안면 이미지를 이용한 건강관리 시스템.
The method of claim 1, wherein the server
a health score determining unit for determining a health score of the received body information for learning according to a predetermined rule;
a singularity extraction unit extracting a singularity from the received face image for learning;
a singularity score generator configured to generate a singularity score obtained by matching health scores according to the singularity between the body information for learning and the face image for learning collected within a predetermined time difference; and
A health management system using a facial image, comprising a database for storing the generated singularity score.
학습 기간 중에 특정 특이점에 건강 점수가 다회 매칭되면, 다회 매칭된 건강 점수의 평균값을 상기 특정 특이점의 건강 점수로 결정하여 상기 특이점 점수를 생성하는 것을 특징으로 하는 안면 이미지를 이용한 건강관리 시스템.
The method of claim 2, wherein the singularity score generating unit
When health scores are matched to a specific singularity multiple times during the learning period, the average value of the multiple matched health scores is determined as the health score of the specific singularity to generate the singularity score. Health management system using facial images.
상기 사용자의 안면 이미지에 따른 건강 점수 학습이 완료된 후에 설정 주기마다 교정 기간을 가지며, 상기 교정 기간 동안 상기 신체 정보 수집 장치에 교정용 신체 정보 송신을 1회 이상 요청하고 상기 사용자 단말에 교정용 안면 이미지 송신을 1회 이상 요청하며,
수신한 상기 교정용 신체 정보와 교정용 안면 이미지에 기초하여 상기 데이터베이스에 저장된 상기 특이점 점수를 교정하는 교정부를 더 포함하는 것을 특징으로 하는 안면 이미지를 이용한 건강관리 방법 및 시스템.
The method of claim 3, wherein the server
After the health score learning according to the user's facial image is completed, a correction period is provided for each set cycle, and during the correction period, the body information collection device is requested to transmit body information for correction at least once, and the user terminal is requested to send the correction facial image. Send more than one request,
The health management method and system using facial images, characterized in that it further comprises a correction unit for correcting the singularity score stored in the database based on the received body information for correction and the face image for correction.
상기 건강 점수 결정부는 수신한 상기 교정용 신체 정보의 건강 점수를 기설정된 규칙에 따라 결정하고, 상기 특이점 추출부는 수신한 상기 교정용 안면 이미지로부터 특이점을 추출하며, 상기 특이점 점수 생성부는 소정 시간차 내에 수집된 상기 교정용 신체 정보와 상기 교정용 안면 이미지 간의, 상기 특이점에 따른 건강 점수를 매칭한 특이점 점수를 생성하고,
상기 교정부는 상기 교정 기간 중에 생성된 특이점 점수와 상기 데이터 베이스에 기저장된 특이점 점수를 함께 평균 내어, 상기 특이점별 건강 점수를 교정하되, 상기 교정 기간 중에 생성된 특이점 점수에 가중치를 부여하여 상기 특이점별 건강 점수를 교정하는 것을 특징으로 하는 안면 이미지를 이용한 건강관리 시스템.
According to claim 4,
The health score determiner determines the health score of the received body information for correction according to a predetermined rule, the singularity extractor extracts a singularity from the received facial image for correction, and the singularity score generator collects the singularity within a predetermined time interval. generating a singularity score by matching a health score according to the singularity between the corrected body information for correction and the facial image for correction;
The correction unit averages the singularity score generated during the calibration period and the singularity score previously stored in the database to calibrate the health score for each singularity, and assigns a weight to the singularity score generated during the calibration period. A health management system using a facial image, characterized in that for correcting a health score.
상기 사용자 단말로부터 상기 판단용 안면 이미지를 수신하면 사용자의 현재 건강 점수를 판단하는 건강 점수 판단부를 더 포함하고,
상기 특이점 추출부는 상기 판단용 안면 이미지로부터 특이점을 추출하며,
상기 건강 점수 판단부는 상기 데이터베이스에 저장된 상기 학습 정보에 기초하여, 상기 판단용 안면 이미지로부터 추출한 특이점에 따른 사용자의 현재 건강 점수를 판단하는 것을 특징으로 하는 안면 이미지를 이용한 건강관리 시스템.
The method of claim 2, wherein the server
Further comprising a health score determiner configured to determine a user's current health score when the facial image for determination is received from the user terminal;
The singularity extractor extracts a singularity from the face image for judgment,
The health management system using a facial image, characterized in that the health score determination unit determines the current health score of the user according to the singularity extracted from the facial image for judgment based on the learning information stored in the database.
상기 건강 점수 판단부는 상기 판단용 안면 이미지로부터 다수개의 특이점이 추출되면, 추출한 다수개의 특이점에 따라 판단된 다수개의 건강 점수 중 최저 점수를 사용자의 현재 건강 점수로 판단하는 것을 특징으로 하는 안면 이미지를 이용한 건강관리 시스템.
According to claim 4,
The health score determining unit, when a plurality of singular points are extracted from the facial image for judgment, determines the lowest score among the plurality of health scores determined according to the extracted plurality of singular points as the current health score of the user. health management system.
상기 신체 정보 수집 장치와 상기 사용자 단말은 서로 간에 블루투스 연결 가능하고,
상기 신체 정보 수집 장치와 상기 사용자 단말이 서로 간에 블루투스 연결되면, 상기 신체 정보 수집 장치와 상기 사용자 단말 중 하나의 기기를 조작하여 상기 신체 정보와 상기 안면 이미지의 수집을 동시에 수행 가능한 것을 특징으로 하는 안면 이미지를 이용한 건강관리 시스템.
According to claim 1,
The body information collection device and the user terminal can be connected to each other through Bluetooth,
When the body information collecting device and the user terminal are connected to each other through Bluetooth, the body information and the facial image can be collected simultaneously by manipulating one of the body information collecting device and the user terminal. A health management system using images.
상기 신체 정보 수집 장치는, 사용자로부터 상기 신체 정보를 수집하는 신체 정보 측정부와, 상기 신체 정보를 수집하도록 상기 신체 정보 측정부를 작동 제어하는 측정 제어부, 그리고 상기 사용자 단말과 블루투스 연결하는 제1 근거리 통신부를 포함하고,
상기 사용자 단말은, 사용자로부터 상기 안면 이미지를 수집하는 카메라와, 상기 사용자 단말의 사용자 조작에 따라 촬영 조작 신호가 생성되면 상기 안면 이미지를 수집하도록 상기 카메라를 작동 제어하는 촬영 제어부, 그리고 상기 제1 근거리 통신부와 블루투스 연결하는 제2 근거리 통신부를 포함하며,
상기 제2 근거리 통신부는 생성된 상기 촬영 조작 신호를 블루투스 연결된 상기 제1 근거리 통신부로 송신하고, 상기 제1 근거리 통신부에서 상기 촬영 조작 신호를 수신하면 상기 측정 제어부는 상기 신체 정보를 수집하도록 상기 신체 정보 측정부를 작동 제어하는 것을 특징으로 하는 안면 이미지를 이용한 건강관리 방법 및 시스템.
According to claim 6,
The body information collection device includes a body information measurement unit that collects the body information from a user, a measurement control unit that operates and controls the body information measurement unit to collect the body information, and a first short-range communication unit that makes a Bluetooth connection with the user terminal. including,
The user terminal includes a camera that collects the facial image from a user, a photographing control unit that operates and controls the camera to collect the facial image when a photographing manipulation signal is generated according to a user manipulation of the user terminal, and the first short distance. It includes a second short-range communication unit for Bluetooth connection with the communication unit,
The second short-range communication unit transmits the generated photographing manipulation signal to the first short-range communication unit connected to Bluetooth, and when the first short-range communication unit receives the photographing manipulation signal, the measurement control unit collects the body information. A health management method and system using a facial image, characterized in that the measurement unit is operated and controlled.
사용자가 착용 가능한 웨어러블 기기이며, 상기 신체 정보는 체온, 혈압, 심장 박동수, 혈중 산소포화도, 혈당 중 적어도 하나를 포함하는 것을 특징으로 하는 안면 이미지를 이용한 건강관리 방법 및 시스템.
The method of claim 1, wherein the body information collection device
A method and system for health management using a facial image, characterized in that it is a wearable device worn by a user, and the body information includes at least one of body temperature, blood pressure, heart rate, blood oxygen saturation, and blood sugar.
상기 서버가 상기 사용자 단말로부터 판단용 안면 이미지를 수신하면 저장된 상기 학습 정보에 기초하여 판단용 안면 이미지에 따른 현재 건강 점수를 판단하는 단계; 및
상기 서버가 판단한 현재 건강 점수 정보를 상기 사용자 단말로 송신하여 제공하는 단계를 포함하는 것을 특징으로 하는 안면 이미지를 이용한 건강관리 방법.
Based on the body information for learning received from the body information collecting device and the facial image for learning received from the user terminal, the server learns a health score according to the user's facial image to generate and store learning information;
determining, by the server, a current health score according to the facial image for judgment based on the stored learning information when the server receives the facial image for judgment from the user terminal; and
The method of health management using a facial image, characterized in that it comprises the step of transmitting and providing the current health score information determined by the server to the user terminal.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210163893A KR102644249B1 (en) | 2021-11-25 | 2021-11-25 | Health Management Method and System Using Facial Image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210163893A KR102644249B1 (en) | 2021-11-25 | 2021-11-25 | Health Management Method and System Using Facial Image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230077762A true KR20230077762A (en) | 2023-06-02 |
| KR102644249B1 KR102644249B1 (en) | 2024-03-08 |
Family
ID=86755949
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210163893A KR102644249B1 (en) | 2021-11-25 | 2021-11-25 | Health Management Method and System Using Facial Image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102644249B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040085447A (en) | 2003-03-31 | 2004-10-08 | 아이리텍 잉크 | System for giving health information and fortune telling by using iris, face and other personal information |
| KR20170048921A (en) | 2015-10-27 | 2017-05-10 | 에스케이플래닛 주식회사 | System and method for health care based on dietary pattern |
| JP2018042812A (en) * | 2016-09-15 | 2018-03-22 | 東芝情報システム株式会社 | Health management system and program thereof |
-
2021
- 2021-11-25 KR KR1020210163893A patent/KR102644249B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040085447A (en) | 2003-03-31 | 2004-10-08 | 아이리텍 잉크 | System for giving health information and fortune telling by using iris, face and other personal information |
| KR20170048921A (en) | 2015-10-27 | 2017-05-10 | 에스케이플래닛 주식회사 | System and method for health care based on dietary pattern |
| JP2018042812A (en) * | 2016-09-15 | 2018-03-22 | 東芝情報システム株式会社 | Health management system and program thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102644249B1 (en) | 2024-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102200526B1 (en) | Method and system for providing medical information based on the open APIs | |
| EP2713881B1 (en) | Method and system for assisting patients | |
| CN107390616B (en) | Medical body-building combined system for people and control method | |
| JP2018142259A (en) | Manufacturing management device, method, and program | |
| US11356554B2 (en) | Devices, system and methods for determining a priority level and/or conversation duration of a call | |
| WO2020235939A3 (en) | Method and system for monitoring related diseases by means of face recognition in mobile communication terminal | |
| KR20200059428A (en) | Exercise management system based on wearable device | |
| US20190302484A1 (en) | Smart glasses and wearing instruction method for smart glasses | |
| KR101789166B1 (en) | Method and Apparatus for jaundice diagnosis based on an image, Assisting Apparatus for jaundice diagnosis based on an image | |
| US20180357761A1 (en) | Skin condition detection method, eletronic apparatus, and skin condition detection system | |
| US10334346B2 (en) | Real-time multivariable biometric analysis and display system and method | |
| KR102443785B1 (en) | A surveillance system | |
| JP2017120366A (en) | Picture display device and picture display method | |
| WO2020133776A1 (en) | Health condition detection method and system based on television, and television | |
| KR20190036929A (en) | System for managing posture in real time | |
| KR20230077762A (en) | Health Management Method and System Using Facial Image | |
| EP3479802B1 (en) | Orthokeratology lens designating method, designating system, designating and supplying method, and designating and supplying system | |
| KR101093052B1 (en) | Medical information measuring device, medical information managing system and method of measuring medical information | |
| CN106961546A (en) | Information processor and method, camera device, display device, control method | |
| KR101498498B1 (en) | Method for Postural Correction Using Skeleton Tracking | |
| KR101738673B1 (en) | Smart care wrist device and healthcare system by smart care wrist device | |
| CN111708166A (en) | Degree adjusting method and device and head-mounted display equipment | |
| CN109411072B (en) | System for adjusting audio-visual equipment based on health and health care data | |
| EP3113135A1 (en) | Module and method for determining visual fatigue | |
| US20230389880A1 (en) | Non-obtrusive gait monitoring methods and systems for reducing risk of falling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |