KR102200526B1 - 개방형 api 기반 의료 정보 제공 방법 및 시스템 - Google Patents

개방형 api 기반 의료 정보 제공 방법 및 시스템 Download PDF

Info

Publication number
KR102200526B1
KR102200526B1 KR1020180133844A KR20180133844A KR102200526B1 KR 102200526 B1 KR102200526 B1 KR 102200526B1 KR 1020180133844 A KR1020180133844 A KR 1020180133844A KR 20180133844 A KR20180133844 A KR 20180133844A KR 102200526 B1 KR102200526 B1 KR 102200526B1
Authority
KR
South Korea
Prior art keywords
information
blood pressure
image
open api
medical
Prior art date
Application number
KR1020180133844A
Other languages
English (en)
Other versions
KR20190050723A (ko
Inventor
김종인
이광진
조동래
Original Assignee
주식회사 딥메디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥메디 filed Critical 주식회사 딥메디
Publication of KR20190050723A publication Critical patent/KR20190050723A/ko
Application granted granted Critical
Publication of KR102200526B1 publication Critical patent/KR102200526B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0036—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room including treatment, e.g., using an implantable medical device, ablating, ventilating
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A61B5/02108—Measuring pressure in heart or blood vessels from analysis of pulse wave characteristics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/332—Portable devices specially adapted therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6825—Hand
    • A61B5/6826—Finger
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

일 실시 예에 따른 개방형 API 기반 의료 정보 제공 시스템은 피검사자가 쉽게 자신의 생체신호를 측정하고, 정확한 분석 결과를 확인할 수 있을 뿐만 아니라, 헬스케어 서비스 및 전자기기 또는 휴대용 의료기기의 제조사들도 측정된 생체신호를 분석하여 의료 정보를 추정할 수 있는 별도의 알고리즘 및 시스템을 개발하지 않고도 개방형 API를 호출함으로써 손쉽게 가공된 의료 정보를 사용자에게 제공할 수 있다.

Description

개방형 API 기반 의료 정보 제공 방법 및 시스템{Method and system for providing medical information based on the open APIs}
실시 예들은 개방형 API기반의 의료 정보를 제공하는 방법 및 시스템에 관한 것이다.
생체신호에는 건강상태를 알 수 있는 다양한 정보가 포함되어 있다. 따라서, 피검사자의 생체신호를 측정하고, 측정된 생체신호로부터 피검사자의 현재 건강 상태를 알 수 있다. 이러한 목적으로 널리 측정되고 있는 생체신호 중 하나가 혈압이다.
이에, 피검사자가 쉽게 자신의 혈압을 측정할 수 있도록 하는 혈압계에 대한 다양한 연구가 진행되었다. 특히, 전자산업의 발달로 간접적인 방법으로 혈압을 측정할 수 있는 자동화된 혈압계가 발달되었다. 예를 들어, 요골동맥을 빠르고 높은 정확도로 찾을 수 있는 혈압측정장치 및 혈압측정방법이 개시되었다. [특허문헌 1]
그러나, 이러한 종래의 혈압계는 부피가 비교적 커서 휴대하기에 어려움이 있으며, 혈압을 측정할 때마다 거프를 착용해야 하므로 번거로운 단점이 있다.
최근 다양한 생체신호측정기기들, 예를 들면 PPG 센서, ECG 센서, 카메라 센서 등이 일반화되면서, 스마트 워치, 의료 기기, 홈 IOT 디바이스, 스마트 폰 등을 포함하는 전자기기에 탑재되어 휴대성을 높여 사용자가 본인의 건강정보를 편리하게 확인할 수 있게 되고 있다.
하지만, 이러한 기기들 자체에서 수집된 생체정보를 정확하게 분석하고, 분석 결과에 따른 의료 정보를 제공하는 것은 어려웠다.
[선행기술문헌 번호]
선행문헌 1: 한국 등록특허공보 제10-136680호
실시 예들은 본 발명을 전술한 문제점을 해결하고자 창출된 것으로, 개방형 API 기반 의료 정보 제공 방법 및 시스템을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은 피검사자가 쉽게 자신의 생체신호를 측정하고, 정확한 분석 결과를 확인할 수 있다.
또한, 헬스케어 서비스 및 전자기기 또는 휴대용 의료기기의 제조사들도 측정된 생체신호를 분석하여 의료 정보를 추정할 수 있는 별도의 알고리즘 및 시스템을 개발하지 않고도 개방형 API를 호출함으로써 손쉽게 가공된 의료 정보를 사용자에게 제공할 수 있다.
본 발명의 목적들은 상술된 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
일 실시 예에 따른 개방형 API 기반 의료 정보 제공 방법은 소정의 네트워크를 통해 접속되고 생체정보측정 장치를 포함하는 적어도 하나의 전자기기에서의 개방형 API 프로토콜의 호출에 따라 사용자 정보 및 생체정보측정신호를 상기 네트워크를 통해 수신하는 단계; 상기 수신된 사용자 정보를 기초로 사용자 인증을 수행하고, 상기 수신된 사용자 정보 및 상기 생체정보측정신호를 기초로 심박수 정보, 스트레스 지표 정보, 심혈관계 질병 위험성 지표 정보 및 혈압 정보 중 적어도 하나의 의료 정보를 추정하는 단계; 및 상기 추정된 의료 정보를 상기 네트워크를 통해 상기 전자기기에 전송하는 단계를 포함한다.
상기 생체정보측정 장치는, PPG 센서, ECG 센서 및 카메라 센서 중 하나이고, 상기 생체정보측정신호는, 상기 PPG 센서로부터 측정된 광 혈류 맥파 신호, 상기 ECG 센서로부터 측정된 심전도 신호, 또는 상기 카메라 센서를 통해 촬영된 손가락 또는 얼굴에 상응하는 영상 신호 중 하나인 것을 특징으로 한다.
상기 적어도 하나의 전자기기는, 스마트워치, 스마트폰, 의료기기 및 IOT 디바이스 중 하나인 것을 특징으로 한다.
상기 적어도 하나의 전자기기는, 상기 개방형 API 클라이언트 모듈이 설치되어, 상기 개방형 API 프로토콜의 호출하는 것을 특징으로 한단.
상기 의료 정보 추정 단계는, 상기 영상 신호의 RGB 형태의 영상에서 HSV 형태의 영상으로 변환하고, 상기 변환된 HSV 형태의 영상의 V 채널 값을 기설정된 값으로 변경하고, 상기 V 채널 값이 변경된 HSV 형태의 영상을 RGB 형태의 영상들로 변환하고, 상기 변환된 RGB 형태의 영상 및 미리 기계 학습된 혈압 추정 모델을 이용하여 상기 혈압 정보를 추정하는 것을 특징으로 한다.
상기 의료 정보 추정 단계는, 상기 영상 신호의 RGB 형태의 영상에서 옵티컬 플로우 영상으로 변환하고, 상기 변환된 옵티컬 플로우 영상으로부터 움직임 벡터를 추출하고, 추출된 움직임 벡터를 기초로 혈류 속도를 추출하고, 상기 추출된 혈류 속도에 관한 데이터 및 미리 기계 학습된 혈압 추정 모델을 이용하여 상기 혈압 정보를 추정하는 것을 특징으로 한다.
상기 사용자 정보는, 키, 성별, 나이 및 몸무게를 포함하는 것을 특징으로 한다.
다른 실시 예에 따른 개방형 API 기반 의료 정보 제공 시스템은 소정의 네트워크를 통해 접속되고 생체정보측정 장치를 포함하는 적어도 하나의 전자기기에서의 개방형 API 프로토콜의 호출에 따라 사용자 정보 및 생체정보측정신호를 상기 네트워크를 통해 수신하는 개방형 API 모듈; 상기 수신된 사용자 정보를 기초로 사용자 인증을 수행하는 인증 모듈; 및 상기 수신된 사용자 정보 및 상기 생체정보측정신호를 기초로 심박수 정보, 스트레스 지표 정보, 심혈관계 질병 위험성 지표 정보 및 혈압 정보 중 적어도 하나의 의료 정보를 추정하고, 상기 추정된 의료 정보를 상기 네트워크를 통해 상기 전자기기에 전송하는 데이터 처리 모듈을 포함한다.
상기 생체정보측정 장치는, PPG 센서, ECG 센서 및 카메라 센서 중 하나이고, 상기 생체정보측정신호는, 상기 PPG 센서로부터 측정된 광 혈류 맥파 신호, 상기 ECG 센서로부터 측정된 심전도 신호, 또는 상기 카메라 센서를 통해 촬영된 손가락 또는 얼굴에 상응하는 영상 신호 중 하나인 것을 특징으로 한다.
상기 적어도 하나의 전자기기는, 스마트워치, 스마트폰, 의료기기 및 IOT 디바이스 중 하나인 것을 특징으로 한다.
상기 적어도 하나의 전자기기는, 상기 개방형 API 클라이언트 모듈이 설치되어, 상기 개방형 API 프로토콜의 호출하는 것을 특징으로 한다.
상기 데이터 처리 모듈은, 상기 영상 신호의 RGB 형태의 영상에서 HSV 형태의 영상으로 변환하고, 상기 변환된 HSV 형태의 영상의 V 채널 값을 기설정된 값으로 변경하고, 상기 V 채널 값이 변경된 HSV 형태의 영상을 RGB 형태의 영상들로 변환하고, 상기 변환된 RGB 형태의 영상 및 미리 기계 학습된 혈압 추정 모델을 이용하여 상기 혈압 정보를 추정하는 것을 특징으로 한다.
상기 데이터 처리 모듈은, 상기 영상 신호의 RGB 형태의 영상에서 옵티컬 플로우 영상으로 변환하고, 상기 변환된 옵티컬 플로우 영상으로부터 움직임 벡터를 추출하고, 추출된 움직임 벡터를 기초로 혈류 속도를 추출하고, 상기 추출된 혈류 속도에 관한 데이터 및 미리 기계 학습된 혈압 추정 모델을 이용하여 상기 혈압 정보를 추정하는 것을 특징으로 한다.
상기 혈압 추정 모델은, 다수의 대상체들에 대한 영상들 및 혈압 정보들을 수집하고, 상기 수집된 영상들을 보정하고, 상기 보정된 영상들 및 상기 혈압 정보들에 기초한 기계학습(Machine Learning)된 것을 특징으로 한다.
또 다른 실시 예에 따른 상기 방법을 컴퓨터에서 실행시키기 위한 방법을 기록한 기록매체를 포함한다.
실시 예에 따른 개방형 API 기반 의료 정보 제공 방법 및 시스템은 피검사자가 쉽게 자신의 생체신호를 측정하고, 정확한 분석 결과를 확인할 수 있을 뿐만 아니라, 헬스케어 서비스 및 전자기기 또는 휴대용 의료기기의 제조사들도 측정된 생체신호를 분석하여 의료 정보를 추정할 수 있는 별도의 알고리즘 및 시스템을 개발하지 않고도 개방형 API를 호출함으로써 손쉽게 가공된 의료 정보를 사용자에게 제공할 수 있다.
도 1은 일 실시 예에 따른 혈압 추정 모델 생성 시스템의 구성도이다.
도 2a 및 도 2b는 본 발명의 일 실시 예에 따른 혈압 추정 모델의 개념도이다.
도 3은 본 발명의 다른 실시 예에 따른 혈압 추정 모델 생성 방법의 흐름도이다.
도 4는 본 발명의 또 다른 실시 예에 따른 혈압 추정 시스템의 구성 도이다.
도 5는 본 발명의 또 다른 실시 예에 따른 혈압 추정 방법의 흐름도이다.
도 6은 혈압 추정 모델로서 영상의 매 프레임을 옵티컬 플로우 영상으로 변환하는 것을 설명하기 위한 예시 도이다.
도 7a 및 7b는 옵티컬 플로우 영상으로부터 움직임 벡터를 추출하는 것을 설명하기 위한 예시 도이다.
도 8a 및 8b는 옵티컬 플로우 영상으로부터 혈류 속도를 추정하는 것을 설명하기 위한 예시 도이다.
도 9는 옵티컬 플로우 영상을 이용하여 추정된 혈류 속도를 기초로 혈압을 추정하는 것을 설명하기 위한 예시 도면이다.
도 10은 본 발명의 또 다른 실시 예에 따른 혈압 추정 모델을 학습시키는 개략 도이다.
도 11은 본 발명의 또 다른 실시 예에 따른 혈압 추정 모델을 이용하여 혈압을 추정하는 개략 도이다.
도 12는 본 발명의 또 다른 실시 예에 따른 개방형 API 기반 의료 정보 제공 시스템의 개략 도이다.
도 13 내지 18은 실시 예들에 따른 다양한 생체정보측정신호 및 사용자 정보를 기초로 시스템에서 출력되는 다양한 의료 정보의 예시 도들이다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 또한, 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에서 사용되는 용어는, 본 개시에서 언급되는 기능을 고려하여 현재 사용되는 일반적인 용어로 기재되었으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 다양한 다른 용어를 의미할 수 있다. 따라서 본 개시에서 사용되는 용어는 용어의 명칭만으로 해석되어서는 안되며, 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 해석되어야 한다.
또한, 본 개시에서 사용된 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것이며, 본 개시를 한정하려는 의도로 사용되는 것이 아니다. 단수의 표현은 문맥상 명백하게 단수를 뜻하지 않는 한, 복수의 의미를 포함한다. 또한, 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본 명세서, 특히, 특허 청구 범위에서 사용된 상기 및 이와 유사한 지시어는 단수 및 복수 모두를 지시하는 것일 수 있다. 또한, 본 개시에 따른 방법을 설명하는 단계들의 순서를 명백하게 지정하는 기재가 없다면, 기재된 단계들은 적당한 순서로 행해질 수 있다. 기재된 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시예에서" 또는 "일 실시예에서" 등의 어구는 반드시 모두 동일한 실시예를 가리키는 것은 아니다.
본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단 및 구성 등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
이하 첨부된 도면을 참고하여 본 실시 예들을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 혈압 추정 모델 생성 시스템의 구성도이고, 도 2a 및 도 2b는 본 발명의 일 실시 예에 따른 혈압 추정 모델의 개념 도이다
도 1을 참조하면, 본 실시 예에 따른 혈압 추정 모델 생성 시스템(1)은, 수집부(110) 및 제어부(120)를 포함한다.
수집부(110)는, 다수의 대상체들에 대한 영상들 및 혈압 정보들을 수집한다. 다수의 대상체들에 대한 영상은, 다수인의 신체의 일부를 촬영한 영상들이다. 신체의 일부는, 예를 들어, 인간의 손가락 일부 또는 얼굴 등일 수 있다.
수집부(110)가 영상들 및 혈압 정보들을 수집하는 방법은 특별히 한정되지 않는다. 예를 들어, 수집부(110)는 외부로부터 영상들 및 혈압 정보들을 수신하여 수집할 수 있다. 즉, 영상들 및 혈압 정보들은 외부로부터 수집부(110)에 입력될 수 있다. 또는, 수집부(110)는 다수의 대상체들을 촬영하여 영상들을 수집할 수 있으며, 대상체들의 혈압 정보들을 측정하여 수집할 수도 있다.
제어부(120)는, 수집부(110)에서 수집된 영상들을 보정한다. 제어부(120)는 수집된 영상들을 RGB 형태에서 HSV 형태로 변환하고, V값을 1로 변경한 HSV 형태의 영상들을 다시 RGB형태로 역변환한다. 그리고, RGB 형태의 영상들에서 G채널 영상들만을 추출할 수 있다. 그리고, 추출된 G채널 영상들만을 다음 기계학습을 통해 학습시켜 혈압 추정 모델을 생성한다.
또한, 제어부(120)는, 수집된 영상들을 RGB 형태에서 옵티컬 플로우 영상들을 변환하고, 매 프레임의 옵티컬 플로우 영상들로부터 각각의 움직임 벡터를 추출하고, 움직임 벡터들로부터 혈류 속도를 추정하고, 추정된 혈류 속도에 관한 데이터들을 추출할 수 있다. 그리고, 추출된 혈류 속도에 관한 데이터를 다음 기계학습을 통해 학습시켜 혈압 추정 모델을 생성한다. 옵터컬 플로우 영상들을 통해 혈압 추정 모델을 생성하는 것은 도 6 내지 11을 참조하여 후술한다.
그리고, 제어부(120)는, 보정된 영상들과 수집부(110)에서 수집된 혈압 정보들에 기초한 기계 학습(Machine Learning)을 통하여, 혈압 추정 모델을 생성한다. 여기서, 기계 학습은 여러 데이터를 이용하여 학습한 내용을 기반으로 새로운 데이터에 대한 적절한 작업을 수행할 수 있도록 하는 알고리즘 또는 기술을 의미하며, 뉴럴 네트워크와 동일한 의미일 수 있다.
기계학습 또는 뉴럴 네트워크는, 인공지능(Artificial Intelligence)에 기초하여 뉴럴 네트워크에 입력된 소정의 이미지로부터 객체를 인식하는 방법을 학습하는 알고리즘의 집합일 수 있다. 예를 들어, 뉴럴 네트워크는, 소정의 이미지를 입력 값으로 하는 지도 학습(supervised learning), 별다른 지도 없이 이미지로부터 객체를 인식하기 위해 필요한 데이터의 종류를 스스로 학습함으로써, 이미지로부터 객체를 인식하기 위한 패턴을 발견하는 비지도 학습(unsupervised learning)에 기초하여, 이미지로부터 객체를 인식하는 방법을 학습할 수 있다. 또한, 예를 들어, 뉴럴 네트워크는, 학습에 따라 객체를 인식한 결과가 올바른지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 이용하여, 이미지로부터 객체를 인식하는 방법을 학습할 수 있다.
또한, 뉴럴 네트워크는 인공 지능(AI) 기술에 따른 추론 및 예측을 위한 연산을 수행한다. 구체적으로, 뉴럴 네트워크는 복수의 계층들을 통한 연산을 수행하는 딥 뉴럴 네트워크(DNN: Deep Neural Network)가 될 수 있다. 뉴럴 네트워크는 연산을 수행하는 내부의 계층(layer)의 개수에 따라서 계층의 개수가 복수일 경우, 즉 연산을 수행하는 뉴럴 네트워크의 심도(depth)가 증가하는 경우, 딥 뉴럴 네트워크(DNN)로 분류될 수 있다. 또한, 딥 뉴럴 네트워크(DNN) 연산은 컨볼루션 뉴럴 네트워크(CNN: Convolution Neural Network) 연산 등을 포함할 수 있다. 즉, 제어부(220)는 예시된 뉴럴 네트워크를 통하여 객체를 인식하기 위한 데이터 인식 모델을 구현하고, 구현된 데이터 인식 모델을 학습 데이터를 이용하여 학습시킬 수 있다. 그리고, 학습된 데이터 인식 모델을 이용하여 입력되는 데이터인 이미지를 분석 또는 분류하여, 이미지 내에 포함되는 객체가 무엇인지를 분석 및 분류할 수 있다.
도 2a를 참조하면, 혈압 추정 모델은 다수의 대상체들로부터 획득된 각 영상과, 그 영상이 획득된 대상체의 혈압 정보 간의 대응 관계로부터 생성된 모델로써, 피검사자 신체의 일부의 영상에 기초하여, 피검사자의 혈압을 추정하는데 사용되는 모델이다. 즉, 혈압 추정 모델은, 입력된 피검사자 신체의 일부의 영상으로부터, 피검사의 수축기 및 이완기 혈압을 추정할 수 있다.
다수의 대상체들은, 다수인의 신체의 일부이다. 다수인의 신체의 일부와 피검사자의 신체의 일부는 같은 신체 부위여야 하지만, 피검사자가 다수인에 포함되어 있을 필요는 없다. 신체의 일부는 예를 들어, 손가락의 끝 부분 등 일 수 있다.
제어부(120)는, 보정된 영상들과 혈압정보들을 학습 데이터로 삼아, 기계 학습을 통하여 혈압 추정 모델을 생성한다.
구체적으로, 도 2b를 참조하면, 제어부(120)는, 보정된 영상들을 입력(input)으로 하고, 혈압 정보들을 타겟(target)으로 하는 기계 학습을 통해 혈압 추정 모델을 생성한다. 즉, 제어부(120)는, 보정된 영상들 각각을 입력(input)으로 하고, 그 보정된 영상이 획득된 대상체의 혈압 정보를 타겟으로 하는 기계 학습을 통해, 각 영상과 혈압 정보 간의 대응 관계를 학습하고, 학습 결과로부터 혈압 추정 모델을 생성한다.
기계 학습에 이용되는 기계 학습 알고리즘은 특정되지 않으며, 전술한 각 영상과 혈압 정보 간의 대응 관계를 학습하고, 그 학습 결과로부터 혈압 추정 모델을 생성할 수 있는 모든 기계 학습 알고리즘을 포함한다.
제어부(120)는, 생성된 혈압 추정 모델을 그 내부에 저장할 수 있다.
한편, 본 실시예에 따른 혈압 추정 모델 생성 시스템(1)은 생성된 혈압 추정 모델을 저장하는 서버(미도시)를 더 포함할 수도 있다. 제어부(120)는, 생성된 혈압 추정 모델을 외부의 서버에 저장할 수도 있다. 본 실시 예에 따른 혈압 추정 모델 생성 시스템(1)은, 생성된 혈압 추정 모델을 외부의 서버로 전송할 수 있는 통신부(미도시)를 더 포함할 수 있다.
도 3은 본 발명의 다른 실시 예에 따른 혈압 추정 모델 생성 방법의 흐름도이다.
도 3을 참조하면, 본 실시예에 따른 혈압 추정 모델 생성 방법은, 다수의 대상체들에 대한 영상들 및 혈압 정보들을 수집하는 단계(S210), 수집된 영상들을 RGB 형태에서 HSV 형태로 변환하는 단계(S220), 변환된 HSV 형태의 영상들의 V 채널값들 각각을 기설정된 값으로 변경하는 단계(S230), V 채널값이 변경된 HSV 형태의 영상들을 RGB 형태의 영상들로 변환하는 단계(S240), 변환된 RGB 형태의 영상들에서 그린 채널 영상들을 추출하는 단계(S250) 및 추출된 그린 채널 영상들을 입력으로 하고, 수집된 혈압 정보들을 타겟으로 하는 기계 학습을 통하여 혈압 추정 모델을 생성하는 단계(S260)를 포함한다.
본 실시예에 따른 혈압 추정 모델 생성 방법을 수행하는 주체는 본 발명의 일 실시예에 따른 혈압 추정 모델 생성 시스템(1)이다.
S210 단계는, 다수의 대상체들에 대한 영상들 및 혈압 정보들을 수집하는 단계이다. 수집부(110)는, 다수의 대상체들에 대한 영상들 및 혈압 정보들을 수집한다.
수집부(110)가 영상들 및 혈압 정보들을 수집하는 방법은 특별히 한정되지 않는다. 예를 들어, 수집부(110)는 외부로부터 영상들 및 혈압 정보들을 수신하여 수집할 수 있다. 또는, 수집부(110)는 다수의 대상체들을 촬영하여 영상들을 수집할 수 있으며, 대상체들의 혈압 정보들을 측정하여 수집할 수도 있다.
S220 단계는, 수집된 영상들을 RGB 형태에서 HSV 형태로 변환하는 단계이고, S230 단계는, 변환된 HSV 형태의 영상들의 V 채널값들 각각을 기설정된 값으로 변경하는 단계이고, S240 단계는, V 채널값이 변경된 HSV 형태의 영상들을 RGB 형태의 영상들로 변환하는 단계이다.
S220 단계 내지 S240 단계는, 수집부(110)에서 수집된 영상들을 보정하기 위한 과정으로써, 제어부(120)에 의하여 수행된다.
제어부(120)는, 수집된 영상들을 RGB 형태의 영상들에서 HSV 형태의 영상들로 변환한다. 제어부(120)는, 변환된 HSV 형태의 영상들의 V 채널값들 각각을 기설정된 값으로 변경한다.
V 채널값은 각 영상의 명도를 나타내는 값이다. 수집부(110)에서 수집된 영상들은 서로 다른 명도를 가지고 있기 때문에, 변환된 HSV 형태의 영상들은 서로 다른 V 채널값들을 가지고 있다. 제어부(120)는, 이러한 서로 다른 V 채널값들을 모두 같은 값으로 바꾼다. 즉, 제어부(120)는, 변환된 HSV 형태의 영상들의 V채널값을 모두 일치시킨다. 예를 들어, 제어부(120)는, 변환된 HSV 형태의 영상들의 V 채널값을 모두 1로 변경한다.
제어부(120)는, 변환된 HSV 형태의 영상들의 명도를 모두 같도록 하고, 이로부터 혈압 추정 모델을 생성함으로써, 혈압 추정 모델의 정확성을 향상시킨다. 제어부(120)는, V 채널값이 변경된 HSV 형태의 영상들을 RGB 형태의 영상들로 변환한다.
S220 단계 내지 S240 단계는, 각 영상의 프레임 별로 수행된다. 즉, 제어부(120)는, 수집된 각 영상의 프레임별로, RGB 형태의 영상에서 HSV 형태의 영상으로 변환하고, 변환된 HSV 형태의 영상의 V 채널값을 기설정된 값으로 변경하고, V 채널값이 변경된 HSV 형태의 영상을 RGB 형태의 영상으로 변환한다.
S250 단계는, 변환된 RGB 형태의 영상들에서 그린 채널 영상들을 추출하는 단계이다.
RGB 형태의 영상은 레드 채널 영상, 그린 채널 영상 및 블루 채널 영상을 포함한다. 인체는, 빛의 파장에 따라 빛을 흡수하는 정도가 다르며, 이 때문에, 레드 채널 영상, 그린 채널 영상 및 블루 채널 영상 중 어느 영상으로부터 혈압 추정 모델을 생성하였는지에 따라, 혈압 추정 모델의 정확도가 변화한다. 즉, 그린 채널 영상으로부터 생성된 혈압 추정 모델이 그 정확성이 가장 높기 때문에, 제어부(120)는, 변환된 RGB 형태의 영상들에서 그린 채널 영상들을 추출하고, 추출된 그린 채널 영상들로부터 혈압 추정 모델을 생성한다.
S260 단계는, 추출된 그린 채널 영상들을 입력으로 하고, 수집된 혈압 정보들을 타겟으로 하는 기계 학습을 통하여 혈압 추정 모델을 생성하는 단계이다.
제어부(120)는, 추출된 그린 채널 영상들 각각을 입력(input)으로 하고, 그 그린 채널 영상이 획득된 영상이 획득된 대상체의 혈압 정보를 타겟으로 하여 기계 학습을 통해 혈압 추정 모델을 생성한다. 한편, 제어부(120)는, 생성된 혈압 추정 모델을 그 내부에 저장할 수 있다. 또는, 제어부(120)는, 생성된 혈압 추정 모델을 외부의 서버에 저장할 수도 있다.
도 4는 본 발명의 또 다른 실시 예에 따른 혈압 추정 시스템의 구성도이다.
도 4를 참조하면, 본 실시예에 따른 혈압 추정 시스템(3)은, 촬영부(310) 및 제어부(320)를 포함한다.
촬영부(310)는, 피검사자의 신체의 일부를 영상으로 촬영한다. 피검사자의 신체의 일부는 본 발명의 일 실시예에 따른 수집부(110)에서 수집된 영상에 촬영된 다수인의 신체의 일부와 같은 신체의 일부이다. 예를 들어, 신체의 일부는 피검사자의 손가락의 끝부분 등 일 수 있다. 한편, 다수인에 피검사자가 포함되어 있을 필요는 없다.
제어부(320)는, 촬영부(310)에서 촬영된 영상들을 보정한다. 또한, 제어부(320)는 보정된 영상과 혈압 추정 모델을 이용하여, 피검사자의 혈압을 추정한다. 혈압 추정 모델은, 본 발명의 다른 실시예에 따른 생성 방법에 따라 생성된 혈압 추정 모델이다. 혈압 추정 모델은, 제어부(320)에 저장되어 있을 수 있으며, 외부의 서버에 저장되어 있을 수도 있다. 본 실시예에 따른 혈압 추정 시스템(3)은, 외부의 서버에 저장된 혈압 추정 모델을 수신할 수 있는 통신부(미도
시)를 더 포함할 수 있다.
한편, 제어부(320)는, 보정된 영상으로부터 피검사자의 심박수를 추정할 수도 있다. 즉, 제어부(320)는, 별도의 추정 모델 없이, 보정된 영상만을 이용하여 피검사자의 심박수를 추정할 수도 있다.
한편, 본 실시예에 따른 혈압 추정 시스템(3)은 추정된 피검사자의 혈압 및 심박수를 피검사자가 인지할 수 있도록 출력하는 표시부(미도시)를 더 포함할 수 있다. 표시부는 추정된 피검사자의 혈압 및 심박수를 시각적, 청각적, 촉각적 방법 중 적어도 하나의 방법으로 출력한다.
도 5는 본 발명의 또 다른 실시예에 따른 혈압 추정 방법의 흐름도이다.
도 5를 참조하면, 본 실시예에 따른 혈압 추정 방법은, 피검사자의 신체의 일부를 영상으로 촬영하는 단계(S410), 촬영된 영상을 RGB 형태에서 HSV 형태로 변환하는 단계(S420), 변환된 HSV 형태의 영상의 V 채널값을 기설정된 값으로 변경하는 단계(S430), V 채널값이 변경된 HSV 형태의 영상을 RGB 형태의 영상으로 변환하는 단계(S440), 변환된 RGB 형태의 영상에서 그린 채널 영상을 추출하는 단계(S450) 및 추출된 그린 채널 영상과 혈압 추정 모델을 이용하여 피검사자의 혈압을 추정하는 단계(S460)를 포함한다.
본 실시예에 따른 혈압 추정 방법을 수행하는 주체는 본 발명의 또 다른 실시예에 따른 혈압 추정 시스템(3)이다.
S410 단계는, 피검사자의 신체의 일부를 영상으로 촬영하는 단계이다. 촬영부(310)는, 피검사자의 신체의 일부를 영상으로 촬영한다. S420 단계는, 촬영된 영상을 RGB 형태에서 HSV 형태로 변환하는 단계이고, S430 단계는, 변환된 HSV 형태의 영상의 V 채널값을 기설정된 값으로 변경하는 단계이고, S430 단계는, V 채널값이 변경된 HSV 형태의 영상을 RGB 형태의 영상으로 변환하는 단계이다.
S420 단계 내지 S440 단계는, 촬영부(310)에서 촬영된 영상을 보정하기 위한 과정으로써, 제어부(320)에 의하여 수행된다. 제어부(320)는, 촬영된 영상을 RGB 형태의 영상에서 HSV 형태의 영상으로 변환한다. 제어부(320)는, 변환된 HSV 형태의 영상의 V 채널값을 기설정된 값으로 변경한다.
전술한 바와 같이, V 채널값은 각 영상의 명도를 나타내는 값이다.
촬영부(310)에서 촬영된 영상은, 프레임 별로 다른 명도를 가지고 있기 때문에, 변환된 HSV 형태의 영상은, 프레임 별로 다른 V 채널값들을 가지고 있다. 제어부(320)는, 이러한 서로 다른 V 채널값들을 모두 같은 값으로 바꾼다. 즉, 제어부(320)는, 변환된 HSV 형태의 영상 내의 모든 프레임의 V 채널값을 일치시킨다. 예를 들어, 제어부(320)는, 변환된 HSV 형태의 영상 내의 모든 프레임의 V 채널값을 모두 1로 변경한다.
제어부(320)는, 변환된 HSV 형태의 영상 내의 모든 프레임들이 같은 명도를 같도록 하고, 이로부터 피검사자의 혈압을 추정함으로써, 혈압 추정의 정확성을 향상시킨다.
제어부(320)는, 각 프레임의 V 채널값이 변경된 HSV 형태의 영상을 RGB 형태의 영상으로 변환한다.
S450 단계는, 변환된 RGB 형태의 영상에서 그린 채널 영상을 추출하는 단계이다.
본 발명의 다른 실시예에 따른 생성 방법에 의하여 생성된 혈압 추정 모델은, 그린 채널 영상으로부터 생성된 혈압 추정 모델이다. 따라서, 이러한 혈압 추정 모델로부터 피검사자의 혈압을 추정하기 위해서는, 그린 채널 영상이 이용되어야 한다. 이에, 제어부(320)는, S440 단계에서 변환된 RGB 형태의 영상에서 그린 채널 영상을 추출한다.
S460 단계는, 추출된 그린 채널 영상과 혈압 추정 모델을 이용하여 피검사자의 혈압을 추정하는 단계이다.
제어부(320)는, 추출된 그린 채널 영상과 혈압 추정 모델을 이용하여 피검사자의 혈압을 추정한다.
전술한 바와 같이, 본 발명의 다른 실시예에 따른 생성 방법에 의하여 생성된 혈압 추정 모델은, 그린 채널 영상으로부터 생성된 혈압 추정 모델이며, 이러한 혈압 추정 모델은 레드 채널 영상이나 블루 채널 영상으로부터 생성된 혈압 추정 모델보다 정확성이 매우 높다. 즉, 본 단계에선, 그린 채널 영상으로부터 생성된 혈압 추정모델과, 피검사자의 신체의 일부를 촬영한 영상으로부터 추출된 그린 채널 영상을 이용하여 피검사자의 혈압을 추정하기 때문에, 매우 정확하게 피검사자의 혈압을 추정할 수 있다.
도 6은 도 2A 및 2B에 도시된 혈압 추정 모델로서 옵티컬 플로우 영상을 이용하는 경우, 영상의 매 프레임을 옵티컬 플로우 영상으로 변환하는 것을 설명하기 위한 예시 도이다.
도 6에 도시된 것처럼, 다수의 대상체들에 대해 신체의 일부, 예를 들면 얼굴 또는 손가락 끝 부분을 촬영한 영상들의 각각의 프레임(프레임 1 내지 프레임 N)을 옵티컬 플로우 영상들(옵티컬 플로우 1 내지 N)로 변환한다. 옵티컬 플로우는 관측자와 물체와의 상대운동에 의해 생기는 영상 위의 겉보기 속도분포이다. 일반적으로, 영상 위의 각 점에서의 겉보기 속도 벡터를 화소의 값으로 하는 영상에 의해, 옵티걸 플로우를 표현한다. 동영상 처리에서는, 옵티컬 플로우의 계산법으로서 다음의 방법을 이용할 수 있다. 영상 위의 점(x, y)에 있어서의 시각 t에서의 밝기를 I(x, y, t)로 하면, 그 시간적 공간적 변화의 사이에는 다음 수학식 1과 같이 근사화된다.
[수학식 1]
Figure 112018109015559-pat00001
여기서, 밝기의 공간적 변화(dl/dx, di/dy)와 시간적 변화 dl/dt는, 시간적으로 연속해서 찍은 복수 개의 동영상에서 계산되며, 상기 수학식 1은 점(x, y)에 있어서 물체의 겉보기 속도 벡터(dx/dt, dy/dt)에 대하는 제약을 준다. 이 미분방정식만으로는 옵티컬 플로우를 일의적으로 구할 수 없고, 다른 제약조건이 필요하며, 평행운동의 가정과 운동의 순조로움의 가정 등을 사용할 수 있다.
도 7a 및 7b는 옵티컬 플로우 영상으로부터 움직임 벡터를 추출하는 것을 설명하기 위한 예시 도이다. 도 8a 및 8b는 옵티컬 플로우 영상으로부터 혈류 속도를 추정하는 것을 설명하기 위한 예시 도이다.
도 7a에 도시된 것처럼, 옵티컬 플로우 영상의 일 영역, 예를 들면 중앙 부분에 대해, 도 7b에 도시된 것처럼 움직임 벡터 또는 혈류 속도 벡터의 분포를 계산할 수 있다. 이어, 도 8a에 도시된 것처럼, 매 프레임에 대한 각각의 옵티컬 플로우 영상들에 대해 혈류 속도 벡터의 분포를 도 8b에 도시된 것처럼, 시간에 따른 속도값의 분포로 표시할 수 있다.
도 9는 옵티컬 플로우 영상을 이용하여 추정된 혈류 속도를 기초로 혈압을 추정하는 것을 설명하기 위한 예시 도면이다. 도 10은 본 발명의 또 다른 실시 예에 따른 혈압 추정 모델을 학습시키는 개략 도이다. 도 11은 본 발명의 또 다른 실시 예에 따른 혈압 추정 모델을 이용하여 혈압을 추정하는 개략 도이다.
도 9에 도시된 것처럼, 옵티컬 플로우 영상들에 대해 혈류 속도의 분포를 계산하면 도 9에 도시된 바와 같이, 심장박동, 예를 들면 수축시 혈류 속도의 특징값(900)이 나타나고, 이완시 혈류 속도의 특징값(910)이 나타나고 이를 y1 및 y2로 표시할 수 있다. 이러한 분포는 도 9에 도시된 것처럼, 반복적인 패턴(y1 및 y2)을 나타낸다.
도 6 내지 9를 참조하여 설명한 옵티컬 플로우 영상을 통해 혈류 속도를 추정이 가능하며, 이러한 혈류 속도에 관한 데이터, 예를 들면 y1, y2, y1/y2와, 대상체 각각의 키와 몸무게를 포함하는 사용자 정보를, 기준 혈압 값과 매칭시켜, 도 10에 도시된 바와 같이, 혈압 추정 모델(1000)을 기계 학습한다.
이와 같은 방법으로, 도 1에 도시된 제어부(120)는 수집부(110)에 수집된 영상들 및 혈압정보를 바탕으로, 혈압 추정 모델(1000)을 기계학습 시킨다. 제어부(120)는 보정된 영상들로부터 옵티컬 플로우 영상들을 추출하고, 추출된 옵티컬 플로우 영상들과 혈압 정보들 간의 대응 관계를 기계 학습을 통하여 학습하고, 기계 학습 결과로부터 혈압 추정 모델(1000)을 생성한다.
구체적으로, 제어부(120)는 수집된 영상들을 RGB 형태의 영상들에서 옵티컬 플로우 영상들로 변환하고, 변환된 옵티컬 플로우 영상들로부터 각각의 움직임 벡터들을 추출하고, 각각의 추출된 움직임 벡터들을 기초로 혈류 속도를 추출하고, 추출된 혈류 속도에 관한 데이터, 사용자 정보 및 혈압 정보들에 기초한 기계 학습을 통하여 혈압 추정 모델(1000)을 생성한다.
도 11을 참조하면, 도 4에 도시된 혈압 추정 시스템은 피검사자의 옵티컬 플로우 영상으로부터 도 10에 도시된 기계 학습된 혈압추정모델(1000)을 이용하여 입력된 옵티컬 플로우 영상으로부터 혈압을 추정한다.
도 4에 도시된 제어부(320)는 촬영된 영상을 RGB 형태의 영상에서 옵티컬 플로우 영상으로 변환하고, 변환된 옵티컬 플로우 영상으로부터 움직임 벡터를 추출하고, 추출된 움직임 벡터를 기초로 혈류 속도를 추출하고, 상기 추출된 혈류 속도에 관한 데이터 및 사용자 정보와, 상기 혈압 추정 모델을 이용하여 피검사자의 혈압을 추정한다.
도 12는 본 발명의 또 다른 실시 예에 따른 개방형 API 기반 의료 정보 제공 시스템의 개략 도이다.
도 12를 참조하면, 다양한 전자기기들(100 내지 300)은 네트워크를 통해 의료 정보 제공 시스템(400)과 접속된다. 여기서, 다양한 전자기기들(100 내지 300)은 스마트워치, 의료기기, 스마트폰, 홈 IOT 기기 등일 수 있으나, 이에 한정되지 않는다. 또한, 다양한 전자기기들(100 내지 300)은 기기 내에 생체신호를 측정할 수 있는 다양한 센서들을 탑재하고 있다. 예를 들면, PPG 센서, ECG 센서, 카메라 센서, 맥파센서 등일 수 있다.
도 12에 도시된 다양한 전자기기들(100 내지 300)은 웨어러블 기기일 수 있으나, 이에 한정되지 않는다. 이러한 전자기기들(100 내지 300)로는 심박수 (Heart Rate), 심전도 (Electrocardiogram, ECG), 심박변이도 (Heart Rate Variability, HRV), 체온, 수면, 산소포화도(SpO2), 혈당 등의 다양한 생체정보를 측정할 수 있다. 여기서, 생체정보는 도 1 내지 11을 참조하여 설명한 것처럼, 카메라로 촬영한 손가락 또는 얼굴의 일부에 관한 영상 정보를 포함한다.
전자기기들(100 내지 300)은 네트워크를 통해 개방형 API 기반 의료 정보 시스템과 접속 가능하며, 개방형 API 클라이언트 모듈을 탑재함으로써, 의료 정보 요청을 위해 개방형 API를 호출할 수 있다. 따라서, 사용자의 개인정보, 예를 들면 키, 성별, 나이, 몸무게 등과 생체신호측정장치에서 측정한 광혈류 맥파신호(PPG), 심전도 신호(ECG) 또는 맥파 신호 추정이 가능한 영상 신호를 개방향 API 프로토콜에 따라서 전송할 수 있다.
개방형 API 기반 의료 정보 시스템(400)은 네트워크를 통해 접속되고 생체정보측정 장치를 포함하는 전자기기들(100 내지 300)로부터 개방형 API 프로토콜의 호출에 따라 사용자 정보 및 생체정보측정신호를 네트워크를 통해 수신하고, 사용자 인증을 수행하고, 사용자 정보와 생체정보측정신호를 기초로 심박수 정보, 스트레스 지표 정보, 심혈관계 질병 위험성 지표 정보, 혈압 정보 등을 추정하고, 추정된 의료 정보를 네트워크를 통해 전자기기들(100 내지 300)에 전송한다.
시스템(400)은 개방형 API 서버(410), 인증 서버(420) 및 데이터 처리 서버(430)를 포함할 수 있다.
개방형 API 서버(410)는 다양한 전자기기들(100 내지 300)에 탑재된 개방향 API 클라이언트들과 통신한다.
개방형 API 서버(410)는 전자기기들(100 내지 300)의 클라이언트로부터 개방형 API 프로토콜의 호출에 따라 사용자 정보 및 생체정보측정신호를 수신한다.
인증 서버(420)는 전자기기들(100 내지 300)로부터 수신된 사용자 정보를 기초로 사용자 인증을 수행한다.
데이터 처리 서버(430)는 사용자 정보와 생체정보측정신호를 기초로 심박수 정보, 스트레스 지표 정보, 심혈관계 질병 위험성 지표 정보, 혈압 정보 등을 추정하고, 추정된 의료 정보를 네트워크를 통해 전자기기들(100 내지 300)에 전송한다.
데이터 처리 서버(430)는 도 1 내지 11을 참조하여 설명한 혈압 추정 모델 생성 시스템과 혈압 추정 시스템을 구현할 수도 있다. 예를 들면, 생체측정신호가 카메라 센서로 촬영된 영상 신호인 경우는, 영상 신호의 RGB 형태의 영상에서 HSV 형태의 영상으로 변환하고, 변환된 HSV 형태의 영상의 V 채널 값을 기설정된 값으로 변경하고, V 채널 값이 변경된 HSV 형태의 영상을 RGB 형태의 영상들로 변환하고, 변환된 RGB 형태의 영상 및 미리 기계 학습된 혈압 추정 모델을 이용하여 혈압 정보를 추정할 수 있다.
또한, 선택적으로, RGB 형태의 영상에서 옵티컬 플로우 영상으로 변환하고, 변환된 옵티컬 플로우 영상으로부터 움직임 벡터를 추출하고, 추출된 움직임 벡터를 기초로 혈류 속도를 추출하고, 추출된 혈류 속도에 관한 데이터 및 미리 기계 학습된 혈압 추정 모델을 이용하여 혈압 정보를 추정할 수도 있다.
데이터 처리 서버(430)는 전술한 혈압 추정 모델을 저장하고 있으며, 이러한 혈압 추정 모델을 생성하는 방법 및 학습시키는 방법은 도 1 내지 11을 참조하여 설명한 바와 같다.
실시 예에 따른 개방형 API 기반 의료 정보 제공 시스템은 사용자 인적 정보 등록 API, 영상으로부터 광 혈류 맥파 신호를 추출하는 API, 광 혈류 맥파로부터 심박 추출 API, 광 혈류 맥파로부터 스트레스 지표 추출 API, 광 혈류 맥파로부터 심혈관계 질병 위험성 지표 추출 API, 광 혈류 맥파로부터 혈압 추정 API, 추출, 추정된 건강지표 날짜별로 제공하는 API 등을 제공할 수 있다.
도 13 내지 18은 실시 예들에 따른 다양한 생체정보측정신호 및 사용자 정보를 기초로 시스템에서 출력되는 다양한 의료 정보의 예시 도들이다.
도 13은 영상 신호 및 사용자 정보 입력을 바탕으로, 시스템에서 전송하는 정보로서, 혈압 및 기타 건강 정보를 계산하는 API의 예시 도이다.
도 14는 광 혈류 신호 및 사용자 정보 입력을 바탕으로, 시스템에서 전송하는 정보로서, 혈압 및 기타 건강 정보를 계산하는 API의 예시 도이다.
도 15는 사용자 아이디 입력을 통해 건강정보 히스토리 호출하는 API의 예시 도이다.
도 16은 혈압 및 나이 입력을 통해 대사증후군 위험도를 계산하는 API의 예시도이다.
도 17은 혈압 및 나이 입력을 통해 심혈관계 질병 위험도를 계산하는 API의 예시도이다.
도 18은 광 혈류 신호 및 샘플링 주파수 입력을 통해 스트레스 저항도를 계산하는 API의 예시도이다.
일부 실시 예에 따른 개방형 API 기반 의료 정보 제공 방법 및 시스템은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
또한, 본 명세서에서, 부는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
또한, 전술한 본 개시의 실시 예에 따른 혈압 추정 모델 생성 시스템 및 방법과 혈압 추정 시스템 및 방법은 프로그램이 저장된 기록매체를 포함하는 컴퓨터 프로그램 제품으로 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 소정의 네트워크를 통해 접속되고 생체정보측정 장치를 포함하는 적어도 하나의 전자기기에서의 프로세서에서, 개방형 API 프로토콜의 호출에 따라 사용자 정보 및 생체정보측정신호를 상기 네트워크를 통해 수신하는 단계;
    상기 프로세서에서, 상기 수신된 사용자 정보를 기초로 사용자 인증을 수행하고, 상기 수신된 사용자 정보 및 상기 생체정보측정신호를 기초로 심박수 정보, 스트레스 지표 정보, 심혈관계 질병 위험성 지표 정보 및 혈압 정보 중 적어도 하나의 의료 정보를 추정하는 단계; 및
    상기 프로세서에서, 상기 추정된 의료 정보를 상기 네트워크를 통해 상기 전자기기에 전송하는 단계를 포함하고,
    상기 생체정보측정 장치는, PPG 센서, ECG 센서 및 카메라 센서 중 하나이고,
    상기 생체정보측정신호는,상기 PPG 센서로부터 측정된 광 혈류 맥파 신호, 상기 ECG 센서로부터 측정된 심전도 신호, 또는 상기 카메라 센서를 통해 촬영된 손가락 또는 얼굴에 상응하는 영상 신호 중 하나이고,
    상기 의료 정보 추정 단계는,
    상기 영상 신호의 RGB 형태의 영상에서 HSV 형태의 영상으로 변환하고, 상기 변환된 HSV 형태의 영상의 V 채널 값을 기설정된 값으로 변경하고, 상기 V 채널 값이 변경된 HSV 형태의 영상을 RGB 형태의 영상들로 변환하고, 상기 변환된 RGB 형태의 영상 및 미리 기계 학습된 혈압 추정 모델을 이용하여 상기 혈압 정보를 추정하는 것을 특징으로 하는 개방형 API 기반 의료 정보 제공 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 적어도 하나의 전자기기는,
    스마트워치, 스마트폰, 의료기기 및 IOT 디바이스 중 하나인 것을 특징으로 하는 개방형 API 기반 의료 정보 제공 방법.
  4. 제 3 항에 있어서,
    상기 적어도 하나의 전자기기는,
    개방형 API 클라이언트 모듈이 설치되어, 상기 개방형 API 프로토콜을 호출하는 것을 특징으로 하는 개방형 API 기반 의료 정보 제공 방법.
  5. 삭제
  6. 소정의 네트워크를 통해 접속되고 생체정보측정 장치를 포함하는 적어도 하나의 전자기기에서의 프로세서에서, 개방형 API 프로토콜의 호출에 따라 사용자 정보 및 생체정보측정신호를 상기 네트워크를 통해 수신하는 단계;
    상기 프로세서에서, 상기 수신된 사용자 정보를 기초로 사용자 인증을 수행하고, 상기 수신된 사용자 정보 및 상기 생체정보측정신호를 기초로 심박수 정보, 스트레스 지표 정보, 심혈관계 질병 위험성 지표 정보 및 혈압 정보 중 적어도 하나의 의료 정보를 추정하는 단계; 및
    상기 프로세서에서, 상기 추정된 의료 정보를 상기 네트워크를 통해 상기 전자기기에 전송하는 단계를 포함하고,
    상기 생체정보측정 장치는, PPG 센서, ECG 센서 및 카메라 센서 중 하나이고,
    상기 생체정보측정신호는, 상기 PPG 센서로부터 측정된 광 혈류 맥파 신호, 상기 ECG 센서로부터 측정된 심전도 신호, 또는 상기 카메라 센서를 통해 촬영된 손가락 또는 얼굴에 상응하는 영상 신호 중 하나이고,
    상기 의료 정보 추정 단계는,
    상기 영상 신호의 RGB 형태의 영상에서 옵티컬 플로우 영상으로 변환하고, 상기 변환된 옵티컬 플로우 영상으로부터 움직임 벡터를 추출하고, 추출된 움직임 벡터를 기초로 혈류 속도를 추출하고, 상기 추출된 혈류 속도에 관한 데이터 및 미리 기계 학습된 혈압 추정 모델을 이용하여 상기 혈압 정보를 추정하는 것을 특징으로 하는 개방형 API 기반 의료 정보 제공 방법.
  7. 제 1 항에 있어서,
    상기 사용자 정보는,
    키, 성별, 나이 및 몸무게를 포함하는 것을 특징으로 하는 개방형 API 기반 의료 정보 제공 방법.
  8. 제 1 항, 제 3 항 내지 제 4 항, 제 6 항 내지 제 7 항 중 어느 한 항에 따른 의료 정보 제공 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 기록매체.
  9. 소정의 네트워크를 통해 접속되고 생체정보측정 장치를 포함하는 적어도 하나의 전자기기에서의 개방형 API 프로토콜의 호출에 따라 사용자 정보 및 생체정보측정신호를 상기 네트워크를 통해 수신하는 개방형 API 모듈;
    상기 수신된 사용자 정보를 기초로 사용자 인증을 수행하는 인증 모듈; 및
    상기 수신된 사용자 정보 및 상기 생체정보측정신호를 기초로 심박수 정보, 스트레스 지표 정보, 심혈관계 질병 위험성 지표 정보 및 혈압 정보 중 적어도 하나의 의료 정보를 추정하고, 상기 추정된 의료 정보를 상기 네트워크를 통해 상기 전자기기에 전송하는 데이터 처리 모듈을 포함하고,
    상기 생체정보측정 장치는, PPG 센서, ECG 센서 및 카메라 센서 중 하나이고,
    상기 생체정보측정신호는, 상기 PPG 센서로부터 측정된 광 혈류 맥파 신호, 상기 ECG 센서로부터 측정된 심전도 신호, 또는 상기 카메라 센서를 통해 촬영된 손가락 또는 얼굴에 상응하는 영상 신호 중 하나이고,
    상기 데이터 처리 모듈은,
    상기 영상 신호의 RGB 형태의 영상에서 HSV 형태의 영상으로 변환하고, 상기 변환된 HSV 형태의 영상의 V 채널 값을 기설정된 값으로 변경하고, 상기 V 채널 값이 변경된 HSV 형태의 영상을 RGB 형태의 영상들로 변환하고, 상기 변환된 RGB 형태의 영상 및 미리 기계 학습된 혈압 추정 모델을 이용하여 상기 혈압 정보를 추정하는 것을 특징으로 하는 개방형 API 기반 의료 정보 제공 시스템.
  10. 삭제
  11. 제 9 항에 있어서,
    상기 적어도 하나의 전자기기는,
    스마트워치, 스마트폰, 의료기기 및 IOT 디바이스 중 하나인 것을 특징으로 하는 개방형 API 기반 의료 정보 제공 시스템.
  12. 삭제
  13. 삭제
  14. 소정의 네트워크를 통해 접속되고 생체정보측정 장치를 포함하는 적어도 하나의 전자기기에서의 개방형 API 프로토콜의 호출에 따라 사용자 정보 및 생체정보측정신호를 상기 네트워크를 통해 수신하는 개방형 API 모듈;
    상기 수신된 사용자 정보를 기초로 사용자 인증을 수행하는 인증 모듈; 및
    상기 수신된 사용자 정보 및 상기 생체정보측정신호를 기초로 심박수 정보, 스트레스 지표 정보, 심혈관계 질병 위험성 지표 정보 및 혈압 정보 중 적어도 하나의 의료 정보를 추정하고, 상기 추정된 의료 정보를 상기 네트워크를 통해 상기 전자기기에 전송하는 데이터 처리 모듈을 포함하고,
    상기 생체정보측정 장치는, PPG 센서, ECG 센서 및 카메라 센서 중 하나이고,
    상기 생체정보측정신호는, 상기 PPG 센서로부터 측정된 광 혈류 맥파 신호, 상기 ECG 센서로부터 측정된 심전도 신호, 또는 상기 카메라 센서를 통해 촬영된 손가락 또는 얼굴에 상응하는 영상 신호 중 하나이고,
    상기 데이터 처리 모듈은,
    상기 영상 신호의 RGB 형태의 영상에서 옵티컬 플로우 영상으로 변환하고, 상기 변환된 옵티컬 플로우 영상으로부터 움직임 벡터를 추출하고, 추출된 움직임 벡터를 기초로 혈류 속도를 추출하고, 상기 추출된 혈류 속도에 관한 데이터 및 미리 기계 학습된 혈압 추정 모델을 이용하여 상기 혈압 정보를 추정하는 것을 특징으로 하는 개방형 API 기반 의료 정보 제공 시스템.
  15. 제 9 항 또는 제 14 항에 있어서,
    상기 혈압 추정 모델은,
    다수의 대상체들에 대한 영상들 및 혈압 정보들을 수집하고, 상기 수집된 영상들을 보정하고, 상기 보정된 영상들 및 상기 혈압 정보들에 기초한 기계학습(Machine Learning)된 것을 특징으로 하는 개방형 API 기반 의료 정보 제공 시스템.
KR1020180133844A 2017-11-03 2018-11-02 개방형 api 기반 의료 정보 제공 방법 및 시스템 KR102200526B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170146158 2017-11-03
KR20170146158 2017-11-03

Publications (2)

Publication Number Publication Date
KR20190050723A KR20190050723A (ko) 2019-05-13
KR102200526B1 true KR102200526B1 (ko) 2021-01-11

Family

ID=66332639

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020180133893A KR102265934B1 (ko) 2017-11-03 2018-11-02 모바일 단말을 이용한 맥파 신호 및 스트레스 측정 방법 및 장치
KR1020180133844A KR102200526B1 (ko) 2017-11-03 2018-11-02 개방형 api 기반 의료 정보 제공 방법 및 시스템
KR1020180133845A KR102167022B1 (ko) 2017-11-03 2018-11-02 혈압 추정 모델 생성 시스템 및 방법과 혈압 추정 시스템 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020180133893A KR102265934B1 (ko) 2017-11-03 2018-11-02 모바일 단말을 이용한 맥파 신호 및 스트레스 측정 방법 및 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020180133845A KR102167022B1 (ko) 2017-11-03 2018-11-02 혈압 추정 모델 생성 시스템 및 방법과 혈압 추정 시스템 및 방법

Country Status (4)

Country Link
US (1) US20200260956A1 (ko)
EP (1) EP3705032A4 (ko)
KR (3) KR102265934B1 (ko)
WO (2) WO2019088462A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020246615A1 (ja) * 2019-06-07 2020-12-10 ダイキン工業株式会社 判定システム
KR102214402B1 (ko) * 2019-09-27 2021-02-09 (주)트라이스 모바일 기반 맞춤형 정신건강관리시스템 및 그 시스템을 이용한 정신건강관리방법
KR102431521B1 (ko) * 2019-12-24 2022-08-10 전남대학교산학협력단 압력 및 맥파에 기반한 평균동맥압 추정 방법 및 장치
KR102317075B1 (ko) 2020-01-10 2021-10-22 연세대학교 산학협력단 Uwb 레이더 센서를 활용한 비접촉식 스트레스 추론 장치 및 방법
KR102400651B1 (ko) * 2020-01-30 2022-05-19 연세대학교 원주산학협력단 딥러닝 기반 환자의 저혈압 예측 방법 및 장치
KR102400652B1 (ko) * 2020-01-30 2022-05-19 연세대학교 원주산학협력단 딥러닝 기반 비침습 데이터를 활용한 환자의 저혈압 예측 방법 및 장치
KR102185933B1 (ko) * 2020-04-10 2020-12-02 주식회사 디맨드 스트레스 관리 시스템
KR102397941B1 (ko) * 2020-07-02 2022-05-16 주식회사 딥메디 혈압을 추정하는 방법 및 장치
KR102397934B1 (ko) * 2020-07-02 2022-05-16 주식회사 딥메디 가속도 센서 및 자이로스코프 센서를 이용하여 혈압을 추정하는 방법 및 장치
KR102397942B1 (ko) * 2020-07-02 2022-05-16 주식회사 딥메디 혈압을 추정하는 방법 및 장치
US10931643B1 (en) * 2020-07-27 2021-02-23 Kpn Innovations, Llc. Methods and systems of telemedicine diagnostics through remote sensing
WO2022074652A1 (en) * 2020-10-09 2022-04-14 Binah.Ai Ltd System and method for blood alcohol measurements from optical data
KR102560787B1 (ko) 2021-02-04 2023-07-26 삼성전자주식회사 생체정보 추정 장치 및 방법과, 이를 포함하는 전자장치
KR102573068B1 (ko) * 2021-02-05 2023-08-31 계명대학교 산학협력단 고도화된 시각지능기반 비접촉 영상기반 혈압측정 방법 및 시스템
KR102526181B1 (ko) * 2021-05-11 2023-04-25 한림대학교 산학협력단 다채널의 생체 신호들을 포함하는 이미지를 기반으로 수면 단계를 분류하는 전자 장치, 및 수면 단계 분류 방법
WO2023022131A1 (ja) * 2021-08-20 2023-02-23 シチズン時計株式会社 判定装置、判定方法、及び判定プログラム
JP2023055137A (ja) * 2021-10-05 2023-04-17 キヤノン株式会社 映像処理装置及びその制御方法及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100963698B1 (ko) * 2009-02-27 2010-06-14 주식회사 넷블루 의료 네트워크 관리 시스템 및 그 서비스 제공방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100493714B1 (ko) * 2004-11-26 2005-06-02 주식회사 메디코아 자율신경 검사장치
KR101051263B1 (ko) * 2009-03-04 2011-07-21 연세대학교 산학협력단 만성질환자를 위한 재택 원격 가정 간호 서비스 시스템 및 방법
US9008457B2 (en) * 2010-05-31 2015-04-14 Pesonify, Inc. Systems and methods for illumination correction of an image
KR101352479B1 (ko) * 2012-02-15 2014-01-20 주식회사 두성기술 심박수 및 맥박수의 측정을 통한 스트레스 측정 시스템 및 그 측정 방법
JP6435128B2 (ja) * 2013-07-26 2018-12-05 タタ・コンサルタンシー・サーヴィシズ・リミテッド 生理学的パラメータの監視
WO2017005016A1 (en) * 2015-07-03 2017-01-12 Vita-Course Technologies Co., Ltd System and method for physiological parameter monitoring
US10095834B2 (en) * 2015-05-08 2018-10-09 YC Wellness, Inc. Integration platform and application interfaces for remote data management and security
KR101777738B1 (ko) * 2015-07-07 2017-09-12 성균관대학교산학협력단 동영상을 이용하여 혈압을 추정하는 방법
KR102249234B1 (ko) * 2015-07-31 2021-05-10 한국전자통신연구원 심박수 측정 장치 및 방법
KR20170048970A (ko) * 2015-10-27 2017-05-10 삼성전자주식회사 혈압 추정 방법
US11069441B2 (en) * 2015-10-28 2021-07-20 Phc Holdings Corporation Biological information measurement device and biological information measurement method
KR102454895B1 (ko) * 2015-12-14 2022-10-14 삼성전자주식회사 연속적인 생체 신호 모니터링 방법 및 시스템
CN111784615A (zh) * 2016-03-25 2020-10-16 北京三星通信技术研究有限公司 多媒体信息处理的方法和装置
US10716518B2 (en) * 2016-11-01 2020-07-21 Microsoft Technology Licensing, Llc Blood pressure estimation by wearable computing device
KR101778533B1 (ko) * 2016-11-04 2017-09-26 인천대학교 산학협력단 기계 학습에 기반한 오실로메트릭 혈압 추정 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100963698B1 (ko) * 2009-02-27 2010-06-14 주식회사 넷블루 의료 네트워크 관리 시스템 및 그 서비스 제공방법

Also Published As

Publication number Publication date
WO2019088462A1 (ko) 2019-05-09
KR102167022B1 (ko) 2020-10-16
US20200260956A1 (en) 2020-08-20
EP3705032A4 (en) 2021-11-24
EP3705032A1 (en) 2020-09-09
KR20190050724A (ko) 2019-05-13
WO2019088769A1 (ko) 2019-05-09
KR20190050725A (ko) 2019-05-13
KR20190050723A (ko) 2019-05-13
KR102265934B1 (ko) 2021-06-17

Similar Documents

Publication Publication Date Title
KR102200526B1 (ko) 개방형 api 기반 의료 정보 제공 방법 및 시스템
US11961620B2 (en) Method and apparatus for determining health status
US11642086B2 (en) Apparatus and method for correcting error of bio-information sensor, and apparatus and method for estimating bio-information
US10467548B2 (en) Method, apparatus and system for biometric identification
KR101738278B1 (ko) 영상을 이용한 감정 인식 방법
WO2018137300A1 (zh) 一种生理信号质量判断方法及装置
EP3420713B1 (en) Devices, system and methods for determining a priority level and/or conversation duration of a call
US20210393210A1 (en) Methods and systems for adaptable presentation of sensor data
US20220183569A1 (en) Blood Pressure Assessment Using Features Extracted Through Deep Learning
Alnaggar et al. Video-based real-time monitoring for heart rate and respiration rate
Chauhan et al. A novel patient monitoring system using photoplethysmography and IOT in the age of COVID-19
Qiao et al. Revise: Remote vital signs measurement using smartphone camera
US20210375473A1 (en) Systems and methods for hypertension monitoring
KR102397941B1 (ko) 혈압을 추정하는 방법 및 장치
Ayesha et al. A web application for experimenting and validating remote measurement of vital signs
US20160228067A1 (en) System and method for intelligent monitoring of patient vital signs
KR20240035290A (ko) 실시간 딥러닝 기반 모바일 얼굴 영상을 이용한 심박 측정 방법, 장치 및 컴퓨터 프로그램
Malini Non-Contact Heart Rate Monitoring System using Deep Learning Techniques
KR102564483B1 (ko) 비-접촉식 방식으로 획득되는 정보에 기반하여 정확도 높은 생체 신호를 제공하기 위한 전자 장치, 서버, 시스템, 그 동작 방법
Tucker et al. Video-based Estimation of Blood Pressure
US20240055125A1 (en) System and method for determining data quality for cardiovascular parameter determination
KR20240048063A (ko) 컬러 및 근적외선 비디오를 이용한 비접촉식 심박 측정 장치 및 방법
CN116439674A (zh) 一种基于心率数据的高血压风险评估方法和系统
KR20220134216A (ko) 인공지능 학습을 통해 광용적맥파로부터 대동맥판막협착증 및 기타 심혈관 질환 위험도를 판단하는 방법 및 시스템
Tan et al. Low-cost and portable physiological signal monitor using PhysRate model

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant