KR102429188B1 - INTELLIGENT ENVIRONMENT(Aml=AI/ML) CONFIGURATION USING INSENSITIVE IoT SENSOR AND DIGITAL BIOMARKER GENERATION TECHNOLOGY AND ITS SYSTEM - Google Patents

INTELLIGENT ENVIRONMENT(Aml=AI/ML) CONFIGURATION USING INSENSITIVE IoT SENSOR AND DIGITAL BIOMARKER GENERATION TECHNOLOGY AND ITS SYSTEM Download PDF

Info

Publication number
KR102429188B1
KR102429188B1 KR1020200024078A KR20200024078A KR102429188B1 KR 102429188 B1 KR102429188 B1 KR 102429188B1 KR 1020200024078 A KR1020200024078 A KR 1020200024078A KR 20200024078 A KR20200024078 A KR 20200024078A KR 102429188 B1 KR102429188 B1 KR 102429188B1
Authority
KR
South Korea
Prior art keywords
data
pattern
sleep
biomarker
generation system
Prior art date
Application number
KR1020200024078A
Other languages
Korean (ko)
Other versions
KR20210109169A (en
Inventor
양진홍
Original Assignee
인제대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인제대학교 산학협력단 filed Critical 인제대학교 산학협력단
Priority to KR1020200024078A priority Critical patent/KR102429188B1/en
Publication of KR20210109169A publication Critical patent/KR20210109169A/en
Application granted granted Critical
Publication of KR102429188B1 publication Critical patent/KR102429188B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6889—Rooms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H80/00—ICT specially adapted for facilitating communication between medical practitioners or patients, e.g. for collaborative diagnosis, therapy or health monitoring

Abstract

일 실시예에 따른 컴퓨터로 구현되는 바이오마커 생성 시스템에 의해 수행되는 바이오마커 생성 방법은, IoT 센서, 빅데이터 및 인공 지능을 포함하는 지능환경(AmI)을 기반으로 난치성 노인질환 진단을 위한 데이터를 수집하는 단계; 상기 수집된 데이터의 분석을 수행함에 따라 패턴 정보를 획득하는 단계; 상기 획득된 패턴 정보를 포함하는 복수의 바이오마커를 생성하는 단계; 및 상기 생성된 복수의 바이오마커를 이용하여 난치성 노인질환을 진단하는 단계를 포함할 수 있다. A biomarker generating method performed by a biomarker generating system implemented by a computer according to an embodiment is based on an intelligent environment (AmI) including IoT sensors, big data, and artificial intelligence. Data for diagnosing intractable geriatric diseases collecting; acquiring pattern information as the collected data is analyzed; generating a plurality of biomarkers including the obtained pattern information; and diagnosing an intractable geriatric disease using the generated plurality of biomarkers.

Figure R1020200024078
Figure R1020200024078

Description

무자각 IoT 센서를 이용한 지능환경(Aml=AI/ML)구성 방법 및 디지털 바이오마커 생성 기술 및 그 시스템{INTELLIGENT ENVIRONMENT(Aml=AI/ML) CONFIGURATION USING INSENSITIVE IoT SENSOR AND DIGITAL BIOMARKER GENERATION TECHNOLOGY AND ITS SYSTEM}A method of constructing an intelligent environment (Aml=AI/ML) using an unconscious IoT sensor and a digital biomarker generation technology and system

아래의 설명은 IoT 센서를 이용하여 구성된 지능환경에 기반하여 바이오마커를 생성하는 기술에 관한 것이다.The description below relates to a technology for generating biomarkers based on an intelligent environment constructed using IoT sensors.

인구 고령화에 따른 노인 의료비 및 국가 재정 부담이 증가하고 있다. 65세 이상 노인 인구는 2015년 654만1000명에서 2025년에는 1050만8000명으로, 노인 인구가 전체 인구의 20%를 차지하는 초고령 사회로 진입, 사회적 의료비용증가 및 복지제도 수행에 따른 국가 재정적 압박 등 많은 문제가 예상된다. Medical expenses for the elderly and the national financial burden are increasing due to the aging of the population. The population of the elderly over 65 years of age increased from 6541,000 in 2015 to 1,0,08,000 in 2025, entering a super-aged society in which the elderly account for 20% of the total population. Many problems such as pressure are expected.

노인 질환중 치매, 파킨슨, 우울증 환자의 수가 증가함에 따라 디지털 바이오마커의 개발의 필요성이 대두되고 있다. 치매는 다양한 원인에 의해 뇌기능이 손상되면서 기억력을 비롯한 인지기능이 지속적으로 저하되어 사회생활 및 일상생활에 장애를 주는 상태를 의미한다. 치매는 진단명이 아니라 여러 가지 원인 질환에 의해 유발되는 임상증후군을 뜻한다. 치매는 천천히 발병하여 점진적으로 진행되며, 초기에는 최근 일에 대한 기억력 장애를 보이다가 차차 언어 기능이나 판단력 등 다른 인지 기능의 이상을 동반하며 결국 모든 일상 기능을 상실한다. 치매는 신경 손상이 너무 많이 진행되어 치료가 어려워지는 시점에 이르기 전에, 비교적 최기 단계의 환자를 진단 및 치료하는 것의 중요성에 대해 논의되고 있다. 파킨슨병은 뇌의 중뇌에 존재하는 흑질이라는 부분에서 신경 전달 물질인 도파민이 분비되지 않아 발생하는 퇴행성 뇌질환으로 병이 발병하면 크게 떨림증, 근육 경축, 느린 동작, 자세 불균형의 증상이 나타난다. 파킨슨병의 증상은 뇌에 도파민이 부족하기 때문에 생기기 때문에 도파민이 부족해지면 증상이 바로 발생하는 것은 아니며, 뇌의 도파민 농도가 80% 이상 감소할 때 비로소 증상이 나타나기 시작한다. 병의 증상을 처음 느낄 때에는 파킨슨병이 이미 적어도 수년 전부터 진행되고 있는 것을 의미하기 때문에 조기진단이 중요한 질환이다. 노인 우울증은 불안증상과 불면증이 두드러지게 나타나 다른 신체 질환이나 단순 불면증 또는 불안 증상으로 오인해 부적절하게 치료되는 경우가 많다. 노년기 우울증에 동반되는 인지기능 저하가 심할 경우에는 치매가 유사한 상태는 우울성 가성 치매가 나타나기도 한다. 청/장년기(45세 이전)에 발병한 우울증보다 45세 이후에 발병한 우울증이 알츠하이머형 치매로 전환될 확률이 높다. 우울증에서 수면 장애는 흔히 나타나며, 우울증의 수면 양상은 새벽에 일찍 깨고 잠들기 어려우며, 자다가 자주 깨는 특성을 보인다. 또한, 불면증이 지속되면 우울증이 발생할 수 있다. As the number of patients with dementia, Parkinson's, and depression among the elderly's diseases increases, the need for the development of digital biomarkers is emerging. Dementia is a condition in which brain functions are damaged due to various causes, and cognitive functions including memory are continuously deteriorated, which impairs social and daily life. Dementia is not a diagnosis, but a clinical syndrome caused by various causative diseases. Dementia develops slowly and progresses gradually. In the beginning, it shows a memory impairment for recent events, and then it is accompanied by abnormalities in other cognitive functions such as language function or judgment, and eventually all daily functions are lost. The importance of diagnosing and treating patients in a relatively early stage of dementia before it reaches a point where nerve damage has progressed so much that it is difficult to treat is being debated. Parkinson's disease is a degenerative brain disease that occurs when dopamine, a neurotransmitter, is not secreted in the substantia nigra in the midbrain of the brain. Since the symptoms of Parkinson's disease are caused by a lack of dopamine in the brain, symptoms do not occur immediately when dopamine is insufficient, and symptoms begin to appear only when the concentration of dopamine in the brain decreases by 80% or more. Early diagnosis is important because it means that Parkinson's disease has already progressed for at least several years when the first symptoms of the disease are felt. Depression in the elderly is characterized by prominent symptoms of anxiety and insomnia, and is often mistaken for other physical diseases, simple insomnia or anxiety symptoms and inappropriately treated. If the cognitive decline accompanying depression in old age is severe, depressive pseudo-dementia may appear in a condition similar to dementia. Depression onset after the age of 45 is more likely to be converted to Alzheimer's type dementia than depression onset in adolescence/adulthood (before the age of 45). Sleep disturbance is common in depression, and the sleep pattern of depression is characterized by early waking at dawn, difficulty falling asleep, and frequent waking during sleep. Also, persistent insomnia can lead to depression.

고령화 현상의 가속화로 인하여 지역사회 중심의 재가 서비스 및 돌봄 서비스의 중요성이 증가되고 있다. 그러나, 독거노인 돌봄 서비스를 위하여 ICT 접목 서비스들이 운영되고 있지만 착용 등에 따른 생활의 불편함과 IoT 센서 기기 사용의 어려움으로 인하여 사용자의 만족도가 낮다. 또한, 생활관리사는 많은 대상자들을 돌봐야 하는 상황에서 설치 기기 점검 등에 대해서 업무 부담을 느낀다. Due to the accelerated aging of the population, the importance of community-centered home services and care services is increasing. However, although ICT grafting services are being operated for the care service for the elderly living alone, user satisfaction is low due to the inconvenience of wearing and the difficulty of using IoT sensor devices. In addition, the life manager feels the burden of checking installed equipment in a situation where he has to take care of many subjects.

주변 환경을 이루는 지능환경(IoT 센서+빅데이터+AI)을 복합적으로 활용하여 난치성 노인 질환의 예방 및 조기 발견을 위한 디지털 바이오마커를 생성하고, 생성된 디지털 바이오마커를 통해 개인별 맞춤 건강 서비스를 제공할 수 있다.Combining the intelligent environment (IoT sensor + big data + AI) that makes up the surrounding environment to create digital biomarkers for the prevention and early detection of intractable geriatric diseases, and to provide personalized health services through the generated digital biomarkers can do.

컴퓨터로 구현되는 바이오마커 생성 시스템에 의해 수행되는 바이오마커 생성 방법은, IoT 센서, 빅데이터 및 인공 지능을 포함하는 지능환경(AmI)을 기반으로 난치성 노인질환 진단을 위한 데이터를 수집하는 단계; 상기 수집된 데이터의 분석을 수행함에 따라 패턴 정보를 획득하는 단계; 상기 획득된 패턴 정보를 포함하는 복수의 바이오마커를 생성하는 단계; 및 상기 생성된 복수의 바이오마커를 이용하여 난치성 노인질환을 진단하는 단계를 포함할 수 있다. A biomarker generating method performed by a biomarker generating system implemented by a computer includes: collecting data for diagnosing intractable geriatric diseases based on an intelligent environment (AmI) including IoT sensors, big data and artificial intelligence; acquiring pattern information as the collected data is analyzed; generating a plurality of biomarkers including the obtained pattern information; and diagnosing an intractable geriatric disease using the generated plurality of biomarkers.

상기 패턴 정보를 획득하는 단계는, 상기 IoT 센서, 빅데이터 및 인공 지능을 포함하는 지능환경(AmI)에 기반하여 수집된 데이터를 이용하여 기 설정된 사용자의 공간에서 사용자의 행동 패턴 및 수면 패턴을 분석하고, 상기 분석된 행동 패턴 및 수면 패턴을 포함하는 라이프로그를 획득하는 단계를 포함할 수 있다. The acquiring of the pattern information includes analyzing the user's behavioral pattern and sleep pattern in a preset user's space using data collected based on an intelligent environment (AmI) including the IoT sensor, big data, and artificial intelligence. and obtaining a lifelog including the analyzed behavior pattern and sleep pattern.

상기 패턴 정보를 획득하는 단계는, 상기 수집된 데이터에 대한 비식별화 및 익명화를 수행하는 단계를 포함할 수 있다. The acquiring of the pattern information may include de-identifying and anonymizing the collected data.

상기 데이터를 수집하는 단계는, 상기 IoT 센서 중 스마트 렌즈를 이용하여 생체, 객체 및 행동을 센싱함에 따라 영상 데이터를 획득하는 단계를 포함하고, 상기 패턴 정보를 획득하는 단계는, 상기 획득된 영상 데이터를 이용하여 보행, 대화, 행위를 포함하는 행동 패턴을 분석하는 단계를 포함할 수 있다. The collecting of the data includes obtaining image data by sensing a living body, an object, and an action using a smart lens among the IoT sensors, and the obtaining of the pattern information includes the obtained image data It may include the step of analyzing a behavior pattern including walking, conversation, and behavior using

상기 데이터를 수집하는 단계는, 상기 IoT 센서 중 무자각 생체 센서를 이용하여 생체 데이터를 수집하는 단계를 포함하고, 상기 패턴 정보를 획득하는 단계는, 상기 IoT 센서 중 무자각 생체 센서를 이용하여 수집된 생체 데이터에 기초하여 총 수면시간, 뒤척임 횟수, 수면의 질, 수면 중 움직임, 수면 무호흡 여부를 포함하는 수면 패턴을 분석하고, 상기 분석된 수면 패턴으로부터 심박수, 호흡, 움직임을 포함하는 건강 상태를 파악하는 단계를 포함할 수 있다. The collecting of the data includes collecting biometric data using an unconscious biometric sensor among the IoT sensors, and the acquiring of the pattern information includes collecting biometric data using an unconscious biometric sensor among the IoT sensors. Analyzes a sleep pattern including total sleep time, number of toss and turns, sleep quality, movement during sleep, and whether or not sleep apnea is performed on the basis of the biometric data, and health status including heart rate, respiration, and movement from the analyzed sleep pattern It may include the step of figuring out.

상기 데이터를 수집하는 단계는, 상기 IoT 센서 중 인공지능 스피커를 이용하여 음성 데이터를 수집하는 단계를 포함하고, 상기 패턴 정보를 획득하는 단계는, 상기 수집된 음성 데이터에 기초하여 통화, 혼잣말, 대화 여부를 포함하는 음성 정보를 분석하고, 상기 분석된 음성 정보를 이용하여 대화, 인지 기능을 포함하는 행동 패턴을 분석하여 사용자의 심리상태를 파악하는 단계를 포함할 수 있다. The collecting of the data includes collecting voice data by using an artificial intelligence speaker among the IoT sensors, and the acquiring of the pattern information includes a call, self-talk, conversation based on the collected voice data. It may include analyzing the voice information including whether or not, and analyzing the behavior pattern including the conversation and cognitive function using the analyzed voice information to determine the psychological state of the user.

상기 진단하는 단계는, 상기 생성된 복수의 바이오마커를 통해 수면 패턴에서 수면호흡장애가 기 설정된 기준 이상 발생하고, 기 설정된 시간동안 무호흡, 저호흡 발생 횟수에 따라 경증, 중등증, 중증을 판단하고, 행동 패턴에서 야간 착란, 배회, 안절부절하고, 보행 장애가 발생하고, 대화 패턴에서 혼잣말하거나 화를 쉽게 내거나, 같은말을 기 설정된 횟수 이상 반복할 경우, 치매로 진단하는 단계를 포함할 수 있다. In the diagnosing step, the sleep pattern through the generated plurality of biomarkers occurs more than a preset standard of sleep breathing disorder, and determines mild, moderate, and severe according to the number of occurrences of apnea and hypoventilation for a preset time, It may include a step of diagnosing dementia when night confusion, wandering, restlessness, gait disturbance occurs in the behavior pattern, self-talk or anger easily in the conversation pattern, or repeating the same words more than a preset number of times.

상기 진단하는 단계는, 상기 생성된 복수의 바이오마커를 통해 수면 패턴에서 렘수면 행동 장애가 존재하고, 행동 패턴에서 얼굴 굳음, 떨림, 서동, 기 설정된 기준 이하의 보폭, 발을 질질 끄는 보행, 가속 보행, 온몸 현상, 대화하면 걷지 못할 경우, 파킨슨 병으로 진단하는 단계를 포함할 수 있다. In the diagnosing step, the REM sleep behavior disorder is present in the sleep pattern through the generated plurality of biomarkers, and the face stiffens, tremors, tremors, stride below the preset standard, stride gait, accelerated gait, It may include a step of diagnosing Parkinson's disease if the whole body phenomenon, unable to walk when talking.

상기 진단하는 단계는, 상기 생성된 복수의 바이오마커를 통해 수면 패턴에서 수면 장애가 존재하고, 행동 패턴에서 보폭이 비일정하거나, 기 설정된 기준 이상의 보폭, 불규칙한 걸음, 주춤거림이 있고, 대화 패턴에서 비이성적으로 짜증이 존재할 경우, 노인 우울증으로 진단하는 단계를 포함할 수 있다. In the diagnosing step, there is a sleep disorder in the sleep pattern through the generated plurality of biomarkers, the stride length is irregular in the behavior pattern, there is a stride length greater than a preset standard, irregular gait, staggering, and the conversation pattern is irrational and diagnosing geriatric depression when irritability is present.

상기 데이터를 수집하는 단계는, 치매, 파킨슨 또는 노인 우울증과 관련된 질환 데이터 항목 정의 및 수집을 위한 난치성 노인질환 데이터베이스를 구축하는 단계를 포함할 수 있다. The collecting of the data may include establishing an intractable geriatric disease database for defining and collecting disease data items related to dementia, Parkinson's, or geriatric depression.

컴퓨터로 구현되는 바이오마커 생성 시스템은, IoT 센서, 빅데이터 및 인공 지능을 포함하는 지능환경(AmI)을 기반으로 난치성 노인질환 진단을 위한 데이터를 수집하는 데이터 수집부; 상기 수집된 데이터의 분석을 수행함에 따라 패턴 정보를 획득하는 패턴 정보 획득부; 상기 획득된 패턴 정보를 포함하는 복수의 바이오마커를 생성하는 바이오마커 생성부; 및 상기 생성된 복수의 바이오마커를 이용하여 난치성 노인질환을 진단하는 진단부를 포함할 수 있다. A biomarker generation system implemented by a computer includes: a data collection unit that collects data for diagnosing intractable geriatric diseases based on an intelligent environment (AmI) including IoT sensors, big data, and artificial intelligence; a pattern information acquisition unit configured to acquire pattern information as the collected data is analyzed; a biomarker generating unit generating a plurality of biomarkers including the obtained pattern information; and a diagnostic unit for diagnosing an intractable geriatric disease by using the generated plurality of biomarkers.

상기 패턴 정보 획득부는, 상기 IoT 센서, 빅데이터 및 인공 지능을 포함하는 지능환경(AmI)에 기반하여 수집된 데이터를 이용하여 기 설정된 사용자의 공간에서 사용자의 행동 패턴 및 수면 패턴을 분석하고, 상기 분석된 행동 패턴 및 수면 패턴을 포함하는 라이프로그를 획득하는 단계를 포함할 수 있다. The pattern information acquisition unit analyzes a user's behavioral pattern and sleep pattern in a preset user's space using data collected based on an intelligent environment (AmI) including the IoT sensor, big data, and artificial intelligence, and It may include acquiring a lifelog including the analyzed behavior pattern and sleep pattern.

상기 데이터 수집부는, 상기 IoT 센서 중 스마트 렌즈를 이용하여 생체, 객체 및 행동을 센싱함에 따라 영상 데이터를 획득하고, 상기 IoT 센서 중 무자각 생체 센서를 이용하여 생체 데이터를 수집하고, 상기 IoT 센서 중 인공지능 스피커를 이용하여 음성 데이터를 수집하는 것을 포함하고, 상기 패턴 정보 획득부는, 상기 획득된 영상 데이터를 이용하여 보행, 대화, 행위를 포함하는 행동 패턴을 분석하고, 상기 IoT 센서 중 무자각 생체 센서를 이용하여 수집된 생체 데이터에 기초하여 총 수면시간, 뒤척임 횟수, 수면의 질, 수면 중 움직임, 수면 무호흡 여부를 포함하는 수면 패턴을 분석하고, 상기 분석된 수면 패턴으로부터 심박수, 호흡, 움직임을 포함하는 건강 상태를 파악하고, 상기 수집된 음성 데이터에 기초하여 통화, 혼잣말, 대화 여부를 포함하는 음성 정보를 분석하고, 상기 분석된 음성 정보를 이용하여 대화, 인지 기능을 포함하는 행동 패턴을 분석하여 사용자의 심리상태를 파악할 수 있다. The data collection unit acquires image data by sensing a living body, an object, and an action by using a smart lens among the IoT sensors, collects biometric data by using an unconscious biometric sensor among the IoT sensors, and collects biometric data from among the IoT sensors and collecting voice data using an artificial intelligence speaker, wherein the pattern information acquisition unit analyzes a behavior pattern including walking, conversation, and behavior using the acquired image data, Based on the biometric data collected using the sensor, a sleep pattern including total sleep time, toss and turns, sleep quality, movement during sleep, and sleep apnea is analyzed, and heart rate, respiration, and movement are analyzed from the analyzed sleep pattern. Analyzes a behavioral pattern including a conversation and a cognitive function using the analyzed voice information to identify a health state including Thus, it is possible to understand the psychological state of the user.

상기 진단부는, 상기 생성된 복수의 바이오마커를 통해 수면 패턴에서 수면호흡장애가 기 설정된 기준 이상 발생하고, 기 설정된 시간동안 무호흡, 저호흡 발생 횟수에 따라 경증, 중등증, 중증을 판단하고, 행동 패턴에서 야간 착란, 배회, 안절부절하고, 보행 장애가 발생하고, 대화 패턴에서 혼잣말하거나 화를 쉽게 내거나, 같은말을 기 설정된 횟수 이상 반복할 경우, 치매로 진단하고, 상기 생성된 복수의 바이오마커를 통해 수면 패턴에서 렘수면 행동 장애가 존재하고, 행동 패턴에서 얼굴 굳음, 떨림, 서동, 기 설정된 기준 이하의 보폭, 발을 질질 끄는 보행, 가속 보행, 온몸 현상, 대화하면 걷지 못할 경우, 파킨슨 병으로 진단하고, 상기 생성된 복수의 바이오마커를 통해 수면 패턴에서 수면 장애가 존재하고, 행동 패턴에서 보폭이 비일정하거나, 기 설정된 기준 이상의 보폭, 불규칙한 걸음, 주춤거림이 있고, 대화 패턴에서 비이성적으로 짜증이 존재할 경우, 노인 우울증으로 진단할 수 있다. The diagnosis unit, through the plurality of generated biomarkers, when sleep pattern abnormality occurs above a preset standard, and determines mild, moderate, and severe according to the number of occurrences of apnea and hypopnea for a preset time, and the behavior pattern night confusion, wandering, restlessness, gait disturbance, self-talk or anger easily in a conversation pattern, or repeating the same words more than a preset number of times, diagnosis of dementia, and sleep through the generated plurality of biomarkers If REM sleep behavioral disorder is present in the pattern, face stiffening, tremor, tremor, stride below the preset standard, shuffling walking, accelerated gait, whole body phenomenon, and unable to walk when talking, diagnosed with Parkinson's disease, and the above If there is a sleep disorder in the sleep pattern through the plurality of generated biomarkers, the stride length is irregular in the behavior pattern, there is a stride length greater than a preset standard, irregular gait, staggering, and irrationally irritability in the conversation pattern, the elderly Depression can be diagnosed.

난치성 노인질환을 예방하고 조기진단을 통한 건강하고 행복한 삶을 제공할 수 있다. It can prevent intractable geriatric diseases and provide a healthy and happy life through early diagnosis.

일상 생활의 라이프케어에 IoT 기술을 융합한 복수의 디지털 바이오마커를 복합적으로 적용하여 난치성 노인질환을 정확하게 판단할 수 있다. It is possible to accurately determine intractable geriatric diseases by complexly applying multiple digital biomarkers that converge IoT technology with everyday life care.

도 1은 일 실시예에 따른 바이오마커 생성 시스템에 구성된 지능환경을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 바이오마커 생성 시스템의 서비스 모델을 나타낸 예이다.
도 3은 일 실시예에 따른 바이오마커 생성 시스템의 디지털 바이오마커 통합 플랫폼을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 바이오마커 생성 시스템에서 개인정보 보호 방법을 설명하기 위한 흐름도이다.
도 5은 일 실시예에 따른 바이오마커 생성 시스템에서 홀몸 어르신 안심케어 서비스 운영 동작을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 바이오마커 생성 시스템에서 건강케어 서비스를 운영하는 동작을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 바이오마커 생성 시스템의 구성을 설명하기 위한 블록도이다.
도 8은 일 실시예에 따른 바이오마커 생성 시스템에서 바이오마커를 생성하는 방법을 설명하기 위한 흐름도이다. 1 is a diagram for explaining an intelligent environment configured in a biomarker generation system according to an embodiment.
2 is an example illustrating a service model of a biomarker generation system according to an embodiment.
3 is a diagram for explaining a digital biomarker integration platform of a biomarker generation system according to an embodiment.
4 is a flowchart illustrating a method for protecting personal information in a biomarker generation system according to an embodiment.
5 is a view for explaining the operation of the safe care service for the elderly alone in the biomarker generation system according to an embodiment.
6 is a diagram for explaining an operation of operating a health care service in a biomarker generating system according to an embodiment.
7 is a block diagram illustrating the configuration of a biomarker generation system according to an embodiment.
8 is a flowchart illustrating a method of generating a biomarker in a biomarker generating system according to an embodiment.

이하, 실시예를 첨부한 도면을 참조하여 상세히 설명한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.

실시예에서는 지능환경을 구성하는 다양한 요소로부터 센싱, 분석, 예측에 이르기까지 다양한 기술을 복합적으로 활용하여 난치성 노인질환을 진단할 수 있는 바이오마커 개발 및 개인별 맞춤 건강 서비스를 제공할 수 있다. 주변 환경을 이루는 지능환경을 복합적으로 활용하여 난치성 노인 질환의 예방 및 조기 진단을 위한 디지털 바이오마커(AI 기반 개발 및 관련 진단 알고리즘) 및 개인 맞춤형 서비스를 개발할 수 있다. In an embodiment, it is possible to develop biomarkers capable of diagnosing intractable geriatric diseases and provide personalized health services by using various technologies from various elements constituting the intelligent environment to sensing, analysis, and prediction in combination. It is possible to develop digital biomarkers (AI-based development and related diagnostic algorithms) and personalized services for the prevention and early diagnosis of intractable geriatric diseases by complexly utilizing the intelligent environment constituting the surrounding environment.

바이오마커란 발병이나 노화 따위가 진행되는 과정마다 특징적으로 나타나는 생물학적 지표가 되는 변화를 의미할 수 있다. 일반적으로, 바이오마커는 단백질이나 DNA, RNA(리복핵산), 대사물질 등을 이용해 몸 안의 변화를 알아낼 수 있는 지표를 의미한다. 이러한 용어는 유기체의 존재를 알려주는 물질을 가리키는데도 사용된다. 게다가 생물의 형태는 특정 위치에 그들의 존재를 알려주는 지표 역할을 하는DNA를 포함한 특별한 화학물질을 보관해 놓는 곳으로 알려져 있다. 일례로, 바이오마커는 많은 과학적 분야에 이용되며 평범한 생물처리 과정, 병원성을 일으키는 과정, 치료를 위한 약리학의 과정을 측정하거나 평가하는 데도 쓰인다.The biomarker may refer to a change that becomes a biomarker characteristic of each process of onset or aging. In general, biomarkers refer to indicators that can detect changes in the body using proteins, DNA, RNA (Reebok nucleic acid), metabolites, and the like. These terms are also used to refer to substances that signal the existence of an organism. In addition, life forms are known for storing special chemicals, including DNA, that serve as indicators of their existence in specific locations. For example, biomarkers are used in many scientific fields to measure or evaluate routine biological processes, processes causing pathogenicity, and pharmacological processes for treatment.

도 1은 일 실시예에 따른 바이오마커 생성 시스템에 구성된 지능환경을 설명하기 위한 도면이다. 1 is a diagram for explaining an intelligent environment configured in a biomarker generation system according to an embodiment.

바이오마커 생성 시스템은 IoT 센서, 빅데이터 및 인공 지능을 포함하는 지능환경(AmI)을 구성할 수 있다. 바이오마커 생성 시스템은 생체 센서, 스마트 렌즈, 인공지능 스피커를 포함하는 지능환경 IoT 기술이 융합된 댁내/댁외 서비스를 제공할 수 있다. 바이오마커 생성 시스템은 IoT센서를 기반으로 복수의 바이오마커를 생성하여 난치성 노인질환을 진단할 수 있다. The biomarker generation system can configure an intelligent environment (AmI) that includes IoT sensors, big data, and artificial intelligence. The biomarker generation system can provide an indoor/outdoor service in which intelligent environment IoT technologies including biometric sensors, smart lenses, and artificial intelligence speakers are fused. The biomarker generation system can diagnose intractable geriatric diseases by generating a plurality of biomarkers based on the IoT sensor.

바이오마커 생성 시스템은 이종의 IoT 장치의 연결 및 엣지 컴퓨팅을 지원하는 안심 IoT 기술을 제공할 수 있다. 개별 IoT 장치 간 유기적인 동작의 연계 및 제어를 통한 끊김없는 서비스를 제공할 수 있다. 바이오마커 생성 시스템은 엣지 컴퓨팅 기반의 기술을 이용하여 사용자 데이터를 사용자의 공간에서만 처리하고, 비식별화된 데이터만을 안전하게 활용할 수 있는 데이터를 처리할 수 있다. 이에, 사용자의 프라이버시 보호를 통한 안심할 수 있는 서비스가 제공될 수 있다. 엣지 컴퓨팅 기반의 엣지 환경에서의 기본적인 지능 공간을 인식하고 분석 처리를 통한 빠른 응답 및 다양한 연결성을 제공할 수 있다.The biomarker generation system can provide a secure IoT technology that supports the connection of heterogeneous IoT devices and edge computing. It is possible to provide seamless service through linkage and control of organic operations between individual IoT devices. The biomarker generation system can process user data only in the user's space using edge computing-based technology, and can process data that can safely utilize only de-identified data. Accordingly, a service that can be relieved by protecting the user's privacy can be provided. It can recognize the basic intelligent space in the edge environment based on edge computing and provide fast response and various connectivity through analysis processing.

바이오마커 생성 시스템은 사용자의 프라이버시를 보호하는 빅 데이터 기술을 제공할 수 있다. 바이오마커 생성 시스템은 수집되는 데이터에 대한 안전한 처한 처리를 통한 사용자의 프라이버시를 보호할 수 있다. 바이오마커 생성 시스템은 다양한 IoT 장치 및 센서 등의 데이터 수집 및 활용 시, 가이드라인으로 활용 가능하다. The biomarker generation system may provide big data technology to protect the privacy of users. The biomarker generation system can protect the privacy of the user through secure processing of the collected data. The biomarker generation system can be used as a guideline when collecting and utilizing data from various IoT devices and sensors.

바이오마커 생성 시스템은 복합 상황 인식 및 추론을 제공하는 안심 인공지능 기술을 제공할 수 있다. 바이오마커 생성 시스템은 다수의 데이터로부터 복합적 객체 및 상황 인식을 통한 최적의 안심 케어 서비스를 제공할 수 있다. 바이오마커 생성 시스템은 복합적 추론을 통해 데이터의 의존성을 낮춤으로써, 사용자별 다양한 IoT 환경의 특성에 따른 활용 데이터의 불균형을 극복할 수 있다.Biomarker generation systems can provide reassuring artificial intelligence technology that provides complex situational awareness and reasoning. The biomarker generation system can provide an optimal safe care service through complex object and situational recognition from a large number of data. The biomarker generation system can overcome the imbalance of utilization data according to the characteristics of various IoT environments for each user by lowering the dependence of data through complex reasoning.

실시예에서는 댁내(101)에 구성된 지능환경을 통하여 복수의 바이오마커를 생성하고, 생성된 복수의 바이오마커를 이용하여 난치성 노인질환을 진단하는 동작을 설명하기로 한다. 댁내(101)에 구성된 무자각 생체 센서, 스마트 렌즈, 인공지능 스피커 또는 베드 센서 중 적어도 하나의 IoT 센서를 이용하여 상황이 인지될 수 있다. 이때, 댁내(101)에 구성된 무자각 생체 센서, 스마트 렌즈, 인공지능 스피커 또는 베드 센서 중 적어도 하나의 IoT 센서는 스마트(IoT) 게이트웨이를 통하여 LoRa 또는 와이파이(WiFi) 등과 같은 무선 통신을 통해 데이터가 송수신됨으로써 상황이 인지될 수 있다. 이러한 스마트 게이트웨이에 머신 러닝 동작 기능이 제공됨에 따라 클라우드 서버에서 집중처리 부하 분산 기법이 적용될 수 있다. In the embodiment, an operation of generating a plurality of biomarkers through the intelligent environment configured in the home 101 and diagnosing an intractable geriatric disease using the generated biomarkers will be described. The situation may be recognized by using at least one IoT sensor among an unconscious biosensor, a smart lens, an artificial intelligence speaker, or a bed sensor configured in the home 101 . At this time, the IoT sensor of at least one of the unconscious biosensor, smart lens, artificial intelligence speaker, or bed sensor configured in the home 101 receives data through wireless communication such as LoRa or Wi-Fi through a smart (IoT) gateway. A situation can be recognized by being transmitted and received. As a machine learning operation function is provided in such a smart gateway, a centralized processing load balancing technique can be applied in the cloud server.

바이오마커 생성 시스템은 스마트 댁내의 이종 IoT 및 센서 그리고 Open APIs들을 활용하여 사용자의 프라이버시를 침해하지 않으면서 노인 질환을 예방, 조기 진단 및 건강 관리(라이프코칭) 서비스를 제공할 수 있다. 바이오마커 생성 시스템은 지자체 및 병원과 Open APIs를 통하여 데이터를 연동함으로써 스마트 시티를 연계할 수 있다. 또한, 바이오마커 생성 시스템은 엣지 컴퓨팅 기반의 개인정보 보호를 통하여 사용자와 관련된 데이터의 프라이버시를 보호할 수 있다. The biomarker generation system can provide prevention, early diagnosis, and health care (life coaching) services for the elderly without violating user privacy by utilizing heterogeneous IoT, sensors, and Open APIs in the smart home. The biomarker generation system can link smart cities by linking data with local governments and hospitals through Open APIs. In addition, the biomarker generation system can protect the privacy of user-related data through edge computing-based personal information protection.

바이오마커 생성 시스템은 댁내(101)에 구성된 IoT 센서를 이용하여 데이터를 수집할 수 있다. 바이오마커 생성 시스템은 IoT 센서로부터 수집되는 다중 데이터로부터의 복합 지능 활용을 위한 협력 학습을 수행할 수 있다. 이때, 바이오마커 생성 시스템은 사용자 또는 댁내(101) 공간과 관련된 데이터를 수집할 수 있다. 바이오마커 생성 시스템은 무자각 생체 센서를 이용하여 수집된 데이터에 기초하여 라이프로그를 파악할 수 있고, 위급 상황을 인지할 수 있다. 라이프로그란, 사용자와 관련하여 일상 생활 중에 수집된 데이터를 통하여 사용자의 생활 패턴을 확인할 수 있는 정보를 의미할 수 있다. 바이오마커 생성 시스템은 환경 센서를 이용하여 댁내(101)의 온도, CO2, 미세먼지 등의 환경 데이터를 수집할 수 있고, 수집된 환경 데이에 기초하여 댁내(101) 공간의 환경을 제어할 수 있다. 바이오마커 생성 시스템은 베드센서, 조명/전원 제어 및 인공지능 스피커로부터 데이터를 수집할 수 있고, 수집된 데이터에 기초하여 침대에 존재하는 사용자의 수면 패턴을 획득할 수 있고, 획득된 수면 패턴을 포함하는 라이프로그로부터 사용자의 위급 상황을 인지할 수 있다. 바이오마커 생성 시스템은 스마트 도어락을 제어하여 원격으로 긴급 개방시킬 수 있다. 바이오마커 생성 시스템은 스마트 렌즈를 이용하여 수집된 데이터에 기초하여 위급 상황(예를 들면, 낙상, 기절)을 인지할 수 있다. 바이오마커 생성 시스템은 119 서비스와 연계하여, 사용자의 위급 상황이 인지되었을 경우, 119 서비스에 자동으로 연결시켜 사용자의 위급 상황을 알릴 수 있다. The biomarker generating system may collect data using an IoT sensor configured in the home 101 . The biomarker generation system can perform cooperative learning to utilize complex intelligence from multiple data collected from IoT sensors. In this case, the biomarker generating system may collect data related to the user or the space of the premises 101 . The biomarker generation system may identify a lifelog based on data collected using an unconscious biosensor, and may recognize an emergency situation. The lifelog may refer to information that can identify the user's life pattern through data collected during daily life in relation to the user. The biomarker generation system may collect environmental data such as temperature, CO2, fine dust, etc. of the indoor 101 using an environmental sensor, and may control the environment of the indoor 101 space based on the collected environmental data. . The biomarker generation system may collect data from the bed sensor, lighting/power control, and artificial intelligence speaker, and may acquire the user's sleep pattern present in the bed based on the collected data, including the obtained sleep pattern It is possible to recognize the user's emergency situation from the life log. The biomarker generation system can control the smart door lock to remotely open the emergency door. The biomarker generation system may recognize an emergency (eg, fall, fainting) based on data collected using the smart lens. In connection with the 119 service, the biomarker generation system may automatically connect to the 119 service to notify the user of the emergency when the user's emergency is recognized.

바이오마커 생성 시스템은 댁내(101)에 구성된 IoT 센서를 이용하여 수집된 데이터에 기초하여 수면 패턴 및 행동 패턴을 획득할 수 있다. 바이오마커 생성 시스템은 획득된 수면 패턴 및 행동 패턴을 포함하는 바이오마커를 생성할 수 있고, 생성된 바이오마커로부터 치매, 파킨슨병, 노인 우울증 등의 난치성 노인질환을 진단할 수 있다. The biomarker generation system may acquire a sleep pattern and a behavior pattern based on data collected using the IoT sensor configured in the home 101 . The biomarker generating system may generate a biomarker including the acquired sleep pattern and behavior pattern, and may diagnose intractable geriatric diseases such as dementia, Parkinson's disease, and geriatric depression from the generated biomarker.

도 2를 참고하면, 바이오마커 생성 시스템은 B2B 글로벌 제약 시장 및 의료 시장에 진출할 수 있다. 또한, 바이오마커 생성 시스템은 라이프코칭 서비스를 통한 새로운 일자리를 창출할 수 있다. 바이오마커 생성 시스템은 B2C개인별 맞춤 건강 서비스, 라이프 코칭 서비스를 제공하는 건강관리사, 맞춤 건강식 서비스 제공을 통한 지역 일자리를 창출할 수 있다. Referring to FIG. 2 , the biomarker generation system may enter the B2B global pharmaceutical market and medical market. In addition, the biomarker generation system can create new jobs through life coaching services. The biomarker generation system can create local jobs through the provision of personalized health services for each B2C individual, health managers who provide life coaching services, and customized health food services.

또한, 바이오마커 생성 시스템은 고련화에 따른 의료비 증가 및 국가 재정 부담 문제를 해소할 수 있다. 바이오마커 생성 시스템은 노인 우울증을 예방하고 난치성 노인질환 조기 진단을 통해 건강하고 행복한 삶을 제공할 수 있다. 바이오마커 생성 시스템은 노인 건강에 따른 근로 연령 연장으로 복지비용을 절감시킬 수 있다. In addition, the biomarker generation system can solve problems of increased medical expenses and national financial burden due to advancement. The biomarker generation system can prevent depression in the elderly and provide a healthy and happy life through early diagnosis of intractable geriatric diseases. The biomarker generation system can reduce welfare costs by extending the working age according to the health of the elderly.

또한, 바이오마커 생성 시스템은 기존의 노인 돌봄 서비스(응급 안전 알림 서비스)의 문제점을 상호 보안 및 개선하고 4차 산업 혁명 기술 적용으로 공공 및 민간 부분의 돌봄 대상자를 확대하고 1인 가구 대상자들의 심리적 안정감을 높여 서비스 제공의 지속 가능성을 확보할 수 있다. 바이오마커 생성 시스템은 공공 측면에서 사각지대에 놓인 독거 노인의 돌봄서비스 확대 및 민간 측면에서 차별화된 안심 케어 서비스 니즈에 대응할 수 있다. 바이오마커 생성 시스템은 수집되는 개인별 데이터를 활용하여 인공지능 분석으로 생황 패턴에 기반한 개인화된 상황별 응급대응 기준을 마련하여 모니터링할 수 있다.In addition, the biomarker generation system mutually secures and improves the problems of the existing elderly care service (emergency safety notification service), expands the public and private sectors by applying the 4th industrial revolution technology, and provides psychological stability for single-person households. can increase the sustainability of service provision. The biomarker generation system can respond to the need for differentiated safe care services in the private aspect and expand care services for the elderly living alone who are in a blind spot in the public aspect. The biomarker generation system can use the collected individual data to prepare and monitor personalized emergency response standards for each situation based on survival patterns through artificial intelligence analysis.

또한, 바이오마커 생성 시스템은 건강관리사를 통한 건강상담, 심리상담을 통해 중증 질환 이환을 방지하여, 저렴한 비용으로 건강한 삶을 유도할 수 있다. 바이오마커 생성 시스템은 노인 전용 도시락(개인건강 맞춤 도시락-식사) 서비스를 제공할 수 있다. 삼킴 장애, 씹는 장애, 소화 장애, 대상 증후군 등 건강상태에 맞추어 맞춤형 도시락이 제공될 수 있다. 바이오마커 생성 시스템은 빨래방 사업과 연계 및 노인 일자리 창출 사업과 연계할 수 있다. 예를 들면, 클리닝 서비스가 제공될 수 있다. In addition, the biomarker generation system can induce a healthy life at a low cost by preventing the morbidity of severe diseases through health counseling and psychological counseling through a health manager. The biomarker generation system can provide a lunch box for the elderly (personal health customized lunch box-meal) service. A customized lunch box may be provided according to health conditions such as swallowing disorder, chewing disorder, digestive disorder, and target syndrome. The biomarker generation system can be linked with the laundromat business and with the job creation business for the elderly. For example, a cleaning service may be provided.

도 3은 일 실시예에 따른 바이오마커 생성 시스템의 디지털 바이오마커 통합 플랫폼을 설명하기 위한 도면이다. 3 is a diagram for explaining a digital biomarker integration platform of a biomarker generation system according to an embodiment.

바이오마커 생성 시스템은 바이오마커 통합 플랫폼을 제공할 수 있다. 바이오마커 생성 시스템은 댁내/댁외의 이종 IoT 및 센서 그리고 Open APIs들을 활용하여 사용자의 프라이버시를 침해하지 않으면서 노인 질환을 예방, 조기 진단 및 건강 관리(라이프코칭) 서비스를 제공할 수 있다. The biomarker generation system may provide a biomarker integration platform. The biomarker generation system can provide prevention, early diagnosis, and health management (life coaching) services for the elderly without violating user privacy by utilizing heterogeneous IoT, sensors, and Open APIs in and outside the home.

바이오마커는 디지털 행태로 구성된 것으로서, 보다 개인화되고 통합되고 적응 가능한 접근법을 제공하고, 특정 환자에게 적시에 최상의 중재를 제공한다. 바이오마커는 위험도가 높고 고비용 환자를 식별, 평가 및 관리할 수 *?*있다. 바이오마커는 실제 환경에서 생성되므로 의료진에게 환자의 일상적인 건강 상태를 제공한다. 바이오마커의 데이터는 종단 데이터로 사용되며 임상 및 분자 정보로 분석되어 실시간으로 의료 전문가에게 전달되어 정확하고 효과적으로 환자별 건강 개입을 가능하게 한다. 실시예에서는 복수 개의 바이오마커를 복합적으로 적용하여 한 개의 질환을 파악함으로써 진단의 정확도를 높일 수 있다. Biomarkers are composed of digital behaviors, providing a more personalized, integrated and adaptable approach, providing the best intervention at the right time for a specific patient. Biomarkers can *?* identify, evaluate and manage high-risk and high-cost patients. Biomarkers are generated in real-world environments, providing medical staff with the patient's daily health status. Data from biomarkers are used as longitudinal data, analyzed as clinical and molecular information, and delivered to healthcare professionals in real time, enabling accurate and effective patient-specific health interventions. In an embodiment, the accuracy of diagnosis may be increased by identifying one disease by complex application of a plurality of biomarkers.

일례로, 바이오마커 생성 시스템은 난치성 노인질환 데이터 항목 정의 및 수집을 통해 데이터베이스를 구축한 후, 질환 예진표를 추출하여 서비스 실증자(대조군)의 라이프로그(수면 패턴, 행동 패턴)와 비교 검증(예를 들면, 점수화) 후, 디지털 바이오마커의 유효성을 검증할 수 있다. 예를 들면, 바이오마커 생성 시스템은 데이터베이스에 구축된 정보에 기초하여 난치성 노인질환에 대응하는 질환 예진표를 추출할 수 있다. 이때, 바이오마커 생성 시스템은 치매, 파킨슨, 노인 우울증 질환 데이터의 항목 정의 및 수집을 통해 데이터베이스를 구축할 수 있다. 또한, 바이오마커 생성 시스템은 국민건강보험공단에 청구된 데이터 및 건강 검진 데이터를 수집할 수 있다. As an example, the biomarker generation system builds a database by defining and collecting intractable geriatric disease data items, then extracts a disease prognosis table and compares and verifies it with the lifelog (sleep pattern, behavior pattern) of the service demonstrator (control group) (e.g. For example, after scoring), the validity of the digital biomarker can be verified. For example, the biomarker generation system may extract a disease diagnosis table corresponding to an intractable geriatric disease based on information constructed in a database. In this case, the biomarker generation system may build a database through item definition and collection of dementia, Parkinson's, and elderly depressive disease data. In addition, the biomarker generation system may collect data billed to the National Health Insurance Corporation and health checkup data.

바이오마커 생성 시스템은 지능환경(IoT 센서+AI+빅 데이터)기반의 생체 센서, 스마트 렌즈, 인공지능 스피커로부터 수집된 데이터에 기초하여 수면 패턴 및 행동 패턴을 포함하는 라이프로그를 수집할 수 있다. 바이오마커 생성 시스템은 의료 빅데이터 분석을 수행할 수 있다. 바이오마커 생성 시스템은 난치성 노인질환을 사전에 예측함에 따라 질환 진단 정확도를 증가시킬 수 있다. 바이오마커 생성 시스템은 난치성 노인질환의 위험도를 예측할 수 있고, 약제 순응도 및 부작용을 모니터링 및 예측할 수 있다. 바이오마커 생성 시스템은 의료 빅데이터 관리를 위한 정보 보호 및 보안 기술을 제공할 수 있다. 바이오마커 생성 시스템은 의료 정보 비식별화 익명화를 수행할 수 있다. 바이오마커 생성 시스템은 난치성 노인질환 진단 및 디지털 바이오마커를 위한 인프라, API, 클라우드 기반의 분석 플랫폼을 제공할 수 있다. 바이오마커 생성 시스템은 예측 모델 기반의 개인별 위험도 서비스를 제공할 수 있다. 바이오마커 생성 시스템은 국제 표준 기반의 데이터 통합 및 전송을 수행할 수 있다. 바이오마커 생성 시스템은 디지털 바이오마커 임상적 유용성 검증을 위한 임상시험을 수행할 수 있다.The biomarker generation system can collect lifelogs including sleep patterns and behavior patterns based on data collected from biosensors, smart lenses, and artificial intelligence speakers based on an intelligent environment (IoT sensor + AI + big data). The biomarker generation system may perform medical big data analysis. The biomarker generation system can increase disease diagnosis accuracy by predicting intractable geriatric diseases in advance. The biomarker generation system can predict the risk of intractable geriatric disease, and monitor and predict drug compliance and side effects. The biomarker generation system can provide information protection and security technology for managing medical big data. The biomarker generation system may perform de-identification and anonymization of medical information. The biomarker generation system can provide an infrastructure, API, and cloud-based analysis platform for diagnosing intractable geriatric diseases and digital biomarkers. The biomarker generation system may provide individual risk service based on a predictive model. The biomarker generation system can perform data integration and transmission based on international standards. The biomarker generation system can perform clinical trials for verifying the clinical usefulness of digital biomarkers.

바이오마커 생성 시스템은 IoT 센서, 빅데이터 및 인공 지능을 포함하는 지능환경(AmI)에 기반하여 수집된 데이터를 이용하여 기 설정된 사용자의 공간에서 사용자의 행동 패턴 및 수면 패턴을 분석하고, 분석된 행동 패턴 및 수면 패턴을 포함하는 라이프로그를 획득할 수 있다. 바이오마커 생성 시스템은 건강보험공단 공공 건강검진 데이터베이스. PHR, EMR, CDM과 연계할 수 있다. The biomarker generation system uses data collected based on an intelligent environment (AmI) including IoT sensors, big data and artificial intelligence to analyze the user's behavioral patterns and sleep patterns in a preset user's space, and the analyzed behaviors Lifelog including patterns and sleep patterns can be obtained. The biomarker generation system is the public health checkup database of the National Health Insurance Corporation. It can be linked with PHR, EMR and CDM.

바이오마커 생성 시스템은 생체 센서, 스마트 렌즈, 인공지능 스피커를 포함하는 지능환경 IoT 기술이 융합된 댁내/댁외 서비스를 제공할 수 있다. 바이오마커 생성 시스템은 생체 생체를 이용하여 수면 패턴을 분석하고 질병을 진단할 수 있다. 또한, 바이오마커 생성 시스템은 스마트 렌즈, 인공지능 스피커를 이용하여 행동 패턴을 분석하고 질병을 진단할 수 있다. The biomarker generation system can provide an indoor/outdoor service in which intelligent environment IoT technologies including biometric sensors, smart lenses, and artificial intelligence speakers are fused. The biomarker generation system may analyze a sleep pattern and diagnose a disease using a living body. In addition, the biomarker generation system can analyze behavior patterns and diagnose diseases using smart lenses and artificial intelligence speakers.

바이오마커 생성 시스템은 비접촉 무자각 생체 센서로부터 생체 신호를 수집할 수 있다. 이때, 대상자(사용자)는 별도의 부착 장치가 필요가 없으며, 이를 직접 구동하기 위한 전용 앱이나 장치가 불필요하다. 예를 들면, 바이오마커 생성 시스템은 비접촉 무자각 생체 센서로부터 수면/휴식 상태의 심박수, 호흡수, 움직임 등을 측정할 수 있다. 바이오마커 생성 시스템은 스마트 렌즈(카메라)를 이용하여 영상 데이터를 수집할 수 있다. 예를 들면, 바이오마커 생성 시스템은 스마트 렌즈를 이용하여 보행, 대화, 행위 등 행동 패턴을 분석할 수 있다. 바이오마커 생성 시스템은 인공지능 스피커를 이용하여 음성 데이터를 수집할 수 있다. 예를 들면, 바이오마커 생성 시스템은 대화, 인지 기능 등의 행동 패턴을 분석할 수 있고, 분석된 행동 패턴에 기초하여 위급 상황이라고 판단될 경우, 긴급콜 서비스를 연계할 수 있다. 바이오마커 생성 시스템은 보행, 대화, 행위 및 표정 등의 행동 패턴(정보)를 제공할 수 있고, 수면의 질(예를 들면, 얕은 수면시간, 깊은 수면시간), 수면 시간, 움직임(예를 들면, 뒤척임 횟수) 및 무호흡 등의 수면 패턴(정보)를 제공할 수 있다. The biomarker generating system may collect biosignals from non-contact and insensitive biosensors. In this case, the subject (user) does not need a separate attachment device, and a dedicated app or device for directly driving it is unnecessary. For example, the biomarker generating system may measure a sleep/resting heart rate, respiration rate, movement, and the like from a non-contact, non-subconscious biosensor. The biomarker generation system may collect image data using a smart lens (camera). For example, the biomarker generation system may analyze behavioral patterns such as walking, conversation, and behavior by using a smart lens. The biomarker generation system can collect voice data using an artificial intelligence speaker. For example, the biomarker generation system may analyze behavior patterns such as conversation and cognitive functions, and may link an emergency call service when it is determined that it is an emergency based on the analyzed behavior patterns. The biomarker generation system may provide behavioral patterns (information) such as walking, conversation, actions and facial expressions, and sleep quality (eg, light sleep time, deep sleep time), sleep duration, movement (eg, , toss and turns) and sleep patterns (information) such as apnea can be provided.

구체적으로, 예를 들면, 바이오마커 생성 시스템은 생체 센서로서 무자각 비접촉 도플러 센서를 이용하여 생체 데이터(예를 들면, 심박수, 호흡, 활동량 등)를 수집할 수 있다. 바이오마커 생성 시스템은 수집된 생체 데이터를 기반으로 총 수면시간, 뒤척임 횟수, 얕은 수면시간, 깊은 수면시간, 수면 무호흡 등의 수면 패턴을 분석할 수 있다. 또한, 바이오마커 생성 시스템은 스마트 렌즈(예를 들면, 카메라)를 이용한 객체 및 행동 센싱을 센싱할 수 있고, 센서 데이터 퓨전 기반 생체를 센싱할 수 있다. 이때, 스마트 렌즈는 1080P기반 영상 촬영이 이루어질 수 있다. 바이오마커 생성 시스템은 스마트 렌즈를 통해 24시간 보행, 대화, 표정, 약물섭취, 행위 등 행동패턴을 분석할 수 있고, 수면 중 움직임, 렘수면 등 수면 패턴을 분석할 수 있다. 바이오마커 생성 시스템은 인공지능 스피커를 통해 자연스러운 대화체를 인식하여 행동 패턴을 획득할 수 있다.Specifically, for example, the biomarker generating system may collect biometric data (eg, heart rate, respiration, activity amount, etc.) using an insensitive non-contact Doppler sensor as a biosensor. The biomarker generation system can analyze sleep patterns such as total sleep time, number of toss and turns, light sleep time, deep sleep time, and sleep apnea based on the collected biometric data. In addition, the biomarker generating system may sense object and behavior sensing using a smart lens (eg, a camera), and may sense a biometric based on sensor data fusion. In this case, the smart lens may take 1080P based image. The biomarker generation system can analyze behavior patterns such as 24-hour walking, conversation, facial expression, drug intake, and behavior through smart lenses, and can analyze sleep patterns such as movement during sleep and REM sleep. The biomarker generation system can acquire behavior patterns by recognizing natural dialogues through artificial intelligence speakers.

바이오마커 생성 시스템은 수면 패턴 및 행동 패턴을 포함하는 바이오마커를 생성할 수 있다. 바이오마커 생성 시스템은 생성된 복수의 바이오마커를 통해 수면 패턴에서 수면호흡장애가 기 설정된 기준 이상 발생하고, 기 설정된 시간동안 무호흡, 저호흡 발생 횟수에 따라 경증, 중등증, 중증을 판단하고, 행동 패턴에서 야간 착란, 배회, 안절부절하고, 보행 장애가 발생하고, 대화 패턴에서 혼잣말하거나 화를 쉽게 내거나, 같은말을 기 설정된 횟수 이상 반복할 경우, 치매로 진단할 수 있다. 바이오마커 생성 시스템은 생성된 복수의 바이오마커를 통해 수면 패턴에서 렘수면 행동 장애가 존재하고, 행동 패턴에서 얼굴 굳음, 떨림, 서동, 기 설정된 기준 이하의 보폭, 발을 질질 끄는 보행, 가속 보행, 온몸 현상, 대화하면 걷지 못할 경우, 파킨슨 병으로 진단할 수 있다. 바이오마커 생성 시스템은 생성된 복수의 바이오마커를 통해 수면 패턴에서 수면 장애가 존재하고, 행동 패턴에서 보폭이 비일정하거나, 기 설정된 기준 이상의 보폭, 불규칙한 걸음, 주춤거림이 있고, 대화 패턴에서 비이성적으로 짜증이 존재할 경우, 노인 우울증으로 진단할 수 있다. 바이오마커 생성 시스템은 운동, 식사, 수면 등에 대한 라이프코칭 서비스 및 맞춤 건강식 서비스를 제공할 수 있다. The biomarker generation system may generate biomarkers including sleep patterns and behavioral patterns. The biomarker generation system determines that sleep breathing disorder occurs above a preset standard in the sleep pattern through a plurality of generated biomarkers, and determines mild, moderate, and severe according to the number of occurrences of apnea and hypopnea for a preset time, and the behavior pattern Dementia can be diagnosed when nighttime confusion, wandering, restlessness, gait disturbances occur, self-talking or anger easily in conversation patterns, or repeating the same words more than a preset number of times. In the biomarker generation system, REM sleep behavior disorder exists in the sleep pattern through a plurality of generated biomarkers, and in the behavior pattern, face stiffening, tremor, tremor, stride below the preset standard, dragging the foot, accelerated gait, and whole body phenomena in the behavior pattern. If you can't walk while talking, you can be diagnosed with Parkinson's disease. In the biomarker generation system, there is a sleep disorder in the sleep pattern through a plurality of generated biomarkers, the stride length is irregular in the behavior pattern, there is a stride longer than a preset standard, irregular gait, staggering, and irrationally annoying in the conversation pattern If present, it can be diagnosed as geriatric depression. The biomarker generation system may provide a life coaching service for exercise, meal, sleep, etc. and a customized healthy food service.

도 4는 일 실시예에 따른 바이오마커 생성 시스템에서 개인정보 보호 방법을 설명하기 위한 흐름도이다. 4 is a flowchart illustrating a method for protecting personal information in a biomarker generation system according to an embodiment.

바이오마커 생성 시스템은 비식별화 조치 방안과 개인정보 동의를 통한 데이터 활용 방안으로 나누어 접근할 수 있으며, 개인정보 동의가 이루어진 경우에, 개인별 건강관리 서비스를 제공할 수 있다. 대상자 선정 시 정보 활용 동의 조건이 명시될 수 있다. 이때, 대상자 선정을 위한 기준이 마련될 수 있다. 예를 들면, 선정 대상자의 정보활용에 대한 동의 여부, 정보 활용에 대한 법적 책임이 고지될 수 있다. 바이오마커 생성 시스템은 지자체로부터 동의될 경우, 개인 데이터 활용 동의서를 작성할 수 있다. 바이오마커 생성 시스템은 데이터 활용 방안 및 데이터 관리 기준에 기초하여 데이터를 수집 및 분석할 수 있고, 분석된 데이터에 기초하여 대상자 유형별 응급 대응을 예측할 수 있다. 부가적으로, 바이오마커 생성 시스템은 사용자로부터 개인 보유의 건강 정보, 개인별 의료 정보가 제공됨에 따라 개인별 데이터를 관리를 수행할 수 있고, 개인별 특성을 분석하여 개인별 건강관리 서비스를 제공할 수 있다. 이를 통해 PHR 연계 서비스가 제공될 수 있다. The biomarker generation system can be accessed by dividing it into a de-identification measure and a data utilization plan through personal information consent, and when personal information consent is made, individual health care services can be provided. Conditions for consent to use of information may be specified when selecting subjects. In this case, criteria for selection of subjects may be prepared. For example, whether the selected subject consents to the use of information and the legal responsibility for information use may be notified. The biomarker generation system can create a consent form for the use of personal data if consent is obtained from the local government. The biomarker generation system may collect and analyze data based on a data utilization plan and data management criteria, and may predict an emergency response for each subject type based on the analyzed data. Additionally, the biomarker generation system may manage individual data as personal health information and individual medical information are provided from the user, and may provide individual health management services by analyzing individual characteristics. Through this, a PHR linkage service can be provided.

바이오마커 생성 시스템은 지자체로부터 미동의될 경우, 수집된 데이터에 대한 비식별화 조치를 취할 수 있다. 예를 들면, 바이오마커 생성 시스템은 개인 정보(식별 정보)에 대한 개인식별 요소를 제거하는 비식별 조치를 취할 수 있다. 바이오마커 생성 시스템은 수집된 데이터에 대한 추적 및 비식별화 등을 통한 익명화 기능을 제공할 수 있으며, 사용자별 데이터 통계 기능 제공을 위한 기능을 제공할 수 있다. 바이오마커 생성 시스템은 식별자 조치 기준, 속성자 조치 기준을 설정할 수 있다. 바이오마커 생성 시스템은 설정된 식별자 조치 기준 및 속정자 조치 기준에 기초하여 수집된 데이터에 대한 조치를 취할 수 있다. 바이오마커 생성 시스템은 제3자 측이 서비스로부터 직접 수집한 데이터 또는 서비스 제공자 측으로부터 제공받은 프로파일, 통계 정보 등에 대한 관리 기능을 제공할 수 있다. 바이오마커 생성 시스템은 데이터 저장 및 처리와 관련된 보안, 비식별화, 익명화에 대한 정보를 명세화하고, 명세화된 정보에 기반하여 서비스에 대한 등록 여부를 결정할 수 있다. 또한, 바이오마커 생성 시스템은 데이터 저장 및 처리와 관련된 데이터 저장소가 SaaS(Software as a Service) 형태로 제공되는 서비스인 경우, 외부로부터의 데이터 저장소에 대한 접근을 모니터링할 수 있다. 특히, 사용자 측의 클라이언트, 서비스 제공자 측 또는 정부기관 등이 수집한 데이터의 활용에 대한 모니터링 기능을 요구하는 경우, 수집한 정보를 통계 형태로 제공할 수 있으며, 필요시 수집된 정보를 즉시 삭제할 수 있다.The biomarker generation system may take measures to de-identify the collected data if there is no consent from the local government. For example, the biomarker generation system may take de-identifying measures to remove personally identifiable elements of personal information (identifying information). The biomarker generation system may provide an anonymization function through tracking and de-identification of collected data, and may provide a function for providing data statistical functions for each user. The biomarker generation system may set identifier action criteria and attribute action criteria. The biomarker generation system may take action on the collected data based on the set identifier action criteria and the author action criteria. The biomarker generation system may provide a management function for data directly collected from a service by a third party or a profile and statistical information provided from a service provider. The biomarker generation system may specify information on security, de-identification, and anonymization related to data storage and processing, and determine whether to register for a service based on the specified information. In addition, when the data storage related to data storage and processing is a service provided in the form of Software as a Service (SaaS), the biomarker generation system may monitor access to the data storage from the outside. In particular, if a user's client, service provider, or government agency requests a monitoring function for the use of collected data, the collected information may be provided in the form of statistics, and if necessary, the collected information may be immediately deleted. have.

일 실시예에 따른 바이오마커 생성 시스템은 서비스 제공자 측의 관점에서 제3자 측으로부터 서비스에 대한 명세, 서비스를 사용하는 사용자 측으로부터의 사용자 동의 정보를 수신하여 관리하고, 사용자 측의 사용자 환경 또는 플랫폼 환경에서의 데이터 저장 및 처리와 관련된 프로세스를 검수 및 모니터링하며, 서비스 제공자 측의 데이터 저장소에 저장되는 데이터에 대한 모니터링 기능을 제공하는 개인정보 위험 식별 기술을 제공할 수 있다. 또한, 바이오마커 생성 시스템은 사용자 측의 관점에서 제3자 측의 서비스에 대한 사용자 동의 정보를 저장 및 제공하고, 사용자와 관련된 장치의 데이터 저장소에 대한 물리적 접근 여부를 모니터링하며, 수집된 데이터 현황에 대한 질의 기능을 제공하는 개인정보 위험 식별 기술을 제공할 수 있다.The biomarker generation system according to an embodiment receives and manages the specification of the service from the third party from the point of view of the service provider and user consent information from the user who uses the service, and the user environment or platform on the user's side It is possible to provide a personal information risk identification technology that inspects and monitors processes related to data storage and processing in the environment, and provides a monitoring function for data stored in data storage on the service provider side. In addition, the biomarker generation system stores and provides user consent information for the service of the third party from the user's point of view, monitors whether the user-related device has physical access to the data storage, and records the collected data status. Personal information risk identification technology that provides a query function may be provided.

도 5은 일 실시예에 따른 바이오마커 생성 시스템에서 홀몸 어르신 안심케어 서비스 운영 동작을 설명하기 위한 도면이다. 5 is a view for explaining the operation of the safe care service for the elderly alone in the biomarker generation system according to an embodiment.

일례로, 댁내 상황을 감지하기 위한 장치들이 설치됨으로써 IoT 홈 서비스가 구축될 수 있다. 장치 연동 및 데이터 수집을 위한 IoT 홈 서비스가 구축될 수 있고, 구축된 IoT 홈 서비스를 통하여 지자체와의 협의를 통하여 상황 모니터링 및 대응 매뉴얼이 준비될 수 있다. 이때, 지자체는 장치들의 설치를 확인하고, 생활관리사를 연계할 수 있다. 대상자 선정을 위한 조건 및 방법이 결정됨으로써 대상자가 선정될 수 있다. 예를 들면, 독거 어르신, 싱글족, 1인 가구 등이 대상자로 설정될 수 있다. 선정된 대상자의 현장에 장치가 설치되고, 장치의 작동이 검증될 수 있다. 이에, 댁내 상황이 감지될 수 있다. For example, an IoT home service may be built by installing devices for detecting an in-house situation. An IoT home service for device interworking and data collection can be built, and a situation monitoring and response manual can be prepared through consultation with local governments through the built IoT home service. At this time, the local government can check the installation of the devices and link the life manager. The subject may be selected by determining the conditions and method for selecting the subject. For example, an elderly person living alone, a single family, a single-person household, etc. may be set as the target. The device may be installed at the site of the selected subject, and the operation of the device may be verified. Accordingly, an indoor situation may be detected.

바이오마커 생성 시스템은 사물인터넷 LoRa 전용망에 기반하여 IoT 데이터 포맷에 따른 데이터를 수집할 수 있다. 바이오마커 생성 시스템은 운영 모니터링 및 1차 데이터 분석을 수행할 수 있다. 바이오마커 생성 시스템은 운영 모니터링 및 1차 데이터 분석이 수행됨에 따라 알림 메시지 대응 및 모니터링 관리를 할 수 있다. 이때, 응급 상황 및 장비 오류가 감지될 수 있다. 응급 상황으로 감지될 경우, 생활관리사 및 보호자, 119에게 연락될 수 있고, 장비 오류로 감지될 경우, 장치 담당자에 의하여 유지보수 될 수 있도록 연락될 수 있다. 바이오마커 생성 시스템은 운영 모니터링 및 2차 데이터 분석을 수행할 수 있다. 이때, 딥러닝(예를 들면, DNN)에 기반하여 1차 데이터 분석 또는 2차 데이터 분석이 수행될 수 있다. 운영 모니터링 및 2차 데이터 분석이 수행됨에 따라 바이오마커 생성 시스템의 관리자에 의하여, 장치 등록 및 사용자가 관리될 수 있고, 장치 상태(상황)이 모니터링되고, 홀몸 어르신의 활동 상태 현황, 실내 환경 정보, 응급 상황 알림 등이 수행될 수 있다. The biomarker generation system can collect data according to the IoT data format based on the IoT LoRa dedicated network. The biomarker generation system may perform operational monitoring and primary data analysis. The biomarker generation system may respond to notification messages and manage monitoring as operation monitoring and primary data analysis are performed. At this time, emergency situations and equipment errors may be detected. If it is detected as an emergency, the life manager and guardian, 119 may be contacted. The biomarker generation system can perform operational monitoring and secondary data analysis. In this case, primary data analysis or secondary data analysis may be performed based on deep learning (eg, DNN). As operation monitoring and secondary data analysis are performed, device registration and user can be managed by the manager of the biomarker generation system, the device status (situation) is monitored, the activity status status of the elderly alone, indoor environment information, An emergency situation notification and the like may be performed.

도 6은 일 실시예에 따른 바이오마커 생성 시스템에서 건강케어 서비스를 운영하는 동작을 설명하기 위한 도면이다. 6 is a diagram for explaining an operation of operating a health care service in a biomarker generating system according to an embodiment.

바이오마커 생성 시스템은 우울 방지, 낙상 방지, 자살 방지, 수면 상태, 장비 관리, 콜 상담 서비스 등의 건강케어 서비스를 운영할 수 있다. 바이오마커 생성 시스템은 사용자의 생활 분석 결과를 조회할 수 있다. 예를 들면, 동일 사용자를 기준으로 생활 에너지량을 분석할 수 있고, 또는, 사용자와 유사한 사용자의 그룹과 비교될 수도 있다. 바이오마커 생성 시스템은 사용자의 건강케어 수치를 조회할 수 있다. 예를 들면, 바이오마커 생성 시스템은 사용자의 건강케어 수치에 기초하여 사용자의 상태를 안정, 보통, 케어 등으로 분류할 수 있다. 구체적으로, 다양한 센서 데이터 값들의 퓨전(fusion) 등을 활용한 AI 기반 안심 지수를 산출할 수 있다. The biomarker generation system can operate health care services such as depression prevention, fall prevention, suicide prevention, sleep status, equipment management, and call counseling service. The biomarker generation system may inquire the result of the user's life analysis. For example, the amount of living energy may be analyzed based on the same user, or may be compared with a group of users similar to the user. The biomarker generation system may inquire the user's health care level. For example, the biomarker generating system may classify the user's status into stable, normal, care, etc. based on the user's health care level. Specifically, it is possible to calculate an AI-based safety index using a fusion of various sensor data values.

바이오마커 생성 시스템은 서비스 대상자의 동의(지자체)를 통해 설치된 IoT 장치(센서)들로부터 발생되는 데이터를 수집할 수 있다. 바이오마커 생성 시스템은 수집된 데이터의 분석을 통해 형태별 위험군을 분류하고 생체 모니터링 정보와 객체/행동 인식 정보의 결합을 통한 정교하게 사용자의 생활을 분석할 수 있다. 사용자(독거 어르신)로부터 도움이 요청됨에 따라 센서 데이터가 측정될 수 있다. 이때, 바이오마커 생성 시스템은 측정된 센서 데이터를 수집함에 따라 서비스 대상자별 데이터 전처리를 수행할 수 있다. 바이오마커 생성 시스템은 사용자(독거 어르신)의 활동 상태 및 기기 상태를 감지할 수 있다. 바이오마커 생성 시스템은 평상시 건강 데이터 기반의 이상 여부를 탐지 및 분석할 수 있다. 바이오마커 생성 시스템은 행위 및 행동 기반 낙상/돌연사를 탐지할 수 있다. 바이오마커 생성 시스템은 활동 징후 분석을 통한 상황 및 응급 알람 서비스를 연계할 수 있다. 바이오마커 생성 시스템은 대상자들의 활동 패턴으로부터 응급상황 및 질병징후 추측을 위한 학습 모델을 생성할 수 있고, 생성된 학습 모델에 기반하여 수집된 데이터의 분석을 수행할 수 있다. 바이오마커 생성 시스템은 분석을 수행함에 따라 획득된 예측 정보를 제공할 수 있다. 이때, 대상자 유형별로 예측 정보가 제공될 수 있다. 바이오마커 생성 시스템은 사용자를 모니터링하고, 상태를 분석한 정보를 사용자와 관련된 복지시설(돌봄 센터, 생활 관리사)로 전달할 수 있다. 복지시설에서는 사용자와 관련된 정보를 확인할 수 있다. The biomarker generation system may collect data generated from IoT devices (sensors) installed through the consent of the service target (local government). The biomarker generation system can classify risk groups by type through analysis of the collected data and precisely analyze the user's life through the combination of bio-monitoring information and object/behavioral recognition information. Sensor data may be measured as help is requested from a user (an elderly person living alone). In this case, the biomarker generation system may perform data pre-processing for each service subject as measured sensor data is collected. The biomarker generation system may detect the activity state and device state of a user (an elderly person living alone). The biomarker generation system can detect and analyze whether there is an abnormality based on normal health data. The biomarker generation system can detect behavioral and behavioral based falls/sudden death. The biomarker generation system can link the situation and emergency alarm service through activity symptom analysis. The biomarker generation system may generate a learning model for estimating emergency situations and disease symptoms from activity patterns of subjects, and may perform analysis of collected data based on the generated learning model. The biomarker generation system may provide predictive information obtained as the analysis is performed. In this case, prediction information may be provided for each subject type. The biomarker generation system may monitor the user and deliver the state analysis information to a welfare facility (care center, life manager) related to the user. In welfare facilities, user-related information can be checked.

도 7은 일 실시예에 따른 바이오마커 생성 시스템의 구성을 설명하기 위한 블록도이고, 도 8은 일 실시예에 따른 바이오마커 생성 시스템에서 바이오마커를 생성하는 방법을 설명하기 위한 흐름도이다. 7 is a block diagram illustrating a configuration of a biomarker generation system according to an embodiment, and FIG. 8 is a flowchart illustrating a method of generating a biomarker in the biomarker generation system according to an embodiment.

바이오마커 생성 시스템(100)에 포함된 프로세서는 데이터 수집부(710), 패턴 정보 획득부(720), 바이오마커 생성부(730) 및 진단부(740)를 포함할 수 있다. 이러한 프로세서 및 프로세서의 구성요소들은 도 8의 바이오마커를 생성하는 방법이 포함하는 단계들(810 내지 840)을 수행하도록 바이오마커 생성 시스템을 제어할 수 있다. 이때, 프로세서 및 프로세서의 구성요소들은 메모리가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서의 구성요소들은 바이오마커 생성 시스템(100)에 저장된 프로그램 코드가 제공하는 제어 명령에 따라 프로세서에 의해 수행되는 서로 다른 기능들(different functions)의 표현들일 수 있다. The processor included in the biomarker generation system 100 may include a data collection unit 710 , a pattern information acquisition unit 720 , a biomarker generation unit 730 , and a diagnosis unit 740 . Such a processor and components of the processor may control the biomarker generation system to perform steps 810 to 840 included in the method for generating a biomarker of FIG. 8 . In this case, the processor and the components of the processor may be implemented to execute instructions according to the code of the operating system included in the memory and the code of at least one program. Here, the components of the processor may be expressions of different functions performed by the processor according to a control command provided by the program code stored in the biomarker generating system 100 .

프로세서는 바이오마커를 생성하는 방법을 위한 프로그램의 파일에 저장된 프로그램 코드를 메모리에 로딩할 수 있다. 예를 들면, 바이오마커 생성 시스템(100)에서 프로그램이 실행되면, 프로세서는 운영체제의 제어에 따라 프로그램의 파일로부터 프로그램 코드를 메모리에 로딩하도록 바이오마커 생성 시스템을 제어할 수 있다.The processor may load the program code stored in the file of the program for the method of generating the biomarker into the memory. For example, when a program is executed in the biomarker generating system 100 , the processor may control the biomarker generating system to load the program code from the program file into the memory according to the control of the operating system.

단계(810)에서 데이터 수집부(710)는 IoT 센서, 빅데이터 및 인공 지능을 포함하는 지능환경을 기반으로 난치성 노인질환 진단을 위한 데이터를 수집할 수 있다. 데이터 수집부(710)는 IoT 센서 중 스마트 렌즈를 이용하여 생체, 객체 및 행동을 센싱함에 따라 영상 데이터를 획득할 수 있다. 데이터 수집부(710)는 IoT 센서 중 무자각 생체 센서를 이용하여 생체 데이터를 수집할 수 있다. 데이터 수집부(710)는 IoT 센서 중 인공지능 스피커를 이용하여 음성 데이터를 수집할 수 있다. 데이터 수집부(720)는 치매, 파킨슨 또는 노인 우울증과 관련된 질환 데이터 항목 정의 및 수집을 위한 난치성 노인질환 데이터베이스를 구축할 수 있다. In step 810 , the data collection unit 710 may collect data for diagnosing intractable geriatric diseases based on an intelligent environment including IoT sensors, big data, and artificial intelligence. The data collection unit 710 may acquire image data by sensing a living body, an object, and an action using a smart lens among IoT sensors. The data collection unit 710 may collect biometric data using an unconscious biometric sensor among IoT sensors. The data collection unit 710 may collect voice data using an artificial intelligence speaker among IoT sensors. The data collection unit 720 may build an intractable geriatric disease database for defining and collecting disease data items related to dementia, Parkinson's, or geriatric depression.

단계(820)에서 패턴 정보 획득부(720)는 수집된 데이터의 분석을 수행함에 따라 패턴 정보를 획득할 수 있다. 패턴 정보 획득부(720)는 IoT 센서, 빅데이터 및 인공 지능을 포함하는 지능환경(AmI)에 기반하여 수집된 데이터를 이용하여 기 설정된 사용자의 공간에서 사용자의 행동 패턴 및 수면 패턴을 분석하고, 분석된 행동 패턴 및 수면 패턴을 포함하는 라이프로그를 획득할 수 있다. 패턴 정보 획득부(720)는 수집된 데이터에 대한 비식별화 및 익명화를 수행할 수 있다. 패턴 정보 획득부(720)는 획득된 영상 데이터를 이용하여 보행, 대화, 행위를 포함하는 행동 패턴을 분석할 수 있다. 패턴 정보 획득부(720)는 IoT 센서 중 무자각 생체 센서를 이용하여 수집된 생체 데이터에 기초하여 총 수면시간, 뒤척임 횟수, 수면의 질, 수면 중 움직임, 수면 무호흡 여부를 포함하는 수면 패턴을 분석하고, 분석된 수면 패턴으로부터 심박수, 호흡, 움직임을 포함하는 건강 상태를 파악할 수 있다. 패턴 정보 획득부(720)는 수집된 음성 데이터에 기초하여 통화, 혼잣말, 대화 여부를 포함하는 발화 정보를 분석하고, 분석된 발화 정보를 이용하여 대화, 인지 기능을 포함하는 행동 패턴을 분석하고, 분석된 행동 패턴으로부터 사용자의 심리상태를 파악할 수 있다. In operation 820 , the pattern information acquisition unit 720 may acquire pattern information by analyzing the collected data. The pattern information acquisition unit 720 analyzes the user's behavior pattern and sleep pattern in a preset user's space using data collected based on an intelligent environment (AmI) including IoT sensors, big data and artificial intelligence, A lifelog including the analyzed behavioral pattern and sleep pattern can be obtained. The pattern information acquisition unit 720 may perform de-identification and anonymization of the collected data. The pattern information acquisition unit 720 may analyze a behavior pattern including walking, conversation, and behavior by using the acquired image data. The pattern information acquisition unit 720 analyzes a sleep pattern including total sleep time, number of toss and turns, quality of sleep, movement during sleep, and whether sleep apnea is based on the biometric data collected using an unconscious biometric sensor among IoT sensors In addition, health conditions including heart rate, respiration, and movement can be identified from the analyzed sleep pattern. The pattern information obtaining unit 720 analyzes speech information including whether a call, a self-talk, and a conversation is based on the collected voice data, and analyzes a behavior pattern including a conversation and a cognitive function using the analyzed speech information, The psychological state of the user can be identified from the analyzed behavior pattern.

단계(830)에서 바이오마커 생성부(730)는 획득된 패턴 정보를 포함하는 복수의 바이오마커를 생성할 수 있다. In operation 830, the biomarker generator 730 may generate a plurality of biomarkers including the obtained pattern information.

단계(840)에서 진단부(740)는 생성된 복수의 바이오마커를 이용하여 난치성 노인질환을 진단할 수 있다. 진단부(740)는 생성된 복수의 바이오마커를 통해 수면 패턴에서 수면호흡장애가 기 설정된 기준 이상 발생하고, 기 설정된 시간동안 무호흡, 저호흡 발생 횟수에 따라 경증, 중등증, 중증을 판단하고, 행동 패턴에서 야간 착란, 배회, 안절부절하고, 보행 장애가 발생하고, 대화 패턴에서 혼잣말하거나 화를 쉽게 내거나, 같은말을 기 설정된 횟수 이상 반복할 경우, 치매로 진단할 수 있다. 진단부(740)는 생성된 복수의 바이오마커를 통해 수면 패턴에서 렘수면 행동 장애가 존재하고, 행동 패턴에서 얼굴 굳음, 떨림, 서동, 기 설정된 기준 이하의 보폭, 발을 질질 끄는 보행, 가속 보행, 온몸 현상, 대화하면 걷지 못할 경우, 파킨슨 병으로 진단할 수 있다. 진단부(740)는 생성된 복수의 바이오마커를 통해 수면 패턴에서 수면 장애가 존재하고, 행동 패턴에서 보폭이 비일정하거나, 기 설정된 기준 이상의 보폭, 불규칙한 걸음, 주춤거림이 있고, 대화 패턴에서 비이성적으로 짜증이 존재할 경우, 노인 우울증으로 진단할 수 있다. In operation 840, the diagnosis unit 740 may diagnose intractable geriatric disease by using the generated plurality of biomarkers. The diagnosis unit 740 determines that sleep breathing disorder occurs more than a preset standard in the sleep pattern through the generated biomarkers, and determines mild, moderate, and severe according to the number of occurrences of apnea and hypoventilation for a preset time, and acts Dementia can be diagnosed when nighttime confusion, wandering, restlessness, gait disturbances occur in the pattern, self-talking or anger easily in the conversation pattern, or repeating the same words more than a preset number of times. The diagnosis unit 740 determines that there is a REM sleep behavior disorder in the sleep pattern through a plurality of generated biomarkers, and in the behavior pattern, face stiffening, tremor, tremor, stride length less than a preset standard, stride gait, accelerated gait, and whole body Symptoms, if you can't walk when talking, you can be diagnosed with Parkinson's disease. The diagnosis unit 740 determines that there is a sleep disorder in the sleep pattern through the generated plurality of biomarkers, the stride length is irregular in the behavior pattern, there is a stride length greater than a preset standard, irregular gait, stuttering, and the conversation pattern is irrational. If irritability is present, it can be diagnosed as geriatric depression.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented as a hardware component, a software component, and/or a combination of the hardware component and the software component. For example, devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA). , a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions, may be implemented using one or more general purpose or special purpose computers. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, although one processing device is sometimes described as being used, one of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that may include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. may be embodied in The software may be distributed over networked computer systems and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible by those skilled in the art from the above description. For example, the described techniques are performed in a different order than the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (14)

컴퓨터로 구현되는 바이오마커 생성 시스템에 의해 수행되는 바이오마커 생성 방법에 있어서,
IoT 센서, 빅데이터 및 인공 지능을 포함하는 지능환경(AmI)을 기반으로 지자체와의 협의를 통한 데이터 활용 방안 및 데이터 관리 기준에 따라 사용자의 난치성 노인질환 진단을 위한 데이터를 수집하는 단계;
상기 수집된 데이터의 분석을 수행함에 따라 패턴 정보를 획득하는 단계;
상기 획득된 패턴 정보를 포함하는 복수의 바이오마커를 생성하는 단계; 및
상기 생성된 복수의 바이오마커를 이용하여 치매, 파킨슨병, 노인 우울증을 포함하는 난치성 노인질환을 진단하는 단계
를 포함하고,
상기 수집하는 단계는,
사용자 선정 시 정보 활용에 대한 동의 여부와 법적 책임이 고지됨에 따라 지자체의 동의 여부를 수신받고, 상기 지자체로부터 동의될 경우, 개인 데이터 활용 동의서를 작성하고, 개인 데이터의 활용 방안 및 데이터 관리 기준에 기초하여 데이터를 수집 및 분석하여 사용자 유형별 응급 대응을 예측하는 기능을 제공하도록 설정하고, 사용자 개인별 특성을 분석하여 개인별 건강관리 서비스를 위한 기능을 제공하도록 설정하고, 상기 지자체로부터 미동의될 경우, 상기 수집된 데이터에 대한 비식별화 및 익명화를 수행하여 사용자별 데이터 통계를 제공하는 기능을 제공하도록 설정하는 단계
를 포함하고,
상기 패턴 정보를 획득하는 단계는,
딥러닝을 이용하여 스마트(IoT) 게이트웨이를 통해 상기 IoT 센서로부터 수집된 데이터로부터 기 설정된 사용자의 공간에서 사용자의 행동 패턴 및 수면 패턴을 분석하고, 상기 분석된 행동 패턴 및 수면 패턴을 포함하는 라이프로그를 획득하는 단계
를 포함하는 바이오마커 생성 방법. In the biomarker generation method performed by a computer-implemented biomarker generation system,
Collecting data for diagnosing intractable geriatric diseases of users according to data utilization plans and data management standards through consultation with local governments based on an intelligent environment (AmI) including IoT sensors, big data and artificial intelligence;
acquiring pattern information as the collected data is analyzed;
generating a plurality of biomarkers including the obtained pattern information; and
Diagnosing intractable geriatric diseases including dementia, Parkinson's disease, and geriatric depression using the generated plurality of biomarkers
including,
The collecting step is
When selecting a user, as the consent and legal responsibility for information use is notified, the consent of the local government is received. to collect and analyze data to provide a function to predict emergency response by user type, to analyze individual characteristics of each user to provide a function for individual health care service, and to collect Setting up to provide a function that provides data statistics for each user by performing de-identification and anonymization of the data
including,
The step of obtaining the pattern information includes:
Using deep learning, a user's behavior pattern and sleep pattern are analyzed in a preset user's space from data collected from the IoT sensor through a smart (IoT) gateway, and a lifelog including the analyzed behavior pattern and sleep pattern steps to obtain
A method of generating a biomarker comprising a. 삭제delete 삭제delete 제1항에 있어서,
상기 데이터를 수집하는 단계는,
상기 IoT 센서 중 스마트 렌즈를 이용하여 생체, 객체 및 행동을 센싱함에 따라 영상 데이터를 획득하는 단계
를 포함하고,
상기 패턴 정보를 획득하는 단계는,
상기 획득된 영상 데이터를 이용하여 보행, 대화, 행위를 포함하는 행동 패턴을 분석하는 단계
를 포함하는 바이오마커 생성 방법. According to claim 1,
Collecting the data includes:
Acquiring image data by sensing a living body, an object, and an action using a smart lens among the IoT sensors
including,
The step of obtaining the pattern information includes:
Analyzing a behavior pattern including walking, conversation, and behavior using the obtained image data
A method of generating a biomarker comprising a. 제1항에 있어서,
상기 데이터를 수집하는 단계는,
상기 IoT 센서 중 무자각 생체 센서를 이용하여 생체 데이터를 수집하는 단계
를 포함하고,
상기 패턴 정보를 획득하는 단계는,
상기 IoT 센서 중 무자각 생체 센서를 이용하여 수집된 생체 데이터에 기초하여 총 수면시간, 뒤척임 횟수, 수면의 질, 수면 중 움직임, 수면 무호흡 여부를 포함하는 수면 패턴을 분석하고, 상기 분석된 수면 패턴으로부터 심박수, 호흡, 움직임을 포함하는 건강 상태를 파악하는 단계
를 포함하는 바이오마커 생성 방법. According to claim 1,
Collecting the data includes:
Collecting biometric data by using an unconscious biometric sensor among the IoT sensors
including,
The step of obtaining the pattern information includes:
Based on the biometric data collected using the unconscious biometric sensor among the IoT sensors, a sleep pattern including total sleep time, toss and turns, sleep quality, sleep movement, and sleep apnea is analyzed, and the analyzed sleep pattern Steps to determine health status including heart rate, breathing, and movement from
A method of generating a biomarker comprising a. 제1항에 있어서,
상기 데이터를 수집하는 단계는,
상기 IoT 센서 중 인공지능 스피커를 이용하여 음성 데이터를 수집하는 단계
를 포함하고,
상기 패턴 정보를 획득하는 단계는,
상기 수집된 음성 데이터에 기초하여 통화, 혼잣말, 대화 여부를 포함하는 음성 정보를 분석하고, 상기 분석된 음성 정보를 이용하여 대화, 인지 기능을 포함하는 행동 패턴을 분석하여 사용자의 심리상태를 파악하는 단계
를 포함하는 바이오마커 생성 방법. According to claim 1,
Collecting the data includes:
Collecting voice data using an artificial intelligence speaker among the IoT sensors
including,
The step of obtaining the pattern information includes:
Analyzing voice information including whether a call, self-talk, or conversation is based on the collected voice data, and analyzing a behavior pattern including conversation and cognitive functions using the analyzed voice information to determine the user's psychological state step
A method of generating a biomarker comprising a. 제1항에 있어서,
상기 진단하는 단계는,
상기 생성된 복수의 바이오마커를 통해 수면 패턴에서 수면호흡장애가 기 설정된 기준 이상 발생하고, 기 설정된 시간동안 무호흡, 저호흡 발생 횟수에 따라 경증, 중등증, 중증을 판단하고, 행동 패턴에서 야간 착란, 배회, 안절부절하고, 보행 장애가 발생하고, 대화 패턴에서 혼잣말하거나 화를 쉽게 내거나, 같은말을 기 설정된 횟수 이상 반복할 경우, 치매로 진단하는 단계
를 포함하는 바이오마커 생성 방법. According to claim 1,
The diagnosing step is
Through the generated plurality of biomarkers, sleep breathing disorder occurs more than a preset standard in the sleep pattern, mild, moderate, and severe are judged according to the number of occurrences of apnea and hypopnea for a preset time, night confusion in the behavior pattern, Diagnosis of dementia when wandering, restlessness, gait disturbance, self-talk or anger easily in conversation patterns, or repeating the same words more than a preset number of times
A method of generating a biomarker comprising a. 제1항에 있어서,
상기 진단하는 단계는,
상기 생성된 복수의 바이오마커를 통해 수면 패턴에서 렘수면 행동 장애가 존재하고, 행동 패턴에서 얼굴 굳음, 떨림, 서동, 기 설정된 기준 이하의 보폭, 발을 질질 끄는 보행, 가속 보행, 온몸 현상, 대화하면 걷지 못할 경우, 파킨슨 병으로 진단하는 단계
를 포함하는 바이오마커 생성 방법. According to claim 1,
The diagnosing step is
REM sleep behavior disorder is present in the sleep pattern through the generated plurality of biomarkers, and in the behavior pattern, face stiffening, tremor, tremor, stride below a preset standard, stride walking, accelerated walking, whole body phenomenon, walking when talking If not, the steps to diagnose Parkinson's disease
A method of generating a biomarker comprising a. 제1항에 있어서,
상기 진단하는 단계는,
상기 생성된 복수의 바이오마커를 통해 수면 패턴에서 수면 장애가 존재하고, 행동 패턴에서 보폭이 비일정하거나, 기 설정된 기준 이상의 보폭, 불규칙한 걸음, 주춤거림이 있고, 대화 패턴에서 비이성적으로 짜증이 존재할 경우, 노인 우울증으로 진단하는 단계
를 포함하는 바이오마커 생성 방법. According to claim 1,
The diagnosing step is
If there is a sleep disorder in the sleep pattern through the generated plurality of biomarkers, the stride length is irregular in the behavior pattern, there is a stride length greater than a preset standard, irregular gait, stuttering, and irrational irritation exists in the conversation pattern, Steps to Diagnose Elderly Depression
A method of generating a biomarker comprising a. 제1항에 있어서,
상기 데이터를 수집하는 단계는,
치매, 파킨슨 또는 노인 우울증과 관련된 질환 데이터 항목 정의 및 수집을 위한 난치성 노인질환 데이터베이스를 구축하는 단계
를 포함하는 바이오마커 생성 방법. According to claim 1,
Collecting the data includes:
Step of establishing an intractable geriatric disease database for defining and collecting disease data items related to dementia, Parkinson's, or geriatric depression
A method of generating a biomarker comprising a. 컴퓨터로 구현되는 바이오마커 생성 시스템에 있어서,
IoT 센서, 빅데이터 및 인공 지능을 포함하는 지능환경(AmI)을 기반으로 지자체와의 협의를 통한 데이터 활용 방안 및 데이터 관리 기준에 따라 사용자의 난치성 노인질환 진단을 위한 데이터를 수집하는 데이터 수집부;
상기 수집된 데이터의 분석을 수행함에 따라 패턴 정보를 획득하는 패턴 정보 획득부;
상기 획득된 패턴 정보를 포함하는 복수의 바이오마커를 생성하는 바이오마커 생성부; 및
상기 생성된 복수의 바이오마커를 이용하여 치매, 파킨슨병, 노인 우울증을 포함하는 난치성 노인질환을 진단하는 진단부
를 포함하고,
상기 데이터 수집부는,
사용자 선정 시 정보 활용에 대한 동의 여부와 법적 책임이 고지됨에 따라 지자체의 동의 여부를 수신받고, 상기 지자체로부터 동의될 경우, 개인 데이터 활용 동의서를 작성하고, 개인 데이터의 활용 방안 및 데이터 관리 기준에 기초하여 데이터를 수집 및 분석하여 사용자 유형별 응급 대응을 예측하는 기능을 제공하도록 설정하고, 사용자 개인별 특성을 분석하여 개인별 건강관리 서비스를 위한 기능을 제공하도록 설정하고, 상기 지자체로부터 미동의될 경우, 상기 수집된 데이터에 대한 비식별화 및 익명화를 수행하여 사용자별 데이터 통계를 제공하는 기능을 제공하도록 설정하는 것을 포함하고,
상기 패턴 정보 획득부는,
딥러닝을 이용하여 스마트(IoT) 게이트웨이를 통해 상기 IoT 센서로부터 수집된 데이터로부터 기 설정된 사용자의 공간에서 사용자의 행동 패턴 및 수면 패턴을 분석하고, 상기 분석된 행동 패턴 및 수면 패턴을 포함하는 라이프로그를 획득하는
바이오마커 생성 시스템. In the biomarker generation system implemented by a computer,
a data collection unit that collects data for diagnosing intractable geriatric diseases of users according to data utilization plans and data management standards through consultation with local governments based on an intelligent environment (AmI) including IoT sensors, big data and artificial intelligence;
a pattern information acquisition unit configured to acquire pattern information as the collected data is analyzed;
a biomarker generating unit generating a plurality of biomarkers including the obtained pattern information; and
A diagnostic unit for diagnosing intractable geriatric diseases including dementia, Parkinson's disease, and geriatric depression using the generated plurality of biomarkers
including,
The data collection unit,
When selecting a user, as the consent and legal responsibility for information use is notified, the consent of the local government is received. to collect and analyze data to provide a function to predict emergency response by user type, to analyze individual characteristics of each user to provide a function for individual health care service, and to collect Including de-identification and anonymization of the collected data to provide a function to provide data statistics for each user,
The pattern information obtaining unit,
Using deep learning, a user's behavior pattern and sleep pattern are analyzed in a preset user's space from data collected from the IoT sensor through a smart (IoT) gateway, and a lifelog including the analyzed behavior pattern and sleep pattern to obtain
Biomarker Generation System. 삭제delete 제11항에 있어서,
상기 데이터 수집부는,
상기 IoT 센서 중 스마트 렌즈를 이용하여 생체, 객체 및 행동을 센싱함에 따라 영상 데이터를 획득하고, 상기 IoT 센서 중 무자각 생체 센서를 이용하여 생체 데이터를 수집하고, 상기 IoT 센서 중 인공지능 스피커를 이용하여 음성 데이터를 수집하는 것을 포함하고,
상기 패턴 정보 획득부는,
상기 획득된 영상 데이터를 이용하여 보행, 대화, 행위를 포함하는 행동 패턴을 분석하고,
상기 IoT 센서 중 무자각 생체 센서를 이용하여 수집된 생체 데이터에 기초하여 총 수면시간, 뒤척임 횟수, 수면의 질, 수면 중 움직임, 수면 무호흡 여부를 포함하는 수면 패턴을 분석하고, 상기 분석된 수면 패턴으로부터 심박수, 호흡, 움직임을 포함하는 건강 상태를 파악하고,
상기 수집된 음성 데이터에 기초하여 통화, 혼잣말, 대화 여부를 포함하는 음성 정보를 분석하고, 상기 분석된 음성 정보를 이용하여 대화, 인지 기능을 포함하는 행동 패턴을 분석하여 사용자의 심리상태를 파악하는
것을 특징으로 하는 바이오마커 생성 시스템. 12. The method of claim 11,
The data collection unit,
Among the IoT sensors, image data is obtained by sensing a living body, object, and behavior using a smart lens, biometric data is collected using an unconscious biometric sensor among the IoT sensors, and an artificial intelligence speaker is used among the IoT sensors. to collect voice data,
The pattern information obtaining unit,
Analyze behavior patterns including walking, conversation, and behavior using the acquired image data,
Based on the biometric data collected using the unconscious biometric sensor among the IoT sensors, a sleep pattern including total sleep time, toss and turns, sleep quality, sleep movement, and sleep apnea is analyzed, and the analyzed sleep pattern health status including heart rate, respiration, and movement from
Analyzing voice information including whether a call, self-talk, or conversation is based on the collected voice data, and analyzing a behavior pattern including conversation and cognitive functions using the analyzed voice information to determine the user's psychological state
A biomarker generation system, characterized in that. 제11항에 있어서,
상기 진단부는,
상기 생성된 복수의 바이오마커를 통해 수면 패턴에서 수면호흡장애가 기 설정된 기준 이상 발생하고, 기 설정된 시간동안 무호흡, 저호흡 발생 횟수에 따라 경증, 중등증, 중증을 판단하고, 행동 패턴에서 야간 착란, 배회, 안절부절하고, 보행 장애가 발생하고, 대화 패턴에서 혼잣말하거나 화를 쉽게 내거나, 같은말을 기 설정된 횟수 이상 반복할 경우, 치매로 진단하고,
상기 생성된 복수의 바이오마커를 통해 수면 패턴에서 렘수면 행동 장애가 존재하고, 행동 패턴에서 얼굴 굳음, 떨림, 서동, 기 설정된 기준 이하의 보폭, 발을 질질 끄는 보행, 가속 보행, 온몸 현상, 대화하면 걷지 못할 경우, 파킨슨 병으로 진단하고,
상기 생성된 복수의 바이오마커를 통해 수면 패턴에서 수면 장애가 존재하고, 행동 패턴에서 보폭이 비일정하거나, 기 설정된 기준 이상의 보폭, 불규칙한 걸음, 주춤거림이 있고, 대화 패턴에서 비이성적으로 짜증이 존재할 경우, 노인 우울증으로 진단하는
것을 특징으로 하는 바이오마커 생성 시스템. 12. The method of claim 11,
The diagnostic unit,
Sleep breathing disorder occurs above a preset standard in the sleep pattern through the generated plurality of biomarkers, mild, moderate, and severe are determined according to the number of occurrences of apnea and hypopnea for a preset time, night confusion in the behavior pattern, Dementia is diagnosed when wandering, restlessness, gait disturbance, self-talk or anger easily in conversation patterns, or repeating the same words more than a preset number of times,
REM sleep behavior disorder is present in the sleep pattern through the generated plurality of biomarkers, and in the behavior pattern, face stiffening, tremor, tremor, stride length less than a preset standard, stride gait, accelerated gait, whole body phenomenon, walking when talking If not, diagnosed with Parkinson's disease,
If there is a sleep disorder in the sleep pattern through the generated plurality of biomarkers, the stride length is irregular in the behavior pattern, there is a stride length greater than a preset standard, irregular gait, stuttering, and irrational irritation exists in the conversation pattern, Diagnosed with Depression in the Elderly
Biomarker generation system, characterized in that.
KR1020200024078A 2020-02-27 2020-02-27 INTELLIGENT ENVIRONMENT(Aml=AI/ML) CONFIGURATION USING INSENSITIVE IoT SENSOR AND DIGITAL BIOMARKER GENERATION TECHNOLOGY AND ITS SYSTEM KR102429188B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200024078A KR102429188B1 (en) 2020-02-27 2020-02-27 INTELLIGENT ENVIRONMENT(Aml=AI/ML) CONFIGURATION USING INSENSITIVE IoT SENSOR AND DIGITAL BIOMARKER GENERATION TECHNOLOGY AND ITS SYSTEM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200024078A KR102429188B1 (en) 2020-02-27 2020-02-27 INTELLIGENT ENVIRONMENT(Aml=AI/ML) CONFIGURATION USING INSENSITIVE IoT SENSOR AND DIGITAL BIOMARKER GENERATION TECHNOLOGY AND ITS SYSTEM

Publications (2)

Publication Number Publication Date
KR20210109169A KR20210109169A (en) 2021-09-06
KR102429188B1 true KR102429188B1 (en) 2022-08-03

Family

ID=77782411

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200024078A KR102429188B1 (en) 2020-02-27 2020-02-27 INTELLIGENT ENVIRONMENT(Aml=AI/ML) CONFIGURATION USING INSENSITIVE IoT SENSOR AND DIGITAL BIOMARKER GENERATION TECHNOLOGY AND ITS SYSTEM

Country Status (1)

Country Link
KR (1) KR102429188B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101006799B1 (en) 2010-05-10 2011-01-10 서성보 System and method for user-specific healthcare service
KR101964733B1 (en) * 2018-08-09 2019-04-02 주식회사 아롬정보기술 Personalized health care system based on block chain and artificial intelligence, and method for providing personalized health care service based on block chain and artificial intelligence using the same

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160005924A (en) * 2014-07-08 2016-01-18 한국전자통신연구원 Dementia Patient Management System and method thereof
KR102202262B1 (en) * 2015-10-05 2021-01-13 한국전자통신연구원 Apparatus and method for recognizing symptoms of dementia and managing patient with dementia

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101006799B1 (en) 2010-05-10 2011-01-10 서성보 System and method for user-specific healthcare service
KR101964733B1 (en) * 2018-08-09 2019-04-02 주식회사 아롬정보기술 Personalized health care system based on block chain and artificial intelligence, and method for providing personalized health care service based on block chain and artificial intelligence using the same

Also Published As

Publication number Publication date
KR20210109169A (en) 2021-09-06

Similar Documents

Publication Publication Date Title
Cook et al. Using smart city technology to make healthcare smarter
Austin et al. A smart-home system to unobtrusively and continuously assess loneliness in older adults
KR102558021B1 (en) A clinical decision support ensemble system and the clinical decision support method by using the same
CN108778097A (en) Device and method for assessing heart failure
JP2019523027A (en) Apparatus and method for recording and analysis of memory and function decline
Thorpe et al. Development of a sensor-based behavioral monitoring solution to support dementia care
JP2013238970A (en) Health management system
CN115769302A (en) Epidemic disease monitoring system
US20210383926A1 (en) Mental health assessment system and method
Baig et al. Falls risk assessment for hospitalised older adults: a combination of motion data and vital signs
Singh et al. Cvdmagic: a mobile based study for cvd risk detection in rural india
KR20190132710A (en) Method and system for predicting and analyzing stroke severity using nihss
Vargiu et al. Context-aware based quality of life telemonitoring
Barnard‐Brak et al. Assessing wandering risk among individuals with Alzheimer's disease and dementia: a pilot study
JPWO2019221252A1 (en) Information processing equipment, information processing methods and programs
KR20130062464A (en) System and method based on usn for bio-signal gathering
Hackett et al. Capturing cognitive aging in vivo: application of a neuropsychological framework for emerging digital tools
KR102429188B1 (en) INTELLIGENT ENVIRONMENT(Aml=AI/ML) CONFIGURATION USING INSENSITIVE IoT SENSOR AND DIGITAL BIOMARKER GENERATION TECHNOLOGY AND ITS SYSTEM
Panagiotou et al. A multi: modal decision making system for an ambient assisted living environment
US20170351829A1 (en) Smart device for monitoring and capturing patient data
Zekri et al. Using learning techniques to observe elderly’s behavior changes over time in smart home
Fayoumi et al. Effective remote monitoring system for heart disease patients
WO2007113890A2 (en) Method and system for testing and control of home-care rehabilitation activity
KR20190066138A (en) Method, apparatus and computer program for modeling of a user activity
KR20230082740A (en) A system and method for senior citizen health management based on my-data

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant