KR102164475B1 - Seizure monitoring method and apparatus using video - Google Patents

Seizure monitoring method and apparatus using video Download PDF

Info

Publication number
KR102164475B1
KR102164475B1 KR1020170087652A KR20170087652A KR102164475B1 KR 102164475 B1 KR102164475 B1 KR 102164475B1 KR 1020170087652 A KR1020170087652 A KR 1020170087652A KR 20170087652 A KR20170087652 A KR 20170087652A KR 102164475 B1 KR102164475 B1 KR 102164475B1
Authority
KR
South Korea
Prior art keywords
patient
seizure
video
monitoring
behaviors
Prior art date
Application number
KR1020170087652A
Other languages
Korean (ko)
Other versions
KR20190006670A (en
Inventor
조백환
서대원
손영민
박은경
이규성
Original Assignee
사회복지법인 삼성생명공익재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 사회복지법인 삼성생명공익재단 filed Critical 사회복지법인 삼성생명공익재단
Priority to KR1020170087652A priority Critical patent/KR102164475B1/en
Publication of KR20190006670A publication Critical patent/KR20190006670A/en
Application granted granted Critical
Publication of KR102164475B1 publication Critical patent/KR102164475B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123Discriminating type of movement, e.g. walking or running
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/746Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06NCOMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computer systems based on biological models
    • G06N3/02Computer systems based on biological models using neural network models

Abstract

동영상 기반 발작 추적감시 방법 및 장치가 개시된다. 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법 및 장치는 환자의 발작 유무를 모니터링하고 동영상을 획득하고, 획득된 동영상을 분석하여, 동영상 내에서 환자 및 환자를 제외한 주변 상황을 구분하여 검출하고, 검출된 주변 상황을 고려하여 뇌발작 환자의 이상 행동들을 분석하여 분석된 이상 행동들에 대응되는 환자의 발작 관련 뇌영역을 추정하고 분석할 수 있다.A video-based seizure tracking and monitoring method and apparatus are disclosed. The video-based seizure tracking and monitoring method and apparatus according to an embodiment of the present invention monitors the presence or absence of a patient's seizure, acquires a video, analyzes the obtained video, and detects the patient and surrounding situations excluding the patient in the video. In addition, by analyzing the abnormal behavior of the brain seizure patient in consideration of the detected surrounding situation, the seizure-related brain region of the patient corresponding to the analyzed abnormal behavior may be estimated and analyzed.

Description

동영상 기반 발작 추적감시 방법 및 장치{SEIZURE MONITORING METHOD AND APPARATUS USING VIDEO}Video-based seizure tracking and monitoring method and device {SEIZURE MONITORING METHOD AND APPARATUS USING VIDEO}
본 발명은 동영상 기반 발작 추적감시 방법 및 장치에 관한 것으로서, 더욱 상세하게는 환자의 발작 유무를 모니터링하고 동영상을 획득하고, 획득된 동영상을 분석하여, 동영상 내에서 환자 및 환자를 제외한 주변 상황을 구분하여 검출하고, 검출된 주변 상황을 고려하여 뇌발작 환자의 이상 행동들을 분석하여 분석된 이상 행동들에 대응되는 환자의 발작 관련 뇌영역을 추정하고 분석하는 동영상 기반 발작 추적감시 방법 및 장치에 관한 것이다.The present invention relates to a video-based seizure tracking and monitoring method and apparatus, and in more detail, by monitoring the presence or absence of a patient's seizure, acquiring a video, and analyzing the acquired video, distinguishing the patient and surrounding situations excluding the patient within the video. The present invention relates to a video-based seizure tracking and monitoring method and apparatus for estimating and analyzing the patient's seizure-related brain regions corresponding to the analyzed abnormal behaviors by analyzing the abnormal behaviors of the brain seizure patient in consideration of the detected surrounding situation. .
한국에서는 해마다 13만명이 넘는 환자들이 뇌전증 발작으로 인하여 고통받고 있으며, 발작 중에 환자는 도움을 청하거나 말하거나 행동할 수 없기 때문에, 환자의 뇌전증 발작을 즉시 감지하고, 환자에게 즉각적으로 도움을 주는 시스템을 구축하는 것이 매우 중요하다.In Korea, more than 130,000 patients suffer from epilepsy attacks each year, and because patients cannot ask for help, speak, or act during the seizure, the patient's epilepsy attack is immediately detected and the patient is immediately given help. It is very important to build a giving system.
뇌전증 발작을 확진하는 가장 기본적인 방법은 발작 당시에 뇌파의 변화를 확인하는 방법으로, 이를 위해서는 특수한 입원검사실(비디오-뇌파 추적검사실: video-EEG monitoring)에서 발작을 기다리며 추적, 감시해야 하고, 환자의 발작을 비디오로 추적관찰하며, 환자가 호소하는 발작 증세나 관찰되는 징후를 찾아서 일일이 확인해야 하는 어려움이 존재한다. 즉, 뇌파(electroencephalography, EEG)를 측정하기 위해서는 두피에 전극을 여러 개 이상 부착하고 잘 부착되어 있는지 지속적으로 확인해 가면서 뇌파를 측정해야 하고, 또한 뇌파로 기록된 파형을 분석 및 해석해야 하는 어려움이 존재하게 된다. The most basic method for confirming an epileptic seizure is to check the changes in EEG at the time of the seizure. To do this, it is necessary to follow up and monitor while waiting for the seizure in a special inpatient laboratory (video-EEG monitoring). It is difficult to follow up the seizure through video, and to find out the seizure symptoms or observed signs that the patient complains of and check them one by one. In other words, in order to measure EEG (electroencephalography, EEG), it is necessary to measure EEG while attaching more than one electrode to the scalp and continuously checking whether it is well attached, and there is a difficulty in analyzing and interpreting the waveform recorded as EEG. Is done.
또한, 뇌파를 기록하는데 있어서, 뇌전증 발작이 드물게 일어나거나 수면발작 또는 기상 발작, 월경악화 발작, 섭식발작 등 예측하기 어려운 상황에서 발작이 발생하기 때문에, 다양한 일상생활에서 일어나는 발작을 기록하고 확인하기 어렵다는 점이다. 또한, 뇌전증 환자가 뇌파 측정장비를 부착하고 생활하기 어려우며, 고가의 뇌파 측정장비 역시 대중화되기 어려워 일반 입원병실은 물론, 이동용, 가정용으로 활용되기 어렵고, 환자가 인지 못하는 상황에서는 발작을 확인하여 진단과 치료에 이용하는 것은 물론, 발작 환자의 사고와 손상을 예방하는 데 이용하기 힘들다는 문제점이 있다.In addition, in recording EEG, because seizures occur in unpredictable situations such as infrequent epileptic seizures, sleep seizures or wake up seizures, menstrual cramping seizures, and eating seizures, record and confirm seizures occurring in various daily lives. It is difficult. In addition, it is difficult for patients with epilepsy to live with EEG measurement equipment attached, and expensive EEG measurement equipment is also difficult to popularize, making it difficult to use not only for general inpatient rooms but also for mobile and home use. There is a problem that it is difficult to use not only for over-treatment, but also for preventing accidents and damage in seizure patients.
종래 기술로는 다음과 같이 침대 매트리스 방식, 손목시계 방식, 비디오 방식 등을 이용하여 뇌전증 발작을 감지하는 방법을 이용하고 있다. In the prior art, a method of detecting epileptic seizures using a bed mattress method, a wrist watch method, and a video method is used as follows.
예를 들어, 침대 매트리스 방식은 매트리스 아래에 진동 감지 센서를 두어 동작을 감지하는 방법으로 센서에 감지되지 않는 수 많은 발작들을 검출하기는 어려우며, 실제로 발작과 같은 다양한 움직임을 감지하기 어렵고, 침대 위에서만 적용할 수 있다는 문제점이 존재한다.For example, the bed mattress method is a method of detecting motion by placing a vibration sensor under the mattress. It is difficult to detect numerous seizures that are not detected by the sensor, and in fact, it is difficult to detect various movements such as seizures. There is a problem that it can be applied.
또한, 손목시계 방식은 가속도계 등의 센서가 부착된 시계형 기기가 반복적인 움직임 등을 검출해 가족이나 의료진에게 GPS 위치를 전송해 주는 방식이지만, 다양한 부위에서 일어나는 다양한 형태의 발작 증세(예, 얼굴 마비 등)를 검출하기 어렵다는 문제점이 존재한다.In the wristwatch method, a watch-type device equipped with a sensor such as an accelerometer detects repetitive movements and transmits the GPS location to the family or medical staff, but various types of seizures occur in various areas (e.g., face There is a problem that it is difficult to detect paralysis, etc.).
또한, 비디오 방식은 병원에 입원하여 시행하는 방식으로 뇌전증 추적 감시 검사실(epilepsy monitoring unit)에 입원된 환자들을 모니터링 하도록 중앙집중형 CCTV 컨트롤 센터와 같은 시스템이 임상에서 구축되기는 하나, 전문기사가 발작이 일어나는 상황을 24시간 상주하며 확인하고, 기록된 발작 비디오를 전담하는 뇌전증 전문의(신경과 또는 소아청소년과 전문의)가 재검토해야 하는 단점이 있다. 휴대폰과 적외선 카메라를 이용한 간단한 앱(App) 수준의 비디오형 모니터링 시스템이 있으나, 환자 움직임의 강도, 소리 등에 반응하도록 하는 장치로 다양한 형태의 증상과 징후를 보이는 발작의 모든 형태를 검출하기 어렵다는 문제점이 존재한다.In addition, the video method is a method of being admitted to a hospital, and a system such as a centralized CCTV control center is established in clinical practice to monitor patients admitted to an epilepsy monitoring unit. There is a drawback that the epilepsy specialist (neurologist or pediatrician specialist), who is responsible for checking this happening 24 hours and checking the recorded seizure video, has to reconsider. There is a video-type monitoring system at the level of a simple App using a mobile phone and an infrared camera, but it is a device that responds to the intensity of patient movement and sound, and it is difficult to detect all types of seizures showing various types of symptoms and signs. exist.
따라서, 병원 및 가정은 물론 공공장소 등의 어떤 환경에서든 비디오가 녹화될 수 있는 모든 상황에서 뇌전증 환자의 다양한 발작 증상과 징후에 반응하고, 환자 개인별 특성에 적응 가능한, 인공지능 기술을 도입한 지능형 동영상 기반 발작 추적감시 방법 및 장치의 개발이 요구되고 있다. Therefore, in any situation where video can be recorded in any environment, such as hospitals and homes, as well as in public places, it responds to various seizure symptoms and signs of epilepsy patients and adapts to individual patient characteristics. There is a need to develop a video-based seizure tracking and monitoring method and device.
한국공개특허 제10-2015-0084282호 "이동통신 단말기를 이용한 뇌전증환자 모니터링 장치 및 방법" (2015.07.22. 공개)Korean Patent Laid-Open Patent No. 10-2015-0084282 "Epilepsy patient monitoring apparatus and method using mobile communication terminal" (published on July 22, 2015)
본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로, 환자의 발작 유무를 모니터링하고 동영상을 획득하고, 획득된 동영상을 분석하여, 동영상 내에서 환자 및 환자를 제외한 주변 상황을 구분하여 검출하고, 검출된 주변 상황을 고려하여 뇌발작 환자의 이상 행동들을 분석하여 분석된 이상 행동들에 대응되는 환자의 발작 관련 뇌영역을 추정하고 분석하는 동영상 기반 발작 추적감시 방법 및 장치를 제공하는데 그 목적이 있다.The present invention was invented to solve the above problems, by monitoring the presence or absence of a patient's seizure, acquiring a video, analyzing the acquired video, and detecting the patient and surrounding circumstances excluding the patient in the video. Its purpose is to provide a video-based seizure tracking and monitoring method and apparatus for estimating and analyzing the patient's seizure-related brain regions corresponding to the analyzed abnormal behaviors by analyzing the abnormal behaviors of a brain seizure patient in consideration of the detected surrounding situation. .
본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치는, 환자의 발작 유무를 모니터링하고 동영상을 획득하기 위한 카메라부, 획득된 동영상을 저장하기 위한 저장부, 환자의 발작 관련 뇌영역 분석 결과를 표시하기 위한 디스플레이부, 발작 관련 뇌영역 분석 결과를 환자의 관련 당사자에게 알람으로 제공하기 위한 통신부 및 카메라부, 저장부, 디스플레이부 및 통신부의 동작을 제어하고, 동영상을 기반으로 한 환자의 발작 추적을 위해서 획득된 동영상을 분석하기 위한 제어부를 포함할 수 있다. A video-based seizure tracking and monitoring device according to an embodiment of the present invention includes a camera unit for monitoring the presence or absence of a patient's seizure and acquiring a video, a storage unit for storing the acquired video, and an analysis result of a patient's seizure-related brain region. Controls the operation of the display unit for display, the communication unit, camera unit, storage unit, display unit and communication unit to provide an alarm to the patient's related party with the result of seizure-related brain region analysis, and track the patient's seizure based on video For example, it may include a control unit for analyzing the acquired video.
또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치에 있어서, 제어부는, 카메라부를 이용하여 환자를 모니터링하고 동영상을 획득하며, 획득된 동영상을 분석하여, 동영상 내에서 환자 및 환자를 제외한 주변 상황을 구분하여 검출하고, 검출된 주변 상황을 고려하여 검출된 환자의 행동들로부터 정상 행동들과 이상 행동들을 구분하고, 이상 행동들을 분석하고, 분석된 이상 행동들을 소정의 시간 간격으로 저장부에 저장하고, 분석된 이상 행동들에 대응하여 환자의 발작 관련 뇌영역을 추정하고 분석하며, 디스플레이부로 하여금 발작 관련 뇌영역의 분석된 결과를 표시하게 하거나 통신부로 하여금 환자의 관련 당사자에게 알람으로 제공하게 할 수 있다. In addition, in the video-based seizure tracking and monitoring device according to an embodiment of the present invention, the control unit monitors the patient using the camera unit, acquires the video, analyzes the obtained video, and excludes the patient and the patient from the video. A storage unit that separates and detects surrounding situations, classifies normal and abnormal behaviors from the detected patient's behaviors in consideration of the detected surroundings, analyzes abnormal behaviors, and stores the analyzed abnormal behaviors at predetermined time intervals. Stored in, and in response to the analyzed abnormal behaviors, estimates and analyzes the patient's seizure-related brain region, and causes the display unit to display the analyzed result of the seizure-related brain region or provides the communication unit as an alarm to the patient's relevant party I can do it.
또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치에 있어서, 이상 행동들의 분석은, 검출된 주변 상황을 고려하여 환자의 신체 각 부위의 행동들을 검출하고, 검출된 신체 각 부위의 행동들에 기계학습 알고리즘을 적용하여 이상 행동들을 분석할 수 있다.In addition, in the video-based seizure tracking and monitoring apparatus according to an embodiment of the present invention, the analysis of abnormal behaviors detects the behaviors of each part of the patient's body in consideration of the detected surrounding situation, and detects the behavior of each part of the body. We can analyze abnormal behaviors by applying a machine learning algorithm to the fields.
또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치에 있어서, 제어부는, 분석된 이상 행동들에 대응하여 환자의 뇌손상 및 사고가능성을 추정하고, 추정된 환자의 뇌손상 및 사고가능성을 디스플레이부로 하여금 표시하거나 통신부로 하여금 환자의 관련 당사자에게 알람으로 제공하게 할 수 있다.In addition, in the video-based seizure tracking and monitoring apparatus according to an embodiment of the present invention, the control unit estimates the patient's brain damage and accident probability in response to the analyzed abnormal behaviors, and the estimated patient's brain damage and accident probability. The display unit may display or the communication unit may provide an alarm to the patient concerned.
또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치에 있어서, 기계학습 알고리즘은, 신체 각 부위 별로 시간에 따른 궤적(trajectory)을 획득하고, 획득된 궤적 내에서 시간에 따른 특징점들을 추출하고, 추출된 특징점들 중에서 연속된(sequential) 특징점들을 입력으로 하여 적용될 수 있다.In addition, in the video-based seizure tracking and monitoring apparatus according to an embodiment of the present invention, the machine learning algorithm acquires a trajectory according to time for each body part, and extracts feature points according to time within the obtained trajectory. And, it can be applied by inputting sequential feature points among the extracted feature points.
또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치에 있어서, 추출된 특징점들은 HOG(Histogram of Oriented Gradients) 방법으로 추출된 특징점들 또는 SIFT(Scale Invariant Feature Transform) 방식으로 추출된 특징점들을 포함하고, 기계학습 알고리즘은 서포트 벡터 머신(Support Vector Machine, SVM), 인공신경망(Artificial Neural Network, ANN), 순환 신경망(Recurrent Neural Network, RNN) 및 딥러닝 알고리즘 중의 적어도 하나를 포함할 수 있다.In addition, in the video-based seizure tracking and monitoring apparatus according to an embodiment of the present invention, the extracted feature points are feature points extracted using a Histogram of Oriented Gradients (HOG) method or feature points extracted using a Scale Invariant Feature Transform (SIFT) method. Including, the machine learning algorithm may include at least one of a support vector machine (SVM), an artificial neural network (ANN), a recurrent neural network (RNN), and a deep learning algorithm.
본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법은, 상기 제어부가 카메라부를 이용하여 환자를 모니터링하고 동영상을 획득하는 단계; 상기 제어부가 상기 획득된 동영상을 분석하여, 상기 동영상 내에서 상기 환자 및 상기 환자를 제외한 주변 상황을 구분하여 검출하는 단계; 상기 제어부가 상기 검출된 주변 상황을 고려하여 상기 검출된 환자의 행동들로부터 정상 행동들과 이상 행동들을 구분하고, 상기 이상 행동들을 분석하는 단계; 상기 제어부가 상기 분석된 이상 행동들을 소정의 시간 간격으로 상기 저장부에 저장하는 단계; 상기 제어부가 상기 분석된 이상 행동들에 대응하여, 상기 환자의 발작 관련 뇌영역을 추정하고 분석하는 단계; 및 상기 제어부가 상기 발작 관련 뇌영역의 분석된 결과를 디스플레이부에 표시하거나 상기 통신부로 하여금 상기 환자의 관련 당사자에게 알람으로 제공하는 단계를 포함할 수 있다.A video-based seizure tracking and monitoring method according to an embodiment of the present invention includes the steps of: monitoring, by the control unit, a patient using a camera unit and obtaining a video; Analyzing, by the control unit, the acquired video, and detecting the patient and surrounding situations excluding the patient in the video; Classifying normal behaviors and abnormal behaviors from the detected patient behaviors in consideration of the detected surrounding situation, and analyzing the abnormal behaviors; Storing, by the control unit, the analyzed abnormal behaviors in the storage unit at predetermined time intervals; Estimating and analyzing, by the control unit, a seizure-related brain region of the patient in response to the analyzed abnormal behaviors; And displaying, by the control unit, the analyzed result of the seizure-related brain region on the display unit or providing the communication unit as an alarm to the relevant party of the patient.
또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법에 있어서, 이상 행동들의 분석은, 검출된 주변 상황을 고려하여 환자의 신체 각 부위의 행동들을 검출하고, 검출된 신체 각 부위의 행동들에 기계학습 알고리즘을 적용하여 이상 행동들을 분석할 수 있다.In addition, in the video-based seizure tracking and monitoring method according to an embodiment of the present invention, the analysis of abnormal behaviors detects the behaviors of each part of the patient's body in consideration of the detected surrounding situation, and detects the behavior of each part of the body. We can analyze abnormal behaviors by applying a machine learning algorithm to the fields.
또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법은, 제어부가 분석된 이상 행동들에 대응하여 환자 뇌손상 및 사고가능성을 추정하는 단계 및 제어부가 추정된 환자의 뇌손상 및 사고가능성을 디스플레이부에 표시하거나 환자의 관련 당사자에게 알람으로 제공하는 단계를 더 포함할 수 있다.In addition, the video-based seizure tracking and monitoring method according to an embodiment of the present invention includes the steps of estimating the patient's brain damage and the likelihood of an accident in response to the analyzed abnormal behaviors by the control unit, and It may further include displaying on the display unit or providing an alarm to the relevant party of the patient.
또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법에 있어서, 기계학습 알고리즘은, 신체 각 부위 별로 시간에 따른 궤적(trajectory)을 획득하고, 획득된 궤적 내에서 시간에 따른 특징점들을 추출하고, 추출된 특징점들 중에서 연속된(sequential) 특징점들을 입력으로 하여 적용될 수 있다.In addition, in the video-based seizure tracking and monitoring method according to an embodiment of the present invention, the machine learning algorithm acquires a trajectory over time for each body part, and extracts feature points over time within the obtained trajectory. And, it can be applied by inputting sequential feature points among the extracted feature points.
또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법에 있어서, 추출된 특징점들은 HOG(Histogram of Oriented Gradients) 방법으로 추출된 특징점들 또는 SIFT(Scale Invariant Feature Transform) 방법으로 추출된 특징점들을 포함하고, 기계학습 알고리즘은 서포트 벡터 머신(Support Vector Machine, SVM), 인공신경망(Artificial Neural Network, ANN), 순환 신경망(Recurrent Neural Network, RNN) 및 딥러닝 알고리즘 중의 적어도 하나를 포함할 수 있다.In addition, in the video-based seizure tracking and monitoring method according to an embodiment of the present invention, the extracted feature points are feature points extracted by the Histogram of Oriented Gradients (HOG) method or the feature points extracted by the Scale Invariant Feature Transform (SIFT) method. Including, the machine learning algorithm may include at least one of a support vector machine (SVM), an artificial neural network (ANN), a recurrent neural network (RNN), and a deep learning algorithm.
한편, 본 발명의 일 실시예로써, 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.Meanwhile, as an embodiment of the present invention, a computer-readable recording medium in which a program for executing the above-described method on a computer is recorded may be provided.
본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법 및 장치에 따르면, 환자의 발작 행동과 같은 돌발적인 움직임을 동영상으로 모니터링하고 관련 당사자들에게 추정된 환자의 뇌손상 및 사고가능성의 알람을 제공함으로써, 발작 환자에게 발생할 수 있는 치명적인 사고 및 신체 손상을 미리 예방할 수 있다.According to a video-based seizure tracking and monitoring method and apparatus according to an embodiment of the present invention, sudden movements such as seizure behavior of a patient are monitored as a video, and an alarm of the estimated brain damage and accident possibility is provided to related parties. By doing so, fatal accidents and physical damage that may occur to seizure patients can be prevented in advance.
본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법 및 장치에 따르면, 동영상 분석을 통한 인공지능 알고리즘의 적용으로 뇌파의 측정 없이 뇌전증 환자, 발작 환자를 모니터링하고 분석하여, 자동으로 환자의 발작 행동 또는 이상 행동에 대응되는 환자의 발작 관련 뇌영역을 추정, 분석할 수 있다.According to the video-based seizure tracking and monitoring method and apparatus according to an embodiment of the present invention, by applying an artificial intelligence algorithm through video analysis, epilepsy patients and seizure patients are monitored and analyzed without measuring EEG, and the patient's seizure automatically It is possible to estimate and analyze a patient's seizure-related brain regions corresponding to behaviors or abnormal behaviors.
이하에 첨부되는 도면들은 본 발명에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 본 발명에 대한 실시 예들을 제공한다. 다만, 본 발명의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다.
도 1은 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치(100)의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법을 나타낸 순서도이다.
BRIEF DESCRIPTION OF THE DRAWINGS The accompanying drawings are provided to aid understanding of the present invention, and provide embodiments of the present invention together with a detailed description. However, the technical features of the present invention are not limited to a specific drawing, and features disclosed in each drawing may be combined with each other to constitute a new embodiment.
1 is a block diagram showing the configuration of a video-based seizure tracking and monitoring apparatus 100 according to an embodiment of the present invention.
2 is a flowchart illustrating a video-based seizure tracking and monitoring method according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement the present invention. However, the present invention may be implemented in various different forms and is not limited to the embodiments described herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and similar reference numerals are assigned to similar parts throughout the specification.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다. The terms used in the present specification will be briefly described, and the present invention will be described in detail.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. The terms used in the present invention have been selected from general terms that are currently widely used while considering functions in the present invention, but this may vary depending on the intention or precedent of a technician working in the field, the emergence of new technologies, and the like. In addition, in certain cases, there are terms arbitrarily selected by the applicant, and in this case, the meaning of the terms will be described in detail in the description of the corresponding invention. Therefore, the terms used in the present invention should be defined based on the meaning of the term and the overall contents of the present invention, not a simple name of the term.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 소자를 사이에 두고" 연결되어 있는 경우도 포함한다. When a part of the specification is said to "include" a certain component, it means that other components may be further included rather than excluding other components unless otherwise stated. In addition, terms such as "... unit" and "module" described in the specification mean units that process at least one function or operation, which may be implemented as hardware or software, or as a combination of hardware and software. . In addition, when a part is "connected" to another part throughout the specification, this includes not only a case in which it is "directly connected", but also a case in which it is connected "with another element in the middle."
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치(100)의 구성을 나타낸 블록도이다. 1 is a block diagram showing the configuration of a video-based seizure tracking and monitoring apparatus 100 according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치(100)는 환자를 모니터링 하고 동영상을 획득하기 위한 카메라부(10), 동영상을 저장하기 위한 저장부(20), 발작 관련 뇌영역 결과를 표시하기 위한 디스플레이부(30), 발작 관련 뇌 영역 결과를 관련 당사자에게 제공하기 위한 통신부(40) 및 카메라부(10), 저장부(20), 디스플레이부(30) 및 통신부(40)를 제어하기 위한 제어부(50)를 포함할 수 있다.1, a video-based seizure tracking and monitoring apparatus 100 according to an embodiment of the present invention includes a camera unit 10 for monitoring a patient and acquiring a video, a storage unit 20 for storing a video, A display unit 30 for displaying seizure-related brain region results, a communication unit 40 and a camera unit 10 for providing seizure-related brain region results to a related party, a storage unit 20, a display unit 30, and A controller 50 for controlling the communication unit 40 may be included.
본 발명의 일 실시예에 따른 카메라부(10)는 환자의 발작을 모니터링하고 동영상을 획득할 수 있다. The camera unit 10 according to an embodiment of the present invention may monitor a patient's seizure and obtain a video.
예를 들어, 카메라부(10)는 환자를 모니터링하고, 환자의 주변 상황 및 환자의 발작 상태를 동영상으로 촬영하기 위한 장치로서, CIS(CMOS Image Sensor) 카메라, 적외선 카메라 등의 영상 측정장비를 포함할 수 있다. For example, the camera unit 10 is a device for monitoring a patient and photographing a patient's surrounding situation and a patient's seizure state as a video, and includes image measurement equipment such as a CMOS Image Sensor (CIS) camera and an infrared camera. can do.
즉, 카메라부(10)는 환자의 얼굴 및 신체 각 부위의 행동들을 동영상으로 촬영하고, 환자뿐만 아니라 주변 상황, 예컨대, 환자와 대화하는 제3자 또는 환자를 둘러싸고 있는 공간 환경, 시간 등의 주변 환경도 같이 모니터링하면서 동영상을 획득할 수 있다.That is, the camera unit 10 photographs the actions of each part of the patient's face and body as a video, and not only the patient, but also the surrounding situation, for example, a third party talking with the patient or the surrounding space surrounding the patient, time, etc. You can acquire video while monitoring the environment as well.
본 발명의 일 실시예에 따른 저장부(20)는 카메라부(10)에 의해 획득된 동영상을 저장할 수 있다. The storage unit 20 according to an embodiment of the present invention may store a video obtained by the camera unit 10.
예를 들어, 저장부(20)는 환자의 발작 상태 또는 이상 상태를 나타내는 동영상을 저장하기 위한 장치로서, 제어부(50)가 모니터링 된 환자의 행동들에 기계학습 알고리즘을 적용하여 정상 행동들과 이상 행동들(또는 발작 상태)을 구분하여 분석하고, 분석된 환자의 이상행동들을 저장부(20)에 저장할 수 있다. For example, the storage unit 20 is a device for storing a video indicating a seizure state or abnormal state of a patient, and the controller 50 applies a machine learning algorithm to the monitored patient's behaviors to Behaviors (or seizure states) may be classified and analyzed, and the analyzed abnormal behaviors of the patient may be stored in the storage unit 20.
여기에서, 이상 행동이라는 용어는 정상 행동과 대비되는 용어로서, 간질 환자 또는 뇌병변 환자의 발작 행동(발작 상태)을 포함하고, 환자의 비정상인 행동 모두를 포함하는 용어로 정의될 수 있다.Here, the term abnormal behavior is a term that contrasts with normal behavior, and includes seizure behavior (seizure state) of a patient with epilepsy or a brain lesion, and may be defined as a term including all of the abnormal behavior of the patient.
예를 들어, 이상 행동은 환자의 이상 움직임, 예컨대 안구 편위, 고개 회전, 경직성 뒤틀림 등을 포함하고, 근긴장 이상성 움직임, 예컨대 경련성 움직임, 눈 깜박임, 특이한 얼굴 표정, 입맛 다심, 만지작 거림, 반복적인 손 동작, 발 동작, 과격하고 격렬한 동작 등을 포함할 수 있다.For example, abnormal behaviors include abnormal movements of the patient, such as ocular deviation, head rotation, stiff twisting, etc., and dystonia abnormal movements such as convulsive movements, blinking eyes, unusual facial expressions, palpitations, tingling, repetitive hands It may include movements, foot movements, and violent and intense movements.
또한, 저장부(20)는 제어부(50)를 통해서 분석된 이상 행동들을 소정의 시간 간격 또는 발생 시간에 따라서 저장할 수 있다.In addition, the storage unit 20 may store abnormal behaviors analyzed by the control unit 50 according to a predetermined time interval or occurrence time.
예를 들어, 환자의 행동들이 제어부(50)에 의해서 안구 편위, 고개 회전 등의 이상 행동인 것으로 분석되면, 저장부(20)는 이상 행동들을 소정의 시간 간격 또는 발생 시간에 따라서 이상 행동 종류, 발생 장소, 발생 시간 등으로 이상 행동 내역을 종합하여 저장할 수 있다.For example, if the behavior of the patient is analyzed by the controller 50 to be an abnormal behavior such as an eyeball deviation or head rotation, the storage unit 20 determines the abnormal behavior type according to a predetermined time interval or occurrence time. Abnormal behavior history can be synthesized and saved by the place of occurrence and time of occurrence.
또한, 저장부(20)는 환자의 이상 행동들이 뇌 병변 영역 추정에 사용되도록, 이상 행동에 대하여 전체적으로 기술(description)하거나, 이상 행동을 구성하는 행동 단위로 기술하는 방식으로 소정의 시간 간격 또는 발생 시간에 따라서 저장할 수 있다.In addition, the storage unit 20 describes the abnormal behavior as a whole or describes the abnormal behavior as a unit of behavior constituting the abnormal behavior so that the abnormal behavior of the patient is used for estimating the area of the brain lesion. It can be saved over time.
본 발명의 일 실시예에 따른 디스플레이부(30)는 환자의 발작 관련 뇌영역 분석 결과를 표시할 수 있다.The display unit 30 according to an embodiment of the present invention may display a result of analyzing a brain region related to a seizure of a patient.
예를 들어, 디스플레이부(30)는 기계학습 알고리즘을 적용하여 환자의 분석된 이상 행동들 및 환자의 이상 행동들에 대응된 환자의 발작 관련 뇌영역의 분석 결과를 표시할 수 있다. For example, the display unit 30 may display an analysis result of a patient's seizure-related brain regions corresponding to the patient's analyzed abnormal behaviors and the patient's abnormal behaviors by applying a machine learning algorithm.
즉, 디스플레이부(30)는 제어부(50)의 분석결과가 환자 또는 관련 당사자들에게 제공될 수 있도록 표시되는 디스플레이 장치로서, 환자의 이상 행동들에 대응되어 분석된 환자의 발작 관련 뇌영역의 분석 결과뿐만 아니라, 환자의 이상 행동 종류 및 이상 행동 발생 시간, 발생 장소 등의 이상 행동 종합 내역을 디스플레이부(30)에 표시할 수 있다.That is, the display unit 30 is a display device that displays the analysis result of the control unit 50 to be provided to the patient or related parties, and analyzes the patient's seizure-related brain region analyzed in response to the patient's abnormal behaviors. In addition to the result, a comprehensive description of the abnormal behavior such as the type of the abnormal behavior, the occurrence time of the abnormal behavior, and the occurrence location of the patient may be displayed on the display unit 30.
여기에서, 관련 당사자라는 용어는 간병인, 의료 전문가, 절친한 친구 또는 환자의 친척과 같이 발작의 발생에 대해 알게 될 수 있는 모든 개체 또는 개인을 포함할 수 있다.Here, the term relevant party may include any individual or individual who may become aware of the occurrence of a seizure, such as a caregiver, medical professional, close friend or relative of a patient.
본 발명의 일 실시예에 따른 통신부(40)는 환자의 발작 관련 뇌영역의 분석 결과를 환자의 관련 당사자에게 알람으로 제공할 수 있다. The communication unit 40 according to an embodiment of the present invention may provide a result of analysis of a brain region related to a seizure of a patient as an alarm to a related party of the patient.
예를 들어, 통신부(40)는 환자의 발작 관련 뇌영역의 분석 결과를 환자의 관련 당사자에게 알람으로 제공하기 위해서, 근거리 통신 모듈 또는 이동 통신 모듈, LoRa(Long Range, 대규모 저전력 장거리 무선통신) 통신 모듈 등을 포함할 수 있다. For example, the communication unit 40 provides a short-range communication module or a mobile communication module, a LoRa (Long Range, large-scale, low-power, long-distance wireless communication) communication in order to provide an alarm to the patient concerned with the analysis result of the patient's seizure-related brain region. It may include modules and the like.
예를 들어, 근거리 통신 모듈(short-range wireless communication unit)은 블루투스(Bluetooth) 통신 모듈, BLE(Bluetooth Low Energy) 통신 모듈, 근거리 무선 통신 모듈(Near Field Communication unit), 와이파이(Wi-Fi) 통신 모듈, 지그비(Zigbee) 통신 모듈, 적외선(IrDA, infrared Data Association) 통신 모듈, WFD(Wi-Fi Direct) 통신 모듈, UWB(ultra wideband) 통신 모듈, Ant+ 통신 모듈 등일 수 있으나, 이에 한정되는 것은 아니다. For example, a short-range wireless communication unit includes a Bluetooth communication module, a Bluetooth Low Energy (BLE) communication module, a near field communication unit, and a Wi-Fi communication. Module, Zigbee communication module, infrared (IrDA, infrared Data Association) communication module, WFD (Wi-Fi Direct) communication module, UWB (ultra wideband) communication module, Ant+ communication module, etc., but is not limited thereto. .
본 발명의 일 실시예에 따른 제어부(50)는 동영상 기반 발작 추적감시 장치(100)에 포함된 장치들, 예컨대, 카메라부(10), 저장부(20), 디스플레이부(30) 및 통신부(40)를 제어할 수 있다.The control unit 50 according to an embodiment of the present invention includes devices included in the video-based seizure tracking and monitoring device 100, for example, a camera unit 10, a storage unit 20, a display unit 30, and a communication unit ( 40) can be controlled.
예를 들어, 제어부(50)는 카메라부(10)를 이용하여 발작 환자를 모니터링하여 동영상을 획득할 수 있고, 저장부(20)에 획득된 동영상을 저장할 수 있다. 또한, 제어부(50)는 디스플레이부(30)로 하여금 환자의 이상 행동들 및/또는 이상 행동들에 대응되는 환자의 발작 관련 뇌영역의 분석 결과를 표시하게 할 수 있고, 통신부(40)로 하여금 환자의 발작 관련 뇌영역의 분석 결과를 환자의 관련 당사자에게 알람으로 제공하게 할 수 있다. For example, the controller 50 may acquire a video by monitoring a seizure patient using the camera unit 10, and store the obtained video in the storage unit 20. In addition, the control unit 50 may cause the display unit 30 to display an analysis result of the patient's seizure-related brain regions corresponding to the patient's abnormal behaviors and/or abnormal behaviors, and the communication unit 40 The analysis result of the patient's seizure-related brain area can be provided as an alarm to the patient's related party.
또한, 본 발명의 일 실시예에 따른 제어부(50)는 획득된 동영상을 분석하여 동영상 내에서 환자 및 환자를 제외한 주변 상황을 구분하여 검출할 수 있다. In addition, the controller 50 according to an embodiment of the present invention may analyze the acquired video and detect the patient and surrounding situations excluding the patient from within the video.
예를 들어, 제어부(50)는 카메라부(10)를 통하여 획득된 동영상을 분석하여, 동영상 내에서 환자의 동작, 상태만을 검출하는 것이 아니라, 환자의 동작, 상태 및 환자를 제외한 주변 상황, 예컨대, 환자의 주변 환경(예컨대, 환자의 거주 장소, 시간) 및/또는 환자 주위의 사람(예컨대, 대화, 운동, 상호 작용)과의 맥락(context)을 파악하여 환자 및 환자를 제외한 주변 상황을 구분하여 검출할 수 있다. 환언하면, 제어부(50)는 환자가 홀로 방 안에 있는 상황인지 또는 환자가 다른 사람과 대화하거나 상호 작용하는 관계인지 판단하기 위해서, 획득된 동영상을 분석하여 환자 및 환자를 제외한 주변 상황을 구분하여 검출할 수 있다. For example, the control unit 50 analyzes the video acquired through the camera unit 10 and does not detect only the motion and condition of the patient in the video, but also , Identify the context of the patient's surrounding environment (e.g., the patient's place and time of residence) and/or the person around the patient (e.g., conversation, exercise, interaction) to distinguish between the patient and the surrounding situation excluding the patient Can be detected. In other words, in order to determine whether the patient is in a room alone or in a relationship in which the patient communicates or interacts with another person, the control unit 50 analyzes the acquired video and detects the patient and surrounding circumstances excluding the patient separately. can do.
예를 들어, 제어부(50)가 환자의 행동 중에서 입술을 움직여서 어떤 대화를 하는 듯한 행동을 동영상 내에서 분석하면, 주변 상황과의 맥락을 고려하여, 대화 상대가 있는 경우에는 정상 행동으로 분석하고, 대화 상대가 없는 경우에는 이상 행동으로 분석할 수 있으므로, 획득된 동영상을 분석하는 과정에서 환자 및 환자를 제외한 주변 상황을 구분하여 검출하는 과정이 필요하게 된다. For example, if the control unit 50 analyzes the behavior of a patient, which seems to have a certain conversation by moving his lips, in a video, it considers the context of the surrounding situation and analyzes it as a normal behavior if there is a conversation partner, If there is no conversation partner, it can be analyzed as an abnormal behavior. Therefore, in the process of analyzing the acquired video, a process of distinguishing and detecting the patient and surrounding situations excluding the patient is required.
본 발명의 일 실시예에 따른 제어부(50)는 검출된 주변 상황을 고려하여 환자의 행동들로부터 정상 행동들과 이상 행동들을 구분하고, 이상 행동들을 분석할 수 있다. The controller 50 according to an embodiment of the present invention may classify normal behaviors and abnormal behaviors from the patient's behaviors in consideration of the detected surrounding situation, and analyze the abnormal behaviors.
즉, 제어부(50)는 동영상 내의 주변 상황을 고려하여 환자의 행동들을 분석하여 환자의 행동들을 정상 행동들과 이상 행동들로 구분할 수 있다. 예를 들어, 환자가 주변 사람들과는 전혀 상호 작용을 하지 않는 행동, 주변 사람이 존재하지 않는데도 주변 사람과 대화하는 듯한 행동, 음식이 주변에 없는데도 입을 쩝쩝거리는 행동 등은 이상 행동들로 구분할 수 있다. 제어부(50)는 동영상 내의 주변 상황들, 예컨대 장소, 시간, 제3자의 존재 등 맥락을 고려하여, 환자의 행동들을 정상 행동들과 이상 행동들로 구분할 수 있다. That is, the controller 50 may analyze the patient's behavior in consideration of the surrounding situation in the video and divide the patient's behavior into normal behaviors and abnormal behaviors. For example, behaviors in which the patient does not interact with the people around him at all, the behavior that seems to be talking to the people around him even when the people around him do not exist, and the behavior of a chatter even when there is no food nearby can be classified as abnormal behaviors. have. The controller 50 may classify the patient's behavior into normal behaviors and abnormal behaviors in consideration of the context of surrounding situations in the video, such as a place, time, and presence of a third party.
주변 상황 등 맥락을 고려하여 일상적인 행동 중에 동작이 없어지는 경우로, 예를 들어, TV를 보는 데 일정하게 눈을 깜박이다 움직이지 않고 멍하니 있는 경우(absence, dialeptic, dyscognitive), 전화를 하거나 대화를 하다가 갑자기 말을 안하고 멈추는 경우(behavioral arrest), 밥을 먹는 데 음식을 씹지 않고 가만히 있는 경우(behavioral arrest), 핸드폰으로 검색하다가 갑자기 동작을 멈추고 한쪽을 멍하니 보고 있는 경우(motionless staring) 등을 환자가 이상 행동하는 경우로 판단할 수 있다.A case in which movement disappears during daily actions taking into account the context, such as the surrounding situation, for example, when watching TV, blinking his eyes constantly, but not moving (absence, dialeptic, dyscognitive), making a phone call or having a conversation Patients who abruptly stop talking while drinking (behavioral arrest), not chewing food while eating (behavioral arrest), suddenly stop moving while searching on a cell phone and stare at one side (motionless staring). It can be judged as a case of acting abnormally.
또한, 주변 상황 등 맥락을 고려하여 비정상적인 행동이 나타나는 경우로, 예를 들어, 가만히 누워 있거나 앉아 있다가 갑자기 표정이나 안색이 멍한 듯 바뀌는 경우, 가만히 누워 있거나 앉아 있다가 또는 자다가 갑자기 얼굴을 찡그리거나 무서운 표정을 짓는 경우, 가만히 누워 있거나 앉아 있다가 주위를 두리번거리거나 이상하게 고개를 돌려 한쪽을 멍하니 쳐다보는 경우, 가만히 있거나 대화 중, 또는 수면 중에 갑자기 눈을 깜박이거나, 입맛을 다시거나, 쩝쩝 씹거나, 반복해서 삼키는 모습을 보이는 경우, 가만히 있거나 대화 중, 또는 수면 중에 상지에서 잡을 것도 없는데 무엇을 반복해서 만지는 동작을 취하거나, 만지작 거리거나, 문지르거나, 꽉 잡거나, 손을 이상하게 털거나, 엄지와 검지등의 이상한 손가락 모양을 만들고 찌르는 행동을 보이는 경우, 가만히 있거나 대화 중, 또는 수면 중에 갑자기 일어나려 하거나, 몸통을 돌리거나, 팔을 휘젖거나, 다리를 차거나, 자전거 타는 듯한 발 굴림을 보이는 경우, 가만히 있거나 대화 중, 또는 수면 중에 갑자기 이상을 느낌을 받는 지 버튼을 누르거나 버튼을 누르는 동작을 보이는 경우 등을 환자가 이상 행동하는 경우로 판단할 수 있다.In addition, abnormal behavior occurs in consideration of the context, such as the surrounding situation, for example, when the expression or complexion suddenly changes while lying still or sitting, or when lying still or sitting, or suddenly frowning while sleeping If you make an expression, lie still or sit and look around, turn your head strangely and stare blankly at one side, while still or in conversation, or while you are sleeping, you may suddenly blink, change your appetite, or chew, If you are showing repeated swallowing, you are still, during a conversation, or while sleeping, you have nothing to hold on to your upper extremities, but you repeatedly touch something, tweak, rub, hold tight, shake your hands weirdly, thumb and index fingers. Strange fingers on the back and stabbing behavior, trying to get up suddenly while still or talking or sleeping, turning torso, swinging arms, kicking legs, or showing foot rolls that look like riding a bicycle It can be judged as a case in which the patient behaves abnormally, such as pressing a button or showing an action of pressing a button during a conversation or during sleep.
또한, 주변 상황 등 맥락을 고려하여 비정상적인 운동이 나타나는 경우로, 예를 들어, 가만히 있거나 일상적인 동작 중에 갑자기 고개가 과도하게 돌아가는 경우(version), 가만히 있거나 일상적인 동작 중에 갑자기 한쪽 얼굴이 찡그려지거나, 볼이 튀는 경우(clonic), 입이 돌아가는 경우(tonic), 가만히 있거나 일상적인 동작 중에 갑자기 팔이 이상한 자세로 올라가는 강직이 보이는 경우(tonic), 가만히 있거나 일상적인 동작 중에 갑자기 팔을 쭉 펴면서 강직(tonic)이 보이거나 떠는 경련을 보이는 경우, 가만히 있거나 일상적인 동작 중에 갑자기 손을 이상한 모양으로 만들면서(dystonic) 떠는 경련을 보이는 경우, 가만히 있거나 일상적인 동작 중에 갑자기 어깨, 팔을 움찔거리는 경우(myoclonic), 가만히 있거나 일상적인 동작 중에 갑자기 양팔에 힘을 주면서 대칭적 또는 비대칭적으로 띄면서 강직을 보이거나, 떠는 경련을 보이는 경우(bilateral tonic), 가만히 있거나 일상적인 동작 중에 갑자기 이상한 소리를 지르는 경우, 가만히 있거나 일상적인 동작 중에 한쪽으로 쓰러지는 모습을 보이는 경우, 가만히 앉아있거나 서 있던 중 갑자기 앞이나 뒤로 쓰러지는 모습을 보이는 경우, 가만히 있거나 일상적인 동작 중에 한쪽 어깨에 힘을 주고 외측으로 들어올리거나(tonic posturing) 안쪽 또는 밖으로 돌리는 경우(dystonic posturing) 등을 환자가 이상 행동하는 경우로 판단할 수 있다.In addition, abnormal movements appear taking into account the context of the surrounding situation, for example, when the head turns excessively suddenly during still or normal movements (version), when one face suddenly frowns during still or normal movements. , Cheeks bounce (clonic), mouth turns (tonic), stiffness in which the arm suddenly rises to a strange posture during still or normal movements (tonic), stiffness while standing still or during normal movements with the arm suddenly straightened (tonic) is visible or has a trembling convulsion, a dystonic tremor is shown while still or during normal movements, or a sudden shoulder or arm fluttering while still or during normal movements ( myoclonic), symmetrical or asymmetrical stiffness with sudden force on both arms during still or normal movements, bilateral tonic, or sudden screaming unusual noise during still or normal movements , When standing still or showing a fall to one side during normal movements, Suddenly falling forward or backward while sitting or standing still, or lifting one shoulder with force during a normal movement (tonic posturing) ) Inward or outward rotation (dystonic posturing) can be judged as a case of abnormal behavior of the patient.
즉, 제어부(50)는 획득된 동영상에서 주변 상황들을 고려하여 환자의 이상 행동들을 발작 전체 또는 발작 개별(예컨대, 이상 행동을 구성하는 행동 단위)로 구분하여 분석할 수 있다. That is, the controller 50 may divide and analyze the abnormal behaviors of the patient in consideration of surrounding situations in the acquired video by dividing them into all seizures or individual seizures (eg, behavioral units constituting the abnormal behavior).
또한, 본 발명의 일 실시예에 따른 제어부(50)는 검출된 주변 상황을 고려하여 환자의 신체 각 부위의 행동들을 검출하고, 검출된 신체 각 부위의 행동들에 기계학습 알고리즘을 적용하여 이상 행동들을 분석할 수 있다.In addition, the controller 50 according to an embodiment of the present invention detects behaviors of each part of the patient's body in consideration of the detected surrounding situation, and applies a machine learning algorithm to the detected behaviors of each part of the body. Can be analyzed.
예를 들어, 제어부(50)는 이상 행동들을 분석하기 위해서, 환자의 신체 각 부위 별로 시간에 따른 궤적(trajectory)을 획득하고, 획득된 궤적 내에서 시간에 따른 특징점들을 추출하고, 추출된 특징점들 중에서 연속된(sequential) 특징점들을 입력으로 하여 기계학습 알고리즘을 적용할 수 있다. For example, in order to analyze abnormal behaviors, the controller 50 acquires a trajectory over time for each part of the patient's body, extracts feature points over time within the acquired trajectory, and extracts the extracted feature points. A machine learning algorithm can be applied by inputting sequential feature points.
여기에서, 특징점은 시간에 따른 움직임 궤적에서 추출되는 사람의 신체 각 부위 별로 고유한 부분(위치) 또는 고유한 포인트(점)를 특징점으로 지정할 수 있으며, 움직임의 성질에 따라서, 동영상 내에서 안정적으로 추적될 수 있는 신체 각 부위의 고유한 부분을 특징점으로 지정할 수 있다.Here, the feature point can designate a unique part (location) or a unique point (point) for each part of the human body extracted from the motion trajectory over time as a feature point. A unique part of each body part that can be tracked can be designated as a feature point.
또한, 연속된 특징점들은 움직임 궤적을 표현하므로, 시간, 속도, 가속도의 함수로 표현될 수 있으며, 변화의 진폭, 진동수, 움직임 궤적 면적 등의 정보로 계산될 수 있다. In addition, since the continuous feature points represent a motion trajectory, they may be expressed as a function of time, speed, and acceleration, and may be calculated as information such as amplitude, frequency, and motion trajectory area of change.
예컨대, 제어부(50)는 환자의 신체 각 부위 별로 시간에 따른 궤적(trajectory)을 획득하기 위해서, 특징점들을 HOG(Histogram of Oriented Gradients) 방법으로 추출하거나 SIFT(Scale Invariant Feature Transform) 방법으로 특징점들을 추출할 수 있다.For example, the control unit 50 extracts feature points by a Histogram of Oriented Gradients (HOG) method or by a Scale Invariant Feature Transform (SIFT) method in order to obtain a trajectory for each part of the patient's body. can do.
또한, 제어부(50)는 특징점들의 분석을 위해서 서포트 벡터 머신(Support Vector Machine, SVM), 인공신경망(Artificial Neural Network, ANN), 순환 신경망(Recurrent Neural Network, RNN) 및 딥러닝 알고리즘 중의 적어도 하나를 기계학습 알고리즘으로 적용할 수 있다.In addition, the controller 50 uses at least one of a support vector machine (SVM), an artificial neural network (ANN), a recurrent neural network (RNN), and a deep learning algorithm to analyze the feature points. It can be applied as a machine learning algorithm.
즉, 제어부(50)는 신체 각 부위 별로 시간에 따른 궤적을 획득하고, 획득된 궤적에서 연속된 특징점들을 추출하고, 기계학습 알고리즘을 적용하여 주변 상황을 고려하여 이상 행동인지 분석할 수 있으며, 이상 행동이 전체(발작 전체)로 발생하였는지 또는 개별(발작 개별)로 발생하였는지 분석할 수 있다.That is, the controller 50 may obtain a trajectory according to time for each body part, extract consecutive feature points from the acquired trajectory, and apply a machine learning algorithm to analyze whether an abnormal behavior is an abnormal behavior in consideration of the surrounding situation. You can analyze whether the behavior occurred as a whole (seizure as a whole) or as individual (seizure as an individual).
또한, 본 발명의 일 실시예에 따른 제어부(50)는 저장부(20)를 이용하여, 분석된 이상 행동들을 소정의 시간 간격 또는 발생 시간에 따라서 이상 행동 내역을 종합하여 저장할 수 있다.In addition, the control unit 50 according to an embodiment of the present invention may use the storage unit 20 to synthesize and store the analyzed abnormal behaviors according to a predetermined time interval or occurrence time.
즉, 동영상 기반 발작 추적감시 장치(100)는 일정 시간 동안 환자의 상태를 확인하고 저장할 필요가 있다. 예를 들어, 동영상 기반 발작 추적감시 장치(100)는 관련 당사자들에게 환자의 이상 행동들의 횟수, 종류, 발생 시기, 발생 장소 등을 표시, 제공하거나 알람을 제공할 필요가 있으므로, 제어부(50)는 저장부(20)를 이용하여, 분석된 이상 행동들을 소정의 시간 간격 또는 발생 시간에 따라서 저장할 수 있다.That is, the video-based seizure tracking and monitoring device 100 needs to check and store the patient's condition for a predetermined time. For example, since the video-based seizure tracking and monitoring device 100 needs to display and provide the number, type, time of occurrence, place of occurrence, etc. of the patient's abnormal behaviors to relevant parties, the controller 50 May store the analyzed abnormal behaviors according to a predetermined time interval or occurrence time by using the storage unit 20.
또한, 제어부(50)에 의하여 분석되고 저장되는 이상 행동들은 뇌 병변 영역 추정에 사용되기 위해서, 이상 행동에 대하여 전체적으로 기술(description)되어 저장되거나, 이상 행동을 구성하는 행동 단위로 기술되어 저장 될 수 있다. In addition, the abnormal behaviors analyzed and stored by the control unit 50 may be described and stored as a whole description of the abnormal behavior or stored as an action unit constituting the abnormal behavior in order to be used for estimating the brain lesion area. have.
즉, 제어부(50)는 분석된 신체 각 부위 별로 기계 학습 알고리즘을 적용하여 이상 행동을 발작 전체 또는 발작 개별로 구분하여 분석하고, 발작 전체로 분석된 이상 행동은 이상 행동을 전체적으로 기술(description)하여 저장부(20)에 저장하고, 발작 개별로 분석된 이상 행동은 이상 행동을 구성하는 행동 단위로 기술하여 저장부(20)에 저장할 수 있다. That is, the control unit 50 applies a machine learning algorithm to each analyzed body part to analyze the abnormal behavior by classifying the whole seizure or individual seizures, and the abnormal behavior analyzed as the whole seizure describes the abnormal behavior as a whole. The abnormal behavior stored in the storage unit 20 and analyzed for individual seizures may be described as behavior units constituting the abnormal behavior and stored in the storage unit 20.
예를 들어, 제어부(50)가 동영상에서 측정된 이상 행동을 발작 전체인 경우로 분석하면, 제어부(50)는 이상 행동(발작)에 대하여 전체적으로 기술(description)하여 저장부(20)에 저장할 수 있다. 예컨대, 갑자기 (어지러워 버튼을 누르고) 동작을 멈추고 있다가, 고개가 왼쪽으로 돌아가면서 전신에 힘을 주면서 전신 발작을 보이는 경우, 갑자기 (오른손이 저리다가) 오른손을 주먹 쥐면서 떨다가 점차 동 측의 어깨 쪽으로 떨림이 진행하다가 얼굴까지 떨면서, 오른쪽 안면이 찌그러지고 고개가 돌아가면서 소리를 내면서 전신발작을 보이는 경우, 갑자기 (명치 부위가 메슥거리면서 위로 타고 올라오는 느낌이 있다) 멍해지면서 동작을 멈추고 한쪽을 쳐다보다가 입을 쩝쩝거리고, 왼손으로 무엇을 만지는 듯한 동작으로 보이 듯이 만지작 거리고, 오른팔을 옆으로 하면 꼬면서 질문에 반응을 보이지 못하다가 고개를 한쪽으로 돌리면서 전신 경련으로 진행하는 경우, 갑자기 자다가 놀란 듯 깨면서 무서운 표정으로 발버둥 치다가 바로 정신이 돌아와 아무일 없다는 듯 원래 깬 모습을 보이는 경우, 갑자기 멍해지다가 입맛을 다시면서 이상한 말을 하면서 어느 정도 적절한 반응을 유지하다 정신이 돌아오는 경우 등을 이상 행동(발작)에 대하여 전체적으로 기술(description)하여 저장하는 경우로 포함할 수 있다. For example, if the control unit 50 analyzes the abnormal behavior measured in the video as a case of the entire seizure, the control unit 50 can describe the abnormal behavior (seizure) as a whole and store it in the storage unit 20. have. For example, if you suddenly stop (pressing the button because you are dizzy), then you have a full-body seizure while your head turns to the left, giving strength to the whole body, then suddenly (the right hand is tingling), shaking while clenching your right hand, gradually If trembling progresses toward the shoulder and then shaking to the face, the right face is distorted, and the head turns to make a sound and has a whole body seizure. Suddenly (the Myeongchi area feels like it is coming up with a nausea). When looking at and wheezing, touching as if touching something with your left hand, twisting your right arm to the side and not responding to the question, then turning your head to one side and proceeding to a full-body convulsion. If you woke up as if surprised, struggling with a scary expression, and then immediately returned to your mind and showed the original awakening as if nothing had happened, you suddenly became stupid and re-approved while saying strange words while maintaining a moderate response and returning your mind. It can be included as a case where the abnormal behavior (seizure) is entirely described and stored.
예를 들어, 제어부(50)가 동영상에서 측정된 이상 행동을 발작 개별인 경우로 분석하면, 제어부(50)는 이상 행동(발작)에 대하여 이상 행동을 구성하는 행동 단위로 기술(description)하여 저장부(20)에 저장할 수 있다. For example, if the controller 50 analyzes the abnormal behavior measured in the video as a seizure individual case, the controller 50 describes and stores the abnormal behavior (seizure) as an action unit constituting the abnormal behavior. It can be stored in the unit 20.
예컨대, 머리, 목 부분을 행동 단위로 기술하는 경우로서, 멍하게 보이는 경우, 반응을 보이거나 반응이 없어지는 경우, 눈을 깜박이는 경우, 얼굴이 튀는 경우, 고개가 돌아가는 경우, 눈이 돌아가는 경우, 무서운 표정을 짓는 경우, 웃는 경우, 우는 경우, 휘파람을 부는 경우, 입맛을 다시는 경우, 씹는 경우, 삼키는 경우, 기침을 하는 경우, 말을 못하는 경우, 말을 하는 경우, 말을 하지만 착어증을 보이는 경우, 알아들을 수 없는 소리를 내는 경우, 소리를 지르는 경우, 좌우로 고개를 돌리는 경우 등을 이상 행동(발작)에 대하여 머리, 목 부분을 이상 행동을 구성하는 행동 단위로 기술(description)하여 저장하는 경우로 포함할 수 있다. For example, when describing the head and neck as a unit of action, when it looks sloppy, reacts or disappears, blinks, faces bounces, head turns, and eyes turn , Making a frightening expression, laughing, crying, whistling, tasting, chewing, swallowing, coughing, unable to speak, speaking, speaking, but percussion In the case of showing, making an inaudible sound, screaming, and turning your head from side to side, the head and neck are described as a unit of behavior that composes the abnormal behavior (seizure). It can be included as a case of saving.
예컨대, 상지 부분을 행동 단위로 기술하는 경우로서, 팔을 펴는 경우, 팔을 떠는 경우, 팔을 꼬는 경우, 손을 꼬거나 돌리는 경우, 어깨를 들어 올리는 경우, 팔을 떠는 경우, 팔을 움찔거리는 경우, 손을 만지작거리는 경우, 손을 반복해서 문지르는 경우, 손동작을 보이는 경우, 주으려는 동작을 보이는 경우, 손을 꽉잡는 경우, 주먹을 쥐는 경우, 한쪽 손을 안 움직이는 경우, 눈을 비비는 경우, 안면을 문지르는 경우, 손으로 입을 가르는 경우 등을 이상 행동(발작)에 대하여 상지 부분을 이상 행동을 구성하는 행동 단위로 기술(description)하여 저장하는 경우로 포함할 수 있다. For example, in the case of describing the upper limb as a unit of action, stretching the arms, shaking the arms, crossing the arms, crossing or turning the hands, raising the shoulders, shaking the arms, and fluttering the arms. If you are fiddling with your hand, rubbing your hand repeatedly, showing a hand gesture, showing a gesture you want to give, holding your hand tight, holding your fist, not moving one hand, rubbing your eyes, The case of rubbing the face and cutting the mouth with the hand may be included as a case of storing the upper limb as a unit of action constituting the abnormal behavior for the abnormal behavior (seizure).
예컨대, 하지 부분을 행동 단위로 기술하는 경우로서, 다리를 쭉 펴는 경우, 다리를 들어올리는 경우, 다리를 떠는 경우, 다리를 움찔거리는 경우, 자전거 타듯이 다리를 돌리는 경우, 다리를 차는 경우 등을 이상 행동(발작)에 대하여 하지 부분을 이상 행동을 구성하는 행동 단위로 기술(description)하여 저장하는 경우로 포함할 수 있다. For example, if the lower extremity is described as a unit of action, straightening the leg, lifting the leg, shaking the leg, flinching the leg, turning the leg like riding a bicycle, kicking the leg, etc. For abnormal behavior (seizure), it may be included as a case where the lower limb is described and stored as a unit of behavior constituting the abnormal behavior.
예컨대, 몸통과 어깨 부분을 행동 단위로 기술하는 경우는, 몸통을 돌리는 경우, 앉으려 하는 경우, 발버둥 치는 경우, 팔을 휘 젓는 경우 등을 이상 행동(발작)에 대하여 몸통과 어깨 부분을 이상 행동을 구성하는 행동 단위로 기술(description)하여 저장하는 경우로 포함할 수 있다. For example, if the torso and shoulders are described as units of action, the torso and shoulders are abnormal behaviors for abnormal behaviors (seizures) such as turning the torso, trying to sit, struggling, and beating the arms. It may be included as a case of storing by describing (description) as a unit of action that constitutes.
또한, 이상 행동을 구성하는 행동 단위로 저장할 때, 기타 부분으로 저장하는 경우는, 닭살이 돋는 경우, 토하는 경우, 구역을 보이는 경우, 침을 흘리는 경우, 가래를 뱉는 경우, 침을 흘리는 경우, 거품을 보이는 경우, 소변을 실수하는 경우, 좌우로 고개를 돌리는 경우 등을 기타 부분으로 하여 이상 행동을 구성하는 행동 단위로 기술(description)하여 저장하는 경우로 포함할 수 있다. In addition, when storing as an action unit that constitutes an abnormal behavior, when storing as other parts, when chicken meat grows, when vomiting, when showing an area, when drooling, when spitting out sputum, when drooling, or bubble It can be included as a case of storing a description as a unit of action constituting an abnormal behavior, such as a case of showing, a mistake of urinating, a case of turning your head left and right as other parts.
또한, 본 발명의 일 실시예에 따른 제어부(50)는 분석된 이상 행동들에 대응하여 환자의 발작 관련 뇌영역을 추정하고 분석할 수 있다.In addition, the controller 50 according to an embodiment of the present invention may estimate and analyze a brain region related to a seizure of a patient in response to the analyzed abnormal behaviors.
즉, 제어부(50)는 획득된 동영상에서 환자의 이상 행동들을 발작 전체 또는 발작 개별(예컨대, 이상 행동을 구성하는 행동 단위)로 구분하여 분석할 수 있고, 분석된 발작 전체 또는 발작 개별에 대하여 병변 뇌 영역 추정을 위한 인공지능 알고리즘에 입력하여, 환자의 발작 관련 뇌영역 부분을 추정하고, 분석할 수 있다. That is, the control unit 50 may divide and analyze the patient's abnormal behaviors in the acquired video into all seizures or individual seizures (e.g., behavioral units constituting abnormal behaviors), and for all analyzed seizures or individual seizures By inputting into an artificial intelligence algorithm for estimating brain regions, the patient's seizure-related brain regions can be estimated and analyzed.
예를 들어, 환자가 동작을 멈추고 있다가 고개가 왼쪽으로 돌아가는 이상 행동을 하는 경우에는, 발작이 전체로 나타나는 경우로, 제어부(50)는 환자의 이상 행동을 발작 전체로 기술하여 저장부(20)에 저장하고, 상기 발작 전체 이상 행동에 대응하여, 좌측 전두엽 배외측 안구 운동 영역을 환자의 발작 관련 뇌영역으로 추정할 수 있다. For example, when the patient stops the motion and performs an abnormal behavior in which his head turns to the left, the seizure appears as a whole, and the controller 50 describes the abnormal behavior of the patient as the entire seizure, and the storage unit 20 ), and in response to the entire seizure abnormal behavior, the left frontal lobe dorsolateral ocular movement region may be estimated as the seizure-related brain region of the patient.
또한, 발작이 전체로 나타나는 경우로, 환자가 갑자기 자다가 놀란 듯 깨면서 무서운 표정으로 발버둥 치다가 바로 정신이 돌아와 아무 일 없다는 듯 원래 깬 모습의 이상 행동을 하는 경우에, 제어부(50)는 환자의 이상 행동을 발작 전체로 기술하여 저장부(20)에 저장하고, 상기 발작 전체 이상 행동에 대응하여, 전두엽 내측 부위 영역을 환자의 발작 관련 뇌영역으로 추정할 수 있다. In addition, if the seizure appears as a whole, the patient suddenly wakes up while struggling with a frightening expression, and then immediately returns to his mind and performs abnormal behavior of the original awakening as if nothing happened. The abnormal behavior may be described as the entire seizure and stored in the storage unit 20, and in response to the entire seizure abnormal behavior, a region inside the frontal lobe may be estimated as a seizure-related brain region of the patient.
또한, 발작이 개별 단위로 나타나는 경우로, 환자의 고개가 돌아가거나 눈이 돌아가는 경우에는, 제어부(50)는 환자의 이상 행동을 발작 개별로 머리와 목 부분에 대한 발작으로 기술하여 저장부(20)에 저장하고, 상기 발작 개별 이상 행동에 대응하여, 고개나 눈이 돌아가는 방향의 반대측 뇌 영역을 환자의 발작 관련 뇌영역으로 추정할 수 있다. In addition, when seizures appear in individual units, and when the patient's head turns or eyes turn, the control unit 50 describes the abnormal behavior of the patient as seizures on the head and neck as individual seizures, and stores the storage unit 20 ), and in response to the seizure individual abnormal behavior, the brain region opposite to the direction in which the head or eyes rotate may be estimated as the seizure-related brain region of the patient.
또한, 발작이 개별 단위로 나타나는 경우로, 환자가 말을 하지만 착어증을 보이는 경우에는, 제어부(50)는 환자의 이상 행동을 발작 개별로 머리와 목 부분에 대한 발작으로 기술하고 저장하며, 상기 발작 개별 이상 행동에 대응하여, 좌반구(우성반구) 영역을 환자의 발작 관련 뇌영역으로 추정할 수 있다. In addition, when seizures appear in individual units, and when the patient speaks but shows convulsions, the control unit 50 describes and stores the abnormal behavior of the patient as seizures on the head and neck as individual seizures. In response to individual seizure abnormal behavior, the left hemisphere (right hemisphere) region can be estimated as the seizure-related brain region of the patient.
즉, 제어부(50)는 환자의 행동들을 특징점들을 이용한 기계학습 알고리즘으로 분석하여, 환자의 행동들로부터 이상 행동들을 구분하여 분석하고, 분석된 이상 행동들(예컨대, 발작 전체, 발작 개별)에 대응한 환자의 발작 관련 뇌영역 부분을 기계학습 알고리즘 또는 딥 러닝 기술로 미리 입력시켜 학습시킴으로써, 이상 행동들에 대응되는 환자의 발작 관련 뇌영역을 추정할 수 있게 된다. That is, the control unit 50 analyzes the patient's behavior with a machine learning algorithm using feature points, analyzes the abnormal behaviors from the patient's behaviors, and responds to the analyzed abnormal behaviors (e.g., all seizures, individual seizures). The seizure-related brain region of a patient can be estimated by pre-inputting and learning the seizure-related brain region of a patient using a machine learning algorithm or deep learning technology.
즉, 제어부(50)는 환자의 행동들을 각 신체부위 별 이상 행동으로 분석하고, 분석된 이상 행동을 기반으로 발작 관련 뇌영역 추정을 위한 기계학습 알고리즘을 적용하여 뇌에서 뇌전증이 촉발되는 시작영역 및 전파영역을 추정할 수 있다. That is, the control unit 50 analyzes the patient's behavior as abnormal behavior for each body part, and applies a machine learning algorithm for estimating a seizure-related brain region based on the analyzed abnormal behavior, so that epilepsy is triggered in the brain. And the propagation area can be estimated.
또한, 본 발명의 일 실시예에 따른 제어부(50)는 디스플레이부(30)로 하여금 환자의 발작 관련 뇌영역 분석 결과를 표시하게 하거나, 통신부(40)로 하여금 환자의 발작 관련 뇌영역 분석 결과를 환자의 관련 당사자에게 알람으로 제공하게 할 수 있다.In addition, the control unit 50 according to an embodiment of the present invention causes the display unit 30 to display the result of analyzing the brain region related to the patient's seizure, or the communication unit 40 to display the result of the analysis of the brain region related to the patient’s seizure. It can be provided as an alarm to the patient concerned.
도 2는 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법을 나타낸 순서도이다. 2 is a flowchart illustrating a video-based seizure tracking and monitoring method according to an embodiment of the present invention.
도 2를 참조하면, 단계 S10에서, 제어부(50)는 카메라부(10)를 이용하여 환자를 모니터링하고 동영상을 획득할 수 있다.Referring to FIG. 2, in step S10, the controller 50 may monitor a patient using the camera unit 10 and acquire a video.
예를 들어, 제어부(50)는 카메라부(10)를 제어하여, 환자의 얼굴 및 신체 각 부위의 행동들을 동영상으로 촬영하고, 환자뿐만 아니라 주변 상황, 예컨대, 환자와 대화하는 제3자 또는 환자를 둘러싸고 있는 공간 환경, 시간 등의 주변 상황도 같이 모니터링하면서 동영상을 획득할 수 있다.For example, the control unit 50 controls the camera unit 10 to capture motions of the patient's face and body as a video, and not only the patient, but also the surrounding situation, for example, a third party or patient who communicates with the patient. It is possible to acquire a video while monitoring the surrounding conditions such as the spatial environment and time surrounding the.
단계 S20에서, 제어부(50)는 획득된 동영상을 분석하여, 동영상 내에서 환자 및 환자를 제외한 주변 상황을 구분하여 검출할 수 있다.In step S20, the controller 50 may analyze the acquired video and detect the patient and surrounding situations excluding the patient from within the video.
예를 들어, 제어부(50)는 획득된 동영상을 분석하여, 동영상 내에서 환자의 동작, 상태만을 검출하는 것이 아니라, 환자를 제외한 주변 상황, 예컨대, 환자의 주변 환경(예컨대, 환자의 거주 장소, 시간) 및/또는 환자 주위의 사람(예컨대, 대화, 운동, 상호 작용)과의 맥락(context)을 파악하여 환자 및 환자를 제어한 주변 상황을 구분하여 검출할 수 있다.For example, the controller 50 analyzes the acquired video, and does not detect only the motion and condition of the patient in the video, but the surrounding situation excluding the patient, for example, the patient's surrounding environment (eg, the patient's living place, Time) and/or the context of the person around the patient (eg, conversation, exercise, interaction), and the patient and the surrounding situation in which the patient is controlled may be classified and detected.
단계 S30에서, 제어부(50)는 검출된 주변 상황을 고려하여 검출된 환자의 행동들로부터 정상 행동들과 이상 행동들을 구분하고, 이상 행동들을 분석할 수 있다.In step S30, the controller 50 may classify normal behaviors and abnormal behaviors from detected patient behaviors in consideration of the detected surrounding situation, and analyze the abnormal behaviors.
예를 들어, 제어부(50)는 동영상 내의 주변 상황들, 예컨대 장소, 시간, 제3자의 존재 등 맥락을 고려하여, 환자의 행동들을 정상 행동들과 이상 행동들로 구분하고, 이상 행동들을 발작이 전체로 나타나는지 또는 발작이 개별 이상행동으로 나타나는지 분석할 수 있다. For example, the control unit 50 divides the patient's behavior into normal behaviors and abnormal behaviors, taking into account the context of surrounding situations in the video, such as place, time, and the presence of a third party, and seizures It can be analyzed whether it appears as a whole or whether the seizure appears as an individual abnormal behavior.
즉, 제어부(50)는 획득된 동영상에서 주변 상황들을 고려하여 기계학습 알고리즘을 적용하여 환자의 이상 행동들을 발작 전체 또는 발작 개별(예컨대, 이상 행동을 구성하는 행동 단위)로 구분하여 분석할 수 있다. That is, the control unit 50 may analyze the abnormal behavior of the patient by applying a machine learning algorithm in consideration of surrounding situations in the acquired video, dividing the patient's abnormal behavior into all seizures or individual seizures (eg, behavioral units constituting the abnormal behavior). .
예를 들어, 제어부(50)는 이상 행동들을 발작 전체 또는 발작 개별로 분석하기 위해서, 환자의 신체 각 부위 별로 시간에 따른 궤적(trajectory)을 획득하고, 획득된 궤적 내에서 시간에 따른 특징점들을 추출하고, 추출된 특징점들 중에서 연속된(sequential) 특징점들을 입력으로 하여 기계학습 알고리즘을 적용할 수 있다. For example, the controller 50 acquires a trajectory over time for each part of the patient's body and extracts feature points over time within the acquired trajectory in order to analyze the abnormal behaviors as a whole or individual seizures. And, a machine learning algorithm can be applied by inputting sequential feature points among the extracted feature points.
즉, 환자의 신체 각 부위 별로 시간에 따른 궤적(trajectory)을 획득하기 위해서, 특징점들은 HOG(Histogram of Oriented Gradients) 방법으로 추출되거나 SIFT(Scale Invariant Feature Transform) 방법으로 추출될 수 있다.That is, in order to obtain a trajectory over time for each part of the patient's body, the feature points may be extracted by a Histogram of Oriented Gradients (HOG) method or a Scale Invariant Feature Transform (SIFT) method.
또한, 추출된 특징점들의 분석을 위해서, 서포트 벡터 머신(Support Vector Machine, SVM), 인공신경망(Artificial Neural Network, ANN), 순환 신경망(Recurrent Neural Network, RNN) 및 딥러닝 알고리즘 중의 적어도 하나를 기계학습 알고리즘으로 적용할 수 있다.In addition, for analysis of the extracted feature points, machine learning at least one of a support vector machine (SVM), an artificial neural network (ANN), a recurrent neural network (RNN), and a deep learning algorithm It can be applied as an algorithm.
단계 S40에서, 제어부(50)는 분석된 이상 행동들을 소정의 시간 간격으로 저장부(20)에 저장할 수 있다. In step S40, the controller 50 may store the analyzed abnormal behaviors in the storage unit 20 at predetermined time intervals.
즉, 관련 당사자들에게 환자 상태 보고, 알람 제공 등을 하기 위해서, 환자의 상태를 발생 시간 또는 소정 시간 간격으로 저장할 필요가 있으므로, 제어부(50)는 분석된 이상 행동들을 소정의 시간 간격 또는 발생 시간에 따라서 이상 행동 종류, 발생 장소, 발생 시간 등으로 이상 행동 내역을 종합하여 저장부(20)에 저장할 수 있다.That is, in order to report the patient status to the relevant parties, provide an alarm, etc., it is necessary to store the patient's condition at an occurrence time or a predetermined time interval, so that the controller 50 stores the analyzed abnormal behaviors at a predetermined time interval or occurrence time. According to the abnormal behavior type, occurrence location, occurrence time, etc., the abnormal behavior information may be synthesized and stored in the storage unit 20.
단계 S50에서, 제어부(50)는 분석된 이상 행동들에 대응하여, 환자의 발작 관련 뇌영역을 추정하고 분석할 수 있다.In step S50, the control unit 50 may estimate and analyze a seizure-related brain region of the patient in response to the analyzed abnormal behaviors.
즉, 제어부(50)는 이상 행동을 발작 전체 또는 발작 개별(예컨대, 이상 행동을 구성하는 행동 단위)로 구분하여 분석하고, 분석된 이상 행동들에 대하여 기계학습 알고리즘을 적용하여 발작 관련 뇌영역 부분을 추정하고, 분석할 수 있다. That is, the control unit 50 analyzes the abnormal behavior by dividing it into all seizures or individual seizures (eg, behavioral units constituting the abnormal behavior), and applies a machine learning algorithm to the analyzed abnormal behaviors to apply a seizure-related brain region. Can be estimated and analyzed.
예를 들어, 환자가 동작을 멈추고 있다가 고개가 왼쪽으로 돌아가는 이상 행동을 하는 경우에, 제어부(50)는 환자의 움직임의 궤적을 연속된 특징점으로 추출하고, 기계학습 알고리즘을 적용하여, 발작이 전체로 발생한 경우로 분석하고, 분석된 상기 발작 전체 이상 행동에 발작 관련 뇌영역 추정을 위한 기계학습 알고리즘을 적용하여, 좌측 전두엽 배외측 안구 운동 영역을 발작 관련 뇌영역으로 부분으로 추정하고, 분석할 수 있다. For example, when a patient stops motion and performs an abnormal behavior in which his head turns to the left, the control unit 50 extracts the trajectory of the patient's motion as a continuous feature point, and applies a machine learning algorithm to cause seizures. It is analyzed as a case that occurs as a whole, and by applying a machine learning algorithm for estimating the seizure-related brain region to the analyzed abnormal behavior of the entire seizure, the left frontal lobe dorsolateral eye movement region is estimated as a seizure-related brain region and analyzed. I can.
단계 S60에서, 제어부(50)는 발작 관련 뇌영역의 분석된 결과를 디스플레이부(30)에 표시하거나 환자의 관련 당사자에게 알람으로 제공할 수 있다.In step S60, the control unit 50 may display the analyzed result of the seizure-related brain region on the display unit 30 or provide an alarm to the relevant party of the patient.
즉, 제어부(50)는 환자의 관련 당사자에게 환자 상태 보고 및 알람 제공을 하기 위해서, 발작 관련 뇌영역의 분석된 결과를 디스플레이부(30)로 하여금 표시하게 하거나 통신부(40)로 하여금 환자의 관련 당사자에게 알람으로 제공하게 할 수 있다.That is, the control unit 50 causes the display unit 30 to display the analyzed result of the seizure-related brain region, or the communication unit 40 to display the patient's status report and alarm to the relevant party of the patient. You can have the party provide it as an alarm.
또한, 동영상 기반 발작 추적감시 방법에서, 제어부(50)는 분석된 이상 행동들에 대응하여 환자의 뇌손상 및 사고가능성을 추정하고, 추정된 환자의 뇌손상 및 사고가능성을 디스플레이부(30)로 하여금 표시하게 하거나 상기 통신부로 하여금 환자의 관련 당사자에게 알람으로 제공하게 할 수 있다.In addition, in the video-based seizure tracking and monitoring method, the controller 50 estimates the patient's brain damage and the likelihood of an accident in response to the analyzed abnormal behaviors, and the estimated patient's brain damage and the likelihood of an accident to the display unit 30 It can be displayed or the communication unit can be provided as an alarm to the patient concerned.
즉, 제어부(50)는 환자의 낙상 사고 및 치명적인 사고 방지 차원에서, 발작 전체 또는 발작 개별로 분석된 이상 행동들에 대하여 인공지능 알고리즘을 적용하여 환자의 뇌손상 및 사고가능성을 추정할 수 있고, 추정된 환자의 뇌손상 및 사고가능성을 디스플레이부(30)로 하여금 표시하게 하거나 통신부(40)로 하여금 환자의 관련 당사자에게 알람으로 제공하게 할 수 있다.That is, in order to prevent falls and fatal accidents of the patient, the control unit 50 may estimate the patient's brain damage and the likelihood of an accident by applying an artificial intelligence algorithm to the abnormal behaviors analyzed for the entire seizure or individual seizures, It is possible to cause the display unit 30 to display the estimated patient's brain damage and possible accident, or to allow the communication unit 40 to provide an alarm to the patient's related party.
본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법에 관련하여서는 전술한 동영상 기반 발작 추적감시 장치(100)에 대한 내용이 적용될 수 있다. 따라서, 동영상 기반 발작 추적감시 방법과 관련하여, 전술한 동영상 기반 발작 추적감시 장치(100)에 대한 내용과 동일한 내용에 대하여는 설명을 생략하였다.In relation to the video-based seizure tracking and monitoring method according to an embodiment of the present invention, the above-described video-based seizure tracking and monitoring apparatus 100 may be applied. Therefore, with respect to the video-based seizure tracking and monitoring method, descriptions of the same contents as those of the video-based seizure tracking and monitoring apparatus 100 have been omitted.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. An embodiment of the present invention may also be implemented in the form of a recording medium including instructions executable by a computer, such as a program module executed by a computer. Computer-readable media can be any available media that can be accessed by a computer, and includes both volatile and nonvolatile media, removable and non-removable media. Further, the computer-readable medium may include all computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present invention is for illustrative purposes only, and those of ordinary skill in the art to which the present invention pertains will be able to understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not limiting. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as being distributed may also be implemented in a combined form.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the claims to be described later rather than the detailed description, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. do.
10: 카메라부
20: 저장부
30: 디스플레이부
40: 통신부
50: 제어부
100: 동영상 기반 발작 추적감시 장치
10: camera unit
20: storage
30: display unit
40: communication department
50: control unit
100: video-based seizure tracking and monitoring device

Claims (12)

  1. 삭제delete
  2. 동영상 기반 발작 추적감시 장치에 있어서,
    환자의 발작 유무를 모니터링하고 동영상을 획득하기 위한 카메라부;
    상기 획득된 동영상을 저장하기 위한 저장부;
    상기 환자의 발작 관련 뇌영역 분석 결과를 표시하기 위한 디스플레이부;
    상기 발작 관련 뇌영역 분석 결과를 상기 환자의 관련 당사자에게 알람으로 제공하기 위한 통신부; 및
    상기 카메라부, 상기 저장부, 상기 디스플레이부 및 상기 통신부의 동작을 제어하고, 상기 동영상을 기반으로 한 상기 환자의 발작 추적을 위해서 상기 획득된 동영상을 분석하기 위한 제어부를 포함하고,
    상기 제어부는,
    상기 카메라부를 이용하여 상기 환자를 모니터링하고 동영상을 획득하며, 상기 획득된 동영상을 분석하여, 상기 동영상 내에서 상기 환자 및 상기 환자를 제외한 주변 상황을 구분하여 검출하고, 상기 검출된 주변 상황을 고려하여 상기 검출된 환자의 행동들로부터 정상 행동들과 이상 행동들을 구분하고, 상기 이상 행동들을 분석하고, 상기 분석된 이상 행동들을 소정의 시간 간격으로 상기 저장부에 저장하고, 상기 분석된 이상 행동들에 대응하여 상기 환자의 발작 관련 뇌영역을 추정하고 분석하며, 상기 디스플레이부로 하여금 상기 발작 관련 뇌영역의 분석된 결과를 표시하게 하거나 상기 통신부로 하여금 상기 환자의 관련 당사자에게 알람으로 제공하게 하는 동영상 기반 발작 추적감시 장치.
    In the video-based seizure tracking and monitoring device,
    A camera unit for monitoring the presence or absence of a seizure of the patient and obtaining a video;
    A storage unit for storing the acquired video;
    A display unit for displaying a result of analyzing the brain region related to the seizure of the patient;
    A communication unit for providing the result of the seizure-related brain region analysis as an alarm to the related party of the patient; And
    And a control unit for controlling the operation of the camera unit, the storage unit, the display unit, and the communication unit, and analyzing the acquired video for seizure tracking of the patient based on the video,
    The control unit,
    Monitoring the patient using the camera unit, acquiring a video, analyzing the acquired video, detecting the patient and surrounding situations excluding the patient in the video separately, and considering the detected surrounding situation Classify normal behaviors and abnormal behaviors from the detected patient's behaviors, analyze the abnormal behaviors, store the analyzed abnormal behaviors in the storage unit at predetermined time intervals, and store the analyzed abnormal behaviors In response, the patient's seizure-related brain region is estimated and analyzed, and the display unit displays the analyzed result of the seizure-related brain region, or the communication unit provides an alarm to the patient's related party. Tracking and monitoring device.
  3. 청구항 2에 있어서
    상기 이상 행동들의 분석은,
    상기 검출된 주변 상황을 고려하여 상기 환자의 신체 각 부위의 행동들을 검출하고, 상기 검출된 신체 각 부위의 행동들에 기계학습 알고리즘을 적용하여 상기 이상 행동들을 분석하는 동영상 기반 발작 추적감시 장치.
    The method according to claim 2
    Analysis of the above abnormal behaviors,
    A video-based seizure tracking and monitoring device that detects behaviors of each body part of the patient in consideration of the detected surrounding situation, and analyzes the abnormal behaviors by applying a machine learning algorithm to the detected behaviors of each part of the body.
  4. 청구항 3에 있어서,
    상기 제어부는,
    상기 분석된 이상 행동들에 대응하여 상기 환자의 뇌손상 및 사고가능성을 추정하고, 상기 추정된 상기 환자의 뇌손상 및 사고가능성을 상기 디스플레이부로 하여금 표시하거나 상기 통신부로 하여금 상기 환자의 관련 당사자에게 알람으로 제공하게 하는 동영상 기반 발작 추적감시 장치.
    The method of claim 3,
    The control unit,
    In response to the analyzed abnormal behaviors, the patient's brain damage and the likelihood of accident are estimated, and the estimated possibility of brain damage and accident of the patient is displayed by the display unit or the communication unit alarms the relevant party of the patient. A video-based seizure tracking and monitoring device that allows you to provide it.
  5. 청구항 3에 있어서,
    상기 기계학습 알고리즘은,
    상기 신체 각 부위 별로 시간에 따른 궤적(trajectory)을 획득하고, 상기 획득된 궤적 내에서 시간에 따른 특징점들을 추출하고, 상기 추출된 특징점들 중에서 연속된(sequential) 특징점들을 입력으로 하여 적용되는 동영상 기반 발작 추적감시 장치.
    The method of claim 3,
    The machine learning algorithm,
    Based on a video applied by acquiring a trajectory over time for each body part, extracting feature points over time within the acquired trajectory, and inputting sequential feature points among the extracted feature points Seizure tracking and monitoring device.
  6. 청구항 5에 있어서,
    상기 추출된 특징점들은 HOG(Histogram of Oriented Gradients) 방법으로 추출된 특징점들 또는 SIFT(Scale Invariant Feature Transform) 방식으로 추출된 특징점들을 포함하고,
    상기 기계학습 알고리즘은 서포트 벡터 머신(Support Vector Machine, SVM), 인공신경망(Artificial Neural Network, ANN), 순환 신경망(Recurrent Neural Network, RNN) 및 딥러닝 알고리즘 중의 적어도 하나를 포함하는 동영상 기반 발작 추적감시 장치.
    The method of claim 5,
    The extracted feature points include feature points extracted by a Histogram of Oriented Gradients (HOG) method or feature points extracted by a Scale Invariant Feature Transform (SIFT) method,
    The machine learning algorithm includes at least one of a support vector machine (SVM), an artificial neural network (ANN), a recurrent neural network (RNN), and a deep learning algorithm. Device.
  7. 환자의 발작 유무를 모니터링하고 동영상을 획득하기 위한 카메라부; 상기 획득된 동영상을 저장하기 위한 저장부; 상기 환자의 발작 관련 뇌영역 분석 결과를 표시하기 위한 디스플레이부; 상기 발작 관련 뇌영역 분석 결과를 상기 환자의 관련 당사자에게 알람으로 제공하기 위한 통신부; 및 상기 카메라부, 상기 저장부, 상기 디스플레이부 및 상기 통신부의 동작을 제어하고, 상기 동영상을 기반으로 한 상기 환자의 발작 추적을 위해서 상기 획득된 동영상을 분석하기 위한 제어부를 포함하는 동영상 기반 발작 추적감시 장치를 이용한 동영상 기반 발작 추적감시 방법으로서,
    상기 제어부가 카메라부를 이용하여 환자를 모니터링하고 동영상을 획득하는 단계;
    상기 제어부가 상기 획득된 동영상을 분석하여, 상기 동영상 내에서 상기 환자 및 상기 환자를 제외한 주변 상황을 구분하여 검출하는 단계;
    상기 제어부가 상기 검출된 동영상 기반 발작 추적감시 장치주변 상황을 고려하여 상기 검출된 환자의 행동들로부터 정상 행동들과 이상 행동들을 구분하고, 상기 이상 행동들을 분석하는 단계;
    상기 제어부가 상기 분석된 이상 행동들을 소정의 시간 간격으로 상기 저장부에 저장하는 단계;
    상기 제어부가 상기 분석된 이상 행동들에 대응하여, 상기 환자의 발작 관련 뇌영역을 추정하고 분석하는 단계; 및
    상기 제어부가 상기 발작 관련 뇌영역의 분석된 결과를 디스플레이부에 표시하거나 상기 통신부로 하여금 상기 환자의 관련 당사자에게 알람으로 제공하는 단계
    를 포함하는 동영상 기반 발작 추적감시 방법.
    A camera unit for monitoring the presence or absence of a seizure of the patient and obtaining a video; A storage unit for storing the acquired video; A display unit for displaying a result of analyzing the brain region related to the seizure of the patient; A communication unit for providing the result of the seizure-related brain region analysis as an alarm to the related party of the patient; And a control unit for controlling the operation of the camera unit, the storage unit, the display unit, and the communication unit, and analyzing the acquired video for seizure tracking of the patient based on the video. As a video-based seizure tracking and monitoring method using a monitoring device,
    Monitoring, by the control unit, a patient using a camera unit and obtaining a video;
    Analyzing, by the control unit, the acquired video, and detecting the patient and surrounding situations excluding the patient in the video;
    Classifying normal behaviors and abnormal behaviors from the detected patient's behaviors in consideration of a situation around the detected video-based seizure tracking and monitoring device, and analyzing the abnormal behaviors;
    Storing, by the control unit, the analyzed abnormal behaviors in the storage unit at predetermined time intervals;
    Estimating and analyzing, by the control unit, a seizure-related brain region of the patient in response to the analyzed abnormal behaviors; And
    Displaying, by the control unit, the analyzed result of the seizure-related brain region on a display unit, or providing the communication unit as an alarm to the patient concerned
    Video-based seizure tracking and monitoring method comprising a.
  8. 청구항 7에 있어서,
    상기 이상 행동들의 분석은,
    상기 검출된 주변 상황을 고려하여 상기 환자의 신체 각 부위의 행동들을 검출하고, 상기 검출된 신체 각 부위의 행동들에 기계학습 알고리즘을 적용하여 상기 이상 행동들을 분석하는 동영상 기반 발작 추적감시 방법.
    The method of claim 7,
    Analysis of the above abnormal behaviors,
    A video-based seizure tracking and monitoring method for detecting behaviors of each part of the patient's body in consideration of the detected surrounding situation, and analyzing the abnormal behaviors by applying a machine learning algorithm to the detected behaviors of each part of the body.
  9. 청구항 8에 있어서,
    상기 제어부가 상기 분석된 이상 행동들에 대응하여 상기 환자 뇌손상 및 사고 가능성을 추정하는 단계; 및
    상기 제어부가 상기 추정된 상기 환자의 뇌손상 및 사고가능성을 상기 디스플레이부에 표시하거나 상기 통신부로 하여금 상기 환자의 관련 당사자에게 알람으로 제공하는 단계를 더 포함하는 동영상 기반 발작 추적감시 방법.
    The method of claim 8,
    Estimating, by the control unit, the possibility of brain damage and accidents in response to the analyzed abnormal behaviors; And
    The video-based seizure tracking and monitoring method further comprising the step of displaying, by the control unit, the estimated possibility of brain damage and accident of the patient on the display unit or by providing the communication unit as an alarm to a related party of the patient.
  10. 청구항 8에 있어서,
    상기 기계학습 알고리즘은,
    상기 신체 각 부위 별로 시간에 따른 궤적(trajectory)을 획득하고, 상기 획득된 궤적 내에서 시간에 따른 특징점들을 추출하고, 상기 추출된 특징점들 중에서 연속된(sequential) 특징점들을 입력으로 하여 적용되는 것인 동영상 기반 발작 추적감시 방법.
    The method of claim 8,
    The machine learning algorithm,
    It is applied by acquiring a trajectory over time for each body part, extracting feature points over time within the obtained trajectory, and inputting sequential feature points among the extracted feature points. Video-based seizure tracking and monitoring method.
  11. 청구항 10에 있어서,
    상기 추출된 특징점들은 HOG(Histogram of Oriented Gradients) 방법으로 추출된 특징점들 또는 SIFT(Scale Invariant Feature Transform) 방법으로 추출된 특징점들을 포함하고,
    상기 기계학습 알고리즘은 서포트 벡터 머신(Support Vector Machine, SVM), 인공신경망(Artificial Neural Network, ANN), 순환 신경망(Recurrent Neural Network, RNN) 및 딥러닝 알고리즘 중의 적어도 하나를 포함하는 것인 동영상 기반 발작 추적감시 방법.
    The method of claim 10,
    The extracted feature points include feature points extracted by a Histogram of Oriented Gradients (HOG) method or feature points extracted by a Scale Invariant Feature Transform (SIFT) method,
    The machine learning algorithm includes at least one of a support vector machine (SVM), an artificial neural network (ANN), a recurrent neural network (RNN), and a deep learning algorithm. Tracking and monitoring method.
  12. 청구항 7 내지 청구항 11 중 어느 하나의 청구항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
    A computer-readable recording medium in which a program for implementing the method of any one of claims 7 to 11 is recorded.
KR1020170087652A 2017-07-11 2017-07-11 Seizure monitoring method and apparatus using video KR102164475B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170087652A KR102164475B1 (en) 2017-07-11 2017-07-11 Seizure monitoring method and apparatus using video

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170087652A KR102164475B1 (en) 2017-07-11 2017-07-11 Seizure monitoring method and apparatus using video
PCT/KR2018/006658 WO2019013456A1 (en) 2017-07-11 2018-06-12 Method and device for tracking and monitoring seizure on basis of video

Publications (2)

Publication Number Publication Date
KR20190006670A KR20190006670A (en) 2019-01-21
KR102164475B1 true KR102164475B1 (en) 2020-10-12

Family

ID=65002665

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170087652A KR102164475B1 (en) 2017-07-11 2017-07-11 Seizure monitoring method and apparatus using video

Country Status (2)

Country Link
KR (1) KR102164475B1 (en)
WO (1) WO2019013456A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210236026A1 (en) * 2020-02-05 2021-08-05 General Electric Company System and method for neuroactivity detection in infants

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009529931A (en) * 2006-03-15 2009-08-27 ホスピス・シビル・ドゥ・リヨン Patient monitoring method and system for performing the method
JP2014217649A (en) 2013-05-10 2014-11-20 学校法人麻布獣医学園 System and method for monitoring epileptic seizure
JP2015172889A (en) 2014-03-12 2015-10-01 富士通株式会社 detection device, detection method, and program
JP2018147021A (en) 2017-03-01 2018-09-20 富士通株式会社 Dangerous state prediction device, dangerous state prediction method, dangerous state prediction program, dangerous state prediction data acquisition device, dangerous state prediction data acquisition method, and dangerous state prediction data acquisition program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090060287A1 (en) * 2007-09-05 2009-03-05 Hyde Roderick A Physiological condition measuring device
KR101070389B1 (en) * 2010-12-30 2011-10-06 김용중 System for monitoring patient condition
KR101531994B1 (en) * 2013-09-04 2015-06-29 한국과학기술연구원 Apparatus and method for selectively collecting electroencephalogram data through motion recognition
KR101602033B1 (en) 2014-01-13 2016-03-09 울산대학교 산학협력단 Apparatus for monitoring patients with epilepsy using the mobile communication terminal and method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009529931A (en) * 2006-03-15 2009-08-27 ホスピス・シビル・ドゥ・リヨン Patient monitoring method and system for performing the method
JP2014217649A (en) 2013-05-10 2014-11-20 学校法人麻布獣医学園 System and method for monitoring epileptic seizure
JP2015172889A (en) 2014-03-12 2015-10-01 富士通株式会社 detection device, detection method, and program
JP2018147021A (en) 2017-03-01 2018-09-20 富士通株式会社 Dangerous state prediction device, dangerous state prediction method, dangerous state prediction program, dangerous state prediction data acquisition device, dangerous state prediction data acquisition method, and dangerous state prediction data acquisition program

Also Published As

Publication number Publication date
WO2019013456A1 (en) 2019-01-17
KR20190006670A (en) 2019-01-21

Similar Documents

Publication Publication Date Title
JP6660300B2 (en) Smart wearable device and method with attention level and workload detection
US9795324B2 (en) System for monitoring individuals as they age in place
JP2016147089A (en) Dry sensor eeg/emg and motion sensing system for seizure detection and monitoring
US10231664B2 (en) Method and apparatus to predict, report, and prevent episodes of emotional and physical responses to physiological and environmental conditions
DE102015111823A1 (en) Configure portable devices
US10617342B2 (en) Systems, apparatus, and methods for using a wearable device to monitor operator alertness
KR101584090B1 (en) Mirror device, wearable device and exercise management system
US10638938B1 (en) Eyeglasses to detect abnormal medical events including stroke and migraine
US10791938B2 (en) Smartglasses for detecting congestive heart failure
US20170281075A1 (en) Sensor-based condition monitor
KR102164475B1 (en) Seizure monitoring method and apparatus using video
CN108882853B (en) Triggering measurement of physiological parameters in time using visual context
Dhole et al. A novel helmet design and implementation for drowsiness and fall detection of workers on-site using EEG and Random-Forest Classifier
US11154203B2 (en) Detecting fever from images and temperatures
JP2017536946A (en) Device and method for determining consciousness state
US11033214B1 (en) Wearable eye tracking system
Salimuddin et al. Driver Drowsiness Monitoring System Using Fusion of Facial Features & EEG
Pariselvam et al. Seizure Detection Using Novel Wrist-Worn Biosensor
CN112132112A (en) Behavior prejudging system
Li Sleep-related fall monitoring among elderly using non-invasive wireless bio-sensors

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant