WO2019013456A1 - 동영상 기반 발작 추적감시 방법 및 장치 - Google Patents

동영상 기반 발작 추적감시 방법 및 장치 Download PDF

Info

Publication number
WO2019013456A1
WO2019013456A1 PCT/KR2018/006658 KR2018006658W WO2019013456A1 WO 2019013456 A1 WO2019013456 A1 WO 2019013456A1 KR 2018006658 W KR2018006658 W KR 2018006658W WO 2019013456 A1 WO2019013456 A1 WO 2019013456A1
Authority
WO
WIPO (PCT)
Prior art keywords
patient
seizure
abnormal behavior
moving image
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2018/006658
Other languages
English (en)
French (fr)
Inventor
조백환
서대원
손영민
박은경
이규성
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Life Public Welfare Foundation
Original Assignee
Samsung Life Public Welfare Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Life Public Welfare Foundation filed Critical Samsung Life Public Welfare Foundation
Publication of WO2019013456A1 publication Critical patent/WO2019013456A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Definitions

  • the present invention relates to a video-based seizure tracking method and apparatus, and more particularly, to a video-based seizure tracking method and apparatus for monitoring the presence or absence of a seizure of a patient, acquiring a video, analyzing the acquired video, Based seizure tracking method and apparatus for estimating and analyzing a seizure related brain region corresponding to an abnormal behavior analyzed by analyzing an abnormal behavior of a brain seizure patient in consideration of the detected surrounding situation .
  • the most basic method of confirming epileptic seizures is to check the change of EEG at the time of seizure.
  • a special inpatient room video-EEG monitoring
  • EEG electroencephalography
  • EEG electroencephalography
  • seizures occur in situations where epileptic seizures occur infrequently, sleep or seizures, menstrual worsening seizures, feeding seizures, and the like. Therefore, recording and confirming seizures occurring in various daily lives It is difficult.
  • the bed mattress method is difficult to detect a large number of seizures that are not detected by the sensor by detecting a motion by placing a vibration sensor under the mattress. In fact, it is difficult to detect various movements such as seizures, There is a problem that it can be applied.
  • the wristwatch method is a method in which a watch-type device with a sensor such as an accelerometer detects repetitive movements and transmits a GPS position to a family member or a medical staff.
  • a sensor such as an accelerometer detects repetitive movements and transmits a GPS position to a family member or a medical staff.
  • various forms of seizure symptoms Paralysis, and the like) is difficult to detect.
  • the video system is implemented in a hospital, and a system such as a centralized CCTV control center is installed in the clinic to monitor patients admitted to the epilepsy monitoring unit.
  • a specialist in epilepsy neurology or pediatric adolescents and specialists
  • an object of the present invention is to provide a method and apparatus for monitoring a seizure state of a patient
  • the present invention provides a video-based seizure tracking method and apparatus for estimating and analyzing seizure-related brain regions of a patient corresponding to abnormal behaviors analyzed by analyzing abnormal behaviors of brain seizure patients in consideration of the detected surrounding conditions .
  • a video-based seizure tracking apparatus includes a camera unit for monitoring a seizure state of a patient and obtaining a moving image, a storage unit for storing the acquired moving image, A display unit for displaying a seizure-related brain region, an operation unit for controlling the operation of a communication unit and a camera unit, a storage unit, a display unit, and a communication unit for providing a result of analyzing a seizure-related brain region to an associated party of the patient as an alarm, And a control unit for analyzing the obtained moving image.
  • the control unit monitors the patient using the camera unit, acquires the video, analyzes the acquired video, The abnormal conditions are classified and detected, the normal behaviors and abnormal behaviors are distinguished from the detected patient behaviors in consideration of the detected peripheral conditions, the abnormal behaviors are analyzed, and the analyzed abnormal behaviors are stored in the storage unit And analyzes and analyzes the seizure-related brain region of the patient in response to the analyzed abnormal behavior, and causes the display unit to display the analyzed result of the seizure-related brain region or to provide the communication unit with an alarm to the relevant party of the patient .
  • the analysis of the abnormal behavior may be performed by detecting the behavior of each part of the patient's body in consideration of the detected surrounding conditions, Can be applied to machine learning algorithms to analyze abnormal behavior.
  • the controller estimates the brain damage and possibility of the patient in response to the analyzed abnormal behavior, To the display unit or to cause the communication unit to provide an alarm to the relevant party of the patient.
  • the machine learning algorithm acquires a time-based trajectory for each part of the body, extracts feature points according to time within the obtained trajectory And input sequential feature points among the extracted feature points.
  • extracted feature points may be feature points extracted by HOG (Histogram of Oriented Gradients) method or feature points extracted by a Scale Invariant Feature Transform
  • the machine learning algorithm may include at least one of a support vector machine (SVM), an artificial neural network (ANN), a recurrent neural network (RNN), and a deep learning algorithm.
  • SVM support vector machine
  • ANN artificial neural network
  • RNN recurrent neural network
  • a video-based seizure tracking method includes monitoring a patient using a camera unit and acquiring a moving image, analyzing the acquired moving image, and classifying the surrounding situations excluding the patient and the patient in the moving image Identifying abnormal behaviors and abnormal behaviors from the detected behaviors of the patient in consideration of the detected peripheral conditions, analyzing abnormal behaviors, storing the analyzed abnormal behaviors at predetermined time intervals, analyzing Estimating and analyzing the seizure-related brain area of the patient in response to the abnormal behavior, and displaying the analyzed result of the seizure-related brain area on the display unit or providing it as an alarm to the relevant party of the patient .
  • the analysis of the abnormal behavior may be performed by detecting the behavior of each part of the patient's body in consideration of the detected surrounding conditions, Can be applied to machine learning algorithms to analyze abnormal behavior.
  • the video-based seizure tracking method includes the steps of estimating the probability of a patient's brain damage and an accident corresponding to the analyzed abnormal behavior, Display or provide an alarm to the relevant party of the patient.
  • a machine learning algorithm may be used to acquire a time-based trajectory for each part of the body, extract feature points along time in the acquired trajectory And input sequential feature points among the extracted feature points.
  • extracted feature points may be feature points extracted by HOG (Histogram of Oriented Gradients) method or feature points extracted by a Scale Invariant Feature Transform (SIFT)
  • the machine learning algorithm may include at least one of a support vector machine (SVM), an artificial neural network (ANN), a recurrent neural network (RNN), and a deep learning algorithm.
  • a computer-readable recording medium on which a program for causing the computer to execute the above-described method may be provided.
  • the video-based seizure tracking and monitoring method and apparatus it is possible to monitor an unexpected movement such as a seizure behavior of a patient as a moving picture and provide an alarm to the related parties on the estimated brain damage and possibility of the patient Thus, it is possible to prevent fatal accidents and body damage that may occur to seizure patients in advance.
  • the video-based seizure tracking and monitoring method and apparatus it is possible to monitor and analyze seizure patients and epilepsy patients without the measurement of brain waves by application of artificial intelligence algorithm through video analysis, It is possible to estimate and analyze the seizure-related brain region corresponding to the behavior or abnormal behavior of the patient.
  • FIG. 1 is a block diagram illustrating a configuration of a motion-based seizure tracking apparatus 100 according to an exemplary embodiment of the present invention.
  • FIG. 2 is a flowchart illustrating a video-based seizure tracking method according to an exemplary embodiment of the present invention.
  • a video-based seizure tracking apparatus includes a camera unit for monitoring a seizure state of a patient and obtaining a moving image, a storage unit for storing the acquired moving image, A display unit for displaying a seizure-related brain region, an operation unit for controlling the operation of a communication unit and a camera unit, a storage unit, a display unit, and a communication unit for providing a result of analyzing a seizure-related brain region to an associated party of the patient as an alarm, And a control unit for analyzing the obtained moving image.
  • the control unit monitors the patient using the camera unit, acquires the video, analyzes the acquired video, The abnormal conditions are classified and detected, the normal behaviors and abnormal behaviors are distinguished from the detected patient behaviors in consideration of the detected peripheral conditions, the abnormal behaviors are analyzed, and the analyzed abnormal behaviors are stored in the storage unit And analyzes and analyzes the seizure-related brain region of the patient in response to the analyzed abnormal behavior, and causes the display unit to display the analyzed result of the seizure-related brain region or to provide the communication unit with an alarm to the relevant party of the patient .
  • the analysis of the abnormal behavior may be performed by detecting the behavior of each part of the patient's body in consideration of the detected surrounding conditions, Can be applied to machine learning algorithms to analyze abnormal behavior.
  • the controller estimates the brain damage and possibility of the patient in response to the analyzed abnormal behavior, To the display unit or to cause the communication unit to provide an alarm to the relevant party of the patient.
  • the machine learning algorithm acquires a time-based trajectory for each part of the body, extracts feature points according to time within the obtained trajectory And input sequential feature points among the extracted feature points.
  • extracted feature points may be feature points extracted by HOG (Histogram of Oriented Gradients) method or feature points extracted by a Scale Invariant Feature Transform
  • the machine learning algorithm may include at least one of a support vector machine (SVM), an artificial neural network (ANN), a recurrent neural network (RNN), and a deep learning algorithm.
  • SVM support vector machine
  • ANN artificial neural network
  • RNN recurrent neural network
  • a video-based seizure tracking method includes monitoring a patient using a camera unit and acquiring a moving image, analyzing the acquired moving image, and classifying the surrounding situations excluding the patient and the patient in the moving image Identifying abnormal behaviors and abnormal behaviors from the detected behaviors of the patient in consideration of the detected peripheral conditions, analyzing abnormal behaviors, storing the analyzed abnormal behaviors at predetermined time intervals, analyzing Estimating and analyzing the seizure-related brain area of the patient in response to the abnormal behavior, and displaying the analyzed result of the seizure-related brain area on the display unit or providing it as an alarm to the relevant party of the patient .
  • the analysis of the abnormal behavior may be performed by detecting the behavior of each part of the patient's body in consideration of the detected surrounding conditions, Can be applied to machine learning algorithms to analyze abnormal behavior.
  • the video-based seizure tracking method includes the steps of estimating the probability of a patient's brain damage and an accident corresponding to the analyzed abnormal behavior, Display or provide an alarm to the relevant party of the patient.
  • a machine learning algorithm may be used to acquire a time-based trajectory for each part of the body, extract feature points along time in the acquired trajectory And input sequential feature points among the extracted feature points.
  • extracted feature points may be feature points extracted by HOG (Histogram of Oriented Gradients) method or feature points extracted by a Scale Invariant Feature Transform (SIFT)
  • the machine learning algorithm may include at least one of a support vector machine (SVM), an artificial neural network (ANN), a recurrent neural network (RNN), and a deep learning algorithm.
  • a computer-readable recording medium on which a program for causing the computer to execute the above-described method may be provided.
  • FIG. 1 is a block diagram illustrating a configuration of a motion-based seizure tracking apparatus 100 according to an exemplary embodiment of the present invention.
  • a video-based seizure tracking apparatus 100 includes a camera unit 10 for monitoring a patient and acquiring moving images, a storage unit 20 for storing moving images, A display section 30 for displaying a seizure related brain region result, a communication section 40 and a camera section 10 for providing a relevant party with a seizure related brain area result, a storage section 20, a display section 30, And a control unit 50 for controlling the communication unit 40.
  • the camera unit 10 can monitor a patient's seizure and acquire a moving image.
  • the camera unit 10 is a device for monitoring a patient and photographing a surrounding state of a patient and a seizure state of a patient as a moving picture, and includes a video measurement device such as a CIS (CMOS Image Sensor) camera or an infrared camera can do.
  • CIS CMOS Image Sensor
  • the camera unit 10 photographs the behavior of the patient's face and each part of the body of the patient as a moving picture, and not only the patient but also the surroundings such as a space surrounding the third person or the patient talking with the patient,
  • the environment can also be monitored and the video can be acquired.
  • the storage unit 20 may store a moving image obtained by the camera unit 10.
  • the storage unit 20 is a device for storing a moving picture indicating a seizure state or an abnormal state of a patient.
  • the control unit 50 applies a machine learning algorithm to the monitored patient's actions, (Or seizure state) of the patient, and stores the analyzed abnormal behavior of the patient in the storage unit 20.
  • abnormal behavior refers to normal behavior, and may be defined as a term including seizure behavior (seizure state) of a patient with epilepsy or brain lesion, and abnormal behavior of the patient.
  • the abnormal behavior may include abnormal movements of the patient, such as ocular deviation, head turn, skewness, and the like, and may include dystonic dysmorphic movements such as convulsive movements, eye flicker, unusual facial expressions, Motion, foot motion, intense and violent motion, and the like.
  • abnormal movements of the patient such as ocular deviation, head turn, skewness, and the like
  • dystonic dysmorphic movements such as convulsive movements, eye flicker, unusual facial expressions, Motion, foot motion, intense and violent motion, and the like.
  • the storage unit 20 can store abnormal behavior analyzed through the controller 50 according to a predetermined time interval or an occurrence time.
  • the storage unit 20 stores the abnormal behavior in accordance with a predetermined time interval or occurrence time, Location of occurrence, time of occurrence, and so on.
  • the storage unit 20 may describe the abnormal behavior as a whole, or may describe the abnormal behavior as a behavior unit constituting the abnormal behavior so that the abnormal behavior of the patient is used for the brain lesion area estimation. It can be saved according to time.
  • the display unit 30 may display a result of analyzing a brain region related to a patient's seizure.
  • the display unit 30 may display an analysis result of a patient's seizure-related brain region corresponding to the analyzed abnormal behavior of the patient and the abnormal behavior of the patient by applying a machine learning algorithm.
  • the display unit 30 displays the analysis result of the control unit 50 to be provided to the patient or the related parties.
  • the display unit 30 analyzes the analyzed brain regions of the patient, Not only the result but also the type of the abnormal behavior of the patient, the abnormal behavior occurrence time, and the place of occurrence can be displayed on the display unit 30.
  • the term related party may include any individual or individual who may be aware of the occurrence of a seizure, such as a caregiver, a medical professional, a close friend, or a patient's relative.
  • the communication unit 40 can provide an alarm to the related party of the patient in the analysis result of the brain region related to the seizure of the patient.
  • the communication unit 40 may include a short-range communication module or a mobile communication module, a LoRa (Long Range) large-scale low-power long-range wireless communication Modules, and the like.
  • LoRa Long Range
  • a short-range wireless communication unit may include a Bluetooth communication module, a Bluetooth low energy (BLE) communication module, a Near Field Communication module, a Wi-Fi communication Module, a Zigbee communication module, an IrDA (infrared data association) communication module, a WFD (Wi-Fi Direct) communication module, an UWB (ultra wideband) communication module, an Ant + communication module, and the like.
  • the control unit 50 includes devices included in the video-based seizure tracking device 100 such as a camera unit 10, a storage unit 20, a display unit 30, 40).
  • control unit 50 can acquire a moving image by monitoring the seizure patient using the camera unit 10, and can store the acquired moving image in the storage unit 20.
  • control unit 50 can cause the display unit 30 to display an analysis result of a seizure-related brain region corresponding to a patient's anomalous actions and / or abnormal actions, The analysis result of the brain region related to the seizure of the patient can be provided as an alarm to the relevant party of the patient.
  • control unit 50 can analyze the acquired moving images and detect the surroundings excluding the patient and the patient in the moving image.
  • control unit 50 analyzes the moving image obtained through the camera unit 10 to detect not only the motion and the state of the patient but also the motion of the patient, ,
  • the context of the patient's surroundings e.g., the place of residence and time of the patient
  • the control unit 50 analyzes the obtained moving image to determine whether the patient is in a room alone, or whether the patient has a conversation or interaction with another person, can do.
  • control unit 50 analyzes the behavior of the patient in the moving picture
  • the behavior of the patient's lips may be changed by taking the context of the surrounding situation into consideration, If there is no conversation partner, it can be analyzed as an abnormal behavior. Therefore, it is necessary to separate and detect the surrounding situations excluding the patient and the patient in the process of analyzing the acquired video.
  • the controller 50 can distinguish the normal behaviors and the abnormal behaviors from the patient's behaviors in consideration of the detected surrounding conditions and analyze the abnormal behaviors.
  • the controller 50 can analyze the patient's behavior in consideration of the surrounding situation in the moving image, and can classify the patient's behavior into normal behaviors and abnormal behaviors. For example, if a patient does not interact with people around him at all, if he or she does not exist, he or she may be able to talk to people nearby, have.
  • the control unit 50 can classify the behaviors of the patient into normal behaviors and abnormal behaviors in consideration of the contexts such as the place, time, presence of a third party, etc. in the video.
  • abnormal motion may occur in consideration of the surrounding situation, for example, when the user is quiet or suddenly turns over excessively during routine operation, the face suddenly frowns (Tonic), when the ball is torn (tonic), when there is stillness or suddenly the arm suddenly moves up to a strange posture (tonic), when it is quiet or suddenly, (tonic) or seizures, swelling or suddenly making hands strange in the course of a routine operation (dystonic), convulsions, sudden or sudden movements of the shoulders and arms during daily activities myoclonic), symmetrical, with constant force during daily routine, If you are stunned or asymmetrically stiff, bilateral tonic, silent or suddenly making a strange noise during your daily activities, if you are still or appear to fall on one side during your daily activities, If the patient is sitting or standing suddenly falling forward or backward, the patient may have an abnormal behavior such as dystonic posturing when he or she is still or constantly exercising on one shoulder and tonic posturing or turning inside or outside (dystonic posturing) As shown in FIG.
  • the controller 50 can classify the abnormal behavior of the patient into seizures or individual seizures (for example, a behavioral unit constituting an abnormal behavior) in consideration of the surrounding situations in the acquired moving picture.
  • controller 50 detects behaviors of each part of the body of the patient in consideration of the detected surrounding conditions, applies a machine learning algorithm to the behaviors of the detected parts of the body, Can be analyzed.
  • the controller 50 acquires a time-based trajectory for each part of the body of the patient, extracts the feature points according to time within the obtained trajectory,
  • the machine learning algorithm can be applied with sequential feature points as inputs.
  • the feature point can designate a unique portion (position) or a unique point (point) for each part of the body of a person extracted from the motion trajectory along time, and can stably A unique portion of each part of the body that can be tracked can be designated as a feature point.
  • consecutive feature points represent the movement locus, they can be expressed as a function of time, speed, and acceleration, and can be calculated by information on the amplitude, frequency, and motion locus area of the change.
  • control unit 50 extracts feature points by HOG (Histogram of Oriented Gradients) method, or extracts feature points by a SIFT (Scale Invariant Feature Transform) method in order to acquire a time-based trajectory for each body part of a patient. can do.
  • HOG Histogram of Oriented Gradients
  • SIFT Scale Invariant Feature Transform
  • the controller 50 may also include at least one of a support vector machine (SVM), an artificial neural network (ANN), a recurrent neural network (RNN), and a deep learning algorithm It can be applied as a machine learning algorithm.
  • SVM support vector machine
  • ANN artificial neural network
  • RNN recurrent neural network
  • control unit 50 can acquire a time-based trajectory for each part of the body, extract consecutive feature points from the obtained trajectory, apply a machine learning algorithm to analyze the perceived abnormal behavior in consideration of the surrounding situation, It is possible to analyze whether the behavior occurred as a whole (whole seizure) or individually (individual seizure).
  • controller 50 can store the abnormal behavior details analyzed according to the predetermined time interval or the occurrence time using the storage unit 20.
  • the video-based seizure tracking device 100 needs to check and store the state of the patient for a predetermined time. For example, since the video-based seizure tracking apparatus 100 needs to display, provide, or provide an alarm to the related parties, the number, type, occurrence timing, occurrence place, May store the analyzed abnormal behavior according to a predetermined time interval or occurrence time using the storage unit 20.
  • the anomalous actions analyzed and stored by the control unit 50 may be described or stored as a whole for the abnormal behavior in order to be used for the brain lesion area estimation, or may be described and stored in the behavioral units constituting the abnormal behavior have.
  • the controller 50 applies a machine learning algorithm to each part of the analyzed body to classify the abnormal behavior as whole seizures or seizures, and analyzes the entire seizure as an entire description of the abnormal behavior Stored in the storage unit 20, and the abnormal behavior analyzed as individual seizures can be stored in the storage unit 20 by describing the abnormal behavior as a behavior unit constituting the abnormal behavior.
  • the control unit 50 when the control unit 50 analyzes the abnormal behavior measured in the moving picture as a whole seizure, the control unit 50 can describe the abnormal behavior as a whole and store the abnormal behavior in the storage unit 20 have. For example, suddenly (with the right hand rolling away) suddenly (when the dizziness button is pushed) and the head turns to the left to give the whole body a full body seizure, When I trembled toward my shoulder and shivered to my face, my right facial crumpled, and my head turned and made a sound, I was suddenly feeling a sudden If you do not respond to the question while twisting your right arm as if you are touching something like touching something with your left hand while staring at your face, if you turn your head to one side and proceed with the whole body spasm, I feel like I am surprised, And if there is nothing happening, it is suddenly unrealistic and suddenly you start to recite your appetite, while making a strange speech, maintaining a moderate response, and returning to your mind. And may be included as a case of storing
  • the controller 50 when the control unit 50 analyzes an abnormal behavior measured in a moving picture as an individual seizure, the controller 50 describes the abnormal behavior (seizure) as a behavior unit constituting the abnormal behavior and stores (20).
  • the head and neck when describing the head and neck in behavioral units, they may appear blank, react or disappear, flashing, face splashing, head turning, eyes turning If you make a serious look, if you smile, when you cry, when you whistle, when you taste again, if you chew, when you swallow, when you cough, when you can not speak, when you speak, (Seizure), the head and the neck are described as behavioral units constituting anomalous behavior, such as when a person makes an unacceptable sound, when a person makes a noise, when a person makes a sound, And may be included as a case of storing.
  • the upper limb when describing the upper limb as a unit of action, it may be used to describe an arm extending, an arm being twisted, an arm twisted, a twisted or twisted hand, a shoulder lifted, If you are rubbing your hands, rubbing your hands repeatedly, showing hand gestures, giving motion, holding your hands tightly, holding your fist, moving one hand, rubbing your eyes, A case of rubbing the face, a case of covering the mouth with a hand, and the like may be included as a description of the upper part of the abnormal part (seizure) as a behavior unit constituting an abnormal behavior and stored.
  • the leg part in the case of describing the leg part as an action unit, there are cases where the leg is extended, the leg is lifted, the leg is lifted, the leg is shaken, the bicycle is turned, And may include a case in which the leg part is described as a behavior unit constituting an abnormal behavior and stored for an abnormal behavior (seizure).
  • the body and the shoulder portions when the body and shoulder portions are described in the unit of action, the body and the shoulder portions may be subjected to abnormal behavior (seizure) in the case of turning the body, sitting, And describing and storing the action unit constituting the action unit.
  • abnormal behavior seizure
  • the body and the shoulder portions may be subjected to abnormal behavior (seizure) in the case of turning the body, sitting, And describing and storing the action unit constituting the action unit.
  • controller 50 can estimate and analyze the seizure-related brain region of the patient in response to the analyzed abnormal behavior.
  • the controller 50 can classify the abnormal behavior of the patient in the acquired motion picture as a whole seizure or an individual seizure (for example, a behavioral unit constituting an abnormal behavior) By entering the artificial intelligence algorithm for brain area estimation, it is possible to estimate and analyze the part of the brain region related to the seizure of the patient.
  • the seizure appears as a whole, and the controller 50 describes the abnormal behavior of the patient as the whole seizure, ), And in response to the seizure total abnormal behavior, the left frontal lobe extraocular motion region can be estimated as the seizure related brain region of the patient.
  • the control unit 50 controls the patient 50 in a case where the patient suddenly awakens as if to be surprised and starts to struggle with a scary expression
  • the abnormal behavior may be described as the whole seizure and stored in the storage unit 20.
  • the frontal lobe inner region may be estimated as the seizure related brain region of the patient.
  • the control unit 50 describes the abnormal behavior of the patient as a seizure on the head and neck, ), And in response to the seizure-induced abnormal behavior, the brain region on the opposite side of the direction of the head or eyes can be estimated as the seizure-related brain region of the patient.
  • the control unit 50 describes and stores the abnormal behavior of the patient as a seizure on the head and neck, In response to seizure-induced abnormal behavior, the left hemisphere (dominant hemisphere) region can be estimated as the seizure related brain region of the patient.
  • the controller 50 analyzes the patient's behaviors using a machine learning algorithm using the feature points, classifies and analyzes the abnormal behaviors from the patient's behaviors, and responds to the analyzed abnormal behaviors (for example,
  • the brain region of the seizure related brain region corresponding to the abnormal behavior can be estimated by preliminarily inputting the seizure related brain region of one patient using the machine learning algorithm or the deep learning technique.
  • the controller 50 analyzes the behavior of the patient as abnormal behavior by each body part, applies a machine learning algorithm for estimating the seizure-related brain area based on the analyzed abnormal behavior, And the propagation area can be estimated.
  • control unit 50 allows the display unit 30 to display a result of analyzing a brain area related to a patient's seizure, or allows the communication unit 40 to display a result of analyzing a brain area And may be provided as an alarm to the relevant party of the patient.
  • FIG. 2 is a flowchart illustrating a video-based seizure tracking method according to an exemplary embodiment of the present invention.
  • step S10 the control unit 50 can monitor the patient and acquire a moving image using the camera unit 10.
  • control unit 50 controls the camera unit 10 to photograph the behaviors of the patient's face and each part of the body of the patient as a moving picture, and not only the patient but also a third party or a patient
  • the surrounding environment such as time, etc., can be obtained while monitoring the surrounding environment.
  • step S20 the controller 50 analyzes the obtained moving image, and can detect the surroundings excluding the patient and the patient in the moving image.
  • the controller 50 analyzes the obtained moving image to detect not only the motion state of the patient but also the surrounding conditions except the patient, for example, the surrounding environment of the patient (e.g., Time and / or context of a person around the patient (for example, conversation, movement, interaction), and can detect the surrounding conditions controlling the patient and the patient separately.
  • the surrounding environment of the patient e.g., Time and / or context of a person around the patient (for example, conversation, movement, interaction)
  • step S30 the controller 50 can distinguish the normal behaviors and the abnormal behaviors from the detected patient behaviors in consideration of the detected surrounding conditions, and analyze the abnormal behaviors.
  • control unit 50 divides the behaviors of the patient into normal behaviors and abnormal behaviors in consideration of the surrounding situations such as the place, time, presence of a third party, and the like, Or whether seizures appear as individual anomalous behaviors.
  • the controller 50 can classify the abnormal behaviors of the patient as whole seizures or individual seizures (for example, a behavior unit constituting an abnormal behavior) by applying a machine learning algorithm in consideration of the surrounding situations in the acquired moving picture .
  • control unit 50 acquires a time-based trajectory for each part of the body of a patient to analyze anomalous behaviors as whole seizures or individual seizures, extracts feature points according to time within the obtained trajectory And a sequential feature point among the extracted feature points may be input to apply a machine learning algorithm.
  • the feature points can be extracted by a Histogram of Oriented Gradients (HOG) method or a Scale Invariant Feature Transform (SIFT) method in order to obtain a time-based trajectory for each body part of a patient.
  • HOG Histogram of Oriented Gradients
  • SIFT Scale Invariant Feature Transform
  • SVM support vector machine
  • ANN artificial neural network
  • RNN recurrent neural network
  • control unit 50 may store the analyzed abnormal behavior in the storage unit 20 at predetermined time intervals.
  • the controller 50 controls the analyzed abnormal behavior to a predetermined time interval or occurrence time
  • the abnormal behavior type, the place of occurrence, the time of occurrence, etc. and stores the abnormal behavior details in the storage unit 20.
  • step S50 the control unit 50 can estimate and analyze the seizure-related brain region of the patient in response to the analyzed abnormal behavior.
  • the controller 50 classifies the abnormal behavior as a whole seizure or an individual seizure (for example, a behavioral unit constituting an abnormal behavior), applies a machine learning algorithm to the analyzed abnormal behavior, Can be estimated and analyzed.
  • the control unit 50 extracts the trajectory of the patient's motion as a continuous feature point, applies a machine learning algorithm, And the machine learning algorithm for the seizure related brain region estimation is applied to the seizure total abnormal behavior analyzed to estimate the seizure related brain region as a part of the left frontal lobe epigastric movement region, .
  • control unit 50 may display the analyzed result of the seizure-related brain area on the display unit 30 or may provide an alarm to the relevant party of the patient.
  • control unit 50 causes the display unit 30 to display the analyzed result of the seizure-related brain area to display the patient status and alarm to the related party of the patient, or causes the communication unit 40 to display the patient's related And may be provided to the parties as an alarm.
  • the controller 50 estimates the brain damage and possibility of the patient in response to the analyzed abnormal behavior, and displays the estimated brain damage and the possibility of the accident to the display unit 30 Or to cause the communication unit to provide an alarm to the relevant party of the patient.
  • the controller 50 can estimate the brain damage and the possibility of an accident by applying an artificial intelligence algorithm to abnormal behaviors analyzed as whole seizures or individual seizures, in order to prevent a patient's fall or fatal accident, It may cause the display unit 30 to display the estimated brain damage and the possibility of the accident of the patient or may cause the communication unit 40 to provide an alarm to the relevant party of the patient.
  • the content of the above-described video-based seizure tracking apparatus 100 may be applied. Therefore, in the video-based seizure tracking monitoring method, the same contents as those of the video-based seizure tracking monitor 100 are not described.
  • One embodiment of the present invention may also be embodied in the form of a recording medium including instructions executable by a computer, such as program modules, being executed by a computer.
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • the computer readable medium may include both computer storage media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Dentistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

동영상 기반 발작 추적감시 방법 및 장치가 개시된다. 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법 및 장치는 환자의 발작 유무를 모니터링하고 동영상을 획득하고, 획득된 동영상을 분석하여, 동영상 내에서 환자 및 환자를 제외한 주변 상황을 구분하여 검출하고, 검출된 주변 상황을 고려하여 뇌발작 환자의 이상 행동들을 분석하여 분석된 이상 행동들에 대응되는 환자의 발작 관련 뇌영역을 추정하고 분석할 수 있다.

Description

동영상 기반 발작 추적감시 방법 및 장치
본 발명은 동영상 기반 발작 추적감시 방법 및 장치에 관한 것으로서, 더욱 상세하게는 환자의 발작 유무를 모니터링하고 동영상을 획득하고, 획득된 동영상을 분석하여, 동영상 내에서 환자 및 환자를 제외한 주변 상황을 구분하여 검출하고, 검출된 주변 상황을 고려하여 뇌발작 환자의 이상 행동들을 분석하여 분석된 이상 행동들에 대응되는 환자의 발작 관련 뇌영역을 추정하고 분석하는 동영상 기반 발작 추적감시 방법 및 장치에 관한 것이다.
한국에서는 해마다 13만명이 넘는 환자들이 뇌전증 발작으로 인하여 고통받고 있으며, 발작 중에 환자는 도움을 청하거나 말하거나 행동할 수 없기 때문에, 환자의 뇌전증 발작을 즉시 감지하고, 환자에게 즉각적으로 도움을 주는 시스템을 구축하는 것이 매우 중요하다.
뇌전증 발작을 확진하는 가장 기본적인 방법은 발작 당시에 뇌파의 변화를 확인하는 방법으로, 이를 위해서는 특수한 입원검사실(비디오-뇌파 추적검사실: video-EEG monitoring)에서 발작을 기다리며 추적, 감시해야 하고, 환자의 발작을 비디오로 추적관찰하며, 환자가 호소하는 발작 증세나 관찰되는 징후를 찾아서 일일이 확인해야 하는 어려움이 존재한다. 즉, 뇌파(electroencephalography, EEG)를 측정하기 위해서는 두피에 전극을 여러 개 이상 부착하고 잘 부착되어 있는지 지속적으로 확인해 가면서 뇌파를 측정해야 하고, 또한 뇌파로 기록된 파형을 분석 및 해석해야 하는 어려움이 존재하게 된다.
또한, 뇌파를 기록하는데 있어서, 뇌전증 발작이 드물게 일어나거나 수면발작 또는 기상 발작, 월경악화 발작, 섭식발작 등 예측하기 어려운 상황에서 발작이 발생하기 때문에, 다양한 일상생활에서 일어나는 발작을 기록하고 확인하기 어렵다는 점이다. 또한, 뇌전증 환자가 뇌파 측정장비를 부착하고 생활하기 어려우며, 고가의 뇌파 측정장비 역시 대중화되기 어려워 일반 입원병실은 물론, 이동용, 가정용으로 활용되기 어렵고, 환자가 인지 못하는 상황에서는 발작을 확인하여 진단과 치료에 이용하는 것은 물론, 발작 환자의 사고와 손상을 예방하는 데 이용하기 힘들다는 문제점이 있다.
종래 기술로는 다음과 같이 침대 매트리스 방식, 손목시계 방식, 비디오 방식 등을 이용하여 뇌전증 발작을 감지하는 방법을 이용하고 있다.
예를 들어, 침대 매트리스 방식은 매트리스 아래에 진동 감지 센서를 두어 동작을 감지하는 방법으로 센서에 감지되지 않는 수 많은 발작들을 검출하기는 어려우며, 실제로 발작과 같은 다양한 움직임을 감지하기 어렵고, 침대 위에서만 적용할 수 있다는 문제점이 존재한다.
또한, 손목시계 방식은 가속도계 등의 센서가 부착된 시계형 기기가 반복적인 움직임 등을 검출해 가족이나 의료진에게 GPS 위치를 전송해 주는 방식이지만, 다양한 부위에서 일어나는 다양한 형태의 발작 증세(예, 얼굴 마비 등)를 검출하기 어렵다는 문제점이 존재한다.
또한, 비디오 방식은 병원에 입원하여 시행하는 방식으로 뇌전증 추적 감시 검사실(epilepsy monitoring unit)에 입원된 환자들을 모니터링 하도록 중앙집중형 CCTV 컨트롤 센터와 같은 시스템이 임상에서 구축되기는 하나, 전문기사가 발작이 일어나는 상황을 24시간 상주하며 확인하고, 기록된 발작 비디오를 전담하는 뇌전증 전문의(신경과 또는 소아청소년과 전문의)가 재검토해야 하는 단점이 있다. 휴대폰과 적외선 카메라를 이용한 간단한 앱(App) 수준의 비디오형 모니터링 시스템이 있으나, 환자 움직임의 강도, 소리 등에 반응하도록 하는 장치로 다양한 형태의 증상과 징후를 보이는 발작의 모든 형태를 검출하기 어렵다는 문제점이 존재한다.
따라서, 병원 및 가정은 물론 공공장소 등의 어떤 환경에서든 비디오가 녹화될 수 있는 모든 상황에서 뇌전증 환자의 다양한 발작 증상과 징후에 반응하고, 환자 개인별 특성에 적응 가능한, 인공지능 기술을 도입한 지능형 동영상 기반 발작 추적감시 방법 및 장치의 개발이 요구되고 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로, 환자의 발작 유무를 모니터링하고 동영상을 획득하고, 획득된 동영상을 분석하여, 동영상 내에서 환자 및 환자를 제외한 주변 상황을 구분하여 검출하고, 검출된 주변 상황을 고려하여 뇌발작 환자의 이상 행동들을 분석하여 분석된 이상 행동들에 대응되는 환자의 발작 관련 뇌영역을 추정하고 분석하는 동영상 기반 발작 추적감시 방법 및 장치를 제공하는데 그 목적이 있다.
본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치는, 환자의 발작 유무를 모니터링하고 동영상을 획득하기 위한 카메라부, 획득된 동영상을 저장하기 위한 저장부, 환자의 발작 관련 뇌영역 분석 결과를 표시하기 위한 디스플레이부, 발작 관련 뇌영역 분석 결과를 환자의 관련 당사자에게 알람으로 제공하기 위한 통신부 및 카메라부, 저장부, 디스플레이부 및 통신부의 동작을 제어하고, 동영상을 기반으로 한 환자의 발작 추적을 위해서 획득된 동영상을 분석하기 위한 제어부를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치에 있어서, 제어부는, 카메라부를 이용하여 환자를 모니터링하고 동영상을 획득하며, 획득된 동영상을 분석하여, 동영상 내에서 환자 및 환자를 제외한 주변 상황을 구분하여 검출하고, 검출된 주변 상황을 고려하여 검출된 환자의 행동들로부터 정상 행동들과 이상 행동들을 구분하고, 이상 행동들을 분석하고, 분석된 이상 행동들을 소정의 시간 간격으로 저장부에 저장하고, 분석된 이상 행동들에 대응하여 환자의 발작 관련 뇌영역을 추정하고 분석하며, 디스플레이부로 하여금 발작 관련 뇌영역의 분석된 결과를 표시하게 하거나 통신부로 하여금 환자의 관련 당사자에게 알람으로 제공하게 할 수 있다.
또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치에 있어서, 이상 행동들의 분석은, 검출된 주변 상황을 고려하여 환자의 신체 각 부위의 행동들을 검출하고, 검출된 신체 각 부위의 행동들에 기계학습 알고리즘을 적용하여 이상 행동들을 분석할 수 있다.
또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치에 있어서, 제어부는, 분석된 이상 행동들에 대응하여 환자의 뇌손상 및 사고가능성을 추정하고, 추정된 환자의 뇌손상 및 사고가능성을 디스플레이부로 하여금 표시하거나 통신부로 하여금 환자의 관련 당사자에게 알람으로 제공하게 할 수 있다.
또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치에 있어서, 기계학습 알고리즘은, 신체 각 부위 별로 시간에 따른 궤적(trajectory)을 획득하고, 획득된 궤적 내에서 시간에 따른 특징점들을 추출하고, 추출된 특징점들 중에서 연속된(sequential) 특징점들을 입력으로 하여 적용될 수 있다.
또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치에 있어서, 추출된 특징점들은 HOG(Histogram of Oriented Gradients) 방법으로 추출된 특징점들 또는 SIFT(Scale Invariant Feature Transform) 방식으로 추출된 특징점들을 포함하고, 기계학습 알고리즘은 서포트 벡터 머신(Support Vector Machine, SVM), 인공신경망(Artificial Neural Network, ANN), 순환 신경망(Recurrent Neural Network, RNN) 및 딥러닝 알고리즘 중의 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법은, 카메라부를 이용하여 환자를 모니터링하고 동영상을 획득하는 단계, 획득된 동영상을 분석하여, 동영상 내에서 환자 및 환자를 제외한 주변 상황을 구분하여 검출하는 단계, 검출된 주변 상황을 고려하여 검출된 환자의 행동들로부터 정상 행동들과 이상 행동들을 구분하고, 이상 행동들을 분석하는 단계, 분석된 이상 행동들을 소정의 시간 간격으로 저장하는 단계, 분석된 이상 행동들에 대응하여, 환자의 발작 관련 뇌영역을 추정하고 분석하는 단계 및 발작 관련 뇌영역의 분석된 결과를 디스플레이부에 표시하거나 환자의 관련 당사자에게 알람으로 제공하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법에 있어서, 이상 행동들의 분석은, 검출된 주변 상황을 고려하여 환자의 신체 각 부위의 행동들을 검출하고, 검출된 신체 각 부위의 행동들에 기계학습 알고리즘을 적용하여 이상 행동들을 분석할 수 있다.
또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법은, 분석된 이상 행동들에 대응하여 환자 뇌손상 및 사고가능성을 추정하는 단계 및 추정된 환자의 뇌손상 및 사고가능성을 디스플레이부에 표시하거나 환자의 관련 당사자에게 알람으로 제공하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법에 있어서, 기계학습 알고리즘은, 신체 각 부위 별로 시간에 따른 궤적(trajectory)을 획득하고, 획득된 궤적 내에서 시간에 따른 특징점들을 추출하고, 추출된 특징점들 중에서 연속된(sequential) 특징점들을 입력으로 하여 적용될 수 있다.
또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법에 있어서, 추출된 특징점들은 HOG(Histogram of Oriented Gradients) 방법으로 추출된 특징점들 또는 SIFT(Scale Invariant Feature Transform) 방법으로 추출된 특징점들을 포함하고, 기계학습 알고리즘은 서포트 벡터 머신(Support Vector Machine, SVM), 인공신경망(Artificial Neural Network, ANN), 순환 신경망(Recurrent Neural Network, RNN) 및 딥러닝 알고리즘 중의 적어도 하나를 포함할 수 있다.
한편, 본 발명의 일 실시예로써, 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.
본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법 및 장치에 따르면, 환자의 발작 행동과 같은 돌발적인 움직임을 동영상으로 모니터링하고 관련 당사자들에게 추정된 환자의 뇌손상 및 사고가능성의 알람을 제공함으로써, 발작 환자에게 발생할 수 있는 치명적인 사고 및 신체 손상을 미리 예방할 수 있다.
본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법 및 장치에 따르면, 동영상 분석을 통한 인공지능 알고리즘의 적용으로 뇌파의 측정 없이 뇌전증 환자, 발작 환자를 모니터링하고 분석하여, 자동으로 환자의 발작 행동 또는 이상 행동에 대응되는 환자의 발작 관련 뇌영역을 추정, 분석할 수 있다.
이하에 첨부되는 도면들은 본 발명에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 본 발명에 대한 실시 예들을 제공한다. 다만, 본 발명의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다.
도 1은 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치(100)의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법을 나타낸 순서도이다.
본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치는, 환자의 발작 유무를 모니터링하고 동영상을 획득하기 위한 카메라부, 획득된 동영상을 저장하기 위한 저장부, 환자의 발작 관련 뇌영역 분석 결과를 표시하기 위한 디스플레이부, 발작 관련 뇌영역 분석 결과를 환자의 관련 당사자에게 알람으로 제공하기 위한 통신부 및 카메라부, 저장부, 디스플레이부 및 통신부의 동작을 제어하고, 동영상을 기반으로 한 환자의 발작 추적을 위해서 획득된 동영상을 분석하기 위한 제어부를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치에 있어서, 제어부는, 카메라부를 이용하여 환자를 모니터링하고 동영상을 획득하며, 획득된 동영상을 분석하여, 동영상 내에서 환자 및 환자를 제외한 주변 상황을 구분하여 검출하고, 검출된 주변 상황을 고려하여 검출된 환자의 행동들로부터 정상 행동들과 이상 행동들을 구분하고, 이상 행동들을 분석하고, 분석된 이상 행동들을 소정의 시간 간격으로 저장부에 저장하고, 분석된 이상 행동들에 대응하여 환자의 발작 관련 뇌영역을 추정하고 분석하며, 디스플레이부로 하여금 발작 관련 뇌영역의 분석된 결과를 표시하게 하거나 통신부로 하여금 환자의 관련 당사자에게 알람으로 제공하게 할 수 있다.
또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치에 있어서, 이상 행동들의 분석은, 검출된 주변 상황을 고려하여 환자의 신체 각 부위의 행동들을 검출하고, 검출된 신체 각 부위의 행동들에 기계학습 알고리즘을 적용하여 이상 행동들을 분석할 수 있다.
또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치에 있어서, 제어부는, 분석된 이상 행동들에 대응하여 환자의 뇌손상 및 사고가능성을 추정하고, 추정된 환자의 뇌손상 및 사고가능성을 디스플레이부로 하여금 표시하거나 통신부로 하여금 환자의 관련 당사자에게 알람으로 제공하게 할 수 있다.
또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치에 있어서, 기계학습 알고리즘은, 신체 각 부위 별로 시간에 따른 궤적(trajectory)을 획득하고, 획득된 궤적 내에서 시간에 따른 특징점들을 추출하고, 추출된 특징점들 중에서 연속된(sequential) 특징점들을 입력으로 하여 적용될 수 있다.
또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치에 있어서, 추출된 특징점들은 HOG(Histogram of Oriented Gradients) 방법으로 추출된 특징점들 또는 SIFT(Scale Invariant Feature Transform) 방식으로 추출된 특징점들을 포함하고, 기계학습 알고리즘은 서포트 벡터 머신(Support Vector Machine, SVM), 인공신경망(Artificial Neural Network, ANN), 순환 신경망(Recurrent Neural Network, RNN) 및 딥러닝 알고리즘 중의 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법은, 카메라부를 이용하여 환자를 모니터링하고 동영상을 획득하는 단계, 획득된 동영상을 분석하여, 동영상 내에서 환자 및 환자를 제외한 주변 상황을 구분하여 검출하는 단계, 검출된 주변 상황을 고려하여 검출된 환자의 행동들로부터 정상 행동들과 이상 행동들을 구분하고, 이상 행동들을 분석하는 단계, 분석된 이상 행동들을 소정의 시간 간격으로 저장하는 단계, 분석된 이상 행동들에 대응하여, 환자의 발작 관련 뇌영역을 추정하고 분석하는 단계 및 발작 관련 뇌영역의 분석된 결과를 디스플레이부에 표시하거나 환자의 관련 당사자에게 알람으로 제공하는 단계를 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법에 있어서, 이상 행동들의 분석은, 검출된 주변 상황을 고려하여 환자의 신체 각 부위의 행동들을 검출하고, 검출된 신체 각 부위의 행동들에 기계학습 알고리즘을 적용하여 이상 행동들을 분석할 수 있다.
또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법은, 분석된 이상 행동들에 대응하여 환자 뇌손상 및 사고가능성을 추정하는 단계 및 추정된 환자의 뇌손상 및 사고가능성을 디스플레이부에 표시하거나 환자의 관련 당사자에게 알람으로 제공하는 단계를 더 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법에 있어서, 기계학습 알고리즘은, 신체 각 부위 별로 시간에 따른 궤적(trajectory)을 획득하고, 획득된 궤적 내에서 시간에 따른 특징점들을 추출하고, 추출된 특징점들 중에서 연속된(sequential) 특징점들을 입력으로 하여 적용될 수 있다.
또한, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법에 있어서, 추출된 특징점들은 HOG(Histogram of Oriented Gradients) 방법으로 추출된 특징점들 또는 SIFT(Scale Invariant Feature Transform) 방법으로 추출된 특징점들을 포함하고, 기계학습 알고리즘은 서포트 벡터 머신(Support Vector Machine, SVM), 인공신경망(Artificial Neural Network, ANN), 순환 신경망(Recurrent Neural Network, RNN) 및 딥러닝 알고리즘 중의 적어도 하나를 포함할 수 있다.
한편, 본 발명의 일 실시예로써, 전술한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 소자를 사이에 두고" 연결되어 있는 경우도 포함한다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치(100)의 구성을 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 장치(100)는 환자를 모니터링 하고 동영상을 획득하기 위한 카메라부(10), 동영상을 저장하기 위한 저장부(20), 발작 관련 뇌영역 결과를 표시하기 위한 디스플레이부(30), 발작 관련 뇌 영역 결과를 관련 당사자에게 제공하기 위한 통신부(40) 및 카메라부(10), 저장부(20), 디스플레이부(30) 및 통신부(40)를 제어하기 위한 제어부(50)를 포함할 수 있다.
본 발명의 일 실시예에 따른 카메라부(10)는 환자의 발작을 모니터링하고 동영상을 획득할 수 있다.
예를 들어, 카메라부(10)는 환자를 모니터링하고, 환자의 주변 상황 및 환자의 발작 상태를 동영상으로 촬영하기 위한 장치로서, CIS(CMOS Image Sensor) 카메라, 적외선 카메라 등의 영상 측정장비를 포함할 수 있다.
즉, 카메라부(10)는 환자의 얼굴 및 신체 각 부위의 행동들을 동영상으로 촬영하고, 환자뿐만 아니라 주변 상황, 예컨대, 환자와 대화하는 제3자 또는 환자를 둘러싸고 있는 공간 환경, 시간 등의 주변 환경도 같이 모니터링하면서 동영상을 획득할 수 있다.
본 발명의 일 실시예에 따른 저장부(20)는 카메라부(10)에 의해 획득된 동영상을 저장할 수 있다.
예를 들어, 저장부(20)는 환자의 발작 상태 또는 이상 상태를 나타내는 동영상을 저장하기 위한 장치로서, 제어부(50)가 모니터링 된 환자의 행동들에 기계학습 알고리즘을 적용하여 정상 행동들과 이상 행동들(또는 발작 상태)을 구분하여 분석하고, 분석된 환자의 이상행동들을 저장부(20)에 저장할 수 있다.
여기에서, 이상 행동이라는 용어는 정상 행동과 대비되는 용어로서, 간질 환자 또는 뇌병변 환자의 발작 행동(발작 상태)을 포함하고, 환자의 비정상인 행동 모두를 포함하는 용어로 정의될 수 있다.
예를 들어, 이상 행동은 환자의 이상 움직임, 예컨대 안구 편위, 고개 회전, 경직성 뒤틀림 등을 포함하고, 근긴장 이상성 움직임, 예컨대 경련성 움직임, 눈 깜박임, 특이한 얼굴 표정, 입맛 다심, 만지작 거림, 반복적인 손 동작, 발 동작, 과격하고 격렬한 동작 등을 포함할 수 있다.
또한, 저장부(20)는 제어부(50)를 통해서 분석된 이상 행동들을 소정의 시간 간격 또는 발생 시간에 따라서 저장할 수 있다.
예를 들어, 환자의 행동들이 제어부(50)에 의해서 안구 편위, 고개 회전 등의 이상 행동인 것으로 분석되면, 저장부(20)는 이상 행동들을 소정의 시간 간격 또는 발생 시간에 따라서 이상 행동 종류, 발생 장소, 발생 시간 등으로 이상 행동 내역을 종합하여 저장할 수 있다.
또한, 저장부(20)는 환자의 이상 행동들이 뇌 병변 영역 추정에 사용되도록, 이상 행동에 대하여 전체적으로 기술(description)하거나, 이상 행동을 구성하는 행동 단위로 기술하는 방식으로 소정의 시간 간격 또는 발생 시간에 따라서 저장할 수 있다.
본 발명의 일 실시예에 따른 디스플레이부(30)는 환자의 발작 관련 뇌영역 분석 결과를 표시할 수 있다.
예를 들어, 디스플레이부(30)는 기계학습 알고리즘을 적용하여 환자의 분석된 이상 행동들 및 환자의 이상 행동들에 대응된 환자의 발작 관련 뇌영역의 분석 결과를 표시할 수 있다.
즉, 디스플레이부(30)는 제어부(50)의 분석결과가 환자 또는 관련 당사자들에게 제공될 수 있도록 표시되는 디스플레이 장치로서, 환자의 이상 행동들에 대응되어 분석된 환자의 발작 관련 뇌영역의 분석 결과뿐만 아니라, 환자의 이상 행동 종류 및 이상 행동 발생 시간, 발생 장소 등의 이상 행동 종합 내역을 디스플레이부(30)에 표시할 수 있다.
여기에서, 관련 당사자라는 용어는 간병인, 의료 전문가, 절친한 친구 또는 환자의 친척과 같이 발작의 발생에 대해 알게 될 수 있는 모든 개체 또는 개인을 포함할 수 있다.
본 발명의 일 실시예에 따른 통신부(40)는 환자의 발작 관련 뇌영역의 분석 결과를 환자의 관련 당사자에게 알람으로 제공할 수 있다.
예를 들어, 통신부(40)는 환자의 발작 관련 뇌영역의 분석 결과를 환자의 관련 당사자에게 알람으로 제공하기 위해서, 근거리 통신 모듈 또는 이동 통신 모듈, LoRa(Long Range, 대규모 저전력 장거리 무선통신) 통신 모듈 등을 포함할 수 있다.
예를 들어, 근거리 통신 모듈(short-range wireless communication unit)은 블루투스(Bluetooth) 통신 모듈, BLE(Bluetooth Low Energy) 통신 모듈, 근거리 무선 통신 모듈(Near Field Communication unit), 와이파이(Wi-Fi) 통신 모듈, 지그비(Zigbee) 통신 모듈, 적외선(IrDA, infrared Data Association) 통신 모듈, WFD(Wi-Fi Direct) 통신 모듈, UWB(ultra wideband) 통신 모듈, Ant+ 통신 모듈 등일 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따른 제어부(50)는 동영상 기반 발작 추적감시 장치(100)에 포함된 장치들, 예컨대, 카메라부(10), 저장부(20), 디스플레이부(30) 및 통신부(40)를 제어할 수 있다.
예를 들어, 제어부(50)는 카메라부(10)를 이용하여 발작 환자를 모니터링하여 동영상을 획득할 수 있고, 저장부(20)에 획득된 동영상을 저장할 수 있다. 또한, 제어부(50)는 디스플레이부(30)로 하여금 환자의 이상 행동들 및/또는 이상 행동들에 대응되는 환자의 발작 관련 뇌영역의 분석 결과를 표시하게 할 수 있고, 통신부(40)로 하여금 환자의 발작 관련 뇌영역의 분석 결과를 환자의 관련 당사자에게 알람으로 제공하게 할 수 있다.
또한, 본 발명의 일 실시예에 따른 제어부(50)는 획득된 동영상을 분석하여 동영상 내에서 환자 및 환자를 제외한 주변 상황을 구분하여 검출할 수 있다.
예를 들어, 제어부(50)는 카메라부(10)를 통하여 획득된 동영상을 분석하여, 동영상 내에서 환자의 동작, 상태만을 검출하는 것이 아니라, 환자의 동작, 상태 및 환자를 제외한 주변 상황, 예컨대, 환자의 주변 환경(예컨대, 환자의 거주 장소, 시간) 및/또는 환자 주위의 사람(예컨대, 대화, 운동, 상호 작용)과의 맥락(context)을 파악하여 환자 및 환자를 제외한 주변 상황을 구분하여 검출할 수 있다. 환언하면, 제어부(50)는 환자가 홀로 방 안에 있는 상황인지 또는 환자가 다른 사람과 대화하거나 상호 작용하는 관계인지 판단하기 위해서, 획득된 동영상을 분석하여 환자 및 환자를 제외한 주변 상황을 구분하여 검출할 수 있다.
예를 들어, 제어부(50)가 환자의 행동 중에서 입술을 움직여서 어떤 대화를 하는 듯한 행동을 동영상 내에서 분석하면, 주변 상황과의 맥락을 고려하여, 대화 상대가 있는 경우에는 정상 행동으로 분석하고, 대화 상대가 없는 경우에는 이상 행동으로 분석할 수 있으므로, 획득된 동영상을 분석하는 과정에서 환자 및 환자를 제외한 주변 상황을 구분하여 검출하는 과정이 필요하게 된다.
본 발명의 일 실시예에 따른 제어부(50)는 검출된 주변 상황을 고려하여 환자의 행동들로부터 정상 행동들과 이상 행동들을 구분하고, 이상 행동들을 분석할 수 있다.
즉, 제어부(50)는 동영상 내의 주변 상황을 고려하여 환자의 행동들을 분석하여 환자의 행동들을 정상 행동들과 이상 행동들로 구분할 수 있다. 예를 들어, 환자가 주변 사람들과는 전혀 상호 작용을 하지 않는 행동, 주변 사람이 존재하지 않는데도 주변 사람과 대화하는 듯한 행동, 음식이 주변에 없는데도 입을 쩝쩝거리는 행동 등은 이상 행동들로 구분할 수 있다. 제어부(50)는 동영상 내의 주변 상황들, 예컨대 장소, 시간, 제3자의 존재 등 맥락을 고려하여, 환자의 행동들을 정상 행동들과 이상 행동들로 구분할 수 있다.
주변 상황 등 맥락을 고려하여 일상적인 행동 중에 동작이 없어지는 경우로, 예를 들어, TV를 보는 데 일정하게 눈을 깜박이다 움직이지 않고 멍하니 있는 경우(absence, dialeptic, dyscognitive), 전화를 하거나 대화를 하다가 갑자기 말을 안하고 멈추는 경우(behavioral arrest), 밥을 먹는 데 음식을 씹지 않고 가만히 있는 경우(behavioral arrest), 핸드폰으로 검색하다가 갑자기 동작을 멈추고 한쪽을 멍하니 보고 있는 경우(motionless staring) 등을 환자가 이상 행동하는 경우로 판단할 수 있다.
또한, 주변 상황 등 맥락을 고려하여 비정상적인 행동이 나타나는 경우로, 예를 들어, 가만히 누워 있거나 앉아 있다가 갑자기 표정이나 안색이 멍한 듯 바뀌는 경우, 가만히 누워 있거나 앉아 있다가 또는 자다가 갑자기 얼굴을 찡그리거나 무서운 표정을 짓는 경우, 가만히 누워 있거나 앉아 있다가 주위를 두리번거리거나 이상하게 고개를 돌려 한쪽을 멍하니 쳐다보는 경우, 가만히 있거나 대화 중, 또는 수면 중에 갑자기 눈을 깜박이거나, 입맛을 다시거나, 쩝쩝 씹거나, 반복해서 삼키는 모습을 보이는 경우, 가만히 있거나 대화 중, 또는 수면 중에 상지에서 잡을 것도 없는데 무엇을 반복해서 만지는 동작을 취하거나, 만지작 거리거나, 문지르거나, 꽉 잡거나, 손을 이상하게 털거나, 엄지와 검지등의 이상한 손가락 모양을 만들고 찌르는 행동을 보이는 경우, 가만히 있거나 대화 중, 또는 수면 중에 갑자기 일어나려 하거나, 몸통을 돌리거나, 팔을 휘젖거나, 다리를 차거나, 자전거 타는 듯한 발 굴림을 보이는 경우, 가만히 있거나 대화 중, 또는 수면 중에 갑자기 이상을 느낌을 받는 지 버튼을 누르거나 버튼을 누르는 동작을 보이는 경우 등을 환자가 이상 행동하는 경우로 판단할 수 있다.
또한, 주변 상황 등 맥락을 고려하여 비정상적인 운동이 나타나는 경우로, 예를 들어, 가만히 있거나 일상적인 동작 중에 갑자기 고개가 과도하게 돌아가는 경우(version), 가만히 있거나 일상적인 동작 중에 갑자기 한쪽 얼굴이 찡그려지거나, 볼이 튀는 경우(clonic), 입이 돌아가는 경우(tonic), 가만히 있거나 일상적인 동작 중에 갑자기 팔이 이상한 자세로 올라가는 강직이 보이는 경우(tonic), 가만히 있거나 일상적인 동작 중에 갑자기 팔을 쭉 펴면서 강직(tonic)이 보이거나 떠는 경련을 보이는 경우, 가만히 있거나 일상적인 동작 중에 갑자기 손을 이상한 모양으로 만들면서(dystonic) 떠는 경련을 보이는 경우, 가만히 있거나 일상적인 동작 중에 갑자기 어깨, 팔을 움찔거리는 경우(myoclonic), 가만히 있거나 일상적인 동작 중에 갑자기 양팔에 힘을 주면서 대칭적 또는 비대칭적으로 띄면서 강직을 보이거나, 떠는 경련을 보이는 경우(bilateral tonic), 가만히 있거나 일상적인 동작 중에 갑자기 이상한 소리를 지르는 경우, 가만히 있거나 일상적인 동작 중에 한쪽으로 쓰러지는 모습을 보이는 경우, 가만히 앉아있거나 서 있던 중 갑자기 앞이나 뒤로 쓰러지는 모습을 보이는 경우, 가만히 있거나 일상적인 동작 중에 한쪽 어깨에 힘을 주고 외측으로 들어올리거나(tonic posturing) 안쪽 또는 밖으로 돌리는 경우(dystonic posturing) 등을 환자가 이상 행동하는 경우로 판단할 수 있다.
즉, 제어부(50)는 획득된 동영상에서 주변 상황들을 고려하여 환자의 이상 행동들을 발작 전체 또는 발작 개별(예컨대, 이상 행동을 구성하는 행동 단위)로 구분하여 분석할 수 있다.
또한, 본 발명의 일 실시예에 따른 제어부(50)는 검출된 주변 상황을 고려하여 환자의 신체 각 부위의 행동들을 검출하고, 검출된 신체 각 부위의 행동들에 기계학습 알고리즘을 적용하여 이상 행동들을 분석할 수 있다.
예를 들어, 제어부(50)는 이상 행동들을 분석하기 위해서, 환자의 신체 각 부위 별로 시간에 따른 궤적(trajectory)을 획득하고, 획득된 궤적 내에서 시간에 따른 특징점들을 추출하고, 추출된 특징점들 중에서 연속된(sequential) 특징점들을 입력으로 하여 기계학습 알고리즘을 적용할 수 있다.
여기에서, 특징점은 시간에 따른 움직임 궤적에서 추출되는 사람의 신체 각 부위 별로 고유한 부분(위치) 또는 고유한 포인트(점)를 특징점으로 지정할 수 있으며, 움직임의 성질에 따라서, 동영상 내에서 안정적으로 추적될 수 있는 신체 각 부위의 고유한 부분을 특징점으로 지정할 수 있다.
또한, 연속된 특징점들은 움직임 궤적을 표현하므로, 시간, 속도, 가속도의 함수로 표현될 수 있으며, 변화의 진폭, 진동수, 움직임 궤적 면적 등의 정보로 계산될 수 있다.
예컨대, 제어부(50)는 환자의 신체 각 부위 별로 시간에 따른 궤적(trajectory)을 획득하기 위해서, 특징점들을 HOG(Histogram of Oriented Gradients) 방법으로 추출하거나 SIFT(Scale Invariant Feature Transform) 방법으로 특징점들을 추출할 수 있다.
또한, 제어부(50)는 특징점들의 분석을 위해서 서포트 벡터 머신(Support Vector Machine, SVM), 인공신경망(Artificial Neural Network, ANN), 순환 신경망(Recurrent Neural Network, RNN) 및 딥러닝 알고리즘 중의 적어도 하나를 기계학습 알고리즘으로 적용할 수 있다.
즉, 제어부(50)는 신체 각 부위 별로 시간에 따른 궤적을 획득하고, 획득된 궤적에서 연속된 특징점들을 추출하고, 기계학습 알고리즘을 적용하여 주변 상황을 고려하여 이상 행동인지 분석할 수 있으며, 이상 행동이 전체(발작 전체)로 발생하였는지 또는 개별(발작 개별)로 발생하였는지 분석할 수 있다.
또한, 본 발명의 일 실시예에 따른 제어부(50)는 저장부(20)를 이용하여, 분석된 이상 행동들을 소정의 시간 간격 또는 발생 시간에 따라서 이상 행동 내역을 종합하여 저장할 수 있다.
즉, 동영상 기반 발작 추적감시 장치(100)는 일정 시간 동안 환자의 상태를 확인하고 저장할 필요가 있다. 예를 들어, 동영상 기반 발작 추적감시 장치(100)는 관련 당사자들에게 환자의 이상 행동들의 횟수, 종류, 발생 시기, 발생 장소 등을 표시, 제공하거나 알람을 제공할 필요가 있으므로, 제어부(50)는 저장부(20)를 이용하여, 분석된 이상 행동들을 소정의 시간 간격 또는 발생 시간에 따라서 저장할 수 있다.
또한, 제어부(50)에 의하여 분석되고 저장되는 이상 행동들은 뇌 병변 영역 추정에 사용되기 위해서, 이상 행동에 대하여 전체적으로 기술(description)되어 저장되거나, 이상 행동을 구성하는 행동 단위로 기술되어 저장 될 수 있다.
즉, 제어부(50)는 분석된 신체 각 부위 별로 기계 학습 알고리즘을 적용하여 이상 행동을 발작 전체 또는 발작 개별로 구분하여 분석하고, 발작 전체로 분석된 이상 행동은 이상 행동을 전체적으로 기술(description)하여 저장부(20)에 저장하고, 발작 개별로 분석된 이상 행동은 이상 행동을 구성하는 행동 단위로 기술하여 저장부(20)에 저장할 수 있다.
예를 들어, 제어부(50)가 동영상에서 측정된 이상 행동을 발작 전체인 경우로 분석하면, 제어부(50)는 이상 행동(발작)에 대하여 전체적으로 기술(description)하여 저장부(20)에 저장할 수 있다. 예컨대, 갑자기 (어지러워 버튼을 누르고) 동작을 멈추고 있다가, 고개가 왼쪽으로 돌아가면서 전신에 힘을 주면서 전신 발작을 보이는 경우, 갑자기 (오른손이 저리다가) 오른손을 주먹 쥐면서 떨다가 점차 동 측의 어깨 쪽으로 떨림이 진행하다가 얼굴까지 떨면서, 오른쪽 안면이 찌그러지고 고개가 돌아가면서 소리를 내면서 전신발작을 보이는 경우, 갑자기 (명치 부위가 메슥거리면서 위로 타고 올라오는 느낌이 있다) 멍해지면서 동작을 멈추고 한쪽을 쳐다보다가 입을 쩝쩝거리고, 왼손으로 무엇을 만지는 듯한 동작으로 보이 듯이 만지작 거리고, 오른팔을 옆으로 하면 꼬면서 질문에 반응을 보이지 못하다가 고개를 한쪽으로 돌리면서 전신 경련으로 진행하는 경우, 갑자기 자다가 놀란 듯 깨면서 무서운 표정으로 발버둥 치다가 바로 정신이 돌아와 아무일 없다는 듯 원래 깬 모습을 보이는 경우, 갑자기 멍해지다가 입맛을 다시면서 이상한 말을 하면서 어느 정도 적절한 반응을 유지하다 정신이 돌아오는 경우 등을 이상 행동(발작)에 대하여 전체적으로 기술(description)하여 저장하는 경우로 포함할 수 있다.
예를 들어, 제어부(50)가 동영상에서 측정된 이상 행동을 발작 개별인 경우로 분석하면, 제어부(50)는 이상 행동(발작)에 대하여 이상 행동을 구성하는 행동 단위로 기술(description)하여 저장부(20)에 저장할 수 있다.
예컨대, 머리, 목 부분을 행동 단위로 기술하는 경우로서, 멍하게 보이는 경우, 반응을 보이거나 반응이 없어지는 경우, 눈을 깜박이는 경우, 얼굴이 튀는 경우, 고개가 돌아가는 경우, 눈이 돌아가는 경우, 무서운 표정을 짓는 경우, 웃는 경우, 우는 경우, 휘파람을 부는 경우, 입맛을 다시는 경우, 씹는 경우, 삼키는 경우, 기침을 하는 경우, 말을 못하는 경우, 말을 하는 경우, 말을 하지만 착어증을 보이는 경우, 알아들을 수 없는 소리를 내는 경우, 소리를 지르는 경우, 좌우로 고개를 돌리는 경우 등을 이상 행동(발작)에 대하여 머리, 목 부분을 이상 행동을 구성하는 행동 단위로 기술(description)하여 저장하는 경우로 포함할 수 있다.
예컨대, 상지 부분을 행동 단위로 기술하는 경우로서, 팔을 펴는 경우, 팔을 떠는 경우, 팔을 꼬는 경우, 손을 꼬거나 돌리는 경우, 어깨를 들어 올리는 경우, 팔을 떠는 경우, 팔을 움찔거리는 경우, 손을 만지작거리는 경우, 손을 반복해서 문지르는 경우, 손동작을 보이는 경우, 주으려는 동작을 보이는 경우, 손을 꽉잡는 경우, 주먹을 쥐는 경우, 한쪽 손을 안 움직이는 경우, 눈을 비비는 경우, 안면을 문지르는 경우, 손으로 입을 가르는 경우 등을 이상 행동(발작)에 대하여 상지 부분을 이상 행동을 구성하는 행동 단위로 기술(description)하여 저장하는 경우로 포함할 수 있다.
예컨대, 하지 부분을 행동 단위로 기술하는 경우로서, 다리를 쭉 펴는 경우, 다리를 들어올리는 경우, 다리를 떠는 경우, 다리를 움찔거리는 경우, 자전거 타듯이 다리를 돌리는 경우, 다리를 차는 경우 등을 이상 행동(발작)에 대하여 하지 부분을 이상 행동을 구성하는 행동 단위로 기술(description)하여 저장하는 경우로 포함할 수 있다.
예컨대, 몸통과 어깨 부분을 행동 단위로 기술하는 경우는, 몸통을 돌리는 경우, 앉으려 하는 경우, 발버둥 치는 경우, 팔을 휘 젓는 경우 등을 이상 행동(발작)에 대하여 몸통과 어깨 부분을 이상 행동을 구성하는 행동 단위로 기술(description)하여 저장하는 경우로 포함할 수 있다.
또한, 이상 행동을 구성하는 행동 단위로 저장할 때, 기타 부분으로 저장하는 경우는, 닭살이 돋는 경우, 토하는 경우, 구역을 보이는 경우, 침을 흘리는 경우, 가래를 뱉는 경우, 침을 흘리는 경우, 거품을 보이는 경우, 소변을 실수하는 경우, 좌우로 고개를 돌리는 경우 등을 기타 부분으로 하여 이상 행동을 구성하는 행동 단위로 기술(description)하여 저장하는 경우로 포함할 수 있다.
또한, 본 발명의 일 실시예에 따른 제어부(50)는 분석된 이상 행동들에 대응하여 환자의 발작 관련 뇌영역을 추정하고 분석할 수 있다.
즉, 제어부(50)는 획득된 동영상에서 환자의 이상 행동들을 발작 전체 또는 발작 개별(예컨대, 이상 행동을 구성하는 행동 단위)로 구분하여 분석할 수 있고, 분석된 발작 전체 또는 발작 개별에 대하여 병변 뇌 영역 추정을 위한 인공지능 알고리즘에 입력하여, 환자의 발작 관련 뇌영역 부분을 추정하고, 분석할 수 있다.
예를 들어, 환자가 동작을 멈추고 있다가 고개가 왼쪽으로 돌아가는 이상 행동을 하는 경우에는, 발작이 전체로 나타나는 경우로, 제어부(50)는 환자의 이상 행동을 발작 전체로 기술하여 저장부(20)에 저장하고, 상기 발작 전체 이상 행동에 대응하여, 좌측 전두엽 배외측 안구 운동 영역을 환자의 발작 관련 뇌영역으로 추정할 수 있다.
또한, 발작이 전체로 나타나는 경우로, 환자가 갑자기 자다가 놀란 듯 깨면서 무서운 표정으로 발버둥 치다가 바로 정신이 돌아와 아무 일 없다는 듯 원래 깬 모습의 이상 행동을 하는 경우에, 제어부(50)는 환자의 이상 행동을 발작 전체로 기술하여 저장부(20)에 저장하고, 상기 발작 전체 이상 행동에 대응하여, 전두엽 내측 부위 영역을 환자의 발작 관련 뇌영역으로 추정할 수 있다.
또한, 발작이 개별 단위로 나타나는 경우로, 환자의 고개가 돌아가거나 눈이 돌아가는 경우에는, 제어부(50)는 환자의 이상 행동을 발작 개별로 머리와 목 부분에 대한 발작으로 기술하여 저장부(20)에 저장하고, 상기 발작 개별 이상 행동에 대응하여, 고개나 눈이 돌아가는 방향의 반대측 뇌 영역을 환자의 발작 관련 뇌영역으로 추정할 수 있다.
또한, 발작이 개별 단위로 나타나는 경우로, 환자가 말을 하지만 착어증을 보이는 경우에는, 제어부(50)는 환자의 이상 행동을 발작 개별로 머리와 목 부분에 대한 발작으로 기술하고 저장하며, 상기 발작 개별 이상 행동에 대응하여, 좌반구(우성반구) 영역을 환자의 발작 관련 뇌영역으로 추정할 수 있다.
즉, 제어부(50)는 환자의 행동들을 특징점들을 이용한 기계학습 알고리즘으로 분석하여, 환자의 행동들로부터 이상 행동들을 구분하여 분석하고, 분석된 이상 행동들(예컨대, 발작 전체, 발작 개별)에 대응한 환자의 발작 관련 뇌영역 부분을 기계학습 알고리즘 또는 딥 러닝 기술로 미리 입력시켜 학습시킴으로써, 이상 행동들에 대응되는 환자의 발작 관련 뇌영역을 추정할 수 있게 된다.
즉, 제어부(50)는 환자의 행동들을 각 신체부위 별 이상 행동으로 분석하고, 분석된 이상 행동을 기반으로 발작 관련 뇌영역 추정을 위한 기계학습 알고리즘을 적용하여 뇌에서 뇌전증이 촉발되는 시작영역 및 전파영역을 추정할 수 있다.
또한, 본 발명의 일 실시예에 따른 제어부(50)는 디스플레이부(30)로 하여금 환자의 발작 관련 뇌영역 분석 결과를 표시하게 하거나, 통신부(40)로 하여금 환자의 발작 관련 뇌영역 분석 결과를 환자의 관련 당사자에게 알람으로 제공하게 할 수 있다.
도 2는 본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법을 나타낸 순서도이다.
도 2를 참조하면, 단계 S10에서, 제어부(50)는 카메라부(10)를 이용하여 환자를 모니터링하고 동영상을 획득할 수 있다.
예를 들어, 제어부(50)는 카메라부(10)를 제어하여, 환자의 얼굴 및 신체 각 부위의 행동들을 동영상으로 촬영하고, 환자뿐만 아니라 주변 상황, 예컨대, 환자와 대화하는 제3자 또는 환자를 둘러싸고 있는 공간 환경, 시간 등의 주변 상황도 같이 모니터링하면서 동영상을 획득할 수 있다.
단계 S20에서, 제어부(50)는 획득된 동영상을 분석하여, 동영상 내에서 환자 및 환자를 제외한 주변 상황을 구분하여 검출할 수 있다.
예를 들어, 제어부(50)는 획득된 동영상을 분석하여, 동영상 내에서 환자의 동작, 상태만을 검출하는 것이 아니라, 환자를 제외한 주변 상황, 예컨대, 환자의 주변 환경(예컨대, 환자의 거주 장소, 시간) 및/또는 환자 주위의 사람(예컨대, 대화, 운동, 상호 작용)과의 맥락(context)을 파악하여 환자 및 환자를 제어한 주변 상황을 구분하여 검출할 수 있다.
단계 S30에서, 제어부(50)는 검출된 주변 상황을 고려하여 검출된 환자의 행동들로부터 정상 행동들과 이상 행동들을 구분하고, 이상 행동들을 분석할 수 있다.
예를 들어, 제어부(50)는 동영상 내의 주변 상황들, 예컨대 장소, 시간, 제3자의 존재 등 맥락을 고려하여, 환자의 행동들을 정상 행동들과 이상 행동들로 구분하고, 이상 행동들을 발작이 전체로 나타나는지 또는 발작이 개별 이상행동으로 나타나는지 분석할 수 있다.
즉, 제어부(50)는 획득된 동영상에서 주변 상황들을 고려하여 기계학습 알고리즘을 적용하여 환자의 이상 행동들을 발작 전체 또는 발작 개별(예컨대, 이상 행동을 구성하는 행동 단위)로 구분하여 분석할 수 있다.
예를 들어, 제어부(50)는 이상 행동들을 발작 전체 또는 발작 개별로 분석하기 위해서, 환자의 신체 각 부위 별로 시간에 따른 궤적(trajectory)을 획득하고, 획득된 궤적 내에서 시간에 따른 특징점들을 추출하고, 추출된 특징점들 중에서 연속된(sequential) 특징점들을 입력으로 하여 기계학습 알고리즘을 적용할 수 있다.
즉, 환자의 신체 각 부위 별로 시간에 따른 궤적(trajectory)을 획득하기 위해서, 특징점들은 HOG(Histogram of Oriented Gradients) 방법으로 추출되거나 SIFT(Scale Invariant Feature Transform) 방법으로 추출될 수 있다.
또한, 추출된 특징점들의 분석을 위해서, 서포트 벡터 머신(Support Vector Machine, SVM), 인공신경망(Artificial Neural Network, ANN), 순환 신경망(Recurrent Neural Network, RNN) 및 딥러닝 알고리즘 중의 적어도 하나를 기계학습 알고리즘으로 적용할 수 있다.
단계 S40에서, 제어부(50)는 분석된 이상 행동들을 소정의 시간 간격으로 저장부(20)에 저장할 수 있다.
즉, 관련 당사자들에게 환자 상태 보고, 알람 제공 등을 하기 위해서, 환자의 상태를 발생 시간 또는 소정 시간 간격으로 저장할 필요가 있으므로, 제어부(50)는 분석된 이상 행동들을 소정의 시간 간격 또는 발생 시간에 따라서 이상 행동 종류, 발생 장소, 발생 시간 등으로 이상 행동 내역을 종합하여 저장부(20)에 저장할 수 있다.
단계 S50에서, 제어부(50)는 분석된 이상 행동들에 대응하여, 환자의 발작 관련 뇌영역을 추정하고 분석할 수 있다.
즉, 제어부(50)는 이상 행동을 발작 전체 또는 발작 개별(예컨대, 이상 행동을 구성하는 행동 단위)로 구분하여 분석하고, 분석된 이상 행동들에 대하여 기계학습 알고리즘을 적용하여 발작 관련 뇌영역 부분을 추정하고, 분석할 수 있다.
예를 들어, 환자가 동작을 멈추고 있다가 고개가 왼쪽으로 돌아가는 이상 행동을 하는 경우에, 제어부(50)는 환자의 움직임의 궤적을 연속된 특징점으로 추출하고, 기계학습 알고리즘을 적용하여, 발작이 전체로 발생한 경우로 분석하고, 분석된 상기 발작 전체 이상 행동에 발작 관련 뇌영역 추정을 위한 기계학습 알고리즘을 적용하여, 좌측 전두엽 배외측 안구 운동 영역을 발작 관련 뇌영역으로 부분으로 추정하고, 분석할 수 있다.
단계 S60에서, 제어부(50)는 발작 관련 뇌영역의 분석된 결과를 디스플레이부(30)에 표시하거나 환자의 관련 당사자에게 알람으로 제공할 수 있다.
즉, 제어부(50)는 환자의 관련 당사자에게 환자 상태 보고 및 알람 제공을 하기 위해서, 발작 관련 뇌영역의 분석된 결과를 디스플레이부(30)로 하여금 표시하게 하거나 통신부(40)로 하여금 환자의 관련 당사자에게 알람으로 제공하게 할 수 있다.
또한, 동영상 기반 발작 추적감시 방법에서, 제어부(50)는 분석된 이상 행동들에 대응하여 환자의 뇌손상 및 사고가능성을 추정하고, 추정된 환자의 뇌손상 및 사고가능성을 디스플레이부(30)로 하여금 표시하게 하거나 상기 통신부로 하여금 환자의 관련 당사자에게 알람으로 제공하게 할 수 있다.
즉, 제어부(50)는 환자의 낙상 사고 및 치명적인 사고 방지 차원에서, 발작 전체 또는 발작 개별로 분석된 이상 행동들에 대하여 인공지능 알고리즘을 적용하여 환자의 뇌손상 및 사고가능성을 추정할 수 있고, 추정된 환자의 뇌손상 및 사고가능성을 디스플레이부(30)로 하여금 표시하게 하거나 통신부(40)로 하여금 환자의 관련 당사자에게 알람으로 제공하게 할 수 있다.
본 발명의 일 실시예에 따른 동영상 기반 발작 추적감시 방법에 관련하여서는 전술한 동영상 기반 발작 추적감시 장치(100)에 대한 내용이 적용될 수 있다. 따라서, 동영상 기반 발작 추적감시 방법과 관련하여, 전술한 동영상 기반 발작 추적감시 장치(100)에 대한 내용과 동일한 내용에 대하여는 설명을 생략하였다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (12)

  1. 동영상 기반 발작 추적감시 장치에 있어서,
    환자의 발작 유무를 모니터링하고 동영상을 획득하기 위한 카메라부;
    상기 획득된 동영상을 저장하기 위한 저장부;
    상기 환자의 발작 관련 뇌영역 분석 결과를 표시하기 위한 디스플레이부;
    상기 발작 관련 뇌영역 분석 결과를 상기 환자의 관련 당사자에게 알람으로 제공하기 위한 통신부; 및
    상기 카메라부, 상기 저장부, 상기 디스플레이부 및 상기 통신부의 동작을 제어하고, 상기 동영상을 기반으로 한 상기 환자의 발작 추적을 위해서 상기 획득된 동영상을 분석하기 위한 제어부를 포함하는 동영상 기반 발작 추적감시 장치.
  2. 제 1 항에 있어서,
    상기 제어부는,
    상기 카메라부를 이용하여 상기 환자를 모니터링하고 동영상을 획득하며, 상기 획득된 동영상을 분석하여, 상기 동영상 내에서 상기 환자 및 상기 환자를 제외한 주변 상황을 구분하여 검출하고, 상기 검출된 주변 상황을 고려하여 상기 검출된 환자의 행동들로부터 정상 행동들과 이상 행동들을 구분하고, 상기 이상 행동들을 분석하고, 상기 분석된 이상 행동들을 소정의 시간 간격으로 상기 저장부에 저장하고, 상기 분석된 이상 행동들에 대응하여 상기 환자의 발작 관련 뇌영역을 추정하고 분석하며, 상기 디스플레이부로 하여금 상기 발작 관련 뇌영역의 분석된 결과를 표시하게 하거나 상기 통신부로 하여금 상기 환자의 관련 당사자에게 알람으로 제공하게 하는 동영상 기반 발작 추적감시 장치.
  3. 제 2 항에 있어서
    상기 이상 행동들의 분석은,
    상기 검출된 주변 상황을 고려하여 상기 환자의 신체 각 부위의 행동들을 검출하고, 상기 검출된 신체 각 부위의 행동들에 기계학습 알고리즘을 적용하여 상기 이상 행동들을 분석하는 동영상 기반 발작 추적감시 장치.
  4. 제 3 항에 있어서,
    상기 제어부는,
    상기 분석된 이상 행동들에 대응하여 상기 환자의 뇌손상 및 사고가능성을 추정하고, 상기 추정된 상기 환자의 뇌손상 및 사고가능성을 상기 디스플레이부로 하여금 표시하거나 상기 통신부로 하여금 상기 환자의 관련 당사자에게 알람으로 제공하게 하는 동영상 기반 발작 추적감시 장치.
  5. 제 3 항에 있어서,
    상기 기계학습 알고리즘은,
    상기 신체 각 부위 별로 시간에 따른 궤적(trajectory)을 획득하고, 상기 획득된 궤적 내에서 시간에 따른 특징점들을 추출하고, 상기 추출된 특징점들 중에서 연속된(sequential) 특징점들을 입력으로 하여 적용되는 동영상 기반 발작 추적감시 장치.
  6. 제 5 항에 있어서,
    상기 추출된 특징점들은 HOG(Histogram of Oriented Gradients) 방법으로 추출된 특징점들 또는 SIFT(Scale Invariant Feature Transform) 방식으로 추출된 특징점들을 포함하고,
    상기 기계학습 알고리즘은 서포트 벡터 머신(Support Vector Machine, SVM), 인공신경망(Artificial Neural Network, ANN), 순환 신경망(Recurrent Neural Network, RNN) 및 딥러닝 알고리즘 중의 적어도 하나를 포함하는 동영상 기반 발작 추적감시 장치.
  7. 동영상 기반 발작 추적감시 방법에 있어서,
    카메라부를 이용하여 환자를 모니터링하고 동영상을 획득하는 단계;
    상기 획득된 동영상을 분석하여, 상기 동영상 내에서 상기 환자 및 상기 환자를 제외한 주변 상황을 구분하여 검출하는 단계;
    상기 검출된 주변 상황을 고려하여 상기 검출된 환자의 행동들로부터 정상 행동들과 이상 행동들을 구분하고, 상기 이상 행동들을 분석하는 단계;
    상기 분석된 이상 행동들을 소정의 시간 간격으로 저장하는 단계;
    상기 분석된 이상 행동들에 대응하여, 상기 환자의 발작 관련 뇌영역을 추정하고 분석하는 단계; 및
    상기 발작 관련 뇌영역의 분석된 결과를 디스플레이부에 표시하거나 상기 환자의 관련 당사자에게 알람으로 제공하는 단계를 포함하는 동영상 기반 발작 추적감시 방법.
  8. 제 7 항에 있어서,
    상기 이상 행동들의 분석은,
    상기 검출된 주변 상황을 고려하여 상기 환자의 신체 각 부위의 행동들을 검출하고, 상기 검출된 신체 각 부위의 행동들에 기계학습 알고리즘을 적용하여 상기 이상 행동들을 분석하는 동영상 기반 발작 추적감시 방법.
  9. 제 8 항에 있어서,
    상기 분석된 이상 행동들에 대응하여 상기 환자 뇌손상 및 사고가능성을 추정하는 단계; 및
    상기 추정된 상기 환자의 뇌손상 및 사고가능성을 상기 디스플레이부에 표시하거나 상기 환자의 관련 당사자에게 알람으로 제공하는 단계를 더 포함하는 동영상 기반 발작 추적감시 방법.
  10. 제 8 항에 있어서,
    상기 기계학습 알고리즘은,
    상기 신체 각 부위 별로 시간에 따른 궤적(trajectory)을 획득하고, 상기 획득된 궤적 내에서 시간에 따른 특징점들을 추출하고, 상기 추출된 특징점들 중에서 연속된(sequential) 특징점들을 입력으로 하여 적용되는 동영상 기반 발작 추적감시 방법.
  11. 제 10 항에 있어서,
    상기 추출된 특징점들은 HOG(Histogram of Oriented Gradients) 방법으로 추출된 특징점들 또는 SIFT(Scale Invariant Feature Transform) 방법으로 추출된 특징점들을 포함하고,
    상기 기계학습 알고리즘은 서포트 벡터 머신(Support Vector Machine, SVM), 인공신경망(Artificial Neural Network, ANN), 순환 신경망(Recurrent Neural Network, RNN) 및 딥러닝 알고리즘 중의 적어도 하나를 포함하는 동영상 기반 발작 추적감시 방법.
  12. 제 7 항 내지 제 11 항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
PCT/KR2018/006658 2017-07-11 2018-06-12 동영상 기반 발작 추적감시 방법 및 장치 Ceased WO2019013456A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0087652 2017-07-11
KR1020170087652A KR102164475B1 (ko) 2017-07-11 2017-07-11 동영상 기반 발작 추적감시 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2019013456A1 true WO2019013456A1 (ko) 2019-01-17

Family

ID=65002665

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/006658 Ceased WO2019013456A1 (ko) 2017-07-11 2018-06-12 동영상 기반 발작 추적감시 방법 및 장치

Country Status (2)

Country Link
KR (1) KR102164475B1 (ko)
WO (1) WO2019013456A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111009297A (zh) * 2019-12-05 2020-04-14 中新智擎科技有限公司 一种用户服药行为的监督方法、装置及智能机器人
WO2021158414A1 (en) * 2020-02-05 2021-08-12 General Electric Company System and method for neuroactivity detection in infants
WO2023034816A1 (en) * 2021-08-31 2023-03-09 Eysz, Inc. Systems and methods for provoking and monitoring neurological events
RU2834150C1 (ru) * 2024-03-27 2025-02-03 Самсунг Электроникс Ко., Лтд. Система и способ мониторинга движений нижних конечностей
US12224049B2 (en) 2020-12-09 2025-02-11 Eysz, Inc. Systems and methods for monitoring and managing neurological diseases and conditions

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022196944A1 (ko) * 2021-03-16 2022-09-22 아주대학교산학협력단 조기 발작의 재발 예측 방법 및 장치
KR20220131202A (ko) 2021-03-19 2022-09-27 주식회사 민두재랩 뇌파 측정 장치를 이용한 낙상 방지 방법
KR102645932B1 (ko) * 2023-12-28 2024-03-11 이신원 홈케어 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090025176A (ko) * 2007-09-05 2009-03-10 시리트 엘엘씨 생리적 상태 측정 장치
JP2009529931A (ja) * 2006-03-15 2009-08-27 ホスピス・シビル・ドゥ・リヨン 患者のモニター方法および該方法の実施システム
KR101070389B1 (ko) * 2010-12-30 2011-10-06 김용중 환자 상태 모니터링 시스템
KR20150027903A (ko) * 2013-09-04 2015-03-13 한국과학기술연구원 동작 인식을 통한 선택적인 뇌파 데이터 수집 장치 및 방법
JP2015172889A (ja) * 2014-03-12 2015-10-01 富士通株式会社 検出装置、検出方法、及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6193613B2 (ja) * 2013-05-10 2017-09-06 学校法人麻布獣医学園 てんかん発作のモニタリングシステム及びモニタリング方法
KR101602033B1 (ko) 2014-01-13 2016-03-09 울산대학교 산학협력단 이동통신 단말기를 이용한 뇌전증환자 모니터링 장치 및 방법
JP2018147021A (ja) * 2017-03-01 2018-09-20 富士通株式会社 危険状態予測装置、危険状態予測方法、及び危険状態予測プログラム、並びに危険状態予測用データ取得装置、危険状態予測用データ取得方法、及び危険状態予測用データ取得プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009529931A (ja) * 2006-03-15 2009-08-27 ホスピス・シビル・ドゥ・リヨン 患者のモニター方法および該方法の実施システム
KR20090025176A (ko) * 2007-09-05 2009-03-10 시리트 엘엘씨 생리적 상태 측정 장치
KR101070389B1 (ko) * 2010-12-30 2011-10-06 김용중 환자 상태 모니터링 시스템
KR20150027903A (ko) * 2013-09-04 2015-03-13 한국과학기술연구원 동작 인식을 통한 선택적인 뇌파 데이터 수집 장치 및 방법
JP2015172889A (ja) * 2014-03-12 2015-10-01 富士通株式会社 検出装置、検出方法、及びプログラム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111009297A (zh) * 2019-12-05 2020-04-14 中新智擎科技有限公司 一种用户服药行为的监督方法、装置及智能机器人
CN111009297B (zh) * 2019-12-05 2023-09-19 中新智擎科技有限公司 一种用户服药行为的监督方法、装置及智能机器人
WO2021158414A1 (en) * 2020-02-05 2021-08-12 General Electric Company System and method for neuroactivity detection in infants
US11497418B2 (en) 2020-02-05 2022-11-15 General Electric Company System and method for neuroactivity detection in infants
US12257044B1 (en) 2020-02-05 2025-03-25 General Electric Company System and method for neuroactivity detection in infants
US12224049B2 (en) 2020-12-09 2025-02-11 Eysz, Inc. Systems and methods for monitoring and managing neurological diseases and conditions
WO2023034816A1 (en) * 2021-08-31 2023-03-09 Eysz, Inc. Systems and methods for provoking and monitoring neurological events
RU2834150C1 (ru) * 2024-03-27 2025-02-03 Самсунг Электроникс Ко., Лтд. Система и способ мониторинга движений нижних конечностей

Also Published As

Publication number Publication date
KR102164475B1 (ko) 2020-10-12
KR20190006670A (ko) 2019-01-21

Similar Documents

Publication Publication Date Title
WO2019013456A1 (ko) 동영상 기반 발작 추적감시 방법 및 장치
US12236767B2 (en) Machine learning based monitoring system
US10231664B2 (en) Method and apparatus to predict, report, and prevent episodes of emotional and physical responses to physiological and environmental conditions
CN102481121B (zh) 意识监测
JP7378208B2 (ja) センサープライバシー設定制御
EP3432772B1 (en) Using visual context to timely trigger measuring physiological parameters
JP2016147089A (ja) 発作の検出及び監視のためのドライセンサｅｅｇ／ｅｍｇ・動作検知システム
EP3393346B1 (en) Device, method and computer program product for continuous monitoring of vital signs
KR20200104759A (ko) 위험 상황을 판단하고, 사용자의 안전을 관리하는 시스템
KR20200104758A (ko) 위험 상황을 판단하고, 사용자의 안전을 관리하는 방법 및 장치
JP2022548473A (ja) 患者監視のためのシステム及び方法
KR20170053906A (ko) 유아 감정상태 분석 방법 및 이를 이용한 심리상태 분석 시스템과 스마트폰 연동 앱 개발
CN106108884A (zh) 一种危机预警智能穿戴设备及其操作方法
Meigal et al. Towards a personal at-home lab for motion video tracking in patients with Parkinson's disease
JP6611871B1 (ja) 監視装置
WO2015178549A1 (ko) 역치 이하 자극을 이용한 보안 서비스 제공 방법 및 장치
KR102281927B1 (ko) 다양한 상태의 눈을 위한 동공 추적 방법 및 이를 이용한 건강 진단 시스템
US20250000461A1 (en) System and method for detecting health events
US20200214613A1 (en) Apparatus, method and computer program for identifying an obsessive compulsive disorder event
US20210142047A1 (en) Salient feature extraction using neural networks with temporal modeling for real time incorporation (sentri) autism aide
WO2021010645A1 (ko) 식사 모니터링 방법, 장치 및 시스템
WO2025230042A1 (ko) 케어 서비스를 제공하는 케어 로봇
Rupanagudi et al. A simplified approach to assist motor neuron disease patients to communicate through video oculography
JP7444216B2 (ja) ウェアラブル機器、健康管理支援方法及び健康管理支援プログラム
EP4736763A1 (en) System and method for the detection and prevention of sensory issues

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18831573

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18831573

Country of ref document: EP

Kind code of ref document: A1