WO2021010645A1 - 식사 모니터링 방법, 장치 및 시스템 - Google Patents

식사 모니터링 방법, 장치 및 시스템 Download PDF

Info

Publication number
WO2021010645A1
WO2021010645A1 PCT/KR2020/008887 KR2020008887W WO2021010645A1 WO 2021010645 A1 WO2021010645 A1 WO 2021010645A1 KR 2020008887 W KR2020008887 W KR 2020008887W WO 2021010645 A1 WO2021010645 A1 WO 2021010645A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
monitoring
swallowing
sensor
information
Prior art date
Application number
PCT/KR2020/008887
Other languages
English (en)
French (fr)
Inventor
유희천
최영근
김민재
김진원
김향희
이현정
남석인
이영호
홍세원
전호준
양길태
나덕렬
Original Assignee
포항공과대학교 산학협력단
연세대학교 산학협력단
사회복지법인 삼성생명공익재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단, 연세대학교 산학협력단, 사회복지법인 삼성생명공익재단 filed Critical 포항공과대학교 산학협력단
Publication of WO2021010645A1 publication Critical patent/WO2021010645A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/22—Ergometry; Measuring muscular strength or the force of a muscular blow
    • A61B5/224—Measuring muscular strength
    • A61B5/228—Measuring muscular strength of masticatory organs, e.g. detecting dental force
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61N—ELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00—Electrotherapy; Circuits therefor
    • A61N1/18—Applying electric currents by contact electrodes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches

Definitions

  • the present disclosure relates to a method, apparatus and system for monitoring meals. Specifically, the present disclosure may provide a method, apparatus, and system for determining a user's swallowing situation by monitoring a situation in which the user is eating.
  • Swallowing disorder refers to a condition in which there is difficulty in the process of swallowing, and is sometimes expressed as difficulty swallowing. Swallowing disorders are common in patients with neurological disorders, and may show symptoms such as spilling or eating food.
  • information about measuring eating habits is needed. For example, in measuring a patient's healthy eating habits, information about sufficient chewing before swallowing, chewing noise after opening and closing the mouth, and whether or not to talk during chewing may be used. Such conventional eating habit measurement information is being manually measured by an assistant who cares for the patient, and this manual measurement operation is a cause of lowering the reliability of the eating habit measurement. Inaccurate eating habit measurement information can act as an obstacle to the guidance of the patient's correct eating habits.
  • the present disclosure may provide a method, apparatus, and system for determining the swallowing situation of the user by monitoring the eating situation of the user. Specifically, the present disclosure may provide a method, apparatus, and system for monitoring a eating situation by using a monitoring method using an image processing method and a monitoring method using a plurality of sensors together.
  • a product meal monitoring system includes: a first monitoring device that monitors a user's authoring behavior using an image processing method; A second monitoring device for monitoring the swallowing motion of the user using a plurality of sensors; And a processor that determines the swallowing situation of the user using the first monitoring information received from the first monitoring device and the second monitoring information received from the second monitoring device, wherein the plurality of sensors are ultrasonic sensors. , An acceleration sensor, a geomagnetic sensor, a gyro sensor, and a voice sensor.
  • the first monitoring device may acquire an image including the user's mouth, monitor the shape of the mouth using the image, and transmit the monitoring result to the processor.
  • the display may further include a display for displaying first monitoring information obtained from the first monitoring device and second monitoring information obtained from the second monitoring device.
  • the swallowing situation may indicate a degree to which the user feels difficulty in swallowing food.
  • it may further include an electrical stimulation unit for applying electrical stimulation according to the swallowing situation.
  • the processor determines the swallowing situation by filtering noise caused by the user's non-swallowing operation from the information obtained from the ultrasonic sensor, and the non-swallowing operation includes the acceleration sensor, the geomagnetic sensor, the gyro sensor, and the Sensed by a voice sensor, the non-swallowing operation may include coughing.
  • the first monitoring device may acquire the user's facial image, monitor the user's facial muscles using the facial image, and transmit the monitoring result to the processor.
  • a notification unit for providing a notification to the user may be further included, and the notification unit may provide a notification when the user eats with his mouth open using the first monitoring information and the second monitoring information.
  • it further comprises a notification unit for providing a notification to the user, wherein the notification unit is to provide a notification when the user makes a sound greater than a preset size during a meal using the first monitoring information and the second monitoring information.
  • the processor determines whether authoring is in progress based on the authoring behavior of the first monitoring information, determines whether swallowing is in progress based on the swallowing motion of the second monitoring information, and the user starts authoring food according to the determination information. By calculating the time until swallowing, the user's eating rate can be calculated.
  • the processor calculates the duration of the authoring noise when the authoring noise measured by the sensor corresponding to the second monitoring information falls within a preset range when the authoring behavior according to the determination information of the first monitoring information It is determined whether the duration exceeds a preset threshold, and according to the determination result, whether sufficient authoring is made before swallowing is recorded as the user's writing habit, or the recorded writing habit may be informed to the guardian of the user.
  • the authoring behavior according to the determination information of the first monitoring information if the authoring noise measured by the sensor corresponding to the second monitoring information exceeds a preset threshold, the user's writing habits It is possible to inform the guardian of the user of the written or recorded writing habit.
  • the processor may record the user's writing habits based on the filtered writing noise by filtering voice noise that may be mixed with the writing noise of the sensor.
  • the processor calculates the duration of the voice signal measured by the sensor corresponding to the second monitoring information when the authoring behavior according to the determination information of the first monitoring information, and when the duration exceeds a preset threshold. It is possible to determine as a conversation during writing, and to record the determination result as a writing habit of the user, or to inform a guardian of the user of the recorded writing habit.
  • the processor may monitor the number of times the user eats a day, a meal time, and an amount of meals based on the determination information corresponding to the first monitoring information and the second monitoring information, and notify the guardian of the user.
  • the meal monitoring system further includes a third monitoring device mounted on the face of the user and detecting an EMG signal of the jaw masticating muscle to monitor the mastication behavior, and the processor receives the EMG signal from the third monitoring device.
  • the authoring behavior of the first monitoring device may be supplemented.
  • the meal monitoring system further includes a third monitoring device that is mounted on the user's jaw and includes at least one of an acceleration sensor, a gyro sensor, and a geomagnetic sensor to detect movement of the jaw, and the processor includes the third
  • the authoring behavior of the first monitoring device may be supplemented by receiving the motion detection information of the jaw from the monitoring device.
  • a meal monitoring apparatus includes: a receiver for receiving first monitoring information indicating the authoring behavior from a first monitoring device that monitors a user's authoring behavior using an image processing method; A plurality of sensors for monitoring the user's swallowing motion; And a processor configured to determine a swallowing situation of the user using the first monitoring information and second monitoring information received from the plurality of sensors.
  • the plurality of sensors may include at least one of an ultrasonic sensor, an acceleration sensor, a geomagnetic sensor, a gyro sensor, and a voice sensor.
  • a meal monitoring method includes the steps of: obtaining first monitoring information by performing monitoring of a user's authoring behavior using an image processing method; Obtaining second monitoring information by monitoring the user's swallowing exercise using a plurality of sensors; And determining a swallowing situation of the user using the first monitoring information and the second monitoring information, wherein the plurality of sensors include at least one of an ultrasonic sensor, an acceleration sensor, a geomagnetic sensor, a gyro sensor, and a voice sensor. It can contain one.
  • the fourth aspect can provide a computer-readable recording medium in which a program for executing the method of the third aspect on a computer is recorded.
  • a method, apparatus, and system may be provided for monitoring a eating situation by using monitoring using an image processing method and a monitoring method using a plurality of sensors together.
  • FIG. 1 is a diagram schematically illustrating a meal monitoring system according to an exemplary embodiment.
  • FIG. 2 is a block diagram showing the configuration of a meal monitoring system according to an embodiment.
  • FIG. 3 is a block diagram illustrating configurations of a first monitoring device and a second monitoring device according to an exemplary embodiment.
  • FIG. 4 is a diagram illustrating a meal monitoring system implemented in a wired or wireless communication method according to an embodiment.
  • FIG. 5 is a diagram illustrating an example in which a first monitoring device operates according to an exemplary embodiment.
  • FIG. 6 is a diagram illustrating an example in which a smartphone is used as a first monitoring device according to an embodiment.
  • FIG. 7 is a flowchart illustrating a method of operating a meal monitoring system according to an exemplary embodiment.
  • module refers to a unit that processes at least one function or operation, which may be implemented as hardware or software, or a combination of hardware and software.
  • FIG. 1 is a diagram schematically illustrating a meal monitoring system 100 according to an exemplary embodiment.
  • the meal monitoring system 100 may include a first monitoring device 110 and a second monitoring device 120.
  • the meal monitoring system 100 may further include a processor.
  • the meal monitoring system 100 may further include a processor.
  • some of the components illustrated in FIG. 1 may be omitted.
  • the first monitoring device 110 may acquire an image
  • the second monitoring device 120 may acquire information on ultrasound, voice, acceleration, geomagnetic orientation, and angular velocity.
  • the swallowing situation of the user may be determined using the first monitoring information received from the first monitoring device 110 and the second monitoring information received from the second monitoring device 120.
  • the second monitoring device 120 includes various sensors, and an electromyogram (EMG) sensor that measures the electrical activity of the muscles on the facial epidermis of the masticating-related muscle area. Can be attached to generate the second monitoring information.
  • EMG electromyogram
  • the processor (130 of FIG. 2) to more accurately determine the mastication behavior determined by the first monitoring information by measuring the electrical signal of the masticating muscle with the EMG sensor and generating second monitoring information.
  • EMG sensor may be configured in a third monitoring device (not shown) that transmits an electrical signal of the masticating muscle detected by the processor (130 in FIG. 3) in connection with the second monitoring device 120.
  • the second monitoring device 120 may be mounted on the neck to monitor the swallowing motion
  • the third monitoring device may be mounted on the face to monitor the mastication behavior.
  • the EMG sensor used in the third monitoring device may be attached to the facial region.
  • the second monitoring device 120 may acquire information on the acceleration of the jaw, a geomagnetic orientation, and an angular velocity by attaching an acceleration sensor, a gyro sensor, and a geomagnetic sensor to the jaw portion and monitor the mastication behavior with the movement of the jaw.
  • an acceleration sensor, a gyro sensor, and a geomagnetic sensor may be used so that the second monitoring device 120 may generate information on an acceleration, a geomagnetic orientation, and an angular velocity of the jaw capable of monitoring the movement of the jaw.
  • an acceleration sensor, a gyro sensor, and a geomagnetic sensor have been exemplified to monitor the movement of the jaw, but the present invention is not limited thereto.
  • an acceleration sensor, a gyro sensor, and a geomagnetic sensor that monitors the movement of the jaw are implemented as a third monitoring device (not shown) that transmits jaw movement monitoring information to the processor 130 in connection with the second monitoring device 120 It could be.
  • the third monitoring device may include an EMG sensor that detects masticating muscles of the jaw, an acceleration sensor that detects movement of the jaw, a gyro sensor, and a geomagnetic sensor.
  • FIG. 2 is a block diagram showing the configuration of the meal monitoring system 100 according to an embodiment.
  • the meal monitoring system 100 may include a first monitoring device 110, a second monitoring device 120, and a processor 130.
  • the meal monitoring system 100 may further include a display, a memory, and the like.
  • the meal monitoring system 100 may further include a display, a memory, and the like.
  • some of the components illustrated in FIG. 2 may be omitted.
  • the first monitoring device 110 may monitor a user's authoring behavior using an image processing method. For example, the first monitoring device 110 may acquire an image including the user's mouth, monitor the shape of the mouth or the position of the jaw using the acquired image, and transmit the monitoring result to the processor 130 .
  • the first monitoring device 110 may acquire a user's facial image, monitor the user's facial muscles using the facial image, and transmit the monitoring result to the processor 130.
  • the second monitoring device 120 may monitor a user's swallowing motion using a plurality of sensors.
  • the plurality of sensors may include at least one of an ultrasonic sensor, an acceleration sensor, a geomagnetic sensor, a gyro sensor, and a voice sensor.
  • the second monitoring device 120 may be located around the user's neck, and may obtain information on the situation around the user's neck. For example, the second monitoring device 120 may acquire information such as ultrasound, voice, acceleration, geomagnetic orientation, and angular velocity around the user's neck.
  • the second monitoring device 120 may obtain acceleration, a geomagnetic orientation, and an angular velocity by discriminating between a movement of the uvula, a movement of the entire neck, and a shaking of the surface of the neck.
  • the second monitoring device 120 may acquire sound.
  • the second monitoring device 120 may acquire a signal in the frequency band of the voice.
  • the second monitoring device 120 may acquire a writing noise, a speaking voice, a sound obtained when food is passed, and the like.
  • the second monitoring device 120 may acquire ultrasonic waves.
  • the second monitoring device 120 may include an ultrasonic sensor or an ultrasonic Doppler sensor.
  • the second monitoring device 120 may include an ultrasonic transmitter and an ultrasonic receiver. Further, the second monitoring device 120 may further include an ultrasonic lens, and in this case, the ultrasonic lens may be disposed on the front surface of the ultrasonic receiver (a direction in which ultrasonic waves are received). The user's swallowing motion may be monitored using the Doppler effect and ultrasound.
  • the processor 130 may determine the swallowing situation of the user using the first monitoring information received from the first monitoring device 110 and the second monitoring information received from the second monitoring device 120. .
  • the swallowing situation may represent a situation in which the user swallows food. For example, it may indicate the degree to which the user feels difficulty in swallowing food. As another example, the swallowing situation may indicate which process the user is currently in among the entire process of swallowing food. Specifically, the swallowing situation may be expressed in one of several stages (eg, 1 to 10) of the degree to which the user feels difficulty in swallowing food. Alternatively, when the entire process of swallowing food by the user is divided into preset processes (e.g., the mastication stage, the introduction stage of swallowing, the stage of swallowing, the stage of esophageal progression, the stage of completion of swallowing, etc.), the swallowing situation is the current user among the processes. Can indicate what process is in the process.
  • preset processes e.g., the mastication stage, the introduction stage of swallowing, the stage of swallowing, the stage of esophageal progression, the stage of completion of swallowing, etc.
  • the swallowing situation may simultaneously represent a current user's swallowing process and a degree to which the current user feels difficulty in swallowing.
  • the swallowing situation can be expressed as 1) the swallowing progress stage, 2) the swallowing difficulty stage 7.
  • the degree to which the user feels difficulty in swallowing food may be determined according to the time taken to swallow the food.
  • the processor 130 may determine that the difficulty in swallowing food increases as the time taken for the user to complete swallowing after starting to swallow food is longer.
  • the degree of difficulty in swallowing the food determined in this manner may be output in a preset display method (eg, numerical value).
  • the processor 130 may determine a swallowing situation by filtering noise caused by a user's non-swallowing operation from information acquired from an ultrasonic sensor included in the second monitoring device 120.
  • the non-swallowing motion is sensed from an acceleration sensor, a geomagnetic sensor, a gyro sensor, and a voice sensor, and the non-swallowing motion may include coughing, speaking, and noise generated during chewing.
  • the processor 130 may more accurately determine the swallowing situation by excluding information obtained while the non-swallowing operation is performed when determining the swallowing situation.
  • the processor 130 may determine the shape of the user's mouth or the position of the jaw using the image acquired from the first monitoring device 110. In addition, the processor 130 may determine whether the user is opening his or her mouth, whether the user opens his or her mouth and proceeds with a meal, using the image acquired from the first monitoring device 110. Also, the processor 130 may monitor the movement of the jaw using the image acquired from the first monitoring device 110 and monitor the authoring activity based on the movement of the jaw. For example, the processor 130 may monitor whether the authoring activity is being performed, the number of authoring activities until swallowing occurs, the frequency of the authoring activity, and the like.
  • the processor 130 may determine a swallowing situation by acquiring information obtained when a jaw is stopped. Since the jaw movement is usually stopped when swallowing occurs, the processor 130 determines whether the jaw movement has stopped using the first monitoring information, and a second monitoring obtained while the jaw movement is stopped. The information can be used to determine the swallowing situation. Since the swallowing condition is determined by using the second monitoring information acquired while the jaw movement is stopped, the swallowing condition can be more accurately determined.
  • the processor 130 determines whether authoring is in progress based on the authoring behavior of the first monitoring information, determines whether it is being swallowed based on the swallowing motion of the second monitoring information, and allows the user to author food according to the determination information.
  • the processor 130 calculates the time from starting to swallowing, you can calculate your eating rate.
  • the processor 130 In order for the processor 130 to calculate the user's eating speed, the user needs to determine information about the authoring behavior of the food and needs information about the user's swallowing movement.
  • the rate of eating can be measured by calculating the time between when chewing begins and when swallowing ends.
  • the authoring time point may be obtained from determination information on the authoring behavior of the first monitoring information, and the swallowing time point may be obtained from determination information regarding the swallowing motion of the second monitoring information.
  • the eating rate When the eating rate is calculated, it may be compared with the usual eating rate, which may trigger a warning and a guardian notification about a situation in which the processor 130 is forced to eat too fast.
  • the processor 130 may inform the user of information on the meal rate through the notification unit (330 in FIG. 3) to the user himself or to a guardian of the user through long-distance communication.
  • the processor 130 determines the duration of the authoring noise when the authoring noise measured by the sensor corresponding to the second monitoring information falls within a preset range in the authoring behavior according to the determination information of the first monitoring information. It is calculated to determine whether the duration exceeds a preset threshold, and according to the determination result, whether sufficient writing is made before swallowing is recorded as a user's writing habit, or the recorded writing habit can be notified to the guardian of the user.
  • the duration of the writing noise measured by the sensor of the second monitoring information may be used as an index for determining whether sufficient writing is performed before the processor 130 swallows.
  • Processor 130 when the authoring behavior according to the determination information of the first monitoring information, if the authoring noise measured by the sensor corresponding to the second monitoring information exceeds a preset threshold, the excess information to the user.
  • the writing habit may be recorded or the recorded writing habit may be informed to the guardian of the user. For example, writing noise may be recorded as one of the writing habits.
  • the processor 130 may record as a user's writing habit whether the writing noise measured by the voice sensor obtained from the second monitoring information exceeds a preset threshold.
  • the processor 130 may record a user's writing habit based on the filtered writing noise by filtering voice noise that may be mixed with the writing noise of the sensor.
  • the user's voice noise may be mixed with the writing noise, and this voice noise needs to be eliminated in order to accurately record the writing habit.
  • the processor 130 may filter the voice noise by processing the writing noise through a voice filtering module having the user's voice characteristic information.
  • the processor 130 calculates the duration of the voice signal measured by the sensor corresponding to the second monitoring information when the authoring behavior according to the determination information of the first monitoring information, and the duration is a preset threshold. If it exceeds, it is judged as a conversation during writing, and the result of the determination can be recorded as a user's writing habit, or the recorded writing habit can be notified to the protector of the user.
  • the duration of the voice signal measured by the sensor of the second monitoring information may be used as an index for the processor 130 to determine a conversation during authoring.
  • the processor 130 may output whether sufficient authoring is made before swallowing as a user's authoring habit, whether the authoring noise exceeds a preset threshold, and that it is a conversation during authoring, and this authoring habit allows the patient to have a healthy eating habit. It can indirectly indicate whether it is running.
  • the processor 130 may monitor the number of times a user eats a day, a meal time, and an amount of meals based on determination information corresponding to the first monitoring information and the second monitoring information, and notify the user's guardian. Using a method similar to that described above for calculating the meal rate, the processor 130 may monitor the number of times of eating, meal time, and amount of meals per day based on time records corresponding to the time when the authoring started and the time when swallowing was finished. . In this case, pattern analysis based on time recording may be used for monitoring of the processor 130.
  • the number of meals per day is obtained by calculating the number of time recordings during the day
  • the meal time is obtained by calculating the time recording section
  • the amount of meal is calculated by calculating the amount of food intake proportional to the number of time recordings. It can be obtained by doing.
  • the processor 130 may process a guardian notification for a user with too low a meal frequency based on monitoring information on the number of meals per day, meal time, and amount of meals obtained through monitoring.
  • FIG. 3 is a block diagram illustrating configurations of the first monitoring device 110 and the second monitoring device 120 according to an exemplary embodiment.
  • the second monitoring device 120 includes a receiver 340, a plurality of sensors 350, a processor 130, an electrical stimulation unit 310, a display 320, and a notification unit 330 can do.
  • the second monitoring device 120 may further include a memory or the like.
  • the second monitoring device 120 may further include a memory or the like.
  • some of the components illustrated in FIG. 3 may be omitted.
  • the display 320 may display acquired information or a processing result of the acquired information.
  • the display 320 may display first monitoring information obtained from the first monitoring device 110 and second monitoring information obtained from the second monitoring device 120.
  • the display 320 may display the swallowing situation of the user determined by using the first monitoring information obtained from the first monitoring device 110 and the second monitoring information obtained from the second monitoring device 120.
  • information such as 1) swallowing introduction step, 2) swallowing difficulty step 3 may be displayed.
  • the electrical stimulation unit 310 may apply electrical stimulation to a user according to a swallowing situation. For example, when it is determined that the user has a great difficulty in swallowing food, the electrical stimulation unit 310 may output electricity under the control of the processor 130.
  • the intensity of the output output from the electrical stimulation unit 310 may be preset. For example, the intensity of the output output from the electrical stimulation unit 310 may be constant as a specific value, or may be determined as one of a plurality of values according to the swallowing situation.
  • the electrical stimulation part 310 is shown in the drawing, other stimulation may be provided.
  • other stimulation may be provided.
  • vibration stimulation, sound stimulation, and the like may also be provided.
  • the notification unit 330 may provide a notification to a user in a preset manner.
  • the notification unit 330 may provide a notification in a manner such as vibration, sound, or message.
  • the notification unit 330 may provide a notification when a user eats with his mouth open using the first monitoring information and the second monitoring information.
  • the notification unit 330 may provide a notification when the number of writings performed before swallowing occurs is less than a preset value.
  • the notification unit 330 may provide a notification when a user makes a sound equal to or greater than a preset size during a meal by using the first monitoring information and the second monitoring information.
  • the receiver 340 may receive first monitoring information indicating the authoring behavior from the first monitoring device 110 that monitors the user's authoring behavior by using an image processing method.
  • the plurality of sensors 350 may include, but are not limited to, an ultrasonic sensor, an acceleration sensor, a geomagnetic sensor, a gyro sensor, and a voice sensor.
  • the second monitoring device 120 shown in FIG. 3 may operate as a meal monitoring device, and in this case, the meal monitoring device uses information received from the first monitoring device 110 and sensed information to detect a swallowing situation. You can decide.
  • a meal monitoring system including the first monitoring device 100 and the second monitoring device 120 is mounted on the user's face and detects the EMG signal of the jaw masticating muscle to monitor the mastication behavior.
  • a device (not shown) may be further included.
  • the processor 130 may receive an EMG signal from the third monitoring device to supplement the authoring behavior of the first monitoring device 110.
  • the EMG signal may be detected by an EMG sensor attached to the facial region.
  • the meal monitoring system may further include a third monitoring device that is mounted on the user's jaw and includes at least one of an acceleration sensor, a gyro sensor, and a geomagnetic sensor to detect movement of the jaw.
  • the processor 130 may receive jaw motion detection information from the third monitoring device to supplement the authoring behavior of the first monitoring device 110.
  • the third monitoring device may include an inertial measurement sensor in which an acceleration sensor and a gyro sensor are integrated.
  • FIG. 4 is a diagram illustrating a meal monitoring system 100 implemented in a wired or wireless communication method according to an exemplary embodiment.
  • the meal monitoring system 100 includes a first monitoring device 110, a second monitoring device 120, a communication device 410, a computing device 420, a database 430, an output device ( 440) may be included.
  • the communication device 410 may perform communication between the first monitoring device 110 or the second monitoring device 120 and the computing device 420 in a wired or wireless manner.
  • the computing device 420 may include the processor 130 described above, and may process the first monitoring information received from the first monitoring device 110 and the second monitoring information received from the second monitoring device 120. I can.
  • the database 430 may store and manage information received from the computing device 420.
  • the database 430 may store history information related to swallowing of a specific user.
  • the output device 440 may provide various outputs under control of the computing device 420.
  • the output device 440 may include an electrical stimulation unit 310, a display 320, a notification unit 330, and the like.
  • FIG 5 is a diagram illustrating an example in which the first monitoring device 110 operates according to an embodiment.
  • the first monitoring device 110 may monitor a user's authoring behavior using an image processing method. For example, the first monitoring device 110 may acquire an image including the user's mouth, monitor the shape of the mouth or the position of the jaw using the acquired image, and transmit the monitoring result to the processor 130 .
  • the first monitoring device 110 may recognize the position of the user's mouth and monitor the movement of the mouth through a movement of a shape connecting dots on the lips.
  • the first monitoring device 110 may acquire a user's facial image, monitor the user's facial muscles using the facial image, and transmit the monitoring result to the processor 130.
  • FIG. 6 is a diagram illustrating an example in which a smartphone is used as the first monitoring device 110 according to an exemplary embodiment.
  • a device capable of acquiring an image such as a camera, may be used as the first monitoring device 110.
  • a smartphone may be used as the first monitoring device 110.
  • the smartphone can operate as the first monitoring device 110, the user can use the meal monitoring system 100 only with the second monitoring device 120 and the smartphone. .
  • FIG. 7 is a flowchart illustrating a method of operating the meal monitoring system 100 according to an exemplary embodiment.
  • step S710 the meal monitoring system 100 according to an embodiment acquires first monitoring information by monitoring the user's authoring behavior using an image processing method.
  • the meal monitoring system 100 may acquire an image including a user's mouth, and monitor a shape of a mouth or a position of a chin using the acquired image.
  • the meal monitoring system 100 may acquire the user's facial image and monitor the user's facial muscles using the facial image.
  • step S720 the meal monitoring system 100 monitors the user's swallowing exercise using a plurality of sensors to obtain second monitoring information.
  • the meal monitoring system 100 may monitor a user's swallowing exercise using a plurality of sensors.
  • the plurality of sensors may include at least one of an ultrasonic sensor, an acceleration sensor, a geomagnetic sensor, a gyro sensor, and a voice sensor.
  • step S730 the meal monitoring system 100 according to an embodiment determines a swallowing situation of the user using the first monitoring information and the second monitoring information.
  • the swallowing situation may represent a situation in which the user swallows food. For example, it may indicate the degree to which the user feels difficulty in swallowing food. As another example, the swallowing situation may indicate which process the user is currently in among the entire process of swallowing food.
  • the above-described method can be written as a program that can be executed on a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium.
  • the structure of the data used in the above-described method can be recorded on a computer-readable recording medium through various means.
  • the computer-readable recording medium includes a storage medium such as a magnetic storage medium (e.g., ROM, RAM, USB, floppy disk, hard disk, etc.), and an optical reading medium (e.g., CD-ROM, DVD, etc.). do.

Abstract

본 개시의 일 실시 예에 따를 때, 식사하는 상황을 모니터링하기 위해 영상 처리 방식을 이용한 모니터링과 복수의 센서를 이용한 모니터링 방식이 함께 이용될 수 있다. 영상 처리 방식을 이용한 모니터링과 복수의 센서를 이용한 모니터링 방식을 함께 이용함으로써, 사용자의 삼킴 상황이 보다 정확하게 결정하는 방법, 장치 및 시스템이 개시된다.

Description

식사 모니터링 방법, 장치 및 시스템
본 개시는 식사 모니터링 방법, 장치 및 시스템에 관한 것이다. 구체적으로 본 개시는 사용자가 식사하는 상황을 모니터링하여 사용자의 삼킴 상황을 결정하는 방법, 장치 및 시스템을 제공할 수 있다.
삼킴 장애는 삼키는 과정에 어려움이 있는 상태를 의미하며, 연하 곤란이라고 표현하기도 한다. 삼킴 장애는 신경계 질환의 환자에게 흔하게 발생하며, 음식물을 흘리거나 음식물을 물고 있는 증상 등을 보이기도 한다.
뇌졸중을 비롯하여 뇌손상 환자의 절반 가까이에서 삼킴 장애 증상을 보이고, 전체 재활의학과 입원 환자 3명 중 한 명이 삼킴 장애 증상을 동반한다고 알려지고 있으며, 많은 환자가 특별한 증상 없이 기도흡인이 일어나므로 적절하게 치료 및 관리를 하지 않는 경우 매우 치명적인 결과가 초래될 수 있다.
그에 따라, 최근 삼킴 장애 환자의 연하기능을 보다 효과적이고 정확하게 평가하고 진단하는 방법들이 개발되고 있으며 삼킴 장애 환자의 삼킴 기능을 회복시키려는 새로운 치료기법들이 다각도로 시도되고 있다.
환자가 건강한 식습관을 영위하는지 판단할 때에는 식습관 측정 정보가 필요하다. 예를 들어, 환자의 건강한 식습관 측정에는 삼킴 전 충분한 저작, 구강 개폐 후 저작 소음, 저작 중 대화 여부에 대한 정보가 사용될 수 있다. 이러한 종래 식습관 측정 정보는 환자를 돌보는 도우미에 의해 수동으로 측정되어지고 있고, 이러한 수동 측정 동작은 식습관 측정에 신뢰도를 떨어뜨리는 원인이 된다. 부정확한 식습관 측정 정보는 환자의 올바른 식습관 지도에 걸림돌로 작용할 수 있다.
본 개시는 사용자가 식사하는 상황을 모니터링하여 사용자의 삼킴 상황을 결정하는 방법, 장치 및 시스템을 제공할 수 있다. 구체적으로 본 개시는 영상 처리 방식을 이용한 모니터링과 복수의 센서를 이용한 모니터링 방식을 함께 이용하여 식사하는 상황을 모니터링하는 방법, 장치 및 시스템을 제공할 수 있다.
본 개시의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
제 1 측면에 따른 제품 식사 모니터링 시스템은 사용자의 저작 행태를 영상 처리 방식을 이용하여 모니터링하는 제 1 모니터링 디바이스; 상기 사용자의 삼킴 운동을 복수의 센서를 이용하여 모니터링하는 제 2 모니터링 디바이스; 및 상기 제 1 모니터링 디바이스로부터 수신한 제 1 모니터링 정보 및 상기 제 2 모니터링 디바이스로부터 수신한 제 2 모니터링 정보를 이용하여 상기 사용자의 삼킴 상황을 결정하는 프로세서;를 포함하고, 상기 복수의 센서는 초음파 센서, 가속도 센서, 지자기 센서, 자이로 센서 및 음성 센서 중 적어도 하나를 포함할 수 있다.
또한, 상기 제 1 모니터링 디바이스는 상기 사용자의 입을 포함하는 이미지를 획득하고, 상기 이미지를 이용하여 상기 입의 모양을 모니터링하고, 상기 모니터링 결과를 상기 프로세서로 전송할 수 있다.
또한, 상기 제 1 모니터링 디바이스로부터 획득되는 제 1 모니터링 정보 및 상기 제 2 모니터링 디바이스로부터 획득되는 제 2 모니터링 정보를 디스플레이하는 디스플레이를 더 포함할 수 있다.
또한, 상기 삼킴 상황은 상기 사용자가 음식물을 삼키는데 어려움을 느끼는 정도를 나타낼 수 있다.
또한, 상기 삼킴 상황에 따라 전기 자극을 가하는 전기 자극부를 더 포함할 수 있다.
또한, 상기 프로세서는 상기 초음파 센서로부터 획득된 정보에서 상기 사용자의 비삼킴 동작에 의한 노이즈를 필터링하여 상기 삼킴 상황을 결정하고, 상기 비삼킴 동작은 상기 가속도 센서, 상기 지자기 센서, 상기 자이로 센서 및 상기 음성 센서로부터 센싱되고, 상기 비삼킴 동작은 기침을 포함할 수 있다.
또한, 상기 제 1 모니터링 디바이스는 상기 사용자의 안면 이미지를 획득하고, 상기 안면 이미지를 이용하여 상기 사용자의 안면 근육을 모니터링하고, 상기 모니터링 결과를 상기 프로세서로 전송할 수 있다.
또한, 상기 사용자에게 알림을 제공하는 알림부를 더 포함하고, 상기 알림부는 상기 제 1 모니터링 정보 및 상기 제 2 모니터링 정보를 이용하여 상기 사용자가 입을 연 채로 식사하는 경우 알림을 제공할 수 있다.
또한, 상기 사용자에게 알림을 제공하는 알림부를 더 포함하고, 상기 알림부는 상기 제 1 모니터링 정보 및 상기 제 2 모니터링 정보를 이용하여 상기 사용자가 식사 중 기설정 크기 이상의 소리를 내는 경우, 알림을 제공할 수 있다.
또한, 상기 프로세서는 상기 제 1 모니터링 정보의 저작 행태에 기반하여 저작 중인지 판단하고, 상기 제 2 모니터링 정보의 삼킴 운동에 기반하여 삼킴 중인지 판단하고, 판단 정보에 따라 상기 사용자가 음식물을 저작하기 시작해서 삼킬 때까지의 시간을 계산하여 상기 사용자의 식사 속도를 계산할 수 있다.
또한, 상기 프로세서는 상기 제 1 모니터링 정보의 판단 정보에 따른 저작 행태일 때 상기 제 2 모니터링 정보에 대응한 센서에 의해 측정된 저작 소음이 기설정된 범위 내에 속하면 저작 소음의 지속 시간을 계산하여 상기 지속 시간이 기설정된 임계치를 초과하는지를 판단하고, 판단 결과에 따라 삼킴 전에 충분한 저작이 이루어지는지를 상기 사용자의 저작 습관으로 기록하거나 기록된 저작 습관을 상기 사용자의 보호자에게 알릴 수 있다.
또한, 상기 프로세서는 상기 제 1 모니터링 정보의 판단 정보에 따른 저작 행태일 때 상기 제 2 모니터링 정보에 대응한 센서에 의해 측정된 저작 소음이 기설정된 임계치를 초과하면 초과된 정보를 상기 사용자의 저작 습관으로 기록하거나 기록된 저작 습관을 상기 사용자의 보호자에게 알릴 수 있다.
또한, 상기 프로세서는 상기 센서의 저작 소음에 혼입될 수 있는 음성 소음을 필터링하여 필터링된 저작 소음에 기반한 상기 사용자의 저작 습관을 기록할 수 있다.
또한, 상기 프로세서는 상기 제 1 모니터링 정보의 판단 정보에 따른 저작 행태일 때 상기 제 2 모니터링 정보에 대응한 센서에 의해 측정된 음성 신호의 지속 시간을 계산하여 상기 지속 시간이 기설정된 임계치를 초과하면 저작 중 대화로 판단하고, 판단 결과를 상기 사용자의 저작 습관으로 기록하거나 기록된 저작 습관을 상기 사용자의 보호자에게 알릴 수 있다.
또한, 상기 프로세서는 상기 제 1 모니터링 정보와 상기 제 2 모니터링 정보에 대응한 판단 정보에 기반하여 상기 사용자의 하루에 식사하는 횟수, 식사 시간 및 식사량을 모니터링하여 상기 사용자의 보호자에게 알릴 수 있다.
또한, 식사 모니터링 시스템은 상기 사용자의 안면 부위에 장착되며 턱 저작 근육의 근전도 신호를 감지해서 저작 행태를 모니터링하는 제 3 모니터링 디바이스를 더 포함하고, 상기 프로세서는 상기 제 3 모니터링 디바이스로부터 상기 근전도 신호를 수신하여 상기 제 1 모니터링 디바이스의 저작 행태를 보완할 수 있다.
또한, 식사 모니터링 시스템은 상기 사용자의 턱 부위에 장착되며 가속도 센서, 자이로 센서, 지자기 센서 중 어느 하나 이상을 포함해서 턱의 움직임을 감지하는 제 3 모니터링 디바이스를 더 포함하고, 상기 프로세서는 상기 제 3 모니터링 디바이스로부터 상기 턱의 움직임 감지 정보를 수신하여 상기 제 1 모니터링 디바이스의 저작 행태를 보완할 수 있다.
제 2 측면에 따른 식사 모니터링 장치는 사용자의 저작 행태를 영상 처리 방식을 이용하여 모니터링하는 제 1 모니터링 디바이스로부터 상기 저작 행태를 나타내는 제 1 모니터링 정보를 수신하는 리시버; 상기 사용자의 삼킴 운동을 모니터링하는 복수의 센서; 및 상기 제 1 모니터링 정보 및 상기 복수의 센서로부터 수신한 제 2 모니터링 정보를 이용하여 상기 사용자의 삼킴 상황을 결정하는 프로세서; 를 포함하고, 상기 복수의 센서는 초음파 센서, 가속도 센서, 지자기 센서, 자이로 센서 및 음성 센서 중 적어도 하나를 포함할 수 있다.
제 3 측면에 따른 식사 모니터링 방법은 사용자의 저작 행태를 영상 처리 방식을 이용한 모니터링을 수행하여 제 1 모니터링 정보를 획득하는 단계; 상기 사용자의 삼킴 운동을 복수의 센서를 이용한 모니터링을 수행하여 제 2 모니터링 정보를 획득하는 단계; 및 상기 제 1 모니터링 정보 및 상기 제 2 모니터링 정보를 이용하여 상기 사용자의 삼킴 상황을 결정하는 단계;를 포함하고, 상기 복수의 센서는 초음파 센서, 가속도 센서, 지자기 센서, 자이로 센서 및 음성 센서 중 적어도 하나를 포함할 수 있다.
또한, 제 4 측면은, 제 3 측면의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.
본 개시의 일 실시 예에 따를 때, 영상 처리 방식을 이용한 모니터링과 복수의 센서를 이용한 모니터링 방식을 함께 이용하여 식사하는 상황을 모니터링하는 방법, 장치 및 시스템이 제공될 수 있다.
영상 처리 방식을 이용한 모니터링과 복수의 센서를 이용한 모니터링 방식을 함께 이용함으로써, 사용자의 삼킴 상황을 보다 정확하게 결정할 수 있다.
본 개시의 효과는 상기한 효과로 한정되는 것은 아니며, 본 개시의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 일 실시 예에 따른 식사 모니터링 시스템을 개괄적으로 도시한 도면이다.
도 2는 일 실시 예에 따른 식사 모니터링 시스템의 구성을 도시한 블록도이다.
도 3은 일 실시 예에 따른 제 1 모니터링 디바이스 및 제 2 모니터링 디바이스의 구성을 도시한 블록도이다.
도 4는 일 실시 예에 따라 유무선 통신 방식으로 구현되는 식사 모니터링 시스템을 도시한 도면이다.
도 5는 일 실시 예에 따라 제 1 모니터링 디바이스가 동작하는 일 예를 나타내는 도면이다.
도 6은 일 실시 예에 따라 스마트폰이 제 1 모니터링 디바이스로 이용되는 일 예를 나타내는 도면이다.
도 7은 일 실시 예에 따라 식사 모니터링 시스템이 동작하는 방법을 나타내는 흐름도이다.
실시 예들에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 “…부”, “…모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
이하 첨부된 도면을 참고하여 본 개시의 실시 예를 상세히 설명하기로 한다.
도 1은 일 실시 예에 따른 식사 모니터링 시스템(100)을 개괄적으로 도시한 도면이다.
도 1을 참조하면, 식사 모니터링 시스템(100)은 제 1 모니터링 디바이스(110) 및 제 2 모니터링 디바이스(120)를 포함할 수 있다.
그러나 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 식사 모니터링 시스템(100)에 더 포함될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 예를 들면, 식사 모니터링 시스템(100)는 프로세서를 더 포함할 수 있다. 또는 다른 실시 예에 따를 경우, 도 1에 도시된 구성요소들 중 일부 구성요소는 생략될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
제 1 모니터링 디바이스(110)는 이미지를 획득하고, 제 2 모니터링 디바이스(120)는 초음파, 음성, 가속도, 지자기 방위, 각속도 등에 대한 정보를 획득할 수 있다.
제 1 모니터링 디바이스(110)로부터 수신한 제 1 모니터링 정보 및 제 2 모니터링 디바이스(120)로부터 수신한 제 2 모니터링 정보를 이용하여 사용자의 삼킴 상황이 결정될 수 있다.
제 1 모니터링 디바이스(110)의 이미지 획득에 의한 저작 행태 모니터링에 부가적으로 제 2 모니터링 디바이스(120)에는 각종 센서에 더하여 저작 관련 근육 부위 안면 표피에 근육의 전기적 활동을 측정하는 근전도(EMG) 센서를 부착하여 제 2 모니터링 정보를 생성할 수 있다. 이는 저작 근육의 전기 신호를 근전도 센서로 측정해서 제 2 모니터링 정보를 생성함으로써 프로세서(도 2의 130)가 제 1 모니터링 정보에 의해 판단된 저작 행태를 보다 정확하게 판단할 수 있다. 일례로, 이러한 근전도 센서는 제 2 모니터링 디바이스(120)와 연동하여 프로세서(도 3의 130)로 감지된 저작 근육의 전기 신호를 전송하는 제 3 모니터링 디바이스(미도시)에 구성될 수 있다. 이는 제 2 모니터링 디바이스(120)는 목 부위에 장착되어 삼킴 동작을 모니터링하고, 제 3 모니터링 디바이스는 안면 부위에 장착되어 저작 행태를 모니터링할 수 있다. 제 3 모니터링 디바이스에 사용되는 근전도 센서는 안면 부위에 부착될 수 있다.
또한, 제 2 모니터링 디바이스(120)는 턱 부위에 가속도 센서, 자이로 센서, 지자기 센서를 부착하여 턱의 가속도, 지자기 방위, 각속도의 정보를 획득하여 턱의 움직임으로 저작 행태를 모니터링할 수 있다. 이는 사용자마다 턱의 움직임이 미세하게 차이가 있고, 이러한 미세한 차이는 사용자의 저작 행태에 대한 특징을 반영하며 이를 측정해서 제 1 모니터링 정보를 보다 정확하게 모사할 수 있다. 제 2 모니터링 디바이스(120)가 턱의 움직임을 모니터링할 수 있는 턱의 가속도, 지자기 방위, 각속도의 정보를 생성할 수 있도록 가속도 센서, 자이로 센서, 지자기 센서를 이용할 수 있다. 여기서, 턱의 움직임을 모니터링하고자 가속도 센서, 자이로 센서, 지자기 센서를 예시하였으나 이에 국한되지 않는다. 또한, 턱의 움직임을 모니터링하는 가속도 센서, 자이로 센서, 지자기 센서가 제 2 모니터링 디바이스(120)와 연동하여 프로세서(130)로 턱의 움직임 모니터링 정보를 전송하는 제 3 모니터링 디바이스(미도시)로 구현될 수도 있다. 제 3 모니터링 디바이스는 턱의 저작 근육을 감지하는 근전도 센서와, 턱의 움직임을 감지하는 가속도 센서, 자이로 센서, 지자기 센서를 포함할 수 있다.
도 2는 일 실시 예에 따른 식사 모니터링 시스템(100)의 구성을 도시한 블록도이다.
도 2를 참조하면, 식사 모니터링 시스템(100)은 제 1 모니터링 디바이스(110), 제 2 모니터링 디바이스(120) 및 프로세서(130)를 포함할 수 있다.
그러나 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 식사 모니터링 시스템(100)에 더 포함될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 예를 들면, 식사 모니터링 시스템(100)는 디스플레이, 메모리 등을 더 포함할 수 있다. 또는 다른 실시 예에 따를 경우, 도 2에 도시된 구성요소들 중 일부 구성요소는 생략될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
일 실시 예에 따른 제 1 모니터링 디바이스(110)는 사용자의 저작 행태를 영상 처리 방식을 이용하여 모니터링할 수 있다. 일 예로, 제 1 모니터링 디바이스(110)는 사용자의 입을 포함하는 이미지를 획득하고, 획득한 이미지를 이용하여 입의 모양 또는 턱의 위치 등을 모니터링하고, 모니터링 결과를 프로세서(130)로 전송할 수 있다.
일 실시 예에 따른 제 1 모니터링 디바이스(110)는 사용자의 안면 이미지를 획득하고, 안면 이미지를 이용하여 사용자의 안면 근육을 모니터링하고, 모니터링 결과를 프로세서(130)로 전송할 수 있다.
일 실시 예에 따른 제 2 모니터링 디바이스(120)는 사용자의 삼킴 운동을 복수의 센서를 이용하여 모니터링할 수 있다. 복수의 센서는 초음파 센서, 가속도 센서, 지자기 센서, 자이로 센서 및 음성 센서 중 적어도 하나를 포함할 수 있다.
제 2 모니터링 디바이스(120)는 사용자의 목 주변에 위치할 수 있으며, 사용자의 목 주변의 상황에 대한 정보를 획득할 수 있다. 예를 들면, 제 2 모니터링 디바이스(120)는 사용자의 목 주변에서 초음파, 음성, 가속도, 지자기 방위, 각속도 등의 정보를 획득할 수 있다.
일 실시 예에 따른 제 2 모니터링 디바이스(120)는 목젖의 움직임, 목 전체의 움직임, 목 표면의 흔들림 등을 구별하여 가속도, 지자기 방위, 각속도를 획득할 수 있다.
일 실시 예에 따른 제 2 모니터링 디바이스(120)는 소리를 획득할 수 있다. 이 경우, 제 2 모니터링 디바이스(120)는 음성의 주파수 대역의 신호를 획득할 수 있다. 예를 들면, 제 2 모니터링 디바이스(120)는 저작 소음, 말하는 음성, 음식물이 넘어갈 때 획득되는 소리 등을 획득할 수 있다.
일 실시 예에 따른 제 2 모니터링 디바이스(120)는 초음파를 획득할 수 있다. 제 2 모니터링 디바이스(120)는 초음파 센서 또는 초음파 도플러 센서를 포함할 수 있다.
일 예로, 제 2 모니터링 디바이스(120)는 초음파 발신부 및 초음파 수신부를 포함할 수 있다. 또한, 제 2 모니터링 디바이스(120)는 초음파 렌즈를 더 포함할 수 있으며, 이 경우, 초음파 렌즈는 초음파 수신부의 전면(초음파를 수신하는 방향)에 배치될 수 있다. 도플러 효과 및 초음파를 이용하여 사용자의 삼킴 운동이 모니터링될 수 있다.
일 실시 예에 따른 프로세서(130)는 제 1 모니터링 디바이스(110)로부터 수신한 제 1 모니터링 정보 및 제 2 모니터링 디바이스(120)로부터 수신한 제 2 모니터링 정보를 이용하여 사용자의 삼킴 상황을 결정할 수 있다.
삼킴 상황은 사용자가 음식물을 삼키는 상황을 나타낼 수 있다. 예를 들면, 사용자가 음식물을 삼키는데 어려움을 느끼는 정도를 나타낼 수 있다. 다른 예로, 삼킴 상황은 사용자가 음식물을 삼키는 전체 과정 중 현재 어떤 과정에 있는지 나타낼 수 있다. 구체적으로 삼킴 상황은 사용자가 음식물을 삼키는데 어려움을 느끼는 정도를 여러 단계(예: 1 내지 10) 중 하나로 표현될 수 있다. 또는 사용자가 음식물을 삼키는 전체 과정을 기설정 과정들로 구별될 때(예: 저작 단계, 삼킴 도입 단계, 삼킴 진행 단계, 식도 진행 단계, 삼킴 완료 단계 등), 삼킴 상황은 각 과정들 중 현재 사용자가 어떤 과정에 있는지 나타낼 수 있다.
일 예로, 삼킴 상황은 현재 사용자의 삼킴 과정 및 현재 사용자가 삼킴에 어려움에 느끼는 정도를 동시에 나타낼 수 있다. 예를 들면 삼킴 상황은 1)삼킴 진행 단계, 2)삼킴 어려움 단계 7과 같이 표현될 수 있다.
일 실시 예에 따를 때, 사용자가 음식물을 삼키는데 어려움을 느끼는 정도는 음식물을 삼키는데 걸리는 시간에 따라 결정될 수 있다. 예를 들면, 프로세서(130)는 사용자가 음식물의 삼킴에 착수한 후 삼킴이 완료될 때까지 걸리는 시간이 길수록 음식물을 삼키는데 어려움이 크다고 결정할 수 있다. 또한 이와 같은 방식으로 결정된 음식물을 삼키는데 어려움을 느끼는 정도는 기설정 표시 방식(예: 수치)으로 출력될 수 있다.
일 실시 예에 따른 프로세서(130)는 제 2 모니터링 디바이스(120)에 포함된 초음파 센서로부터 획득된 정보에서 사용자의 비삼킴 동작에 의한 노이즈를 필터링하여 삼킴 상황을 결정할 수 있다. 비삼킴 동작은 가속도 센서, 지자기 센서, 자이로 센서 및 음성 센서로부터 센싱되고, 비삼킴 동작은 기침, 말하기, 저작 시 발생하는 소음 등을 포함할 수 있다. 프로세서(130)는 비삼킴 동작이 수행되는 동안에 획득되는 정보를 삼킴 상황을 결정할 때 배제시킴으로써 보다 정확하게 삼킴 상황을 결정할 수 있다.
일 실시 예에 따른 프로세서(130)는 제 1 모니터링 디바이스(110)로부터 획득된 이미지를 이용하여 사용자의 입 모양 또는 턱의 위치 등을 결정할 수 있다. 또한, 프로세서(130)는 제 1 모니터링 디바이스(110)로부터 획득된 이미지를 이용하여 사용자가 입을 벌리고 있는지 여부, 사용자가 입을 벌리고 식사를 진행하는지 여부 등을 결정할 수 있다. 또한, 프로세서(130)는 제 1 모니터링 디바이스(110)로부터 획득된 이미지를 이용하여 턱의 움직임을 모니터링하고, 턱의 움직임에 기초하여 저작 활동을 모니터링할 수 있다. 예를 들면, 프로세서(130)는 저작 활동을 하고 있는지 여부, 삼킴이 일어날 때까지 저작 활동 횟수, 저작 활동의 빈도 등을 모니터링할 수 있다.
일 실시 예에 따른 프로세서(130)는 턱이 정지된 상황에서 획득되는 정보를 획득하여 삼킴 상황을 결정할 수 있다. 삼킴이 발생할 때에는 통상적으로 턱의 움직임이 정지되기 때문에, 프로세서(130)는 턱의 움직임이 정지하였는지 여부를 제 1 모니터링 정보를 이용하여 결정하고, 턱의 움직임이 정지되어 있는 동안 획득되는 제 2 모니터링 정보를 이용하여 삼킴 상황을 결정할 수 있다. 턱의 움직임이 정지되어 있는 동안 획득되는 제 2 모니터링 정보를 이용하여 삼킴 상황을 결정하기 때문에 보다 정확하게 삼킴 상황이 결정될 수 있다.
일 실시 예에 따른 프로세서(130)는 제 1 모니터링 정보의 저작 행태에 기반하여 저작 중인지 판단하고, 제 2 모니터링 정보의 삼킴 운동에 기반하여 삼킴 중인지 판단하고, 판단 정보에 따라 사용자가 음식물을 저작하기 시작해서 삼킬 때까지의 시간을 계산하여 사용자의 식사 속도를 계산할 수 있다. 프로세서(130)가 사용자의 식사 속도를 계산하기 위해 사용자가 음식물의 저작 행태에 대한 판단 정보가 필요하고, 사용자의 삼킴 운동에 대한 판단 정보가 필요하다. 식사 속도는 저작이 시작된 시점과 삼킴이 끝난 시점 간의 시간을 계산하여 측정될 수 있다. 저작 시점은 제 1 모니터링 정보의 저작 행태에 대한 판단 정보로부터 얻어질 수 있고, 삼킴 끝난 시점은 제 2 모니터링 정보의 삼킴 운동에 대한 판단 정보로부터 얻어질 수 있다. 식사 속도가 계산되면 평소 식사 속도와 비교될 수 있고, 이는 프로세서(130)가 억지로 너무 빠르게 식사하는 상황에 대한 경고 및 보호자 알림을 실행할 수 있다. 또한, 프로세서(130)는 알림부(도 3의 330)를 통해 식사 속도에 대한 정보를 사용자 본인에게 알리거나 원거리 통신을 통해 사용자의 보호자에게 알릴 수 있다.
일 실시 예에 따른 프로세서(130)는 제 1 모니터링 정보의 판단 정보에 따른 저작 행태일 때 제 2 모니터링 정보에 대응한 센서에 의해 측정된 저작 소음이 기설정된 범위 내에 속하면 저작 소음의 지속 시간을 계산하여 지속 시간이 기설정된 임계치를 초과하는지를 판단하고, 판단 결과에 따라 삼킴 전에 충분한 저작이 이루어지는지를 사용자의 저작 습관으로 기록하거나 기록된 저작 습관을 사용자의 보호자에게 알릴 수 있다. 제 1 모니터링 정보가 사용자의 저작 행태를 지시할 때 제 2 모니터링 정보의 센서에 의해 측정된 저작 소음의 지속 시간은 프로세서(130)가 삼킴 전에 충분한 저작이 이루어지는지를 판단하는 지표로 사용될 수 있다.
일 실시 예에 따른 프로세서(130)는 제 1 모니터링 정보의 판단 정보에 따른 저작 행태일 때 제 2 모니터링 정보에 대응한 센서에 의해 측정된 저작 소음이 기설정된 임계치를 초과하면 초과된 정보를 사용자의 저작 습관으로 기록하거나 기록된 저작 습관을 상기 사용자의 보호자에게 알릴 수 있다. 일례로, 저작 소음이 저작 습관 중 하나로 기록될 수 있다. 프로세서(130)는 제 2 모니터링 정보로부터 얻어지는 음성 센서에 의해 측정된 저작 소음이 기설정된 임계치를 초과하는지를 사용자의 저작 습관으로 기록할 수 있다.
일 실시 예에 따른 프로세서(130)는 센서의 저작 소음에 혼입될 수 있는 음성 소음을 필터링하여 필터링된 저작 소음에 기반한 사용자의 저작 습관을 기록할 수 있다. 저작 소음에는 사용자의 음성 소음이 혼입될 수 있고, 이러한 음성 소음은 정확한 저작 습관의 기록을 위해 제거될 필요가 있다. 프로세서(130)는 사용자의 음성 특징 정보를 가지는 음성 필터링 모듈을 통해 저작 소음을 처리해서 음성 소음을 필터링할 수 있다.
일 실시 예에 따른 프로세서(130)는 제 1 모니터링 정보의 판단 정보에 따른 저작 행태일 때 제 2 모니터링 정보에 대응한 센서에 의해 측정된 음성 신호의 지속 시간을 계산하여 지속 시간이 기설정된 임계치를 초과하면 저작 중 대화로 판단하고, 판단 결과를 사용자의 저작 습관으로 기록하거나 기록된 저작 습관을 사용자의 보호자에게 알릴 수 있다. 제 1 모니터링 정보가 사용자의 저작 행태를 지시할 때 제 2 모니터링 정보의 센서에 의해 측정된 음성 신호의 지속 시간은 프로세서(130)가 저작 중 대화를 판단하는 지표로 사용될 수 있다.
일 실시 예에 따른 프로세서(130)가 사용자의 저작 습관으로 삼킴 전에 충분한 저작이 이루어지는지, 저작 소음이 기설정된 임계치를 초과하는지, 저작 중 대화임을 출력할 수 있고, 이러한 저작 습관은 환자가 건강한 식습관을 영위하는지를 간접적으로 나타낼 수 있다.
일 실시 예에 따른 프로세서(130)는 제 1 모니터링 정보와 제 2 모니터링 정보에 대응한 판단 정보에 기반하여 사용자의 하루에 식사하는 횟수, 식사 시간 및 식사량을 모니터링하여 사용자의 보호자에게 알릴 수 있다. 앞서 식사 속도 계산에 대해 기술한 바와 유사한 방법을 사용해서 프로세서(130)는 저작이 시작된 시점과 삼킴 끝난 시점에 대응한 시간 기록에 기반하여 하루에 식사하는 횟수, 식사 시간 및 식사량을 모니터링할 수 있다. 이때, 프로세서(130)의 모니터링에는 시간 기록에 기반한 패턴 분석이 사용될 수 있다. 예를 들어, 하루에 식사하는 횟수는 하루 동안 시간 기록의 횟수를 계산함에 의해 얻어지고, 식사 시간은 시간 기록의 구간을 계산함에 의해 얻어지고, 식사량은 시간 기록의 횟수에 비례하는 음식물 섭취량을 계산함에 의해 얻어질 수 있다. 또한, 프로세서(130)가 모니터링을 통해 획득된 하루에 식사하는 횟수, 식사 시간 및 식사량에 대한 모니터링 정보에 기반하여 식사 빈도가 너무 낮은 사용자에 대해 보호자 알림을 처리할 수 있다.
도 3은 일 실시 예에 따른 제 1 모니터링 디바이스(110) 및 제 2 모니터링 디바이스(120)의 구성을 도시한 블록도이다.
도 3을 참조하면, 제 2 모니터링 디바이스(120)는 리시버(340), 복수의 센서(350), 프로세서(130), 전기 자극부(310), 디스플레이(320) 및 알림부(330)를 포함할 수 있다.
그러나 도 3에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 제 2 모니터링 디바이스(120)에 더 포함될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 예를 들면, 제 2 모니터링 디바이스(120)는 메모리 등을 더 포함할 수 있다. 또는 다른 실시 예에 따를 경우, 도 3에 도시된 구성요소들 중 일부 구성요소는 생략될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
일 실시 예에 따른 디스플레이(320)는 획득되는 정보 또는 획득된 정보의 처리 결과 등을 디스플레이할 수 있다.
예를 들면, 디스플레이(320)는 제 1 모니터링 디바이스(110)로부터 획득되는 제 1 모니터링 정보 및 제 2 모니터링 디바이스((120)로부터 획득되는 제 2 모니터링 정보를 디스플레이할 수 있다.
다른 예로, 디스플레이(320)는 제 1 모니터링 디바이스(110)로부터 획득한 제 1 모니터링 정보 및 제 2 모니터링 디바이스로(120)부터 획득한 제 2 모니터링 정보를 이용하여 결정된 사용자의 삼킴 상황을 디스플레이할 수 있다. 예를 들면, 1)삼킴 도입 단계, 2)삼킴 어려움 단계 3과 같은 정보가 디스플레이될 수 있다.
일 실시 예에 따른 전기 자극부(310)는 삼킴 상황에 따라 사용자에게 전기 자극을 인가할 수 있다. 예를 들면, 사용자가 음식물을 삼키는데 어려움이 크다고 결정된 경우, 전기 자극부(310)는 프로세서(130)의 제어에 따라 전기를 출력할 수 있다. 전기 자극부(310)가 출력하는 출력의 강도는 기설정될 수 있다. 예를 들면, 전기 자극부(310)가 출력하는 출력의 강도는 특정 값으로 일정할 수도 있고, 삼킴 상황에 따라 복수개의 값들 중 하나로 결정될 수도 있다.
도면에는 전기 자극부(310)가 도시되어 있으나, 그 외의 자극도 제공될 수 있다. 예를 들면, 진동 자극, 소리 자극 등도 제공될 수 있다.
일 실시 예에 따른 알림부(330)는 사용자에게 기설정된 방식으로 알림을 제공할 수 있다. 예를 들면, 알림부(330)는 진동, 소리, 메시지 등의 방식으로 알림을 제공할 수 있다.
*예를 들면, 알림부(330)는 제 1 모니터링 정보 및 제 2 모니터링 정보를 이용하여 사용자가 입을 연 채로 식사하는 경우 알림을 제공할 수 있다.
다른 예로, 알림부(330)는 삼킴이 발생하기 전에 수행되는 저작 횟수가 기설정값보다 작으면 알림을 제공할 수 있다.
다른 예로, 알림부(330)는 제 1 모니터링 정보 및 제 2 모니터링 정보를 이용하여 사용자가 식사 중 기설정 크기 이상의 소리를 내는 경우, 알림을 제공할 수 있다.
일 실시 예에 따른 리시버(340)는 사용자의 저작 행태를 영상 처리 방식을 이용하여 모니터링하는 제 1 모니터링 디바이스(110)로부터 저작 행태를 나타내는 제 1 모니터링 정보를 수신할 수 있다.
일 실시 예에 따른 복수의 센서(350)는 초음파 센서, 가속도 센서, 지자기 센서, 자이로 센서 및 음성 센서 등을 포함할 수 있으나 이에 제한되지 않는다.
도 3에 도시된 제 2 모니터링 디바이스(120)는 식사 모니터링 장치로 동작할 수 있으며, 이 경우, 식사 모니터링 장치는 제 1 모니터링 디바이스(110)로부터 수신되는 정보 및 센싱되는 정보를 이용하여 삼킴 상황을 결정할 수 있다.
일 실시 예로, 제 1 모니터링 디바이스(100)와 제 2 모니터링 디바이스(120)를 포함하는 식사 모니터링 시스템은 사용자의 안면 부위에 장착되며 턱 저작 근육의 근전도 신호를 감지해서 저작 행태를 모니터링하는 제 3 모니터링 디바이스(미도시)를 더 포함할 수 있고, 이러한 일예의 경우, 프로세서(130)는 제 3 모니터링 디바이스로부터 근전도 신호를 수신하여 제 1 모니터링 디바이스(110)의 저작 행태를 보완할 수 있다. 여기서, 근전도 신호는 안면 부위에 부착되는 근전도 센서에 의해 감지될 수 있다.
또한, 일 실시 예로, 식사 모니터링 시스템은 사용자의 턱 부위에 장착되며 가속도 센서, 자이로 센서, 지자기 센서 중 어느 하나 이상을 포함해서 턱의 움직임을 감지하는 제 3 모니터링 디바이스를 더 포함할 수 있고, 이러한 일예의 경우, 프로세서(130)는 제 3 모니터링 디바이스로부터 턱의 움직임 감지 정보를 수신하여 제 1 모니터링 디바이스(110)의 저작 행태를 보완할 수 있다. 이때, 제 3 모니터링 디바이스에는 가속도 센서와 자이로 센서가 통합된 관성측정 센서가 포함될 수도 있다.
도 4는 일 실시 예에 따라 유무선 통신 방식으로 구현되는 식사 모니터링 시스템(100)을 도시한 도면이다.
도 4를 참조하면, 식사 모니터링 시스템(100)은 제 1 모니터링 디바이스(110), 제 2 모니터링 디바이스(120), 통신 디바이스(410), 연산 디바이스(420), 데이터 베이스(430), 출력 디바이스(440)를 포함할 수 있다.
그러나 도 4에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 식사 모니터링 시스템(100)에 더 포함될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있고, 다른 실시 예에 따를 경우, 도 4에 도시된 구성요소들 중 일부 구성요소는 생략될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
일 실시 예에 따른 통신 디바이스(410)는 유선 또는 무선 방식으로 제 1 모니터링 디바이스(110) 또는 제 2 모니터링 디바이스(120)와 연산 디바이스(420) 사이의 통신을 수행할 수 있다. 연산 디바이스(420)는 상술된 프로세서(130)를 포함할 수 있으며, 제 1 모니터링 디바이스(110)로부터 수신된 제 1 모니터링 정보 및 제 2 모니터링 디바이스(120)로부터 수신된 제 2 모니터링 정보를 처리할 수 있다.
일 실시 예에 따른 데이터 베이스(430)는 연산 디바이스(420)로부터 수신된 정보를 저장, 관리할 수 있다. 예를 들면, 데이터 베이스(430)는 특정 사용자의 삼킴과 관련된 히스토리 정보를 저장하고 있을 수 있다.
일 실시 예에 따른 출력 디바이스(440)는 연산 디바이스(420)의 제어에 따라 각종 출력을 제공할 수 있다. 예를 들면, 출력 디바이스(440)는 전기 자극부(310), 디스플레이(320), 알림부(330) 등을 포함할 수 있다.
도 5는 일 실시 예에 따라 제 1 모니터링 디바이스(110)가 동작하는 일 예를 나타내는 도면이다.
일 실시 예에 따른 제 1 모니터링 디바이스(110)는 사용자의 저작 행태를 영상 처리 방식을 이용하여 모니터링할 수 있다. 일 예로, 제 1 모니터링 디바이스(110)는 사용자의 입을 포함하는 이미지를 획득하고, 획득한 이미지를 이용하여 입의 모양 또는 턱의 위치 등을 모니터링하고, 모니터링 결과를 프로세서(130)로 전송할 수 있다.
제 1 모니터링 디바이스(110)는 사용자의 입의 위치를 인식하고 입술 상의 점들을 연결시킨 형상의 움직임을 통해 입의 움직임을 모니터링할 수 있다.
일 실시 예에 따른 제 1 모니터링 디바이스(110)는 사용자의 안면 이미지를 획득하고, 안면 이미지를 이용하여 사용자의 안면 근육을 모니터링하고, 모니터링 결과를 프로세서(130)로 전송할 수 있다.
도 6은 일 실시 예에 따라 스마트폰이 제 1 모니터링 디바이스(110)로 이용되는 일 예를 나타내는 도면이다.
제 1 모니터링 디바이스(110)는 카메라 등 이미지를 획득할 수 있는 디바이스가 이용될 수 있다. 예를 들면 제 1 모니터링 디바이스(110)로 스마트폰이 이용될 수 있다. 스마트폰에서 특정 애플리케이션이 구동될 경우, 스마트폰이 제 1 모니터링 디바이스(110)로 동작할 수 있기 때문에, 사용자는 제 2 모니터링 디바이스(120)와 스마트폰만으로 식사 모니터링 시스템(100)을 이용할 수 있다.
도 7은 일 실시 예에 따라 식사 모니터링 시스템(100)이 동작하는 방법을 나타내는 흐름도이다.
단계 S710에서 일 실시 예에 따른 식사 모니터링 시스템(100)은 사용자의 저작 행태를 영상 처리 방식을 이용한 모니터링을 수행하여 제 1 모니터링 정보를 획득한다.
일 예로, 식사 모니터링 시스템(100)은 사용자의 입을 포함하는 이미지를 획득하고, 획득한 이미지를 이용하여 입의 모양 또는 턱의 위치 등을 모니터링할 수 있다.
또한, 식사 모니터링 시스템(100)은 사용자의 안면 이미지를 획득하고, 안면 이미지를 이용하여 사용자의 안면 근육을 모니터링할 수 있다.
단계 S720에서 일 실시 예에 따른 식사 모니터링 시스템(100)은 사용자의 삼킴 운동을 복수의 센서를 이용한 모니터링을 수행하여 제 2 모니터링 정보를 획득한다.
식사 모니터링 시스템(100)은 사용자의 삼킴 운동을 복수의 센서를 이용하여 모니터링할 수 있다. 복수의 센서는 초음파 센서, 가속도 센서, 지자기 센서, 자이로 센서 및 음성 센서 중 적어도 하나를 포함할 수 있다.
단계 S730에서 일 실시 예에 따른 식사 모니터링 시스템(100)은 제 1 모니터링 정보 및 제 2 모니터링 정보를 이용하여 사용자의 삼킴 상황을 결정한다.
삼킴 상황은 사용자가 음식물을 삼키는 상황을 나타낼 수 있다. 예를 들면, 사용자가 음식물을 삼키는데 어려움을 느끼는 정도를 나타낼 수 있다. 다른 예로, 삼킴 상황은 사용자가 음식물을 삼키는 전체 과정 중 현재 어떤 과정에 있는지 나타낼 수 있다.
한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 램, USB, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
본 실시 예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (20)

  1. 사용자의 저작 행태를 영상 처리 방식을 이용하여 모니터링하는 제 1 모니터링 디바이스;
    상기 사용자의 삼킴 운동을 복수의 센서를 이용하여 모니터링하는 제 2 모니터링 디바이스; 및
    상기 제 1 모니터링 디바이스로부터 수신한 제 1 모니터링 정보 및 상기 제 2 모니터링 디바이스로부터 수신한 제 2 모니터링 정보를 이용하여 상기 사용자의 삼킴 상황을 결정하는 프로세서;를 포함하고,
    상기 복수의 센서는 초음파 센서, 가속도 센서, 지자기 센서, 자이로 센서 및 음성 센서 중 적어도 하나를 포함하는, 식사 모니터링 시스템.
  2. 제 1 항에 있어서,
    상기 제 1 모니터링 디바이스는 상기 사용자의 입을 포함하는 이미지를 획득하고, 상기 이미지를 이용하여 상기 입의 모양을 모니터링하고, 상기 모니터링 결과를 상기 프로세서로 전송하는, 식사 모니터링 시스템.
  3. 제 1 항에 있어서,
    상기 제 1 모니터링 디바이스로부터 획득되는 제 1 모니터링 정보 및 상기 제 2 모니터링 디바이스로부터 획득되는 제 2 모니터링 정보를 디스플레이하는 디스플레이를 더 포함하는, 식사 모니터링 시스템.
  4. 제 1 항에 있어서,
    상기 삼킴 상황은 상기 사용자가 음식물을 삼키는데 어려움을 느끼는 정도를 나타내는, 식사 모니터링 시스템.
  5. 제 1 항에 있어서,
    상기 삼킴 상황에 따라 전기 자극을 가하는 전기 자극부를 더 포함하는, 식사 모니터링 시스템.
  6. 제 1 항에 있어서,
    상기 프로세서는
    상기 초음파 센서로부터 획득된 정보에서 상기 사용자의 비삼킴 동작에 의한 노이즈를 필터링하여 상기 삼킴 상황을 결정하고,
    상기 비삼킴 동작은 상기 가속도 센서, 상기 지자기 센서, 상기 자이로 센서 및 상기 음성 센서로부터 센싱되고,
    상기 비삼킴 동작은 기침을 포함하는, 식사 모니터링 시스템.
  7. 제 1 항에 있어서,
    상기 제 1 모니터링 디바이스는 상기 사용자의 안면 이미지를 획득하고, 상기 안면 이미지를 이용하여 상기 사용자의 안면 근육을 모니터링하고, 상기 모니터링 결과를 상기 프로세서로 전송하는, 식사 모니터링 시스템.
  8. 제 1 항에 있어서,
    상기 사용자에게 알림을 제공하는 알림부를 더 포함하고,
    상기 알림부는 상기 제 1 모니터링 정보 및 상기 제 2 모니터링 정보를 이용하여 상기 사용자가 입을 연 채로 식사하는 경우 알림을 제공하는, 식사 모니터링 시스템.
  9. 제 1 항에 있어서,
    상기 사용자에게 알림을 제공하는 알림부를 더 포함하고,
    상기 알림부는 상기 제 1 모니터링 정보 및 상기 제 2 모니터링 정보를 이용하여 상기 사용자가 식사 중 기설정 크기 이상의 소리를 내는 경우, 알림을 제공하는, 식사 모니터링 시스템.
  10. 제 1 항에 있어서,
    상기 프로세서는 상기 제 1 모니터링 정보의 저작 행태에 기반하여 저작 중인지 판단하고, 상기 제 2 모니터링 정보의 삼킴 운동에 기반하여 삼킴 중인지 판단하고, 판단 정보에 따라 상기 사용자가 음식물을 저작하기 시작해서 삼킬 때까지의 시간을 계산하여 상기 사용자의 식사 속도를 계산하는, 식사 모니터링 시스템.
  11. 제 10 항에 있어서,
    상기 프로세서는 상기 제 1 모니터링 정보의 판단 정보에 따른 저작 행태일 때 상기 제 2 모니터링 정보에 대응한 센서에 의해 측정된 저작 소음이 기설정된 범위 내에 속하면 저작 소음의 지속 시간을 계산하여 상기 지속 시간이 기설정된 임계치를 초과하는지를 판단하고, 판단 결과에 따라 삼킴 전에 충분한 저작이 이루어지는지를 상기 사용자의 저작 습관으로 기록하거나 기록된 저작 습관을 상기 사용자의 보호자에게 알리는, 식사 모니터링 시스템.
  12. 제 10 항에 있어서,
    상기 프로세서는 상기 제 1 모니터링 정보의 판단 정보에 따른 저작 행태일 때 상기 제 2 모니터링 정보에 대응한 센서에 의해 측정된 저작 소음이 기설정된 임계치를 초과하면 초과된 정보를 상기 사용자의 저작 습관으로 기록하거나 기록된 저작 습관을 상기 사용자의 보호자에게 알리는, 식사 모니터링 시스템.
  13. 제 12 항에 있어서,
    상기 프로세서는 상기 센서의 저작 소음에 혼입될 수 있는 음성 소음을 필터링하여 필터링된 저작 소음에 기반한 상기 사용자의 저작 습관을 기록하는, 식사 모니터링 시스템.
  14. 제 10 항에 있어서,
    상기 프로세서는 상기 제 1 모니터링 정보의 판단 정보에 따른 저작 행태일 때 상기 제 2 모니터링 정보에 대응한 센서에 의해 측정된 음성 신호의 지속 시간을 계산하여 상기 지속 시간이 기설정된 임계치를 초과하면 저작 중 대화로 판단하고, 판단 결과를 상기 사용자의 저작 습관으로 기록하거나 기록된 저작 습관을 상기 사용자의 보호자에게 알리는, 식사 모니터링 시스템.
  15. 제 10 항에 있어서,
    상기 프로세서는 상기 제 1 모니터링 정보와 상기 제 2 모니터링 정보에 대응한 상기 판단 정보에 기반하여 상기 사용자의 하루에 식사하는 횟수, 식사 시간 및 식사량을 모니터링하여 상기 사용자의 보호자에게 알리는, 식사 모니터링 시스템.
  16. 제 1 항에 있어서,
    상기 사용자의 안면 부위에 장착되며 턱 저작 근육의 근전도 신호를 감지해서 저작 행태를 모니터링하는 제 3 모니터링 디바이스를 더 포함하고,
    상기 프로세서는 상기 제 3 모니터링 디바이스로부터 상기 근전도 신호를 수신하여 상기 제 1 모니터링 디바이스의 저작 행태를 보완하는, 식사 모니터링 시스템.
  17. 제 1 항에 있어서,
    상기 사용자의 턱 부위에 장착되며 가속도 센서, 자이로 센서 및 지자기 센서 중 어느 하나 이상을 포함해서 턱의 움직임을 감지하는 제 3 모니터링 디바이스를 더 포함하고, 상기 프로세서는 상기 제 3 모니터링 디바이스로부터 상기 턱의 움직임 감지 정보를 수신하여 상기 제 1 모니터링 디바이스의 저작 행태를 보완하는, 식사 모니터링 시스템.
  18. 사용자의 저작 행태를 영상 처리 방식을 이용하여 모니터링하는 제 1 모니터링 디바이스로부터 상기 저작 행태를 나타내는 제 1 모니터링 정보를 수신하는 리시버;
    상기 사용자의 삼킴 운동을 모니터링하는 복수의 센서; 및
    상기 제 1 모니터링 정보 및 상기 복수의 센서로부터 수신한 제 2 모니터링 정보를 이용하여 상기 사용자의 삼킴 상황을 결정하는 프로세서; 를 포함하고,
    상기 복수의 센서는 초음파 센서, 가속도 센서, 지자기 센서, 자이로 센서 및 음성 센서 중 적어도 하나를 포함하는, 식사 모니터링 장치
  19. 사용자의 저작 행태를 영상 처리 방식을 이용한 모니터링을 수행하여 제 1 모니터링 정보를 획득하는 단계;
    상기 사용자의 삼킴 운동을 복수의 센서를 이용한 모니터링을 수행하여 제 2 모니터링 정보를 획득하는 단계; 및
    상기 제 1 모니터링 정보 및 상기 제 2 모니터링 정보를 이용하여 상기 사용자의 삼킴 상황을 결정하는 단계;를 포함하고,
    상기 복수의 센서는 초음파 센서, 가속도 센서, 지자기 센서, 자이로 센서 및 음성 센서 중 적어도 하나를 포함하는, 식사 모니터링 방법.
  20. 제19항의 방법을 구현하기 위하여 기록매체에 저장된 컴퓨터 프로그램.
PCT/KR2020/008887 2019-07-17 2020-07-08 식사 모니터링 방법, 장치 및 시스템 WO2021010645A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190086606A KR102263535B1 (ko) 2019-07-17 2019-07-17 식사 모니터링 방법, 장치 및 시스템
KR10-2019-0086606 2019-07-17

Publications (1)

Publication Number Publication Date
WO2021010645A1 true WO2021010645A1 (ko) 2021-01-21

Family

ID=74211083

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/008887 WO2021010645A1 (ko) 2019-07-17 2020-07-08 식사 모니터링 방법, 장치 및 시스템

Country Status (2)

Country Link
KR (1) KR102263535B1 (ko)
WO (1) WO2021010645A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116202606A (zh) * 2023-02-23 2023-06-02 浙江大学 一种人体体重监测系统及方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102489418B1 (ko) * 2021-03-22 2023-01-19 유에프유헬스 주식회사 웨어러블 디바이스를 이용한 헬스케어 데이터 제공 시스템 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004242902A (ja) * 2003-02-14 2004-09-02 Masafumi Matsumura 咀嚼回数検出装置及びそのプログラム
KR20130015490A (ko) * 2011-08-03 2013-02-14 포항공과대학교 산학협력단 삼킴 장애 측정 및 치료 장치
KR20160023345A (ko) * 2014-08-22 2016-03-03 포항공과대학교 산학협력단 삼킴 횟수 측정 시스템 및 그 방법
KR20180048234A (ko) * 2016-10-29 2018-05-10 김성진 저작 감지 시스템 및 제공 방법
JP2019509094A (ja) * 2016-02-18 2019-04-04 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 被験者の嚥下障害の検出および監視のための装置、システムおよび方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101793816B1 (ko) 2016-02-29 2017-11-06 건양대학교산학협력단 연하장애 진단보조를 위한 모니터링 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004242902A (ja) * 2003-02-14 2004-09-02 Masafumi Matsumura 咀嚼回数検出装置及びそのプログラム
KR20130015490A (ko) * 2011-08-03 2013-02-14 포항공과대학교 산학협력단 삼킴 장애 측정 및 치료 장치
KR20160023345A (ko) * 2014-08-22 2016-03-03 포항공과대학교 산학협력단 삼킴 횟수 측정 시스템 및 그 방법
JP2019509094A (ja) * 2016-02-18 2019-04-04 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 被験者の嚥下障害の検出および監視のための装置、システムおよび方法
KR20180048234A (ko) * 2016-10-29 2018-05-10 김성진 저작 감지 시스템 및 제공 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116202606A (zh) * 2023-02-23 2023-06-02 浙江大学 一种人体体重监测系统及方法
CN116202606B (zh) * 2023-02-23 2023-07-21 浙江大学 一种人体体重监测系统及方法

Also Published As

Publication number Publication date
KR20210009708A (ko) 2021-01-27
KR102263535B1 (ko) 2021-06-11

Similar Documents

Publication Publication Date Title
WO2021010645A1 (ko) 식사 모니터링 방법, 장치 및 시스템
EP0444594B1 (en) Method and apparatus for detecting and analyzing the swallowing activity in a subject
US20070299362A1 (en) Stimulus-evoked vestibular evaluation system, method and apparatus
WO2013019069A2 (ko) 삼킴 장애 측정 및 치료 장치
KR20130130803A (ko) 발작 검출 및 모니터링을 위한 건식 센서 ｅｅｇ/ｅｍｇ 및 모션 감지 시스템
CN102481121A (zh) 意识监测
WO2019013456A1 (ko) 동영상 기반 발작 추적감시 방법 및 장치
WO2015076462A1 (ko) 생체 신호를 측정하는 방법 및 장치
JP2009523517A (ja) 眼刺激及び身体反応検出用のデバイス
WO2019182273A1 (ko) 수면 무호흡 중증도 검사 장치
JP6285002B1 (ja) 顎関節症等歯科疾患治療のためのシステム及びプログラム
KR20150066563A (ko) 수면 상태 분석을 위한 모니터링 장치
JP2019047859A (ja) 治療検査システム、該治療検査システムの作動方法、治療検査プログラム、及び、記憶媒体
EP2108313B1 (en) Improved apparatus for determining dysphagia
EP1174081A2 (en) Method and system having simplified neuromuscular transmission scoring
WO2020235820A1 (ko) 음식물 섭취량 계산 방법 및 그 장치
EP3813642B1 (en) Monitoring swallowing in a subject
RU172813U1 (ru) Устройство мониторирования кашля
CN107811622A (zh) 一种无人监考系统
US20220386953A1 (en) Impairement screening system and method
WO2017200132A1 (ko) 수면성 호흡장애 진단장치 및 방법
JP2022074671A (ja) 咀嚼指導システム、咀嚼指導プログラム、及び咀嚼指導方法
JP2020014611A (ja) 心因性非てんかん発作検出装置及び方法
US20230397877A1 (en) Swallowing capture and remote analysis systems including motion capture
KR20160052995A (ko) 교합이상 진단시스템 및 그 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20840016

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20840016

Country of ref document: EP

Kind code of ref document: A1