WO2018198312A1 - 就寝異常通知システム、就寝異常通知方法、およびプログラム - Google Patents

就寝異常通知システム、就寝異常通知方法、およびプログラム Download PDF

Info

Publication number
WO2018198312A1
WO2018198312A1 PCT/JP2017/016934 JP2017016934W WO2018198312A1 WO 2018198312 A1 WO2018198312 A1 WO 2018198312A1 JP 2017016934 W JP2017016934 W JP 2017016934W WO 2018198312 A1 WO2018198312 A1 WO 2018198312A1
Authority
WO
WIPO (PCT)
Prior art keywords
sleeping
person
abnormality
image
mobile terminal
Prior art date
Application number
PCT/JP2017/016934
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Priority to US16/608,953 priority Critical patent/US20200323485A1/en
Priority to PCT/JP2017/016934 priority patent/WO2018198312A1/ja
Priority to CN201780092542.8A priority patent/CN110799090A/zh
Priority to JP2019515020A priority patent/JPWO2018198312A1/ja
Publication of WO2018198312A1 publication Critical patent/WO2018198312A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
    • A61B5/0013—Medical image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4818—Sleep apnoea
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis

Definitions

  • the present invention is a notification destination in a bedtime abnormality notification system that obtains an image of a person sleeping and performs image analysis, detects whether or not a bedtime abnormality is detected, and notifies the abnormality when a bedtime abnormality is detected.
  • the present invention relates to a bedtime abnormality notification system, a bedtime abnormality notification method, and a program that can appropriately notify a bedtime abnormality even when a guardian is not in the vicinity of a person.
  • Patent Document 1 As a system for notifying bedtime abnormalities, a system has been proposed to notify surrounding parents with sound or light when there is a bedtime abnormality such as lying down on a sleeping person such as a hospital patient, elderly person, or infant.
  • Patent Document 1 has a problem that even if notification by sound or light is performed, it cannot be noticed if the guardian is not around the notification means.
  • a sleeping abnormality notification system that acquires an image of a person sleeping and performs image analysis to detect whether or not a sleeping abnormality is detected, and notifies the abnormality when a sleeping abnormality is detected. Therefore, it is an object of the present invention to provide a bedtime abnormality notification system, a bedtime abnormality notification method, and a program capable of appropriately notifying a bedtime abnormality even when a guardian who is a notification destination is not in the vicinity of the person.
  • the present invention provides the following solutions.
  • the invention according to the first feature is Image acquisition means for acquiring a sleeping image of a person sleeping; Image analysis means for image analysis of the acquired sleeping image; As a result of the image analysis, a bedtime abnormality detecting means for detecting whether the person has a bedtime abnormality; Accepting means for accepting registration of the mobile terminal of the person's guardian; Position acquisition means for acquiring the position of the registered mobile terminal; Determination means for determining whether or not the acquired position is within a predetermined range from the position of the person; A notification means for notifying a sleeping abnormality to the guardian's mobile terminal when it is detected that the sleeping abnormality is detected and not within the predetermined range; A sleep abnormality notification system is provided.
  • an image acquisition unit that acquires a sleeping image of a person sleeping
  • an image analysis unit that performs image analysis of the acquired sleeping image
  • the image analysis As a result, a bedtime abnormality detecting unit that detects whether or not the person has a bedtime abnormality, a reception unit that receives registration of a mobile terminal of a guardian of the person, and a position acquisition unit that acquires a position of the registered mobile terminal
  • Determining means for determining whether or not the acquired position is within a predetermined range from the position of the person; and if it is detected that the sleeping abnormality is detected, and is determined not to be within the predetermined range.
  • a notification means for notifying the guardian's mobile terminal of a sleeping abnormality.
  • the invention according to the first feature is a category of a bedtime abnormality notification system, but the same effects and effects are exhibited even with a bedtime abnormality notification method and program.
  • the invention according to the second feature is a bedtime abnormality notification system which is the invention according to the first feature,
  • the image acquisition means provides a bedtime abnormality notification system, wherein the bedtime image is acquired from a camera installed horizontally from both sides of the place where the person is sleeping.
  • the image acquisition means is installed horizontally from both sides of the place where the person is sleeping.
  • the sleeping image is acquired from the camera.
  • the invention according to the third feature is a bedtime abnormality notification system which is the invention according to the first feature or the second feature,
  • the image analysis means provides a bedtime abnormality notification system characterized by performing machine learning using a bedtime image acquired in the past as teacher data and customizing the image to suit the person and analyzing the image.
  • the image analysis means uses machine learning as a teacher data on a bedtime image acquired in the past The image is customized to suit the person and analyzed.
  • the invention according to the fourth feature is a bedtime abnormality notification system according to any one of the first feature to the third feature,
  • the bedtime abnormality detecting means provides a bedtime abnormality notification system that performs machine learning using past image analysis results as teacher data and customizes it to suit the person to detect a bedtime abnormality.
  • the sleep abnormality detection means uses the results of past image analysis as teacher data. Then, machine learning is performed, and it is customized so as to be adapted to the person, and a bedtime abnormality is detected.
  • the invention according to the fifth feature is a bedtime abnormality notification system according to any one of the first feature to the fourth feature,
  • the bedtime abnormality detecting means provides a bedtime abnormality notification system which detects a bedtime abnormality by determining whether or not the person's nose and mouth are simultaneously closed as a result of the image analysis.
  • the bedtime abnormality detection means is configured to detect the person as a result of the image analysis. Abnormal sleeping is detected by determining whether the nose and mouth are closed simultaneously.
  • the invention according to a sixth feature is a bedtime abnormality notification system according to any one of the first feature to the fifth feature,
  • the bedtime abnormality detecting means provides a bedtime abnormality notification system, wherein, as a result of the image analysis, when the person does not perform any action within a predetermined time and no movement is detected, a bedtime abnormality detection system is provided. To do.
  • the bedtime abnormality detection means is configured to detect the person as a result of the image analysis. An abnormal sleep is detected when no action is performed within a predetermined time and no movement is observed.
  • the invention according to the seventh feature is a bedtime abnormality notification system according to any one of the first feature to the sixth feature,
  • the bedtime abnormality detecting means detects machine abnormalities by performing machine learning using teacher data to indicate that the person is abnormal when the person does not perform any action within a predetermined time and no movement is observed. Provide a bedtime abnormality notification system.
  • the bedtime abnormality detection means is configured so that the person does not detect any person within a predetermined time. When no motion is performed and no movement is observed, machine learning is performed using the teacher data as abnormal, and a bedtime abnormality is detected.
  • the invention according to the eighth feature is a bedtime abnormality notification system according to any one of the first feature to the seventh feature,
  • the notification means notifies the guardian around the person with a warning sound or a warning light when it is detected that the sleeping abnormality is detected and is determined to be within the predetermined range.
  • the present invention provides a bedtime abnormality notification system.
  • the notification means when the notification means is detected as the sleeping abnormality, And when it determines with it being in the said predetermined range, it notifies with the warning sound or warning light toward the guardian who exists around the said person.
  • the invention according to the ninth feature is a bedtime abnormality notification system according to any one of the first feature to the eighth feature,
  • the notification means notifies the guardian who is around the person with a warning sound or a warning light when the sleep abnormality is detected and the position of the mobile terminal cannot be acquired.
  • a sleep anomaly notification system characterized by performing an operation registered in advance in the sleep anomaly detection system is provided.
  • the notification means when the notification means is detected as the bedtime abnormality, In addition, when the position of the mobile terminal cannot be obtained, a warning sound or warning light is notified to a guardian around the person, or an operation registered in the bedtime abnormality detection system in advance is performed. .
  • the invention according to the tenth feature is A method of notifying abnormal sleeping; Acquiring a sleeping image of a person sleeping; Image analysis of the acquired sleeping image; As a result of the image analysis, detecting whether the person has a bedtime abnormality; Receiving registration of the mobile terminal of the person's guardian; Obtaining a position of the registered mobile terminal; Determining whether the acquired position is within a predetermined range from the position of the person; Notifying the guardian's mobile terminal of the abnormal sleeping when it is detected that the abnormal sleeping is determined and not within the predetermined range; A method for notifying abnormal sleeping is provided.
  • the invention according to the eleventh feature provides a bedtime abnormality notification system, Obtaining a sleeping image of a person sleeping; Image analysis of the acquired sleeping image; As a result of the image analysis, detecting whether the person has a bedtime abnormality, Accepting registration of the person's guardian's mobile terminal; Obtaining a position of the registered mobile terminal; Determining whether the acquired position is within a predetermined range from the position of the person; A step of notifying the guardian's mobile terminal of the abnormal sleeping when it is detected that the abnormal sleeping is detected and not within the predetermined range; Provide a program to execute.
  • a sleeping abnormality notification system that acquires an image of a person sleeping and performs image analysis, detects whether or not a sleeping abnormality is detected, and notifies the abnormality when a sleeping abnormality is detected, It is possible to provide a bedtime abnormality notification system, a bedtime abnormality notification method, and a program that can appropriately notify a bedtime abnormality even when the guardian who is to be in the vicinity is not around the person.
  • FIG. 1 is a schematic diagram of a preferred embodiment of the present invention.
  • FIG. 2 is a diagram illustrating the functional blocks of the camera 100, the computer 200, and the mobile terminal 300, and the relationship between the functions.
  • FIG. 3 is a flowchart in the case where the image captured by the camera 100 is subjected to image analysis processing by the computer 200 and the sleeping abnormality is notified to the mobile terminal 300.
  • FIG. 4 is a diagram illustrating the functional blocks of the camera 100, the computer 200, the mobile terminal 300, and the alarm device 500, and the relationship between the functions.
  • FIG. 5 is a flowchart of the computer 200 and the alarm device 500 when a sleeping abnormality is detected and the mobile terminal 300 is within a predetermined range. (Process A)
  • FIG. 1 is a schematic diagram of a preferred embodiment of the present invention.
  • FIG. 2 is a diagram illustrating the functional blocks of the camera 100, the computer 200, and the mobile terminal 300, and the relationship between the functions.
  • FIG. 3 is a
  • FIG. 6 is a flowchart of the computer 200 and the alarm device 500 when a sleeping abnormality is detected and the location information of the mobile terminal 300 cannot be acquired.
  • FIG. 7 is a flowchart in the case where the computer 200 performs machine learning for performing image analysis of a bedtime abnormality.
  • FIG. 8 is a schematic diagram illustrating an example of a case where the guardian 700 who owns the mobile terminal 300 is not within a predetermined range when a bedtime abnormality is detected.
  • FIG. 9 is a schematic diagram illustrating an example of a case where the guardian 700 who owns the mobile terminal 300 is within a predetermined range when a bedtime abnormality is detected.
  • FIG. 10 is a schematic diagram illustrating an example of a case where the position information of the mobile terminal 300 cannot be acquired when a bedtime abnormality is detected.
  • FIG. 1 is a schematic diagram of a preferred embodiment of the present invention. The outline of the present invention will be described with reference to FIG.
  • the sleeping abnormality notification system includes a camera 100, a computer 200, a mobile terminal 300, and a communication network 400.
  • the number of cameras 100 is not limited to one and may be plural.
  • the computer 200 is not limited to a real device, and may be a virtual device.
  • the camera 100 includes an imaging unit 10, a control unit 110, and a communication unit 120 as shown in FIG.
  • the computer 200 includes a control unit 210, a communication unit 220, a storage unit 230, and an input / output unit 240.
  • the control unit 210 implements an image analysis module 211, a sleeping abnormality detection module 212, and a determination module 213 in cooperation with the storage unit 230.
  • the communication unit 220 implements an image acquisition module 221, a reception module 222, a position acquisition module 223, and a notification module 224 in cooperation with the control unit 210 and the storage unit 230.
  • the mobile terminal 300 includes a location information acquisition unit 30, a control unit 310, and a communication unit 320.
  • the communication network 400 may be a public communication network such as the Internet or a dedicated communication network, and enables communication between the camera 100, the computer 200, and the mobile terminal 300.
  • the camera 100 is an image pickup apparatus including an image pickup device such as an image pickup element or a lens capable of data communication with the computer 200.
  • an image pickup device such as an image pickup element or a lens capable of data communication with the computer 200.
  • a WEB camera is illustrated as an example, but an imaging apparatus having necessary functions such as a digital camera, a digital video, a camera mounted on an unmanned aircraft, a wearable device camera, a security camera, an in-vehicle camera, and a 360-degree camera It may be.
  • the computer 200 is a computing device capable of data communication with the camera 100.
  • a desktop computer is illustrated as an example, but in addition to a mobile phone, a portable information terminal, a tablet terminal, a personal computer, electrical appliances such as a netbook terminal, a slate terminal, an electronic book terminal, and a portable music player Or a wearable terminal such as a smart glass or a head-mounted display.
  • the mobile terminal 300 is a terminal device possessed by a user who uses the bedtime abnormality notification system.
  • a guardian 700 of a person 600 who takes a bedtime image is assumed.
  • a smartphone is illustrated as an example, but in addition to a mobile phone, a portable information terminal, a tablet terminal, a personal computer, an electronic product such as a netbook terminal, a slate terminal, an electronic book terminal, a portable music player, or a smart phone It may be a wearable terminal such as a glass or a head mounted display.
  • the camera 100 is installed in the horizontal direction of the person 600 who wants to detect a sleeping abnormality and can capture a sleeping image.
  • the person 600 is assumed to be a person that needs to be watched over, such as a baby, a hospital patient, or an elderly person.
  • SIDS sudden infant death syndrome
  • the mobile terminal 300 is assumed to be possessed by a guardian 700 of a person 600 who takes a sleeping image.
  • the mobile terminal 300 makes an application for registration to the sleeping abnormality notification system to the computer 200 (step S101).
  • the registration application here is for setting the mobile terminal 300 possessed by the guardian 700 of the person 600 as a notification destination of the sleeping abnormality notification system.
  • the application contents for registration may include information on the camera 100, information on the person 600, and information on the guardian 700.
  • the reception module 222 of the computer 200 receives a registration application from the mobile terminal 300 (step S102).
  • the reception module 222 sets the mobile terminal 300 possessed by the guardian 700 of the person 600 imaged by the camera 100 as a notification destination of the sleeping abnormality notification system.
  • a setting is made so that the computer 200 can acquire the location information of the mobile terminal 300 for the notification of a bedtime abnormality.
  • data is exchanged between the computer 200 and the mobile terminal 300 as necessary.
  • the computer 200 controls the camera 100 to capture a sleeping image such as a moving image or a still image of the person 600 (step S103).
  • a sleeping image such as a moving image or a still image of the person 600
  • an instruction to start capturing a sleeping image of the person 600 may be given directly from the computer 200 or may be given when an instruction from the mobile terminal 300 is received.
  • the imaging unit 10 of the camera 100 receives control from the computer 200 and captures a sleeping image such as a moving image or a still image of the person 600 (step S104).
  • the control unit 110 of the camera 100 transmits the captured sleeping image to the computer 200 via the communication unit 120 (step S105).
  • the image acquisition module 221 of the computer 200 receives a sleeping image from the camera 100 (step S106).
  • the image analysis module 211 of the computer 200 analyzes the sleeping image from the camera 100 (step S107). It is assumed that the image analysis module 211 has already been machine-learned for performing image analysis of bedtime abnormalities. A machine learning method for performing image analysis of bedtime abnormalities will be described later.
  • the sleeping abnormality detection module 212 of the computer 200 detects a sleeping abnormality based on the image analysis result of step S107 (step S108).
  • the abnormal sleeping state include, for example, the case where the nose and mouth of the person 600 are simultaneously closed, or the case where no movement is observed without performing any action within a predetermined time.
  • the position acquisition module 223 of the computer 200 acquires position information from the mobile terminal 300 (step S109).
  • the determination module 213 of the computer 200 determines whether the mobile terminal 300 is within a predetermined range (step S110).
  • the predetermined range is around the camera 100 and the person 600 or around the alarm device 500 described later.
  • the alarm device 500 notifies a bedtime abnormality, it is desirable to set a range in which the notification can be normally recognized as a predetermined range.
  • step S110 If it is determined in step S110 that the mobile terminal 300 is not within the predetermined range, the notification module 224 of the computer 200 notifies the mobile terminal 300 of a bedtime abnormality (step S111).
  • the mobile terminal 300 receives the sleep abnormality notification via the communication unit 320 and presents it to the guardian 700 according to the setting (step S112).
  • a method for presenting an abnormality in sleeping can be set in advance, such as display of sound, light, vibration, moving image or still image.
  • an image of a person sleeping is acquired, image analysis is performed, whether or not a sleeping abnormality is detected, and when a sleeping abnormality is detected, the abnormal sleeping is notified.
  • the sleep abnormality notification system that can properly notify the sleeping abnormality by notifying the mobile terminal owned by the guardian of the abnormal sleeping, the sleeping abnormality It is possible to provide a notification method and program.
  • FIG. 2 is a diagram illustrating the functional blocks of the camera 100, the computer 200, and the mobile terminal 300, and the relationship between the functions.
  • the camera 100 includes an imaging unit 10, a control unit 110, and a communication unit 120.
  • the computer 200 includes a control unit 210, a communication unit 220, a storage unit 230, and an input / output unit 240.
  • the control unit 210 implements an image analysis module 211, a sleeping abnormality detection module 212, and a determination module 213 in cooperation with the storage unit 230.
  • the communication unit 220 implements an image acquisition module 221, a reception module 222, a position acquisition module 223, and a notification module 224 in cooperation with the control unit 210 and the storage unit 230.
  • the mobile terminal 300 includes a location information acquisition unit 30, a control unit 310, and a communication unit 320.
  • the communication network 400 may be a public communication network such as the Internet or a dedicated communication network, and enables communication between the camera 100, the computer 200, and the mobile terminal 300.
  • the camera 100 is an image pickup apparatus including an image pickup device such as an image pickup element or a lens capable of data communication with the computer 200.
  • an image pickup device such as an image pickup element or a lens capable of data communication with the computer 200.
  • a WEB camera is illustrated as an example, but an imaging apparatus having necessary functions such as a digital camera, a digital video, a camera mounted on an unmanned aircraft, a wearable device camera, a security camera, an in-vehicle camera, and a 360-degree camera It may be.
  • the camera 100 includes, as the imaging unit 10, an imaging device such as a lens, an imaging device, various buttons, and a flash, and captures images as captured images such as moving images and still images.
  • An image obtained by imaging is a precise image having an amount of information necessary for image analysis.
  • the resolution, camera angle, camera magnification, and the like at the time of imaging may be controllable.
  • the control unit 110 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like.
  • a CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • a device for enabling communication with other devices for example, a Wi-Fi (Wireless Fidelity) compatible device compliant with IEEE802.11 or 3G (3rd generation mobile communication system), 4G (4th generation)
  • Wi-Fi Wireless Fidelity
  • 3G 3rd generation mobile communication system
  • 4G fourth generation
  • the computer 200 is a computing device capable of data communication with the camera 100.
  • a desktop computer is illustrated as an example, but in addition to a mobile phone, a portable information terminal, a tablet terminal, a personal computer, electrical appliances such as a netbook terminal, a slate terminal, an electronic book terminal, and a portable music player Or a wearable terminal such as a smart glass or a head-mounted display.
  • the control unit 210 includes a CPU, RAM, ROM, and the like.
  • the control unit 210 implements an image analysis module 211, a sleeping abnormality detection module 212, and a determination module 213 in cooperation with the storage unit 230.
  • the communication unit 220 includes a device for enabling communication with other devices, for example, a Wi-Fi compatible device compliant with IEEE 802.11 or a wireless device compliant with IMT-2000 standards such as 3G and 4G. It may be a wired LAN connection.
  • the communication unit 220 implements an image acquisition module 221, a reception module 222, a position acquisition module 223, and a notification module 224 in cooperation with the control unit 210 and the storage unit 230.
  • the storage unit 230 includes a data storage unit using a hard disk or a semiconductor memory, and stores data necessary for processing such as captured images, teacher data, and image analysis results. Further, the storage unit 230 may include a database of teacher data of sleeping images.
  • the input / output unit 240 has a necessary function when an operator operates the sleeping abnormality notification system via the computer 200.
  • a liquid crystal display that realizes a touch panel function, a keyboard, a mouse, a pen tablet, a hardware button on the apparatus, a microphone for performing voice recognition, and the like can be provided.
  • forms such as a liquid crystal display, a PC display, a projection on a projector, and an audio output can be considered.
  • the function of the present invention is not particularly limited by the input / output method.
  • the mobile terminal 300 is a terminal device possessed by a user who uses the bedtime abnormality notification system.
  • a smartphone is illustrated as an example, but in addition to a mobile phone, a portable information terminal, a tablet terminal, a personal computer, an electronic product such as a netbook terminal, a slate terminal, an electronic book terminal, a portable music player, or a smart phone It may be a wearable terminal such as a glass or a head mounted display.
  • the mobile terminal 300 includes the position information acquisition unit 30 and can acquire information such as the latitude, longitude, altitude, and the like of the mobile terminal 300 by a GPS (Global Positioning System) function or the like.
  • the location information acquisition method is not limited to GPS, but location information is acquired using a wireless communication method such as Wi-Fi, Bluetooth, NFC, 3G, 4G, LTE (Long Term Evolution), etc. Also good.
  • this patent is not limited, and existing technology can be used.
  • the control unit 310 includes a CPU, RAM, ROM, and the like.
  • the communication unit 320 includes a device for enabling communication with other devices, for example, a Wi-Fi compatible device compliant with IEEE802.11 or a wireless device compliant with IMT-2000 standards such as 3G and 4G.
  • FIG. 3 is a flowchart in the case where the image captured by the camera 100 is subjected to image analysis processing by the computer 200 and the sleeping abnormality is notified to the mobile terminal 300. Processing executed by each module described above will be described in accordance with this processing.
  • FIG. 8 is a schematic diagram illustrating an example of a case where the guardian 700 who owns the mobile terminal 300 is not within a predetermined range when a sleeping abnormality is detected in the sleeping abnormality notification system. It is assumed that the camera 100 is installed in the horizontal direction of the person 600 who wants to detect a sleeping abnormality and can capture a sleeping image. Here, only one camera 100 is illustrated, but it is desirable that two or more cameras 100 be installed so that photographing from both sides of the person 600 is possible.
  • the person 600 is assumed to be a person that needs to be watched over, such as a baby, a hospital patient, or an elderly person.
  • the communication network 400 may be a public communication network such as the Internet or a dedicated communication network, and enables communication between the camera 100, the computer 200, the mobile terminal 300, and the alarm device 500.
  • the mobile terminal 300 applies to the computer 200 for registration to the sleeping abnormality notification system (step S ⁇ b> 301).
  • the registration application here is for setting the mobile terminal 300 possessed by the guardian 700 of the person 600 as a notification destination of the sleeping abnormality notification system.
  • the application contents for registration may include information on the camera 100, information on the person 600, and information on the guardian 700.
  • the reception module 222 of the computer 200 receives a registration application from the mobile terminal 300 (step S302).
  • the reception module 222 sets the mobile terminal 300 possessed by the guardian 700 of the person 600 imaged by the camera 100 as a notification destination of the sleeping abnormality notification system.
  • a setting is made so that the computer 200 can acquire the location information of the mobile terminal 300 for the notification of a bedtime abnormality.
  • data is exchanged between the computer 200 and the mobile terminal 300 as necessary.
  • the computer 200 controls the camera 100 to capture a sleeping image such as a moving image or a still image of the person 600 (step S303).
  • a sleeping image such as a moving image or a still image of the person 600
  • an instruction to start capturing a sleeping image of the person 600 may be given directly from the computer 200 or may be given when an instruction from the mobile terminal 300 is received.
  • the imaging unit 10 of the camera 100 receives control from the computer 200 to capture a sleeping image such as a moving image or a still image of the person 600 (step S304).
  • the control unit 110 of the camera 100 transmits the captured sleeping image to the computer 200 via the communication unit 120 (step S305).
  • the image acquisition module 221 of the computer 200 receives a sleeping image from the camera 100 (step S306).
  • the image analysis module 211 of the computer 200 analyzes the sleeping image from the camera 100 (step S307). It is assumed that the image analysis module 211 has already been machine-learned for performing image analysis of bedtime abnormalities. A machine learning method for performing image analysis of bedtime abnormalities will be described later.
  • the sleeping abnormality detection module 212 of the computer 200 detects a sleeping abnormality based on the image analysis result of step S107 (step S308).
  • the abnormal sleeping state include, for example, the case where the nose and mouth of the person 600 are simultaneously closed, or the case where no movement is observed without performing any action within a predetermined time.
  • the position acquisition module 223 of the computer 200 acquires position information from the mobile terminal 300 (step S309). If no sleeping abnormality is detected, the process returns to step S303, and a sleeping image is continuously acquired.
  • the position acquisition module 223 of the computer 200 confirms whether or not the position information acquisition from the mobile terminal 300 is successful (step S310). If the acquisition of the position information has succeeded, the process proceeds to step S311. If the acquisition of the position information has failed, the process proceeds to process B. Process B will be described later with reference to FIG.
  • the determination module 213 of the computer 200 determines whether or not the mobile terminal 300 is within a predetermined range (step S311).
  • the predetermined range is around the camera 100 and the person 600 or around the alarm device 500 described later.
  • the alarm device 500 notifies a bedtime abnormality, it is desirable to set a range in which the notification can be normally recognized as a predetermined range.
  • the process proceeds to process A, and when it is determined that it is not within the predetermined range, the process proceeds to step S312. Process A will be described later with reference to FIG.
  • step S311 If it is determined in step S311 that the mobile terminal 300 is not within the predetermined range, the notification module 224 of the computer 200 notifies the mobile terminal 300 of a bedtime abnormality (step S312).
  • the mobile terminal 300 receives the sleep abnormality notification via the communication unit 320 and presents it to the guardian 700 according to the setting (step S313).
  • a method for presenting an abnormality in sleeping can be set in advance, such as display of sound, light, vibration, moving image or still image.
  • the instruction to end the sleeping image of the person 600 may be given directly from the computer 200 or may be given when an instruction from the mobile terminal 300 is received.
  • the computer 200 receives an instruction to end imaging
  • the loop processing from step S303 to step S308 ends, and the sleeping abnormality notification system ends.
  • an image of a person sleeping is acquired, image analysis is performed, whether or not a sleeping abnormality is detected, and when a sleeping abnormality is detected, the abnormal sleeping is notified.
  • the sleep abnormality notification system that can properly notify the sleeping abnormality by notifying the mobile terminal owned by the guardian of the abnormal sleeping, the sleeping abnormality It is possible to provide a notification method and program.
  • FIG. 4 is a diagram illustrating the functional blocks of the camera 100, the computer 200, the mobile terminal 300, and the alarm device 500, and the relationship between the functions.
  • the alarm device 500 includes a warning unit 50, a control unit 510, and a communication unit 520.
  • the communication network 400 may be a public communication network such as the Internet or a dedicated communication network, and enables communication between the camera 100, the computer 200, the mobile terminal 300, and the alarm device 500.
  • the alarm device 500 includes a warning unit 50 configured to notify a surrounding guardian 700 of a bedtime abnormality with a warning sound or warning light.
  • the control unit 510 includes a CPU, RAM, ROM, etc., and operates the warning unit 50 in response to an instruction from the computer 200.
  • the communication unit 520 includes a device for enabling communication with other devices, for example, a Wi-Fi compatible device compliant with IEEE 802.11 or a wireless device compliant with IMT-2000 standards such as 3G and 4G. It may be a wired LAN connection. It is assumed that an operation instruction of the warning unit 50 from the computer 200 is received via the communication unit 520.
  • FIG. 9 is a schematic diagram showing an example of a case where the guardian 700 who owns the mobile terminal 300 is within a predetermined range when a bedtime abnormality is detected. It is assumed that the camera 100 is installed in the horizontal direction of the person 600 who wants to detect when there is a sleeping abnormality and can capture a sleeping image. As shown in the figure, it is desirable that two or more cameras 100 be installed so that photographing from both sides of the person 600 is possible. Further, it is assumed that the computer 200 has already been machine-learned for performing image analysis of bedtime abnormalities. The mobile terminal 300 is assumed to be possessed by a guardian 700 of a person 600 who takes a sleeping image.
  • the alarm device 500 notifies a surrounding guardian 700 of a bedtime abnormality with a warning sound or warning light.
  • the communication network 400 may be a public communication network such as the Internet or a dedicated communication network, and enables communication between the camera 100, the computer 200, the mobile terminal 300, and the alarm device 500.
  • FIG. 5 is a flowchart of the computer 200 and the alarm device 500 when the sleeping abnormality is detected and the mobile terminal 300 is within a predetermined range. This corresponds to the case where the process proceeds to process A in the flowchart of FIG. 3 in the situation shown in FIG.
  • the 200 notification module 224 notifies the warning device 500 of a warning command (step S501).
  • the alarm device 500 receives a warning command via the communication unit 520, operates the warning unit 50 according to an instruction from the control unit 510, and gives a notification with a warning sound or warning light (step S502). Notification may be performed simultaneously with a warning sound and a warning light, and a vibration operation or display of characters or the like may be performed according to the function of the alarm device 500.
  • FIG. 10 is a schematic diagram illustrating an example of a case where the location information of the mobile terminal 300 cannot be acquired when a bedtime abnormality is detected.
  • the camera 100 is installed in the horizontal direction of the person 600 who wants to detect when there is a sleeping abnormality and can capture a sleeping image. As shown in the figure, it is desirable that two or more cameras 100 be installed so that photographing from both sides of the person 600 is possible. Further, it is assumed that the computer 200 has already been machine-learned for performing image analysis of bedtime abnormalities.
  • the mobile terminal 300 is assumed to be possessed by a guardian 700 of a person 600 who takes a sleeping image.
  • the alarm device 500 notifies a surrounding guardian 700 of a bedtime abnormality with a warning sound or warning light.
  • the communication network 400 may be a public communication network such as the Internet or a dedicated communication network, and enables communication between the camera 100, the computer 200, the mobile terminal 300, and the alarm device 500.
  • FIG. 6 is a flowchart of the computer 200 and the alarm device 500 when a sleeping abnormality is detected and the location information of the mobile terminal 300 cannot be acquired. This corresponds to the case where the process proceeds to the process B in the flowchart of FIG. 3 in the situation shown in FIG.
  • the notification module 224 of the computer 200 confirms whether or not there is a registration operation when the location information of the mobile terminal cannot be acquired in advance (step S601).
  • the notification module 224 issues a warning command to the alarm device 500. Notification is made (step S602).
  • the alarm device 500 receives the warning command via the communication unit 520, operates the warning unit 50 according to an instruction from the control unit 510, and notifies with a warning sound or warning light. This is performed (step S603). Notification may be performed simultaneously with a warning sound and a warning light, and a vibration operation or display of characters or the like may be performed according to the function of the alarm device 500.
  • the notification module 224 executes the registration operation (step S604).
  • registration operations include a warning command notification to the alarm device 500, a notification to another mobile terminal, a notification to the administrator of the bedtime abnormality notification system, a notification to a security company, a notification to a hospital or medical facility, etc. A plurality of these may be registered.
  • an image of a person sleeping is acquired, image analysis is performed, whether or not a sleeping abnormality is detected, and when a sleeping abnormality is detected, the abnormal sleeping is notified.
  • the mobile terminal owned by the guardian is notified of the bedtime abnormality
  • the alarm device when a warning is given and it is not clear whether the parent to be notified is in the vicinity of the person, a warning by an alarm device or a pre-registered action can be performed to properly report a bedtime abnormality It is possible to provide an abnormality notification system, a sleeping abnormality notification method, and a program.
  • FIG. 7 is a flowchart in the case where the computer 200 performs machine learning for performing image analysis of a bedtime abnormality.
  • the control unit 210 of the computer 200 acquires a plurality of sleeping images acquired in the past from the storage unit 230 (step S701).
  • the bedtime image to be acquired is that of the person 600 who wants to detect a bedtime abnormality, so that the accuracy of image analysis can be further improved.
  • the control unit 210 creates a sleeping abnormal image based on the acquired sleeping image (step S702).
  • abnormal sleeping images created here include an image in which the nose and mouth of the person 600 are simultaneously closed, or an image in which no movement is performed within a predetermined time and no movement is observed.
  • an apnea attack in which an infant's apnea lasts for about 10 to 20 seconds leads to a risk of sudden infant death syndrome. Therefore, as a predetermined time, an abnormal sleeping image corresponding to the age of the person 600 who detects the sleeping abnormal, etc. By creating an example, bedtime abnormalities can be detected effectively.
  • control unit 210 performs machine learning using the acquired past sleeping image and the teacher data including the created abnormal sleeping image (step S703).
  • a bedtime abnormal image is created based on the acquired past bedtime images, and a sufficient number of bedtime abnormal images are obtained.
  • Effective learning data can be added by performing machine learning using teacher data including a bedtime, and a bedtime abnormality notification system and a bedtime abnormality notification method that can further improve the accuracy of detection of a bedtime abnormality in image analysis , And a program can be provided.
  • the means and functions described above are realized by a computer (including a CPU, an information processing apparatus, and various terminals) reading and executing a predetermined program.
  • the program may be, for example, in the form (SaaS: Software as a Service) provided from a computer via a network, or a flexible disk, CD (CD-ROM, etc.), DVD (DVD-ROM, DVD). -RAM, etc.) and a computer-readable recording medium such as a compact memory.
  • the computer reads the program from the recording medium, transfers it to the internal storage device or the external storage device, stores it, and executes it.
  • the program may be recorded in advance in a storage device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and provided from the storage device to a computer via a communication line.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Physiology (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Social Psychology (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)

Abstract

【課題】　就寝異常通知システムにおいて、通知先となる保護者が人物の周辺にいない場合にも、就寝異常を適切に通知可能とする。 【解決手段】　就寝異常通知システムに、人物が就寝している就寝画像を取得する画像取得モジュール２２１と、取得した就寝画像を画像解析する画像解析モジュール２１１と、画像解析の結果、前記人物が就寝異常かどうかを検出する就寝異常検出モジュール２１２と、前記人物の保護者のモバイル端末の登録を受け付ける受付モジュール２２２と、前記登録されたモバイル端末の位置を取得する位置取得モジュール２２３と、前記取得した位置が、前記人物の位置から所定の範囲内にあるかどうかを判定する判定モジュール２１３と、前記就寝異常であると検出された場合、かつ、前記所定の範囲内にないと判定された場合に、前記保護者のモバイル端末に就寝異常を通知する通知モジュール２２４を備える。

Description

就寝異常通知システム、就寝異常通知方法、およびプログラム
　本発明は、人物が就寝している画像を取得して画像解析を行い、就寝異常かどうかを検出し、就寝異常が検出された場合に異常を通知する就寝異常通知システムにおいて、通知先となる保護者が人物の周辺にいない場合にも、就寝異常を適切に通知可能な就寝異常通知システム、就寝異常通知方法、およびプログラムに関する。
　就寝異常を通知するためのシステムとして、病院患者や老人、幼児等の就寝中の人物に、うつ伏せ寝等の就寝異常があった時に、周囲の保護者に音や光で通知するシステムが提案されている（特許文献１）。
特開平１１－９９１４０
　しかしながら、特許文献１の方法では、音や光による通知を行っても、保護者が通知手段の周囲にいない場合には気付くことができないという問題があった。
　本発明では、上記の課題に鑑み、人物が就寝している画像を取得して画像解析を行い、就寝異常かどうかを検出し、就寝異常が検出された場合に異常を通知する就寝異常通知システムにおいて、通知先となる保護者が人物の周辺にいない場合にも、就寝異常を適切に通知可能な就寝異常通知システム、就寝異常通知方法、およびプログラムを提供することを目的とする。
　本発明では、以下のような解決手段を提供する。
　第１の特徴に係る発明は、
　人物が就寝している就寝画像を取得する画像取得手段と、
　前記取得した就寝画像を画像解析する画像解析手段と、
　前記画像解析の結果、前記人物が就寝異常かどうかを検出する就寝異常検出手段と、
　前記人物の保護者のモバイル端末の登録を受け付ける受付手段と、
　前記登録されたモバイル端末の位置を取得する位置取得手段と、
　前記取得した位置が、前記人物の位置から所定の範囲内にあるかどうかを判定する判定手段と、
　前記就寝異常であると検出された場合、かつ、前記所定の範囲内にないと判定された場合に、前記保護者のモバイル端末に就寝異常を通知する通知手段と、
を備えることを特徴とする就寝異常通知システムを提供する。
　第１の特徴に係る発明によれば、就寝異常通知システムにおいて、人物が就寝している就寝画像を取得する画像取得手段と、前記取得した就寝画像を画像解析する画像解析手段と、前記画像解析の結果、前記人物が就寝異常かどうかを検出する就寝異常検出手段と、前記人物の保護者のモバイル端末の登録を受け付ける受付手段と、前記登録されたモバイル端末の位置を取得する位置取得手段と、前記取得した位置が、前記人物の位置から所定の範囲内にあるかどうかを判定する判定手段と、前記就寝異常であると検出された場合、かつ、前記所定の範囲内にないと判定された場合に、前記保護者のモバイル端末に就寝異常を通知する通知手段と、を備える。
　第１の特徴に係る発明は、就寝異常通知システムのカテゴリであるが、就寝異常通知方法、およびプログラムであっても同様の作用、効果を奏する。
　第２の特徴に係る発明は、第１の特徴に係る発明である就寝異常通知システムであって、
　前記画像取得手段は、前記人物が就寝している場所の両脇から水平方向に設置されたカメラから前記就寝画像を取得することを特徴とする就寝異常通知システムを提供する。
　第２の特徴に係る発明によれば、第１の特徴に係る発明である就寝異常通知システムにおいて、前記画像取得手段は、前記人物が就寝している場所の両脇から水平方向に設置されたカメラから前記就寝画像を取得する。
　第３の特徴に係る発明は、第１の特徴または第２の特徴に係る発明である就寝異常通知システムであって、
　前記画像解析手段は、過去に取得された就寝画像を教師データとして機械学習を行い、前記人物に適合するようにカスタマイズして画像解析することを特徴とする就寝異常通知システムを提供する。
　第３の特徴に係る発明によれば、第１の特徴または第２の特徴に係る発明である就寝異常通知システムにおいて、前記画像解析手段は、過去に取得された就寝画像を教師データとして機械学習を行い、前記人物に適合するようにカスタマイズして画像解析する。
　第４の特徴に係る発明は、第１の特徴から第３の特徴のいずれかに係る発明である就寝異常通知システムであって、
　前記就寝異常検出手段は、過去の画像解析の結果を教師データとして機械学習を行い、前記人物に適合するようにカスタマイズして就寝異常を検出することを特徴とする就寝異常通知システムを提供する。
　第４の特徴に係る発明によれば、第１の特徴から第３の特徴のいずれかに係る発明である就寝異常通知システムにおいて、前記就寝異常検出手段は、過去の画像解析の結果を教師データとして機械学習を行い、前記人物に適合するようにカスタマイズして就寝異常を検出する。
　第５の特徴に係る発明は、第１の特徴から第４の特徴のいずれかに係る発明である就寝異常通知システムであって、
　前記就寝異常検出手段は、前記画像解析の結果、前記人物の鼻と口とが同時に塞がっているかどうかを判定することで就寝異常を検出することを特徴とする就寝異常通知システムを提供する。
　第５の特徴に係る発明によれば、第１の特徴から第４の特徴のいずれかに係る発明である就寝異常通知システムにおいて、前記就寝異常検出手段は、前記画像解析の結果、前記人物の鼻と口とが同時に塞がっているかどうかを判定することで就寝異常を検出する。
　第６の特徴に係る発明は、第１の特徴から第５の特徴のいずれかに係る発明である就寝異常通知システムであって、
　前記就寝異常検出手段は、前記画像解析の結果、前記人物が所定の時間内に何らかの動作を行わず動きが見られなかった場合に就寝異常を検出することを特徴とする就寝異常通知システムを提供する。
　第６の特徴に係る発明によれば、第１の特徴から第５の特徴のいずれかに係る発明である就寝異常通知システムにおいて、前記就寝異常検出手段は、前記画像解析の結果、前記人物が所定の時間内に何らかの動作を行わず動きが見られなかった場合に就寝異常を検出する。
　第７の特徴に係る発明は、第１の特徴から第６の特徴のいずれかに係る発明である就寝異常通知システムであって、
　前記就寝異常検出手段は、前記人物が所定の時間内に何らかの動作を行わず動きが見られなかった場合に異常であることを教師データとして機械学習を行い、就寝異常を検出することを特徴とする就寝異常通知システムを提供する。
　第７の特徴に係る発明によれば、第１の特徴から第６の特徴のいずれかに係る発明である就寝異常通知システムにおいて、前記就寝異常検出手段は、前記人物が所定の時間内に何らかの動作を行わず動きが見られなかった場合に異常であることを教師データとして機械学習を行い、就寝異常を検出する。
　第８の特徴に係る発明は、第１の特徴から第７の特徴のいずれかに係る発明である就寝異常通知システムであって、
　前記通知手段は、前記就寝異常であると検出された場合、かつ、前記所定の範囲内にあると判定された場合に、前記人物の周囲にいる保護者に向けて警告音または警告光で通知することを特徴とする就寝異常通知システムを提供する。
　第８の特徴に係る発明によれば、第１の特徴から第７の特徴のいずれかに係る発明である就寝異常通知システムにおいて、前記通知手段は、前記就寝異常であると検出された場合、かつ、前記所定の範囲内にあると判定された場合に、前記人物の周囲にいる保護者に向けて警告音または警告光で通知する。
　第９の特徴に係る発明は、第１の特徴から第８の特徴のいずれかに係る発明である就寝異常通知システムであって、
　前記通知手段は、前記就寝異常であると検出された場合、かつ、前記モバイル端末の位置が取得できなかった場合に、前記人物の周囲にいる保護者に向けて警告音または警告光で通知するか、または、事前に就寝異常検知システムに登録した動作を行うことを特徴とする就寝異常通知システムを提供する。
　第９の特徴に係る発明によれば、第１の特徴から第８の特徴のいずれかに係る発明である就寝異常通知システムにおいて、前記通知手段は、前記就寝異常であると検出された場合、かつ、前記モバイル端末の位置が取得できなかった場合に、前記人物の周囲にいる保護者に向けて警告音または警告光で通知するか、または、事前に就寝異常検知システムに登録した動作を行う。
　第１０の特徴に係る発明は、
　就寝異常通知方法であって、
　人物が就寝している就寝画像を取得するステップと、
　前記取得した就寝画像を画像解析するステップと、
　前記画像解析の結果、前記人物が就寝異常かどうかを検出するステップと、
　前記人物の保護者のモバイル端末の登録を受け付けるステップと、
　前記登録されたモバイル端末の位置を取得するステップと、
　前記取得した位置が、前記人物の位置から所定の範囲内にあるかどうかを判定するステップと、
　前記就寝異常であると検出された場合、かつ、前記所定の範囲内にないと判定された場合に、前記保護者のモバイル端末に就寝異常を通知するステップと、
を備えることを特徴とする就寝異常通知方法を提供する。
　第１１の特徴に係る発明は、就寝異常通知システムに、
　人物が就寝している就寝画像を取得するステップ、
　前記取得した就寝画像を画像解析するステップ、
　前記画像解析の結果、前記人物が就寝異常かどうかを検出するステップ、
　前記人物の保護者のモバイル端末の登録を受け付けるステップ、
　前記登録されたモバイル端末の位置を取得するステップ、
　前記取得した位置が、前記人物の位置から所定の範囲内にあるかどうかを判定するステップ、
　前記就寝異常であると検出された場合、かつ、前記所定の範囲内にないと判定された場合に、前記保護者のモバイル端末に就寝異常を通知するステップ、
を実行させるためのプログラムを提供する。
　本発明によれば、人物が就寝している画像を取得して画像解析を行い、就寝異常かどうかを検出し、就寝異常が検出された場合に異常を通知する就寝異常通知システムにおいて、通知先となる保護者が人物の周辺にいない場合にも、就寝異常を適切に通知可能な就寝異常通知システム、就寝異常通知方法、およびプログラムを提供することが可能となる。
図１は、本発明の好適な実施形態の概要図である。 図２は、カメラ１００とコンピュータ２００とモバイル端末３００の機能ブロックと各機能の関係を示す図である。 図３は、カメラ１００での撮像画像をコンピュータ２００で画像解析処理を行いモバイル端末３００に就寝異常を通知する場合のフローチャート図である。 図４は、カメラ１００とコンピュータ２００とモバイル端末３００と警報装置５００の機能ブロックと各機能の関係を示す図である。 図５は、就寝異常を検出し、モバイル端末３００が所定範囲内にある場合のコンピュータ２００と警報装置５００のフローチャート図である。（処理Ａ） 図６は、就寝異常を検出し、モバイル端末３００の位置情報を取得できなかった場合のコンピュータ２００と警報装置５００のフローチャート図である。（処理Ｂ） 図７は、コンピュータ２００が就寝異常の画像解析を行うための機械学習を行う場合のフローチャート図である。 図８は、就寝異常を検知した際に、モバイル端末３００を所持する保護者７００が、所定の範囲内にいない場合の一例を示す模式図である。 図９は、就寝異常を検知した際に、モバイル端末３００を所持する保護者７００が、所定の範囲内にいる場合の一例を示す模式図である。 図１０は、就寝異常を検知した際に、モバイル端末３００の位置情報が取得できなかった場合の一例を示す模式図である。
　以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
　［就寝異常通知システムの概要］
　図１は、本発明の好適な実施形態の概要図である。この図１に基づいて、本発明の概要を説明する。就寝異常通知システムは、カメラ１００、コンピュータ２００、モバイル端末３００、通信網４００から構成される。
　なお、図１において、カメラ１００の数は１つに限らず複数であってよい。また、コンピュータ２００は、実在する装置に限らず、仮想的な装置であってもよい。
　カメラ１００は、図２に示すように、撮像部１０、制御部１１０、通信部１２０から構成される。また、コンピュータ２００は、同じく図２に示すように、制御部２１０、通信部２２０、記憶部２３０、入出力部２４０、から構成される。制御部２１０は記憶部２３０と協働して画像解析モジュール２１１、就寝異常検出モジュール２１２、判定モジュール２１３を実現する。また、通信部２２０は、制御部２１０、記憶部２３０と協働して画像取得モジュール２２１、受付モジュール２２２、位置取得モジュール２２３、通知モジュール２２４を実現する。モバイル端末３００は、位置情報取得部３０、制御部３１０、通信部３２０から構成される。通信網４００は、インターネット等の公衆通信網でも専用通信網でもよく、カメラ１００とコンピュータ２００とモバイル端末３００間の通信を可能とする。
　カメラ１００は、コンピュータ２００とデータ通信可能な、撮像素子やレンズ等の撮像デバイスを備える撮像装置である。ここでは、例としてＷＥＢカメラを図示しているが、デジタルカメラ、デジタルビデオ、無人航空機に搭載したカメラ、ウェアラブルデバイスのカメラ、防犯カメラ、車載カメラ、３６０度カメラ等の必要な機能を備える撮像装置であってよい。
　コンピュータ２００は、カメラ１００とデータ通信可能な計算装置である。ここでは、例としてデスクトップ型のコンピュータを図示しているが、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末等であってよい。
　モバイル端末３００は、就寝異常通知システムを使用するユーザが所持する端末装置である。就寝異常通知システムを使用するユーザとして、就寝画像を撮像される人物６００の保護者７００を想定する。ここでは、例としてスマートフォンを図示しているが、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末等であってよい。
　図１の就寝異常通知システムにおいて、カメラ１００は、就寝異常を検知したい人物６００の水平方向に設置され、就寝画像を撮像可能であるものとする。ここでは、カメラ１００は１台のみ図示しているが、人物６００の両脇からの撮影が可能となるよう、２台以上設置することが望ましい。人物６００としては、赤ちゃんや病院患者や老人等の、見守りが必要な人物を想定する。特に、人物６００として赤ちゃんを想定した場合、乳幼児突然死症候群（ＳＩＤＳ：Ｓｕｄｄｅｎ　Ｉｎｆａｎｔ　Ｄｅｔｈ　Ｓｙｎｄｒｏｍｅ）につながるとされる、うつぶせ寝を就寝異常として検知して、保護者７００に通知する必要がある。そのために、人物６００の水平方向の両脇から撮影することで、より、うつぶせ寝検知のための画像解析の精度を上げることが可能となる。また、コンピュータ２００は、就寝異常の画像解析を行うための機械学習済みであるものとする。モバイル端末３００は、就寝画像を撮像される人物６００の保護者７００が所持しているものであるとする。
　まず、モバイル端末３００からコンピュータ２００に対して、就寝異常通知システムへの登録申請を行う（ステップＳ１０１）。ここでの登録申請は、人物６００の保護者７００が所持するモバイル端末３００を、就寝異常通知システムの通知先として設定するためのものである。登録のための申請内容として、カメラ１００の情報、人物６００の情報、保護者７００の情報を含めてもよい。
　次に、コンピュータ２００の受付モジュール２２２は、モバイル端末３００からの登録申請を受け付ける（ステップＳ１０２）。受付モジュール２２２は、カメラ１００で撮像する人物６００の保護者７００が所持するモバイル端末３００を、就寝異常通知システムの通知先として設定する。ここであわせて、就寝異常通知のために、モバイル端末３００の位置情報をコンピュータ２００が取得可能とする設定を行う。前記設定のために、必要に応じて、コンピュータ２００とモバイル端末３００の間で、データの受け渡しを行う。
　次に、コンピュータ２００は、カメラ１００に対して、人物６００の動画または静止画等の就寝画像を撮像するようカメラ制御を行う（ステップＳ１０３）。ここで、人物６００の就寝画像の撮像開始の指示は、コンピュータ２００から直接行ってもよいし、モバイル端末３００からの指示を受け取った場合に行ってもよい。
　カメラ１００の撮像部１０は、コンピュータ２００からの制御を受け、人物６００の動画または静止画等の就寝画像を撮像する（ステップＳ１０４）。
　カメラ１００の制御部１１０は、通信部１２０を介して、撮像した就寝画像をコンピュータ２００に送信する（ステップＳ１０５）。
　コンピュータ２００の画像取得モジュール２２１は、カメラ１００から就寝画像を受信する（ステップＳ１０６）。
　コンピュータ２００の画像解析モジュール２１１は、カメラ１００から就寝画像を解析する（ステップＳ１０７）。この画像解析モジュール２１１は、就寝異常の画像解析を行うための機械学習済みであるものとする。就寝異常の画像解析を行うための機械学習の方法については、後述する。
　コンピュータ２００の就寝異常検出モジュール２１２は、ステップＳ１０７の画像解析結果に基づき、就寝異常を検出する（ステップＳ１０８）。ここでの就寝異常とは、たとえば、人物６００の鼻と口とが同時に塞がっているか場合、あるいは、所定の時間内に何らかの動作を行わず動きが見られなかった場合、等が例としてあげられる。その他、赤ちゃんの目に指が入りそうな場合、ベッドから落ちそうな場合、等、保護者７００からの登録を受け付けて、カスタマイズ可能としてもよい。
　就寝異常が検出された場合、コンピュータ２００の位置取得モジュール２２３は、モバイル端末３００から位置情報を取得する（ステップＳ１０９）。
　ステップ１０９で、モバイル端末３００の位置情報が取得できた場合、コンピュータ２００の判定モジュール２１３は、モバイル端末３００が所定の範囲内にあるかどうかを判定する（ステップＳ１１０）。ここでの所定の範囲内とは、カメラ１００および人物６００の周囲であるか、後述する警報装置５００の周囲であるか、とする。警報装置５００により就寝異常を通知する場合に、通知を正常に認知できる範囲を所定の範囲として設定することが望ましい。
　ステップＳ１１０で、モバイル端末３００が所定の範囲内にないと判定された場合、コンピュータ２００の通知モジュール２２４が、モバイル端末３００に対して、就寝異常を通知する（ステップＳ１１１）。
　最後に、モバイル端末３００は通信部３２０を介して就寝異常の通知を受信し、設定に応じて保護者７００に対して提示する（ステップＳ１１２）。ここでの就寝異常の提示方法は、音、光、バイブレーション、動画または静止画の表示等、事前に設定可能であるものとする。
　以上のように、本発明によれば、人物が就寝している画像を取得して画像解析を行い、就寝異常かどうかを検出し、就寝異常が検出された場合に異常を通知する就寝異常通知システムにおいて、通知先となる保護者が人物の周辺にいない場合にも、保護者の所持するモバイル端末に就寝異常を通知することで、就寝異常を適切に通知可能な就寝異常通知システム、就寝異常通知方法、およびプログラムを提供することが可能となる。
　［各機能の説明］
　図２は、カメラ１００とコンピュータ２００とモバイル端末３００の機能ブロックと各機能の関係を示す図である。カメラ１００は、撮像部１０、制御部１１０、通信部１２０から構成される。コンピュータ２００は、制御部２１０、通信部２２０、記憶部２３０、入出力部２４０、から構成される。制御部２１０は記憶部２３０と協働して画像解析モジュール２１１、就寝異常検出モジュール２１２、判定モジュール２１３を実現する。また、通信部２２０は、制御部２１０、記憶部２３０と協働して画像取得モジュール２２１、受付モジュール２２２、位置取得モジュール２２３、通知モジュール２２４を実現する。モバイル端末３００は、位置情報取得部３０、制御部３１０、通信部３２０から構成される。通信網４００は、インターネット等の公衆通信網でも専用通信網でもよく、カメラ１００とコンピュータ２００とモバイル端末３００間の通信を可能とする。
　カメラ１００は、コンピュータ２００とデータ通信可能な、撮像素子やレンズ等の撮像デバイスを備える撮像装置である。ここでは、例としてＷＥＢカメラを図示しているが、デジタルカメラ、デジタルビデオ、無人航空機に搭載したカメラ、ウェアラブルデバイスのカメラ、防犯カメラ、車載カメラ、３６０度カメラ等の必要な機能を備える撮像装置であってよい。
　カメラ１００は、撮像部１０として、レンズ、撮像素子、各種ボタン、フラッシュ等の撮像デバイス等を備え、動画や静止画等の撮像画像として撮像する。また、撮像して得られる画像は、画像解析に必要なだけの情報量を持った精密な画像であるものする。また、撮像時の解像度、カメラ角度、カメラ倍率、等を制御可能としてもよい。
　制御部１１０として、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等を備える。
　通信部１２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）対応デバイスまたは３Ｇ（第３世代移動通信システム）、４Ｇ（第４世代移動通信システム）等のＩＭＴ－２０００規格に準拠した無線デバイス等を備える。有線によるＬＡＮ接続であってもよい。
　コンピュータ２００は、カメラ１００とデータ通信可能な計算装置である。ここでは、例としてデスクトップ型のコンピュータを図示しているが、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末等であってよい。
　制御部２１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。制御部２１０は記憶部２３０と協働して画像解析モジュール２１１、就寝異常検出モジュール２１２、判定モジュール２１３を実現する。
　通信部２２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉ－Ｆｉ対応デバイスまたは３Ｇ、４Ｇ等のＩＭＴ－２０００規格に準拠した無線デバイス等を備える。有線によるＬＡＮ接続であってもよい。通信部２２０は、制御部２１０、記憶部２３０と協働して画像取得モジュール２２１、受付モジュール２２２、位置取得モジュール２２３、通知モジュール２２４を実現する。
　記憶部２３０として、ハードディスクや半導体メモリによる、データのストレージ部を備え、撮像画像や、教師データ、画像解析結果、等の処理に必要なデータ等を記憶する。また、記憶部２３０に、就寝画像の教師データのデータベースを備えてもよい。
　入出力部２４０は、就寝異常通知システムをコンピュータ２００を介してオペレータが操作する場合に、必要な機能を備えるものとする。入力を実現するための例として、タッチパネル機能を実現する液晶ディスプレイ、キーボード、マウス、ペンタブレット、装置上のハードウェアボタン、音声認識を行うためのマイク等を備えることが可能である。また、出力を実現するための例として、液晶ディスプレイ、ＰＣのディスプレイ、プロジェクターへの投影等の表示と音声出力等の形態が考えられる。入出力方法により、本発明は特に機能を限定されるものではない。
　モバイル端末３００は、就寝異常通知システムを使用するユーザが所持する端末装置である。ここでは、例としてスマートフォンを図示しているが、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末等であってよい。
　モバイル端末３００は、位置情報取得部３０を備え、ＧＰＳ（Ｇｒｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）機能等により、モバイル端末３００の緯度、経度、高度等の情報を取得可能であるものとする。ここで、位置情報の取得方法はＧＰＳに限るものではなく、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、３Ｇ、４Ｇ、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）等の、無線通信方式を使用して位置情報を取得してもよい。また、各通信方式に応じた位置情報の取得に関しては、本特許を限定するものではなく、既存の技術を利用可能であるものとする。
　制御部３１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。
　通信部３２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉ－Ｆｉ対応デバイスまたは３Ｇ、４Ｇ等のＩＭＴ－２０００規格に準拠した無線デバイス等を備える。
　［就寝異常通知処理］
　図３は、カメラ１００での撮像画像をコンピュータ２００で画像解析処理を行いモバイル端末３００に就寝異常を通知する場合のフローチャート図である。上述した各モジュールが実行する処理について、本処理にあわせて説明する。
　図８は、就寝異常通知システムにおいて就寝異常を検知した際に、モバイル端末３００を所持する保護者７００が、所定の範囲内にいない場合の一例を示す模式図である。カメラ１００は、就寝異常を検知したい人物６００の水平方向に設置され、就寝画像を撮像可能であるものとする。ここでは、カメラ１００は１台のみ図示しているが、人物６００の両脇からの撮影が可能となるよう、２台以上設置することが望ましい。人物６００としては、赤ちゃんや病院患者や老人等の、見守りが必要な人物を想定する。特に、人物６００として赤ちゃんを想定した場合、乳幼児突然死症候群につながるとされる、うつぶせ寝を就寝異常として検知して、保護者７００に通知する必要がある。そのために、人物６００の水平方向の両脇から撮影することで、より、うつぶせ寝検知のための画像解析の精度を上げることが可能となる。また、コンピュータ２００は、就寝異常の画像解析を行うための機械学習済みであるものとする。モバイル端末３００は、就寝画像を撮像される人物６００の保護者７００が所持しているものであるとする。図８に示す警報装置５００については、後述する。通信網４００は、インターネット等の公衆通信網でも専用通信網でもよく、カメラ１００とコンピュータ２００とモバイル端末３００と警報装置５００間の通信を可能とする。
　図３のフローチャートに戻り、まず、モバイル端末３００からコンピュータ２００に対して、就寝異常通知システムへの登録申請を行う（ステップＳ３０１）。ここでの登録申請は、人物６００の保護者７００が所持するモバイル端末３００を、就寝異常通知システムの通知先として設定するためのものである。登録のための申請内容として、カメラ１００の情報、人物６００の情報、保護者７００の情報を含めてもよい。
　次に、コンピュータ２００の受付モジュール２２２は、モバイル端末３００からの登録申請を受け付ける（ステップＳ３０２）。受付モジュール２２２は、カメラ１００で撮像する人物６００の保護者７００が所持するモバイル端末３００を、就寝異常通知システムの通知先として設定する。ここであわせて、就寝異常通知のために、モバイル端末３００の位置情報をコンピュータ２００が取得可能とする設定を行う。前記設定のために、必要に応じて、コンピュータ２００とモバイル端末３００の間で、データの受け渡しを行う。
　次に、コンピュータ２００は、カメラ１００に対して、人物６００の動画または静止画等の就寝画像を撮像するようカメラ制御を行う（ステップＳ３０３）。ここで、人物６００の就寝画像の撮像開始の指示は、コンピュータ２００から直接行ってもよいし、モバイル端末３００からの指示を受け取った場合に行ってもよい。
　カメラ１００の撮像部１０は、コンピュータ２００からの制御を受け、人物６００の動画または静止画等の就寝画像を撮像する（ステップＳ３０４）。
　カメラ１００の制御部１１０は、通信部１２０を介して、撮像した就寝画像をコンピュータ２００に送信する（ステップＳ３０５）。
　コンピュータ２００の画像取得モジュール２２１は、カメラ１００から就寝画像を受信する（ステップＳ３０６）。
　コンピュータ２００の画像解析モジュール２１１は、カメラ１００から就寝画像を解析する（ステップＳ３０７）。この画像解析モジュール２１１は、就寝異常の画像解析を行うための機械学習済みであるものとする。就寝異常の画像解析を行うための機械学習の方法については、後述する。
　コンピュータ２００の就寝異常検出モジュール２１２は、ステップＳ１０７の画像解析結果に基づき、就寝異常を検出する（ステップＳ３０８）。ここでの就寝異常とは、たとえば、人物６００の鼻と口とが同時に塞がっているか場合、あるいは、所定の時間内に何らかの動作を行わず動きが見られなかった場合、等が例としてあげられる。その他、赤ちゃんの目に指が入りそうな場合、ベッドから落ちそうな場合、等、保護者７００からの登録を受け付けて、カスタマイズ可能としてもよい。
　就寝異常が検出された場合、コンピュータ２００の位置取得モジュール２２３は、モバイル端末３００から位置情報を取得する（ステップＳ３０９）。就寝異常が検出されなかった場合、ステップＳ３０３に戻り、引き続き就寝画像の取得を行う。
　コンピュータ２００の位置取得モジュール２２３は、モバイル端末３００から位置情報取得が成功したかどうかの確認を行う（ステップＳ３１０）。位置情報の取得に成功した場合には、ステップＳ３１１に進み、位置情報の取得に失敗した場合には、処理Ｂへと進む。処理Ｂについては、図６の説明として後述する。
　位置情報の取得に成功した場合、コンピュータ２００の判定モジュール２１３は、モバイル端末３００が所定の範囲内にあるかどうかを判定する（ステップＳ３１１）。ここでの所定の範囲内とは、カメラ１００および人物６００の周囲であるか、後述する警報装置５００の周囲であるか、とする。警報装置５００により就寝異常を通知する場合に、通知を正常に認知できる範囲を所定の範囲として設定することが望ましい。所定の範囲内にあると判定された場合には処理Ａへと進み、所定の範囲内にないと判定された場合には、ステップＳ３１２に進む。処理Ａについては、図５の説明として後述する。
　ステップＳ３１１で、モバイル端末３００が所定の範囲内にないと判定された場合、コンピュータ２００の通知モジュール２２４が、モバイル端末３００に対して、就寝異常を通知する（ステップＳ３１２）。
　最後に、モバイル端末３００は通信部３２０を介して就寝異常の通知を受信し、設定に応じて保護者７００に対して提示する（ステップＳ３１３）。ここでの就寝異常の提示方法は、音、光、バイブレーション、動画または静止画の表示等、事前に設定可能であるものとする。
　図３のフローチャートでは図示していいないが、人物６００の就寝画像の撮像終了の指示は、コンピュータ２００から直接行ってもよいし、モバイル端末３００からの指示を受け取った場合に行ってもよい。コンピュータ２００が撮像終了の指示を受けた場合、ステップＳ３０３からステップＳ３０８のループ処理を終了し、就寝異常通知システムを終了する。
　以上のように、本発明によれば、人物が就寝している画像を取得して画像解析を行い、就寝異常かどうかを検出し、就寝異常が検出された場合に異常を通知する就寝異常通知システムにおいて、通知先となる保護者が人物の周辺にいない場合にも、保護者の所持するモバイル端末に就寝異常を通知することで、就寝異常を適切に通知可能な就寝異常通知システム、就寝異常通知方法、およびプログラムを提供することが可能となる。
　［警報装置への就寝異常通知処理］
　図４は、カメラ１００とコンピュータ２００とモバイル端末３００と警報装置５００の機能ブロックと各機能の関係を示す図である。図２の構成に加え、警報装置５００を備える。警報装置５００は、警告部５０、制御部５１０、通信部５２０から構成される。通信網４００は、インターネット等の公衆通信網でも専用通信網でもよく、カメラ１００とコンピュータ２００とモバイル端末３００と警報装置５００間の通信を可能とする。
　警報装置５００は、警告部５０として、警告音や警告光で周辺の保護者７００に、就寝異常を通知する構成を備える。
　制御部５１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、コンピュータ２００からの指示を受けて、警告部５０を動作させる。
　通信部５２０として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉ－Ｆｉ対応デバイスまたは３Ｇ、４Ｇ等のＩＭＴ－２０００規格に準拠した無線デバイス等を備える。有線によるＬＡＮ接続であってもよい。通信部５２０を介して、コンピュータ２００からの警告部５０の動作指示を受け付けるものとする。
　図９は、就寝異常を検知した際に、モバイル端末３００を所持する保護者７００が、所定の範囲内にいる場合の一例を示す模式図である。カメラ１００は、就寝異常があった場合に検知を行いたい人物６００の水平方向に設置され、就寝画像を撮像可能であるものとする。カメラ１００は、図に示すように人物６００の両脇からの撮影が可能となるよう、２台以上設置することが望ましい。また、ここでのコンピュータ２００は、就寝異常の画像解析を行うための機械学習済みであるものとする。モバイル端末３００は、就寝画像を撮像される人物６００の保護者７００が所持しているものであるとする。警報装置５００は、警告音や警告光で周辺の保護者７００に、就寝異常を通知するものである。通信網４００は、インターネット等の公衆通信網でも専用通信網でもよく、カメラ１００とコンピュータ２００とモバイル端末３００と警報装置５００間の通信を可能とする。
　図５は、就寝異常を検出し、モバイル端末３００が所定範囲内にある場合のコンピュータ２００と警報装置５００のフローチャート図である。図９に示す状況で、図３のフローチャートの処理Ａに進んだ場合に相当する。
　就寝異常を検出し、モバイル端末３００が所定の範囲内にあると判定された場合、つまり、警報装置５００による就寝異常通知を正常に認知できる範囲に、保護者７００が存在すると考えられる場合、コンピュータ２００の通知モジュール２２４が、警報装置５００に対して、警告命令を通知する（ステップＳ５０１）。
　警報装置５００は通信部５２０を介して警告命令を受信し、制御部５１０からの指示により、警告部５０を動作させ、警告音または警告光で通知を行う（ステップＳ５０２）。警告音と警告光で同時に通知を行ってもよく、また、警報装置５００の機能に応じて、バイブレーション動作や文字等の表示を行ってもよい。
　また、図１０は、就寝異常を検知した際に、モバイル端末３００の位置情報が取得できなかった場合の一例を示す模式図である。カメラ１００は、就寝異常があった場合に検知を行いたい人物６００の水平方向に設置され、就寝画像を撮像可能であるものとする。カメラ１００は、図に示すように人物６００の両脇からの撮影が可能となるよう、２台以上設置することが望ましい。また、ここでのコンピュータ２００は、就寝異常の画像解析を行うための機械学習済みであるものとする。モバイル端末３００は、就寝画像を撮像される人物６００の保護者７００が所持しているものであるとする。ただし、この時、電池切れや通信状況の問題で、モバイル端末３００の位置情報が取得できないものとする。警報装置５００は、警告音や警告光で周辺の保護者７００に、就寝異常を通知するものである。通信網４００は、インターネット等の公衆通信網でも専用通信網でもよく、カメラ１００とコンピュータ２００とモバイル端末３００と警報装置５００間の通信を可能とする。
　図６は、就寝異常を検出し、モバイル端末３００の位置情報を取得できなかった場合のコンピュータ２００と警報装置５００のフローチャート図である。図１０に示す状況で、図３のフローチャートの処理Ｂに進んだ場合に相当する。
　就寝異常を検出し、モバイル端末３００の位置情報を取得できなかった場合、つまり、警報装置５００による就寝異常通知を正常に認知できる範囲に、保護者７００が存在するかどうかが不明である場合、コンピュータ２００の通知モジュール２２４が、事前にモバイル端末の位置情報を取得できなかった場合の登録動作があるかどうかの確認を行う（ステップＳ６０１）。
　モバイル端末３００の位置情報を取得できなかった場合の動作が登録されていた場合、ステップＳ６０４に進み、動作が登録されていなかった場合、通知モジュール２２４が、警報装置５００に対して、警告命令を通知する（ステップＳ６０２）。
　コンピュータ２００から警告命令が通知された場合、警報装置５００は通信部５２０を介して警告命令を受信し、制御部５１０からの指示により、警告部５０を動作させ、警告音または警告光で通知を行う（ステップＳ６０３）。警告音と警告光で同時に通知を行ってもよく、また、警報装置５００の機能に応じて、バイブレーション動作や文字等の表示を行ってもよい。
　モバイル端末３００の位置情報を取得できなかった場合の動作が登録されていた場合、通知モジュール２２４は、登録動作を実行する（ステップＳ６０４）。登録動作の例としては、警報装置５００への警告命令通知、別のモバイル端末への通知、就寝異常通知システムの管理者への通知、セキュリティ会社への通知、病院や医療施設への通知、等が考えられ、これらを複数登録してもよい。
　以上のように、本発明によれば、人物が就寝している画像を取得して画像解析を行い、就寝異常かどうかを検出し、就寝異常が検出された場合に異常を通知する就寝異常通知システムにおいて、通知先となる保護者が人物の周辺にいない場合には保護者の所持するモバイル端末に就寝異常を通知し、通知先となる保護者が人物の周辺にいる場合には警報装置により警告を行い、通知先となる保護者が人物の周辺にいるかどうかわからない場合には、警報装置による警告を行うか、事前に登録された動作を行うことで、就寝異常を適切に通知可能な就寝異常通知システム、就寝異常通知方法、およびプログラムを提供することが可能となる。
　［就寝異常の画像解析のための機械学習処理］
　図７は、コンピュータ２００が就寝異常の画像解析を行うための機械学習を行う場合のフローチャート図である。
　コンピュータ２００の制御部２１０は、過去に取得された就寝画像を記憶部２３０から複数取得する（ステップＳ７０１）。ここで、取得する就寝画像は、就寝異常を検出したい人物６００のものを使用することで、より、画像解析の精度を向上させることができる。
　取得した就寝画像に、十分な就寝異常画像を含む場合は、それを就寝異常時の教師データ画像として利用することができるが、通常、過去に取得された就寝画像には、あまり多くの就寝異常画像が含まれないと考えられる。そこで、制御部２１０は、取得した就寝画像をもとに、就寝異常画像を作成する（ステップＳ７０２）。ここで作成する就寝異常画像の例としては、人物６００の鼻と口とが同時に塞がっているもの、あるいは、所定の時間内に何らかの動作を行わず動きが見られないもの、等があげられる。特に、乳児の無呼吸が１０数秒から２０秒ほど続く無呼吸発作は、乳幼児突然死症候群のリスクにつながるため、所定の時間として、就寝異常を検知する人物６００の年齢等にあわせた就寝異常画像例を作成することで、効果的に就寝異常を検知できるようになる。
　最後に、制御部２１０は、取得した過去の就寝画像に、作成した就寝異常画像を含めた教師データを使用して、機械学習を行う（ステップＳ７０３）。
　以上のように、本発明によれば、就寝異常の画像解析を行うための機械学習を行う場合に、取得した過去の就寝画像を元に就寝異常画像を作成し、十分な数の就寝異常画像を含めた教師データを使用して機械学習を行うことで、効果的な教師データを追加することができ、画像解析における就寝異常の検出精度をより一層向上させる就寝異常通知システム、就寝異常通知方法、およびプログラムを提供することが可能となる。
　上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される（ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態であってもよいし、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭ等）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ等）、コンパクトメモリ等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
　以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
１００　カメラ、２００　コンピュータ、３００　モバイル端末、４００　通信網、５００　警報装置、６００　人物、７００　保護者

Claims (11)

  1. 　人物が就寝している就寝画像を取得する画像取得手段と、
    　前記取得した就寝画像を画像解析する画像解析手段と、
    　前記画像解析の結果、前記人物が就寝異常かどうかを検出する就寝異常検出手段と、
    　前記人物の保護者のモバイル端末の登録を受け付ける受付手段と、
    　前記登録されたモバイル端末の位置を取得する位置取得手段と、
    　前記取得した位置が、前記人物の位置から所定の範囲内にあるかどうかを判定する判定手段と、
    　前記就寝異常であると検出された場合、かつ、前記所定の範囲内にないと判定された場合に、前記保護者のモバイル端末に就寝異常を通知する通知手段と、
    を備えることを特徴とする就寝異常通知システム。
  2. 　前記画像取得手段は、前記人物が就寝している場所の両脇から水平方向に設置されたカメラから前記就寝画像を取得することを特徴とする請求項１に記載の就寝異常通知システム。
  3. 　前記画像解析手段は、過去に取得された就寝画像を教師データとして機械学習を行い、前記人物に適合するようにカスタマイズして画像解析することを特徴とする請求項１または請求項２のいずれかに記載の就寝異常通知システム。
  4. 　前記就寝異常検出手段は、過去の画像解析の結果を教師データとして機械学習を行い、前記人物に適合するようにカスタマイズして就寝異常を検出することを特徴とする請求項１から請求項３のいずれか一項に記載の就寝異常通知システム。
  5. 　前記就寝異常検出手段は、前記画像解析の結果、前記人物の鼻と口とが同時に塞がっているかどうかを判定することで就寝異常を検出することを特徴とする請求項１から請求項４のいずれか一項に記載の就寝異常通知システム。
  6. 　前記就寝異常検出手段は、前記画像解析の結果、前記人物が所定の時間内に何らかの動作を行わず動きが見られなかった場合に就寝異常を検出することを特徴とする請求項１から請求項５のいずれか一項に記載の就寝異常通知システム。
  7. 　前記就寝異常検出手段は、前記人物が所定の時間内に何らかの動作を行わず動きが見られなかった場合に異常であることを教師データとして機械学習を行い、就寝異常を検出することを特徴とする請求項１から請求項６のいずれか一項に記載の就寝異常通知システム。
  8. 　前記通知手段は、前記就寝異常であると検出された場合、かつ、前記所定の範囲内にあると判定された場合に、前記人物の周囲にいる保護者に向けて警告音または警告光で通知することを特徴とする請求項１から請求項７のいずれか一項に記載の就寝異常通知システム。
  9. 　前記通知手段は、前記就寝異常であると検出された場合、かつ、前記モバイル端末の位置が取得できなかった場合に、前記人物の周囲にいる保護者に向けて警告音または警告光で通知するか、または、事前に就寝異常検知システムに登録した動作を行うことを特徴とする請求項１から請求項８のいずれか一項に記載の就寝異常通知システム。
  10. 　人物が就寝している就寝画像を取得するステップと、
    　前記取得した就寝画像を画像解析するステップと、
    　前記画像解析の結果、前記人物が就寝異常かどうかを検出するステップと、
    　前記人物の保護者のモバイル端末の登録を受け付けるステップと、
    　前記登録されたモバイル端末の位置を取得するステップと、
    　前記取得した位置が、前記人物の位置から所定の範囲内にあるかどうかを判定するステップと、
    　前記就寝異常であると検出された場合、かつ、前記所定の範囲内にないと判定された場合に、前記保護者のモバイル端末に就寝異常を通知するステップと、
    を備えることを特徴とする就寝異常通知方法。
  11. 　就寝異常通知システムに、
    　人物が就寝している就寝画像を取得するステップ、
    　前記取得した就寝画像を画像解析するステップ、
    　前記画像解析の結果、前記人物が就寝異常かどうかを検出するステップ、
    　前記人物の保護者のモバイル端末の登録を受け付けるステップ、
    　前記登録されたモバイル端末の位置を取得するステップ、
    　前記取得した位置が、前記人物の位置から所定の範囲内にあるかどうかを判定するステップ、
    　前記就寝異常であると検出された場合、かつ、前記所定の範囲内にないと判定された場合に、前記保護者のモバイル端末に就寝異常を通知するステップ、
    を実行させるためのプログラム。
PCT/JP2017/016934 2017-04-28 2017-04-28 就寝異常通知システム、就寝異常通知方法、およびプログラム WO2018198312A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/608,953 US20200323485A1 (en) 2017-04-28 2017-04-28 Sleep anomaly notification system, sleep anomaly notification method, and program
PCT/JP2017/016934 WO2018198312A1 (ja) 2017-04-28 2017-04-28 就寝異常通知システム、就寝異常通知方法、およびプログラム
CN201780092542.8A CN110799090A (zh) 2017-04-28 2017-04-28 就寝异常通知系统、就寝异常通知方法以及程序
JP2019515020A JPWO2018198312A1 (ja) 2017-04-28 2017-04-28 就寝異常通知システム、就寝異常通知方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/016934 WO2018198312A1 (ja) 2017-04-28 2017-04-28 就寝異常通知システム、就寝異常通知方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2018198312A1 true WO2018198312A1 (ja) 2018-11-01

Family

ID=63920261

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/016934 WO2018198312A1 (ja) 2017-04-28 2017-04-28 就寝異常通知システム、就寝異常通知方法、およびプログラム

Country Status (4)

Country Link
US (1) US20200323485A1 (ja)
JP (1) JPWO2018198312A1 (ja)
CN (1) CN110799090A (ja)
WO (1) WO2018198312A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112535459B (zh) * 2020-11-24 2023-08-18 创新奇智(北京)科技有限公司 睡眠异常检测方法、装置、电子设备及可读存储介质
CN113693588A (zh) * 2021-08-27 2021-11-26 骆飞 睡眠管理系统
WO2024079573A1 (en) * 2022-10-11 2024-04-18 Covidien Lp Positional non-contact baby monitoring

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1199140A (ja) * 1997-09-26 1999-04-13 Toshiba Corp 就寝状態異常検知装置
JP2002336207A (ja) * 2001-05-14 2002-11-26 Matsushita Electric Ind Co Ltd 在床異常モニタ装置
JP2004065471A (ja) * 2002-08-05 2004-03-04 Nippon Colin Co Ltd 患者監視システム
JP2007534032A (ja) * 2003-07-22 2007-11-22 ロンジョ カンパニー 就寝中の乳幼児を監視する方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8795170B2 (en) * 2005-11-29 2014-08-05 Venture Gain LLC Residual based monitoring of human health
EP2399513B1 (en) * 2010-06-23 2017-01-04 Qatar University Qstp-B System for non-invasive automated monitoring, detection, analysis, characterisation, prediction or prevention of seizures and movement disorder symptoms
JP5870706B2 (ja) * 2012-01-20 2016-03-01 オムロンヘルスケア株式会社 睡眠表示プログラム、睡眠表示方法及び睡眠表示装置
CN105940434A (zh) * 2014-03-06 2016-09-14 诺日士精密株式会社 信息处理装置、信息处理方法及程序
JP6098770B2 (ja) * 2015-02-10 2017-03-22 コニカミノルタ株式会社 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
CA2931457C (en) * 2015-07-13 2019-07-30 Victoria Anna Breitner Measuring cervical spine posture using nostril tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1199140A (ja) * 1997-09-26 1999-04-13 Toshiba Corp 就寝状態異常検知装置
JP2002336207A (ja) * 2001-05-14 2002-11-26 Matsushita Electric Ind Co Ltd 在床異常モニタ装置
JP2004065471A (ja) * 2002-08-05 2004-03-04 Nippon Colin Co Ltd 患者監視システム
JP2007534032A (ja) * 2003-07-22 2007-11-22 ロンジョ カンパニー 就寝中の乳幼児を監視する方法

Also Published As

Publication number Publication date
US20200323485A1 (en) 2020-10-15
JPWO2018198312A1 (ja) 2020-04-02
CN110799090A (zh) 2020-02-14

Similar Documents

Publication Publication Date Title
KR102386398B1 (ko) 촬영 모드에 따라 이미지에 대한 표시자를 다르게 제공하는 방법 및 그 전자 장치
KR101970962B1 (ko) 아기 감시 방법 및 장치
KR102289837B1 (ko) 촬영 방법 및 전자 장치
JP6093124B2 (ja) 監督システム
JP6167563B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
CN108491526B (zh) 日志数据处理方法、装置、电子设备及存储介质
CN113205015A (zh) 用于配置婴儿监控器摄像机的系统和方法
WO2018198312A1 (ja) 就寝異常通知システム、就寝異常通知方法、およびプログラム
US20190282098A1 (en) System for remote child monitoring
US10959646B2 (en) Image detection method and image detection device for determining position of user
JP2015159383A (ja) ウェアラブル機器、制御装置、撮影制御方法および自動撮像装置
KR20170094745A (ko) 영상 인코딩 방법 및 이를 지원하는 전자 장치
JP2020027465A (ja) 監視装置、監視システム、及びプログラム
KR20170096901A (ko) 영유아 건강 모니터링 시스템
KR20170123206A (ko) 이동 단말기 및 이의 제어방법
US20230316698A1 (en) Eye gaze detection based learning of subjective interest
JP2019216807A (ja) 情報処理装置
KR102508889B1 (ko) 디지털 트윈 기반의 영유아 시설 모니터링 방법 및 시스템
US11257246B2 (en) Image detection method and image detection device for selecting representative image of user
KR102197587B1 (ko) 영유아 케어 서비스 제공 방법 및 장치
JP7009021B2 (ja) 異常者予知システム、異常者予知方法、およびプログラム
US20230316808A1 (en) Monitoring system that captures image stream of regions of interest based on identified facial cues
US20230316759A1 (en) Monitoring system with image projection of content of subjective interest to a person
JP2019149172A (ja) 検知システムおよび検知方法
US11556174B1 (en) Monitoring system having contextual gaze-detection-based selection/triggering of caregiver functions

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17907057

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019515020

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17907057

Country of ref document: EP

Kind code of ref document: A1