WO2019031010A1 - 睡眠状態検出装置および該方法ならびに被監視者監視支援システム - Google Patents

睡眠状態検出装置および該方法ならびに被監視者監視支援システム Download PDF

Info

Publication number
WO2019031010A1
WO2019031010A1 PCT/JP2018/018633 JP2018018633W WO2019031010A1 WO 2019031010 A1 WO2019031010 A1 WO 2019031010A1 JP 2018018633 W JP2018018633 W JP 2018018633W WO 2019031010 A1 WO2019031010 A1 WO 2019031010A1
Authority
WO
WIPO (PCT)
Prior art keywords
sleep state
detection
sleep
sensor
unit
Prior art date
Application number
PCT/JP2018/018633
Other languages
English (en)
French (fr)
Inventor
和馬 新田
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to JP2019535604A priority Critical patent/JP7180601B2/ja
Publication of WO2019031010A1 publication Critical patent/WO2019031010A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state

Definitions

  • the present invention relates to a sleep state detection device and a sleep state detection method for detecting a sleep state. And this invention relates to the to-be-monitored person monitoring assistance system using this sleep state detection apparatus.
  • the sleep depth determination apparatus disclosed in the patent document 1 determines the sleep depth of the subject by using a sensory threshold that is the minimum stimulation intensity that can be perceived by the subject in the sleep state at a predetermined sleep depth.
  • Sleep depth determining apparatus which applies a first stimulus having a first stimulus intensity and a second stimulus having a second stimulus intensity higher than the first stimulus intensity to the subject
  • the subject receives the first stimulus by the stimulus applying means, a perception detecting means for detecting whether or not the subject perceives the first stimulus and the second stimulus, and the perception detecting means.
  • the sleep depth of the subject corresponds to a sensory threshold between the first stimulation intensity and the second stimulation intensity when it is detected that it has not been perceived and that the second stimulation has been perceived.
  • a sleep depth determination unit that determines that the sleep depth is .
  • the stimulus applying means is a part for applying a physical stimulus to a subject, and there is a speaker for applying an auditory stimulus by sound, for example, and the stimulus intensity is changed by adjusting the sound pressure (patent document Paragraph [
  • the sleep state management device disclosed in Patent Document 2 is a sleep state management device that manages the sleep state of the subject by the body movement of the subject, and the movement of the bedding in which the subject is sleeping And a body movement determination unit that determines the presence or absence of body movement of the subject using the detection signal from the sensor unit, the body movement determination unit using the detection signal
  • the sleep depth determination device disclosed in Patent Document 1 is an active type that provides stimulation to the subject, and thus there is a risk of inhibiting sleep of the subject person, but the sleep state management device disclosed in Patent Document 2 Since the passive type is a passive type that detects the movement of the bedding in which the subject is sleeping, the possibility of inhibiting the subject's sleep can be reduced, which is superior to the sleep depth determination device disclosed in Patent Document 1 in this respect. ing.
  • the present invention is an invention made in view of the above-mentioned circumstances, and an object thereof is a sleep state detection device and a sleep state detection method capable of reducing erroneous determination, and a person to be monitored using this sleep state detection device It is providing a surveillance support system.
  • a sleep state detection device, a sleep state detection method, and a person-to-be-monitored support system reflecting one aspect of the present invention measure a subject with each of the first and second sensors The sleep state of the subject is determined based on the first measurement result of the first sensor, the detection timing is detected based on the second measurement result of the second sensor, and the sleep state is determined according to the detection result. Control the process.
  • the monitored person monitoring support system in the embodiment is provided corresponding to the target person, and a sensor device for determining the sleep state of the target person, and communicably connected to the sensor device, manages the sleep state received from the sensor device A central processing unit, and a terminal device communicably connected to the central processing unit and receiving and displaying the sleep state through the central processing unit, the monitored person being the person to be monitored
  • This is a monitored person monitoring support system for supporting the monitoring of This sensor device includes the sleep state detection device in the present embodiment.
  • the sleep state detection apparatus determines a sleep state of the subject based on a first measurement result of the first sensor as first and second sensors for measuring the subject and a sleep state process.
  • a processing unit a timing detection unit that detects a detection timing based on a second measurement result of the second sensor, and a processing control unit that controls the sleep state processing unit according to a detection result of the timing detection unit .
  • a sleep state detection device controls the sleep state processing unit according to the detection result of the timing detection unit, so that erroneous determination can be further reduced.
  • the sensor device detects a predetermined action in the to-be-monitored person (target person) further, and the central processing unit Manages the detection result for the predetermined action received from the sensor device, and the terminal device receives and displays the detection result via the central processing unit.
  • the terminal device may be one type of device, but in the present embodiment, the terminal device is two types of devices: a fixed terminal device and a portable terminal device.
  • the main difference between the fixed terminal device and the mobile terminal device is that while the fixed terminal device is operated in a fixed manner, the mobile terminal device is operated by being carried by a supervisor (user) such as a nurse or a caregiver, for example.
  • a supervisor user
  • These fixed terminal devices and mobile terminal devices are substantially the same.
  • FIG. 1 is a diagram showing a configuration of a monitored person monitoring support system in the embodiment.
  • FIG. 2 is a diagram showing a configuration of a sensor device in which the sleep state detection device of the embodiment is incorporated in the monitored person monitoring support system.
  • the monitored person monitoring support system MS includes one or more sensor devices SU (SU-1 to SU-4), a management server device SV, and a fixed terminal.
  • a device SP, one or more portable terminal devices TA (TA-1 and TA-2), and a private branch exchange (PBX) CX are provided in a wired or wireless manner and in a LAN (Local Area Network).
  • Etc. communicably connected via a network (network, communication line) NW.
  • the network NW may be provided with relays such as repeaters, bridges and routers for relaying communication signals.
  • the network NW may be provided with relays such as repeaters, bridges and routers for relaying communication signals.
  • the plurality of sensor devices SU-1 to SU-4, the management server SV, the fixed terminal SP, the plurality of portable terminals TA-1 and TA-2, and the private branch exchange CX are L2 switches.
  • a wired / wireless mixed LAN for example, a LAN according to the IEEE 802.11 standard
  • NW including the line concentrators (hub, HUB) LS and the access point AP.
  • the plurality of sensor devices SU-1 to SU-4, the management server SV, the fixed terminal SP, and the private branch exchange CX are connected to the concentrator LS, and the plurality of mobile terminals TA-1 and TA-2 are connected.
  • the network NW constructs a so-called intranet by using an internet protocol group such as a transmission control protocol (TCP) and an internet protocol (IP).
  • TCP transmission control protocol
  • IP internet protocol
  • the private branch exchange (line switching unit) CX is connected to the network NW, controls extension telephones such as call origination, call reception, and call between the mobile terminal devices TA, and carries out extension telephone calls between the mobile terminal devices TA, For example, it is connected to an outside telephone TL such as a fixed telephone or a mobile telephone through a public telephone network PN such as a fixed telephone network or a mobile telephone network, for example, to make, receive, and make calls between the outside telephone TL and the mobile terminal device TA. , Etc. to control the outside line telephone to carry out the outside line telephone between the outside line telephone TL and the portable terminal device TA.
  • the private branch exchange CX is, for example, a digital exchange, an IP-PBX (Internet Protocol Private Branch eXchange), or the like.
  • the monitored person monitoring support system MS is disposed at an appropriate place according to the monitored person (targeted person) Ob.
  • the monitored person (watching target person) Ob is, for example, a person who needs nursing due to illness or injury, a person who needs care due to a decrease in physical ability or the like, or a single person living alone.
  • the person to be monitored Ob is a person who needs the detection when a predetermined adverse event such as an abnormal condition occurs in the person. preferable.
  • the person-to-be-monitored monitoring support system MS is suitably disposed in buildings such as hospitals, welfare facilities for the elderly and dwelling units according to the type of the person to be monitored Ob.
  • the monitored person monitoring support system MS is disposed in a building of a care facility provided with a plurality of living rooms RM in which a plurality of monitored persons Ob reside, and a plurality of rooms such as nurse stations. .
  • the sensor device SU has a communication function and the like for communicating with other devices SV, SP, and TA via the network NW, detects a predetermined event related to the monitored person Ob, and detects the detected event as the management server device SV. To the terminal apparatus SP and TA, and generates an image including a moving image and distributes the moving image to the terminal apparatus SP and TA.
  • the predetermined event preferably includes an event that requires a response.
  • the predetermined event includes a sleep state in the monitored person Ob, a predetermined action set in the monitored person Ob, and a nurse call.
  • Such a sensor device SU includes, for example, as shown in FIG.
  • a sensor unit 11 a sensor side sound input / output unit (SU sound input / output unit) 12, a nurse call reception operation unit 13, and a sensor side control process.
  • the sensor unit 11 is connected to the SU control processing unit 14, and is a device that measures predetermined amounts set in advance in the monitored person Ob under the control of the SU control processing unit 14.
  • the sensor unit 11 is provided with a first sensor that measures a subject in order to determine the sleep state of the monitored person Ob, and in order to determine the predetermined action in the monitored person Ob And a second sensor for measuring the person.
  • the first sensor determines the sleep state of the monitored person Ob based on the respiratory state, any kind of device capable of measuring the respiration of the monitored person Ob as one of the predetermined amounts. It is good.
  • the first sensor may be, for example, a pulsimeter or the like attached to a wrist or the like to measure a pulse, but in the present embodiment, since the respiration can be measured without contact with the monitored person Ob, the Doppler sensor 112 is used. It comprises and is constituted.
  • the predetermined action is, for example, in the present embodiment, an in-bed in which the monitored person Ob enters the bedding BD, an out-of-bed in which the monitored person Ob leaves the bedding BD, and a falling in which the monitored person Ob falls from the bedding BD. It includes a fall where the monitored person Ob falls outside the bedding BD, and a micromotion abnormality which is an abnormality of micromotion due to the breathing of the monitored person.
  • the second sensor may be any device capable of determining such predetermined behavior.
  • the predetermined behavior is divided into a first group including bed entry, bed leaving, falling and falling, and a second group including body movement abnormality, and the second sensor is the first group.
  • a second sub-sensor for The first sub-sensor may be, for example, a thermographic device capable of extracting a human region from a temperature distribution, or a distance image sensor capable of extracting a human region from a distance distribution, but in this embodiment, the first sub-sensor is based on an image. Since the first action belonging to one group is determined, the camera 111 is configured to generate an image as one of the predetermined amounts.
  • the second sub-sensor determines the second action belonging to the second group based on the breathing state, a device capable of measuring the respiration of the person to be monitored Ob as one of the predetermined amounts.
  • the Doppler sensor 112 is comprised. That is, in the present embodiment, the Doppler sensor 112 is shared by the first sensor and the second sub sensor.
  • the sensor unit 11 includes the camera 111 and the Doppler sensor 112.
  • the camera 111 is a device that is connected to the SU control processing unit 14 and generates an image (image data) under the control of the SU control processing unit 14.
  • the images include still images (still image data) and moving images (moving image data).
  • the camera 111 is arranged to be able to monitor the space where the person to be monitored Ob is planning to be located (location space; room RM in the arrangement location in the example shown in FIG. 1) An image (image data) obtained by imaging and looking over the imaging target is generated, and an image (target image) of the imaging target is output to the SU control processing unit 14.
  • the camera 111 is scheduled to locate the head of the subject Ob in the bedding (for example, a bed or the like) BD on which the subject Ob is lying, since it is highly probable that the entire subject Ob can be imaged. It arrange
  • the sensor unit SU uses this camera 111 to obtain an image of the person to be monitored Ob, which is taken from above the person to be monitored Ob, preferably an image of the person to be monitored Ob, which is taken from directly above the planned head position.
  • Such a camera 111 may be a device that generates an image of visible light, but in the present embodiment, it is a digital infrared camera that generates an infrared image so as to be able to monitor the monitored person Ob even in a relatively dark state. is there.
  • a digital infrared camera 111 is, for example, in the present embodiment, an imaging optical system for forming an infrared optical image of an imaging object on a predetermined imaging surface, and matching the light receiving surface with the imaging surface. And an image sensor that converts an infrared optical image of the imaging target into an electrical signal, and an image that is data representing an infrared image of the imaging target by performing image processing on an output of the image sensor An image processing unit that generates data is configured.
  • the imaging optical system of the camera 111 is preferably a wide-angle optical system (a so-called wide-angle lens (including a fisheye lens)) having an angle of view capable of imaging the entire room RM provided.
  • the Doppler sensor 112 is connected to the SU control processing unit 14, and is a device that measures the movement of the body surface of the chest associated with breathing in the monitored person Ob according to the control of the SU control processing unit 14.
  • the Doppler sensor 112 is a body movement sensor that transmits a transmission wave, receives a reflection wave of the transmission wave reflected by an object, and outputs a Doppler signal of a Doppler frequency component based on the transmission wave and the reflection wave. .
  • the frequency of the reflected wave is shifted in proportion to the moving velocity of the object by the so-called Doppler effect, so the difference between the frequency of the transmission wave and the frequency of the reflected wave (Doppler frequency component) It occurs.
  • the Doppler sensor 112 generates a signal of this Doppler frequency component as a Doppler signal at a predetermined sampling rate, and outputs the signal to the SU control processing unit 14.
  • the SU control processing unit 14 receives a Doppler signal from the Doppler sensor 112
  • the SU control processing unit 14 stores the received Doppler signal in the SU storage unit 16 in time series.
  • the transmission wave may be an ultrasonic wave, a microwave or the like, but in the present embodiment, it is a microwave.
  • the microwave can be transmitted through the clothes and reflected by the body surface of the monitored person Ob, so that the movement of the body surface can be detected even if the monitored person Ob wears clothes, which is preferable.
  • the SU sound input / output unit 12 is a circuit connected to the SU control processing unit 14 for acquiring an external sound and inputting it to the sensor unit SU, and an electric signal representing the sound according to the control of the SU control processing unit 14 It is a circuit for generating and outputting a sound according to.
  • the SU sound input / output unit 12 is configured to include, for example, a microphone that converts acoustic vibration of sound into an electrical signal, and a speaker that converts electrical signal of sound into acoustic vibration of sound.
  • the SU sound input / output unit 12 outputs an electrical signal representing an external sound to the SU control processing unit 14, and converts the electrical signal input from the SU control processing unit 14 into acoustic vibration of sound and outputs the acoustic vibration.
  • the nurse call reception operation unit 13 is connected to the SU control processing unit 14 and is a switch circuit such as a push button type switch for inputting a nurse call to the sensor device SU.
  • the nurse call reception operation unit 13 may be connected to the SU control processing unit 14 by wire, or may be connected to the SU control processing unit 14 by short distance wireless communication such as Bluetooth (registered trademark) standard, for example.
  • the SU communication IF unit 15 is a communication circuit that is connected to the SU control processing unit 14 and performs communication according to the control of the SU control processing unit 14.
  • the SU communication IF unit 15 generates the communication signal containing the data to be transferred, which is input from the SU control processing unit 14, in accordance with the communication protocol used in the network NW of the person-to-be-monitored monitoring support system MS
  • the communication signal is transmitted to the other devices SV, SP, TA via the network NW.
  • the SU communication IF unit 15 receives communication signals from other devices SV, SP, and TA via the network NW, extracts data from the received communication signals, and the SU control processing unit 14 can process the extracted data.
  • the data is converted into data of the following format and output to the SU control processing unit 14.
  • the SU communication IF unit 15 includes, for example, a communication interface circuit conforming to the IEEE 802.11 standard or the like.
  • the SU storage unit 16 is a circuit which is connected to the SU control processing unit 14 and stores various predetermined programs and various predetermined data according to the control of the SU control processing unit 14.
  • the various predetermined programs include, for example, an SU control program for controlling each part of the sensor unit SU according to the function of each part, and a sleep state process based on the output of the sensor unit 11 as the monitored person Ob
  • the detection timing is detected based on the sleep state processing program for obtaining the sleep state or the output of the sensor unit 11, the predetermined action in the monitored person Ob is determined based on the output of the sensor unit 11, and the management server SV
  • a processing control program for controlling the sleep state processing program according to the detection result of the action detection processing program (timing detection program) to be notified, the timing detection program (action detection processing program), a nurse call reception operation unit 13 When the call is accepted, the management server SV is notified of that and the SU sound is input / output.
  • Control processing programs such as processing programs are included.
  • each program such as a sensor device identifier (sensor ID) which is an identifier for identifying and identifying the sensor device SU of its own device, and a communication address of the management server device SV is executed. It contains the necessary data etc. above.
  • the SU storage unit 16 includes, for example, a ROM (Read Only Memory), which is a non-volatile memory element, and an Electrically Erasable Programmable Read Only Memory (EEPROM), which is a rewritable non-volatile memory element.
  • the SU storage unit 16 includes, for example, a random access memory (RAM) serving as a working memory of a so-called SU control processing unit 14 that stores data and the like generated during execution of the predetermined program.
  • RAM random access memory
  • the SU control processing unit 14 controls each of the units 11 to 13, 15, and 16 of the sensor unit SU according to the function of each of the units, detects a predetermined event related to the monitored person Ob, and detects the detected event. It is a circuit for notifying the management server device SV, making a voice call with the terminal devices SP and TA, and generating an image including a moving image and distributing the moving image to the terminal devices SP and TA.
  • the SU control processing unit 14 includes, for example, a central processing unit (CPU) and peripheral circuits thereof.
  • the SU control processing unit 14 executes the control processing program to execute a sensor-side control unit (SU control unit) 141, a sleep state processing unit 142, an action detection processing unit (timing detection unit) 143, and a processing control unit 144.
  • SU control unit sensor-side control unit
  • sleep state processing unit a sleep state processing unit
  • action detection processing unit timing detection unit
  • processing control unit 144 a processing control unit 144.
  • a nurse call processing unit 145 and a streaming processing unit 146 are functionally provided.
  • the SU control unit 141 controls the respective units 11 to 13, 15, and 16 of the sensor unit SU according to the functions of the respective units, and controls the entire control of the sensor unit SU.
  • the sleep state processing unit 142 determines the sleep state of the person to be monitored Ob based on the output of the sensor unit 11, that is, the first measurement result of the first sensor as sleep state processing, and notifies the management server SV of the sleep state. It is. More specifically, based on the first measurement result of the first sensor, the sleep state processing unit 142 obtains, as the sleep state, a sleep degree that indicates the degree of the depth of the sleep of the person to be monitored Ob. In the present embodiment, the sleep state processing unit 142 obtains the sleep state based on the Doppler signal of the Doppler sensor 112 which is an example of the first sensor at predetermined time intervals set in advance.
  • the sleep state processing unit 142 performs, for example, fast Fourier transform (FFT) on the Doppler signal measured within a predetermined time (for example, one minute or two minutes) from the measurement time point to the past, and From the obtained spectrum, the average value of the amplitude in the frequency band corresponding to the general respiratory frequency is determined, and the determined average value is compared with the threshold for determining the sleep level (sleep level division threshold).
  • FFT fast Fourier transform
  • the degree of sleep is temporarily determined as the sleep state, and the temporarily determined degree of sleep is determined as the final degree of sleep when the temporarily determined degree of sleep continues for a preset continuation determination time. Then, the sleep state processing unit 142 updates the state variable with the finally determined sleep degree.
  • the state variable is a variable that stores the sleep degree obtained by the sleep state processing unit 142 and the predetermined action obtained by the action detection processing unit 143 described later.
  • the sleep level classification threshold is appropriately set using, for example, a plurality of samples.
  • the sleep level is a low sleep level where sleep is relatively shallow and a high sleep level where sleep is relatively deep during awakening
  • the sleep level classification threshold is a low sleep level during these awakenings.
  • two first and second sleep degree division thresholds are included.
  • the sleep level classification threshold may be a plurality of three or more in order to further divide into multiple stages.
  • the first sleep level classification threshold for distinguishing between awakening and low sleep degree is set to a value larger than the second sleep level classification threshold for distinguishing low sleep degree and high sleep degree (first sleep level classification threshold> Second sleep level classification threshold).
  • the sleep state processing unit 142 stores event information (event information) representing the contents of a predetermined event (event) related to the monitored person Ob.
  • the SU communication IF unit 15 notifies the management server SV of a communication signal (first event notification communication signal) for notifying the event. More specifically, the sleep state processing unit 142 transmits, via the SU communication IF unit 15, the first event notification communication signal containing the sensor ID of its own device and the event information representing the contents of the event via the management server SV Send to
  • the event information is one or more of sleep level (awakening, low sleep level, high sleep level), bed entry, bed leaving, falling, falling, body movement abnormality and nurse call (NC).
  • the sleep state processing unit 142 stores the obtained sleep degree (during awakening, low sleep degree, high sleep degree) in the first event notification communication signal as the event information.
  • the sleep state processing unit 142 may cause the camera 111 to generate an image, and the image may be further contained in the first event notification communication signal.
  • the image may be at least one of a still image and a moving image.
  • the sleep state processing unit 142 may further obtain the reliability indicating the degree of reliability of the sleep degree and notify the management server SV of the reliability.
  • the sleep state processing unit 142 obtains the duration of the obtained sleep degree, and compares the duration of the obtained sleep degree with a threshold (reliability classification threshold) for determining the reliability.
  • a threshold for determining the reliability.
  • the reliability classification threshold is appropriately set to one or more using a plurality of samples.
  • the reliability classification threshold may be a single value for discriminating whether the reliability is relatively high or the reliability is relatively low, or, for example, the reliability may be trusted. In order to divide into three stages of relatively high reliability, medium reliability with relatively moderate reliability, and low reliability with relatively low reliability, with all two values You may be there.
  • the action detection processing unit (timing detection unit) 143 detects the detection timing based on the output of the sensor unit 11 and determines a predetermined action on the monitored person Ob based on the output of the sensor unit 11 to manage the management server device. It is to notify the SV.
  • the action detection processing unit (timing detection unit) 143 detects the detection timing by determining whether or not the person to be monitored Ob is in the bedding from the image generated by the camera 111 of the sensor unit 11. Do. More specifically, the area in which the bedding BD is arranged in the target image (the area where the bedding BD is located) is stored in advance in the storage unit 16 as one of the various data.
  • the timing detection unit 143 may, for example, completely overlap a person area extracted by the background subtraction method from the target image acquired from the camera 111 within the area of the bedding BD (the person area is completely within the area of the bedding BD) If it is determined that it is a state suitable for detecting a sleep state and it is detection timing, otherwise it is determined that it is a state not suitable for detecting a sleep state and not a detection timing, and this detection result Are notified (outputted) to the processing control unit 144.
  • the predetermined behavior is, as described above, admission, leaving, falling, falling, and anomalous body movement, and these entering, leaving, falling, and falling are
  • the movement of the body is detected based on the output of the camera 111 (target image), and the micro movement abnormality is detected based on the output of the Doppler sensor 112 (Doppler signal).
  • bed entry, bed leaving, falling, falling and body movement abnormalities are determined as follows.
  • various threshold values and continuation determination time are appropriately set from a plurality of samples, and are stored in advance in the storage unit 16 as one of the various data.
  • the action detection processing unit 143 determines that the previous state variable is "bed up", and the human region extracted by the background subtraction method from the target image acquired from the camera 111 this time is the location of the bedding BD. If the area completely overlaps (when the person area is completely within the area of the bedding BD), it is provisionally determined that the bed is on, and the duration of the complete superposition state continues beyond the bed continuation determination time. If it is determined that there is an entrance, the entrance is detected. Then, the action detection processing unit 143 updates the state variable with “in bed”.
  • the admission continuation determination time is a threshold value for ultimately determining that the bed, which is temporarily determined by completely overlapping the extracted person area and the location area of the bedding BD, is the bed.
  • the action detection processing unit 143 determines that the previous state variable is any one of “in bed” and “in awakening”, and the human region extracted from the target image acquired from the camera 111 this time is
  • the overrun area out of the area of the bedding BD is equal to or more than the bedfall determination threshold, it is temporarily determined to be out of bed, and the continuation time of the overrun area in the state exceeding the bedbreak determination threshold exceeds the bedtime continuation determination time In some cases, it is finally determined that there is a bed, and the bed is detected.
  • action detection processing part 143 updates the above-mentioned state variable by "Being out of bed".
  • the bed leaving determination threshold is a threshold for determining whether or not bed leaving is determined according to the size of the protruding area.
  • the bed leaving continuation determination time is a threshold value for finally determining that bed leaving which has been tentatively determined by comparing the protruding area with the bed leaving determination threshold is bed leaving.
  • the action detection processing unit 143 determines that the size of the head area of the person area extracted from the target image acquired from the camera 111 at this time is equal to or less than the lying posture determination threshold, and the size of the head area When the change speed of is greater than or equal to the fall judgment speed threshold and the person area is within the fall judgment area set around the area where the bedding BD is located, it is judged that there is a fall and the fall is detected.
  • the lying posture determination threshold is a threshold for determining whether or not the size of the head region in the lying posture is.
  • the fall determination speed threshold is a threshold for determining whether or not a fall is caused by the change speed of the size of the head region.
  • the action detection processing unit 143 determines that the size of the head area of the person area extracted from the target image acquired from the camera 111 at this time is equal to or less than the lying posture determination threshold, and the size of the head area If the change speed of is greater than or equal to the fall determination speed threshold and the person area is in the area excluding the bedding BD and the fall determination area, it is determined that there is a fall, and the fall is detected.
  • the fall determination speed threshold value is a threshold value for determining whether or not it is a fall according to the change speed of the size of the head region.
  • the action detection processing unit 143 determines the micro movement abnormality based on the Doppler signal of the Doppler sensor 112. More specifically, like the sleep state processing unit 142, the action detection processing unit 143 performs, for example, fast Fourier transform (FFT) on the Doppler signal measured within a predetermined time from the measurement time point to the past.
  • FFT fast Fourier transform
  • an average value of amplitudes in a frequency band corresponding to a general respiration frequency is determined, and the determined average value and a threshold for determining whether or not there is an abnormality in the body movement (microbody Motion abnormality determination threshold), and if the average value obtained is equal to or less than the above-mentioned body movement abnormality determination threshold, it is temporarily determined that there is a body movement abnormality, and the above average value is less than the above-mentioned body movement abnormality determination threshold If the continuation time of a certain state continues beyond the time period for determination of abnormal movement of microbes, the micromotion abnormality is finally determined to be present, and the microbeal movement abnormality is detected.
  • the micro movement abnormality determination threshold is set to a value smaller than the second sleep degree division threshold (second sleep degree division threshold> micro movement abnormality determination threshold).
  • second sleep degree division threshold> micro movement abnormality determination threshold In order that the micro movement abnormality continuation determination time may finally determine that the micro movement abnormality temporarily determined by comparing the average value thus determined and the micro movement abnormality determination threshold is a micro movement abnormality. Is the threshold of
  • the action detection processing unit 143 accommodates one or more of bed entry, bed leaving, falling, falling, and body movement abnormality as the sensor ID of the own device and the event information.
  • the first event notification communication signal is transmitted to the management server SV via the SU communication IF unit 15.
  • the action detection processing unit 143 detects any of the entering, leaving, falling and falling, the first image is notified of the target image used in detecting the entering, leaving, falling and falling. It may be further accommodated in the communication signal, and if a body movement abnormality is detected, the camera 111 may be caused to generate an image, and this image may be further accommodated in the first event notification communication signal.
  • the image may be at least one of a still image and a moving image.
  • the camera 111 is It is used for both detection of detection timing and detection of the predetermined action.
  • the process control unit 144 controls the sleep state processing unit 142 in accordance with the detection result of the timing detection unit (action detection processing unit) 143. More specifically, in the present embodiment, whether or not the process control unit 144 executes the sleep state process in the sleep state processing unit 142 according to the detection result of the timing detection unit (action detection processing unit) 143. Control.
  • the processing control unit 144 causes the sleep state processing unit 142 to execute the sleep state processing, and when the detection result of the behavior detection processing unit (timing detection unit) 143 is not suitable for the detection of the sleep state and is not the detection timing.
  • the sleep state process is not performed.
  • the nurse call processing unit 145 When the nurse call reception operation unit 13 receives a nurse call, the nurse call processing unit 145 notifies the management server apparatus SV of a first event notification communication signal that accommodates this as another example of the predetermined event.
  • voice communication is performed with the terminal devices SP and TA. More specifically, when the nurse call reception operation unit 13 is operated for input, the nurse call processing unit 145 performs SU communication of the first event notification communication signal containing the nurse call as the sensor ID of the own device and the event information. It transmits to the management server apparatus SV via the IF unit 15. Then, the nurse call processing unit 145 uses the SU sound input / output unit 12 or the like to make a voice call, for example, by using Voice over Internet Protocol (VoIP) with the terminal devices SP and TA.
  • VoIP Voice over Internet Protocol
  • the SU streaming processing unit 146 sends the requested fixed terminal apparatus SP or the portable terminal apparatus TA , And distributes a moving image (for example, a live moving image) generated by the camera 11 through the SU communication IF unit 15 by streaming reproduction.
  • a moving image for example, a live moving image
  • FIG. 1 Four first to fourth sensor devices SU-1 to SU-4 provided corresponding to the monitored person Ob are shown in FIG. 1 as an example, and the first sensor device SU-1 is shown. Is disposed in the room RM-1 (not shown) of Mr. A's Ob-1 who is one of the monitored persons Ob, and the second sensor device SU-2 is Mr. B's Ob- who is one of the monitored persons Ob.
  • the third sensor device SU-3 is disposed in a living room RM-2 (not shown) of 2 and is disposed in a living room RM-3 (not shown) of Mr. C's Ob-3 who is one of the monitored persons Ob.
  • the fourth sensor device SU-4 is disposed in a living room RM-4 (not shown) of Mr. D's Ob-4 who is one of the monitored persons Ob.
  • the sensor unit 11 the sleep state processing unit 142, the behavior detection processing unit (timing detection unit) 143, and the processing control unit 144 constitute an example of the sleep state detection device.
  • the management server SV has a communication function of communicating with the other devices SU, TA, and SP via the network NW, and receives the notification of the predetermined event from the sensor device SU by the first event notification communication signal.
  • the data is provided to the client according to the request of the terminal device (SP, TA, etc.) to manage the entire monitored person monitoring support system MS.
  • the monitoring information includes, for example, a sensor ID of the sensor device SU that is a transmission source of the first event notification communication signal, the predetermined event (sleeping state (sleeping degree obtained by the sensor device SU), and a sensor These are the type of predetermined action detected by the device SU, the nurse call received by the sensor device SU), the image of the monitored person Ob, the time when the notification is received (notification time), etc. It is associated and stored (recorded, managed).
  • the monitoring information is accommodated in the second event notification communication signal.
  • the second event notification communication signal may be transmitted, for example, by broadcast communication (broadcast or multicast), or, for example, one or more associated with the sensor device SU that is the transmission source of the first event notification communication signal. May be sent to the terminal device SP, TA.
  • a management server SV can be configured, for example, by a computer with a communication function.
  • the fixed terminal device SP includes a communication function of communicating with other devices SU, SV, and TA via the network NW, a display function of displaying predetermined information, and an input function of inputting predetermined instructions and data. Monitored by, for example, inputting predetermined instructions and data given to the management server SV and the portable terminal TA, displaying the monitoring information obtained by the sensor SU by notification from the management server SV, etc.
  • the device functions as a user interface (UI) of the person monitoring support system MS.
  • UI user interface
  • Such fixed terminal apparatus SP can be configured, for example, by a computer with a communication function.
  • the portable terminal device TA has a communication function of communicating with other devices SV, SP, SU via the network NW, a display function of displaying predetermined information, an input function of inputting predetermined instructions and data, and a voice call.
  • a call function to be performed is provided, and predetermined instructions and data given to the management server device SV and the sensor device SU are input, or the monitoring information obtained by the sensor device SU is displayed by notification from the management server device SV, It is a device for answering or calling a nurse call by voice communication with the sensor unit SU.
  • Such a portable terminal device TA can be configured by, for example, a portable communication terminal device such as a so-called tablet computer, a smartphone, or a mobile phone.
  • FIG. 3 is a flow chart showing the operation of the sensor device in the service mode.
  • FIG. 4 is a flowchart showing the operation of the sensor device in the sleep state determination process shown in FIG.
  • FIG. 5 is a flowchart showing an operation of the sensor device in the fall determination process shown in FIG.
  • FIG. 6 is a flowchart showing the operation of the sensor device in the falling determination process shown in FIG.
  • FIG. 7 is a flowchart showing the operation of the sensor device in the bed entering determination process shown in FIG.
  • FIG. 8 is a flowchart showing the operation of the sensor device in the bed leaving determination process shown in FIG.
  • FIG. 9 is a flow chart showing the operation of the sensor device in the micro movement abnormality determination process shown in FIG. FIG.
  • FIG. 10 is a diagram showing an example of a main screen displayed on the terminal device.
  • FIG. 11 is a diagram showing an example of a first setting screen displayed on the terminal device.
  • FIG. 12 is a diagram showing an example of a second setting screen displayed on the terminal device.
  • FIG. 13 is a diagram showing an example of a monitoring information screen displayed on the terminal device.
  • FIG. 14 is a view showing another example of the monitoring information screen displayed on the terminal device.
  • FIG. 15 is a diagram showing still another example of the monitoring information screen displayed on the terminal device.
  • FIG. 13A, FIG. 14A and FIG. 15A are each a diagram showing a monitoring information screen displaying the contents of an event as text, and FIG. 13B, FIG. 14B and FIG. It is a figure which shows an information screen.
  • the SU control processing unit 14 includes an SU control unit 141, a sleep state processing unit 142, an action detection processing unit (timing detection unit) 143, a processing control unit 144, and a nurse call by executing the control processing program.
  • the processing unit 145 and the streaming processing unit 146 are functionally configured.
  • the terminal device SP When the power is turned on and the operation is started, the terminal device SP, TA, for example, the fixed terminal device SP accepts a log-in operation by a supervisor (user) such as a nurse or a caregiver. In the login operation, an ID or the like of a user name or the like of the monitor (user) is input and stored in the storage unit. When the fixed terminal device SP logs in to the monitored person monitoring support system MS by the login operation, the fixed terminal device SP displays a main screen on the display unit.
  • a supervisor such as a nurse or a caregiver
  • an ID or the like of a user name or the like of the monitor (user) is input and stored in the storage unit.
  • the fixed terminal device SP logs in to the monitored person monitoring support system MS by the login operation, the fixed terminal device SP displays a main screen on the display unit.
  • the main screen is a screen for receiving the operation mode of the fixed terminal device SP.
  • the main screen 21 includes a “service mode” button 211 and a “setting mode” button 212.
  • the “service mode” button 211 is a button for requesting a service mode for monitoring the monitored person Ob as the operation mode of the fixed terminal device SP, and an instruction to operate the fixed terminal device SP in the service mode (instruction, command ) Is a button for inputting.
  • the “setting mode” button 212 is a button for requesting a setting mode for setting a predetermined parameter defined in advance as an operation mode of the fixed terminal apparatus SP, and instructs the fixed terminal apparatus SP to operate in the setting mode. It is a button for inputting.
  • the fixed terminal device SP When displaying the main screen 21 as described above, when receiving an input operation from the input unit of the fixed terminal device SP, the fixed terminal device SP receives the input operation received by the control processing unit as “service mode It is determined whether it is an input operation of the “” button 211 or an input operation of the “setting mode” button 212.
  • the fixed terminal device SP starts operation in the service mode so as to monitor the monitored person Ob.
  • the input operation is, for example, an operation in which the cursor is moved onto the “service mode” button 211 by the movement of the mouse and the mouse is left-clicked.
  • the fixed terminal device SP starts operation in the setting mode so as to set the predetermined parameter. .
  • the fixed terminal device SP displays a setting screen on the display unit.
  • authentication is performed using an ID such as a user name, and only the authorized user (the setter) can enter the setting mode.
  • the setting screen is a screen for inputting and setting the predetermined parameter.
  • the predetermined parameter is a setting value used to appropriately determine the predetermined event, and for example, an imaging condition for extracting a monitored person Ob from an image, and the determination Threshold (determination threshold) or the like.
  • the predetermined parameters are a frame rate, a brightness level, a ceiling height, and an area where the bedding BD is located.
  • the setting screen comprises two first and second setting screens in the present embodiment.
  • the first setting screen inputs (determines) a person to be monitored Ob (sensor device SU) to be a target of parameter setting, and mainly the numerical parameters (the frame rate in the present embodiment) among the predetermined parameters. , Brightness level and ceiling height) are input and set.
  • the second setting screen is a screen for inputting and setting other parameters (in the present embodiment, the location area of the bedding BD) other than numerical parameters among the predetermined parameters.
  • the fixed terminal device SP causes the control processing unit to display the first setting screen on the display unit 4.
  • this first setting screen 22 is for inputting and setting a frame rate and a monitor person's name input setting area 221 for inputting and setting the name of the monitoree Ob.
  • Frame rate input setting area 222 a brightness level input setting area 223 for inputting and setting a brightness level
  • a ceiling height input setting area 224 for inputting and setting a ceiling height
  • An area setting button 225 and a "return to main screen” button 226 are provided.
  • Each of the input setting areas 221 to 224 includes an input field for parameter values, and an “update” button for storing and setting parameters based on the parameter values input to the input fields.
  • the “area setting” button 225 is a button for requesting the second setting screen, and is a button for inputting an instruction to cause the fixed terminal apparatus SP to display the second setting screen.
  • the “return to main screen” button 226 is a button for requesting the main screen 21, and is a button for inputting an instruction to cause the fixed terminal apparatus SP to display the main screen 21.
  • the “return to main screen” button 226 is also a button for setting each parameter value stored as a parameter in the storage unit to the sensor unit SU via the management server unit SV.
  • setting the frame rate defines the execution interval of the event detection operation.
  • the control processing unit of the fixed terminal device SP sets the brightness level to “5”, and is stored in the storage unit of the fixed terminal device SP. Ru. If the target image captured by the sensor unit SU is too dark or too bright, it becomes difficult to extract the person area of the person to be monitored Ob from the target image, and it becomes difficult to identify a person. By setting the brightness level, a target image can be generated with a proper exposure, the person area can be extracted more appropriately, and the person can be more appropriately identified.
  • the control processing unit of the fixed terminal device SP sets the ceiling height to “2.4 m”, and the storage unit of the fixed terminal device SP is It is memorized.
  • the sensor unit SU is disposed on a ceiling with a standard ceiling height (for example, 2.4 m or the like)
  • the recumbent posture determination threshold value or the like in the case where the sensor unit SU is disposed is stored in advance in the sensor unit SU as a default value.
  • the recumbent posture determination threshold of the default value is corrected, and the corrected recumbent posture determination threshold is used for the detection of the predetermined action described above.
  • the lying posture determination threshold can be adjusted in accordance with the situation of the sensor device SU actually installed.
  • the fixed terminal device SP displays the second setting screen on its display unit.
  • the second setting screen 23 includes a target image display area 231 for displaying a target image, an “update” button 232, and a “return” button 233.
  • the target image display area 231 the camera 111 of the sensor device SU for monitoring the monitored person Ob having the name of the monitored person Ob inputted in the monitored person name input setting area 221 of the first setting screen 22.
  • the generated target image is displayed.
  • the “update” button 232 is a button for requesting setting of parameters in the area input from the input unit while referring to the target image displayed in the target image display area 231.
  • the “return” button 233 is a button for requesting the first setting screen 22, and is a button for inputting an instruction to cause the fixed terminal apparatus SP to display the first setting screen 22.
  • the fixed terminal device SP waits for the input of the location area of the bedding BD.
  • the control processing unit of the fixed terminal SP determines The pixel position is input, stored in the storage unit, and the location area of the bedding BD is set.
  • FIG. 12 illustrates how the user inputs the four vertices of the location area of the bedding BD.
  • the fixed terminal device SP manages each parameter value stored as a parameter in its storage unit as a management server device
  • the sensor unit SU transmits the parameter values to the sensor unit SU via the SV, and stores and sets the received parameter values in the SU storage unit 16 of the own unit SU. As a result, each value of the predetermined parameter is set in the sensor unit SU.
  • the fixed terminal device SP when the input operation of the “service mode” button 211 is received on the main screen 21 described above, the fixed terminal device SP operates in the service mode, and the monitored person monitoring support system MS operates as follows. Monitors the monitored person Ob.
  • the sensor device SU detects the sleep state of the monitored person Ob by operating as follows for each frame or every several frames, and detects the sleeping state of the monitored person Ob. A predetermined operation is detected, and the presence or absence of acceptance of a nurse call is determined.
  • the sensor unit SU causes the SU control processing unit 14 to acquire an image of one frame as a target image from the camera 111 of the sensor unit 11 (S1).
  • the sensor device SU causes the behavior detection processing unit (timing detection unit) 143 of the SU control processing unit 14 to extract a human area from the target image acquired from the camera 111 in process S1 by, for example, background subtraction (S2) .
  • the sensor device SU causes the timing detection unit (action detection processing unit) 143 to determine whether it is a detection timing of the sleep state (S3). More specifically, in the present embodiment, the timing detection unit 143 determines whether the person area extracted in the process S2 completely overlaps the location area of the bedding BD (the person area is completely the bedding BD). It is determined whether or not it is within the location area. As a result of this determination, when the person area completely overlaps the area where the bedding BD is located, the timing detection unit 143 determines that it is a state suitable for detection of a sleep state and is a detection timing of a sleep state ( Yes), the detection result is notified to the processing control unit 144, and then processing S4 is executed.
  • the timing detection unit 143 determines whether the person area extracted in the process S2 completely overlaps the location area of the bedding BD (the person area is completely the bedding BD). It is determined whether or not it is within the location area.
  • the timing detection unit 143 determines that it is a state suitable for detection of
  • the timing detection unit 143 is not suitable for detecting the sleep state except when the human area completely overlaps the area where the bedding BD is located, and the sleep state is detected. It is determined that it is not timing (No), the detection result is notified to the processing control unit 144, and then processing S5 is executed. When it is determined that it is not the detection timing of the sleep state (No), the timing detection unit 143 may execute processing S5 next without notifying the processing control unit 144 of the detection result.
  • the sensor device SU controls the sleep state processing unit 142 by the process control unit 144 of the SU control processing unit 14.
  • the sleep state processing unit 142 sleeps.
  • the process S10 is executed without executing the process, and the detection result that the detection timing of the sleep state is received from the action detection processing unit (timing detection unit) 143, the sleep state is detected. After having the processing unit 142 execute the sleep state process, next, the process S10 is performed.
  • the sleep state processing unit 142 determines whether the determination condition of the sleep state is satisfied based on the Doppler signal of the Doppler sensor 112 (S41). More specifically, the sleep state processing unit 142 first acquires, from the SU storage unit 16, a Doppler signal measured within a predetermined time, for example, one minute, from the present time to the past. Subsequently, the sleep state processing unit 142 performs, for example, fast Fourier transform (FFT) on the acquired one-minute Doppler signal. Subsequently, the sleep state processing unit 142 obtains an average value of amplitudes in a frequency band corresponding to a general respiration frequency from the spectrum obtained by the FFT.
  • FFT fast Fourier transform
  • the sleep state processing unit 142 compares the calculated average value with the sleep level division threshold, and in the present embodiment, the first and second sleep level division thresholds respectively. As a result of this comparison, when the average value thus obtained exceeds the first sleep level classification threshold, the sleep state processing unit 142 temporarily determines that the awakening state is in progress, and the average value exceeds the first sleep level classification threshold. If the duration of the current state exceeds the predetermined duration determination time (presence duration during awakening determination), the tentatively determined duration of awakening is determined as the final sleep degree (Yes), Next, process S42 is performed.
  • the sleep state processing unit 142 provisionally obtains the low sleepiness degree, when the calculated average value is less than the first sleepiness degree division threshold and exceeds the second sleepiness degree division threshold.
  • the duration of the state in which the average value is less than the first sleep level category threshold and exceeds the second sleep level category threshold exceeds a predetermined continuation determination time (low sleep continuation determination time) set in advance.
  • the temporarily determined low sleep level is determined as the final sleep level (Yes), and then the process S42 is executed.
  • the sleep state processing unit 142 temporarily determines the high sleep degree, and the average value is equal to or less than the second sleep level division threshold.
  • the sleep state processing unit 142 provisionally determines the sleep state (No), and ends the present sleep state processing.
  • the sleep state processing unit 142 determines that the sleep state has been determined and the sleep state has been obtained.
  • Sleep state detection presence information (for example, a sleep state detection flag indicating presence or absence of sleep state detection is “0” 1) is stored in the SU storage unit 16 and the state variable is updated with “sleeping degree (any of awakening, low sleep degree, high sleep degree)” (state variable ⁇ “ sleeping degree ” ), End this sleep state processing.
  • the sensor device SU causes the action detection processing unit 143 of the control processing unit 14 to execute a fall determination process based on the person area extracted in the process S2.
  • the action detection processing unit 143 determines whether or not the fall determination condition is satisfied based on the person area extracted in the process S2 (S51). ). More specifically, the action detection processing unit 143 determines that the size of the head area of the human area extracted from the target image in step S2 is equal to or less than the lying posture determination threshold, and the change speed of the size of the head area is If the person's area is within the fall determination area set around the area where the bedding BD is located, it is determined that there is a fall (Yes), and the process S52 is performed next. In the other cases except this, it is determined that there is no fall (No), and the present fall determination processing is ended.
  • the extraction of the head region is performed by, for example, circular or elliptical Hough transform from the person region, for example, pattern matching using a prepared head model (template), for example, head extraction It is extracted by the neural network learned for the purpose.
  • the action detection processing unit 143 stores the SU storage information (for example, the fall flag representing the presence or absence of a fall is changed from "0" to "1") by determining the occurrence of a fall and indicating the presence of a fall.
  • the part 16 is stored, and the main fall determination process is ended.
  • the sensor device SU causes the behavior detection processing unit 143 to execute the overturn determination processing based on the person area extracted in the processing S2.
  • the action detection processing unit 143 determines whether or not the fall determination condition is satisfied based on the person area extracted in the process S2 (S61) ). More specifically, the action detection processing unit 143 determines that the size of the head area of the human area extracted from the target image in step S2 is equal to or less than the lying posture determination threshold, and the change speed of the size of the head area is If the person's area is in the area excluding the location area of the bedding BD and the fall determination area, it is determined that there is a fall (Yes), and then the process S62 is executed. Otherwise, it is determined that there is no fall (No), and this fall determination processing is ended.
  • the action detection processing unit 143 stores the SU presence information (for example, the fall flag indicating the presence or absence of a fall is changed from “0" to "1") by determining the occurrence of a fall and representing the presence of a fall. It memorizes in section 16, ends this falling decision processing.
  • the sensor device SU causes the behavior detection processing unit 143 to perform an entrance determination processing based on the person area extracted in the processing S2.
  • the action detection processing unit 143 first determines whether the state variable (previous state variable) is (S71). As a result of this determination, when the state variable is not “bedding off” (No), the behavior detection processing unit 143 ends the main entrance determination processing. On the other hand, as a result of the determination, if the state variable is “bedding off” (Yes), the action detection processing unit 143 next executes processing S72. In the process S72, the action detection processing unit 143 determines whether or not the determination condition of entering the floor is satisfied based on the person area extracted in the process S2.
  • the action detection processing unit 143 detects the case where the person area extracted from the target image in step S2 completely overlaps the area where the bedding BD is located (the person area is completely within the area where the bedding BD is located). And if the duration of the full superposition state continues beyond the admission continuation determination time, it is finally determined that admission is present (Yes), then The process S73 is executed, and in the case other than the above, it is determined that there is no bed entry (No), and the present bed entry determination process is ended.
  • the behavior detection processing unit 143 determines the occurrence of the entrance and the presence information indicating the presence of the entrance (for example, the entrance flag indicating the presence or absence of the entrance is changed from "0" to "1"). Is stored in the SU storage unit 16). Subsequently, the behavior detection processing unit 143 updates the state variable with “in-bed” (state variable ⁇ “ in-bed ”) (S74), and ends the main-in-bed determination processing.
  • the sensor device SU causes the behavior detection processing unit 143 to execute the bed separation determination processing based on the person area extracted in the processing S2.
  • the action detection processing unit 143 first determines whether the state variable (previous state variable) is (S81). As a result of this determination, when the state variable is neither “in bed” nor “in awakening” (No), the behavior detection processing unit 143 ends the current leaving determination process. On the other hand, as a result of the determination, if the state variable is any one of “in bed” and “awake” (Yes), the action detection processing unit 143 next executes a process S82. In the process S82, the action detection processing unit 143 determines whether or not the determination condition for bed departure is satisfied based on the person area extracted in the process S2.
  • the behavior detection processing unit 143 provisionally determines that the user has left the bed, if the overrun area where the person area extracted from the target image in the process S2 is currently out of the area of the bedding BD is equal to or greater than the departure determination threshold. If the continuation time of the protruding area in the state of being equal to or greater than the departure determination threshold exceeds the stay continuation determination time, it is finally determined that there is departure (Yes), and then processing S83 is executed, In the other cases, it is determined that there is no bed leaving (No), and the bed leaving determination process is ended.
  • the behavior detection processing unit 143 determines the occurrence of bed departure and stores the presence of bed leaving information (for example, the bed leaving flag indicating presence or absence of bed leaving is changed from "0" to "1") in the SU memory. Store in section 16 Subsequently, the behavior detection processing unit 143 updates the state variable with "bedding" (state variable ⁇ " beading ") (S84), and ends the bed leaving determination processing.
  • the sensor device SU causes the behavior detection processing unit 143 to execute micro movement abnormality determination processing based on the Doppler signal of the Doppler sensor 112 in the sensor unit 11.
  • the action detection processing unit 143 determines whether or not the micro movement abnormality determination condition is satisfied based on the Doppler signal of the Doppler sensor 112. It determines (S91). More specifically, the action detection processing unit 143 first acquires, from the SU storage unit 16, a Doppler signal measured within a predetermined time, for example, within one minute, from the present time to the past. Subsequently, the behavior detection processing unit 143 performs, for example, fast Fourier transform (FFT) on the acquired one-minute Doppler signal.
  • FFT fast Fourier transform
  • the behavior detection processing unit 143 obtains an average value of amplitudes in a frequency band corresponding to a general respiration frequency from the spectrum obtained by the FFT. Subsequently, the action detection processing unit 143 compares the calculated average value with the above-mentioned body movement abnormality determination threshold, and if the obtained average value is equal to or less than the above-mentioned body movement abnormality determination threshold, the body movement abnormality If the duration of the state where the average value is equal to or less than the micro movement abnormality determination threshold is tentatively determined and continues beyond the micro movement abnormality continuation determination time, the micro movement abnormality is determined to be present.
  • micro movement abnormality determination process is ended.
  • the action detection processing unit 143 determines micro body movement abnormality occurrence and indicates micro body movement abnormality presence information indicating presence of micro body movement abnormality (for example, a micro body movement abnormality flag indicating presence or absence of micro body movement abnormality “0” is changed to “1” to be stored in the SU storage unit 16, and the micro movement abnormality determination process is ended.
  • the sensor device SU determines whether or not notification of a predetermined event is necessary by the SU control processing unit 14 (S10). More specifically, the sensor unit SU causes the sleep state processing unit 142 of the SU control processing unit 14 to store the sleep state detection information in the SU storage unit 16 or the SU storage unit using the action detection processing unit 143 of the SU control processing unit 14. For example, it is determined whether the result of the fall presence information, the fall presence information, etc. is stored in 16, and if the result is stored in the SU storage unit 16, the SU control processing unit 14 If it is determined that the notification is necessary (Yes) and then the process S11 is executed, the present process is terminated. If the result is not stored in the SU storage unit 16, the SU control processing unit is performed. 14 determines that the notification is unnecessary (No), and ends the present process.
  • the sensor device SU uses the SU control processing unit 14 to notify the predetermined terminal devices SP and TA of the resultant event, the first event notification communication signal containing the result as the event information. Is sent to the management server SV.
  • the SU control processing unit 14 determines the sensor ID of its own device, the "bed" as the event information, and the determination of the bed.
  • the first event notification communication signal containing the used target image is transmitted to the management server SV via the SU communication IF unit 15.
  • the sensor device SU determines whether the nurse call processing unit 145 of the SU control processing unit 14 receives a nurse call or not. And, upon receiving a nurse call, the sensor device SU transmits a first event notification communication signal containing the received nurse call as the event information in order to notify acceptance of the nurse call to a predetermined terminal device SP or TA. Is sent to the management server SV.
  • each sensor ID, event information, and other information contained in the first event notification communication signal is the sensor ID.
  • the fixed terminal apparatus SP and the portable terminal apparatus TA receive the second event notification communication signal from the management server apparatus SV via the network NW, the sensor ID, the event information, etc. contained in the second event notification communication signal
  • Each piece of information is stored (recorded) as monitoring information of the monitored person Ob monitored by the sensor device SU having the sensor ID, and the monitoring information is displayed.
  • the terminal devices SP and TA display the event information shown in FIG. 13A as text.
  • the monitored information screen 31a is displayed.
  • a monitoring information screen 31b in which the event information shown in FIG. 13B is displayed by an icon is displayed on the terminal devices SP and TA.
  • the terminal apparatus SP, TA receives the event information shown in FIG. 14A.
  • the monitoring information screen 31a displayed in text is displayed.
  • a monitoring information screen 31b in which event information shown in FIG. 14B is displayed by an icon is displayed on the terminal devices SP and TA.
  • the terminal apparatus SP, TA receives the event information shown in FIG. 14A.
  • the monitoring information screen 31a displayed in text is displayed.
  • a monitoring information screen 31b in which event information shown in FIG. 14B is displayed by an icon is displayed on the terminal devices SP and TA.
  • the monitored person monitoring support system MS in this embodiment, and the sleep state detecting device and the sleep state detecting method incorporated in the sensor device SU are detected by the timing detection unit (action detection processing unit) 143. Since the sleep state processing unit 142 is controlled according to the result, for example, the target person (the monitored person based on the first measurement result of the Doppler sensor 112 which is an example of the first sensor in a state suitable for detecting the sleep state) Person) While it is possible to control so as not to seek the sleep state of the subject Ob in a state not suitable for detecting the sleep state while seeking the sleep state of Ob, it is possible to control the monitored person monitoring support system MS, The sleep state detection device and the sleep state detection method can further reduce erroneous determinations.
  • the above-mentioned person-to-be-monitored monitoring support system MS, the sleep state detection device and the sleep state detection method execute, for example, sleep state processing in a state suitable for detection of a sleep state, or conversely, a state unsuitable for detection of a sleep state
  • sleep state processing unit 142 By controlling the sleep state process in the sleep state processing unit 142 so that the sleep state process is not executed or the like, erroneous determination can be further reduced.
  • the processing control unit 144 controls whether to execute the sleep state processing in the sleep state processing unit 142 according to the detection result of the timing detection unit (action detection processing unit) 143.
  • the process control unit 144 may control the sleep state processing unit 142 according to the detection result of the timing detection unit (action detection processing unit) 143 as in each of the following modified embodiments.
  • the process control unit 144 controls whether to output the sleep state obtained by the sleep state processing unit 142 in accordance with the detection result of the timing detection unit 143.
  • the sleep state processing is executed by the sleep state processing unit 142, by controlling the output of the result, an effect equivalent to the effect obtained by the control of the execution can be obtained. More specifically, in the process S4, when the process control unit 144 receives from the timing detection unit 143 a detection result that it is not a sleep state detection timing, the sleep state processing unit 142 obtains the detection result.
  • the sleep state processing unit 142 When the sleep state processing unit 142 terminates the process without ending the output of the sleep level and when the detection result that the detection timing of the sleep state is received from the timing detection unit 143, the sleep state processing unit 142 Make the output of degree.
  • Such a monitored person monitoring support system MS, a sleep state detection device, and a sleep state detection method for example, output the sleep state obtained by the sleep state processing unit 142 in a state suitable for detection of the sleep state, or reversely
  • the sleep state processing unit 142 by controlling the sleep state processing unit 142 so as not to output the sleep state obtained by the sleep state processing unit 142 in a state unsuitable for the detection of the sleep state, erroneous determination can be further reduced.
  • the process control unit 144 controls whether the sleep state obtained by the sleep state processing unit 142 is assisted by the detection result of the timing detection unit 143 according to the detection result of the timing detection unit 43. Do. More specifically, in the process S4, when the process control unit 144 receives from the timing detection unit 143 a detection result indicating that it is not a sleep state detection timing, it is obtained by the sleep state processing unit 142. Additional information is added to the sleep level, for example, indicating that the sleep level is determined in a state other than the sleep state detection timing such as "low accuracy” or "low reliability", while the timing detection unit 143 When the detection result that the detection timing of the sleep state is received, the sleep state processing unit 142 causes the output of the obtained sleep degree to be performed as it is.
  • Such a monitored person monitoring support system MS, the sleep state detection device, and the sleep state detection method for example, output the sleep state obtained by the sleep state processing unit 142 as it is in a state suitable for detection of the sleep state, Conversely, the sleep state is such that information indicating that the sleep state is not suitable is added to the sleep state obtained by the sleep state processing unit 142 in a state unsuitable for detecting the sleep state. Since it becomes possible to assist the sleep state obtained by the processing unit 142 with the detection result of the timing detection unit 143, it is possible to further reduce the erroneous determination.
  • the sleep state process is performed by using the sleep degree determining threshold that is set in advance and the first measurement result of the first sensor, which represents the sleep degree of the target person (monitored person) Ob.
  • the process control unit 144 changes the sleep condition determination threshold according to the detection result of the timing detection unit 143 as the control.
  • the first and second sleep level classification thresholds correspond to an example of the sleep level determination threshold
  • the Doppler sensor 112 corresponds to an example of the first sensor
  • the processing In S4 when the processing control unit 144 receives from the timing detection unit 143 a detection result indicating that it is not the detection timing of the sleep state
  • the first and second sleep level division threshold values indicate low sleep level and high sleep level.
  • the sensor unit SU is set such that it is changed to a value that is difficult to determine, and that substantially no low sleep degree and high sleep degree can be obtained.
  • the processing control unit 144 receives a detection result indicating that it is a detection timing of the sleep state from the timing detection unit 143, the first and second sleep level classification thresholds are used as the low sleep level and the high sleep level.
  • the sensor unit SU is set such that it can be determined to be a value that is likely to be determined, and the low sleep degree and the high sleep degree can thus be substantially easily obtained.
  • the sleep state detecting device in such a monitored person monitoring support system MS, the sleep state detecting device, and the sleep state detecting method, for example, in the case of a state suitable for detecting the sleep state, the sleep state determination threshold Conversely, in the case of a state unsuitable for detection of the sleep state, it is possible to change the sleep state determination threshold to a value for which it is difficult to determine the sleep state, so false judgments are further reduced. it can.
  • the sleep state processing unit 142 uses, as the sleep state processing, the learning model of any one of a plurality of different learning models machine-learned to obtain a sleep state. Based on the first measurement result, the sleep state of the target person (monitored person) Ob is determined, and the processing control unit 144 performs the control according to the detection result of the timing detection unit 143 from among the plurality of learning models.
  • the learning model used by the sleep state processing unit 142 may be changed (selected).
  • the sleep state processing includes a plurality of different algorithms for determining a sleep state, and the sleep state processing unit 142 uses one of the plurality of algorithms to execute the first process of the first sensor.
  • the processing control unit 144 Based on the measurement result, the sleep state of the target person (monitored person) Ob is determined, and the processing control unit 144 performs, as the control, the sleep state from among the plurality of algorithms according to the detection result of the timing detection unit 143.
  • the algorithm used by the processing unit 142 may be changed (selected).
  • the sleep state process sets a sleep degree determining threshold set in advance, which represents a sleep degree of a subject (monitored person) Ob at predetermined time intervals set in advance. Temporarily determined as the sleep state by comparing the first measurement result of the first sensor and the first measurement, and the tentatively determined sleep degree is temporarily determined when continuing for a predetermined determination time.
  • the processing control unit 144 changes the continuation determination time according to the detection result of the timing detection unit 143 as the control.
  • the first and second sleep level classification thresholds correspond to an example of the sleep level determination threshold
  • the Doppler sensor 112 corresponds to an example of the first sensor
  • the awakening determination time during awake time is low.
  • the continuous determination time during sleep and the continuous determination time during high sleep correspond to an example of the continuous determination time. More specifically, in the process S4, when the process control unit 144 receives from the timing detection unit 143 a detection result that the detection timing is not the sleep state detection time, the awakening continuation determination time, low sleep Medium continuous judgment time and high sleep continuous judgment time are respectively changed to values that are difficult to be judged during awakening or low sleep or high sleep, and thereby the awakening or low sleep or high sleep is determined substantially The sensor unit SU is set so as not to On the other hand, when the processing control unit 144 receives a detection result indicating that it is the detection timing of the sleep state from the timing detection unit 143, the awakening continuation determination time, the low sleep continuation determination time, and the high sleep continuation are received.
  • the sensor device SU changes the determination time to values during awakening and low sleepiness and high sleepiness so that the awakening and low sleepiness and high sleepiness can be substantially determined. It is set.
  • the sleep state detecting device and the sleep state detecting method for example, in the case of a state suitable for detecting a sleep state, the continuation determination time is changed Or, conversely, in the case of a state unsuitable for the detection of the sleep state, it is possible to change the continuation determination time or the like to a value for which it is difficult to obtain the sleep state, so that erroneous determination can be further reduced.
  • the awakening continuation determination time when the processing control unit 144 receives a detection result indicating that it is the detection timing of the sleep state from the timing detection unit 143, the awakening continuation determination time
  • the value may be changed to a value longer than the determination time and the high sleep continuous determination time.
  • the first sensor includes a plurality of sub-sensors that measure a subject person (monitored person) Ob
  • the sleep state processing unit 142 performs a plurality of sub sensors in the first sensor as the sleep state process.
  • the processing control unit 144 determines the sleep state of the subject Ob based on the sub-measurement result of any of the sub-sensors among the plurality of sub-sensors according to the detection result of the timing detection unit 143 as the control. Then, the sub sensor used in the sleep state processing unit 142 is changed.
  • the plurality of sub-sensors may be disparate different sensors from each other, or the plurality of sub-sensors may be sensors of the same kind and different arrangement locations (arrangement positions).
  • the first sensor is placed between the non-contact type Doppler sensor 112 described above, the bedding BD and the subject person (monitored person) Ob to detect the weight of a person
  • the processing control unit 144 receives a detection result that the detection timing is not the sleep state detection timing from the timing detection unit 143
  • the sub-sensor used by the sleep state processing unit 142 is included. It is changed to a mat sensor, and the sleep state processing unit 142 is made to obtain the sleep state of the subject Ob based on the output of the mat sensor.
  • Japanese Patent Application Laid-Open No. 2013-198654, Japanese Patent Application Laid-Open No. 2014-223174, etc. disclose a method of obtaining a sleep state using such a mat sensor.
  • a sleep meter Sleep scan SL-504 (manufactured by Tanita) or a sleep meter HSL-101 (manufactured by Omron) may be used as a sub-sensor.
  • the processing control unit 144 receives from the timing detection unit 143 the detection result that it is the detection timing of the sleep state, the processing control unit 144 changes the sub sensor used in the sleep state processing unit 142 to the Doppler sensor 112 and sleeps. Based on the output of the Doppler sensor 112, the state processing unit 142 obtains the sleep state of the subject Ob.
  • the first sensor detects a first Doppler sensor disposed on the ceiling facing the bedding BD with the detection direction directed to the bedding BD (with the detection direction directed vertically downward), and the sidewall of the bedding DB
  • the second Doppler sensor is disposed with the direction toward the bedding BD (the detection direction is horizontally directed)
  • the timing detection unit 143 further determines whether the object person Ob is in the lying posture or the lying posture.
  • the processing control unit 144 receives a detection result indicating that the posture is the lying posture from the timing detection unit 143, the process control unit 144 changes the sub sensor used in the sleep state processing unit 142 to the first Doppler sensor, and sleeps.
  • the state processing unit 142 is made to obtain the sleep state of the subject Ob based on the output of the first Doppler sensor.
  • the processing control unit 144 receives from the timing detection unit 143 the detection result that the sideways lying posture is received, the process control unit 144 changes the sub sensor used in the sleep state processing unit 142 to the second Doppler sensor.
  • the sleep state processing unit 142 obtains the sleep state of the subject Ob.
  • the extraction of the posture is performed by pattern matching using, for example, respective models (each template) of a lying posture and a horizontal lying posture prepared in advance, or by, for example, a neural network learned for these posture extraction.
  • the first sensor is disposed on the ceiling facing the bedding BD toward the bedding BD, the first Doppler sensor having a relatively narrow sensing range, and the sensing range disposed on the ceiling are relatively wide.
  • the processing control unit 144 receives a detection result indicating that it is a sleep state detection timing from the timing detection unit 143 including the second Doppler sensor, the sub sensor used in the sleep state processing unit 142 Change to 1 Doppler sensor, and let the sleep state processing unit 142 calculate the sleep state of the subject Ob based on the output of the first Doppler sensor.
  • the processing control unit 144 when the processing control unit 144 receives from the timing detection unit 143 a detection result indicating that it is not a sleep state detection timing, the processing control unit 144 changes the sub sensor used in the sleep state processing unit 142 to the second Doppler sensor. The control unit causes the sleep state processing unit 142 to obtain the sleep state of the subject Ob based on the output of the second Doppler sensor.
  • the monitored person monitoring support system MS, the sleep state detection device, and the sleep state detection method use the sub-sensors used by the sleep state processing unit 142 among the plurality of sub-sensors. Since the change is made, it is possible to select an appropriate sub-sensor to be used by the sleep state processing unit 142 in accordance with the detection result of the timing detection unit 143 from among the plurality of sub-sensors.
  • the timing detection unit 143 determines the posture of the subject Ob based on the second measurement result of the second sensor, and sleeps when the calculated posture is a predetermined posture set in advance.
  • the state processing unit 142 outputs a first detection result indicating that it is a detection timing for obtaining the sleep state of the subject person Ob
  • the processing control unit 144 receives the first detection result from the timing detection unit 143
  • the sleep state processing unit 142 is controlled to obtain the sleep state of the subject Ob.
  • the specific posture is a supine lying posture.
  • the specific posture is a lying posture except for prone posture.
  • the second sensor is a camera 111 that generates an image
  • the timing detection unit 143 obtains the posture of the target person Ob based on the image generated by the camera 111. More specifically, for example, the timing detection unit 143 detects whether or not the object person Ob is in the lying posture by the pattern matching or the neural network described above, and when the object person Ob has the lying posture, for example, The head region of the subject Ob is extracted by Hough transformation, pattern matching, or neural network, and it is discriminated whether it is supine or prone based on the area ratio of the white region to the black region in the extracted head region.
  • the second sensor is a distance image sensor that generates a distance image
  • the timing detection unit 143 obtains the posture of the target person Ob based on the distance image generated by the distance image sensor.
  • each pixel in the distance image is associated with a human body part at a level such as the upper right arm or the head, for example, and the joint position is extracted based on the association, and the extracted joint
  • the posture of the subject Ob is obtained from the position.
  • a learning model of Random Decision Forests machine-learned for posture extraction is used.
  • the second sensor is a marker detection sensor that detects a predetermined marker, and the timing detection unit 143 determines the posture of the target person (monitored person) Ob based on the marker detected by the marker detection sensor.
  • the marker is mounted on a cover corresponding to a front shoulder or the like in the subject Ob, and the timing detection unit 143 determines the lying posture facing upward when the marker is detected by the marker detection sensor, and detects the marker When the sensor does not detect the marker, it is determined that the lying posture is lying down.
  • Such a monitored person monitoring support system MS, the sleep state detecting device, and the sleep state detecting method are such that the sleep state processing unit 142 obtains the sleep state when the target person Ob has a posture suitable for detecting the sleep state.
  • the sleep state processing unit 142 By controlling the sleep state processing unit 142, erroneous determination can be further reduced.
  • the sensor unit SU functionally further includes a clock unit 147 for clocking the date and time in the SU control processing unit 14, and at least a sleep time zone
  • the SU storage unit 16 is further provided with a schedule information storage unit 161 that stores schedule information representing the schedule of the subject person to be included in association with the subject person Ob, and the processing control unit 144 Is acquired, the schedule of the subject Ob corresponding to the acquired current time is extracted from the schedule information storage unit 161, and the sleep state processing is performed according to the extracted schedule of the object Ob and the detection result of the timing detection unit 143.
  • Control unit 142 For example, if the schedule of the subject Ob corresponding to the current time is a sleep time zone, the process control unit 144 receives, from the timing detection unit 143, a detection result indicating that it is a sleep state detection timing. Changes the first and second sleep level classification threshold values to values that are more likely to be determined as the low sleep level and the high sleep level than the default value.
  • a monitored person monitoring support system MS, the sleep state detecting device, and the sleep state detecting method include the sleep state processing unit 142 according to the schedule of the target person Ob and the detection result of the timing detection unit (action detection processing unit) 143. Since the control is performed, the schedule of the target person Ob can be taken into consideration, and the erroneous determination can be further reduced.
  • a sleep state detection device includes a first and second sensors for measuring a subject, and a sleep state for obtaining a sleep state of the subject based on a first measurement result of the first sensor as sleep state processing.
  • the sleep state process is a process of obtaining a sleep degree representing the degree of depth of sleep of the subject as the sleep state.
  • the sleep state process is a process of obtaining a sleep degree representing a degree of sleep depth of the subject and a reliability degree representing a degree of reliability with respect to the sleep degree.
  • the first sensor is a Doppler sensor that measures the movement of the body surface of the chest associated with breathing in the subject
  • the second sensor is an image of the subject Is a camera that generates
  • Such a sleep state detection device controls the sleep state processing unit according to the detection result of the timing detection unit, for example, based on the first measurement result of the first sensor in a state suitable for the detection of the sleep state. Since it becomes possible to control so that the subject's sleep state is not found in a state unsuitable for detection of the subject's sleep state while determining the sleep state of the subject person, the above-mentioned sleep state detection device Can be further reduced.
  • the processing control unit controls whether or not to execute the sleep state processing in the sleep state processing unit according to the detection result of the timing detection unit.
  • Such a sleep state detection apparatus executes, for example, sleep state processing in a state suitable for detection of a sleep state, and conversely, performs sleep state processing in a state unsuitable for detection of a sleep state or the like.
  • sleep state processing in a state suitable for detection of a sleep state
  • sleep state processing unit it is possible to further reduce the erroneous determination.
  • the processing control unit determines whether or not to output the sleep state obtained by the sleep state processing unit according to the detection result of the timing detection unit. Control.
  • Such a sleep state detection apparatus outputs, for example, the sleep state obtained by the sleep state processing unit in a state suitable for detecting a sleep state, or conversely, the sleep state processing in a state unsuitable for detecting a sleep state
  • the sleep state processing unit By controlling the sleep state processing unit so that the sleep state obtained by the unit is not output or the like, erroneous determination can be further reduced.
  • the processing control unit detects a sleep state obtained by the sleep state processing unit according to a detection result of the timing detection unit. Control whether or not to
  • Such a sleep state detection apparatus outputs, for example, the sleep state obtained by the sleep state processing unit as it is in a state suitable for detecting a sleep state, or conversely, the sleep state in a state unsuitable for detecting a sleep state.
  • the sleep state determined by the sleep state processing unit may be added to the sleep state determined by the processing unit so as to add information indicating that the sleep state is not suitable for the detection of the sleep state. Since it is possible to assist with the detection result, etc., it is possible to further reduce erroneous determination.
  • the sleep state processing includes a sleep degree representing a degree of depth of sleep of the subject, a preset sleep degree determination threshold, and the first sensor
  • the processing control unit changes the sleep state determination threshold according to the detection result of the timing detection unit as the control.
  • Such a sleep state detection apparatus changes the sleep state determination threshold to a value that easily determines the sleep state in the case of a state suitable for detection of the sleep state, and conversely, is unsuitable for detection of the sleep state.
  • the sleep state process sets a sleep degree, which indicates a degree of sleep depth of the subject, at a predetermined time interval set in advance.
  • the sleep state is temporarily determined by comparing the degree determination threshold value with the first measurement result of the first sensor, and the temporarily determined sleep degree continues for a preset continuation determination time.
  • the process control unit is a process of determining the temporarily determined sleep degree as the final sleep degree, and the processing control unit changes the continuation determination time according to the detection result of the timing detection unit as the control.
  • Such a sleep state detection device changes the continuation determination time to a value that easily determines the sleep state in the case of a state suitable for the detection of the sleep state, and conversely, a state unsuitable for the detection of the sleep state. In this case, since it is possible to change the continuation determination time or the like to a value for which it is difficult to determine the sleep state, it is possible to further reduce the erroneous determination.
  • the first sensor includes a plurality of sub-sensors that measure a subject
  • the sleep state processing unit performs a plurality of the first sensors as the sleep state processing.
  • the sleep state of the subject is determined based on the sub-measurement result of any of the sub-sensors among the sub-sensors, and the processing control unit controls the plurality of sub-sensors according to the detection result of the timing detection unit.
  • the sub sensor used in the sleep state processing unit is changed.
  • the plurality of sub-sensors are different types of mutually different sensors.
  • the plurality of sub-sensors are sensors of the same kind and different from each other in the arrangement place (arrangement position).
  • the plurality of sub-sensors are sensors of the same type but different in detection direction.
  • the sleep state detection apparatus changes the sub sensor used by the sleep state processing unit among the plurality of sub sensors according to the detection result of the timing detection unit
  • the sleep state detection device of the timing detection unit Since it is possible to select an appropriate sub-sensor used in the sleep state processing unit according to the detection result, it is possible to further reduce the erroneous determination.
  • the timing detection unit determines a posture of the subject based on a second measurement result of the second sensor, and the calculated posture is set in advance.
  • the sleep state processing unit outputs a first detection result indicating that it is a detection timing for obtaining the sleep state of the subject, and the processing control unit outputs the first detection result from the timing detection unit.
  • the sleep state processing unit is controlled to obtain the sleep state of the subject.
  • the specific posture is a supine lying posture.
  • the specific posture is a lying posture excluding prone posture.
  • the second sensor is a camera that generates an image
  • the timing detection unit determines the posture of the subject based on the image generated by the camera.
  • the second sensor is a distance image sensor that generates a distance image
  • the timing detection unit is the target person based on the distance image generated by the distance image sensor.
  • the second sensor is a marker detection sensor that detects a predetermined marker
  • the timing detection unit is the target person based on the marker detected by the marker detection sensor. Find the attitude of
  • Such a sleep state detection device controls the sleep state processing unit so that the sleep state processing unit finds the sleep state when the subject is in a posture suitable for detecting the sleep state, thereby making a false decision more It can be reduced.
  • the target person is associated with schedule information representing a schedule of the subject including at least a clock unit for clocking a date, a year, a minute, and a sleep time zone.
  • schedule information storage unit for storing the current information
  • the processing control unit acquires the current time from the clock unit and extracts the schedule of the subject corresponding to the acquired current time from the schedule information storage unit. And controlling the sleep state processing unit according to the extracted schedule of the subject and the detection result of the timing detection unit.
  • Such a sleep state detection device controls the sleep state processing unit according to the schedule of the subject and the detection result of the timing detection unit, the schedule of the subject can be taken into consideration, and false determination can be further reduced.
  • the sleep state of the subject is determined based on the measurement step of measuring the subject with the first and second sensors, and the first measurement result of the first sensor.
  • Such a sleep state detection method controls the sleep state processing step according to the detection result of the timing detection step, for example, based on the first measurement result of the first sensor in a state suitable for the detection of the sleep state. It is possible to prevent the subject's sleep state from being found while the subject's sleep state is determined while the subject's sleep state is not suitable for detecting the sleep state. It can reduce more.
  • the monitored person monitoring support system corresponding to a target person, and a sensor device for determining a sleep state of the target person, and sleep that is communicably connected to the sensor device and received from the sensor device A central processing unit for managing the state; and a terminal device communicably connected to the central processing unit and receiving and displaying the sleep state via the central processing unit, the target person being the monitored person A monitored person monitoring support system for supporting monitoring of a monitored person, wherein the sensor device includes any one of the above-described sleep state detecting devices.
  • a person-to-be-monitored support system using any of the above-described sleep state detection devices.
  • Such a person-to-be-monitored support system uses any one of the above-described sleep state detection devices, so that it is possible to further reduce erroneous determinations.
  • the present invention it is possible to provide a sleep state detection device and a sleep state detection method for detecting a sleep state, and a monitored person monitoring support system using the sleep state detection device.

Abstract

本発明の睡眠状態検出装置および該方法ならびに被監視者監視支援システムは、第1および第2センサそれぞれで対象者を測定し、前記第1センサの第1測定結果に基づいて前記対象者の睡眠状態を判定し、前記第2センサの第2測定結果に基づいて検出タイミングを検知し、この検知結果に応じて前記睡眠状態の判定処理を制御する。

Description

睡眠状態検出装置および該方法ならびに被監視者監視支援システム
 本発明は、睡眠状態を検出する睡眠状態検出装置および睡眠状態検出方法に関する。そして、本発明は、この睡眠状態検出装置を用いた被監視者監視支援システムに関する。
 医療や介護等の業界において、前記医療や介護等の対象者が健やかに睡眠しているか否かを確認する技術が要望されている。このような睡眠状態を検出する技術として、例えば、特許文献1や特許文献2に開示された技術がある。
 この特許文献1に開示された睡眠深度判定装置は、所定の睡眠深度で睡眠状態にある対象者が知覚し得る最小の刺激強度である感覚閾値を利用して、前記対象者の睡眠深度を判定する睡眠深度判定装置であって、第1の刺激強度を有する第1の刺激と、前記第1の刺激強度よりも強い第2の刺激強度を有する第2の刺激とを前記対象者に付与する刺激付与手段と、前記対象者が前記第1の刺激及び前記第2の刺激を知覚したか否かを検出する知覚検出手段と、前記知覚検出手段によって、前記対象者が前記第1の刺激を知覚せず且つ前記第2の刺激を知覚したことが検出された場合に、前記対象者の睡眠深度が、前記第1の刺激強度と前記第2の刺激強度との間の感覚閾値に対応する睡眠深度であると判定する睡眠深度判定手段と、を備える。前記刺激付与手段は、対象者に対して物理的な刺激を付与する部分であり、例えば音による聴覚刺激を付与するスピーカがあり、音圧を調整することで刺激強度が変更される(特許文献1の[0023]段落)。
 前記特許文献2に開示された睡眠状態管理装置は、被測定者の体動によって前記被測定者の睡眠状態を管理する睡眠状態管理装置であって、前記被測定者が寝ている寝具の動きを検知するセンサ部と、前記センサ部からの検知信号を用いて前記被測定者の体動の有無を判定する体動判定部と、を備え、前記体動判定部は、前記検知信号を用いて体動なしと判定した体動なし期間又は前記検知信号を用いて体動ありと判定した体動あり期間が周期的に発生する第一の期間と、前記体動あり期間が所定時間以上続く第二の期間との少なくとも一方があった場合に、前記第一の期間における前記体動あり期間及び前記第二の期間の少なくとも一方を、体動なし期間として判定を修正する。
 前記特許文献1に開示された睡眠深度判定装置は、対象者に刺激を与えるアクティブ型であるため、対象者の睡眠を阻害する虞があるが、前記特許文献2に開示された睡眠状態管理装置は、被測定者が寝ている寝具の動きを検知するパッシブ型であるため、対象者の睡眠を阻害する虞が低減でき、この点で前記特許文献1に開示された睡眠深度判定装置より優れている。しかしながら、前記特許文献1に開示された睡眠深度判定装置も前記特許文献2に開示された睡眠状態管理装置も共に、対象者(被測定者)が睡眠していることを前提に、睡眠深度や睡眠状態を測定しているため、対象者(被測定者)が睡眠していない状態での、すなわち、覚醒中での、知覚検出手段やセンサ部からの出力信号によって、睡眠深度が悪い等の誤判定してしまう虞がある。
特開2010-200956号公報 特開2013-198654号公報
 本発明は、上述の事情に鑑みて為された発明であり、その目的は、誤判定をより低減できる睡眠状態検出装置および睡眠状態検出方法、ならびに、この睡眠状態検出装置を用いた被監視者監視支援システムを提供することである。
 上述した目的を実現するために、本発明の一側面を反映した睡眠状態検出装置および睡眠状態検出方法ならびに被監視者監視支援システムは、第1および第2センサそれぞれで対象者を測定し、前記第1センサの第1測定結果に基づいて前記対象者の睡眠状態を判定し、前記第2センサの第2測定結果に基づいて検出タイミングを検知し、この検知結果に応じて前記睡眠状態の判定処理を制御する。
 発明の1または複数の実施形態により与えられる利点および特徴は、以下に与えられる詳細な説明および添付図面から十分に理解される。これら詳細な説明及び添付図面は、例としてのみ与えられるものであり本発明の限定の定義として意図されるものではない。
実施形態における被監視者監視支援システムの構成を示す図である。 前記被監視者監視支援システムにおける、実施形態の睡眠状態検出装置が組み込まれたセンサ装置の構成を示す図である。 サービスモードにおける、前記センサ装置の動作を示すフローチャートである。 図3に示す睡眠状態判定処理における、前記センサ装置の動作を示すフローチャートである。 図3に示す転落判定処理における、前記センサ装置の動作を示すフローチャートである。 図3に示す転倒判定処理における、前記センサ装置の動作を示すフローチャートである。 図3に示す入床判定処理における、前記センサ装置の動作を示すフローチャートである。 図3に示す離床判定処理における、前記センサ装置の動作を示すフローチャートである。 図3に示す微体動異常判定処理における、前記センサ装置の動作を示すフローチャートである。 前記端末装置に表示されるメイン画面の一例を示す図である。 前記端末装置に表示される第1設定画面の一例を示す図である。 前記端末装置に表示される第2設定画面の一例を示す図である。 前記端末装置に表示される監視情報画面の一例を示す図である。 前記端末装置に表示される監視情報画面の他の一例を示す図である。 前記端末装置に表示される監視情報画面のさらに他の一例を示す図である。
 以下、本発明にかかる実施の一形態を図面に基づいて説明する。しかしながら、発明の範囲は、開示された実施形態に限定されない。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
 実施形態における被監視者監視支援システムは、対象者に対応して設けられ、前記対象者の睡眠状態を求めるセンサ装置、前記センサ装置と通信可能に接続され前記センサ装置から受信した睡眠状態を管理する中央処理装置、および、前記中央処理装置と通信可能に接続され前記中央処理装置を介して前記睡眠状態を受信して表示する端末装置を備え、前記対象者を被監視者として前記被監視者の監視を支援するための被監視者監視支援システムである。このセンサ装置は、本実施形態における睡眠状態検出装置を含む。この実施形態における睡眠状態検出装置は、対象者を測定する第1および第2センサと、睡眠状態処理として、前記第1センサの第1測定結果に基づいて前記対象者の睡眠状態を求める睡眠状態処理部と、前記第2センサの第2測定結果に基づいて検出タイミングを検知するタイミング検知部と、前記タイミング検知部の検知結果に応じて前記睡眠状態処理部を制御する処理制御部とを備える。このような睡眠状態検出装置は、前記タイミング検知部の検知結果に応じて前記睡眠状態処理部を制御するので、誤判定をより低減できる。そして、本実施形態では、被監視者(対象者)をより適切に監視する観点から、さらに、前記センサ装置は、前記被監視者(対象者)における所定の行動を検知し、前記中央処理装置は、前記センサ装置から受信した前記所定の行動に対する検知結果を管理し、前記端末装置は、前記中央処理装置を介して前記検知結果を受信して表示する。前記端末装置は、1種類の装置であって良いが、本実施形態態では、前記端末装置は、固定端末装置と携帯端末装置との2種類の装置である。これら固定端末装置と携帯端末装置との主な相違は、固定端末装置が固定的に運用される一方、携帯端末装置が例えば看護師や介護士等の監視者(ユーザ)に携行されて運用される点であり、これら固定端末装置と携帯端末装置とは、略同様である。
 図1は、実施形態における被監視者監視支援システムの構成を示す図である。図2は、前記被監視者監視支援システムにおける、実施形態の睡眠状態検出装置が組み込まれたセンサ装置の構成を示す図である。
 より具体的には、被監視者監視支援システムMSは、例えば、図1に示すように、1または複数のセンサ装置SU(SU-1~SU-4)と、管理サーバ装置SVと、固定端末装置SPと、1または複数の携帯端末装置TA(TA-1、TA-2)と、構内交換機(PBX、Private branch exchange)CXとを備え、これらは、有線や無線で、LAN(Local Area Network)等の網(ネットワーク、通信回線)NWを介して通信可能に接続される。ネットワークNWは、通信信号を中継する例えばリピーター、ブリッジおよびルーター等の中継機が備えられても良い。図1に示す例では、これら複数のセンサ装置SU-1~SU-4、管理サーバ装置SV、固定端末装置SP、複数の携帯端末装置TA-1、TA-2および構内交換機CXは、L2スイッチの集線装置(ハブ、HUB)LSおよびアクセスポイントAPを含む有線および無線の混在したLAN(例えばIEEE802.11規格に従ったLAN等)NWによって互いに通信可能に接続されている。より詳しくは、複数のセンサ装置SU-1~SU-4、管理サーバ装置SV、固定端末装置SPおよび構内交換機CXは、集線装置LSに接続され、複数の携帯端末装置TA-1、TA-2は、アクセスポイントAPを介して集線装置LSに接続されている。そして、ネットワークNWは、TCP(Transmission control protocol)およびIP(Internet protocol)等のインターネットプロトコル群が用いられることによっていわゆるイントラネットを構成する。
 構内交換機(回線切換機)CXは、ネットワークNWに接続され、携帯端末装置TA同士における発信、着信および通話等の内線電話の制御を行って前記携帯端末装置TA同士の内線電話を実施し、そして、例えば固定電話網や携帯電話網等の公衆電話網PNを介して例えば固定電話機や携帯電話機等の外線電話機TLに接続され、外線電話機TLと携帯端末装置TAとの間における発信、着信および通話等の外線電話の制御を行って外線電話機TLと携帯端末装置TAとの間における外線電話を実施する装置である。構内交換機CXは、例えば、デジタル交換機や、IP-PBX(Internet Protocol Private Branch eXchange)等である。
 被監視者監視支援システムMSは、被監視者(対象者)Obに応じて適宜な場所に配設される。被監視者(見守り対象者)Obは、例えば、病気や怪我等によって看護を必要とする者や、身体能力の低下等によって介護を必要とする者や、一人暮らしの独居者等である。特に、早期発見と早期対処とを可能にする観点から、被監視者Obは、例えば異常状態等の所定の不都合な事象がその者に生じた場合にその発見を必要としている者であることが好ましい。このため、被監視者監視支援システムMSは、被監視者Obの種類に応じて、病院、老人福祉施設および住戸等の建物に好適に配設される。図1に示す例では、被監視者監視支援システムMSは、複数の被監視者Obが入居する複数の居室RMや、ナースステーション等の複数の部屋を備える介護施設の建物に配設されている。
 センサ装置SUは、ネットワークNWを介して他の装置SV、SP、TAと通信する通信機能等を備え、被監視者Obに関わる所定のイベントを検知してこの検知した前記イベントを管理サーバ装置SVへ通知し、端末装置SP、TAとの間で音声通話を行い、そして、動画を含む画像を生成して端末装置SP、TAへ動画を配信する装置である。前記所定のイベント(事象)は、好ましくは、対処(対応)が必要なイベントを含む。本実施形態では、前記所定のイベントは、被監視者Obにおける睡眠状態、被監視者Obにおける、予め設定された所定の行動、および、ナースコールを含む。このようなセンサ装置SUは、例えば、図2に示すように、センサ部11と、センサ側音入出力部(SU音入出力部)12と、ナースコール受付操作部13と、センサ側制御処理部(SU制御処理部)14と、センサ側通信インターフェース部(SU通信IF部)15と、センサ側記憶部(SU記憶部)16とを備える。
 センサ部11は、SU制御処理部14に接続され、SU制御処理部14の制御に従って、被監視者Obにおける予め設定された所定の諸量を測定する装置である。本実施形態では、センサ部11は、被監視者Obの睡眠状態を判定するために、対象者を測定する第1センサを備え、被監視者Obにおける前記所定の行動を判定するために、対象者を測定する第2センサを備える。
 前記第1センサは、本実施形態では呼吸状態に基づいて被監視者Obの睡眠状態を判定するため、被監視者Obの呼吸を前記所定の諸量の1つとして測定できる任意の種類の装置であって良い。前記第1センサは、例えば、手首等に装着して脈拍を測る脈拍計等であって良いが、本実施形態では、被監視者Obに対し非接触で呼吸を測定できることから、ドップラセンサ112を備えて構成される。
 前記所定の行動は、例えば、本実施形態では、被監視者Obが寝具BDに入った入床、被監視者Obが寝具BDから離れた離床、被監視者Obが寝具BDから落ちた転落、被監視者Obが寝具BD外で倒れた転倒、および、被監視者の呼吸による微体動の異常である微体動異常を含む。前記第2センサは、このような所定の行動を判定できる任意の装置であって良い。本実施形態では、前記所定の行動は、入床、離床、転落および転倒を含む第1グループと、微体動異常を含む第2グループとに分けられ、前記第2センサは、前記第1グループに属する第1行動(本実施形態では入床、離床、転落および転倒)を検知するための第1サブセンサと、前記第2グループに属する第2行動(本実施形態では微体動異常)を検知するための第2サブセンサとを含む。前記第1サブセンサは、例えば、温度分布から人物領域を抽出できるサーモグラフィー装置や、距離分布から人物領域を抽出できる距離画像センサ等であっても良いが、本実施形態では、画像に基づいて前記第1グループに属する前記第1行動を判定するので、画像を前記所定の諸量の1つとして生成するカメラ111を備えて構成される。前記第2サブセンサは、本実施形態では、呼吸状態に基づいて前記第2グループに属する前記第2行動を判定するので、被監視者Obの呼吸を前記所定の諸量の1つとして測定できる装置であり、例えば、ドップラセンサ112を備えて構成される。すなわち、本実施形態では、ドップラセンサ112は、前記第1センサと前記第2サブセンサとに兼用されている。
 このように本実施形態では、センサ部11は、カメラ111と、ドップラセンサ112とを備える。
 カメラ111は、SU制御処理部14に接続され、SU制御処理部14の制御に従って、画像(画像データ)を生成する装置である。前記画像には、静止画(静止画データ)および動画(動画データ)が含まれる。カメラ111は、被監視者Obが所在を予定している空間(所在空間、図1に示す例では配設場所の居室RM)を監視可能に配置され、前記所在空間を撮像対象としてその上方から撮像し、前記撮像対象を俯瞰した画像(画像データ)を生成し、前記撮像対象の画像(対象画像)をSU制御処理部14へ出力する。好ましくは、被監視者Ob全体を撮像できる蓋然性が高いことから、カメラ111は、被監視者Obが横臥する寝具(例えばベッド等)BDにおける、被監視者Obの頭部が位置すると予定されている予め設定された頭部予定位置(通常、枕の配設位置)の直上から撮像対象を撮像できるように配設される。センサ装置SUは、このカメラ111によって、被監視者Obを、被監視者Obの上方から撮像した画像、好ましくは前記頭部予定位置の直上から撮像した画像を取得する。
 このようなカメラ111は、可視光の画像を生成する装置であって良いが、比較的暗がりでも被監視者Obを監視できるように、本実施形態では、赤外線の画像を生成するデジタル赤外線カメラである。このようなデジタル赤外線カメラ111は、例えば、本実施形態では、撮像対象における赤外の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記撮像対象における赤外の光学像を電気的な信号に変換するイメージセンサ、および、イメージセンサの出力を画像処理することで前記撮像対象における赤外の画像を表すデータである画像データを生成する画像処理部等を備えて構成される。カメラ111の前記結像光学系は、本実施形態では、その配設された居室RM全体を撮像できる画角を持つ広角な光学系(いわゆる広角レンズ(魚眼レンズを含む))であることが好ましい。
 ドップラセンサ112は、SU制御処理部14に接続され、SU制御処理部14の制御に従って、被監視者Obにおける、呼吸に伴う胸部の体表の動きを測定する装置である。ドップラセンサ112は、送信波を送信し、物体で反射した前記送信波の反射波を受信し、前記送信波と前記反射波とに基づいてドップラ周波数成分のドップラ信号を出力する体動センサである。前記物体が動いている場合、いわゆるドップラ効果により前記物体の動いている速度に比例して反射波の周波数がシフトするため、送信波の周波数と反射波の周波数とに差(ドップラ周波数成分)が生じる。ドップラセンサ112は、このドップラ周波数成分の信号をドップラ信号として所定のサンプリングレートで生成し、SU制御処理部14へ出力する。SU制御処理部14は、ドップラセンサ112からドップラ信号を受信すると、この受信したドップラ信号を時系列でSU記憶部16に記憶する。前記送信波は、超音波やマイクロ波等であって良いが、本実施形態では、マイクロ波である。マイクロ波は、着衣を透過して被監視者Obの体表で反射できるため、被監視者Obが衣服を着ていても体表の動きを検知でき、好ましい。
 SU音入出力部12は、SU制御処理部14に接続され、外部の音を取得してセンサ装置SUに入力するための回路であって、SU制御処理部14の制御に従って音を表す電気信号に応じた音を生成して出力するための回路である。SU音入出力部12は、例えば、音の音響振動を電気信号に変換するマイクロホン等と、音の電気信号を音の音響振動に変換するスピーカ等とを備えて構成される。SU音入出力部12は、外部の音を表す電気信号をSU制御処理部14へ出力し、また、SU制御処理部14から入力された電気信号を音の音響振動に変換して出力する。
 ナースコール受付操作部13は、SU制御処理部14に接続され、ナースコールを当該センサ装置SUに入力するための例えば押しボタン式スイッチ等のスイッチ回路である。なお、ナースコール受付操作部13は、有線でSU制御処理部14に接続されて良く、また、例えばBluetooth(登録商標)規格等の近距離無線通信でSU制御処理部14に接続されて良い。
 SU通信IF部15は、SU制御処理部14に接続され、SU制御処理部14の制御に従って通信を行うための通信回路である。SU通信IF部15は、SU制御処理部14から入力された転送すべきデータを収容した通信信号を、この被監視者監視支援システムMSのネットワークNWで用いられる通信プロトコルに従って生成し、この生成した通信信号をネットワークNWを介して他の装置SV、SP、TAへ送信する。SU通信IF部15は、ネットワークNWを介して他の装置SV、SP、TAから通信信号を受信し、この受信した通信信号からデータを取り出し、この取り出したデータをSU制御処理部14が処理可能な形式のデータに変換してSU制御処理部14へ出力する。SU通信IF部15は、例えば、IEEE802.11規格等に従った通信インターフェース回路を備えて構成される。
 SU記憶部16は、SU制御処理部14に接続され、SU制御処理部14の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、センサ装置SUの各部を当該各部の機能に応じてそれぞれ制御するSU制御プログラムや、睡眠状態処理として、センサ部11の出力に基づいて被監視者Obの睡眠状態を求める睡眠状態処理プログラムや、センサ部11の出力に基づいて検出タイミングを検知し、前記センサ部11の出力に基づいて被監視者Obにおける所定の行動を判定して管理サーバ装置SVへ通知する行動検知処理プログラム(タイミング検知プログラム)や、前記タイミング検知プログラム(行動検知処理プログラム)の検知結果に応じて前記睡眠状態処理プログラムを制御する処理制御プログラムや、ナースコール受付操作部13でナースコールを受け付けた場合にその旨を管理サーバ装置SVへ通知し、SU音入出力部12等を用いることで端末装置SP、TAとの間で音声通話を行うナースコール処理プログラムや、カメラ111で生成した動画を、その動画を要求した端末装置SP、TAへストリーミングで配信するストリーミング処理プログラム等の制御処理プログラムが含まれる。前記各種の所定のデータには、自機の、センサ装置SUを特定し識別するための識別子であるセンサ装置識別子(センサID)、および、管理サーバ装置SVの通信アドレス等の各プログラムを実行する上で必要なデータ等が含まれる。SU記憶部16は、例えば不揮発性の記憶素子であるROM(Read Only Memory)や書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)等を備える。そして、SU記憶部16は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆるSU制御処理部14のワーキングメモリとなるRAM(Random Access Memory)等を含む。
 SU制御処理部14は、センサ装置SUの各部11~13、15、16を当該各部の機能に応じてそれぞれ制御し、被監視者Obに関わる所定のイベントを検知してこの検知した前記イベントを管理サーバ装置SVへ通知し、端末装置SP、TAとの間で音声通話を行い、そして、動画を含む画像を生成して端末装置SP、TAへ動画を配信するための回路である。SU制御処理部14は、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。SU制御処理部14は、前記制御処理プログラムが実行されることによって、センサ側制御部(SU制御部)141、睡眠状態処理部142、行動検知処理部(タイミング検知部)143、処理制御部144、ナースコール処理部145およびストリーミング処理部146を機能的に備える。
 SU制御部141は、センサ装置SUの各部11~13、15、16を当該各部の機能に応じてそれぞれ制御し、センサ装置SUの全体制御を司るものである。
 睡眠状態処理部142は、睡眠状態処理として、センサ部11の出力、すなわち、前記第1センサの第1測定結果に基づいて被監視者Obの睡眠状態を求めて管理サーバ装置SVへ通知するものである。より具体的には、睡眠状態処理部142は、前記第1センサの第1測定結果に基づいて、被監視者Obの睡眠の深さの度合いを表す睡眠度を前記睡眠状態として求める。本実施形態では、睡眠状態処理部142は、予め設定された所定の時間間隔で、前記第1センサの一例であるドップラセンサ112のドップラ信号に基づいて睡眠状態を求める。より具体的には、睡眠状態処理部142は、測定時点から過去へ、所定時間(例えば1分や2分等)内に測定されたドップラ信号を例えば高速フーリエ変換(FFT)し、このFFTで得られたスペクトルから、一般的な呼吸の周波数に対応する周波数帯における振幅の平均値を求め、この求めた平均値と睡眠度を決めるための閾値(睡眠度区分閾値)とを比較することによって前記睡眠度を前記睡眠状態として仮に求め、前記仮に求めた睡眠度が、予め設定された継続判定時間、継続している場合に、前記仮に求めた睡眠度を最終的な睡眠度として決定する。そして、睡眠状態処理部142は、状態変数を最終的に決定した睡眠度で更新する。前記状態変数は、睡眠状態処理部142で求めた睡眠度および後述の行動検知処理部143で求めた所定の行動を格納する変数である。前記睡眠度区分閾値は、例えば、複数のサンプルを用いて適宜に設定される。本実施形態では、睡眠度は、覚醒中、眠りが相対的に浅い低睡眠度、および、眠りが相対的に深い高睡眠度であるので、前記睡眠度区分閾値は、これら覚醒中、低睡眠度および高睡眠度の3段階に分けるために、2個の第1および第2睡眠度区分閾値を含む。なお、前記睡眠度区分閾値は、さらに多段階に分けるために、3個以上の複数であって良い。覚醒中と低睡眠度とを弁別する第1睡眠度区分閾値は、低睡眠度と高睡眠度とを弁別する第2睡眠度区分閾値より大きな値に設定される(第1睡眠度区分閾値>第2睡眠度区分閾値)。
 このように睡眠状態(本実施形態では睡眠度)を求めると、睡眠状態処理部142は、被監視者Obに関わる所定のイベント(事象)の内容を表すイベント情報(事象情報)を収容した、前記イベントを通知するための通信信号(第1イベント通知通信信号)をSU通信IF部15で管理サーバ装置SVへ通知する。より詳しくは、睡眠状態処理部142は、自機のセンサID、および、前記イベントの内容を表すイベント情報を収容した第1イベント通知通信信号を、SU通信IF部15を介して管理サーバ装置SVへ送信する。前記イベント情報は、本実施形態では、睡眠度(覚醒中、低睡眠度、高睡眠度)、入床、離床、転落、転倒、微体動異常およびナースコール(NC)のうちの1または複数であり、ここでは、睡眠状態処理部142は、前記求めた睡眠度(覚醒中、低睡眠度、高睡眠度)を前記イベント情報として第1イベント通知通信信号に収容する。なお、睡眠状態処理部142は、睡眠度を求めると、カメラ111に画像を生成させ、この画像を第1イベント通知通信信号にさらに収容しても良い。前記画像は、静止画および動画のうちの少なくとも一方であって良い。
 なお、睡眠状態処理部142は、さらに、前記睡眠度に対する信頼性の度合いを表す信頼度を求めて管理サーバ装置SVへ通知しても良い。この場合において、睡眠状態処理部142は、例えば、前記求めた睡眠度の継続時間を求め、この求めた睡眠度の継続時間と信頼度を決めるための閾値(信頼度区分閾値)とを比較して信頼度を求める。前記信頼度区分閾値は、例えば、複数のサンプルを用いて適宜に1または複数で設定される。例えば、前記信頼度区分閾値は、信頼度が相対的に高い高信頼度か信頼度が相対的に低い低信頼度かを弁別する1つの値であって良く、また例えば、信頼度を、信頼度が相対的に高い高信頼度、信頼度が相対的に中程度である中信頼度、および、信頼度が相対的に低い低信頼度の3段階に分けるために、全2つの各値であって良い。
 行動検知処理部(タイミング検知部)143は、センサ部11の出力に基づいて検出タイミングを検知し、前記センサ部11の出力に基づいて被監視者Obにおける所定の行動を判定して管理サーバ装置SVへ通知するものである。
 より具体的には、検出タイミングの検知では、本実施形態では、睡眠状態の検出に適した状態であるか否かは、被監視者(対象者)Obが寝具内に居るか否かによって判定されるので、行動検知処理部(タイミング検知部)143は、センサ部11のカメラ111で生成された画像から被監視者Obが寝具内に居るか否かを判定することによって、検出タイミングを検知する。より詳しくは、対象画像中における寝具BDが配置されている領域(寝具BDの所在領域)が、前記各種データの1つとして予め記憶部16に記憶される。タイミング検知部143は、カメラ111から取得した対象画像から例えば背景差分法によって抽出した人物領域が前記寝具BDの所在領域内に完全に重なる場合(前記人物領域が完全に前記寝具BDの所在領域内となる場合)、睡眠状態の検出に適した状態であり、検出タイミングであると判定し、その他の場合、睡眠状態の検出に不適な状態であり、検出タイミングではないと判定し、この検知結果を処理制御部144へ通知(出力)する。
 前記所定の行動の検知では、本実施形態では、前記所定の行動は、上述したように、入床、離床、転落、転倒および微体動異常であり、これら入床、離床、転落および転倒は、カメラ111の出力(対象画像)に基づいて検知され、微体動異常は、ドップラセンサ112の出力(ドップラ信号)に基づいて検知される。
 より詳しくは、入床、離床、転落、転倒および微体動異常は、次のように判定されている。なお、以下の説明における、各種の閾値や継続判定時間は、複数のサンプルから適宜に設定され、前記各種データの1つとして予め記憶部16に記憶されている。
 入床の判定では、行動検知処理部143は、前回の状態変数が「離床」であって、今回、カメラ111から取得した対象画像から例えば背景差分法によって抽出した人物領域が前記寝具BDの所在領域に完全に重なる場合(前記人物領域が完全に前記寝具BDの所在領域内となる場合)、入床と仮判定し、その完全重畳状態の継続時間が入床継続判定時間を超えて継続している場合に、入床有りと最終的に判定し、前記入床を検知する。そして、行動検知処理部143は、前記状態変数を「入床」で更新する。前記入床継続判定時間は、前記抽出した人物領域と前記寝具BDの所在領域との完全に重なりによって仮に判定された入床を、最終的に入床であると判定するための閾値である。
 離床の判定では、行動検知処理部143は、前回の状態変数が「入床」および「覚醒中」のうちのいずれかであって、今回、カメラ111から取得した対象画像から抽出した人物領域が前記寝具BDの所在領域からはみ出しているはみ出し領域が離床判定閾値以上である場合、離床と仮判定し、その離床判定閾値以上である状態のはみ出し領域の継続時間が離床継続判定時間を超えている場合に、離床有りと最終的に判定し、前記離床を検知する。そして、行動検知処理部143は、前記状態変数を「離床」で更新する。前記離床判定閾値は、前記はみ出し領域の大きさによって離床か否かを判別するための閾値である。前記離床継続判定時間は、前記はみ出し領域と前記離床判定閾値との比較によって仮に判定された離床を、最終的に離床であると判定するための閾値である。
 転落の判定では、行動検知処理部143は、今回、カメラ111から取得した対象画像から抽出した人物領域の頭部領域の大きさが横臥姿勢判定閾値以下であって、前記頭部領域の大きさの変化速度が転落判定速度閾値以上であって、前記人物領域が前記寝具BDの所在領域の周囲に設定された転落判定領域内に在る場合に、転落有りと判定し、前記転落を検知する。前記横臥姿勢判定閾値は、横臥姿勢における頭部領域の大きさであるか否かを判別するための閾値である。前記転落判定速度閾値は、前記頭部領域の大きさの変化速度によって転落であるか否かを判別するための閾値である。
 転倒の判定では、行動検知処理部143は、今回、カメラ111から取得した対象画像から抽出した人物領域の頭部領域の大きさが横臥姿勢判定閾値以下であって、前記頭部領域の大きさの変化速度が転倒判定速度閾値以上であって、前記人物領域が前記寝具BDの所在領域および前記転落判定領域を除く領域に在る場合に、転倒有りと判定し、前記転倒を検知する。前記転倒判定速度閾値は、前記頭部領域の大きさの変化速度によって転倒であるか否かを判別するための閾値である。
 微体動異常では、行動検知処理部143は、ドップラセンサ112のドップラ信号に基づいて微体動異常を判定する。より具体的には、行動検知処理部143は、睡眠状態処理部142と同様に、測定時点から過去へ、所定時間内に測定されたドップラ信号を例えば高速フーリエ変換(FFT)し、このFFTで得られたスペクトルから、一般的な呼吸の周波数に対応する周波数帯における振幅の平均値を求め、この求めた平均値と、微体動異常であるか否かを判定するための閾値(微体動異常判定閾値)とを比較し、前記求めた平均値が前記微体動異常判定閾値以下である場合、微体動異常と仮判定し、前記平均値が前記微体動異常判定閾値以下である状態の継続時間が微体動異常継続判定時間を超えて継続している場合に、微体動異常有りと最終的に判定し、前記微体動異常を検知する。この微体動異常判定閾値は、前記第2睡眠度区分閾値より小さな値に設定される(第2睡眠度区分閾値>微体動異常判定閾値)。前記微体動異常継続判定時間は、前記求めた平均値と前記微体動異常判定閾値との比較によって仮に判定された微体動異常を、最終的に微体動異常であると判定するための閾値である。
 このように前記所定の行動を検知すると、行動検知処理部143は、自機のセンサIDおよび前記イベント情報として入床、離床、転落、転倒および微体動異常のうちの1または複数を収容した第1イベント通知通信信号をSU通信IF部15を介して管理サーバ装置SVへ送信する。なお、行動検知処理部143は、入床、離床、転落および転倒のうちのいずれかを検知すると、前記入床、離床、転落および転倒の検知の際に用いられた対象画像を第1イベント通知通信信号にさらに収容して良く、微体動異常を検知すると、カメラ111に画像を生成させ、この画像を第1イベント通知通信信号にさらに収容しても良い。前記画像は、静止画および動画のうちの少なくとも一方であって良い。
 なお、タイミング検知部(行動検知処理部)143で検出タイミングを検知するために用いられる専用のセンサがセンサ装置SUに設けられて良いが、本実施形態では、上述にように、カメラ111が前記検出タイミングの検知と前記所定の行動の検知とに兼用されている。
 処理制御部144は、タイミング検知部(行動検知処理部)143の検知結果に応じて睡眠状態処理部142を制御するものである。より具体的には、本実施形態では、処理制御部144は、タイミング検知部(行動検知処理部)143の検知結果に応じて、睡眠状態処理部142における前記睡眠状態処理を実行するか否かを制御する。より詳しくは、例えば、処理制御部144は、行動検知処理部(タイミング検知部)143の検知結果が睡眠状態の検出に適した状態であり、検出タイミングである場合には、睡眠状態処理部142に前記睡眠状態処理を実行させ、そして、行動検知処理部(タイミング検知部)143の検知結果が睡眠状態の検出に不適な状態であり、検出タイミングではない場合には、睡眠状態処理部142に前記睡眠状態処理を実行させない。
 ナースコール処理部145は、ナースコール受付操作部13でナースコールを受け付けた場合にその旨を前記所定のイベントの他の一例として収容した第1イベント通知通信信号を管理サーバ装置SVへ通知し、SU音入出力部12等を用いることで端末装置SP、TAとの間で音声通話を行うものである。より具体的には、ナースコール処理部145は、ナースコール受付操作部13が入力操作されると、自機のセンサIDおよび前記イベント情報としてナースコールを収容した第1イベント通知通信信号をSU通信IF部15を介して管理サーバ装置SVへ送信する。そして、ナースコール処理部145は、SU音入出力部12等を用い、端末装置SP、TAとの間で例えばVoIP(Voice over Internet Protocol)によって音声通話を行う。
 SUストリーミング処理部146は、通信IF部3を介して固定端末装置SPまたは携帯端末装置TAから動画の配信の要求があった場合に、この要求のあった固定端末装置SPまたは携帯端末装置TAへ、カメラ11で生成した動画(例えばライブの動画)をストリーミング再生でSU通信IF部15を介して配信するものである。
 図1には、一例として、被監視者Obに対応して設けられた、4個の第1ないし第4センサ装置SU-1~SU-4が示されており、第1センサ装置SU-1は、被監視者Obの一人であるAさんOb-1の居室RM-1(不図示)に配設され、第2センサ装置SU-2は、被監視者Obの一人であるBさんOb-2の居室RM-2(不図示)に配設され、第3センサ装置SU-3は、被監視者Obの一人であるCさんOb-3の居室RM-3(不図示)に配設され、そして、第4センサ装置SU-4は、被監視者Obの一人であるDさんOb-4の居室RM-4(不図示)に配設されている。
 なお、このような構成のセンサ装置SUにおいて、センサ部11、睡眠状態処理部142、行動検知処理部(タイミング検知部)143および処理制御部144は、睡眠状態検出装置の一例を構成する。
 管理サーバ装置SVは、ネットワークNWを介して他の装置SU、TA、SPと通信する通信機能を備え、センサ装置SUから前記第1イベント通知通信信号で前記所定のイベントの通知を受けると、被監視者Obに対する監視に関する情報(監視情報)を管理し、前記所定のイベントを第2イベント通知通信信号で所定の端末装置SP、TAへ通知(再通知、報知、送信)し、クライアント(本実施形態では端末装置SP、TA等)の要求に応じたデータを前記クライアントに提供し、被監視者監視支援システムMS全体を管理する装置である。前記監視情報は、本実施形態では、例えば、前記第1イベント通知通信信号の送信元であるセンサ装置SUのセンサID、前記所定のイベント(センサ装置SUで求めた睡眠状態(睡眠度)、センサ装置SUで検知した所定の行動の種類、および、センサ装置SUで受け付けたナースコール)、被監視者Obの画像、および、前記通知を受けた時刻(通知時刻)等であり、これらは、互いに対応付けられて記憶(記録、管理)される。前記第2イベント通知通信信号には、これら監視情報が収容される。前記第2イベント通知通信信号は、例えば同報通信(ブロードキャストやマルチキャスト)で送信されて良く、また例えば、前記第1イベント通知通信信号の送信元であるセンサ装置SUに対応付けられた1または複数の端末装置SP、TAに送信されて良い。このような管理サーバ装置SVは、例えば、通信機能付きのコンピュータによって構成可能である。
 固定端末装置SPは、ネットワークNWを介して他の装置SU、SV、TAと通信する通信機能、所定の情報を表示する表示機能、および、所定の指示やデータを入力する入力機能等を備え、管理サーバ装置SVや携帯端末装置TAに与える所定の指示やデータを入力したり、管理サーバ装置SVからの通知によってセンサ装置SUで得られた前記監視情報を表示したり等することによって、被監視者監視支援システムMSのユーザインターフェース(UI)として機能する機器である。このような固定端末装置SPは、例えば、通信機能付きのコンピュータによって構成可能である。
 携帯端末装置TAは、ネットワークNWを介して他の装置SV、SP、SUと通信する通信機能、所定の情報を表示する表示機能、所定の指示やデータを入力する入力機能、および、音声通話を行う通話機能等を備え、管理サーバ装置SVやセンサ装置SUに与える所定の指示やデータを入力したり、管理サーバ装置SVからの通知によってセンサ装置SUで得られた前記監視情報を表示したり、センサ装置SUとの間で音声通話によってナースコールの応答や声かけしたり等するための機器である。このような携帯端末装置TAは、例えば、いわゆるタブレット型コンピュータやスマートフォンや携帯電話機等の、持ち運び可能な通信端末装置によって構成可能である。
 次に、本実施形態の動作について説明する。図3は、サービスモードにおける、前記センサ装置の動作を示すフローチャートである。図4は、図3に示す睡眠状態判定処理における、前記センサ装置の動作を示すフローチャートである。図5は、図3に示す転落判定処理における、前記センサ装置の動作を示すフローチャートである。図6は、図3に示す転倒判定処理における、前記センサ装置の動作を示すフローチャートである。図7は、図3に示す入床判定処理における、前記センサ装置の動作を示すフローチャートである。図8は、図3に示す離床判定処理における、前記センサ装置の動作を示すフローチャートである。図9は、図3に示す微体動異常判定処理における、前記センサ装置の動作を示すフローチャートである。図10は、前記端末装置に表示されるメイン画面の一例を示す図である。図11は、前記端末装置に表示される第1設定画面の一例を示す図である。図12は、前記端末装置に表示される第2設定画面の一例を示す図である。図13は、前記端末装置に表示される監視情報画面の一例を示す図である。図14は、前記端末装置に表示される監視情報画面の他の一例を示す図である。図15は、前記端末装置に表示される監視情報画面のさらに他の一例を示す図である。図13A、図14Aおよび図15Aは、それぞれ、イベントの内容をテキストで表示した監視情報画面を示す図であり、図13B、図14Bおよび図15Bは、それぞれ、イベントの内容をアイコンで表示した監視情報画面を示す図である。
 上記構成の被監視者監視支援システムMSでは、各装置SU、SV、SP、TAは、電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。センサ装置SUでは、その制御処理プログラムの実行によって、SU制御処理部14には、SU制御部141、睡眠状態処理部142、行動検知処理部(タイミング検知部)143、処理制御部144、ナースコール処理部145およびストリーミング処理部146が機能的に構成される。
 電源が投入され、その稼働を始めると、端末装置SP、TA、例えば固定端末装置SPでは、例えば看護師や介護士等の監視者(ユーザ)によるログイン操作が受け付けられる。前記ログイン操作では、前記監視者(ユーザ)におけるユーザ名等のID等が入力され、その記憶部に記憶される。ログイン操作によって固定端末装置SPが被監視者監視支援システムMSにログインすると、固定端末装置SPは、その表示部にメイン画面を表示する。
 前記メイン画面は、固定端末装置SPの動作モードを受け付けるための画面である。このメイン画面21は、例えば、図11に示すように、「サービスモード」ボタン211と、「設定モード」ボタン212とを備える。「サービスモード」ボタン211は、被監視者Obを監視するサービスモードを固定端末装置SPの動作モードとして要求するためのボタンであって、固定端末装置SPをサービスモードで動作させる指示(命令、コマンド)を入力するためのボタンである。「設定モード」ボタン212は、予め規定された所定のパラメータを設定する設定モードを固定端末装置SPの動作モードとして要求するためのボタンであって、固定端末装置SPを設定モードで動作させる指示を入力するためのボタンである。
 このようなメイン画面21を表示している際に、固定端末装置SPの入力部から入力操作を受け付けると、固定端末装置SPは、その制御処理部によって、前記受け付けた入力操作が、「サービスモード」ボタン211の入力操作であるか、「設定モード」ボタン212の入力操作であるか、を判定する。
 この判定の結果、前記受け付けた入力操作が「サービスモード」ボタン211の入力操作である場合には、固定端末装置SPは、被監視者Obを監視するように、サービスモードで動作を始める。前記入力操作は、例えば、マウスの移動によってカーソルが「サービスモード」ボタン211上に移動され、マウスが左クリックされる操作である。
 一方、前記判定の結果、前記受け付けた入力操作が「設定モード」ボタン212の入力操作である場合には、固定端末装置SPは、前記所定のパラメータを設定するように、設定モードで動作を始める。
 設定モードでは、上述のように、「設定モード」ボタン212の入力操作を受け付けると、固定端末装置SPは、その表示部に設定画面を表示する。なお、本実施形態では、ユーザ名等のIDを用いて認証が実行され、設定モードには、その権限あるユーザ(設定者)のみ入ることができる。
 前記設定画面は、前記所定のパラメータを入力して設定するための画面である。前記所定のパラメータは、本実施形態では、前記所定のイベントを適切に判定するために用いられる設定値であり、例えば画像から被監視者Obを抽出するための撮像条件、および、前記判定のための閾値(判定閾値)等である。より具体的には、本実施形態では、前記所定のパラメータは、フレームレート、明るさレベル、天井高さ、および、寝具BDの所在領域である。前記設定画面は、本実施形態では、2個の第1および第2設定画面を備える。前記第1設定画面は、パラメータ設定の対象となる被監視者Ob(センサ装置SU)を入力(決定)し、前記所定のパラメータのうち、主に、数値的なパラメータ(本実施形態ではフレームレート、明るさレベルおよび天井高さ)を入力して設定するための画面である。前記第2設定画面は、前記所定のパラメータのうち、数値的なパラメータを除く他のパラメータ(本実施形態では寝具BDの所在領域)を入力して設定するための画面である。
 より具体的には、その入力部から「設定モード」ボタン212の入力操作を受け付けると、固定端末装置SPは、その制御処理部によって、その表示部4に前記第1設定画面を表示する。
 この第1設定画面22は、例えば、図12に示すように、被監視者Obの名前を入力して設定するための被監視者名入力設定領域221と、フレームレートを入力して設定するためのフレームレート入力設定領域222と、明るさレベルを入力して設定するための明るさレベル入力設定領域223と、天井高さを入力して設定するための天井高さ入力設定領域224と、「エリア設定」ボタン225と、「メイン画面に戻る」ボタン226とを備える。各入力設定領域221~224は、パラメータ値の入力欄と、前記入力欄に入力されたパラメータ値でパラメータを記憶し設定する「更新」ボタンとを備える。「エリア設定」ボタン225は、第2設定画面を要求するためのボタンであって、固定端末装置SPに第2設定画面を表示させる指示を入力するためのボタンである。「メイン画面に戻る」ボタン226は、メイン画面21を要求するためのボタンであって、固定端末装置SPにメイン画面21を表示させる指示を入力するためのボタンである。「メイン画面に戻る」ボタン226は、さらに、その記憶部にパラメータとして記憶された各パラメータ値を管理サーバ装置SVを介してセンサ装置SUに設定するためのボタンでもある。
 この図11に示す例では、これら各入力設定領域221~224における前記各入力欄には、それぞれ、「Aさん」、「15fps」、「5」および「2.4m」が入力されている。被監視者名入力設定領域221の「更新」ボタンが入力操作されると、固定端末装置SPの制御処理部によって、パラメータ設定の対象が「Aさん」に設定され、固定端末装置SPの記憶部に記憶される。なお、「Aさん」を監視するセンサ装置SUあるいはそのセンサIDがパラメータ設定の対象として入力され設定されても良い。フレームレート入力設定領域222の「更新」ボタンが入力操作されると、固定端末装置SPの制御処理部によって、フレームレートが「15fps」に設定され、固定端末装置SPの記憶部に記憶される。本実施形態では、センサ装置SUは、フレームごとに、あるいは、数フレームおきに、イベントの検出動作を実行するので、フレームレートを設定することによって、イベントの検出動作の実行間隔が規定される。明るさレベル入力設定領域223の「更新」ボタンが入力操作されると、固定端末装置SPの制御処理部によって、明るさレベルが「5」に設定され、固定端末装置SPの記憶部に記憶される。センサ装置SUで撮像される対象画像が暗すぎたり、明るすぎたりすると、対象画像から被監視者Obの人物領域が抽出し難くなり、人物の識別もし難くなる。明るさレベルを設定することによって、適正な露出で対象画像が生成でき、前記人物領域がより適切に抽出でき、人物の識別がより適切にできる。天井高さ入力設定領域224の「更新」ボタンが入力操作されると、固定端末装置SPの制御処理部によって、天井高さが「2.4m」に設定され、固定端末装置SPの記憶部に記憶される。センサ装置SUが基準の天井高さ(例えば2.4m等)の天井に配設された場合における前記横臥姿勢判定閾値等がデフォルト値としてセンサ装置SUに予め記憶されている。天井高さを設定することによって、デフォルト値の横臥姿勢判定閾値が補正され、この補正された横臥姿勢判定閾値が上述した前記所定の行動の検知に用いられる。天井高さを設定することによって、実際に設置されたセンサ装置SUの状況に応じて横臥姿勢判定閾値が調整できる。
 「エリア設定」ボタン225の入力操作を受け付けると、固定端末装置SPは、その表示部に前記第2設定画面を表示する。
 この第2設定画面23は、例えば、図12に示すように、対象画像を表示する対象画像表示領域231と、「更新」ボタン232と、「戻る」ボタン233を備える。対象画像表示領域231には、第1設定画面22の被監視者名入力設定領域221に入力された被監視者Obの名前を持つ被監視者Ob、を監視するセンサ装置SU、のカメラ111で生成された対象画像が表示される。「更新」ボタン232は、対象画像表示領域231に表示された対象画像を参照しながらその入力部から入力された領域でパラメータの設定を要求するためのボタンである。「戻る」ボタン233は、第1設定画面22を要求するためのボタンであって、固定端末装置SPに第1設定画面22を表示させる指示を入力するためのボタンである。
 このような第2設定画面23では、第2設定画面23が表示されると、固定端末装置SPは、寝具BDの所在領域の入力を待つ。ユーザによってその入力部から寝具BDの所在領域の4頂点が入力され、「更新」ボタン232が入力操作されると、固定端末装置SPの制御処理部によって、寝具BDの所在領域の4頂点の各画素位置が入力され、その記憶部に記憶され、寝具BDの所在領域が設定される。図12には、このユーザによって寝具BDの所在領域の4頂点が入力された様子が図示されている。
 そして、「戻る」ボタン233が入力操作されると、第1設定画面22がその表示部4に表示される。さらに、「メイン画面に戻る」ボタン226が入力操作されると、メイン画面21が表示され、この際に、固定端末装置SPは、その記憶部にパラメータとして記憶された各パラメータ値を管理サーバ装置SVを介してセンサ装置SUに送信し、センサ装置SUは、この受信した各パラメータ値を自機SUのSU記憶部16に記憶して設定する。これによって前記所定のパラメータの各値がセンサ装置SUに設定される。
 一方、上述のメイン画面21において、「サービスモード」ボタン211の入力操作を受け付けると、固定端末装置SPは、サービスモードで動作し、被監視者監視支援システムMSは、次のように動作することによって被監視者Obを監視している。
 被監視者Obの監視では、センサ装置SUは、各フレームごとに、あるいは、数フレームおきに、次のように動作することで、被監視者Obの睡眠状態を検知し、被監視者Obにおける所定の動作を検知し、また、ナースコールの受付の有無を判定している。
 図3において、まず、センサ装置SUは、SU制御処理部14によって、センサ部11のカメラ111から、1フレーム分の画像を対象画像として取得する(S1)。
 続いて、センサ装置SUは、SU制御処理部14の行動検知処理部(タイミング検知部)143によって、処理S1でカメラ111から取得した対象画像から例えば背景差分法によって人物領域を抽出する(S2)。
 続いて、センサ装置SUは、タイミング検知部(行動検知処理部)143によって、睡眠状態の検出タイミングであるか否かを判定する(S3)。より具体的には、本実施形態では、タイミング検知部143は、処理S2で抽出した人物領域が前記寝具BDの所在領域内に完全に重なるか否か(前記人物領域が完全に前記寝具BDの所在領域内となっているか否か)を判定する。この判定の結果、タイミング検知部143は、前記人物領域が前記寝具BDの所在領域内に完全に重なる場合、睡眠状態の検出に適した状態であり、睡眠状態の検出タイミングであると判定し(Yes)、この検知結果を処理制御部144へ通知し、次に、処理S4が実行される。一方、前記判定の結果、タイミング検知部143は、前記人物領域が前記寝具BDの所在領域内に完全に重なる場合を除く他の場合、睡眠状態の検出に不適な状態であり、睡眠状態の検出タイミングではないと判定し(No)、この検知結果を処理制御部144へ通知し、次に、処理S5が実行される。なお、睡眠状態の検出タイミングではないと判定した場合(No)、タイミング検知部143は、この検知結果を処理制御部144へ通知せずに、次に、処理S5が実行されて良い。
 処理S4では、センサ装置SUは、SU制御処理部14の処理制御部144によって、睡眠状態処理部142を制御する。
 より具体的には、処理制御部144は、行動検知処理部(タイミング検知部)143から、睡眠状態の検出タイミングではないとの検知結果を受け付けた場合には、睡眠状態処理部142に睡眠状態処理を実行させずに、次に、処理S10を実行し、一方、行動検知処理部(タイミング検知部)143から、睡眠状態の検出タイミングであるとの検知結果を受け付けた場合には、睡眠状態処理部142に睡眠状態処理を実行させた後に、次に、処理S10を実行する。
 この睡眠状態処理では、図4において、まず、睡眠状態処理部142は、ドップラセンサ112のドップラ信号に基づいて睡眠状態の判定条件を満たすか否かを判定する(S41)。より詳しくは、睡眠状態処理部142は、まず、現時点から過去へ、所定時間内、例えば1分以内に測定されたドップラ信号をSU記憶部16から取得する。続いて、睡眠状態処理部142は、この取得した1分間のドップラ信号を例えば高速フーリエ変換(FFT)する。続いて、睡眠状態処理部142は、このFFTで得られたスペクトルから、一般的な呼吸の周波数に対応する周波数帯における振幅の平均値を求める。続いて、睡眠状態処理部142は、この求めた平均値と睡眠度区分閾値、本実施形態では第1および第2睡眠度区分閾値それぞれとを比較する。この比較の結果、睡眠状態処理部142は、前記求めた平均値が第1睡眠度区分閾値を超えている場合には、覚醒中と仮に求め、前記平均値が第1睡眠度区分閾値を超えている状態の継続時間が、予め設定された所定の継続判定時間(覚醒中継続判定時間)を超えている場合に、前記仮に求めた覚醒中を最終的な睡眠度として決定し(Yes)、次に、処理S42を実行する。前記比較の結果、睡眠状態処理部142は、前記求めた平均値が第1睡眠度区分閾値以下であって第2睡眠度区分閾値を超えている場合には、低睡眠度と仮に求め、前記平均値が第1睡眠度区分閾値以下であって第2睡眠度区分閾値を超えている状態の継続時間が、予め設定された所定の継続判定時間(低睡眠中継続判定時間)を超えている場合に、前記仮に求めた低睡眠度を最終的な睡眠度として決定し(Yes)、次に処理S42を実行する。前記比較の結果、睡眠状態処理部142は、前記求めた平均値が第2睡眠度区分閾値以下である場合には、高睡眠度と仮に求め、前記平均値が第2睡眠度区分閾値以下である状態の継続時間が、予め設定された所定の継続判定時間(高睡眠中継続判定時間)を超えている場合に、前記仮に求めた高睡眠度を最終的な睡眠度として決定し(Yes)、次に処理S42を実行する。そして、前記比較の結果、これを除く他の場合に、睡眠状態処理部142は、睡眠状態を仮判定中とし(No)、本睡眠状態処理を終了する。
 前記処理S42では、睡眠状態処理部142は、睡眠状態を決定して睡眠状態を求めたことを表す睡眠状態検出有り情報(例えば睡眠状態検出の有無を表す睡眠状態検出フラグが「0」から「1」へ変更される)をSU記憶部16に記憶し、前記状態変数を「睡眠度(覚醒中、低睡眠度、高睡眠度のいずれか)」で更新し(状態変数←「睡眠度」)、本睡眠状態処理を終了する。
 図3に戻って、前記処理S5では、センサ装置SUは、制御処理部14の行動検知処理部143によって、前記処理S2で抽出した人物領域に基づく転落判定処理を実行する。
 より具体的には、この転落判定処理では、図5において、まず、行動検知処理部143は、前記処理S2で抽出した人物領域に基づいて転落の判定条件を満たすか否かを判定する(S51)。より詳しくは、行動検知処理部143は、今回、処理S2で対象画像から抽出した人物領域の頭部領域の大きさが横臥姿勢判定閾値以下であって、前記頭部領域の大きさの変化速度が転落判定速度閾値以上であって、前記人物領域が前記寝具BDの所在領域の周囲に設定された転落判定領域内に在る場合に、転落有りと判定し(Yes)、次に、処理S52を実行し、これを除く他の場合に、転落無しと判定し(No)、本転落判定処理を終了する。ここで、頭部領域の抽出は、前記人物領域から、例えば円形や楕円形のハフ変換によって、また例えば予め用意された頭部のモデル(テンプレート)を用いたパターンマッチングによって、また例えば頭部抽出用に学習したニューラルネットワークによって、抽出される。前記処理S52では、行動検知処理部143は、転落発生を決定して転落有りを表す転落有り情報(例えば転落の有無を表す転落フラグが「0」から「1」へ変更される)をSU記憶部16に記憶し、本転落判定処理を終了する。
 図3に戻って、上記処理S5に続く処理S6では、センサ装置SUは、行動検知処理部143によって、前記処理S2で抽出した人物領域に基づく転倒判定処理を実行する。
 より具体的には、この転倒判定処理では、図6において、まず、行動検知処理部143は、前記処理S2で抽出した人物領域に基づいて転倒の判定条件を満たすか否かを判定する(S61)。より詳しくは、行動検知処理部143は、今回、処理S2で対象画像から抽出した人物領域の頭部領域の大きさが横臥姿勢判定閾値以下であって、前記頭部領域の大きさの変化速度が転倒判定速度閾値以上であって、前記人物領域が前記寝具BDの所在領域および前記転落判定領域を除く領域に在る場合に、転倒有りと判定し(Yes)、次に、処理S62を実行し、これを除く他の場合に、転倒無しと判定し(No)、本転倒判定処理を終了する。前記処理S62では、行動検知処理部143は、転倒発生を決定して転倒有りを表す転倒有り情報(例えば転倒の有無を表す転倒フラグが「0」から「1」へ変更される)をSU記憶部16に記憶し、本転倒判定処理を終了する。
 図3に戻って、上記処理S6に続く処理S7では、センサ装置SUは、行動検知処理部143によって、前記処理S2で抽出した人物領域に基づく入床判定処理を実行する。
 より具体的には、この入床判定処理では、図7において、まず、行動検知処理部143は、状態変数(前回の状態変数)が何であるか否かを判定する(S71)。この判定の結果、状態変数が「離床」ではない場合(No)には、行動検知処理部143は、本入床判定処理を終了する。一方、前記判定の結果、状態変数が「離床」である場合(Yes)には、行動検知処理部143は、次に、処理S72を実行する。この処理S72では、行動検知処理部143は、前記処理S2で抽出した人物領域に基づいて入床の判定条件を満たすか否かを判定する。より詳しくは、行動検知処理部143は、今回、処理S2で対象画像から抽出した人物領域が前記寝具BDの所在領域に完全に重なる場合(前記人物領域が完全に前記寝具BDの所在領域内となる場合)、入床と仮判定し、その完全重畳状態の継続時間が入床継続判定時間を超えて継続している場合に、入床有りと最終的に判定し(Yes)、次に、処理S73を実行し、これを除く他の場合に、入床無しと判定し(No)、本入床判定処理を終了する。前記処理S73では、行動検知処理部143は、入床発生を決定して入床有りを表す入床有り情報(例えば入床の有無を表す入床フラグが「0」から「1」へ変更される)をSU記憶部16に記憶する。続いて、行動検知処理部143は、前記状態変数を「入床」で更新し(状態変数←「入床」)(S74)、本入床判定処理を終了する。
 図3に戻って、上記処理S7に続く処理S8では、センサ装置SUは、行動検知処理部143によって、前記処理S2で抽出した人物領域に基づく離床判定処理を実行する。
 より具体的には、この離床判定処理では、図8において、まず、行動検知処理部143は、状態変数(前回の状態変数)が何であるか否かを判定する(S81)。この判定の結果、状態変数が「入床」でも「覚醒中」でもない場合(No)には、行動検知処理部143は、本離床判定処理を終了する。一方、前記判定の結果、状態変数が「入床」および「覚醒中」のうちのいずれかである場合(Yes)には、行動検知処理部143は、次に、処理S82を実行する。この処理S82では、行動検知処理部143は、前記処理S2で抽出した人物領域に基づいて離床の判定条件を満たすか否かを判定する。より詳しくは、行動検知処理部143は、今回、処理S2で対象画像から抽出した人物領域が前記寝具BDの所在領域からはみ出しているはみ出し領域が離床判定閾値以上である場合、離床と仮判定し、その離床判定閾値以上である状態のはみ出し領域の継続時間が離床継続判定時間を超えている場合に、離床有りと最終的に判定し(Yes)、次に、処理S83を実行し、これを除く他の場合に、離床無しと判定し(No)、本離床判定処理を終了する。前記処理S83では、行動検知処理部143は、離床発生を決定して離床有りを表す離床有り情報(例えば離床の有無を表す離床フラグが「0」から「1」へ変更される)をSU記憶部16に記憶する。続いて、行動検知処理部143は、前記状態変数を「離床」で更新し(状態変数←「離床」)(S84)、本離床判定処理を終了する。
 図3に戻って、上記処理S8に続く処理S9では、センサ装置SUは、行動検知処理部143によって、センサ部11におけるドップラセンサ112のドップラ信号に基づく微体動異常判定処理を実行する。
 より具体的には、この微体動異常判定処理では、図9において、まず、行動検知処理部143は、ドップラセンサ112のドップラ信号に基づいて微体動異常の判定条件を満たすか否かを判定する(S91)。より詳しくは、行動検知処理部143は、まず、現時点から過去へ、所定時間内、例えば1分以内に測定されたドップラ信号をSU記憶部16から取得する。続いて、行動検知処理部143は、この取得した1分間のドップラ信号を例えば高速フーリエ変換(FFT)する。続いて、行動検知処理部143は、このFFTで得られたスペクトルから、一般的な呼吸の周波数に対応する周波数帯における振幅の平均値を求める。続いて、行動検知処理部143は、この求めた平均値と前記微体動異常判定閾値とを比較し、前記求めた平均値が前記微体動異常判定閾値以下である場合、微体動異常と仮判定し、前記平均値が前記微体動異常判定閾値以下である状態の継続時間が微体動異常継続判定時間を超えて継続している場合に、微体動異常有りと最終的に判定し(Yes)、次に、処理S92を実行し、これを除く他の場合に、微体動異常無しと判定し(No)、本微体動異常判定処理を終了する。前記処理S92では、行動検知処理部143は、微体動異常発生を決定して微体動異常有りを表す微体動異常有り情報(例えば微体動異常の有無を表す微体動異常フラグが「0」から「1」へ変更される)をSU記憶部16に記憶し、本微体動異常判定処理を終了する。
 図3に戻って、次に、センサ装置SUは、SU制御処理部14によって、所定のイベントの通知が必要か否かを判定する(S10)。より具体的には、センサ装置SUは、SU制御処理部14の睡眠状態処理部142によってSU記憶部16に睡眠状態検出有り情報や、SU制御処理部14の行動検知処理部143によってSU記憶部16に例えば前記転落有り情報や前記転倒有り情報等の、結果を記憶しているか否かを判定し、前記結果がSU記憶部16に記憶されている場合には、SU制御処理部14は、通知が必要と判定し(Yes)、次に、処理S11を実行した後に、今回の本処理を終了し、一方、前記結果がSU記憶部16に記憶されていない場合には、SU制御処理部14は、通知が不要と判定し(No)、今回の本処理を終了する。
 この処理S11では、センサ装置SUは、SU制御処理部14によって、その結果のイベントを所定の端末装置SP、TAへ通知するために、前記イベント情報として前記結果を収容した第1イベント通知通信信号を、管理サーバ装置SVへ送信する。一具体例では、SU記憶部16に離床有り情報が記憶されている場合には、SU制御処理部14は、自機のセンサID、イベント情報としての「離床」、前記離床の判定の際に用いられた対象画像を収容した第1イベント通知通信信号を、SU通信IF部15を介して管理サーバ装置SVへ送信する。
 そして、上述のように処理S1ないし処理S11の各処理を実行している間に、センサ装置SUは、SU制御処理部14のナースコール処理部145によって、ナースコールを受け付けているか否かを判定し、ナースコールを受け付けると、そのナースコールの受付を所定の端末装置SP、TAへ通知するために、センサ装置SUは、前記イベント情報として前記受け付けたナースコールを収容した第1イベント通知通信信号を、管理サーバ装置SVへ送信する。
 管理サーバ装置SVは、第1イベント通知通信信号をネットワークNWを介してセンサ装置SUから受信すると、この第1イベント通知通信信号に収容されたセンサIDおよびイベント情報等の各情報を、このセンサIDを持つセンサ装置SUで監視されている被監視者Obの監視情報として記憶(記録)する。すなわち、管理サーバ装置SVは、第1イベント通知通信信号に収容された、センサIDとイベント情報等の各情報と互いに対応付けて記憶する。そして、管理サーバ装置SVは、前記受信した第1イベント通知通信信号における送信元(通知元)のセンサ装置SUに対応する通知先の端末装置SP、TAへ第2イベント通知通信信号を送信する。
 固定端末装置SPおよび携帯端末装置TAは、前記第2イベント通知通信信号をネットワークNWを介して管理サーバ装置SVから受信すると、この第2イベント通知通信信号に収容されたセンサIDおよびイベント情報等の各情報を、このセンサIDを持つセンサ装置SUで監視されている被監視者Obの監視情報として記憶(記録)し、前記監視情報を表示する。例えば、センサ装置SUが「覚醒中」を検知し第2イベント通知通信信号によってこの「覚醒中」が通知された場合では、端末装置SP、TAには、図13Aに示すイベント情報をテキストで表示した監視情報画面31aが表示される。あるいは、端末装置SP、TAには、図13Bに示すイベント情報をアイコンで表示した監視情報画面31bが表示される。また例えば、センサ装置SUが「低睡眠度」を検知し第2イベント通知通信信号によってこの「低睡眠度」が通知された場合では、端末装置SP、TAには、図14Aに示すイベント情報をテキストで表示した監視情報画面31aが表示される。あるいは、端末装置SP、TAには、図14Bに示すイベント情報をアイコンで表示した監視情報画面31bが表示される。また例えば、センサ装置SUが「高睡眠度」を検知し第2イベント通知通信信号によってこの「高睡眠度」が通知された場合では、端末装置SP、TAには、図14Aに示すイベント情報をテキストで表示した監視情報画面31aが表示される。あるいは、端末装置SP、TAには、図14Bに示すイベント情報をアイコンで表示した監視情報画面31bが表示される。
 以上説明したように、本実施形態における被監視者監視支援システムMS、ならびに、センサ装置SUに組み込まれた睡眠状態検出装置および睡眠状態検出方法は、タイミング検知部(行動検知処理部)143の検知結果に応じて睡眠状態処理部142を制御するので、例えば、睡眠状態の検出に適した状態での、第1センサの一例であるドップラセンサ112の第1測定結果に基づいて対象者(被監視者)Obの睡眠状態を求める一方、睡眠状態の検出に不適な状態で、前記対象者Obの睡眠状態を求めないように制御することが可能となるから、上記被監視者監視支援システムMS、睡眠状態検出装置および睡眠状態検出方法は、誤判定をより低減できる。
 上記被監視者監視支援システムMS、睡眠状態検出装置および睡眠状態検出方法は、例えば、睡眠状態の検出に適した状態で睡眠状態処理を実行したり、逆に、睡眠状態の検出に不適な状態で睡眠状態処理を不実行したり等するように、睡眠状態処理部142における睡眠状態処理を制御することで、誤判定をより低減できる。
 なお、上述の実施形態では、処理制御部144は、タイミング検知部(行動検知処理部)143の検知結果に応じて、睡眠状態処理部142における睡眠状態処理を実行するか否かを制御したが、以下の各変形形態のように、処理制御部144は、タイミング検知部(行動検知処理部)143の検知結果に応じて睡眠状態処理部142を制御しても良い。
 第1変形形態では、処理制御部144は、タイミング検知部143の検知結果に応じて、睡眠状態処理部142によって求められた睡眠状態の出力を行うか否かを制御する。第1変形形態では、睡眠状態処理は、睡眠状態処理部142によって、実行されるものの、その結果の出力を制御することで、その実行の制御によって得られる効果と同等の効果が得られる。より具体的には、前記処理S4において、処理制御部144は、タイミング検知部143から、睡眠状態の検出タイミングではないとの検知結果を受け付けた場合には、睡眠状態処理部142に、その求めた睡眠度の出力を行わせずに終了し、一方、タイミング検知部143から、睡眠状態の検出タイミングであるとの検知結果を受け付けた場合には、睡眠状態処理部142に、その求めた睡眠度の出力を行わせる。このような被監視者監視支援システムMS、睡眠状態検出装置および睡眠状態検出方法は、例えば、睡眠状態の検出に適した状態で睡眠状態処理部142によって求められた睡眠状態を出力したり、逆に、睡眠状態の検出に不適な状態で睡眠状態処理部142によって求められた睡眠状態を不出力したり等するように、睡眠状態処理部142を制御することで、誤判定をより低減できる。
 第2変形形態では、処理制御部144は、タイミング検知部43の検知結果に応じて、睡眠状態処理部142によって求められた睡眠状態をタイミング検知部143の検知結果で補助するか否かを制御する。より具体的には、前記処理S4において、処理制御部144は、タイミング検知部143から、睡眠状態の検出タイミングではないとの検知結果を受け付けた場合には、睡眠状態処理部142によって求められた睡眠度に、例えば「低精度」や「低信頼性」等の睡眠状態の検出タイミングではない状態で求められた睡眠度であることを表す付加情報を付加し、一方、タイミング検知部143から、睡眠状態の検出タイミングであるとの検知結果を受け付けた場合には、睡眠状態処理部142に、その求めた睡眠度の出力をそのまま行わせる。このような被監視者監視支援システムMS、睡眠状態検出装置および睡眠状態検出方法は、例えば、睡眠状態の検出に適した状態で睡眠状態処理部142によって求められた睡眠状態をそのまま出力したり、逆に、睡眠状態の検出に不適な状態で睡眠状態処理部142によって求められた睡眠状態に、睡眠状態の検出に不適な状態であることを表す情報を付加したり等するように、睡眠状態処理部142によって求められた睡眠状態をタイミング検知部143の検知結果で補助すること等が可能となるので、誤判定をより低減できる。
 第3変形形態では、前記睡眠状態処理は、対象者(被監視者)Obの睡眠の深さの度合い表す睡眠度を、予め設定された睡眠度判定閾値と前記第1センサの第1測定結果とを比較することによって前記睡眠状態として求める処理であり、処理制御部144は、前記制御として、タイミング検知部143の検知結果に応じて前記睡眠状度判定閾値を変更する。上述の実施形態では、前記第1および第2睡眠度区分閾値が前記睡眠度判定閾値の一例に相当し、ドップラセンサ112が前記第1センサの一例に相当し、より具体的には、前記処理S4において、処理制御部144は、タイミング検知部143から、睡眠状態の検出タイミングではないとの検知結果を受け付けた場合には、第1および第2睡眠度区分閾値を、低睡眠度や高睡眠度と判定され難い値に変更し、これによって実質的に低睡眠度や高睡眠度が求められないようにセンサ装置SUが設定される。一方、処理制御部144は、タイミング検知部143から、睡眠状態の検出タイミングであるとの検知結果を受け付けた場合には、第1および第2睡眠度区分閾値を、低睡眠度や高睡眠度と判定され易い値に変更し、これによって実質的に低睡眠度や高睡眠度が求められ易くなるようにセンサ装置SUが設定される。このような被監視者監視支援システムMS、睡眠状態検出装置および睡眠状態検出方法は、例えば、睡眠状態の検出に適した状態の場合に、睡眠状態を求め易い値に、睡眠状度判定閾値を変更したり、逆に、睡眠状態の検出に不適な状態の場合に、睡眠状態を求め難い値に、睡眠状度判定閾値を変更したり等することが可能となるので、誤判定をより低減できる。
 また、好ましくは、睡眠状態処理部142は、前記睡眠状態処理として、睡眠状態を求めるように機械学習された互いに異なる複数の学習モデルのうちのいずれかの学習モデルを用いて前記第1センサの第1測定結果に基づいて対象者(被監視者)Obの睡眠状態を求め、処理制御部144は、前記制御として、タイミング検知部143の検知結果に応じて、前記複数の学習モデルのうちから、睡眠状態処理部142で用いられる学習モデルを変更(選出)しても良い。また好ましくは、前記睡眠状態処理は、睡眠状態を求める互いに異なる複数のアルゴリズムを含み、睡眠状態処理部142は、前記複数のアルゴリズムのうちのいずれかのアルゴリズムを用いて前記第1センサの第1測定結果に基づいて対象者(被監視者)Obの睡眠状態を求め、処理制御部144は、前記制御として、タイミング検知部143の検知結果に応じて、前記複数のアルゴリズムのうちから、睡眠状態処理部142で用いられるアルゴリズムを変更(選出)しても良い。
 第4変形形態では、前記睡眠状態処理は、予め設定された所定の時間間隔で、対象者(被監視者)Obの睡眠の深さの度合い表す睡眠度を、予め設定された睡眠度判定閾値と前記第1センサの第1測定結果とを比較することによって前記睡眠状態として仮に求め、前記仮に求めた睡眠度が、予め設定された継続判定時間、継続している場合に、前記仮に求めた睡眠度を最終的な睡眠度として決定する処理であり、処理制御部144は、前記制御として、タイミング検知部143の検知結果に応じて前記継続判定時間を変更する。上述の実施形態では、前記第1および第2睡眠度区分閾値が前記睡眠度判定閾値の一例に相当し、ドップラセンサ112が前記第1センサの一例に相当し、前記覚醒中継続判定時間、低睡眠中継続判定時間および高睡眠中継続判定時間が前記継続判定時間の一例に相当する。より具体的には、前記処理S4において、処理制御部144は、タイミング検知部143から、睡眠状態の検出タイミングではないとの検知結果を受け付けた場合には、前記覚醒中継続判定時間、低睡眠中継続判定時間および高睡眠中継続判定時間それぞれを、覚醒中や低睡眠度や高睡眠度と判定され難い値に変更し、これによって実質的に覚醒中や低睡眠度や高睡眠度が求められないようにセンサ装置SUが設定される。一方、処理制御部144は、タイミング検知部143から、睡眠状態の検出タイミングであるとの検知結果を受け付けた場合には、前記覚醒中継続判定時間、低睡眠中継続判定時間および高睡眠中継続判定時間それぞれを、覚醒中や低睡眠度や高睡眠度と判定され易い値に変更し、これによって実質的に覚醒中や低睡眠度や高睡眠度が求められ易くなるようにセンサ装置SUが設定される。このような被監視者監視支援システムMS、睡眠状態検出装置および睡眠状態検出方法は、例えば、睡眠状態の検出に適した状態の場合に、睡眠状態を求め易い値に、継続判定時間を変更したり、逆に、睡眠状態の検出に不適な状態の場合に、睡眠状態を求め難い値に、継続判定時間を変更したり等することが可能となるので、誤判定をより低減できる。
 なお、より高精度に睡眠状態を検出する観点から、処理制御部144は、タイミング検知部143から、睡眠状態の検出タイミングであるとの検知結果を受け付けた場合には、前記覚醒中継続判定時間、低睡眠中継続判定時間および高睡眠中継続判定時間それぞれを、タイミング検知部143から、睡眠状態の検出タイミングではないとの検知結果を受け付けた場合における前記覚醒中継続判定時間、低睡眠中継続判定時間および高睡眠中継続判定時間それぞれの時間よりも長い値に、変更しても良い。
 第5変形形態では、前記第1センサは、対象者(被監視者)Obを測定する複数のサブセンサを含み、睡眠状態処理部142は、前記睡眠状態処理として、前記第1センサにおける複数のサブセンサのうちのいずれかのサブセンサのサブ測定結果に基づいて対象者Obの睡眠状態を求め、処理制御部144は、前記制御として、タイミング検知部143の検知結果に応じて、前記複数のサブセンサのうちから、睡眠状態処理部142で用いられるサブセンサを変更する。このような場合において、前記複数のサブセンサは、異種の互いに異なるセンサであって良く、あるいは、前記複数のサブセンサは、同種で配設場所(配設位置)の互いに異なるセンサであって良い。
 より具体的には、例えば、前記第1センサは、非接触型の上述のドップラセンサ112と、寝具BDと対象者(被監視者)Obとの間に敷かれ、人の重さを検出する接触型のマットセンサとを含み、処理制御部144は、タイミング検知部143から、睡眠状態の検出タイミングではないとの検知結果を受け付けた場合には、睡眠状態処理部142で用いられるサブセンサを前記マットセンサに変更し、睡眠状態処理部142に前記マットセンサの出力に基づいて対象者Obの睡眠状態を求めさせる。このようなマットセンサを用いて睡眠状態を求める手法は、例えば、特開2013-198654号公報や特開2014-223174号公報等に開示されている。また例えば、睡眠計 スリープスキャン SL-504(タニタ社製)や、睡眠計 HSL-101(オムロン社製)がサブセンサとして用いられても良い。一方、処理制御部144は、タイミング検知部143から、睡眠状態の検出タイミングであるとの検知結果を受け付けた場合には、睡眠状態処理部142で用いられるサブセンサをドップラセンサ112に変更し、睡眠状態処理部142にドップラセンサ112の出力に基づいて対象者Obの睡眠状態を求めさせる。
 また例えば、前記第1センサは、寝具BDに対向する天井に検出方向を寝具BDに向けて(検出方向を垂直下方向に向けて)配置された第1ドップラセンサと、寝具DBの側壁に検出方向を寝具BDに向けて(検出方向を水平方向に向けて)配置された第2ドップラセンサとを含み、タイミング検知部143は、さらに、対象者Obが横臥姿勢か横向きの横臥姿勢かをさらに検知し、処理制御部144は、タイミング検知部143から、横臥姿勢であるとの検知結果を受け付けた場合には、睡眠状態処理部142で用いられるサブセンサを前記第1ドップラセンサに変更し、睡眠状態処理部142に前記第1ドップラセンサの出力に基づいて対象者Obの睡眠状態を求めさせる。一方、処理制御部144は、タイミング検知部143から、横向きの横臥姿勢であるとの検知結果を受け付けた場合には、睡眠状態処理部142で用いられるサブセンサを前記第2ドップラセンサに変更し、睡眠状態処理部142に前記第2ドップラセンサの出力に基づいて対象者Obの睡眠状態を求めさせる。前記姿勢の抽出は、例えば予め用意された横臥姿勢および横向きの横臥姿勢の各モデル(各テンプレート)を用いたパターンマッチングによって、また例えばこれらの姿勢抽出用に学習したニューラルネットワークによって、抽出される。
 また例えば、前記第1センサは、寝具BDに対向する天井に寝具BDに向けて配置された、検知範囲が相対的に狭い第1ドップラセンサと、天井に配置された検知範囲が相対的に広い第2ドップラセンサとを含み、処理制御部144は、タイミング検知部143から、睡眠状態の検出タイミングであるとの検知結果を受け付けた場合には、睡眠状態処理部142で用いられるサブセンサを前記第1ドップラセンサに変更し、睡眠状態処理部142に前記第1ドップラセンサの出力に基づいて対象者Obの睡眠状態を求めさせる。一方、処理制御部144は、タイミング検知部143から、睡眠状態の検出タイミングではないとの検知結果を受け付けた場合には、睡眠状態処理部142で用いられるサブセンサを前記第2ドップラセンサに変更し、睡眠状態処理部142に前記第2ドップラセンサの出力に基づいて対象者Obの睡眠状態を求めさせる。
 このような被監視者監視支援システムMS、睡眠状態検出装置および睡眠状態検出方法は、タイミング検知部143の検知結果に応じて、複数のサブセンサのうちから、睡眠状態処理部142で用いられるサブセンサを変更するので、複数のサブセンサのうちから、タイミング検知部143の検知結果に応じて睡眠状態処理部142で用いられる適切なサブセンサを選択することが可能となるから、誤判定をより低減できる。
 第6変形形態では、タイミング検知部143は、前記第2センサの第2測定結果に基づいて対象者Obの姿勢を求め、この求めた姿勢が予め設定された特定の姿勢である場合に、睡眠状態処理部142で対象者Obの睡眠状態を求める検出タイミングであることを表す第1検知結果を出力し、処理制御部144は、タイミング検知部143から前記第1検知結果を受け付けた場合に、対象者Obの睡眠状態を求めるように睡眠状態処理部142を制御する。好ましくは、前記特定の姿勢は、仰向けの横臥姿勢である。また好ましくは、前記特定の姿勢は、うつ伏せを除く横臥姿勢である。好ましくは、前記第2センサは、画像を生成するカメラ111であり、タイミング検知部143は、カメラ111で生成された画像に基づいて対象者Obの姿勢を求める。より具体的には、例えば、タイミング検知部143は、上述のパターンマッチングやニューラルネットワークによって対象者Obが横臥姿勢であるか否かを検出し、対象者Obが横臥姿勢である場合に、上述のハフ変換やパターンマッチングやニューラルネットワークによって対象者Obの頭部領域を抽出し、この抽出した頭部領域における白領域と黒領域との面積比で仰向けか、うつ伏せかを弁別する。例えば、白領域の面積比が高い場合(白領域の面積>黒領域の面積)は、仰向けの横臥姿勢と判定され、黒領域の面積比が高い場合(白領域の面積<黒領域の面積)は、うつ伏せの横臥姿勢と判定される。また好ましくは、前記第2センサは、距離画像を生成する距離画像センサであり、タイミング検知部143は、前記距離画像センサで生成された距離画像に基づいて対象者Obの姿勢を求める。前記距離画像による姿勢の抽出では、距離画像における各画素が例えば右上腕や頭部等のレベルで人体の部位に対応付けられ、この対応付けに基づいて関節位置が抽出され、この抽出された関節位置から対象者Obの姿勢が求められる。前記人体の部位の識別には、例えば、姿勢抽出用に機械学習された、Random Descision Forestsの学習モデルが用いられる。また好ましくは、前記第2センサは、所定のマーカを検出するマーカ検出センサであり、タイミング検知部143は、前記マーカ検出センサで検出されたマーカに基づいて対象者(被監視者)Obの姿勢を求める。例えば、前記マーカは、対象者Obにおける正面の肩等に当たる被覆上に装着され、タイミング検知部143は、前記マーカ検出センサで前記マーカを検出した場合に仰向けの横臥姿勢と判定し、前記マーカ検出センサで前記マーカを検出しない場合にうつ伏せの横臥姿勢と判定する。
 このような被監視者監視支援システムMS、睡眠状態検出装置および睡眠状態検出方法は、対象者Obが睡眠状態の検出に適した姿勢の場合に、睡眠状態処理部142によって睡眠状態を求めるように、睡眠状態処理部142を制御することで、誤判定をより低減できる。
 第7変形形態では、図2に破線で示すように、センサ装置SUは、年月日時分を計時する時計部147を、SU制御処理部14に機能的にさらに備え、少なくとも睡眠の時間帯を含む対象者Obのスケジュール、を表すスケジュール情報を前記対象者Obに対応付けて記憶するスケジュール情報記憶部161を、SU記憶部16にさらに備え、処理制御部144は、時計部147から現在の時刻を取得し、この取得した現在の時刻に対応する対象者Obのスケジュールをスケジュール情報記憶部161から抽出し、この抽出した対象者Obのスケジュールおよびタイミング検知部143の検知結果に応じて睡眠状態処理部142を制御する。例えば、現在の時刻に対応する対象者Obのスケジュールが睡眠の時間帯であれば、処理制御部144は、タイミング検知部143から、睡眠状態の検出タイミングであるとの検知結果を受け付けた場合には、第1および第2睡眠度区分閾値を、デフォルト値よりもさらに、低睡眠度や高睡眠度と判定され易い値に変更する。このような被監視者監視支援システムMS、睡眠状態検出装置および睡眠状態検出方法は、対象者Obのスケジュールおよびタイミング検知部(行動検知処理部)143の検知結果に応じて睡眠状態処理部142を制御するので、対象者Obのスケジュールを勘案でき、誤判定をより低減できる。
 本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。
 一態様にかかる睡眠状態検出装置は、対象者を測定する第1および第2センサと、睡眠状態処理として、前記第1センサの第1測定結果に基づいて前記対象者の睡眠状態を求める睡眠状態処理部と、前記第2センサの第2測定結果に基づいて検出タイミングを検知するタイミング検知部と、前記タイミング検知部の検知結果に応じて前記睡眠状態処理部を制御する処理制御部とを備える。好ましくは、上述の睡眠状態検出装置において、前記睡眠状態処理は、前記対象者の睡眠の深さの度合い表す睡眠度を前記睡眠状態として求める処理である。好ましくは、上述の睡眠状態検出装置において、前記睡眠状態処理は、前記対象者の睡眠の深さの度合いを表す睡眠度および前記睡眠度に対する信頼性の度合いを表す信頼度を求める処理である。好ましくは、上述の睡眠状態検出装置において、前記第1センサは、前記対象者における、呼吸に伴う胸部の体表の動きを測定するドップラセンサであり、前記第2センサは、前記対象者の画像を生成するカメラである。
 このような睡眠状態検出装置は、タイミング検知部の検知結果に応じて睡眠状態処理部を制御するので、例えば、睡眠状態の検出に適した状態での、第1センサの第1測定結果に基づいて前記対象者の睡眠状態を求める一方、睡眠状態の検出に不適な状態で、前記対象者の睡眠状態を求めないように制御することが可能となるから、上記睡眠状態検出装置は、誤判定をより低減できる。
 他の一態様では、上述の睡眠状態検出装置において、前記処理制御部は、前記タイミング検知部の検知結果に応じて、前記睡眠状態処理部における睡眠状態処理を実行するか否かを制御する。
 このような睡眠状態検出装置は、例えば、睡眠状態の検出に適した状態で睡眠状態処理を実行したり、逆に、睡眠状態の検出に不適な状態で睡眠状態処理を不実行したり等するように、前記睡眠状態処理部における睡眠状態処理を制御することで、誤判定をより低減できる。
 他の一態様では、上述の睡眠状態検出装置において、前記処理制御部は、前記タイミング検知部の検知結果に応じて、前記睡眠状態処理部によって求められた睡眠状態の出力を行うか否かを制御する。
 このような睡眠状態検出装置は、例えば、睡眠状態の検出に適した状態で睡眠状態処理部によって求められた睡眠状態を出力したり、逆に、睡眠状態の検出に不適な状態で睡眠状態処理部によって求められた睡眠状態を不出力したり等するように、前記睡眠状態処理部を制御することで、誤判定をより低減できる。
 他の一態様では、上述の睡眠状態検出装置において、前記処理制御部は、前記タイミング検知部の検知結果に応じて、前記睡眠状態処理部によって求められた睡眠状態を前記タイミング検知部の検知結果で補助するか否かを制御する。
 このような睡眠状態検出装置は、例えば、睡眠状態の検出に適した状態で睡眠状態処理部によって求められた睡眠状態をそのまま出力したり、逆に、睡眠状態の検出に不適な状態で睡眠状態処理部によって求められた睡眠状態に、睡眠状態の検出に不適な状態であることを表す情報を付加したり等するように、前記睡眠状態処理部によって求められた睡眠状態を前記タイミング検知部の検知結果で補助すること等が可能となるので、誤判定をより低減できる。
 他の一態様では、上述の睡眠状態検出装置において、前記睡眠状態処理は、前記対象者の睡眠の深さの度合い表す睡眠度を、予め設定された睡眠度判定閾値と前記第1センサの第1測定結果とを比較することによって前記睡眠状態として求める処理であり、前記処理制御部は、前記制御として、前記タイミング検知部の検知結果に応じて前記睡眠状度判定閾値を変更する。
 このような睡眠状態検出装置は、例えば、睡眠状態の検出に適した状態の場合に、睡眠状態を求め易い値に、睡眠状度判定閾値を変更したり、逆に、睡眠状態の検出に不適な状態の場合に、睡眠状態を求め難い値に、睡眠状度判定閾値を変更したり等することが可能となるので、誤判定をより低減できる。
 他の一態様では、上述の睡眠状態検出装置において、前記睡眠状態処理は、予め設定された所定の時間間隔で、前記対象者の睡眠の深さの度合い表す睡眠度を、予め設定された睡眠度判定閾値と前記第1センサの第1測定結果とを比較することによって前記睡眠状態として仮に求め、前記仮に求めた睡眠度が、予め設定された継続判定時間、継続している場合に、前記仮に求めた睡眠度を最終的な睡眠度として決定する処理であり、前記処理制御部は、前記制御として、前記タイミング検知部の検知結果に応じて前記継続判定時間を変更する。
 このような睡眠状態検出装置は、例えば、睡眠状態の検出に適した状態の場合に、睡眠状態を求め易い値に、継続判定時間を変更したり、逆に、睡眠状態の検出に不適な状態の場合に、睡眠状態を求め難い値に、継続判定時間を変更したり等することが可能となるので、誤判定をより低減できる。
 他の一態様では、上述の睡眠状態検出装置において、前記第1センサは、対象者を測定する複数のサブセンサを含み、前記睡眠状態処理部は、前記睡眠状態処理として、前記第1センサにおける複数のサブセンサのうちのいずれかのサブセンサのサブ測定結果に基づいて前記対象者の睡眠状態を求め、前記処理制御部は、前記制御として、前記タイミング検知部の検知結果に応じて、前記複数のサブセンサのうちから、前記睡眠状態処理部で用いられるサブセンサを変更する。好ましくは、上述の睡眠状態検出装置において、前記複数のサブセンサは、異種の互いに異なるセンサである。好ましくは、上述の睡眠状態検出装置において、前記複数のサブセンサは、同種で配設場所(配設位置)の互いに異なるセンサである。好ましくは、上述の睡眠状態検出装置において、前記複数のサブセンサは、同種で検出方向の互いに異なるセンサである。
 このような睡眠状態検出装置は、タイミング検知部の検知結果に応じて、複数のサブセンサのうちから、睡眠状態処理部で用いられるサブセンサを変更するので、複数のサブセンサのうちから、タイミング検知部の検知結果に応じて睡眠状態処理部で用いられる適切なサブセンサを選択することが可能となるから、誤判定をより低減できる。
 他の一態様では、これら上述の睡眠状態検出装置において、前記タイミング検知部は、前記第2センサの第2測定結果に基づいて前記対象者の姿勢を求め、前記求めた姿勢が予め設定された特定の姿勢である場合に、前記睡眠状態処理部で前記対象者の睡眠状態を求める検出タイミングであることを表す第1検知結果を出力し、前記処理制御部は、前記タイミング検知部から前記第1検知結果を受け付けた場合に、前記対象者の睡眠状態を求めるように前記睡眠状態処理部を制御する。好ましくは、上述の睡眠状態検出装置において、前記特定の姿勢は、仰向けの横臥姿勢である。好ましくは、上述の睡眠状態検出装置において、前記特定の姿勢は、うつ伏せを除く横臥姿勢である。好ましくは、上述の睡眠状態検出装置において、前記第2センサは、画像を生成するカメラであり、前記タイミング検知部は、前記カメラで生成された画像に基づいて前記対象者の姿勢を求める。好ましくは、上述の睡眠状態検出装置において、前記第2センサは、距離画像を生成する距離画像センサであり、前記タイミング検知部は、前記距離画像センサで生成された距離画像に基づいて前記対象者の姿勢を求める。好ましくは、上述の睡眠状態検出装置において、前記第2センサは、所定のマーカを検出するマーカ検出センサであり、前記タイミング検知部は、前記マーカ検出センサで検出されたマーカに基づいて前記対象者の姿勢を求める。
 このような睡眠状態検出装置は、対象者が睡眠状態の検出に適した姿勢の場合に、睡眠状態処理部によって睡眠状態を求めるように、睡眠状態処理部を制御することで、誤判定をより低減できる。
 他の一態様では、これら上述の睡眠状態検出装置において、年月日時分を計時する時計部と、少なくとも睡眠の時間帯を含む前記対象者のスケジュール、を表すスケジュール情報を前記対象者に対応付けて記憶するスケジュール情報記憶部とを備え、前記処理制御部は、前記時計部から現在の時刻を取得し、前記取得した現在の時刻に対応する前記対象者のスケジュールを前記スケジュール情報記憶部から抽出し、前記抽出した前記対象者のスケジュールおよび前記タイミング検知部の検知結果に応じて前記睡眠状態処理部を制御する。
 このような睡眠状態検出装置は、前記対象者のスケジュールおよび前記タイミング検知部の検知結果に応じて前記睡眠状態処理部を制御するので、対象者のスケジュールを勘案でき、誤判定をより低減できる。
 他の一態様にかかる睡眠状態検出方法は、第1および第2センサそれぞれで対象者を測定する測定工程と、前記第1センサの第1測定結果に基づいて前記対象者の睡眠状態を判定する睡眠状態判定工程と、前記第2センサの第2測定結果に基づいて検出タイミングを検知するタイミング検知工程と、前記タイミング検知工程の検知結果に応じて前記睡眠状態処理工程を制御する処理制御工程とを備える。
 このような睡眠状態検出方法は、タイミング検知工程の検知結果に応じて睡眠状態処理工程を制御するので、例えば、睡眠状態の検出に適した状態での、第1センサの第1測定結果に基づいて前記対象者の睡眠状態を求める一方、睡眠状態の検出に不適な状態で、前記対象者の睡眠状態を求めないようにすることが可能となるから、上記睡眠状態検出方法は、誤判定をより低減できる。
 他の一態様にかかる被監視者監視支援システムは、対象者に対応して設けられ、前記対象者の睡眠状態を求めるセンサ装置、前記センサ装置と通信可能に接続され前記センサ装置から受信した睡眠状態を管理する中央処理装置、および、前記中央処理装置と通信可能に接続され前記中央処理装置を介して前記睡眠状態を受信して表示する端末装置を備え、前記対象者を被監視者として前記被監視者の監視を支援するための被監視者監視支援システムであって、前記センサ装置は、これら上述のいずれかの睡眠状態検出装置を含む。
 これによれば、これら上述のいずれかの睡眠状態検出装置を用いた被監視者監視支援システムが提供できる。このような被監視者監視支援システムは、これら上述のいずれかの睡眠状態検出装置を用いるので、誤判定をより低減できる。
 この出願は、2017年8月10日に出願された日本国特許出願特願2017-155071を基礎とするものであり、その内容は、本願に含まれるものである。
 本発明の実施形態が詳細に図示され、かつ、説明されたが、それは単なる図例及び実例であって限定ではない。本発明の範囲は、添付されたクレームの文言によって解釈されるべきである。
 本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
 本発明によれば、睡眠状態を検出する睡眠状態検出装置および睡眠状態検出方法ならびにこの睡眠状態検出装置を用いた被監視者監視支援システムが提供できる。

Claims (11)

  1.  対象者を測定する第1および第2センサと、
     睡眠状態処理として、前記第1センサの第1測定結果に基づいて前記対象者の睡眠状態を求める睡眠状態処理部と、
     前記第2センサの第2測定結果に基づいて検出タイミングを検知するタイミング検知部と、
     前記タイミング検知部の検知結果に応じて前記睡眠状態処理部を制御する処理制御部とを備える、
     睡眠状態検出装置。
  2.  前記処理制御部は、前記タイミング検知部の検知結果に応じて、前記睡眠状態処理部における睡眠状態処理を実行するか否かを制御する、
     請求項1に記載の睡眠状態検出装置。
  3.  前記処理制御部は、前記タイミング検知部の検知結果に応じて、前記睡眠状態処理部によって求められた睡眠状態の出力を行うか否かを制御する、
     請求項1に記載の睡眠状態検出装置。
  4.  前記処理制御部は、前記タイミング検知部の検知結果に応じて、前記睡眠状態処理部によって求められた睡眠状態を前記タイミング検知部の検知結果で補助するか否かを制御する、
     請求項1に記載の睡眠状態検出装置。
  5.  前記睡眠状態処理は、前記対象者の睡眠の深さの度合い表す睡眠度を、予め設定された睡眠度判定閾値と前記第1センサの第1測定結果とを比較することによって前記睡眠状態として求める処理であり、
     前記処理制御部は、前記制御として、前記タイミング検知部の検知結果に応じて前記睡眠状度判定閾値を変更する、
     請求項1に記載の睡眠状態検出装置。
  6.  前記睡眠状態処理は、予め設定された所定の時間間隔で、前記対象者の睡眠の深さの度合い表す睡眠度を、予め設定された睡眠度判定閾値と前記第1センサの第1測定結果とを比較することによって前記睡眠状態として仮に求め、前記仮に求めた睡眠度が、予め設定された継続判定時間、継続している場合に、前記仮に求めた睡眠度を最終的な睡眠度として決定する処理であり、
     前記処理制御部は、前記制御として、前記タイミング検知部の検知結果に応じて前記継続判定時間を変更する、
     請求項1に記載の睡眠状態検出装置。
  7.  前記第1センサは、対象者を測定する複数のサブセンサを含み、
     前記睡眠状態処理部は、前記睡眠状態処理として、前記第1センサにおける複数のサブセンサのうちのいずれかのサブセンサのサブ測定結果に基づいて前記対象者の睡眠状態を求め、
     前記処理制御部は、前記制御として、前記タイミング検知部の検知結果に応じて、前記複数のサブセンサのうちから、前記睡眠状態処理部で用いられるサブセンサを変更する、
     請求項1に記載の睡眠状態検出装置。
  8.  前記タイミング検知部は、前記第2センサの第2測定結果に基づいて前記対象者の姿勢を求め、前記求めた姿勢が予め設定された特定の姿勢である場合に、前記睡眠状態処理部で前記対象者の睡眠状態を求める検出タイミングであることを表す第1検知結果を出力し、
     前記処理制御部は、前記タイミング検知部から前記第1検知結果を受け付けた場合に、前記対象者の睡眠状態を求めるように前記睡眠状態処理部を制御する、
     請求項1ないし請求項7のいずれか1項に記載の睡眠状態検出装置。
  9.  年月日時分を計時する時計部と、
     少なくとも睡眠の時間帯を含む前記対象者のスケジュール、を表すスケジュール情報を前記対象者に対応付けて記憶するスケジュール情報記憶部とを備え、
     前記処理制御部は、前記時計部から現在の時刻を取得し、前記取得した現在の時刻に対応する前記対象者のスケジュールを前記スケジュール情報記憶部から抽出し、前記抽出した前記対象者のスケジュールおよび前記タイミング検知部の検知結果に応じて前記睡眠状態処理部を制御する、
     請求項1ないし請求項8のいずれか1項に記載の睡眠状態検出装置。
  10.  第1および第2センサそれぞれで対象者を測定する測定工程と、
     前記第1センサの第1測定結果に基づいて前記対象者の睡眠状態を判定する睡眠状態判定工程と、
     前記第2センサの第2測定結果に基づいて検出タイミングを検知するタイミング検知工程と、
     前記タイミング検知工程の検知結果に応じて前記睡眠状態処理工程を制御する処理制御工程とを備える、
     睡眠状態検出方法。
  11.  対象者に対応して設けられ、前記対象者の睡眠状態を求めるセンサ装置、前記センサ装置と通信可能に接続され前記センサ装置から受信した睡眠状態を管理する中央処理装置、および、前記中央処理装置と通信可能に接続され前記中央処理装置を介して前記睡眠状態を受信して表示する端末装置を備え、前記対象者を被監視者として前記被監視者の監視を支援するための被監視者監視支援システムであって、
     前記センサ装置は、請求項1ないし請求項9のいずれか1項に記載の睡眠状態検出装置を含む、
     被監視者監視支援システム。
     
PCT/JP2018/018633 2017-08-10 2018-05-15 睡眠状態検出装置および該方法ならびに被監視者監視支援システム WO2019031010A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019535604A JP7180601B2 (ja) 2017-08-10 2018-05-15 睡眠状態検出装置および該方法ならびに被監視者監視支援システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017155071 2017-08-10
JP2017-155071 2017-08-10

Publications (1)

Publication Number Publication Date
WO2019031010A1 true WO2019031010A1 (ja) 2019-02-14

Family

ID=65271432

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/018633 WO2019031010A1 (ja) 2017-08-10 2018-05-15 睡眠状態検出装置および該方法ならびに被監視者監視支援システム

Country Status (2)

Country Link
JP (1) JP7180601B2 (ja)
WO (1) WO2019031010A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114027667A (zh) * 2021-12-01 2022-02-11 慕思健康睡眠股份有限公司 一种在离床状态判定方法、装置、智能床垫及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012170483A (ja) * 2011-02-17 2012-09-10 Fujitsu Ltd 状態検知装置および状態検知方法
JP2014151120A (ja) * 2013-02-13 2014-08-25 Hitachi Systems Ltd 睡眠状態監視システムおよび睡眠状態監視プログラム
JP2014200386A (ja) * 2013-04-02 2014-10-27 キッセイコムテック株式会社 睡眠状態判断システムおよび睡眠状態判断方法
JP2015106282A (ja) * 2013-11-29 2015-06-08 エコナビスタ株式会社 見守りシステム及び見守り方法
JP2016067812A (ja) * 2014-10-01 2016-05-09 セイコーエプソン株式会社 活動状態情報検出装置及び活動状態情報検出装置の制御方法
JP2016115054A (ja) * 2014-12-12 2016-06-23 富士通株式会社 監視制御プログラム、監視制御装置、および監視制御方法
WO2017061371A1 (ja) * 2015-10-06 2017-04-13 コニカミノルタ株式会社 行動検知システム、行動検知装置、行動検知方法、および行動検知プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7252640B2 (en) * 2002-12-04 2007-08-07 Cardiac Pacemakers, Inc. Detection of disordered breathing
JP4750032B2 (ja) * 2003-08-18 2011-08-17 カーディアック ペースメイカーズ, インコーポレイテッド 医療用装置
JP4502712B2 (ja) * 2004-06-02 2010-07-14 株式会社デルタツーリング 心身状態判定システム
CN104812432A (zh) * 2012-11-29 2015-07-29 丰田自动车株式会社 睡眠控制装置以及睡眠控制方法
WO2015107681A1 (ja) * 2014-01-17 2015-07-23 任天堂株式会社 情報処理システム、情報処理サーバ、情報処理プログラム、および情報提供方法
JP2016047305A (ja) * 2015-11-30 2016-04-07 株式会社豊田中央研究所 意識状態推定装置及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012170483A (ja) * 2011-02-17 2012-09-10 Fujitsu Ltd 状態検知装置および状態検知方法
JP2014151120A (ja) * 2013-02-13 2014-08-25 Hitachi Systems Ltd 睡眠状態監視システムおよび睡眠状態監視プログラム
JP2014200386A (ja) * 2013-04-02 2014-10-27 キッセイコムテック株式会社 睡眠状態判断システムおよび睡眠状態判断方法
JP2015106282A (ja) * 2013-11-29 2015-06-08 エコナビスタ株式会社 見守りシステム及び見守り方法
JP2016067812A (ja) * 2014-10-01 2016-05-09 セイコーエプソン株式会社 活動状態情報検出装置及び活動状態情報検出装置の制御方法
JP2016115054A (ja) * 2014-12-12 2016-06-23 富士通株式会社 監視制御プログラム、監視制御装置、および監視制御方法
WO2017061371A1 (ja) * 2015-10-06 2017-04-13 コニカミノルタ株式会社 行動検知システム、行動検知装置、行動検知方法、および行動検知プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114027667A (zh) * 2021-12-01 2022-02-11 慕思健康睡眠股份有限公司 一种在离床状态判定方法、装置、智能床垫及介质
CN114027667B (zh) * 2021-12-01 2023-08-15 慕思健康睡眠股份有限公司 一种在离床状态判定方法、装置、智能床垫及介质

Also Published As

Publication number Publication date
JP7180601B2 (ja) 2022-11-30
JPWO2019031010A1 (ja) 2020-07-09

Similar Documents

Publication Publication Date Title
JP6852733B2 (ja) 生体監視装置及び生体監視方法
US20150194034A1 (en) Systems and methods for detecting and/or responding to incapacitated person using video motion analytics
WO2017082037A1 (ja) 被監視者監視システムの中央処理装置および該方法ならびに前記被監視者監視システム
JP6146552B1 (ja) 被監視者監視システムの操作受付装置および該方法ならびに被監視者監視システム
JP6992749B2 (ja) 被監視者監視システムの中央処理装置、中央処理方法およびプログラムならびに被監視者監視システム
JP7044060B2 (ja) 被監視者監視装置、該方法および該システム
JP6142975B1 (ja) 被監視者監視装置および該方法ならびに被監視者監視システム
WO2018186042A1 (ja) 行動検知装置および行動検知方法ならびに被監視者監視支援システム
JP7180601B2 (ja) 睡眠状態検出装置および該方法ならびに被監視者監視支援システム
JP6711474B2 (ja) システム、システムの制御方法、制御プログラム、およびプログラムを含む装置
JP7137154B2 (ja) 行動検知装置および該方法ならびに被監視者監視支援システム
JP6123962B1 (ja) 被監視者監視システムの中央処理装置および該方法ならびに被監視者監視システム
JP2019197263A (ja) システム、およびシステムの制御方法
WO2019031011A1 (ja) 睡眠状態検出装置および該方法ならびに被監視者監視支援システム
JP6686523B2 (ja) 被監視者監視装置、該方法および該システム
JP7137155B2 (ja) 被監視者監視支援システム、被監視者監視支援方法およびプログラム
JP6673382B2 (ja) 端末装置、プログラムおよび方法
JP6787321B2 (ja) 被監視者監視システムの操作受付装置および該方法ならびに被監視者監視システム
JP2017151675A (ja) 被監視者監視システムの中央処理装置および中央処理方法、ならびに、前記被監視者監視システム
JP7259540B2 (ja) 判定装置、判定装置の制御プログラム、および判定方法
WO2018230103A1 (ja) 被監視者監視装置および該方法ならびに被監視者監視支援システム
JP6245415B1 (ja) 端末装置および端末装置の動作制御方法ならびに被監視者監視システム
WO2019069638A1 (ja) 自立指標測定装置および該方法
JPWO2019235068A1 (ja) 被監視者監視支援装置、被監視者監視支援方法、被監視者監視支援システムおよび被監視者監視支援サーバ装置
JPWO2020031531A1 (ja) 移動行動異常判定装置および該方法ならびに被監視者監視支援システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18842882

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019535604

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18842882

Country of ref document: EP

Kind code of ref document: A1