WO2018186042A1 - 行動検知装置および行動検知方法ならびに被監視者監視支援システム - Google Patents

行動検知装置および行動検知方法ならびに被監視者監視支援システム Download PDF

Info

Publication number
WO2018186042A1
WO2018186042A1 PCT/JP2018/006492 JP2018006492W WO2018186042A1 WO 2018186042 A1 WO2018186042 A1 WO 2018186042A1 JP 2018006492 W JP2018006492 W JP 2018006492W WO 2018186042 A1 WO2018186042 A1 WO 2018186042A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
unit
detection
action
monitored person
Prior art date
Application number
PCT/JP2018/006492
Other languages
English (en)
French (fr)
Inventor
雅史 西角
真和 岡田
将積 直樹
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to JP2019511089A priority Critical patent/JP7370857B2/ja
Publication of WO2018186042A1 publication Critical patent/WO2018186042A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G12/00Accommodation for nursing, e.g. in hospitals, not covered by groups A61G1/00 - A61G11/00, e.g. trolleys for transport of medicaments or food; Prescription lists

Definitions

  • the present invention relates to a behavior detection device and a behavior detection method for detecting a predetermined behavior of a target person, and a monitored person monitoring support system using the behavior detection device.
  • Japan is an aging society, more specifically, an aging society with an aging rate exceeding 26.7% (as of October 1, 2015, Cabinet Office).
  • nurses who need nursing or nursing care due to illness, injury, elderly age, etc. need caregivers who need nursing care or need care in a normal society that is not an aging society. That increase is expected.
  • These nurses and care recipients generally enter hospitals and other facilities such as welfare facilities for the elderly (short-term entrance facilities for the elderly, nursing homes for the elderly and special nursing homes for the elderly in Japan). Get nursing and nursing care.
  • nurses and caregivers regularly check their safety and appearance by patrol. In terms of this safety confirmation, a single person living alone is the same as the nurse requiring care or the person requiring care.
  • home medical care such as home visits and home visits has been requested for those who are difficult to move by themselves or who desire home medical treatment.
  • a nurse call system having a nurse call parent device, a camera for imaging a patient on a bed from above the bed, and a state in which the patient wakes up from a captured image of the camera and a state in which the patient is separated from the bed State judging means for judging the occurrence of at least one of them and outputting a caution state occurrence signal, and the nurse call master unit has a notifying means for performing a notification operation upon receiving the caution state occurrence signal.
  • the nurse call system transmits a captured image of the camera to the portable terminal upon receiving the attention state generation signal and a portable terminal carried by a nurse to respond to a call from the nurse call slave. Communication control means.
  • the nurse call system disclosed in Patent Document 1 determines the occurrence of at least one of the state in which the patient is raised from the camera image and the state in which the patient is separated from the bed, and outputs an attention state generation signal. In response to the attention state occurrence signal, the nurse notifies the portable terminal carried by the nurse. For this reason, the nurse can recognize the occurrence of the patient's attention state by this notification even if the patient is away from the patient, and the nurse call system disclosed in Patent Document 1 is convenient.
  • the camera captures an image from above the patient's bed, the accuracy of determination (detection) decreases due to the patient appearing small in the peripheral portion of the image or distortion of the imaging optical system. There is a fear.
  • the peripheral portion of the image is more greatly distorted.
  • furniture such as a screen or a table may be arranged in the patient's room, for example, and a blind spot may be caused by the furniture in the camera that captures images from above the patient's bed. The determination (detection) cannot be made.
  • the present invention has been made in view of the above-described circumstances, and the object thereof is an action detection device and an action detection method that can further improve detection accuracy when detecting a predetermined action in a target person, and the action.
  • an action detection device and an action detection method that can further improve detection accuracy when detecting a predetermined action in a target person, and the action.
  • a behavior detection device, a behavior detection method, and a monitored person monitoring support system reflecting one aspect of the present invention are based on an image generated by imaging a first target region from above.
  • the reflected wave of the transmission wave obtained by detecting the presence or absence of a predetermined action in the target person and transmitting the transmission wave from above to a predetermined second target area including an area different from the first target area. Based on this, the presence or absence of the action in the subject is detected, and the presence or absence of the action in the subject is finally determined based on each detection result.
  • FIG. 1 It is a figure which shows the structure of the to-be-monitored person monitoring assistance system in embodiment. It is a figure which shows the structure of the sensor main-body part of a sensor apparatus provided with the action detection apparatus in the said monitoring person monitoring assistance system. It is a figure which shows the structure of the 2nd sensor part of the said sensor apparatus.
  • positioning aspect of the said sensor apparatus it is a side view which shows the mode of a living room typically. It is a top view which shows the mode of a living room typically.
  • the monitored person monitoring support system in the embodiment supports the work of a monitoring person (user) who monitors the monitored person (monitoring target person, target person) Ob that is the monitoring target (monitoring target) to be monitored (monitored). To do.
  • the monitored person monitoring support system is provided corresponding to the monitored person Ob, and is connected to the sensor apparatus that detects a predetermined event related to the monitored person Ob, and is communicably connected to the sensor apparatus.
  • a central management device that manages an event detected by the sensor device and received from the sensor device, and a notification of the event detected by the sensor device via the central management device that is communicably connected to the central management device Receiving terminal device.
  • the sensor device includes the monitored person Ob as the target person Ob, the predetermined event related to the monitored person Ob includes a predetermined action in the target person Ob, and a predetermined event in the target person Ob.
  • a behavior detection device for detecting the behavior of the terminal device may be one type of device, in the present embodiment, the terminal device is two types of devices, a fixed terminal device and a mobile terminal device. The main difference between these fixed terminal devices and portable terminal devices is that the fixed terminal device is fixedly operated, while the portable terminal device is operated by being carried by a supervisor (user) such as a nurse or a caregiver. The fixed terminal device and the mobile terminal device are substantially the same. Such a monitored person monitoring support system will be described more specifically below.
  • FIG. 1 is a diagram showing a configuration of a monitored person monitoring support system in the embodiment.
  • FIG. 2 is a diagram illustrating a configuration of a sensor main body of a sensor device including a behavior detection device in the monitored person monitoring support system.
  • FIG. 3 is a diagram illustrating a configuration of a second sensor unit of the sensor device.
  • FIG. 4 is a side view schematically showing the state of the living room in order to explain the arrangement of the sensor device.
  • FIG. 5 is a top view schematically showing the state of the living room.
  • P1 x1, y1
  • the sensor main body SUa projected on the top view is indicated by a broken line
  • the second arrangement position of the second sensor RU In order to show P2 (x2, y2), the 2nd sensor part RU projected on the top view is shown with the broken line.
  • the monitored person monitoring support system MS includes, for example, as shown in FIG. 1, one or a plurality of sensor devices SU (SU-1 to SU-4), a management server device SV, and a fixed terminal.
  • the device SP one or a plurality of portable terminal devices TA (TA-1, TA-2), and a private branch exchange (PBX) CX, which are wired or wireless, LAN (Local Area Network) ) Or the like (network, communication line) NW so that communication is possible.
  • the network NW may be provided with repeaters such as repeaters, bridges, and routers that relay communication signals.
  • FIG. 1 one or a plurality of sensor devices SU (SU-1 to SU-4), a management server device SV, and a fixed terminal.
  • the device SP one or a plurality of portable terminal devices TA (TA-1, TA-2), and a private branch exchange (PBX) CX, which are wired or wireless, LAN (Local Area Network) ) Or the like (network, communication line
  • the plurality of sensor devices SU-1 to SU-4, the management server device SV, the fixed terminal device SP, the plurality of portable terminal devices TA-1, TA-2, and the private branch exchange CX include an L2 switch.
  • Wired and wireless LAN including IEEE802.11 and IEEE802.3 standards such as IEEE802. 2 standard
  • the plurality of sensor devices SU-1 to SU-4, the management server device SV, the fixed terminal device SP, and the private branch exchange CX are connected to the line concentrator LSa, and the plurality of portable terminal devices TA-1, TA-2.
  • the network NW constitutes a so-called intranet by using Internet protocol groups such as TCP (Transmission control protocol) and IP (Internet protocol).
  • a private branch exchange (line switching unit) CX is connected to the network NW, controls extension calls such as outgoing calls, incoming calls, and calls between the portable terminal devices TA, and performs extension calls between the portable terminal devices TA, and For example, outgoing calls, incoming calls, and calls between the external telephone TL and the mobile terminal device TA are connected to an external telephone TL such as a fixed telephone or a mobile telephone via a public telephone network PN such as a fixed telephone network or a mobile telephone network.
  • the outside line telephone is controlled between the outside line telephone TL and the portable terminal device TA.
  • the private branch exchange CX is, for example, a digital exchange or an IP-PBX (Internet Protocol Private Branch eXchange).
  • the monitored person monitoring support system MS is disposed at an appropriate place according to the monitored person Ob.
  • a monitored person (a person to be watched, a target person) Ob is the above-mentioned service beneficiary, for example, a person who needs home medical care or nursing due to illness or injury, a decrease in physical ability, etc. It is a person who needs nursing care or a single person living alone.
  • the monitored person Ob may be a person who needs the detection when a predetermined inconvenient event such as an abnormal state occurs in the person. preferable.
  • the monitored person monitoring support system MS is suitably arranged in a building such as a hospital, an elderly welfare facility, or a dwelling unit according to the type of the monitored person Ob.
  • the monitored person monitoring support system MS is disposed in a building of a nursing facility that includes a plurality of rooms RM in which a plurality of monitored persons Ob live and a plurality of rooms such as a nurse station. .
  • the sensor device SU includes a communication function that communicates with other devices SV, SP, TA via the network NW, and is a device that notifies the management server device SV of a predetermined event related to the monitored person Ob. is there.
  • the predetermined event is preferably a predetermined event that needs to be dealt with.
  • the predetermined event is a predetermined action and a nurse call set in advance in the monitored person Ob.
  • the sensor device SU detects a predetermined action in the monitored person Ob, notifies (transmits) the detection result to the management server device SV as an example of the predetermined event, and accepts a nurse call.
  • Such a sensor device SU includes, for example, as shown in FIGS. 2 to 4, a sensor main body SUa and a second sensor RU, and the sensor main body SUa and the second sensor RU are, for example, Communication is established via a line concentrator LS-2 which is an L2 switch with a PoE function.
  • the PoE (Power over Element) function is a function of supplying power using an Ethernet cable (Ethemet, Ethernet is a registered trademark, and so on).
  • the sensor device SU that is, the sensor main unit SUa and the second sensor unit RU are connected to the line concentrator LSa via the line concentrator LSb, and are operated by receiving power supplied from an Ethernet cable.
  • the sensor body SUa and the second sensor unit RU may be directly connected by a cable that can exchange data with each other.
  • the sensor body SUa includes an imaging unit 11, a sensor side sound input / output unit (SU sound input / output unit) 12, a nurse call reception operation unit 13, and a sensor side control processing unit ( SU control processing unit) 14, sensor side communication interface unit (SU communication IF unit) 15, and sensor side storage unit (SU storage unit) 16.
  • SU control processing unit sensor side control processing unit
  • SU communication IF unit sensor side communication interface unit
  • SU storage unit sensor side storage unit
  • the imaging unit 11 is an apparatus that is connected to the SU control processing unit 14 and generates an image (image data) under the control of the SU control processing unit 14.
  • the image includes a still image (still image data) and a moving image (moving image data).
  • the imaging unit 11 monitors a space (location space, in the example illustrated in FIG. 1, a room (room) RM) where the monitored person (target person) Ob that is a monitoring target to be monitored is located.
  • An image of the first target region (target image) is generated by capturing a part of the location space as a first target region from above and generating an image (image data) overlooking the first target region. ) Is output to the SU control processing unit 14.
  • the imaging unit is positioned when the head of the monitored person Ob is located in the bedding (for example, a bed) on which the monitored person Ob is lying. It arrange
  • the sensor main body SUa uses the imaging unit 11 to acquire an image obtained by imaging the first target region from above, preferably an image obtained from directly above the planned head position.
  • Such an imaging unit 11 may be a device that generates an image of visible light, but in the present embodiment, it is a device that generates an infrared image so that the monitored person Ob can be monitored even in a relatively dark place.
  • such an imaging unit 11 is disposed with an imaging optical system that forms an infrared optical image on a predetermined imaging surface, and a light receiving surface that matches the imaging surface.
  • An area image sensor that converts the infrared optical image into an electrical signal
  • an image processing circuit that generates image data that is data representing an infrared image by performing image processing on the output of the area image sensor, and the like It is a digital infrared camera provided.
  • the imaging optical system of the imaging unit 11 is a wide-angle optical system (so-called wide-angle lens (including a fisheye lens)) having an angle of view capable of imaging the entire living room RM in which the imaging unit 11 is disposed. preferable.
  • the SU sound input / output unit 12 is a circuit that inputs and outputs sound. That is, the SU sound input / output unit 12 is a circuit that is connected to the SU control processing unit 14 and generates and outputs a sound corresponding to an electrical signal representing sound according to the control of the SU control processing unit 14. It is a circuit for acquiring the sound of and inputting it into the sensor device SU.
  • the SU sound input / output unit 12 includes, for example, a speaker that converts a sound electrical signal (sound data) into a sound mechanical vibration signal (acoustic signal), and a microphone that converts a sound mechanical vibration signal in the audible region into an electrical signal. And so on.
  • the SU sound input / output unit 12 outputs an electric signal representing an external sound to the SU control processing unit 14, and converts the electric signal input from the SU control processing unit 14 into a sound mechanical vibration signal and outputs the sound. .
  • the nurse call reception operation unit 13 is connected to the SU control processing unit 14 and is a switch circuit such as a push button switch for inputting the nurse call to the sensor main body SUa.
  • the nurse call reception operation unit 13 may be connected to the SU control processing unit 14 by wire, or may be connected to the SU control processing unit 14 by short-range wireless communication such as Bluetooth (registered trademark) standard.
  • the SU communication IF unit 15 is a communication circuit that is connected to the SU control processing unit 14 and performs communication according to the control of the SU control processing unit 14.
  • the SU communication IF unit 15 generates a communication signal containing the data to be transferred input from the SU control processing unit 14 according to the communication protocol used in the network NW of the monitored person monitoring support system MS.
  • a communication signal is transmitted to other devices SV, SP, and TA via the network NW.
  • the SU communication IF unit 15 receives communication signals from other devices SV, SP, and TA via the network NW, extracts data from the received communication signals, and the SU control processing unit 14 can process the extracted data.
  • the data is converted into data in a proper format and output to the SU control processing unit 14.
  • the SU communication IF unit 15 includes, for example, a communication interface circuit that complies with the IEEE802 series standard or the like.
  • the SU storage unit 16 is a circuit that is connected to the SU control processing unit 14 and stores various predetermined programs and various predetermined data under the control of the SU control processing unit 14.
  • Examples of the various predetermined programs include a SU control program that controls each unit of the sensor device SU according to the function of each unit, and a SU monitoring processing program that executes predetermined information processing related to monitoring of the monitored person Ob. And the like.
  • the SU monitoring processing program presence / absence of a predetermined action in the monitored person (target person) Ob based on an image (target image) generated by imaging a predetermined first target area from above with the imaging unit 11
  • a first action detection processing program for detecting the position a position detection processing program for obtaining the position of the monitored person (target person) Ob based on the target image, and the first detection result and the second sensor of the first action detection processing program
  • the presence or absence of the action in the monitored person (target person) Ob is finally determined based on the second detection result of the unit RU, and in the case of the determination that the action is present, the detection result that the action is present is determined as the predetermined
  • an event a final determination program for notifying the management server device SV, or when a nurse call is received by the nurse call reception operation unit 13, the predetermined event is indicated.
  • a nurse call processing program for notifying the management server device SV and making a voice call with the terminal devices SP and TA by using the SU sound input / output unit 12 or the like, or a moving image generated by the imaging unit 11 Includes a SU streaming processing program that distributes the video to the terminal devices SP and TA that requested the video.
  • the various kinds of predetermined data include executing each program such as a sensor device identifier (sensor ID) of the own device, a communication address of the management server device SV, a location area of the bedding BD, and position information of the own device. The necessary data etc. are included.
  • the sensor ID is an identifier for identifying and identifying the sensor device SU.
  • the position information includes a first arrangement position P1 of the sensor body SUa and a second arrangement position P2 of the second sensor unit RU.
  • the SU storage unit 16 includes, for example, a ROM (Read Only Memory) that is a nonvolatile storage element, an EEPROM (Electrically Erasable Programmable Read Only Memory) that is a rewritable nonvolatile storage element, and the like.
  • the SU storage unit 16 includes a RAM (Random Access Memory) that serves as a working memory of the so-called SU control processing unit 14 that stores data generated during the execution of the predetermined program.
  • the SU storage unit 16 functionally includes a position information storage unit 161 that stores the position information. For example, as shown in FIG.
  • the first and second arrangement positions P1 and P2 have a coordinate origin (0, 0) at one corner of the room RM (lower left corner in the top view in the example shown in FIG. 5).
  • an xy orthogonal coordinate system in which any one of a ceiling plane CE, a floor plane FL, and a virtual plane parallel to the ceiling plane CE (virtual plane parallel to the floor plane FL) is an xy plane
  • each of the first and second arrangement positions can be represented by each coordinate value of each position projected onto the xy plane.
  • the x axis of the xy orthogonal coordinate system is set along the one direction (long direction of the room RM), and the y axis is set along the other direction (short direction of the room RM). .
  • the coordinate value (x1, y1) of the first arrangement position P1 in the xy orthogonal coordinate system is obtained and stored in advance
  • the coordinate value of the second arrangement position P2 in the xy orthogonal coordinate system ( x2, y2) are obtained in advance and stored.
  • the first and second arrangement positions P1 and P2 will be described later.
  • the SU control processing unit 14 is a circuit for controlling each part of the sensor main body part SUa according to the function of each part and notifying the management server device SV of a predetermined event related to the monitored person Ob. is there. More specifically, in the present embodiment, the SU control processing unit 14 detects a predetermined action in the monitored person Ob and notifies the management server device SV of the detection result as an example of the predetermined event (notification, The nurse call is received, the nurse call is notified (notified and transmitted) to the management server device SV as another example of the predetermined event, a voice call is performed between the terminal devices SP and TA, and a moving image is transmitted. Is generated and a moving image is distributed to the terminal devices SP and TA.
  • the SU control processing unit 14 includes, for example, a CPU (Central Processing Unit) and its peripheral circuits.
  • the SU control processing unit 14 executes the control processing program, so that the sensor side control unit (SU control unit) 141, the first action detection processing unit 142, the position detection processing unit 143, the final determination processing unit 144, the nurse A call processing unit 146 and a sensor-side streaming processing unit (SU streaming processing unit) 147 are functionally provided.
  • SU control unit Central Processing Unit
  • the SU control unit 141 controls each part of the sensor main body SUa according to the function of each part, and governs overall control of the sensor main body SUa.
  • the first action detection processing unit 142 detects the presence or absence of a predetermined action in the monitored person (target person) Ob based on a target image generated by imaging a predetermined first target area from above with the imaging unit 11. Then, the first detection result is notified to the final determination processing unit 144. More specifically, in the present embodiment, the predetermined action in the monitored person (target person) Ob is a fall of the monitored person Ob, and the first action detection processing unit 142 is, for example, the imaging unit 11. The head of the monitored person (target person) Ob is detected on the basis of the target image captured in step (b), and the position of the head and the size of the monitored person Ob are detected based on the detected temporal change of the monitored person Ob. Detect falls.
  • a threshold Th for identifying whether or not the head is in the lying posture in the living room RM excluding the area where the bedding BD is located is preliminarily set as one of the various predetermined data. It is stored in the storage unit 16. And the 1st action detection process part 142 extracts a moving body area
  • the first action detection processing unit 142 uses, for example, a circular or elliptical Hough transform from the extracted moving body region, for example, by pattern matching using a head model prepared in advance, or for example, the head
  • the head region of the monitored person Ob is extracted by the neural network learned for detection.
  • the 1st action detection process part 142 detects the presence or absence of a fall from this extracted position and magnitude
  • the time changes from the size to the size of recumbent posture it is determined that there is a fall, and otherwise, it is determined that there is no fall.
  • the position detection processing unit 143 obtains the position of the monitored person (target person) Ob based on the target image generated by imaging the predetermined first target area from above with the imaging unit 11, and obtains the calculated subject.
  • the final determination processing unit 144 is notified of the position of the monitoring person (target person) Ob.
  • the position of the monitored person Ob is given as a coordinate value of a position obtained by projecting the position onto the xy plane of the xy orthogonal coordinate system. More specifically, for example, the position detection processing unit 143 extracts a moving body region as a person's region of the monitored person Ob from the target image in the same manner as the first behavior detection processing unit 142, and the extracted moving body region Is obtained as the position of the monitored person (subject) Ob.
  • the position detection processing unit 143 further extracts the head region of the monitored person Ob from the extracted moving body region, similarly to the first behavior detection processing unit 142, and determines the center of gravity position of the head region. Obtained as the position of the monitored person (subject) Ob.
  • the final determination processing unit 144 finally determines the presence / absence of the behavior in the monitored person (target person) Ob based on the first detection result of the first behavior detection processing unit 142 and the second detection result of the second sensor unit RU.
  • the management server apparatus SV is notified of the detection result of presence of action as an example of the predetermined event (event). More specifically, in the present embodiment, the final determination processing unit 144 performs the first detection of the first behavior detection processing unit 142 based on the position of the monitored person (subject) Ob obtained by the position detection processing unit 143.
  • the final determination processing unit 144 includes the first and second positions stored in the position information storage unit 161 of the SU storage unit 16 and the position of the monitored person (subject) Ob obtained by the position detection processing unit 143.
  • the position of the monitored person Ob obtained by the position detection processing unit 143 is closer to the first arrangement position than the second arrangement position as a result of the comparison, the arrangement positions of the first action detection processing unit 142 are compared.
  • a first detection result is selected, and based on the selected first detection result, the presence / absence of the action in the monitored person Ob (in the present embodiment, the presence / absence of a fall) is finally determined.
  • the position of the monitored person Ob obtained by the detection processing unit 143 is closer to the second arrangement position than the first arrangement position, the second detection result of the second sensor unit RU is selected, and the selected second detection result is selected. Based on the previous in the subject The presence or absence of action (the presence or absence of a fall in this embodiment) finally determines.
  • the final determination processing unit 144 includes event information (event) indicating the content of a predetermined event (event) related to the monitored person Ob.
  • the first communication server 15 notifies the management server device SV of a first event notification communication signal containing the information) for notifying the event.
  • the final determination processing unit 144 includes a communication signal (first event notification communication signal) containing a sensor ID of the own device, event information indicating the content of the event, and a target image used for detection of the predetermined action. ) Is transmitted to the management server device SV via the SU communication IF unit 15.
  • the event information is one or a plurality of falls and nurse calls (NC).
  • the final determination processing unit 144 uses the detected fall as the event information as a first event notification communication signal.
  • the target image used for detection of the predetermined action is finally determined to have the action based on the first detection result or the first and second detection results (that is, at least the first detection result).
  • the target image itself used in the process for obtaining the first detection result, and when it is finally determined that the action is present based on the second detection result, it is synchronized with the second detection result. It is the target image used in the process for obtaining the first detection result.
  • the target image may be at least one of a still image and a moving image.
  • a still image is notified and a moving image is distributed in response to a user request.
  • a moving image may be distributed, a still image and a moving image may be transmitted, and the still image and the moving image may be displayed on the terminal devices SP and TA by screen division.
  • the first event notification communication signal may further contain the predetermined action and the detection time of the nurse call.
  • the nurse call processing unit 146 When the nurse call reception operation unit 13 receives a nurse call, the nurse call processing unit 146 notifies the management server device SV of a first event notification communication signal accommodated as another example of the predetermined event.
  • a voice call is performed with the terminal devices SP and TA by using the SU sound input / output unit 12 or the like. More specifically, when the nurse call reception operation unit 13 is input, the nurse call processing unit 146 performs SU communication on the first event notification communication signal containing the nurse call as the sensor ID of the own device and the event information.
  • the data is transmitted to the management server device SV via the IF unit 15.
  • the nurse call processing unit 146 uses the SU sound input / output unit 12 and the like to perform a voice call with the terminal devices SP and TA, for example, by VoIP (Voice over Internet Protocol).
  • VoIP Voice over Internet Protocol
  • the SU streaming processing unit 147 sends the request to the fixed terminal device SP or the portable terminal device TA that has made this request.
  • the moving image generated by the imaging unit 11 (for example, a live moving image) is distributed via the SU communication IF unit 15 by streaming reproduction.
  • the second sensor unit RU reflects the transmission wave obtained by transmitting a transmission wave having a predetermined wavelength from above to a predetermined second target region including a region different from the first target region in the location space. It is a device that detects the presence or absence of the action in the monitored person (the target person) Ob based on a wave.
  • the second sensor unit RU includes a transmission / reception unit 41, a second sensor unit side control processing unit (RU control processing unit) 42, and a second sensor unit side communication interface unit (RU communication IF). Unit) 43 and a second sensor unit side storage unit (RU storage unit) 44.
  • the transmission / reception unit 41 is connected to the SU control processing unit 14, transmits a transmission wave having a predetermined wavelength under the control of the SU control processing unit 14, and receives a reflected wave of the transmission wave obtained by transmitting this transmission wave.
  • the transmission wave may be a sound wave such as an ultrasonic wave, but in the present embodiment, it is an electromagnetic wave from the viewpoint of transparency. More specifically, it is a microwave of 10.5 GHz band or 24 GHz band called a so-called mobile object detection sensor band.
  • the transmission / reception unit 41 outputs the received reflected wave electrical signal to the RU control processing unit 42.
  • the RU communication IF unit 43 is a communication circuit that is connected to the RU control processing unit 42 and performs communication according to the control of the RU control processing unit 42, similarly to the SU communication IF unit 15.
  • the RU storage unit 16 is a circuit that is connected to the RU control processing unit 42 and stores various predetermined programs and various predetermined data under the control of the RU control processing unit 42.
  • the various predetermined programs include an RU control program for controlling each unit of the second sensor unit RU according to the function of each unit, and a transmission wave having a predetermined wavelength in the second target region by the transmission / reception unit 41.
  • a control processing program such as a second behavior detection processing program for detecting the presence or absence of the behavior in the monitored person (the subject) Ob based on the reflected wave of the transmission wave obtained by transmitting the signal from above It is.
  • the various predetermined data includes data necessary for executing each program, such as a communication address of the sensor main body SUa.
  • the RU storage unit 44 includes, for example, a ROM, an EEPROM, a RAM, and the like.
  • the RU control processing unit 42 controls each part of the second sensor unit RU according to the function of each part, and the presence or absence of the action in the monitored person (the target person) Ob based on the reflected wave of the transmission wave Is a circuit for transmitting the second detection result to the sensor body SUa.
  • the RU control processing unit 42 includes, for example, a CPU and its peripheral circuits.
  • the RU control processing unit 42 functionally includes a second sensor unit side control unit (RU control unit) 421 and a second behavior detection processing unit 422 by executing the control processing program.
  • the RU control unit 421 controls each unit of the second sensor unit RU according to the function of each unit, and controls the entire second sensor unit RU.
  • the second behavior detection processing unit 422 is configured to transmit the transmitted wave having a predetermined wavelength from above to the second target region based on the reflected wave of the transmitted wave (the Subject) The presence or absence of the action in Ob is detected, and the second detection result is transmitted to the sensor main body SUa. More specifically, in the present embodiment, as described above, the predetermined action in the monitored person (target person) Ob is a fall where the monitored person Ob falls, and the second action detection processing unit 422 For example, the distance to the object facing in the transmission direction of the transmission wave is obtained based on the transmission of the transmission wave by the transmission / reception unit 41 and the reception of the reflected wave, and the subject Ob is turned over based on the time change of the distance. Detect.
  • a presence / absence determination threshold Ths for determining whether or not the monitored person Ob is in the second target area, and a fall determination for determining whether or not the monitored person Ob is falling.
  • the threshold value Tht is stored in advance in the RU storage unit 44 as one of the various predetermined data.
  • the presence / absence determination threshold Ths and the fall determination threshold Tht are appropriately set in consideration of the height of the monitored person Ob, for example.
  • the presence / absence determination threshold Th is set to a distance from the position where the transmission / reception unit 11 is disposed (the position where the second sensor unit RU is disposed) to the chest position of the monitored subject Ob in the second target region.
  • the threshold value Tht is set to the distance from the position where the transmission / reception unit 11 is disposed (the position where the second sensor unit RU is disposed) to the waist position of the monitored person Ob in the second target region. Further, for example, the presence / absence determination threshold Th is set to a distance from the arrangement position of the transmission / reception unit 11 (arrangement position of the second sensor unit RU) to 2/3 of the height of the monitored person Ob in the second target region.
  • the fall determination threshold value Tht is a distance (height) from the arrangement position of the transmission / reception unit 11 (position of the second sensor unit RU) to 1/3 of the monitored person Ob in the second target region. Is set.
  • the second behavior detection processing unit 422 performs transmission to the object facing in the transmission direction of the transmission wave based on transmission of the transmission wave by the transmission / reception unit 41 and reception of the reflected wave at a predetermined time interval set in advance.
  • the object is regarded as the monitored person Ob and the monitored person Ob is determined to be in the second target region, and the distance is equal to or smaller than the presence / absence determination threshold Ths.
  • the distance is within a preset second period (for example, within 1 second or within 2 seconds). Is over the fall determination threshold Tht, it is determined that there is a fall, and otherwise, it is determined that there is no fall.
  • the so-called FMCW (Frequency Modulated Continuous Wave) method is used as a method for obtaining the distance to the object facing in the transmission direction of the transmission wave based on transmission of the transmission wave by the transmission / reception unit 41 and reception of the reflected wave.
  • Frequency modulation continuous wave method uses a frequency-modulated continuous wave as a transmission wave, and obtains a distance to the object from a frequency difference (beat frequency) between a reception wave (reflection wave) received with a time delay and a transmission wave. It is.
  • a so-called FMCW radar is configured by the transmission / reception unit 41 and the second behavior detection processing unit 422.
  • sensor main-body part SUa and 2nd sensor part RU acquired the 1st and 2nd detection result in synchronization with each other
  • the second sensor unit RU transmits the second detection result to the sensor body unit SUa.
  • This synchronization can be performed, for example, by transmitting a communication signal (timing synchronization signal) for notifying the detection timing from the sensor body SUa to the second sensor unit RU at each detection timing.
  • the synchronization includes a trigger circuit that generates a trigger at a detection timing cycle in each of the sensor main body SUa and the second sensor unit RU, and from the sensor main body SUa to the second sensor unit at the first detection timing.
  • This can be implemented by transmitting a communication signal (trigger synchronization signal) that matches the trigger generation timing to the RU.
  • the first target region that is the detection range of the sensor main body SUa and the second target region that is the detection range of the second sensor unit RU in the location space will be described.
  • the location space is the living room RM of the monitored person (target person) Ob, and an example of the living room RM is shown in FIGS. 4 and 5.
  • the living room RM forms a location space that is relatively long in one direction (a rectangle whose floor is relatively long in one direction).
  • an entrance door DR is disposed near one side wall
  • a wash basin WS is disposed near the other side wall.
  • a bedding (here, a bed) BD is disposed along the other side wall surface closer to the one end wall surface than the center position of the living room RM.
  • a toilet space LA partitioned by a curtain CT is formed on the other wall surface side of the living room RM, and a toilet BE is disposed closer to the other side wall surface.
  • the imaging unit 11 is preferably disposed on the ceiling CE immediately above the planned head position (positioning position of the pillow PC) as described above.
  • the imaging unit 11 is the central position P1 of the bedding BD in the one direction (the long direction of the living room RM) so that the area around the bedding BD can be suitably monitored.
  • the other direction orthogonal to the direction (the short direction of the room RM), it is disposed on the ceiling CE at the center position P1 of the room RM.
  • the imaging unit 11 is arranged at the first arrangement position P1 (x1, y1) and uses an imaging optical system having an appropriate angle of view, so that the entire room RM is covered without the curtain CT. It is possible to generate a target image of the entire RM.
  • the imaging optical system of the imaging unit 11 is a wide-angle lens or fisheye lens having a relatively wide angle of view (large). For this reason, as described above, there is a possibility that the accuracy of the determination (detection) may decrease in the peripheral portion of the video due to a small subject and distortion of the imaging optical system.
  • the living room RM when the living room RM is relatively long in one direction such that the length in the long direction is twice or more the length in the short direction, a lens with a wider angle of view is required, and the determination (detection) accuracy is higher. descend.
  • the partition curtain CT since the partition curtain CT is disposed in the living room RM, as shown in FIG. 4, the field of view of the imaging unit 11 is blocked by the curtain CT.
  • the imaging unit 11 cannot cover the toilet space LA partitioned by the curtain CT, and the toilet space LA becomes a blind spot for the imaging unit 11.
  • the sensor body SUa cannot perform the determination (detection).
  • the sensor device SU includes the second sensor unit RU in order to cover the blind spot of the imaging unit 11.
  • the second sensor unit RU is a central position P2 of the toilet space LA in the one direction (long direction of the living room RM) so that the toilet space LA that is the blind spot of the imaging unit 11 can be suitably monitored.
  • the other direction (short direction of the room RM) orthogonal to one direction, it is disposed on the ceiling CE at the center position P2 of the room RM.
  • the second sensor unit RU is arranged at such a second arrangement position P2 (x2, y2) and covers the blind spot of the imaging unit 11.
  • the imaging unit 11 has a first region in the room RM (location space) from one wall surface to the curtain CT in the one direction and from one side wall surface to the other side wall surface in the other direction.
  • the target area AR1 a predetermined action (falling in the present embodiment) in the monitored person (target person) Ob is detected.
  • the second target area of the second sensor unit RU may be set so as to be in contact with the first target area AR1 so as not to include an overlapping area overlapping with the first target area AR1. That is, the second sensor unit RU defines, in the room RM (location space), a region from the curtain CT to the other wall surface in the one direction and from the one side wall surface to the other side wall surface in the other direction.
  • the predetermined action in the monitored person Ob may be detected.
  • the second target area AR2 of the second sensor unit RU includes the overlapping area AR12 that overlaps the first target area AR1.
  • the other wall is set. That is, the second sensor unit RU is a part of the living room RM (location space) from the position of the curtain CT to the one wall surface by a predetermined length from the position of the curtain CT to the other wall surface in the one direction and one side in the other direction.
  • the predetermined behavior in the monitored person Ob is detected by setting the region from the wall surface to the other side wall surface as the second target region AR2.
  • the transmission wave of the second sensor unit RU is an electromagnetic wave
  • the second target area AR2 can be set beyond the curtain CT.
  • the overlapping area AR12 in this way, the peripheral area captured by the imaging unit 11 can be covered by the second sensor unit RU, and the second sensor unit RU compensates the detection accuracy of the sensor body SUa relative to the peripheral area. it can.
  • the first and second target areas AR1, AR are set, and the entire room RM (location space) is covered by the imaging unit 11 and the second sensor unit RU of the sensor main body SUa, and a predetermined amount in the monitored person Ob Behavior is detected.
  • FIG. 1 shows, as an example, first to fourth sensor devices SU-1 to SU-4, and the first sensor device SU-1 is one of the monitored persons Ob, Mr. Ob-1
  • the second sensor device SU-2 is disposed in the living room RM-2 (not shown) of Mr. B Ob-2 who is one of the monitored persons Ob.
  • the third sensor device SU-3 is disposed in the room RM-3 (not shown) of Mr. C Ob-3, one of the monitored subjects Ob, and the fourth sensor device SU-4 is the monitored subject. It is arranged in the room RM-4 (not shown) of Mr. Ob, one of Ob.
  • the management server device SV has a communication function for communicating with other devices SU, TA, and SP via the network NW, and receives a notification of the predetermined event from the sensor device SU with the first event notification communication signal.
  • Information relating to monitoring (monitoring information) for the monitor Ob is managed, and the predetermined event is notified (re-notification, notification, transmission) to the predetermined terminal device SP and TA by the second event notification communication signal, and the client (this embodiment)
  • the client device provides data corresponding to the request of the terminal device SP, TA, etc.) to manage the entire monitored person monitoring system MS.
  • the monitoring information includes, for example, the sensor ID of the sensor device SU that is the transmission source of the first event notification communication signal, the predetermined event (the type of the predetermined action detected by the sensor device SU, and the sensor device). Nurse call received by SU), image of monitored person Ob, time of receiving the notification (notification time), and the like, which are stored (recorded and managed) in association with each other.
  • the monitoring information is accommodated in the second event notification communication signal.
  • the second event notification communication signal may be transmitted by, for example, broadcast communication (broadcast or multicast), and, for example, one or more associated with the sensor device SU that is the transmission source of the first event notification communication signal. May be transmitted to the terminal devices SP and TA.
  • a management server device SV can be configured by, for example, a computer with a communication function.
  • the fixed terminal device SP includes a communication function for communicating with other devices SU, SV, TA via the network NW, a display function for displaying predetermined information, an input function for inputting predetermined instructions and data, and the like.
  • a predetermined instruction or data to be given to the management server device SV or the portable terminal device TA By inputting a predetermined instruction or data to be given to the management server device SV or the portable terminal device TA, displaying the monitoring information obtained by the sensor device SU by a notification from the management server device SV, etc.
  • a device that functions as a user interface (UI) of the person monitoring support system MS can be configured by, for example, a computer with a communication function.
  • the mobile terminal device TA has a communication function for communicating with other devices SV, SP, SU via the network NW, a display function for displaying predetermined information, an input function for inputting predetermined instructions and data, and a voice call. Including a call function to perform, inputting a predetermined instruction or data to be given to the management server device SV or the sensor device SU, displaying the monitoring information obtained by the sensor device SU by a notification from the management server device SV, This is a device for making a nurse call response or calling a voice call with the sensor device SU.
  • a portable terminal device TA can be configured by a portable communication terminal device such as a so-called tablet computer, a smartphone, or a mobile phone.
  • the sensor device SU includes a behavior detection device that detects the presence / absence of a predetermined behavior in the target person (monitored person) Ob.
  • the sensor unit RU corresponds to an example of the behavior detection device.
  • the detection main body MDa is configured.
  • this behavior detection main body MDa and the second sensor unit RU constitute an example of the behavior detection device.
  • the imaging unit 11, the SU control unit 141, and the first action detection processing unit 142 detect the presence or absence of a predetermined action in the target person based on an image generated by imaging a predetermined first target area from above. It corresponds to an example of a first sensor unit.
  • the second sensor unit RU is based on the reflected wave of the transmission wave obtained by transmitting a transmission wave of a predetermined wavelength from above to a predetermined second target region including a region different from the first target region. This corresponds to an example of a second sensor unit that detects the presence or absence of the behavior of the subject.
  • the final determination processing unit 144 is a final determination unit that finally determines the presence / absence of the behavior of the subject based on the first detection result of the first sensor unit and the second detection result of the second sensor unit. It corresponds to an example.
  • the imaging unit 11, the SU control unit 141, and the position detection processing unit 143 correspond to an example of a third sensor unit that determines the position of the subject.
  • FIG. 6 is a flowchart showing the operation of the sensor device.
  • FIG. 7 is a flowchart showing the action detection process S12 in the flowchart shown in FIG.
  • FIG. 8 is a diagram illustrating an example of a standby screen displayed on the portable terminal device in the monitored person monitoring support system.
  • FIG. 9 is a diagram illustrating an example of a monitoring information screen displayed on the mobile terminal device.
  • FIG. 10 is a diagram illustrating an example of a nurse call reception screen displayed on the mobile terminal device.
  • each device SU (SUa, RU), SV, SP, TA performs initialization of each necessary part and starts its operation when the power is turned on.
  • the SU control processing unit 14 includes the SU control unit 141, the first behavior detection processing unit 142, the position detection processing unit 143, and the final determination processing unit.
  • the nurse call processing unit 146 and the SU streaming processing unit 147 are functionally configured.
  • the RU control processing unit 42 includes the RU control unit 421 and the second The behavior detection processing unit 422 is functionally configured.
  • the sensor device SU operates in the following manner at a predetermined sampling interval, for example, every frame or every several frames, so that there is a predetermined operation (falling in the present embodiment) in the monitored person Ob Is detected to determine whether a nurse call is accepted.
  • the sensor body SUa acquires the first detection result from the first behavior detection processing unit 142 by the final determination processing unit 144 of the SU control processing unit 14, and receives the second detection from the second sensor unit RU.
  • the second detection result of the behavior detection processing unit 422 is acquired, and the position of the monitored person (target person) Ob is acquired from the position detection processing unit 143 (S11).
  • the sensor main unit SUa first acquires an image (image data) for one frame from the imaging unit 11 as the target image by the SU control unit 141 of the SU control processing unit 14.
  • the sensor main body SUa detects the presence or absence of a predetermined action (falling in this embodiment) in the monitored person Ob based on the acquired target image by the first action detection processing unit 142.
  • the first action detection processing unit 142 when it is detected that there is an action (here, there is a fall), the first action detection processing unit 142 notifies the final determination processing unit 144 of the first detection result with the action.
  • no action here, no fall
  • the first action detection processing unit 142 notifies the final determination processing unit 144 of the first detection result without the action.
  • the second sensor unit RU transmits the transmission wave by the transmission / reception unit 41 by the second behavior detection processing unit 422 of the RU control processing unit 42. Based on the reception of the reflected wave, the presence or absence of the predetermined action (falling in the present embodiment) in the monitored person Ob is detected. And as a result of this detection, when the presence of an action (here, with a fall) is detected, the second action detection processing unit 422 transmits the second detection result with the action to the sensor body SUa, and finally The determination processing unit 144 is notified. On the other hand, if no action (here, no fall) is detected as a result of the detection, the second action detection processing unit 422 transmits the second detection result without the action to the sensor body SUa, and finally The determination processing unit 144 is notified.
  • the sensor main body SUa obtains the position of the monitored person Ob based on the acquired target image by the position detection processing part 143, and determines the position of the obtained monitored person (target person) Ob as a final determination processing part. 144 is notified.
  • the position detection processing unit 143 can synchronize with the first behavior detection processing unit 142 by obtaining the position of the monitored person Ob based on the target image used in the first behavior detection processing unit 142 described above.
  • the sensor main body SUa causes the final determination processing unit 144 to perform the first detection result of the first behavior detection processing unit 142, the second detection result of the second sensor unit RU, and the monitored person Ob of the position detection processing unit 143.
  • An action detection process is performed to finally determine the presence or absence of the action in the monitored person Ob based on the position (S12).
  • each process is executed as follows.
  • the final determination processing unit 144 first determines whether or not the first detection result acquired in the process S11 has an action (S121). As a result of this determination, if the first detection result indicates that the action is present (Yes), the final determination processing unit 144 next executes the process S122, while the determination result indicates that the first detection result is the first detection result. When there is no action (that is, when the first detection result is that there is no action), the final determination processing unit 144 next executes the process S125.
  • the final determination processing unit 144 determines whether or not the second detection result acquired in the process S11 has the action. As a result of this determination, if the second detection result indicates that the action is present (Yes), the final determination processing unit 144 next executes a process S124. On the other hand, if the determination result indicates that the second detection result is When there is no action (that is, when the second detection result is that there is no action), the final determination processing unit 144 next executes the process S123.
  • the final determination processing unit 144 determines whether or not the position of the monitored person (target person) Ob is closer to the second sensor unit RU than the sensor body unit SUa. More specifically, the final determination processing unit 144 includes the first and second arrangement positions P1 stored in the acquired position of the monitored person (target person) Ob and the position information storage unit 161 of the SU storage unit 16. , P2 are compared with each other. As a result of the comparison, if the acquired position of the monitored person Ob is closer to the first arrangement position P1 than the second arrangement position P2, the final determination processing unit 144 determines that the position of the monitored person (subject) Ob is a sensor.
  • the final determination processing unit 144 determines that the position of the monitored person (target person) Ob is It determines with being closer to the 2nd sensor part RU from the sensor main-body part SUa (Yes), and performs process S127 next.
  • the final determination processing unit 144 determines whether or not the second detection result acquired in the process S11 has the action. As a result of this determination, if the second detection result indicates that the action is present (Yes), the final determination processing unit 144 next executes the process S126. On the other hand, as a result of the determination, the second detection result indicates that the second detection result is When there is no action (that is, when the second detection result is that there is no action), the final determination processing unit 144 next executes the process S127.
  • the final determination processing unit 144 determines whether or not the position of the monitored person (target person) Ob is closer to the sensor body SUa than the second sensor unit RU. More specifically, the final determination processing unit 144 includes the first and second arrangement positions P1 stored in the acquired position of the monitored person (target person) Ob and the position information storage unit 161 of the SU storage unit 16. , P2 are compared with each other. As a result of the comparison, if the acquired position of the monitored person Ob is closer to the first arrangement position P1 than the second arrangement position P2, the final determination processing unit 144 determines that the position of the monitored person (subject) Ob is the first position.
  • the process S127 is executed.
  • the final determination processing unit 144 determines that the position of the monitored person (target person) Ob is It is determined that the second sensor unit RU is not closer to the sensor body SUa (No), and then the process S124 is executed.
  • the process S126 even if no moving object region is detected from the target image, it is considered that the position of the monitored person Ob is closer to the second arrangement position P2 than the first arrangement position P1.
  • the determination result by the presence determination threshold Ths by 2nd sensor part RU may be used as mentioned above.
  • the final determination processing unit 144 finally determines the presence of the action (the presence of the action is the final detection result), ends the action detection process S12, and then executes the process S13. To do. That is, in the first case where both the first and second detection results have the action (the first case from the process S121 to the process S124 via the process S122), the process S124 is executed, and the first and second Since there is no wrinkle in the detection result, the final determination processing unit 144 sets the presence of the action as the final detection result.
  • the second detection result is the absence of the action, but the monitored person Ob is relatively close to the sensor body SUa (from the process S121 to the process S122 and the process In the second case from S123 to S124, the first detection result of the sensor body SUa that is relatively close to the monitored person Ob is given priority, and the distance from the monitored person Ob is relatively high.
  • the second detection result of the distant second sensor unit RU is determined to be a false report, and the final determination processing unit 144 sets the presence of the first detection result as the final detection result.
  • the third case where the monitored person Ob is relatively close to the second sensor unit RU imaging of the sensor body SUa
  • the distance is relative to the monitored person Ob.
  • the second detection result of the second sensor unit RU that is closer to the target is prioritized, the first detection result of the sensor body SUa that is relatively far from the monitored person Ob is determined to be a false report, and the final determination processing unit 144 is The presence of the action in the second detection result is set as a final detection result.
  • the final determination processing unit 144 finally determines the absence of action (the absence of action is regarded as a final detection result), ends the action detection process S12, and then executes the process S13. To do. That is, in the fourth case where the first and second detection results are both without the action (the fourth case from the process S121 to the process S127 via the process S125), the process S127 is executed, and the first and second Since there is no wrinkle in the detection result, the final determination processing unit 144 sets the absence of the action as the final detection result. While the first detection result is the presence of the action, the second detection result is the absence of the action, but the monitored person Ob is relatively close to the second sensor unit RU (fifth case (from step S121 to step S122 and step S122).
  • the second detection result of the second sensor unit RU that is relatively close to the monitored person Ob is given priority, and the distance from the monitored person Ob is relative. Therefore, the first detection result of the farther sensor body SUa is determined as a false report, and the final determination processing unit 144 sets the absence of the second detection result as the final detection result.
  • the second detection result is that there is the action, but the monitored person Ob is relatively close to the sensor body SUa (the process S121 to the process S125 and the process In the sixth case from S126 to process S127, the first detection result of the sensor body SUa that is relatively close to the monitored person Ob is given priority, and the distance from the monitored person Ob is relatively high.
  • the second detection result of the distant second sensor unit RU is determined to be a false report, and the final determination processing unit 144 sets the absence of the first detection result as the final detection result.
  • the sensor device SU determines whether or not a predetermined action in the monitored person Ob is detected in the action detection process S ⁇ b> 12 by the final determination processing unit 144. As a result of this determination, when it is finally determined that there is no action and the action is not detected (No), the sensor device SU next executes step S15, while finally the action If it is determined that there is an action and the action is detected (Yes), the sensor device SU executes the next process S14 and then executes the process S15.
  • the sensor device SU in order to notify the predetermined behavior finally detected in the processes S12 and S13 to the predetermined terminal devices SP and TA via the management server device SV, the sensor device SU includes a final determination processing unit.
  • a first event notification communication signal related to detection of the predetermined action is transmitted to the management server device SV as the predetermined event. More specifically, the final determination processing unit 144 sends the first event notification communication signal containing the sensor ID of the own device, the predetermined event information (here, falls), and the target image related to the event to the SU communication IF.
  • the management server device SV via the unit 15.
  • the sensor device SU determines whether the nurse call is accepted by the nurse call processing unit 146. That is, the processes S11 to S16 shown in FIG. 6 are repeatedly executed at the predetermined sampling interval, but the nurse call reception operation unit 13 performs the process from the previous process S15 to the current process S15. It is determined whether or not an operation has been performed. As a result of this determination, when the nurse call reception operation unit 13 is not operated and the nurse call is not received (No), the sensor device SU ends the current process, while the nurse call reception operation unit 13 Is operated and the nurse call is accepted (Yes), the sensor device SU ends the current process after executing the next process S16.
  • the sensor apparatus SU uses the nurse call processing unit 146 to notify the nurse call that has been accepted in process S15 to the predetermined terminal apparatuses SP and TA via the management server apparatus SV.
  • the 1st event notification communication signal regarding is transmitted to management server apparatus SV.
  • the nurse call processing unit 146 manages the first event notification communication signal containing the sensor ID of the own device and the predetermined event information (here, nurse call) via the SU communication IF unit 15. Transmit to server device SV.
  • the sensor device SU operates as described above with respect to the detection of the predetermined action and the reception of the nurse call in the monitored person Ob.
  • the management server device SV executes monitoring information processing. More specifically, the management server device SV first monitors each information such as sensor ID and event information contained in the received first event notification communication signal by the sensor device SU having this sensor ID. Stored (recorded) as monitoring information of the monitored person Ob. Then, the management server device SV transmits the second event notification communication signal by broadcast communication, for example. Alternatively, the management server device SV identifies the notification destination terminal device SP, TA corresponding to the transmission source (notification source) sensor device SU in the received first event notification communication signal, and this notification destination terminal device SP. The second event notification communication signal may be transmitted to TA.
  • the position detection detects the sensor ID and the event information contained in the second event notification communication signal. Are stored (recorded) as monitoring information of the monitored person Ob monitored by the sensor device SU having the sensor ID, and the monitoring information is displayed.
  • the portable terminal device TA when the power is turned on and the operation is started, the portable terminal device TA can be operated by, for example, a nurse or a caregiver.
  • a login operation by a supervisor (user) is accepted, and a standby screen for waiting for a communication signal addressed to the own device is displayed.
  • the standby screen 51 includes a menu bar area 511 for displaying a menu bar, and a standby main area for displaying a message indicating standby (for example, “no notification”) and an icon.
  • a time area 513 for displaying the current time a year / month / sunday area 514 for displaying the current year / month / sunday, and a user name area 515 for displaying the name of the user who is currently logged in to the portable terminal device TA.
  • the mobile terminal device TA When receiving the second event notification communication signal while waiting for the communication signal addressed to the own device, the mobile terminal device TA receives monitoring information on monitoring of the monitored person Ob contained in the received second event notification communication signal. Is stored (recorded) in the storage unit, and a screen corresponding to each piece of information contained in the received second event notification communication signal is displayed on the display unit.
  • the mobile terminal device TA displays, for example, a monitoring information screen 52 shown in FIG.
  • the event information accommodated in the received second event notification communication signal is the nurse call, for example, a nurse call reception screen 53 shown in FIG. 10 is displayed on the display unit.
  • the monitoring information screen 52 is a screen for displaying the monitoring information related to the monitoring of the monitored person Ob.
  • the monitoring information screen 52 includes a menu bar area 511, the location of the sensor device SU having the sensor ID accommodated in the received second event notification communication signal, and the sensor ID.
  • the detection information display area 522 for displaying the event information (the detection result of the predetermined action) accommodated in the received second event notification communication signal, and the received second event notification communication signal (Ie, a target image captured by the sensor device SU having the sensor ID) (here, a still image) is displayed.
  • the detection result (in this embodiment, the name of the fall) accommodated in the received second event notification communication signal may be displayed as it is, but in the present embodiment, the detection result It is displayed with an icon that represents the symbol. In order to display with this icon, each action and an icon representatively representing the action are stored in advance in the storage unit in association with each other. In the example illustrated in FIG. 9, the detection information display area 522 displays a wake-up icon that symbolizes falling.
  • the “corresponding” button 524 performs a predetermined response (handling, treatment, measures) such as lifesaving, nursing, care, and assistance to the detection result displayed on the monitoring information screen 52.
  • the “speak” button 525 is a button for requesting a voice call, and is used to input an instruction to connect the sensor device SU of the sensor ID and the mobile terminal device TA via the network NW. It is a button.
  • the “LIVE” button 526 is a button for requesting a live video, and is a button for inputting an instruction to display a video captured by the sensor device SU of the sensor ID.
  • the nurse call reception screen 53 is a screen for displaying reception of a nurse call.
  • the nurse call reception screen 53 includes a menu bar area 511, a monitored person name area 521, a detection information display area 522, and a message (for example, “ Nurse call reception notification display area 531 for displaying “This is a nurse call”, a “corresponding” button 524, and a “speak” button 525.
  • the detection information display area 522 displays only the elapsed time from the reception time of the received second event notification communication signal (or the reception time of reception of the nurse call).
  • the nurse call reception screen 53 may further include a “view LIVE” button 526.
  • the mobile terminal device TA When the mobile terminal device TA receives an input operation while the monitoring information screen 52 or the nurse call reception screen 53 is displayed, the mobile terminal device TA executes an appropriate process according to the content of the input operation. Then, it waits for the next communication signal addressed to itself.
  • the portable terminal device TA receives an input operation of the “corresponding” button 524
  • the sensor ID, the event information, and “corresponding to the monitoring information of the monitored person Ob currently displayed on the display unit thereof are received.
  • the communication signal (corresponding intention notification communication signal) containing information indicating that“
  • the management server device SV that has received the corresponding intention notification communication signal stores a correspondence flag indicating reception of correspondence in association with each of the sensor ID and event information accommodated in the received corresponding intention notification communication signal.
  • the sensor ID, the event information, and the communication signal (corresponding intention communication communication signal) accommodated in the received corresponding intention notification communication signal are transmitted to the terminal devices SP and TA by broadcast communication.
  • the fact that “corresponding” has been received is synchronized between the terminal devices SP and TA with respect to the sensor ID corresponding to the monitoring information of the monitored person Ob displayed on the display unit.
  • the mobile terminal device TA when the portable terminal device TA receives an input operation of the “speak” button 525, the mobile terminal device TA requests a voice call to the sensor device SU that currently monitors the monitored person Ob displayed on the display unit.
  • a communication signal (call request communication signal) containing the above information is transmitted and connected to the sensor device SU according to the communication signal via the network NW so as to be able to make a voice call.
  • a voice call can be made between the mobile terminal device TA and the sensor device SU.
  • the portable terminal device TA receives an input operation of an “end” button (not shown), which is a button for inputting a voice call end instruction
  • the mobile terminal device TA monitors the monitored person Ob displayed on the display unit.
  • a communication signal (call end communication signal) containing information such as a request to end the voice call is transmitted to the sensor device SU. Thereby, the voice call between the mobile terminal device TA and the sensor device SU is terminated.
  • the mobile terminal device TA when the mobile terminal device TA receives an input operation of the “watch live” button 526, the mobile terminal device TA transmits the live video to the sensor device SU that currently monitors the monitored person Ob displayed on the display unit.
  • a communication signal moving image distribution request communication signal
  • the corresponding sensor device SU is connected to the sensor device SU via the network NW so that the moving image can be downloaded.
  • the received video is displayed on the display unit by streaming playback.
  • the video On the monitoring information screen 52 that displays the live video, the video is displayed in the image area 523, and a “live end” button (not shown) is displayed instead of the “view live” button 526.
  • live video is displayed on the mobile terminal device TA.
  • the “live end” button (not shown) is a button for requesting the end of the moving image, and ends (stops) the distribution of the moving image picked up by the sensor device SU of the sensor ID and ends (stops) the display. This is a button for inputting an instruction to be performed.
  • the portable terminal device TA receives an input operation of the “live end” button, the mobile terminal device TA requests the sensor device SU that monitors the monitored person Ob currently displayed on the display unit to end moving image distribution.
  • a communication signal containing information (a video distribution end communication signal) is transmitted, and a still image is displayed on the display unit. Accordingly, the mobile terminal device TA ends the live video display.
  • the monitored person monitoring system MS roughly detects a predetermined action in each monitored person Ob by each sensor device SU, management server device SV, fixed terminal device SP, and portable terminal device TA, The nurse call is accepted and each monitored person Ob is monitored.
  • the sensor device SU including the behavior detection device, the behavior detection method implemented therein, and the monitored person monitoring support system MS include the sensor main body SUa including the first sensor unit.
  • the second sensor unit RU based on the first and second detection results of the sensor main body unit SUa and the second sensor unit RU, predetermined behaviors in the monitored person (target person) Ob (in this embodiment, Therefore, the second sensor unit RU can compensate the detection accuracy of the sensor body SUa and cover the blind spot of the sensor body SUa. Therefore, the sensor device SU including the behavior detection device, the behavior detection method, and the monitored person monitoring support system MS can further improve the detection accuracy when detecting the predetermined action in the monitored person Ob.
  • the sensor device SU including the behavior detection device, the behavior detection method, and the monitored person monitoring support system MS obtain the position of the monitored person (target person) Ob, and based on the position of the monitored person Ob, the first and One of the second detection results is selected, and based on the selected one, the presence / absence of an action in the monitored person Ob is finally determined. It is considered that a sensor unit that is relatively close to the monitored person (subject) Ob outputs a more probable detection result than a relatively remote sensor unit.
  • the sensor device SU including the behavior detection device, the behavior detection method, and the monitored person monitoring support system MS finally determine whether or not there is a predetermined action in the monitored person (target person) Ob. Since the position of the person Ob is taken into account, the detection accuracy when detecting a predetermined action in the monitored person Ob can be further improved.
  • the sensor device SU including the behavior detection device, the behavior detection method, and the monitored person monitoring support system MS use electromagnetic waves for detection of the second sensor unit RU, and thus easily pass through, for example, a partition or curtain used for the partition. It is possible to effectively cover the blind spot and the peripheral portion of the sensor body SUa including the first sensor unit. Accordingly, the sensor device SU including the behavior detection device, the behavior detection method, and the monitored person monitoring support system MS can further improve the detection accuracy when detecting a predetermined action in the monitored person (target person) Ob.
  • the sensor device SU including the behavior detection device, the behavior detection method, and the monitored person monitoring support system MS detect the behavior of the monitored person (target person) Ob to the terminal devices SP and TA via the network NW. Since the notification is made, for example, a user such as a monitor can recognize a predetermined action in the monitored person Ob even from a place away from the monitored person Ob.
  • the sensor device SU is configured to include one second sensor unit RU, but may be configured to include a plurality of second sensor units RU.
  • the final determination processing unit 144 is based on the first detection result of the sensor main body SUa including the first sensor unit and the plurality of second detection results of the plurality of second sensor units RU. (Subject) Finally, the presence or absence of the predetermined action in Ob is determined. Alternatively, the final determination processing unit 144 determines the first detection result of the sensor body SUa and each of the plurality of second sensor units RU based on the position of the monitored person (target person) Ob obtained by the position detection processing unit 143.
  • One of the plurality of second detection results is selected, and the presence / absence of the predetermined action in the monitored person (target person) Ob is finally determined based on the selected one. More specifically, the final determination processing unit 144 is closest to the position of the monitored person (subject) Ob obtained by the position detection processing unit 143 from the sensor main body unit SUa and the plurality of second sensor units RU. The arranged device is selected, and the presence / absence of the predetermined action in the monitored person (target person) Ob is finally determined based on the detection result of the selected device.
  • the position information storage unit 161 includes the first arrangement position P1 (x1, y1) of the sensor main body SUa including the first sensor unit and the second arrangement position P2 (x2) of the second sensor unit RU. , Y2) and the position of the monitored person (subject) Ob obtained by the position detection processing unit 143, and the stored first arrangement position P1 (x1, y1) and second arrangement position P2 (x2, y2) By comparing each, the detection result of the sensor unit at the arrangement position closer to the position of the monitored person (subject) Ob obtained by the position detection processing unit 143 is selected, and based on the selected detection result Although the presence / absence of the predetermined action in the monitored person (target person) Ob is finally determined, the following determination may be made and the final determination may be performed.
  • the sensor main body SUa including the behavior detection device includes the first target area, the first priority area that prioritizes the first detection result, and the second priority area that prioritizes the second detection result.
  • a priority area information storage unit that stores at least one of the first and second priority areas (for example, the first priority area) instead of the position information storage unit 161. Then, the final determination processing unit 144 determines whether or not the position of the monitored person Ob obtained by the position detection processing unit 143 is included in the one (priority area) (in this example, the first priority area).
  • a detection result corresponding to the one (in this example, a first detection result) is selected, and based on the selected detection result The presence or absence of the predetermined action in the monitored person Ob is finally determined, and if the result of the determination does not include the position of the monitored person Ob in the one, the other (second priority area in this example)
  • a detection result (second detection result in this example) corresponding to is selected, and the presence / absence of the action in the target person is finally determined based on the selected detection result.
  • the sensor body SUa of the sensor device SU may further include an on / off control unit 145 functionally in the SU control processing unit 14, as indicated by a broken line in FIG.
  • the on / off control unit 145 has a second sensor unit RU. Is turned off (including sleep), and the second sensor unit RU is turned on (including release of the sleep) when the position of the monitored person Ob obtained by the position detection processing unit 143 is outside the specific area.
  • the specific area is preset and stored in the SU storage unit 16 as one of the various predetermined data.
  • the specific region may be a region closer to the center of the first target region, and for example, the specific region is a region where a bedding BD disposed in the first target region is located. More specifically, the on / off control unit 145 first determines whether or not the position of the monitored person Ob obtained by the position detection processing unit 143 is within the specific region. As a result of this determination, if the position of the monitored person Ob is within the specific area, the on / off control unit 145 instructs to turn off the second sensor unit RU in order to turn off the second sensor unit RU. A communication signal (off control communication signal) containing (command) is transmitted to the second sensor unit RU.
  • the second sensor unit RU When the second sensor unit RU receives the off control communication signal, the second sensor unit RU turns off its own device by the RU control processing unit 42. On the other hand, as a result of the determination, if the position of the monitored person Ob is outside the specific area, the on / off control unit 145 instructs the second sensor unit RU to turn on in order to turn on the second sensor unit RU. A communication signal (ON control communication signal) containing an instruction (command) to be transmitted is transmitted to the second sensor unit RU. When the second sensor unit RU receives this on control communication signal, the second sensor unit RU turns on its own by the RU control processing unit 42.
  • Such a sensor device SU can detect the presence or absence of the predetermined action in the monitored person Ob by the sensor body SUa when the monitored person (target person) Ob is in the specific area.
  • the specific area is an area from the center of the first target area, it can be detected with higher accuracy by the sensor body SUa.
  • the specific area is the area where the bedding BD is located, there is a probability that the sensor main body SUa is disposed above the bedding BD in order to effectively monitor the monitored person Ob by the sensor main body SUa. Therefore, it can be detected with higher accuracy by the sensor body SUa. For this reason, the second sensor unit RU can be turned off, and power can be saved by turning off the second sensor unit RU.
  • the sensor device SU further stores an image (moving image) generated by the imaging unit 11 in the SU storage unit 16 for a preset first period, and transmits the first event notification communication signal.
  • a communication signal (event-related moving image notification communication signal) containing the plurality of images (moving images) and the sensor ID of the own device may be transmitted to the management server device SV.
  • the first period is longer than the second period.
  • the second period is an appropriately set time length, for example, 45 seconds, 60 seconds, 90 seconds, 120 seconds, or the like.
  • the management server device SV stores (records) a plurality of images (moving images) accommodated therein in association with the sensor ID. According to this, the state when the event occurs is stored (recorded) in the management server device SV, and the user who has received the notification of the event takes out the plurality of images (moving images) from the management server device SV. You can check how the event occurred.
  • the event-related video notification communication signal may be transmitted only when the event has the action (falling in the above-described embodiment).
  • the event-related video notification communication signal is only when the event has the behavior (falling in the above-described embodiment) and the position of the monitored subject Ob is within the field of view of the imaging unit 11. It may be sent.
  • the SU storage unit SU may include a ring buffer having a storage capacity for storing the plurality of images (moving images) in the second period.
  • the ring buffer automatically stores a plurality of images (moving images) from the first time point to the second time point, so that the sensor device SU can be stored in the ring buffer.
  • the final determination processing unit 144 determines whether or not the user is entering the floor based on the position of the monitored person (target person) Ob. Even if the second detection result is selected and the second detection result is the presence of the action (there is a fall in the present embodiment) or is an obvious misinformation, even if it is finally determined that the action is not present (or during entering the floor) good.
  • the determination as to whether or not the user is entering the floor is performed based on, for example, whether or not the position of the monitored person Ob is within the location area of the bedding BD stored in the SU storage unit 16.
  • the final determination processing unit 144 determines that the person is entering the floor, and the position of the monitored person Ob is not within the location area of the bedding BD. In the case (that is, when the position of the monitored person Ob is outside the area where the bedding BD is located), the final determination processing unit 144 determines that the person is not entering the floor.
  • a behavior detection apparatus includes a first sensor unit that detects presence or absence of a predetermined behavior in a target person based on an image generated by imaging a predetermined first target region from above, and the first target Detecting the presence / absence of the action in the subject based on a reflected wave of the transmission wave obtained by transmitting a transmission wave of a predetermined wavelength from above to a predetermined second target region including a region different from the region; A two-sensor unit, and a final determination unit that finally determines the presence or absence of the action in the subject based on a first detection result of the first sensor unit and a second detection result of the second sensor unit.
  • the second sensor unit includes a plurality of second detection units
  • the final determination unit includes a plurality of first detection results of the first sensor unit and a plurality of second sensor units. 2 Based on the detection result, the presence or absence of the action in the subject is finally determined.
  • the first target region and the second target region include overlapping regions that overlap each other.
  • the first target region and the second target region are in contact with each other so as not to include overlapping regions that overlap each other.
  • Such a behavior detection device includes a second sensor unit in addition to the first sensor unit, and the presence or absence of the behavior of the subject based on the first and second detection results of the first and second sensor units, respectively. Since the determination is finally made, the detection accuracy of the first sensor unit can be compensated by the second sensor unit, and the blind spot of the first sensor unit can be covered. Accordingly, the behavior detection device can further improve the detection accuracy when detecting the predetermined behavior of the subject.
  • the above behavior detection device further includes a third sensor unit that obtains the position of the subject, and the final determination unit is based on the position of the subject obtained by the third sensor unit.
  • One of the first detection result of the first sensor unit and the second detection result of the second sensor unit is selected, and the presence or absence of the action in the target person is finally determined based on the selected one To do.
  • the first sensor unit further obtains the position of the subject based on the image and serves as the third sensor unit (functions as the third sensor unit).
  • the behavior detection device further includes a position information storage unit that stores a first arrangement position of the first sensor unit and a second arrangement position of the second sensor unit
  • the final determination unit includes: The position of the subject obtained by the third sensor unit is compared with each of the first and second arrangement positions stored in the position information storage unit. As a result of the comparison, the position obtained by the third sensor unit is compared.
  • the position of the subject is closer to the first placement position than the second placement position, the first detection result of the first sensor unit is selected, and the action of the subject in the subject is selected based on the selected first detection result.
  • the second detection result of the second sensor unit is finally determined. And the selected second test is selected. Results finally determines the presence or absence of the action in the subject based on.
  • the first target area is given priority to a first priority area that prioritizes the first detection result of the first sensor unit, and a second priority is given to the second detection result of the second sensor part.
  • a priority area information storage unit that stores at least one of the first and second priority areas (for example, the first priority area) by dividing into two priority areas, and the final determination unit includes the third sensor unit It is determined whether or not the position of the subject obtained in step 1 is included in the one (priority area) (in this example, the first priority area). As a result of the determination, the object obtained by the third sensor unit is determined. When the position of the person is included in the one side, the detection result corresponding to the one (in this example, the first detection result) is selected, and the presence or absence of the action in the target person is finally determined based on the selected detection result.
  • the detection result (second detection result in this example) corresponding to the other (second priority area in this example) is selected. Then, based on the selected detection result, the presence or absence of the action in the target person is finally determined.
  • Such a behavior detection device obtains the position of the target person, selects one of the first and second detection results based on the position of the target person, and selects the target based on the selected one. The presence or absence of action in the person is finally determined.
  • a sensor unit that is relatively close to the subject in distance is considered to output a more probable detection result than a relatively remote sensor unit.
  • the behavior detection device considers the position of the target person when finally determining the presence or absence of the action of the target person, and thus can further improve the detection accuracy when detecting a predetermined action in the target person. .
  • the 3rd sensor part which asks for the position of an object person, and the position of the object person who asked for by the 3rd sensor part were preset in the 1st object field.
  • An off control unit is further provided for controlling the second sensor unit to be off when in the specific region.
  • the above-described behavior detection device further includes an on control unit that controls the second sensor unit to be on when the position of the subject obtained by the third sensor unit is outside the specific region.
  • the specific region is a region closer to the center of the first target region.
  • the specific area is a location area of a bedding arranged in the first target area.
  • Such an action detection device can detect the presence or absence of the predetermined action in the target person by the first sensor unit when the target person is in the specific area.
  • the specific area is an area from the center of the first target area
  • the first sensor unit can detect it with higher accuracy.
  • the specific area is a bedding location area
  • One sensor unit can detect with higher accuracy. For this reason, a 2nd sensor part can be turned off and power saving can be carried out by turning off a 2nd sensor part.
  • the transmission wave is an electromagnetic wave.
  • the electromagnetic wave is a microwave.
  • Such an action detection device uses electromagnetic waves for detection of the second sensor unit, it can easily pass through, for example, a partition or curtain used for the partition, and effectively covers the blind spot and the peripheral portion of the first sensor unit. it can. Accordingly, the behavior detection device can further improve the detection accuracy when detecting the predetermined behavior of the subject.
  • the above-described behavior detection apparatus further includes a notification unit that notifies the detection of the behavior to the outside when the final determination unit finally determines that the behavior is present.
  • the notification unit notifies the terminal device of the detection of the behavior via a network.
  • Such a behavior detection device includes a notification unit, for example, a user such as a monitor can recognize a predetermined behavior of the subject even from a location away from the subject.
  • the behavior detection method includes a first detection step of detecting presence / absence of a predetermined behavior in the target person based on an image generated by imaging a predetermined first target region from above, The presence or absence of the action of the subject is detected based on a reflected wave of the transmission wave obtained by transmitting a transmission wave of a predetermined wavelength from above to a predetermined second target region including a region different from the one target region.
  • Such a behavior detection method includes a second detection step in addition to the first detection step, and determines the presence or absence of the behavior in the subject based on the first and second detection results of the first and second detection steps, respectively. Since the determination is finally made, the detection accuracy of the first detection step based on the image can be compensated by the second detection step, and the blind spot of the image can be covered. Therefore, the behavior detection method can further improve the detection accuracy when detecting the predetermined behavior of the subject.
  • a monitored person monitoring support system corresponding to a monitored person who is a monitoring target, and is capable of communicating with a sensor device that detects a predetermined event relating to the monitored person, and the sensor device.
  • a central processing unit that is connected and manages an event detected by the sensor device and received from the sensor device; and a central processing unit that is communicably connected to the central processing unit and is detected by the sensor device via the central processing unit
  • a monitored person monitoring support system comprising a terminal device for receiving notification of an event and monitoring the monitored person, wherein the sensor device relates to the monitored person with the monitored person as the target person
  • the predetermined event includes a predetermined action of the target person, and includes any one of the above-described action detection devices.
  • the monitored person monitoring support system including any one of the above-described behavior detection devices. Since the monitored person monitoring support system includes any one of the above-described behavior detection devices, detection when detecting a predetermined action in the target person as one of the predetermined events related to the monitored person The accuracy can be further improved.
  • the sensor device includes an image information storage unit that stores an image generated by the first sensor unit, and the first sensor unit has the action.
  • the image stored in the image information storage unit corresponding to a period that is back by a predetermined time from the time of the determination is transmitted to the management server device, and the second sensor unit has the action
  • an image transmission processing unit that transmits the image stored in the image information storage unit to the management server device corresponding to the period that is back by the predetermined time from the determination time.
  • the image information storage unit is a ring buffer having a storage capacity equal to or larger than a storage capacity for storing images for the period.
  • the image information storage unit is a ring buffer having a storage capacity for storing images for the period.
  • prescribed action in an object person, and the said action detection apparatus can be provided.

Landscapes

  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Alarm Systems (AREA)
  • Accommodation For Nursing Or Treatment Tables (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

上述した目的を実現するために、本発明の一側面を反映した行動検知装置、行動検知方法および被監視者監視支援システムは、第1対象領域を上方から撮像することによって生成された画像に基づいて対象者における所定の行動の有無を検知し、前記第1対象領域と異なる領域を含む所定の第2対象領域に、送信波を上方から送信することによって得られた前記送信波の反射波に基づいて前記対象者における前記行動の有無を検知し、これら各検知結果に基づいて前記対象者における前記行動の有無を最終的に判定する。

Description

行動検知装置および行動検知方法ならびに被監視者監視支援システム
 本発明は、対象者における所定の行動を検知する行動検知装置および行動検知方法、ならびに、前記行動検知装置を用いた被監視者監視支援システムに関する。
 我が国(日本)は、高齢化社会、より詳しくは、高齢化率が26.7%(2015年10月1日現在、内閣府)を超える超高齢化社会になっている。このような高齢化社会では、病気や怪我や高齢等による看護や介護を必要とする要看護者や要介護者等は、高齢化社会ではない通常の社会で生じる要看護者や要介護者等よりもその増加が見込まれる。これら要看護者や要介護者等は、一般的には、病院や、老人福祉施設(日本の法令では老人短期入所施設、養護老人ホームおよび特別養護老人ホーム等)等の施設に入所し、その看護や介護を受ける。このような施設では、看護師や介護士等は、定期的に巡視することによってその安否や様子を確認している。この安否確認の点では、一人暮らしの独居者も前記要看護者や要介護者等と同様である。一方、近年では、独りで移動の困難な者や在宅の療養を希望する者等のために、訪問診療や往診等の在宅医療も要請されている。
 このような業界では、医療や看護や介護等のサービスを要請する者(サービス受益者)の増加に較べて、前記サービスを提供する者(サービス提供者)の増加が追いつかず、慢性的に人手不足になっている。このため、前記サービスや前記サービスに関連して生じる業務の負担を軽減するため、前記サービスや前記業務を補完する技術が求められている。このような技術の一つとして、例えば特許文献1に開示されたナースコールシステムがある。この特許文献1に開示されたナースコールシステムは、ベッドに設置されて患者が看護師を呼び出すためのナースコール子機と、ナースステーションに設置されて前記ナースコール子機による呼び出しに応答するためのナースコール親機とを有するナースコールシステムであって、ベッド上の患者をベッド上方から撮像するカメラと、前記カメラの撮像映像から、患者が上半身を起こした状態及び患者がベッド上から離れた状態のうち少なくとも一方の発生を判断して注意状態発生信号を出力する状態判断手段とを有し、前記ナースコール親機は、前記注意状態発生信号を受けて報知動作する報知手段を有する。そして、このナースコールシステムは、前記ナースコール子機からの呼び出しに応答するために看護師が携行する携帯端末と、前記注意状態発生信号を受けて、前記カメラの撮像映像を前記携帯端末に送信する通信制御手段とを有する。
 前記特許文献1に開示されたナースコールシステムは、カメラの映像から、患者が上半身を起こした状態及び患者がベッド上から離れた状態のうち少なくとも一方の発生を判断して注意状態発生信号を出力し、この注意状態発生信号を受けて看護師が携行する携帯端末へ報知する。このため、看護師は、この報知により、患者の注意状態発生を、患者から離れた場所に居ても認識でき、前記特許文献1に開示されたナースコールシステムは、便利である。しかしながら、前記特許文献1では、カメラは、患者のベッド上方から撮像するので、映像の周辺部分では、患者が小さく写ることや、撮像光学系の歪み等により、判定(検知)の精度が低下する虞がある。特に、より広い範囲を撮像するために、撮像光学系に広角レンズや魚眼レンズが用いられると、映像の周辺部分は、より大きく歪んでしまう。また、患者の居室には、例えば衝立やテーブル等の家具が配置されていることもあるため、患者のベッド上方から撮像するカメラには、前記家具によって死角が生じる場合もあり、その死角では、前記判定(検知)ができない。
特開2014-90913号公報
 本発明は、上述の事情に鑑みて為された発明であり、その目的は、対象者における所定の行動を検知する際の検知精度をより向上できる行動検知装置および行動検知方法、ならびに、前記行動検知装置を用いた被監視者監視支援システムを提供することである。
 上述した目的を実現するために、本発明の一側面を反映した行動検知装置、行動検知方法および被監視者監視支援システムは、第1対象領域を上方から撮像することによって生成された画像に基づいて対象者における所定の行動の有無を検知し、前記第1対象領域と異なる領域を含む所定の第2対象領域に、送信波を上方から送信することによって得られた前記送信波の反射波に基づいて前記対象者における前記行動の有無を検知し、これら各検知結果に基づいて前記対象者における前記行動の有無を最終的に判定する。
 発明の1または複数の実施形態により与えられる利点および特徴は、以下に与えられる詳細な説明および添付図面から十分に理解される。これら詳細な説明及び添付図面は、例としてのみ与えられるものであり本発明の限定の定義として意図されるものではない。
実施形態における被監視者監視支援システムの構成を示す図である。 前記被監視者監視支援システムにおける、行動検知装置を備えるセンサ装置のセンサ本体部の構成を示す図である。 前記センサ装置の第2センサ部の構成を示す図である。 前記センサ装置の配設態様を説明するために、居室の様子を模式的に示す側面図である。 居室の様子を模式的に示す上面図である。 前記センサ装置の動作を示すフローチャートである。 図6に示すフローチャートにおける行動検知処理S12を示すフローチャートである。 前記被監視者監視支援システムにおける携帯端末装置に表示される待受け画面の一例を示す図である。 前記携帯端末装置に表示される監視情報画面の一例を示す図である。 前記携帯端末装置に表示されるナースコール受付画面の一例を示す図である。
 以下、本発明にかかる実施の一形態を図面に基づいて説明する。しかしながら、発明の範囲は、開示された実施形態に限定されない。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
 実施形態における被監視者監視支援システムは、監視すべき(見守るべき)監視対象(見守り対象)である被監視者(見守り対象者、対象者)Obを監視する監視者(ユーザ)の業務を支援するものである。この被監視者監視支援システムは、本実施形態では、被監視者Obに対応して設けられ、被監視者Obに関わる所定のイベントを検知するセンサ装置、前記センサ装置と通信可能に接続され、前記センサ装置で検知されて前記センサ装置から受信したイベントを管理する中央管理装置、および、前記中央管理装置と通信可能に接続され前記中央管理装置を介して前記センサ装置で検知されたイベントの通知を受ける端末装置を備える。そして、本実施形態では、前記センサ装置は、被監視者Obを対象者Obとし、被監視者Obに関わる所定の前記イベントに、対象者Obにおける所定の行動を含み、前記対象者Obにおける所定の行動を検知する行動検知装置を含む。前記端末装置は、1種類の装置であって良いが、本実施形態態では、前記端末装置は、固定端末装置と携帯端末装置との2種類の装置である。これら固定端末装置と携帯端末装置との主な相違は、固定端末装置が固定的に運用される一方、携帯端末装置が例えば看護師や介護士等の監視者(ユーザ)に携行されて運用される点であり、これら固定端末装置と携帯端末装置とは、略同様である。このような被監視者監視支援システムについて、以下、より具体的に説明する。
 図1は、実施形態における被監視者監視支援システムの構成を示す図である。図2は、前記被監視者監視支援システムにおける、行動検知装置を備えるセンサ装置のセンサ本体部の構成を示す図である。図3は、前記センサ装置の第2センサ部の構成を示す図である。図4は、前記センサ装置の配設態様を説明するために、居室の様子を模式的に示す側面図である。図5は、居室の様子を模式的に示す上面図である。図5では、センサ本体部SUaの第1配置位置P1(x1,y1)を示すために、上面図に投影されたセンサ本体部SUaが破線で示され、第2センサ部RUの第2配置位置P2(x2,y2)を示すために、上面図に投影された第2センサ部RUが破線で示されている。
 より具体的には、被監視者監視支援システムMSは、例えば、図1に示すように、1または複数のセンサ装置SU(SU-1~SU-4)と、管理サーバ装置SVと、固定端末装置SPと、1または複数の携帯端末装置TA(TA-1、TA-2)と、構内交換機(PBX、Private branch exchange)CXとを備え、これらは、有線や無線で、LAN(Local Area Network)等の網(ネットワーク、通信回線)NWを介して通信可能に接続される。ネットワークNWは、通信信号を中継する例えばリピーター、ブリッジおよびルーター等の中継機が備えられても良い。図1に示す例では、これら複数のセンサ装置SU-1~SU-4、管理サーバ装置SV、固定端末装置SP、複数の携帯端末装置TA-1、TA-2および構内交換機CXは、L2スイッチの集線装置(ハブ、HUB)LSaおよびアクセスポイントAPを含む有線および無線の混在したLAN(例えばIEEE802.11やIEEE802.3等のIEEE802シリーズの規格に従ったLAN等)NWによって互いに通信可能に接続されている。より詳しくは、複数のセンサ装置SU-1~SU-4、管理サーバ装置SV、固定端末装置SPおよび構内交換機CXは、集線装置LSaに接続され、複数の携帯端末装置TA-1、TA-2は、アクセスポイントAPを介して集線装置LSaに接続されている。そして、ネットワークNWは、TCP(Transmission control protocol)およびIP(Internet protocol)等のインターネットプロトコル群が用いられることによっていわゆるイントラネットを構成する。
 構内交換機(回線切換機)CXは、ネットワークNWに接続され、携帯端末装置TA同士における発信、着信および通話等の内線電話の制御を行って前記携帯端末装置TA同士の内線電話を実施し、そして、例えば固定電話網や携帯電話網等の公衆電話網PNを介して例えば固定電話機や携帯電話機等の外線電話機TLに接続され、外線電話機TLと携帯端末装置TAとの間における発信、着信および通話等の外線電話の制御を行って外線電話機TLと携帯端末装置TAとの間における外線電話を実施するものである。構内交換機CXは、例えば、デジタル交換機や、IP-PBX(Internet Protocol Private Branch eXchange)等である。
 被監視者監視支援システムMSは、被監視者Obに応じて適宜な場所に配設される。被監視者(見守り対象者、対象者)Obは、本実施形態では、上述のサービス受益者であり、例えば、病気や怪我等によって在宅医療や看護を必要とする者や、身体能力の低下等によって介護を必要とする者や、一人暮らしの独居者等である。特に、早期発見と早期対処とを可能にする観点から、被監視者Obは、例えば異常状態等の所定の不都合な事象がその者に生じた場合にその発見を必要としている者であることが好ましい。このため、被監視者監視支援システムMSは、被監視者Obの種類に応じて、病院、老人福祉施設および住戸等の建物に好適に配設される。図1に示す例では、被監視者監視支援システムMSは、複数の被監視者Obが入居する複数の居室RMや、ナースステーション等の複数の部屋を備える介護施設の建物に配設されている。
 センサ装置SUは、ネットワークNWを介して他の装置SV、SP、TAと通信する通信機能等を備え、被監視者Obに関わる所定のイベント(事象)を、管理サーバ装置SVへ通知する装置である。前記所定のイベント(事象)は、好適には対処が必要な所定のイベントであり、例えば、本実施形態では、被監視者Obにおける予め設定された所定の行動およびナースコールである。このため、本実施形態では、センサ装置SUは、被監視者Obにおける所定の行動を検知して検知結果を前記所定のイベントの一例として管理サーバ装置SVへ通知(送信)し、ナースコールを受け付けて前記ナースコールを前記所定のイベントの他の一例として管理サーバ装置SVへ通知(送信)し、そして、端末装置SP、TAとの間で音声通話を行う装置である。このようなセンサ装置SUは、例えば、図2ないし図4に示すように、センサ本体部SUaと、第2センサ部RUとを備え、これらセンサ本体部SUaと第2センサ部RUとは、例えばPoE機能付きのL2スイッチである集線装置LS-2を介して通信可能に接続される。PoE(Power over Ethemet)機能は、イーサネットのケーブルを利用して電力を供給する機能である(Ethemet、イーサネットは、登録商標、以下同様)。センサ装置SU、すなわち、センサ本体部SUaおよび第2センサ部RUは、本実施形態では、この集線装置LSbを介して集線装置LSaに接続され、イーサネットのケーブルから電力の供給を受け、稼働する。なお、センサ本体部SUaと第2センサ部RUとは、互いにデータ交換の可能なケーブルで直接的に接続されても良い。
 センサ本体部SUaは、例えば、図2に示すように、撮像部11と、センサ側音入出力部(SU音入出力部)12と、ナースコール受付操作部13と、センサ側制御処理部(SU制御処理部)14と、センサ側通信インターフェース部(SU通信IF部)15と、センサ側記憶部(SU記憶部)16とを備える。
 撮像部11は、SU制御処理部14に接続され、SU制御処理部14の制御に従って、画像(画像データ)を生成する装置である。前記画像には、静止画(静止画データ)および動画(動画データ)が含まれる。撮像部11は、監視すべき監視対象である被監視者(対象者)Obが所在を予定している空間(所在空間、図1に示す例では配設場所の居室(部屋)RM)を監視可能に配置され、前記所在空間の一部を第1対象領域としてその上方から撮像し、前記第1対象領域を俯瞰した画像(画像データ)を生成し、前記第1対象領域の画像(対象画像)をSU制御処理部14へ出力する。好ましくは、監視対象の被監視者Ob全体を撮像できる蓋然性が高いことから、前記撮像部は、被監視者Obが横臥する寝具(例えばベッド等)における、被監視者Obの頭部が位置すると予定されている予め設定された頭部予定位置(通常、枕の配設位置)の直上から前記第1対象領域を撮像できるように配設される。センサ本体部SUaは、この撮像部11によって、前記第1対象領域を上方から撮像した画像、好ましくは前記頭部予定位置の直上から撮像した画像を取得する。
 このような撮像部11は、可視光の画像を生成する装置であって良いが、比較的暗がりでも被監視者Obを監視できるように、本実施形態では、赤外線の画像を生成する装置である。このような撮像部11は、例えば、本実施形態では、赤外の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記赤外の光学像を電気的な信号に変換するエリアイメージセンサ、および、エリアイメージセンサの出力を画像処理することで赤外の画像を表すデータである画像データを生成する画像処理回路等を備えるデジタル赤外線カメラである。この撮像部11の前記結像光学系は、本実施形態では、その配設された居室RM全体を撮像できる画角を持つ広角な光学系(いわゆる広角レンズ(魚眼レンズを含む))であることが好ましい。
 SU音入出力部12は、音を入出力する回路である。すなわち、SU音入出力部12は、SU制御処理部14に接続され、SU制御処理部14の制御に従って音を表す電気信号に応じた音を生成して出力するための回路であって、外部の音を取得してセンサ装置SUに入力するための回路である。SU音入出力部12は、例えば、音の電気信号(音データ)を音の機械振動信号(音響信号)に変換するスピーカ等と、可聴領域の音の機械振動信号を電気信号に変換するマイクロフォン等とを備えて構成される。SU音入出力部12は、外部の音を表す電気信号をSU制御処理部14へ出力し、また、SU制御処理部14から入力された電気信号を音の機械振動信号に変換して出力する。
 ナースコール受付操作部13は、SU制御処理部14に接続され、ナースコールを当該センサ本体部SUaに入力するための例えば押しボタン式スイッチ等のスイッチ回路である。なお、ナースコール受付操作部13は、有線でSU制御処理部14に接続されて良く、また、例えばBluetooth(登録商標)規格等の近距離無線通信でSU制御処理部14に接続されて良い。
 SU通信IF部15は、SU制御処理部14に接続され、SU制御処理部14の制御に従って通信を行うための通信回路である。SU通信IF部15は、SU制御処理部14から入力された転送すべきデータを収容した通信信号を、この被監視者監視支援システムMSのネットワークNWで用いられる通信プロトコルに従って生成し、この生成した通信信号をネットワークNWを介して他の装置SV、SP、TAへ送信する。SU通信IF部15は、ネットワークNWを介して他の装置SV、SP、TAから通信信号を受信し、この受信した通信信号からデータを取り出し、この取り出したデータをSU制御処理部14が処理可能な形式のデータに変換してSU制御処理部14へ出力する。SU通信IF部15は、例えば、IEEE802シリーズの規格等に従った通信インターフェース回路を備えて構成される。
 SU記憶部16は、SU制御処理部14に接続され、SU制御処理部14の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、センサ装置SUの各部を当該各部の機能に応じてそれぞれ制御するSU制御プログラムや、被監視者Obに対する監視に関する所定の情報処理を実行するSU監視処理プログラム等の制御処理プログラムが含まれる。前記SU監視処理プログラムには、所定の第1対象領域を撮像部11で上方から撮像することによって生成された画像(対象画像)に基づいて被監視者(対象者)Obにおける所定の行動の有無を検知する第1行動検知処理プログラムや、前記対象画像に基づいて被監視者(対象者)Obの位置を求める位置検出処理プログラムや、第1行動検知処理プログラムの第1検知結果と第2センサ部RUの第2検知結果とに基づいて被監視者(対象者)Obにおける前記行動の有無を最終的に判定し、前記行動有りの判定の場合に、前記行動有りの検知結果を前記所定のイベント(事象)の一例として管理サーバ装置SVへ通知する最終判定プログラムや、ナースコール受付操作部13でナースコールを受け付けた場合にその旨を前記所定のイベントの他の一例として管理サーバ装置SVへ通知し、SU音入出力部12等を用いることで端末装置SP、TAとの間で音声通話を行うナースコール処理プログラムや、撮像部11で生成した動画を、その動画を要求した端末装置SP、TAへストリーミングで配信するSUストリーミング処理プログラム等が含まれる。前記各種の所定のデータには、自機のセンサ装置識別子(センサID)、管理サーバ装置SVの通信アドレス、寝具BDの所在領域、および、自機の位置情報等の、各プログラムを実行する上で必要なデータ等が含まれる。前記センサIDは、センサ装置SUを特定し識別するための識別子である。前記位置情報は、センサ本体部SUaの第1配置位置P1および第2センサ部RUの第2配置位置P2である。SU記憶部16は、例えば不揮発性の記憶素子であるROM(Read Only Memory)や書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)等を備える。そして、SU記憶部16は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆるSU制御処理部14のワーキングメモリとなるRAM(Random Access Memory)等を含む。SU記憶部16は、前記位置情報を記憶する位置情報記憶部161を機能的に備える。第1および第2配置位置P1、P2は、例えば、後述の図5に示すように、居室RMの一角(図5に示す例では上面視にて左下角)に座標原点(0、0)を設定し、天井面CE、床面FLおよび天井面CEに平行な仮想的な平面(床面FLに平行な仮想的な平面)のうちのいずれかの平面をxy平面としたxy直交座標系を設定することで、第1および第2配置位置それぞれを前記xy平面上に射影した各位置の各座標値で表すことができる。前記xy直交座標系のx軸は、前記一方向(居室RMの長尺方向)に沿うように設定され、そのy軸は、前記他方向(居室RMの短尺方向)に沿うように設定される。位置情報記憶部161には、このxy直交座標系における第1配置位置P1の座標値(x1、y1)が予め求められて記憶され、このxy直交座標系における第2配置位置P2の座標値(x2、y2)が予め求められて記憶される。第1および第2配置位置P1、P2については、後述する。
 SU制御処理部14は、センサ本体部SUaの各部を当該各部の機能に応じてそれぞれ制御し、被監視者Obに関わる所定のイベント(事象)を、管理サーバ装置SVへ通知するための回路である。より具体的には、本実施形態では、SU制御処理部14は、被監視者Obにおける所定の行動を検知してその検知結果を前記所定のイベントの一例として管理サーバ装置SVへ通知(報知、送信)し、ナースコールを受け付けてそのナースコールを前記所定のイベントの他の一例として管理サーバ装置SVへ通知(報知、送信)し、端末装置SP、TAとの間で音声通話を行い、動画を含む画像を生成して端末装置SP、TAへ動画を配信する。SU制御処理部14は、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。SU制御処理部14は、前記制御処理プログラムが実行されることによって、センサ側制御部(SU制御部)141、第1行動検知処理部142、位置検出処理部143、最終判定処理部144、ナースコール処理部146およびセンサ側ストリーミング処理部(SUストリーミング処理部)147を機能的に備える。
 SU制御部141は、センサ本体部SUaの各部を当該各部の機能に応じてそれぞれ制御し、センサ本体部SUaの全体制御を司るものである。
 第1行動検知処理部142は、所定の第1対象領域を撮像部11で上方から撮像することによって生成された対象画像に基づいて被監視者(対象者)Obにおける所定の行動の有無を検知し、その第1検知結果を最終判定処理部144へ通知するものである。より具体的には、本実施形態では、被監視者(対象者)Obにおける所定の行動は、被監視者Obが倒れた転倒であり、第1行動検知処理部142は、例えば、撮像部11で撮像した対象画像に基づいて被監視者(対象者)Obの頭部を検出し、この検出した被監視者Obにおける頭部の位置およびその大きさの時間変化に基づいて被監視者Obの転倒を検知する。より詳しくは、まず、寝具BDの所在領域を除く居室RM内における横臥姿勢の頭部の大きさであるか否かを識別するための閾値Thが前記各種の所定のデータの1つとして予めSU記憶部16に記憶される。そして、第1行動検知処理部142は、対象画像から例えば背景差分法やフレーム差分法によって被監視者Obの人物の領域として動体領域を抽出する。次に、第1行動検知処理部142は、この抽出した動体領域から、例えば円形や楕円形のハフ変換によって、また例えば予め用意された頭部のモデルを用いたパターンマッチングによって、また例えば頭部検出用に学習したニューラルネットワークによって、被監視者Obの頭部領域を抽出する。そして、第1行動検知処理部142は、この抽出した頭部の位置および大きさから転倒の有無を検知する。すなわち、第1行動検知処理部142は、この抽出した頭部の位置が寝具BDの所在領域を除く居室RM内であって、前記抽出した頭部の大きさが前記閾値Thを用いることによって或る大きさから横臥姿勢の大きさへ時間変化した場合には、転倒有りと判定し、これを除く場合には転倒無しと判定する。
 位置検知処理部143は、所定の第1対象領域を撮像部11で上方から撮像することによって生成された前記対象画像に基づいて被監視者(対象者)Obの位置を求め、この求めた被監視者(対象者)Obの位置を最終判定処理部144へ通知するものである。被監視者Obの位置は、その位置を前記xy直交座標系の前記xy平面に射影した位置の座標値で与えられる。より具体的には、例えば、位置検出処理部143は、第1行動検知処理部142と同様に、前記対象画像から被監視者Obの人物の領域として動体領域を抽出し、この抽出した動体領域の重心位置を被監視者(対象者)Obの位置として求める。また例えば、位置検出処理部143は、この抽出した動体領域から、さらに、第1行動検知処理部142と同様に、被監視者Obの頭部領域を抽出し、この頭部領域の重心位置を被監視者(対象者)Obの位置として求める。
 最終判定処理部144は、第1行動検知処理部142の第1検知結果と第2センサ部RUの第2検知結果とに基づいて被監視者(対象者)Obにおける前記行動の有無を最終的に判定し、前記行動有りの判定の場合に、前記行動有りの検知結果を前記所定のイベント(事象)の一例として管理サーバ装置SVへ通知するものである。より具体的には、本実施形態では、最終判定処理部144は、位置検出処理部143で求めた被監視者(対象者)Obの位置に基づいて第1行動検知処理部142の第1検知結果および第2センサ部RUの第2検知結果のうちのいずれか一方を選択し、この選択した一方に基づいて被監視者(対象者)Obにおける前記行動の有無を最終的に判定する。より詳しくは、最終判定処理部144は、位置検出処理部143で求めた前記被監視者(対象者)Obの位置とSU記憶部16の位置情報記憶部161に記憶された第1および第2配置位置それぞれとを比較し、この比較の結果、位置検出処理部143で求めた前記被監視者Obの位置が第2配置位置より第1配置位置に近い場合、第1行動検知処理部142の第1検知結果を選択し、この選択した前記第1検知結果に基づいて被監視者Obにおける前記行動の有無(本実施形態では転倒の有無)を最終的に判定し、前記比較の結果、位置検出処理部143で求めた被監視者Obの位置が第1配置位置より第2配置位置に近い場合、第2センサ部RUの第2検知結果を選択し、この選択した前記第2検知結果に基づいて前記対象者における前記行動の有無(本実施形態では転倒の有無)を最終的に判定する。
 そして、最終的な判定の結果、前記行動有り(本実施形態では転倒有り)の場合、最終判定処理部144は、被監視者Obに関わる所定のイベント(事象)の内容を表すイベント情報(事象情報)を収容した、前記イベントを通知するための第1イベント通知通信信号をSU通信IF部15で管理サーバ装置SVへ通知する。より詳しくは、最終判定処理部144は、自機のセンサID、前記イベントの内容を表すイベント情報、前記所定の行動の検知に用いられた対象画像を収容した通信信号(第1イベント通知通信信号)を、SU通信IF部15を介して管理サーバ装置SVへ送信する。前記イベント情報は、本実施形態では、転倒およびナースコール(NC)のうちの1または複数であり、ここでは、最終判定処理部144は、検知した転倒を前記イベント情報として第1イベント通知通信信号に収容する。前記所定の行動の検知に用いられた対象画像は、第1検知結果によって、または、第1および第2検知結果によって(すなわち、少なくとも第1検知結果によって)、最終的に前記行動有りと判定された場合には、当該第1検知結果を求める処理で用いられた対象画像そのものであり、第2検知結果によって最終的に前記行動有りと判定された場合には、当該第2検知結果に同期した第1検知結果を求める処理で用いられた対象画像である。また、前記対象画像は、静止画および動画のうちの少なくとも一方であって良く、本実施形態では、まず、静止画が報知され、ユーザの要求に応じて動画が配信される。なお、まず、動画が配信されても良く、また、静止画および動画が送信され、画面分割で静止画および動画が端末装置SP、TAに表示されても良い。なお、第1イベント通知通信信号には、前記所定の行動やナースコールの検知時刻がさらに収容されても良い。
 ナースコール処理部146は、ナースコール受付操作部13でナースコールを受け付けた場合にその旨を前記所定のイベントの他の一例として収容した第1イベント通知通信信号を管理サーバ装置SVへ通知し、SU音入出力部12等を用いることで端末装置SP、TAとの間で音声通話を行うものである。より具体的には、ナースコール処理部146は、ナースコール受付操作部13が入力操作されると、自機のセンサIDおよび前記イベント情報としてナースコールを収容した第1イベント通知通信信号をSU通信IF部15を介して管理サーバ装置SVへ送信する。そして、ナースコール処理部146は、SU音入出力部12等を用い、端末装置SP、TAとの間で例えばVoIP(Voice over Internet Protocol)によって音声通話を行う。
 SUストリーミング処理部147は、通信IF部3を介して固定端末装置SPまたは携帯端末装置TAから動画の配信の要求があった場合に、この要求のあった固定端末装置SPまたは携帯端末装置TAへ、撮像部11で生成した動画(例えばライブの動画)をストリーミング再生でSU通信IF部15を介して配信するものである。
 第2センサ部RUは、前記所在空間において、前記第1対象領域と異なる領域を含む所定の第2対象領域に、所定波長の送信波を上方から送信することによって得られた前記送信波の反射波に基づいて前記被監視者(前記対象者)Obにおける前記行動の有無を検知する装置である。第2センサ部RUは、例えば、図3に示すように、送受信部41と、第2センサ部側制御処理部(RU制御処理部)42と、第2センサ部側通信インターフェース部(RU通信IF部)43と、第2センサ部側記憶部(RU記憶部)44とを備える。
 送受信部41は、SU制御処理部14に接続され、SU制御処理部14の制御に従って、所定波長の送信波を送信し、この送信波の送信によって得られた前記送信波の反射波を受信する回路である。前記送信波は、例えば超音波等の音波であって良いが、本実施形態では、透過性の観点から、電磁波である。より具体的には、いわゆる移動体検知センサ用バンドと呼ばれる10.5GHz帯または24GHz帯のマイクロ波である。送受信部41は、前記受信した反射波の電気信号をRU制御処理部42へ出力する。
 RU通信IF部43は、SU通信IF部15と同様に、RU制御処理部42に接続され、RU制御処理部42の制御に従って通信を行うための通信回路である。
 RU記憶部16は、RU制御処理部42に接続され、RU制御処理部42の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、第2センサ部RUの各部を当該各部の機能に応じてそれぞれ制御するRU制御プログラムや、前記第2対象領域に、送受信部41で所定波長の送信波を上方から送信することによって得られた前記送信波の反射波に基づいて前記被監視者(前記対象者)Obにおける前記行動の有無を検知する第2行動検知処理プログラム等の制御処理プログラムが含まれる。前記各種の所定のデータには、センサ本体部SUaの通信アドレス等の、各プログラムを実行する上で必要なデータ等が含まれる。RU記憶部44は、例えばROMやEEPROMやRAM等を備える。
 RU制御処理部42は、第2センサ部RUの各部を当該各部の機能に応じてそれぞれ制御し、前記送信波の反射波に基づいて前記被監視者(前記対象者)Obにおける前記行動の有無を検知し、その第2検知結果をセンサ本体部SUaへ送信するための回路である。RU制御処理部42は、例えば、CPUおよびその周辺回路を備えて構成される。RU制御処理部42は、前記制御処理プログラムが実行されることによって、第2センサ部側制御部(RU制御部)421および第2行動検知処理部422を機能的に備える。
 RU制御部421は、第2センサ部RUの各部を当該各部の機能に応じてそれぞれ制御し、第2センサ部RUの全体制御を司るものである。
 第2行動検知処理部422は、前記第2対象領域に、送受信部41で所定波長の送信波を上方から送信することによって得られた前記送信波の反射波に基づいて前記被監視者(前記対象者)Obにおける前記行動の有無を検知し、その第2検知結果をセンサ本体部SUaへ送信するものである。より具体的には、本実施形態では、被監視者(対象者)Obにおける所定の行動は、上述したように、被監視者Obが倒れた転倒であり、第2行動検知処理部422は、例えば、送受信部41による送信波の送信およびその反射波の受信に基づいて前記送信波の送信方向で対向する物体までの距離を求め、この距離の時間変化に基づいて被監視者Obの転倒を検知する。より詳しくは、まず、被監視者Obが第2対象領域に居るか否かを判定するための存否判定閾値Ths、および、被監視者Obが転倒しているか否かを判定するための転倒判定閾値Thtが前記各種の所定のデータの1つとして予めRU記憶部44に記憶される。これら存否判定閾値Thsおよび転倒判定閾値Thtとは、例えば、被監視者Obの身長等を考慮して、適宜に設定される。例えば、存否判定閾値Thは、第2対象領域において、送受信部11の配設位置(第2センサ部RUの配設位置)から、被監視者Obの胸部位置までの距離に設定され、転倒判定閾値Thtは、第2対象領域において、送受信部11の配設位置(第2センサ部RUの配設位置)から、被監視者Obの腰位置までの距離に設定される。また例えば、存否判定閾値Thは、第2対象領域において、送受信部11の配設位置(第2センサ部RUの配設位置)から、被監視者Obの身長の2/3までの距離に設定され、転倒判定閾値Thtは、第2対象領域において、送受信部11の配設位置(第2センサ部RUの配設位置)から、被監視者Obの1/3までの距離(高さ)に設定される。なお、被監視者Obに代え、人の平均的な胸部位置および腰部位置や、平均身長が用いられても良い。そして、第2行動検知処理部422は、予め設定された所定の時間間隔で、送受信部41による送信波の送信およびその反射波の受信に基づいて前記送信波の送信方向で対向する物体までの距離を求め、この求めた距離が存否判定閾値Ths以下になると、前記物体を被監視者Obとみなして被監視者Obが第2対象領域に居ると判定し、前記距離が存否判定閾値Ths以下である状態が、予め設定された第1期間(例えば、2秒や3秒等)以上継続した後に、予め設定された第2期間以内(例えば、1秒以内や2秒以内等)に前記距離が転倒判定閾値Tht以上になった場合、転倒有りと判定し、これを除く場合には転倒無しと判定する。
 送受信部41による送信波の送信およびその反射波の受信に基づいて前記送信波の送信方向で対向する物体までの距離を求める手法には、本実施形態では、いわゆるFMCW(Frequency Modulated Continuous Wave)法(周波数変調連続波法)が用いられる。このFMCW法は、周波数変調された連続波を送信波として使用し、時間遅れで受信される受信波(反射波)と送信波との周波数差(ビート周波数)から前記物体までの距離を求める方法である。周波数変移△F、変調周期T、周波数差(ビート周波数)fbおよび送信波の伝播速度cとすると、前記距離R=(fb×T×c)/(2×△F)となる。したがって、本実施形態では、送受信部41および第2行動検知処理部422からいわゆるFMCWレーダが構成されている。
 そして、このようなセンサ本体部SUaおよび第2センサ部RUを備えるセンサ装置SUでは、センサ本体部SUaと第2センサ部RUとは、互いに同期して第1および第2検知結果を得て、第2センサ部RUは、第2検知結果をセンサ本体部SUaへ送信する。この同期は、例えば、センサ本体部SUaから第2センサ部RUへ、検知のタイミングごとに、当該検知のタイミングを通知する通信信号(タイミング同期信号)を送信することによって実施できる。また例えば、前記同期は、センサ本体部SUaおよび第2センサ部RUそれぞれに、検知のタイミングの周期でトリガーを生成するトリガー回路を備え、最初の検知のタイミングでセンサ本体部SUaから第2センサ部RUへ前記トリガーの生成のタイミングを合わせる通信信号(トリガー同期信号)を送信することによって実施できる。
 ここで、前記所在空間における、センサ本体部SUaの検知範囲である第1対象領域、および、第2センサ部RUの検知範囲である第2対象領域について、説明する。
 前記所在空間は、本実施形態では、被監視者(対象者)Obの居室RMであり、居室RMの一例が図4および図5に示されている。この図4および図5に示す例では、居室RMは、一方向に比較的長い所在空間(床面が一方向に比較的長い長方形)を形成している。居室RMの一方端壁面には、一方側壁寄りに出入り口ドアDRが配設され、他方側壁寄りに洗面台WSが配設されている。居室RMの中央位置より前記一方端壁面寄りに他方側壁面に沿って寝具(ここではベッド)BDが配設されている。そして、居室RMの他方壁面側には、カーテンCTで仕切られたトイレスペースLAが形成され、トイレBEが他方側壁面に寄りに配設されている。
 このような居室RMにセンサ装置SUを配設する場合、撮像部11は、上述したように、頭部予定位置(枕PCの配置位置)の直上における天井CEに配設されることが好ましい。図4および図5に示す例では、撮像部11は、寝具BDあたりを好適に監視できるように、前記一方向(居室RMの長尺方向)では寝具BDの中央位置P1であって、前記一方向に直交する他方向(居室RMの短尺方向)では居室RMの中央位置P1における天井CEに配設されている。撮像部11は、このような第1配置位置P1(x1、y1)に配置され、適度な画角を持つ撮像光学系を用いることによって、カーテンCTがなければ、居室RM全体をカバーし、居室RM全体の対象画像を生成することは可能である。しかしながら、この場合では、撮像部11の前記撮像光学系は、比較的画角の広い(大きい)広角レンズや魚眼レンズとなる。このため、上述したように、映像の周辺部分では、被写体が小さく写ることや、撮像光学系の歪み等により、判定(検知)の精度が低下する虞がある。特に、居室RMが長尺方向の長さが短尺方向の長さの2倍以上のような比較的一方向に長い場合、画角のより広いレンズが必要となり、判定(検知)の精度がより低下する。また、図4および図5に示す例では、居室RMに仕切り用のカーテンCTが配設されているため、図4に示すように、撮像部11の視野は、カーテンCTで遮られてしまい、この結果、撮像部11は、カーテンCTによって仕切られたトイレスペースLAをカバーできず、撮像部11にとってトイレスペースLAは、死角となってしまう。その死角では、センサ本体部SUaは、前記判定(検知)ができない。そこで、本実施形態では、撮像部11の死角をカバーするために、センサ装置SUは、第2センサ部RUを備えている。この第2センサ部RUは、撮像部11の死角であるトイレスペースLAを好適に監視できるように、前記一方向(居室RMの長尺方向)ではトイレスペースLAの中央位置P2であって、前記一方向に直交する他方向(居室RMの短尺方向)では居室RMの中央位置P2における天井CEに配設されている。第2センサ部RUは、このような第2配置位置P2(x2、y2)に配置され、撮像部11の死角をカバーしている。
 上述から分かるように、撮像部11は、居室RM(所在空間)のうち、前記一方向では一方壁面からカーテンCTまでであって前記他方向では一方側壁面から他方側壁面までの領域を第1対象領域AR1として、被監視者(対象者)Obにおける所定の行動(本実施形態では転倒)を検知している。これに対し、第2センサ部RUの第2対象領域は、この第1対象領域AR1と互いに重複する重複領域を含まないように、第1対象領域AR1と互いに接するように設定されて良い。すなわち、第2センサ部RUは、居室RM(所在空間)のうち、前記一方向ではカーテンCTから他方壁面までであって前記他方向では一方側壁面から他方側壁面までの領域を第2対象領域として、被監視者Obにおける前記所定の行動を検知して良い。図4および図5に示す本実施形態の例では、第2センサ部RUの第2対象領域AR2は、第1対象領域AR1と互いに重複する重複領域AR12を含むように、第1対象領域AR1の他方壁面側に設定されている。すなわち、第2センサ部RUは、居室RM(所在空間)のうち、前記一方向ではカーテンCTの位置から前記一方壁面に所定長だけ寄った位置から他方壁面までであって前記他方向では一方側壁面から他方側壁面までの領域を第2対象領域AR2として、被監視者Obにおける前記所定の行動を検知している。本実施形態では、第2センサ部RUの送信波は、電磁波であるので、カーテンCTを越えて第2対象領域AR2を設定できる。このように重複領域AR12を設けることにより、撮像部11で撮像される周辺領域を第2センサ部RUでカバーでき、第2センサ部RUによって、前記周辺領域に対するセンサ本体部SUaの検知精度を補償できる。
 このように第1および第2対象領域AR1、ARが設定され、センサ本体部SUaの撮像部11および第2センサ部RUによって居室RM(所在空間)全体がカバーされ、被監視者Obにおける所定の行動が検知されている。
 図1には、一例として、第1ないし第4センサ装置SU-1~SU-4が示されており、第1センサ装置SU-1は、被監視者Obの一人であるAさんOb-1の居室RM-1(不図示)に配設され、第2センサ装置SU-2は、被監視者Obの一人であるBさんOb-2の居室RM-2(不図示)に配設され、第3センサ装置SU-3は、被監視者Obの一人であるCさんOb-3の居室RM-3(不図示)に配設され、そして、第4センサ装置SU-4は、被監視者Obの一人であるDさんOb-4の居室RM-4(不図示)に配設されている。
 管理サーバ装置SVは、ネットワークNWを介して他の装置SU、TA、SPと通信する通信機能を備え、センサ装置SUから前記第1イベント通知通信信号で前記所定のイベントの通知を受けると、被監視者Obに対する監視に関する情報(監視情報)を管理し、前記所定のイベントを第2イベント通知通信信号で所定の端末装置SP、TAへ通知(再通知、報知、送信)し、クライアント(本実施形態では端末装置SP、TA等)の要求に応じたデータを前記クライアントに提供し、被監視者監視システムMS全体を管理する装置である。前記監視情報は、本実施形態では、例えば、前記第1イベント通知通信信号の送信元であるセンサ装置SUのセンサID、前記所定のイベント(センサ装置SUで検知した所定の行動の種類やセンサ装置SUで受け付けたナースコール)、被監視者Obの画像、および、前記通知を受けた時刻(通知時刻)等であり、これらは、互いに対応付けられて記憶(記録、管理)される。前記第2イベント通知通信信号には、これら監視情報が収容される。前記第2イベント通知通信信号は、例えば同報通信(ブロードキャストやマルチキャスト)で送信されて良く、また例えば、前記第1イベント通知通信信号の送信元であるセンサ装置SUに対応付けられた1または複数の端末装置SP、TAに送信されて良い。このような管理サーバ装置SVは、例えば、通信機能付きのコンピュータによって構成可能である。
 固定端末装置SPは、ネットワークNWを介して他の装置SU、SV、TAと通信する通信機能、所定の情報を表示する表示機能、および、所定の指示やデータを入力する入力機能等を備え、管理サーバ装置SVや携帯端末装置TAに与える所定の指示やデータを入力したり、管理サーバ装置SVからの通知によってセンサ装置SUで得られた前記監視情報を表示したり等することによって、被監視者監視支援システムMSのユーザインターフェース(UI)として機能する機器である。このような固定端末装置SPは、例えば、通信機能付きのコンピュータによって構成可能である。
 携帯端末装置TAは、ネットワークNWを介して他の装置SV、SP、SUと通信する通信機能、所定の情報を表示する表示機能、所定の指示やデータを入力する入力機能、および、音声通話を行う通話機能等を備え、管理サーバ装置SVやセンサ装置SUに与える所定の指示やデータを入力したり、管理サーバ装置SVからの通知によってセンサ装置SUで得られた前記監視情報を表示したり、センサ装置SUとの間で音声通話によってナースコールの応答や声かけしたり等するための機器である。このような携帯端末装置TAは、例えば、いわゆるタブレット型コンピュータやスマートフォンや携帯電話機等の、持ち運び可能な通信端末装置によって構成可能である。
 ここで、センサ装置SUは、対象者(被監視者)Obにおける、予め設定された所定の行動の有無を検知する行動検知装置を含む。撮像部11、SU制御処理部14におけるSU制御部141、第1行動検知処理部142、位置検出処理部143および最終判定処理部144、SU通信IF部15、SU記憶部16、ならびに、第2センサ部RUは、前記行動検知装置の一例に相当する。なお、撮像部11、SU制御処理部14におけるSU制御部141、第1行動検知処理部142、位置検出処理部143および最終判定処理部144、SU通信IF部15およびSU記憶部16は、行動検知本体部MDaを構成する。本実施形態では、この行動検知本体部MDaと第2センサ部RUとで、前記行動検知装置の一例が構成される。これら撮像部11、SU制御部141および第1行動検知処理部142は、所定の第1対象領域を上方から撮像することによって生成された画像に基づいて対象者における所定の行動の有無を検知する第1センサ部の一例に相当する。第2センサ部RUは、前記第1対象領域と異なる領域を含む所定の第2対象領域に、所定波長の送信波を上方から送信することによって得られた前記送信波の反射波に基づいて前記対象者における前記行動の有無を検知する第2センサ部の一例に相当する。最終判定処理部144は、前記第1センサ部の第1検知結果と前記第2センサ部の第2検知結果とに基づいて前記対象者における前記行動の有無を最終的に判定する最終判定部の一例に相当する。撮像部11、SU制御部141および位置検出処理部143は、対象者の位置を求める第3センサ部の一例に相当する。
 次に、本実施形態の動作について説明する。図6は、前記センサ装置の動作を示すフローチャートである。図7は、図6に示すフローチャートにおける行動検知処理S12を示すフローチャートである。図8は、前記被監視者監視支援システムにおける携帯端末装置に表示される待受け画面の一例を示す図である。図9は、前記携帯端末装置に表示される監視情報画面の一例を示す図である。図10は、前記携帯端末装置に表示されるナースコール受付画面の一例を示す図である。
 上記構成の被監視者監視支援システムMSでは、各装置SU(SUa、RU)、SV、SP、TAは、電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。センサ装置SUにおいて、センサ本体部SUaでは、その制御処理プログラムの実行によって、SU制御処理部14には、SU制御部141、第1行動検知処理部142、位置検出処理部143、最終判定処理部144、ナースコール処理部146およびSUストリーミング処理部147が機能的に構成され、第2センサ部RUでは、その制御処理プログラムの実行によって、RU制御処理部42には、RU制御部421および第2行動検知処理部422が機能的に構成される。
 センサ装置SUは、所定のサンプリング間隔で、例えば各フレームごとに、あるいは、数フレームおきに、次のように動作することで、被監視者Obにおける所定の動作(本実施形態では転倒)の有無を検知し、ナースコールの受付の有無を判定している。
 図6において、まず、センサ本体部SUaは、SU制御処理部14の最終判定処理部144によって、その第1行動検知処理部142から第1検知結果を取得し、第2センサ部RUから第2行動検知処理部422の第2検知結果を取得し、位置検出処理部143から被監視者(対象者)Obの位置を取得する(S11)。
 より具体的には、センサ本体部SUaは、まず、SU制御処理部14のSU制御部141によって、撮像部11から1フレーム分の画像(画像データ)を前記対象画像として取得する。次に、センサ本体部SUaは、第1行動検知処理部142によって、この取得した対象画像に基づいて被監視者Obにおける所定の行動(本実施形態では転倒)の有無を検知する。そして、この検知の結果、行動有り(ここでは転倒有り)が検知された場合には、第1行動検知処理部142は、前記行動有りの第1検知結果を最終判定処理部144へ通知する。一方、前記検知の結果、行動無し(ここでは転倒無し)が検知された場合には、第1行動検知処理部142は、前記行動無しの第1検知結果を最終判定処理部144へ通知する。
 一方、第2センサ部RUは、このセンサ本体部SUaの第1検知結果の生成に同期して、RU制御処理部42の第2行動検知処理部422によって、送受信部41による送信波の送信およびその反射波の受信に基づいて前記被監視者Obにおける前記所定の行動(本実施形態では転倒)の有無を検知する。そして、この検知の結果、行動有り(ここでは転倒有り)が検知された場合には、第2行動検知処理部422は、前記行動有りの第2検知結果をセンサ本体部SUaへ送信し、最終判定処理部144へ通知する。一方、前記検知の結果、行動無し(ここでは転倒無し)が検知された場合には、第2行動検知処理部422は、前記行動無しの第2検知結果をセンサ本体部SUaへ送信し、最終判定処理部144へ通知する。
 一方、センサ本体部SUaは、位置検出処理部143によって、前記取得した対象画像に基づいて被監視者Obの位置を求め、この求めた被監視者(対象者)Obの位置を最終判定処理部144へ通知する。このように位置検出処理部143は、上述の第1行動検知処理部142で用いた対象画像に基づいて被監視者Obの位置を求めることで、第1行動検知処理部142と同期できる。
 次に、センサ本体部SUaは、最終判定処理部144によって、第1行動検知処理部142の第1検知結果と第2センサ部RUの第2検知結果と位置検出処理部143による被監視者Obの位置に基づいて前記被監視者Obにおける前記行動の有無を最終的に判定する行動検知処理を実行する(S12)。
 この行動検知処理では、より詳しくは、次のように各処理が実行される。図7において、最終判定処理部144は、まず、処理S11で取得した第1検知結果が行動有りか否かを判定する(S121)。この判定の結果、第1検知結果が前記行動有りである場合(Yes)には、最終判定処理部144は、次に処理S122を実行し、一方、前記判定の結果、第1検知結果が前記行動有りではない場合(すなわち、第1検知結果が前記行動無しである場合、No)には、最終判定処理部144は、次に処理S125を実行する。
 この処理S122では、最終判定処理部144は、処理S11で取得した第2検知結果が前記行動有りか否かを判定する。この判定の結果、第2検知結果が前記行動有りである場合(Yes)には、最終判定処理部144は、次に処理S124を実行し、一方、前記判定の結果、第2検知結果が前記行動有りではない場合(すなわち、第2検知結果が前記行動無しである場合、No)には、最終判定処理部144は、次に処理S123を実行する。
 この処理S123では、最終判定処理部144は、被監視者(対象者)Obの位置がセンサ本体部SUaより第2センサ部RUに近いか否かを判定する。より具体的には、最終判定処理部144は、前記取得した前記被監視者(対象者)Obの位置とSU記憶部16の位置情報記憶部161に記憶された第1および第2配置位置P1、P2それぞれとを比較する。この比較の結果、前記取得した前記被監視者Obの位置が第2配置位置P2より第1配置位置P1に近い場合、最終判定処理部144は、被監視者(対象者)Obの位置がセンサ本体部SUaより第2センサ部RUに近くないと判定し(No)、次に、処理S124を実行する。一方、比較の結果、前記取得した前記被監視者Obの位置が第1配置位置P1より第2配置位置P2に近い場合、最終判定処理部144は、被監視者(対象者)Obの位置がセンサ本体部SUaより第2センサ部RUに近いと判定し(Yes)、次に、処理S127を実行する。なお、この処理S123において、前記対象画像から動体領域が検出されない場合も、前記被監視者Obの位置が第1配置位置P1より第2配置位置P2に近い場合とみなす。あるいは、被監視者Obが第2対象領域AR2に居る場合には前記被監視者Obの位置が第1配置位置P1より第2配置位置P2に近くなるように第1および第2対象領域AR1、AR2が設定されている場合には、第2センサ部RUによる存否判定閾値Thsによる判定結果が用いられ、前記判定結果により、被監視者Obが第2対象領域AR2に居る場合には前記被監視者Obの位置が第1配置位置P1より第2配置位置P2に近い場合とみなしても良い。
 前記処理S125では、最終判定処理部144は、処理S11で取得した第2検知結果が前記行動有りか否かを判定する。この判定の結果、第2検知結果が前記行動有りである場合(Yes)には、最終判定処理部144は、次に処理S126を実行し、一方、前記判定の結果、第2検知結果が前記行動有りではない場合(すなわち、第2検知結果が前記行動無しである場合、No)には、最終判定処理部144は、次に処理S127を実行する。
 この処理S126では、最終判定処理部144は、被監視者(対象者)Obの位置が第2センサ部RUよりセンサ本体部SUaに近いか否かを判定する。より具体的には、最終判定処理部144は、前記取得した前記被監視者(対象者)Obの位置とSU記憶部16の位置情報記憶部161に記憶された第1および第2配置位置P1、P2それぞれとを比較する。この比較の結果、前記取得した前記被監視者Obの位置が第2配置位置P2より第1配置位置P1に近い場合、最終判定処理部144は、被監視者(対象者)Obの位置が第2センサ部RUよりセンサ本体部SUaに近いと判定し(Yes)、次に、処理S127を実行する。一方、比較の結果、前記取得した前記被監視者Obの位置が第1配置位置P1より第2配置位置P2に近い場合、最終判定処理部144は、被監視者(対象者)Obの位置が第2センサ部RUよりセンサ本体部SUaに近くないと判定し(No)、次に、処理S124を実行する。なお、この処理S126において、前記対象画像から動体領域が検出されない場合も、前記被監視者Obの位置が第1配置位置P1より第2配置位置P2に近い場合とみなす。あるいは、上述のように第2センサ部RUによる存否判定閾値Thsによる判定結果が用いられても良い。
 前記処理S124では、最終判定処理部144は、前記行動有りを最終的に判定し(前記行動有りを最終的な検知結果とし)、本行動検知処理S12を終了し、次に、処理S13を実行する。すなわち、第1および第2検知結果が共に前記行動有りである第1ケース(処理S121から処理S122を介して処理S124に至る第1ケース)では、この処理S124が実行され、第1および第2検知結果に齟齬がないので、最終判定処理部144は、前記行動有りを最終的な検知結果とする。第1検知結果が前記行動有りである一方、第2検知結果が前記行動無しであるが、被監視者Obが相対的にセンサ本体部SUaの近く居る第2ケース(処理S121から処理S122および処理S123を介して処理S124に至る第2ケース)では、距離的に被監視者Obに相対的に近いセンサ本体部SUaの第1検知結果が優先され、距離的に被監視者Obから相対的に遠い第2センサ部RUの第2検知結果が誤報と判断され、最終判定処理部144は、前記第1検知結果の前記行動有りを最終的な検知結果とする。第1検知結果が前記行動無しである一方、第2検知結果が前記行動有りであるが、被監視者Obが相対的に第2センサ部RUの近く居る第3ケース(センサ本体部SUaの撮像部11の死角で被監視者Obが撮像部11に撮像されない場合を含む。処理S121から処理S125および処理S126を介して処理S124に至る第2ケース)では、距離的に被監視者Obに相対的に近い第2センサ部RUの第2検知結果が優先され、距離的に被監視者Obから相対的に遠いセンサ本体部SUaの第1検知結果が誤報と判断され、最終判定処理部144は、前記第2検知結果の前記行動有りを最終的な検知結果とする。
 前記処理S127では、最終判定処理部144は、前記行動無しを最終的に判定し(前記行動無しを最終的な検知結果とし)、本行動検知処理S12を終了し、次に、処理S13を実行する。すなわち、第1および第2検知結果が共に前記行動無しである第4ケース(処理S121から処理S125を介して処理S127に至る第4ケース)では、この処理S127が実行され、第1および第2検知結果に齟齬がないので、最終判定処理部144は、前記行動無しを最終的な検知結果とする。第1検知結果が前記行動有りである一方、第2検知結果が前記行動無しであるが、被監視者Obが相対的に第2センサ部RUの近く居る第5ケース(処理S121から処理S122および処理S123を介して処理S127に至る第5ケース)では、距離的に被監視者Obに相対的に近い第2センサ部RUの第2検知結果が優先され、距離的に被監視者Obから相対的に遠いセンサ本体部SUaの第1検知結果が誤報と判断され、最終判定処理部144は、前記第2検知結果の前記行動無しを最終的な検知結果とする。第1検知結果が前記行動無しである一方、第2検知結果が前記行動有りであるが、被監視者Obが相対的にセンサ本体部SUaの近く居る第6ケース(処理S121から処理S125および処理S126を介して処理S127に至る第6ケース)では、距離的に被監視者Obに相対的に近いセンサ本体部SUaの第1検知結果が優先され、距離的に被監視者Obから相対的に遠い第2センサ部RUの第2検知結果が誤報と判断され、最終判定処理部144は、前記第1検知結果の前記行動無しを最終的な検知結果とする。
 図6に戻って、処理S13では、センサ装置SUは、最終判定処理部144によって、前記行動検知処理S12で被監視者Obにおける所定の行動が検知されたか否かを判定する。この判定の結果、最終的に前記行動無しと判定され、前記行動が検知されていない場合(No)には、センサ装置SUは、次に、処理S15を実行し、一方、最終的に前記行動有りと判定され、前記行動が検知されている場合(Yes)には、センサ装置SUは、次の処理S14を実行した後に、処理S15を実行する。
 この処理S14では、処理S12および処理S13で最終的に検知した所定の行動を、管理サーバ装置SVを介して所定の端末装置SP、TAへ通知するために、センサ装置SUは、最終判定処理部144によって、前記所定のイベントとして前記所定の行動の検知に関する第1イベント通知通信信号を管理サーバ装置SVへ送信する。より具体的には、最終判定処理部144は、自機のセンサID、前記所定のイベント情報(ここでは転倒)および前記イベントに関わる対象画像を収容した第1イベント通知通信信号を、SU通信IF部15を介して管理サーバ装置SVへ送信する。
 前記処理S15では、センサ装置SUは、ナースコール処理部146によって、ナースコールを受け付けているか否かを判定する。すなわち、図6に示す処理S11ないし処理S16は、前記所定のサンプリング間隔で繰り返し実行されるが、前回における処理S15の実行から今般における処理S15の実行までの間に、ナースコール受付操作部13が操作されたか否かが判定される。この判定の結果、ナースコール受付操作部13が操作されず、ナースコールを受け付けていない場合(No)には、センサ装置SUは、今回の本処理を終了し、一方、ナースコール受付操作部13が操作され、ナースコールを受け付けている場合(Yes)には、センサ装置SUは、次の処理S16を実行した後に、今回の本処理を終了する。
 この処理S16では、処理S15でその受付が判明したナースコールを管理サーバ装置SVを介して所定の端末装置SP、TAへ通知するために、センサ装置SUは、ナースコール処理部146によって、ナースコールに関する第1イベント通知通信信号を管理サーバ装置SVへ送信する。より具体的には、ナースコール処理部146は、自機のセンサIDおよび前記所定のイベント情報(ここではナースコール)を収容した第1イベント通知通信信号を、SU通信IF部15を介して管理サーバ装置SVへ送信する。
 被監視者Obにおける所定の行動の検知およびナースコールの受付の検知それぞれに関し、センサ装置SUは、以上のように動作している。
 管理サーバ装置SVは、第1イベント通知通信信号をネットワークNWを介してセンサ装置SUから受信すると、監視情報の処理を実行する。より具体的には、管理サーバ装置SVは、まず、この受信した第1イベント通知通信信号に収容されたセンサIDおよびイベント情報等の各情報を、このセンサIDを持つセンサ装置SUで監視されている被監視者Obの監視情報として記憶(記録)する。そして、管理サーバ装置SVは、例えば同報通信で、第2イベント通知通信信号を送信する。あるいは、管理サーバ装置SVは、前記受信した第1イベント通知通信信号における送信元(通知元)のセンサ装置SUに対応する通知先の端末装置SP、TAを特定し、この通知先の端末装置SP、TAへ第2イベント通知通信信号を送信しても良い。
 固定端末装置SPおよび携帯端末装置TAは、前記第2イベント通知通信信号をネットワークNWを介して管理サーバ装置SVから受信すると、位置検出この第2イベント通知通信信号に収容されたセンサIDおよびイベント情報等の各情報を、このセンサIDを持つセンサ装置SUで監視されている被監視者Obの監視情報として記憶(記録)し、前記監視情報を表示する。
 より具体的には、代表的に、携帯端末装置TAの動作について説明すると、上述したように、電源が投入され、その稼働を始めると、携帯端末装置TAでは、例えば看護師や介護士等の監視者(ユーザ)によるログイン操作が受け付けられ、自機宛の通信信号を待ち受ける待受け画面が表示される。この待受け画面51は、例えば、図8に示すように、メニューバーを表示するメニューバー領域511と、待ち受け中であることを表すメッセージ(例えば「通知はありません」)およびアイコンを表示する待受けメイン領域512と、現在時刻を表示する時刻領域513と、今日の年月日曜日を表示する年月日曜日領域514と、今、当該携帯端末装置TAにログインしているユーザ名を表示するユーザ名領域515とを備える。
 自機宛の通信信号を待ち受け中に前記第2イベント通知通信信号を受信すると、携帯端末装置TAは、この受信した第2イベント通知通信信号に収容された、被監視者Obに対する監視に関する監視情報をその記憶部に記憶(記録)し、前記受信した第2イベント通知通信信号に収容された各情報に応じた画面をその表示部に表示する。
 より詳しくは、携帯端末装置TAは、前記受信した第2イベント通知通信信号に収容された前記イベント情報が前記所定の行動である場合には、例えば図9に示す監視情報画面52をその表示部に表示し、一方、前記受信した第2イベント通知通信信号に収容された前記イベント情報が前記ナースコールである場合には、例えば図10に示すナースコール受付画面53をその表示部に表示する。
 この監視情報画面52は、被監視者Obの監視に関する前記監視情報を表示するための画面である。前記監視情報画面52は、例えば、図9に示すように、メニューバー領域511と、前記受信した第2イベント通知通信信号に収容されたセンサIDを持つセンサ装置SUの配設場所および前記センサIDを持つ前記センサ装置SUによって監視される被監視者Obの名前を表示する被監視者名領域521と、前記受信した第2イベント通知通信信号の受信時刻(または前記所定の行動の検知時刻)からの経過時間、および、前記受信した第2イベント通知通信信号に収容された前記イベント情報(前記所定の行動の検知結果)を表示する検知情報表示領域522と、前記受信した第2イベント通知通信信号に収容された画像(すなわち、前記センサIDを持つ前記センサ装置SUによって撮像された対象画像)(ここでは静止画)を表示する画像領域523と、「対応する」ボタン524と、「話す」ボタン525と、「LIVEを見る」ボタン526とを備える。
 検知情報表示領域522には、前記受信した第2イベント通知通信信号に収容された前記検知結果(本実施形態では転倒の名称)がそのまま表示されても良いが、本実施形態では、前記検知結果を象徴的に表すアイコンで表示されている。このアイコンで表示するために、その記憶部には、各行動およびその行動を象徴的に表すアイコンが互いに対応付けられて予め記憶される。図9に示す例では、検知情報表示領域522には、転倒を象徴的に表す起床アイコンが表示されている。「対応する」ボタン524は、監視情報画面52では、この監視情報画面52に表示された検知結果に対し例えば救命、看護、介護および介助等の所定の対応(対処、処置、措置)を実施する意思が当該携帯端末装置TAのユーザにある旨を、当該携帯端末装置TAに入力するためのボタンである。「話す」ボタン525は、音声通話を要求するためのボタンであって、前記センサIDの前記センサ装置SUと当該携帯端末装置TAとをネットワークNWを介して通話可能に接続する指示を入力するためのボタンである。「LIVEを見る」ボタン526は、ライブでの動画を要求するためのボタンであって、前記センサIDの前記センサ装置SUによって撮像される動画を表示させる指示を入力するためのボタンである。
 前記ナースコール受付画面53は、ナースコールの受付を表示するための画面である。このナースコール受付画面53は、例えば、図10に示すように、メニューバー領域511と、被監視者名領域521と、検知情報表示領域522と、ナースコールを受け付けた旨を表すメッセージ(例えば「ナースコールです」)を表示するナースコール受付通知表示領域531と、「対応する」ボタン524と、「話す」ボタン525とを備える。このナースコール受付画面53では、検知情報表示領域522には、前記受信した第2イベント通知通信信号の受信時刻(または前記ナースコールを受け付けた受付時刻)からの経過時間のみが表示される。なお、ナースコール受付画面53は、「LIVEを見る」ボタン526をさらに備えても良い。
 そして、このような監視情報画面52やナースコール受付画面53の表示中に、携帯端末装置TAは、入力操作を受け付けると、携帯端末装置TAは、入力操作の内容に応じた適宜な処理を実行し、そして、次の自機宛の通信信号を待ち受ける。
 例えば、携帯端末装置TAは、「対応する」ボタン524の入力操作を受け付けると、現在、その表示部に表示している被監視者Obの監視情報に対応するセンサID、イベント情報および「対応する」を受け付けた旨を表す情報(対応有意思情報)を収容した通信信号(対応有意思通知通信信号)を管理サーバ装置SVへ送信する。この対応有意思通知通信信号を受信した管理サーバ装置SVは、前記受信した対応有意思通知通信信号に収容されているセンサIDおよびイベント情報それぞれに対応付けて、対応の受付を表す対応フラグを記憶し、次に、前記受信した対応有意思通知通信信号に収容されたセンサID、イベント情報および対応有意思情報を収容した通信信号(対応有意思周知通信信号)を同報通信で端末装置SP、TAへ送信する。これによって、その表示部に表示している被監視者Obの監視情報に対応するセンサIDに関し、「対応する」を受け付けた旨が各端末装置SP、TA間で同期される。
 また例えば、携帯端末装置TAは、「話す」ボタン525の入力操作を受け付けると、現在、その表示部に表示している被監視者Obを監視するセンサ装置SUへ、音声通話を要求する旨等の情報を収容した通信信号(通話要求通信信号)を送信し、これに応じたセンサ装置SUとネットワークNWを介して音声通話可能に接続する。これによって携帯端末装置TAとセンサ装置SUとの間で音声通話が可能となる。なお、携帯端末装置TAは、音声通話の終了の指示を入力するためのボタンである図略の「終了」ボタンの入力操作を受け付けると、その表示部に表示している被監視者Obを監視するセンサ装置SUへ、音声通話の終了を要求する旨等の情報を収容した通信信号(通話終了通信信号)を送信する。これによって携帯端末装置TAとセンサ装置SUとの間での音声通話が終了される。
 また例えば、携帯端末装置TAは、「LIVEを見る」ボタン526の入力操作を受け付けると、現在、その表示部に表示している被監視者Obを監視するセンサ装置SUへ、ライブでの動画の配信を要求する旨等の情報を収容した通信信号(動画配信要求通信信号)を送信し、これに応じたセンサ装置SUとネットワークNWを介して動画のダウンロード可能に接続し、前記センサ装置SUからライブでの動画の配信を受け、この配信を受けた動画をストリーミング再生でその表示部に表示する。このライブでの動画を表示する監視情報画面52では、画像領域523に動画が表示され、そして、「LIVEを見る」ボタン526に代え図略の「LIVE終了」ボタンが表示される。これによって携帯端末装置TAには、ライブでの動画が表示される。前記図略の「LIVE終了」ボタンは、動画の終了を要求するためのボタンであって、前記センサIDの前記センサ装置SUによって撮像される動画の配信を終了(停止)させ表示を終了(停止)させる指示を入力するためのボタンである。携帯端末装置TAは、「LIVE終了」ボタンの入力操作を受け付けると、現在、その表示部に表示している被監視者Obを監視するセンサ装置SUへ、動画配信の終了を要求する旨等の情報を収容した通信信号(動画配信終了通信信号)を送信し、静止画をその表示部に表示する。これによって携帯端末装置TAは、ライブでの動画の表示を終了する。
 このような動作によって、被監視者監視システムMSは、各センサ装置SU、管理サーバ装置SV、固定端末装置SPおよび携帯端末装置TAによって、大略、各被監視者Obにおける所定の行動を検知し、ナースコールを受け付けて、各被監視者Obを監視している。
 以上説明したように、本実施形態における、行動検知装置を含むセンサ装置SU、これに実装された行動検知方法、および、被監視者監視支援システムMSは、第1センサ部を含むセンサ本体部SUaに加えて第2センサ部RUを備え、センサ本体部SUaおよび第2センサ部RUそれぞれの第1および第2検知結果に基づいて被監視者(対象者)Obにおける所定の行動(本実施形態では転倒)の有無を最終的に判定するので、第2センサ部RUによって、センサ本体部SUaの検知精度を補償でき、センサ本体部SUaの死角をカバーできる。したがって、上記行動検知装置を含むセンサ装置SU、行動検知方法および被監視者監視支援システムMSは、前記被監視者Obにおける前記所定の行動を検知する際の検知精度をより向上できる。
 上記行動検知装置を含むセンサ装置SU、行動検知方法および被監視者監視支援システムMSは、被監視者(対象者)Obの位置を求め、この被監視者Obの位置に基づいて前記第1および第2検知結果のうちのいずれか一方を選択し、この選択した一方に基づいて前記被監視者Obにおける行動の有無を最終的に判定する。前記被監視者(対象者)Obに対し距離的に相対的に近いセンサ部は、相対的に遠いセンサ部より確からしい検知結果を出力すると考えられる。上記行動検知装置を含むセンサ装置SU、行動検知方法および被監視者監視支援システムMSは、前記被監視者(対象者)Obにおける所定の行動の有無を最終的に判定する際に、前記被監視者Obの位置を考慮するので、前記被監視者Obにおける所定の行動を検知する際の検知精度をより向上できる。
 上記行動検知装置を含むセンサ装置SU、行動検知方法および被監視者監視支援システムMSは、第2センサ部RUの検知に電磁波を用いるので、例えば仕切りに使われた衝立やカーテン等を容易に透過でき、第1センサ部を含むセンサ本体部SUaの死角や周辺部分を効果的にカバーできる。したがって、上記行動検知装置を含むセンサ装置SU、行動検知方法および被監視者監視支援システムMSは、前記被監視者(対象者)Obにおける所定の行動を検知する際の検知精度をより向上できる。
 上記行動検知装置を含むセンサ装置SU、行動検知方法および被監視者監視支援システムMSは、前記被監視者(対象者)Obにおける前記行動の検知を、ネットワークNWを介して端末装置SP、TAへ通知するので、例えば監視者等のユーザは、被監視者Obから離れた所からでも、被監視者Obにおける所定の行動を認識できる。
 なお、上述の実施形態では、センサ装置SUは、1個の第2センサ部RUを備えて構成されたが、複数の第2センサ部RUを備えて構成されても良い。この場合では、最終判定処理部144は、第1センサ部を含むセンサ本体部SUaの第1検知結果と前記複数の第2センサ部RUそれぞれの複数の第2検知結果とに基づいて被監視者(対象者)Obにおける前記所定の行動の有無を最終的に判定する。あるいは、最終判定処理部144は、位置検出処理部143で求めた被監視者(対象者)Obの位置に基づいてセンサ本体部SUaの第1検知結果および前記複数の第2センサ部RUそれぞれの複数の第2検知結果のうちのいずれか一つを選択し、前記選択した一つに基づいて前記被監視者(対象者)Obにおける前記所定の行動の有無を最終的に判定する。より詳しくは、最終判定処理部144は、センサ本体部SUaおよび前記複数の第2センサ部RUの中から、位置検出処理部143で求めた被監視者(対象者)Obの位置に最も近くに配置された装置を選択し、この選択した装置の検知結果で、被監視者(対象者)Obにおける前記所定の行動の有無を最終的に判定する。
 また、上述の実施形態では、位置情報記憶部161に、第1センサ部を含むセンサ本体部SUaの第1配置位置P1(x1、y1)および第2センサ部RUの第2配置位置P2(x2、y2)を記憶し、位置検出処理部143で求めた被監視者(対象者)Obの位置と、これら記憶された第1配置位置P1(x1、y1)および第2配置位置P2(x2、y2)それぞれとを比較することで、位置検出処理部143で求めた被監視者(対象者)Obの位置により近い配置位置におけるセンサ部の検知結果を選択し、この選択した検知結果に基づいて前記被監視者(対象者)Obにおける前記所定の行動の有無を最終的に判定すしたが、次のように選択され、最終判定が実施されても良い。より具体的には、行動検知装置を含むセンサ本体部SUaは、前記第1対象領域を、前記第1検知結果を優先する第1優先領域と、前記第2検知結果を優先する第2優先領域とに切り分けて前記第1および第2優先領域のうちの少なくとも一方(例えば第1優先領域)を記憶する優先領域情報記憶部を、位置情報記憶部161に代えてさらに備える。そして、最終判定処理部144は、位置検出処理部143で求めた前記被監視者Obの位置が前記一方(の優先領域)(この例では第1優先領域)に含まれるか否かを判定し、この判定の結果、前記被監視者Obの位置が前記一方に含まれる場合、前記一方に対応する検知結果(この例では第1検知結果)を選択し、この選択した前記検知結果に基づいて前記被監視者Obにおける前記所定の行動の有無を最終的に判定し、前記判定の結果、前記被監視者Obの位置が前記一方に含まれない場合、他方(この例では第2優先領域)に対応する検知結果(この例では第2検知結果)を選択し、この選択した前記検知結果に基づいて前記対象者における前記行動の有無を最終的に判定する。これによれば、位置検出処理部143で求めた被監視者(対象者)Obの位置と、これら記憶された第1配置位置P1(x1、y1)および第2配置位置P2(x2、y2)それぞれとの各距離を算出しなくて良いので、より簡単な情報処理で前記被監視者Obにおける前記所定の行動の有無を最終的に判定できる。
 また、上述の実施形態において、センサ装置SUのセンサ本体部SUaは、図2に破線で示すように、SU制御処理部14に機能的にオンオフ制御部145をさらに備えても良い。このオンオフ制御部145は、位置検出処理部143で求めた被監視者(対象者)Obの位置が、前記第1対象領域に予め設定された特定領域内である場合に、第2センサ部RUをオフ(スリープを含む)に制御し、位置検出処理部143で求めた被監視者Obの位置が前記特定領域外である場合に、第2センサ部RUをオン(前記スリープの解除を含む)に制御するものである。前記特定領域は、予め設定され、前記各種の所定のデータの1つとしてSU記憶部16に記憶される。前記特定領域は、例えば、前記第1対象領域の中央寄りの領域であって良く、また例えば、前記特定領域は、前記第1対象領域内に配置された寝具BDの所在領域である。より具体的には、オンオフ制御部145は、まず、位置検出処理部143で求めた被監視者Obの位置が前記特定領域内であるか否かを判定する。この判定の結果、被監視者Obの位置が前記特定領域内である場合には、オンオフ制御部145は、第2センサ部RUをオフするために、第2センサ部RUのオフを指示する命令(コマンド)を収容した通信信号(オフ制御通信信号)を第2センサ部RUへ送信する。第2センサ部RUは、このオフ制御通信信号を受信すると、RU制御処理部42によって自機をオフする。一方、前記判定の結果、被監視者Obの位置が前記特定領域外である場合には、オンオフ制御部145は、第2センサ部RUをオンするために、第2センサ部RUのオンを指示する命令(コマンド)を収容した通信信号(オン制御通信信号)を第2センサ部RUへ送信する。第2センサ部RUは、このオン制御通信信号を受信すると、RU制御処理部42によって自機をオンする。このようなセンサ装置SUは、被監視者(対象者)Obが前記特定領域内にいる場合には、センサ本体部SUaで前記被監視者Obにおける前記所定の行動の有無を検知できる。特に、前記特定領域が前記第1対象領域の中央よりの領域である場合には、センサ本体部SUaでより精度良く検知できる。また、前記特定領域が寝具BDの所在領域である場合には、前記被監視者Obをセンサ本体部SUaによって効果的に監視するためにセンサ本体部SUaが寝具BDの上方に配置される蓋然性が高く、したがって、センサ本体部SUaでより精度良く検知できる。このため、第2センサ部RUをオフでき、第2センサ部RUをオフすることで、省電力化できる。
 また、上述の実施形態において、センサ装置SUは、撮像部11で生成した画像(動画)を、予め設定した第1期間分、SU記憶部16にさらに記憶し、前記第1イベント通知通信信号を送信する際に、さらに、第1および第2検知結果を生成した第1時点(タイミング)から、予め設定された所定の第2期間だけ遡った第2時点までの間の複数の画像(動画)をSU記憶部から取り出し、これら複数の画像(動画)および自機のセンサIDを収容した通信信号(イベント関連動画通知通信信号)を管理サーバ装置SVへ送信しても良い。前記第1期間は、前記第2期間以上の時間長である。前記第2期間は、適宜に設定された時間長であり、例えば、45秒や60秒や90秒や120秒等である。管理サーバ装置SVは、このイベント関連動画通知通信信号を受信すると、これに収容された複数の画像(動画)をセンサIDに対応付けて記憶(記録)する。これによれば、イベントが生じた際の様子が管理サーバ装置SVに記憶(記録)され、イベントの通知を受けたユーザは、管理サーバ装置SVから前記複数の画像(動画)を取り出すことで、イベントが生じた際の様子を確認できる。なお、この場合において、前記イベント関連動画通知通信信号は、前記イベントが前記行動(上述の実施形態では転倒)の有りである場合のみ送信されても良い。さらに、前記イベント関連動画通知通信信号は、前記イベントが前記行動(上述の実施形態では転倒)の有りである場合であって、被監視者Obの位置が撮像部11の視野内である場合のみ送信されても良い。このように送信条件を限定することで、センサ装置SUの処理の負担を低減でき、通信トラフィックを低減できる。また、この場合において、SU記憶部SUは、前記第2期間における前記複数の画像(動画)を記憶する記憶容量を持つリングバッファを備えても良い。このようなリングバッファを備えることによって、リングバッファは、自動的に、前記第1時点から前記第2時点までの複数の画像(動画)を記憶しているので、センサ装置SUは、リングバッファに記憶されている複数の画像(動画)を前記イベント関連動画通知通信信号に収容すればよいので、SU記憶部16から前記イベント関連動画通知通信信号に収容する複数の画像(動画)を選択する処理が不要となる。
 また、上述の実施形態において、最終判定処理部144は、被監視者(対象者)Obの位置に基づいて入床中であるか否かを判定し、入床中である場合には、第2検知結果が選択されてこの第2検知結果が前記行動有り(本実施形態では転倒有り)でも、明らかな誤報であるから、前記行動無し(または入床中)と最終的に判定しても良い。入床中であるか否かの判定は、例えば、被監視者Obの位置がSU記憶部16に記憶された寝具BDの所在領域内か否かによって実施される。被監視者Obの位置が寝具BDの所在領域内である場合には、最終判定処理部144は、入床中であると判定し、被監視者Obの位置が寝具BDの所在領域内ではない場合(すなわち、被監視者Obの位置が寝具BDの所在領域の外側である場合)には、最終判定処理部144は、入床中ではないと判定する。
 本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。
 一態様にかかる行動検知装置は、所定の第1対象領域を上方から撮像することによって生成された画像に基づいて対象者における所定の行動の有無を検知する第1センサ部と、前記第1対象領域と異なる領域を含む所定の第2対象領域に、所定波長の送信波を上方から送信することによって得られた前記送信波の反射波に基づいて前記対象者における前記行動の有無を検知する第2センサ部と、前記第1センサ部の第1検知結果と前記第2センサ部の第2検知結果とに基づいて前記対象者における前記行動の有無を最終的に判定する最終判定部とを備える。好ましくは、上述の行動検知装置において、前記第2センサ部は、複数であり、前記最終判定部は、前記第1センサ部の第1検知結果と前記複数の第2センサ部それぞれの複数の第2検知結果とに基づいて前記対象者における前記行動の有無を最終的に判定する。好ましくは、上述の行動検知装置において、前記第1対象領域と前記第2対象領域とは、互いに重複する重複領域を含む。好ましくは、上述の行動検知装置において、前記第1対象領域と前記第2対象領域とは、互いに重複する重複領域を含まないように、互いに接している。
 このような行動検知装置は、第1センサ部に加えて第2センサ部を備え、第1および第2センサ部それぞれの第1および第2検知結果に基づいて前記対象者における前記行動の有無を最終的に判定するので、第2センサ部によって、第1センサ部の検知精度を補償でき、第1センサ部の死角をカバーできる。したがって、前記行動検知装置は、前記対象者における所定の行動を検知する際の検知精度をより向上できる。
 他の一態様では、上述の行動検知装置において、対象者の位置を求める第3センサ部をさらに備え、前記最終判定部は、前記第3センサ部で求めた前記対象者の位置に基づいて前記第1センサ部の第1検知結果および前記第2センサ部の第2検知結果のうちのいずれか一方を選択し、前記選択した一方に基づいて前記対象者における前記行動の有無を最終的に判定する。好ましくは、上述の行動検知装置において、前記第1センサ部は、さらに、前記画像に基づいて前記対象者の位置を求め、前記第3センサ部となる(前記第3センサ部として機能する)。好ましくは、上述の行動検知装置において、前記第1センサ部の第1配置位置、および、前記第2センサ部の第2配置位置を記憶する位置情報記憶部をさらに備え、前記最終判定部は、前記第3センサ部で求めた前記対象者の位置と前記位置情報記憶部に記憶された第1および第2配置位置それぞれとを比較し、この比較の結果、前記第3センサ部で求めた前記対象者の位置が第2配置位置より第1配置位置に近い場合、前記第1センサ部の第1検知結果を選択し、この選択した前記第1検知結果に基づいて前記対象者における前記行動の有無を最終的に判定し、前記比較の結果、前記第3センサ部で求めた前記対象者の位置が第1配置位置より第2配置位置に近い場合、前記第2センサ部の第2検知結果を選択し、この選択した前記第2検知結果に基づいて前記対象者における前記行動の有無を最終的に判定する。好ましくは、上述の行動検知装置において、前記第1対象領域を、前記第1センサ部の第1検知結果を優先する第1優先領域と、前記第2センサ部の第2検知結果を優先する第2優先領域とに切り分けて前記第1および第2優先領域のうちの少なくとも一方(例えば第1優先領域)を記憶する優先領域情報記憶部をさらに備え、前記最終判定部は、前記第3センサ部で求めた前記対象者の位置が前記一方(の優先領域)(この例では第1優先領域)に含まれるか否かを判定し、この判定の結果、前記第3センサ部で求めた前記対象者の位置が前記一方に含まれる場合、前記一方に対応する検知結果(この例では第1検知結果)を選択し、この選択した前記検知結果に基づいて前記対象者における前記行動の有無を最終的に判定し、前記判定の結果、前記第3センサ部で求めた前記対象者の位置が前記一方に含まれない場合、他方(この例では第2優先領域)に対応する検知結果(この例では第2検知結果)を選択し、この選択した前記検知結果に基づいて前記対象者における前記行動の有無を最終的に判定する。
 このような行動検知装置は、対象者の位置を求め、この対象者の位置に基づいて前記第1および第2検知結果のうちのいずれか一方を選択し、この選択した一方に基づいて前記対象者における行動の有無を最終的に判定する。対象者に対し距離的に相対的に近いセンサ部は、相対的に遠いセンサ部より確からしい検知結果を出力すると考えられる。上記行動検知装置は、前記対象者における行動の有無を最終的に判定する際に、前記対象者の位置を考慮するので、前記対象者における所定の行動を検知する際の検知精度をより向上できる。
 他の一態様では、これら上述の行動検知装置において、対象者の位置を求める第3センサ部と、前記第3センサ部で求めた対象者の位置が、前記第1対象領域に予め設定された特定領域内である場合に、前記第2センサ部をオフに制御するオフ制御部をさらに備える。好ましくは、上述の行動検知装置において、前記第3センサ部で求めた対象者の位置が前記特定領域外である場合に、前記第2センサ部をオンに制御するオン制御部をさらに備える。好ましくは、上述の行動検知装置において、前記特定領域は、前記第1対象領域の中央寄りの領域である。好ましくは、上述の行動検知装置において、前記特定領域は、前記第1対象領域内に配置された寝具の所在領域である。
 このような行動検知装置は、対象者が特定領域内にいる場合には、第1センサ部で前記対象者における前記所定の行動の有無を検知できる。特に、前記特定領域が前記第1対象領域の中央よりの領域である場合には、第1センサ部でより精度良く検知できる。また、前記特定領域が寝具の所在領域である場合には、対象者を第1センサ部によって効果的に監視するために第1センサ部が寝具の上方に配置される蓋然性が高く、したがって、第1センサ部でより精度良く検知できる。このため、第2センサ部をオフでき、第2センサ部をオフすることで、省電力化できる。
 他の一態様では、これら上述の行動検知装置において、前記送信波は、電磁波である。好ましくは、上述の行動検知装置において、前記電磁波は、マイクロ波である。
 このような行動検知装置は、第2センサ部の検知に電磁波を用いるので、例えば仕切りに使われた衝立やカーテン等を容易に透過でき、第1センサ部の死角や周辺部分を効果的にカバーできる。したがって、前記行動検知装置は、前記対象者における所定の行動を検知する際の検知精度をより向上できる。
 他の一態様では、これら上述の行動検知装置において、前記最終判定部が前記行動の有りと最終的に判定した場合、前記行動の検知を外部へ通知する通知部をさらに備える。好ましくは、上述の行動検知装置において、前記通知部は、前記行動の検知を、ネットワークを介して端末装置へ通知する。
 このような行動検知装置は、通知部を備えるので、例えば監視者等のユーザは、対象者から離れた所からでも、対象者における所定の行動を認識できる。
 他の一態様にかかる行動検知方法は、所定の第1対象領域を上方から撮像することによって生成された画像に基づいて対象者における所定の行動の有無を検知する第1検知工程と、前記第1対象領域と異なる領域を含む所定の第2対象領域に、所定波長の送信波を上方から送信することによって得られた前記送信波の反射波に基づいて前記対象者における前記行動の有無を検知する第2検知工程と、前記第1検知工程の第1検知結果と前記第2検知工程の第2検知結果とに基づいて前記対象者における前記行動の有無を最終的に判定する最終判定工程とを備える。
 このような行動検知方法は、第1検知工程に加えて第2検知工程を備え、第1および第2検知工程それぞれの第1および第2検知結果に基づいて前記対象者における前記行動の有無を最終的に判定するので、第2検知工程によって、画像に基づく第1検知工程の検知精度を補償でき、画像の死角をカバーできる。したがって、前記行動検知方法は、前記対象者における所定の行動を検知する際の検知精度をより向上できる。
 他の一態様にかかる被監視者監視支援システムは、監視対象である被監視者に対応して設けられ、前記被監視者に関わる所定のイベントを検知するセンサ装置、前記センサ装置と通信可能に接続され、前記センサ装置で検知されて前記センサ装置から受信したイベントを管理する中央処理装置、および、前記中央処理装置と通信可能に接続され前記中央処理装置を介して前記センサ装置で検知されたイベントの通知を受ける端末装置を備え、前記被監視者を監視するための被監視者監視支援システムであって、前記センサ装置は、前記被監視者を前記対象者とし、前記被監視者に関わる所定のイベントに前記対象者における所定の行動を含み、これら上述のいずれかの行動検知装置を備える。
 これによれば、これら上述のいずれかの行動検知装置を備える被監視者監視支援システムが提供できる。上記被監視者監視支援システムは、これら上述のいずれかの行動検知装置を備えるので、前記被監視者に関わる所定のイベントの一つとしての、前記対象者における所定の行動を検知する際の検知精度をより向上できる。
 他の一態様では、上述の被監視者監視支援システムにおいて、前記センサ装置は、前記第1センサ部で生成した画像を記憶する画像情報記憶部と、前記第1センサ部が前記行動の有りと判定した場合に、前記判定の時点から所定の時間だけ遡った期間に対応する、前記画像情報記憶部に記憶された画像を前記管理サーバ装置へ送信し、前記第2センサ部が前記行動の有りと判定した場合に、前記判定の時点から前記所定の時間だけ遡った前記期間に対応する、前記画像情報記憶部に記憶された画像を前記管理サーバ装置へ送信する画像送信処理部とをさらに備える。好ましくは、上述の被監視者監視支援システムにおいて、前記画像情報記憶部は、前記期間分の画像を記憶する記憶容量以上の記憶容量を持つリングバッファである。好ましくは、上述の被監視者監視支援システムにおいて、前記画像情報記憶部は、前記期間分の画像を記憶する記憶容量を持つリングバッファである。
 このような被監視者監視支援システムは、前記第1センサ部が前記行動の有りと判定した時点から所定の時間だけ遡った期間に対応する複数の画像(動画)や、前記第2センサ部が前記行動の有りと判定した時点から前記所定の時間だけ遡った前記期間に対応する複数の画像(動画)を前記管理サーバ装置に保存できるので、第1センサ部の第1検知結果や第2センサ部の第2検知結果を、画像(動画)から検証できる。
 この出願は、2017年4月6日に出願された日本国特許出願特願2017-075909を基礎とするものであり、その内容は、本願に含まれるものである。
 本発明の実施形態が詳細に図示され、かつ、説明されたが、それは単なる図例及び実例であって限定ではない。本発明の範囲は、添付されたクレームの文言によって解釈されるべきである。
 本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
 本発明によれば、対象者における所定の行動を検知する行動検知装置および行動検知方法、ならびに、前記行動検知装置を用いた被監視者監視支援システムが提供できる。
 

Claims (8)

  1.  所定の第1対象領域を上方から撮像することによって生成された画像に基づいて対象者における所定の行動の有無を検知する第1センサ部と、
     前記第1対象領域と異なる領域を含む所定の第2対象領域に、所定波長の送信波を上方から送信することによって得られた前記送信波の反射波に基づいて前記対象者における前記行動の有無を検知する第2センサ部と、
     前記第1センサ部の第1検知結果と前記第2センサ部の第2検知結果とに基づいて前記対象者における前記行動の有無を最終的に判定する最終判定部とを備える、
     行動検知装置。
  2.  対象者の位置を求める第3センサ部をさらに備え、
     前記最終判定部は、前記第3センサ部で求めた前記対象者の位置に基づいて前記第1センサ部の第1検知結果および前記第2センサ部の第2検知結果のうちのいずれか一方を選択し、前記選択した一方に基づいて前記対象者における前記行動の有無を最終的に判定する、
     請求項1に記載の行動検知装置。
  3.  対象者の位置を求める第3センサ部と、
     前記第3センサ部で求めた対象者の位置が、前記第1対象領域に予め設定された特定領域内である場合に、前記第2センサ部をオフに制御するオフ制御部をさらに備える、
     請求項1または請求項2に記載の行動検知装置。
  4.  前記送信波は、電磁波である、
     請求項1ないし請求項3のいずれか1項に記載の行動検知装置。
  5.  前記最終判定部が前記行動の有りと最終的に判定した場合、前記行動の検知を外部へ通知する通知部をさらに備える、
     請求項1ないし請求項4のいずれか1項に記載の行動検知装置。
  6.  所定の第1対象領域を上方から撮像することによって生成された画像に基づいて対象者における所定の行動の有無を検知する第1検知工程と、
     前記第1対象領域と異なる領域を含む所定の第2対象領域に、所定波長の送信波を上方から送信することによって得られた前記送信波の反射波に基づいて前記対象者における前記行動の有無を検知する第2検知工程と、
     前記第1検知工程の第1検知結果と前記第2検知工程の第2検知結果とに基づいて前記対象者における前記行動の有無を最終的に判定する最終判定工程とを備える、
     行動検知方法。
  7.  監視対象である被監視者に対応して設けられ、前記被監視者に関わる所定のイベントを検知するセンサ装置、前記センサ装置と通信可能に接続され、前記センサ装置で検知されて前記センサ装置から受信したイベントを管理する中央処理装置、および、前記中央処理装置と通信可能に接続され前記中央処理装置を介して前記センサ装置で検知されたイベントの通知を受ける端末装置を備え、前記被監視者を監視するための被監視者監視支援システムであって、
     前記センサ装置は、前記被監視者を前記対象者とし、前記被監視者に関わる所定のイベントに前記対象者における所定の行動を含み、請求項1ないし請求項5のいずれか1項に記載の行動検知装置を備える、
     被監視者監視支援システム。
  8.  前記センサ装置は、前記第1センサ部で生成した画像を記憶する画像情報記憶部と、
     前記第1センサ部が前記行動の有りと判定した場合に、前記判定の時点から所定の時間だけ遡った期間に対応する、前記画像情報記憶部に記憶された画像を前記管理サーバ装置へ送信し、前記第2センサ部が前記行動の有りと判定した場合に、前記判定の時点から前記所定の時間だけ遡った前記期間に対応する、前記画像情報記憶部に記憶された画像を前記管理サーバ装置へ送信する画像送信処理部とをさらに備える、
     請求項7に記載の被監視者監視支援システム。
     
PCT/JP2018/006492 2017-04-06 2018-02-22 行動検知装置および行動検知方法ならびに被監視者監視支援システム WO2018186042A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019511089A JP7370857B2 (ja) 2017-04-06 2018-02-22 行動検知装置および行動検知方法ならびに被監視者監視支援システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-075909 2017-04-06
JP2017075909 2017-04-06

Publications (1)

Publication Number Publication Date
WO2018186042A1 true WO2018186042A1 (ja) 2018-10-11

Family

ID=63712576

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/006492 WO2018186042A1 (ja) 2017-04-06 2018-02-22 行動検知装置および行動検知方法ならびに被監視者監視支援システム

Country Status (2)

Country Link
JP (1) JP7370857B2 (ja)
WO (1) WO2018186042A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020100461A1 (ja) * 2018-11-15 2020-05-22 コニカミノルタ株式会社 被監視者監視支援システムのセンサ装置、監視画像保存方法および被監視者監視支援システム
TWI728640B (zh) * 2020-01-03 2021-05-21 昇雷科技股份有限公司 生物體之姿態感測方法
CN114424263A (zh) * 2020-03-25 2022-04-29 株式会社日立制作所 行为识别服务器和行为识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011243085A (ja) * 2010-05-20 2011-12-01 Midori Anzen Co Ltd 移動者の転倒監視システム
JP2014080769A (ja) * 2012-10-16 2014-05-08 Toli Corp 床部材及び床部材を用いた見守り支援システム
WO2017022435A1 (ja) * 2015-08-04 2017-02-09 コニカミノルタ株式会社 画像認識システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6258581B2 (ja) 2012-11-26 2018-01-10 パラマウントベッド株式会社 見守り支援装置
JP2014144202A (ja) 2013-01-30 2014-08-14 Toto Ltd 圧送式トイレ装置
JP6361394B2 (ja) * 2014-09-16 2018-07-25 沖電気工業株式会社 状態判定装置及びプログラム
JP6874679B2 (ja) 2015-05-27 2021-05-19 コニカミノルタ株式会社 監視装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011243085A (ja) * 2010-05-20 2011-12-01 Midori Anzen Co Ltd 移動者の転倒監視システム
JP2014080769A (ja) * 2012-10-16 2014-05-08 Toli Corp 床部材及び床部材を用いた見守り支援システム
WO2017022435A1 (ja) * 2015-08-04 2017-02-09 コニカミノルタ株式会社 画像認識システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020100461A1 (ja) * 2018-11-15 2020-05-22 コニカミノルタ株式会社 被監視者監視支援システムのセンサ装置、監視画像保存方法および被監視者監視支援システム
JP7491219B2 (ja) 2018-11-15 2024-05-28 コニカミノルタ株式会社 被監視者監視支援システムのセンサ装置、監視画像保存方法および被監視者監視支援システム
TWI728640B (zh) * 2020-01-03 2021-05-21 昇雷科技股份有限公司 生物體之姿態感測方法
CN114424263A (zh) * 2020-03-25 2022-04-29 株式会社日立制作所 行为识别服务器和行为识别方法

Also Published As

Publication number Publication date
JPWO2018186042A1 (ja) 2020-02-13
JP7370857B2 (ja) 2023-10-30

Similar Documents

Publication Publication Date Title
WO2018186042A1 (ja) 行動検知装置および行動検知方法ならびに被監視者監視支援システム
WO2017209094A1 (ja) 見守りシステム
JP6244201B2 (ja) ナースコールシステム
JP2012027787A5 (ja)
JP2012027787A (ja) 安否確認システム
WO2017026309A1 (ja) センサ装置及び介護支援システム
JP6504255B2 (ja) 介護支援システム及び介護支援方法
WO2019031012A1 (ja) 行動検知装置および該方法ならびに被監視者監視支援システム
JP6673382B2 (ja) 端末装置、プログラムおよび方法
JP2021197000A (ja) コンピューターによって実行される方法、プログラム、監視装置、および監視システム
JP6135832B1 (ja) 被監視者監視システム、被監視者監視システムの作動方法および被監視者監視システムの中央処理装置
WO2020100461A1 (ja) 被監視者監視支援システムのセンサ装置、監視画像保存方法および被監視者監視支援システム
JP6804510B2 (ja) 検知システムおよび検知システムの表示方法
JP7259569B2 (ja) 通知装置、それを備えるシステム、方法、およびプログラム
WO2018230103A1 (ja) 被監視者監視装置および該方法ならびに被監視者監視支援システム
WO2019073735A1 (ja) 被監視者監視支援システムおよび被監視者監視支援方法
WO2019031010A1 (ja) 睡眠状態検出装置および該方法ならびに被監視者監視支援システム
JP7234931B2 (ja) 被監視者監視支援システムのセンサ装置、該センサ装置の処理方法および被監視者監視支援システム
JP6245415B1 (ja) 端末装置および端末装置の動作制御方法ならびに被監視者監視システム
JP6737080B2 (ja) 被監視者監視システム及び被監視者監視方法
WO2019123740A1 (ja) 被監視者監視支援システムの中央管理装置、該方法および前記被監視者監視支援システム
JP2019212172A (ja) 被監視者監視支援システムおよび該方法ならびに中央管理装置
WO2019235068A1 (ja) 被監視者監視支援装置、被監視者監視支援方法、被監視者監視支援システムおよび被監視者監視支援サーバ装置
WO2019031011A1 (ja) 睡眠状態検出装置および該方法ならびに被監視者監視支援システム
JP2023107006A (ja) ナースコールシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18780893

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019511089

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18780893

Country of ref document: EP

Kind code of ref document: A1