WO2017146012A1 - 被監視者監視装置、該方法および該システム - Google Patents

被監視者監視装置、該方法および該システム Download PDF

Info

Publication number
WO2017146012A1
WO2017146012A1 PCT/JP2017/006248 JP2017006248W WO2017146012A1 WO 2017146012 A1 WO2017146012 A1 WO 2017146012A1 JP 2017006248 W JP2017006248 W JP 2017006248W WO 2017146012 A1 WO2017146012 A1 WO 2017146012A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving image
unit
image
processing unit
monitored person
Prior art date
Application number
PCT/JP2017/006248
Other languages
English (en)
French (fr)
Inventor
雅史 西角
保理江 大作
小柳 仁
藤原 浩次
篤広 野田
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to US16/078,091 priority Critical patent/US20190046080A1/en
Priority to CN201780012359.2A priority patent/CN108701400A/zh
Priority to JP2018501684A priority patent/JP6680352B2/ja
Priority to EP17756450.7A priority patent/EP3422316A4/en
Publication of WO2017146012A1 publication Critical patent/WO2017146012A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665Details related to the storage of video surveillance data
    • G08B13/19669Event triggers storage or change of storage policy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1115Monitoring leaving of a patient support, e.g. a bed or a wheelchair
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7285Specific aspects of physiological measurement analysis for synchronising or triggering a physiological measurement or image acquisition with a physiological event or waveform, e.g. an ECG signal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61GTRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G12/00Accommodation for nursing, e.g. in hospitals, not covered by groups A61G1/00 - A61G11/00, e.g. trolleys for transport of medicaments or food; Prescription lists
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/08Elderly
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04Constructional details of apparatus
    • A61B2560/0475Special features of memory means, e.g. removable memory cards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection

Definitions

  • the present invention relates to a monitored person monitoring apparatus, a monitored person monitoring method, and a monitored person monitoring system for monitoring a monitored person to be monitored.
  • Japan is an aging society, more specifically the ratio of population over 65 years old to the total population due to the improvement of living standards accompanying the post-war high economic growth, improvement of sanitary environment and improvement of medical standards, etc. It is a super-aging society with an aging rate exceeding 21%.
  • the elderly population aged 65 and over was about 25.56 million compared to the total population of 127.65 million, whereas in 2020, the elderly population was about 124.11 million.
  • the population is predicted to be about 34.56 million.
  • nurses who need nursing or nursing care due to illness, injury, elderly age, etc., or those who need nursing care are those who need nursing in a normal society that is not an aging society.
  • monitored person monitoring techniques for monitoring a monitored person to be monitored, such as a care recipient, have been researched and developed.
  • the nurse call system disclosed in Patent Document 1 is a nurse call slave unit that is installed in a bed and a patient calls a nurse, and a nurse call slave unit that is installed in a nurse station and responds to a call by the nurse call slave unit.
  • a nurse call system having a nurse call parent device, a camera for imaging a patient on a bed from above the bed, and a state in which the patient wakes up from a captured image of the camera and a state in which the patient is separated from the bed State judging means for judging the occurrence of at least one of them and outputting a caution state occurrence signal, and the nurse call master unit has a notifying means for performing a notification operation upon receiving the caution state occurrence signal.
  • the nurse call system transmits a captured image of the camera to the portable terminal upon receiving the attention state generation signal and a portable terminal carried by a nurse to respond to a call from the nurse call slave. Communication control means.
  • a monitor such as a nurse can visually grasp the status of the monitored person such as a nurse requiring care. Because it is convenient. By the way, among the monitored persons, there are persons who cannot act so much, those who are bedridden, and the like, and thus prevention of theft or the like is desired. There is also a desire to record the state of care and assistance for the monitored person. In the nurse call system disclosed in Patent Document 1, since a video can be taken with a camera, this video can be recorded. However, simply recording video images is not desirable because a large storage capacity is required, and privacy of the monitored person is not taken into consideration.
  • the present invention is an invention made in view of the above-described circumstances, and its purpose is to monitor a person who can suppress theft and the like and record the state of care or assistance while considering the privacy of the person to be monitored.
  • a monitoring apparatus, a monitored person monitoring method, and a monitored person monitoring system are provided.
  • a monitored person monitoring apparatus, a monitored person monitoring method, and a monitored person monitoring system detect a predetermined event related to a monitored person, notify the event, and acquire an image including at least a moving image. Then, based on the acquired image, it is determined whether or not a plurality of people are shown in the image, and when it is determined that a plurality of people are shown in the image, storage of the acquired moving image is started The moving image is stored in the moving image storage unit.
  • FIG. 1 It is a figure which shows the structure of the to-be-monitored person monitoring system in embodiment. It is a figure which shows the structure of the sensor apparatus in the to-be-monitored person monitoring system shown in FIG. It is a figure which shows the structure of the management server apparatus in the to-be-monitored person monitoring system shown in FIG. It is a figure which shows the structure of the server side monitoring information table memorize
  • FIG. 1 It is a figure which shows the structure of the portable terminal device in the to-be-monitored person monitoring system shown in FIG. It is a flowchart which shows operation
  • the monitored person monitoring system in the embodiment monitors a monitored person (watched person) Ob that is a monitored object (watched object) to be monitored (watched), and communicates with the terminal device and the terminal device. And a monitored person monitoring device connected to each other.
  • the monitored person monitoring apparatus in the monitored person monitoring system is a monitored person monitoring apparatus that detects a predetermined event related to the monitored person and notifies the terminal device of the event, and includes at least a moving image.
  • An image acquisition unit that acquires the image
  • a moving image storage unit that stores the moving image acquired by the image acquisition unit, and whether or not a plurality of people are included in the image based on the image acquired by the image acquisition unit
  • the moving image acquired by the image acquisition unit is started to be stored and the moving image is converted into the moving image.
  • a moving image storage processing unit stored in the storage unit.
  • Such a monitored person monitoring device may be integrally configured by a single device, but in this embodiment, the monitored person monitoring device can communicate with the sensor device, and each of the sensor device and the terminal device. And a management server device connected to each other, the two types of devices are configured separately.
  • the moving image storage processing unit distributes the moving image acquired by the image acquisition unit when the multiple person determination unit determines that a plurality of people are reflected in the image.
  • a second moving image processing unit that stores the moving image distributed by the first moving image processing unit in the moving image storage unit.
  • the sensor device includes the image acquisition unit, the multiple-person determination unit, and the first moving image processing unit, and the first moving image processing unit distributes the moving image to a management server device, and the management server device Comprises the moving image storage unit and the second moving image processing unit.
  • the moving image storage processing unit ends the storage of the moving image after a predetermined time has elapsed after starting the storage of the moving image.
  • the first moving image processing unit ends the moving image distribution after a predetermined time has elapsed after starting the moving image distribution.
  • the said terminal device may be one type of apparatus, in this embodiment, the said terminal device is two types of apparatuses, a fixed terminal device and a portable terminal device.
  • the main difference between these fixed terminal devices and portable terminal devices is that the fixed terminal device is fixedly operated, while the portable terminal device is operated by being carried by a supervisor (user) such as a nurse or a caregiver. Since the fixed terminal device and the mobile terminal device are substantially the same, in the following embodiments, the mobile terminal device will be mainly described.
  • FIG. 1 is a diagram illustrating a configuration of a monitored person monitoring system according to the embodiment.
  • FIG. 2 is a diagram illustrating a configuration of a sensor device in the monitored person monitoring system according to the embodiment.
  • FIG. 3 is a diagram illustrating a configuration of the management server device in the monitored person monitoring system according to the embodiment.
  • 4 is a diagram showing a configuration of a server-side monitoring information table stored in the management server device shown in FIG.
  • FIG. 5 is a diagram showing a configuration of an inter-device information table stored in the management server device shown in FIG.
  • FIG. 5A shows the configuration of the notification destination correspondence information table in the inter-device information table
  • FIG. 5B shows the configuration of the communication address correspondence information table in the inter-device information table.
  • FIG. 6 is a diagram showing a configuration of a server-side sensor information table stored in the management server device shown in FIG.
  • FIG. 7 is a diagram illustrating a configuration of the mobile terminal device in the monitored person monitoring system according to the
  • the monitored person monitoring system MS in the embodiment includes, for example, as shown in FIG. 1, one or a plurality of sensor devices SU (SU-1 to SU-4), a management server device SV, A fixed terminal device SP, one or a plurality of portable terminal devices TA (TA-1, TA-2), and a private branch exchange (PBX) CX, which are wired or wireless, LAN (Local) It is connected to be communicable via a network (network, communication line) NW such as Area Network.
  • NW network, communication line
  • the network NW may be provided with repeaters such as repeaters, bridges, and routers that relay communication signals.
  • FIG. 1 one or a plurality of sensor devices SU (SU-1 to SU-4), a management server device SV, A fixed terminal device SP, one or a plurality of portable terminal devices TA (TA-1, TA-2), and a private branch exchange (PBX) CX, which are wired or wireless, LAN (Local) It is connected to be communicable via
  • the plurality of sensor devices SU-1 to SU-4, the management server device SV, the fixed terminal device SP, the plurality of portable terminal devices TA-1, TA-2, and the private branch exchange CX include an L2 switch.
  • a wired / wireless LAN for example, a LAN in accordance with the IEEE 802.11 standard
  • NW including the LS and the access point AP.
  • the plurality of sensor devices SU-1 to SU-4, the management server device SV, the fixed terminal device SP, and the private branch exchange CX are connected to the line concentrator LS, and the plurality of portable terminal devices TA-1, TA-2. Is connected to the line concentrator LS via the access point AP.
  • the network NW constitutes a so-called intranet by using Internet protocol groups such as TCP (Transmission control protocol) and IP (Internet protocol).
  • the monitored person monitoring system MS is arranged at an appropriate place according to the monitored person Ob.
  • the monitored person (person to be watched) Ob is, for example, a person who needs nursing due to illness or injury, a person who needs care due to a decrease in physical ability, a single person living alone, or the like.
  • the monitored person Ob may be a person who needs the detection when a predetermined inconvenient event such as an abnormal state occurs in the person. preferable.
  • the monitored person monitoring system MS is suitably arranged in a building such as a hospital, a welfare facility for the elderly, and a dwelling unit according to the type of the monitored person Ob.
  • the monitored person monitoring system MS is disposed in a building of a care facility that includes a plurality of rooms RM in which a plurality of monitored persons Ob live and a plurality of rooms such as a nurse station.
  • the sensor device SU includes a communication function that communicates with other devices SV, SP, TA via the network NW, and is a device that notifies the management server device SV of a predetermined event related to the monitored person Ob. is there.
  • the predetermined event is preferably a predetermined event that needs to be dealt with.
  • the predetermined event is a predetermined action and a nurse call set in advance in the monitored person Ob.
  • the sensor device SU detects a predetermined action in the monitored person Ob, notifies (transmits) the detection result to the management server device SV as an example of the predetermined event, and accepts a nurse call.
  • the nurse call is notified (transmitted) to the management server device SV as another example of the predetermined event, and a voice call is performed with the terminal devices SP and TA, and an image including a moving image is generated to generate the terminal device SP.
  • the sensor device SU determines whether or not a plurality of people are captured in the image to be captured, and if it is determined that a plurality of people are captured in the image to be captured as a result of the determination, In order to record (store) the moving image, distribution of the moving image is started for a predetermined time, and when it is not determined that a plurality of people are captured in the image to be captured, the moving image is not distributed.
  • such a sensor device SU includes an imaging unit 11, a sensor side sound input / output unit (SU sound input / output unit) 12, a nurse call reception operation unit 13, and a sensor side control process.
  • Unit (SU control processing unit) 14 sensor side communication interface unit (SU communication IF unit) 15, and sensor side storage unit (SU storage unit) 16.
  • the imaging unit 11 is an apparatus that is connected to the SU control processing unit 14 and generates an image (image data) under the control of the SU control processing unit 14.
  • the image includes a still image (still image data) and a moving image (moving image data).
  • the imaging unit 11 is arranged so as to be able to monitor a space (location space, in the example shown in FIG. 1, a room (room) RM) where the monitored person Ob to be monitored is planned to be located. Then, the location space is imaged from above, an image (image data) overlooking the imaging target is generated, and the image (target image) of the imaging target is output to the SU control processing unit 14.
  • the imaging unit 11 is positioned when the head of the monitored person Ob is located in the bedding (for example, a bed) on which the monitored person Ob is lying. It arrange
  • the sensor device SU uses the imaging unit 11 to acquire an image of the monitored person Ob taken from above the monitored person Ob, preferably an image taken from directly above the planned head position.
  • Such an imaging unit 11 may be a device that generates an image of visible light, but in the present embodiment, it is a device that generates an infrared image so that the monitored person Ob can be monitored even in a relatively dark place.
  • the imaging unit 11 has an imaging optical system that forms an infrared optical image of an imaging target on a predetermined imaging surface, and a light receiving surface that matches the imaging surface.
  • An area image sensor that is arranged and converts an infrared optical image in the imaging target into an electrical signal, and data representing an infrared image in the imaging target by performing image processing on the output of the area image sensor It is a digital infrared camera including an image processing unit that generates image data.
  • the imaging optical system of the imaging unit 11 is preferably a wide-angle optical system (so-called wide-angle lens (including a fisheye lens)) having an angle of view that can image the entire living room RM in which the imaging unit 11 is disposed. .
  • the SU sound input / output unit 12 is a circuit that inputs and outputs sound. That is, the SU sound input / output unit 12 is a circuit that is connected to the SU control processing unit 14 and generates and outputs a sound corresponding to an electrical signal representing sound according to the control of the SU control processing unit 14. It is a circuit for acquiring the sound of and inputting into the sensor apparatus SU.
  • the SU sound input / output unit 12 includes, for example, a speaker that converts a sound electrical signal (sound data) into a sound mechanical vibration signal (acoustic signal), and a microphone that converts a sound mechanical vibration signal in the audible region into an electrical signal. And so on.
  • the SU sound input / output unit 12 outputs an electric signal representing an external sound to the SU control processing unit 14, and converts the electric signal input from the SU control processing unit 14 into a sound mechanical vibration signal and outputs the sound. .
  • the nurse call reception operation unit 13 is connected to the SU control processing unit 14 and is a switch circuit such as a push button switch for inputting the nurse call to the sensor device SU.
  • the nurse call reception operation unit 13 may be connected to the SU control processing unit 14 by wire, or may be connected to the SU control processing unit 14 by short-range wireless communication such as Bluetooth (registered trademark) standard.
  • the SU communication IF unit 15 is a communication circuit that is connected to the SU control processing unit 14 and performs communication according to the control of the SU control processing unit 14.
  • the SU communication IF unit 15 generates a communication signal containing the data to be transferred input from the SU control processing unit 14 according to the communication protocol used in the network NW of the monitored person monitoring system MS, and the generated communication The signal is transmitted to other devices SV, SP, TA via the network NW.
  • the SU communication IF unit 15 receives communication signals from other devices SV, SP, and TA via the network NW, extracts data from the received communication signals, and the SU control processing unit 14 can process the extracted data.
  • the data is converted into data in a proper format and output to the SU control processing unit 14.
  • the SU communication IF unit 15 includes, for example, a communication interface circuit that complies with the IEEE 802.11 standard or the like.
  • the SU storage unit 16 is a circuit that is connected to the SU control processing unit 14 and stores various predetermined programs and various predetermined data under the control of the SU control processing unit 14.
  • Examples of the various predetermined programs include a SU control program that controls each unit of the sensor device SU according to the function of each unit, and a SU monitoring processing program that executes predetermined information processing related to monitoring of the monitored person Ob. And the like.
  • a predetermined action in the monitored person Ob is detected, and a detection result is notified to the predetermined terminal devices SP and TA via the management server device SV as an example of the predetermined event.
  • a nurse call processing program for making a voice call with the terminal devices SP and TA a SU streaming processing program for streaming the video generated by the imaging unit 11 to the terminal devices SP and TA that requested the video,
  • the SU storage unit 16 includes, for example, a ROM (Read Only Memory) that is a nonvolatile storage element, an EEPROM (Electrically Erasable Programmable Read Only Memory) that is a rewritable nonvolatile storage element, and the like.
  • the SU storage unit 16 includes a RAM (Random Access Memory) that serves as a working memory of the so-called SU control processing unit 14 that stores data generated during the execution of the predetermined program.
  • the SU control processing unit 14 controls each unit of the sensor device SU according to the function of each unit, and notifies the management server device SV of predetermined events (events) related to the monitored person Ob. It is a circuit for. More specifically, in the present embodiment, the SU control processing unit 14 detects a predetermined action in the monitored person Ob and notifies the management server device SV of the detection result as an example of the predetermined event (notification, The nurse call is received, the nurse call is notified (notified and transmitted) to the management server device SV as another example of the predetermined event, a voice call is performed between the terminal devices SP and TA, and a moving image is transmitted.
  • a predetermined event notification
  • the moving image is distributed to the terminal devices SP and TA, and the images are continuously transmitted to the management server device for determination of independence.
  • the SU control processing unit 14 determines whether or not a plurality of people are captured in the image to be imaged. If it is determined that a plurality of people are captured in the image to be captured as a result of this determination, In order to record (store) a moving image, distribution of the moving image is started and distributed to the management server device SV for a predetermined time. When it is not determined that a plurality of persons are captured in the image to be captured, the moving image is distributed. do not do.
  • the SU control processing unit 14 includes, for example, a CPU (Central Processing Unit) and its peripheral circuits.
  • the SU control processing unit 14 executes the control processing program so that the sensor side control unit (SU control unit) 141, the behavior detection processing unit 142, the nurse call processing unit 143, the sensor side streaming processing unit (SU streaming processing) Unit) 144, a multiple person determination unit 145, and a first image processing unit 146 (146a to 146e).
  • the SU control unit 141 controls each part of the sensor device SU according to the function of each part, and governs overall control of the sensor device SU.
  • the behavior detection processing unit 142 detects a predetermined behavior set in advance in the monitored person Ob and notifies the management server device SV of a detection result as an example of the predetermined event. More specifically, in the present embodiment, the predetermined action includes, for example, wake-up when the monitored person Ob occurred, leaving the monitored person Ob away from the bedding, falling down when the monitored person Ob fell from the bedding, And four actions of the fall where the monitored person Ob fell.
  • the behavior detection processing unit 142 detects the head of the monitored person Ob based on the target image captured by the imaging unit 11, and based on the temporal change in the size of the detected head of the monitored person Ob. Detects the monitored person's getting up, getting out of bed, falling and falling.
  • the first threshold value Th1 is a value for identifying the size of the head in the lying posture and the size of the head in the sitting posture in the region where the bedding BD is located.
  • the second threshold Th2 is a value for identifying whether or not the head is in the standing posture in the living room RM excluding the region where the bedding BD is located.
  • the third threshold Th3 is a value for identifying whether or not the head is in the lying position in the living room RM excluding the area where the bedding BD is located.
  • the behavior detection processing unit 142 extracts a moving body region as a person region of the monitored person Ob from the target image by, for example, the background difference method or the frame difference method. Next, the behavior detection processing unit 142 uses, for example, a circular or elliptical Hough transform from the extracted moving object region, for example, by pattern matching using a head model prepared in advance, or for example, for head detection.
  • the head region of the monitored person Ob is extracted by the neural network learned in step (b). And the action detection process part 142 detects awakening, getting out of bed, falling, and falling from the position and magnitude
  • the behavior detection processing unit determines that the position of the extracted head is within the region where the bedding BD is located, and the size of the extracted head is determined from the size of the lying posture by using the first threshold Th1.
  • the time changes to the size of the sitting posture it is determined that the user is getting up and the rising is detected.
  • the behavior detection processing unit 142 is a case where the position of the extracted head changes over time from the location of the bedding BD to the outside of the location of the bedding, and the size of the extracted head is the second size.
  • Th is changed from a certain size to the size of the standing posture by using the threshold Th2
  • the behavior detection processing unit 142 is a case where the position of the extracted head changes over time from the location where the bedding BD is located to the outside of the location where the bedding BD is located, and the size of the extracted head is the first size.
  • the behavior detection processing unit 142 uses the third threshold value Th3 when the extracted head position is in the room RM excluding the location area of the bedding BD and the extracted head size is the third threshold Th3.
  • the time changes from the size to the size of the recumbent posture it is determined that the vehicle has fallen, and the fall is detected.
  • the behavior detection processing unit 142 When the predetermined behavior is detected in this way, the behavior detection processing unit 142 notifies the event containing event information (event information) representing the content of the predetermined event (phenomenon) related to the monitored person Ob.
  • the first event notification communication signal is notified to the management server device SV by the SU communication IF unit 15. More specifically, the behavior detection processing unit 142 is a communication signal (first event notification communication signal) containing a sensor ID of the own device, event information indicating the content of the event, and a target image used for detection of the predetermined behavior. ) Is transmitted to the management server device SV via the SU communication IF unit 15.
  • the event information is one or more of getting up, getting out of bed, falling, falling, and nurse call (NC).
  • the behavior detection processing unit 142 detects the rising, leaving, falling, and One or more of the falls are accommodated in the first event notification communication signal as the event information.
  • the image may be at least one of a still image and a moving image.
  • a still image is notified, and the moving image is distributed in response to a user request.
  • a moving image may be distributed, a still image and a moving image may be transmitted, and the still image and the moving image may be displayed on the terminal devices SP and TA by screen division.
  • the nurse call processing unit 143 notifies the management server device SV of a first event notification communication signal accommodated as another example of the predetermined event when the nurse call reception operation unit 13 receives a nurse call.
  • a voice call is performed with the terminal devices SP and TA by using the SU sound input / output unit 12 or the like. More specifically, when the nurse call reception operation unit 13 is input and operated, the nurse call processing unit 143 transmits the first event notification communication signal containing the nurse call as the sensor ID of the own device and the event information as the SU communication.
  • the data is transmitted to the management server device SV via the IF unit 15.
  • the nurse call processing unit 143 uses the SU sound input / output unit 12 and the like to make a voice call with the terminal devices SP and TA by, for example, VoIP (Voice over Internet Protocol).
  • VoIP Voice over Internet Protocol
  • the SU streaming processing unit 144 sends the request to the fixed terminal device SP or the mobile terminal device TA that has made the request.
  • the moving image generated by the imaging unit 11 (for example, a live moving image) is distributed via the SU communication IF unit 15 by streaming reproduction.
  • the multiple person determination unit 145 determines whether or not a plurality of persons are shown in the image based on the image acquired by the imaging unit 11. More specifically, the multiple person determination unit 145 extracts a moving body region as a human region from the target image acquired by the imaging unit 11 by, for example, the background difference method or the frame difference method, and the extracted moving body regions are plural. By judging whether or not, it is judged whether or not a plurality of people are shown.
  • the multi-person determining unit 145 determines that a plurality of persons are reflected in the target image, and the extracted moving object regions When the number of areas is one or less, the multiple person determination unit 145 determines that multiple persons are not shown in the target image. Since a person's region is considered to be not less than a predetermined first size (first size, first area) and not more than a predetermined second size (second size, second area), a plurality of samples in advance are used.
  • Each of the first and second sizes is determined, and the multi-person determination unit 145 determines, among the extracted moving object regions, moving object regions that are not less than the first size and not more than the second size as human regions. good. That is, the multi-person determination unit 145 ignores the moving object area having the size smaller than the first size among the extracted moving object regions and does not count it as a person's area, and does not count the second size among the extracted moving object regions. The moving object area exceeding the limit is ignored and is not counted as a person area.
  • the first moving image processing unit 146 starts distribution of the moving image acquired by the imaging unit 11 to the management server device SV when the plural person determining unit 145 determines that a plurality of persons are included in the target image. It is. More specifically, the first moving image processing unit 146 stores a communication signal (moving image distribution communication signal) that stores the sensor ID of its own device, and further stores the moving images acquired by the imaging unit 11 for each predetermined number of frames. ) Are sequentially generated for a predetermined time, and each of the sequentially generated moving image distribution communication signals is transmitted to the management server device SV.
  • the last moving image distribution communication signal in each sequentially transmitted moving image distribution communication signal contains information (distribution end information) indicating the last distribution.
  • each moving image distribution communication signal when the management server device SV receives each moving image distribution communication signal, the management server device SV stores (records) the accommodated moving image in association with the sensor ID.
  • Each moving image distribution communication signal may contain an instruction (command) for storing (recording) the moving image in the management server device SV.
  • FIG. 1 shows four first to fourth sensor devices SU-1 to SU-4 as an example, and the first sensor device SU-1 is one of the monitored persons Ob.
  • the second sensor device SU-2 is arranged in a room RM-2 (not shown) of Mr. B Ob-2 who is one of the monitored persons Ob.
  • the third sensor device SU-3 is disposed in the room RM-3 (not shown) of Mr. C Ob-3, one of the monitored subjects Ob, and the fourth sensor device SU-4 It is arranged in the room RM-4 (not shown) of Mr. D Ob-4, one of the monitored persons Ob.
  • the management server device SV has a communication function for communicating with other devices SU, TA, SP via the network NW.
  • the management server device SV has information on monitoring of the monitored person Ob ( Monitoring information (in this embodiment, for example, the predetermined event (the type of the predetermined action detected by the sensor device SU or the nurse call received by the sensor device SU), the image (still image and moving image) of the monitored person Ob, and The time when the notification is received, etc.), the predetermined event is notified (re-notification, re-notification, transmission) to the predetermined terminal device SP, TA, and the client (the terminal device SP, TA, etc.
  • Monitoring information in this embodiment, for example, the predetermined event (the type of the predetermined action detected by the sensor device SU or the nurse call received by the sensor device SU), the image (still image and moving image) of the monitored person Ob, and The time when the notification is received, etc.)
  • the predetermined event is notified (re-notification, re-notification, transmission) to the
  • the management server device SV when the management server device SV receives a moving image distribution communication signal from the sensor device SU via the network NW, the management server device SV starts storing (recording) the moving image accommodated in the received moving image distribution communication signal. Then, the moving image is stored (recorded) in association with the sensor device SU (sensor ID, in other words, the monitored person Ob in the room RM in which the sensor device SU is disposed).
  • the management server device SV includes a server-side communication interface unit (SV communication IF unit) 21, a server-side control processing unit (SV control processing unit) 22, and a server-side storage unit. (SV storage unit) 23.
  • the SV communication IF unit 21 is a communication circuit that is connected to the SV control processing unit 22 and performs communication according to the control of the SV control processing unit 22.
  • the SV communication IF unit 21 includes, for example, a communication interface circuit that complies with the IEEE 802.11 standard or the like.
  • the SV storage unit 23 is a circuit that is connected to the SV control processing unit 22 and stores various predetermined programs and various predetermined data under the control of the SV control processing unit 22.
  • the various predetermined programs include an SV control program for controlling each part of the management server device SV according to the function of each part, and an SV monitoring process for executing predetermined information processing related to monitoring of the monitored person Ob.
  • a control processing program such as a second moving image processing program for storing a moving image distributed via the network NW by the first moving image processing unit 146 of the sensor device SU in a moving image storage unit 234 described later. .
  • the various predetermined data include a server identifier (server ID) for identifying the management server device SV and identifying the management server device SV, the monitoring information of the monitored person Ob, and the predetermined data. Necessary for executing each program such as inter-device information indicating information between devices SU, SP, TA such as event notification destination, sensor information related to sensor device SU, and moving image distributed from sensor device SU Data etc. are included.
  • the SV storage unit 23 includes a server-side monitoring information storage unit (SV monitoring information storage unit) 231, an inter-device information storage unit 232, and a server side.
  • a sensor information storage unit (SV sensor information storage unit) 234 and a moving image storage unit 234 are functionally provided.
  • the SV monitoring information storage unit 231 stores monitoring information of the monitored person Ob transmitted / received to / from each device SU, SP, TA. More specifically, in the SV monitoring information storage unit 231, in this embodiment, as the monitoring information, information stored in communication signals such as a first event notification communication signal and a later-described correspondence reception notification communication signal is stored. Based on this, the sensor ID, event information (event information, in this embodiment, getting up, getting out of the floor, falling, falling and nurse call), reception time, target image (still image and moving image), and whether or not to deal with are stored in association with each other.
  • event information event information, in this embodiment, getting up, getting out of the floor, falling, falling and nurse call
  • reception time target image (still image and moving image)
  • target image still image and moving image
  • this monitoring information is stored in the SV monitoring information storage unit 321 in a table format.
  • the server-side monitoring information table (SV monitoring information table) MT-SV for registering this monitoring information includes, for example, sensor IDs contained in communication signals received from the devices SU, SP, and TA as shown in FIG.
  • a corresponding field 2316 for registering the presence or absence of the corresponding reception to the event information comprises a record for each communication signal thus received (for each event).
  • still image data may be registered, and for example, a file name of still image data may be registered.
  • the terminal devices SP and TA accept that the event information contained in the received communication signal is willing to respond (corresponding, treating, or taking measures) (“corresponding”).
  • a flag (corresponding flag) indicating whether or not has been registered.
  • the correspondence field 2316 indicates that there is an intention (“corresponding”) to deal with event information (event information registered in the event field 2312) contained in the received communication signal.
  • the terminal device SP or TA indicates that the corresponding flag “1” means that it has been received by the devices SP and TA, or the intention to deal with the event information contained in the received communication signal (“corresponding”).
  • Corresponding flag “0” meaning that it is not accepted is registered. Note that by default, the correspondence field 2316 registers a correspondence flag “0” meaning “not accepted”.
  • the first event notification communication signal contains the detection time when the predetermined action is detected or the nurse call reception time when the nurse call is received, the detection time or the nurse is used instead of the reception time. The call reception time may be registered.
  • the inter-device information storage unit 232 indicates a notification destination (re-notification destination, re-notification destination, transmission destination) such as a first event notification communication signal transmitted from the sensor device SU as the inter-device information.
  • a notification destination re-notification destination, re-notification destination, transmission destination
  • the correspondence between the sensor ID that is the transmission source and the terminal ID that is the notification destination (re-notification destination), the ID of each device SU, SP, TA (sensor ID, terminal ID) and its A correspondence relationship (communication address correspondence relationship) and the like with a communication address are stored.
  • the terminal ID is a terminal identifier for identifying the terminal devices SP and TA and identifying the terminal devices SP and TA.
  • the notification destination correspondence information table AT for registering the notification destination correspondence relationship is registered in a transmission source field 2321 for registering the sensor ID of the transmission source sensor device SU and a transmission source field 2321 as shown in FIG. 5A, for example.
  • a destination terminal device SP for transmitting a communication signal notified from the sensor device SU corresponding to the sensor ID, and a notification destination field 2322 for registering the terminal ID of the TA, for each sensor ID (sensor device SU). Provide a record.
  • the communication address correspondence relationship table DT for registering the communication address correspondence relationship is registered in the terminal ID field 2323 for registering the terminal IDs of the terminal devices SP and TA and the terminal ID field 2323, for example, as shown in FIG. 5B. And a communication address field 2324 for registering the communication address of the terminal device SP and TA corresponding to the terminal ID, and a record for each terminal ID (terminal device SP and TA).
  • each of the sensor ID, the server ID, and the terminal ID may be, for example, a serial number made up of a predetermined symbol string, or may be a communication address (in this case, the communication address correspondence relationship can be omitted).
  • the SV sensor information storage unit 233 stores the sensor information.
  • the sensor information is information related to the sensor device SU, and is information in which the sensor ID of the sensor device SU and the monitored person name of the monitored person Ob are associated with each other.
  • the sensor information table ST-SV for registering sensor information includes, for example, a sensor ID field 2331 for registering a sensor ID and sensors registered in the sensor ID field 2331 as shown in FIG.
  • the monitored person name field 2333 for registering the monitored person name of the monitored person Ob) at the location of the sensor device SU having the sensor ID registered in the ID field 2331 and the sensor ID field 2331 are registered.
  • a remarks field 2334 for registering the remarks relating b, with a record for each sensor ID (i.e., sensor devices SU).
  • the moving image storage unit 234 stores the moving image distributed from the sensor device SU by the moving image distribution communication signal in the sensor ID of the sensor device SU that has distributed the moving image (the received moving image distribution communication signal). It is stored (recorded) in association with the sensor ID. More specifically, the moving image storage unit 234 stores the moving image with a file name, and stores the moving image file name in association with a sensor ID.
  • the SV control processing unit 22 controls each unit of the management server device SV according to the function of each unit, and receives monitoring notification about the monitored person Ob when receiving the notification of the predetermined event from the sensor device SU.
  • the predetermined event is notified (re-notification, re-notification, transmission) to the predetermined terminal device SP, TA, and the moving image is stored via the storage of the moving image received from the sensor device SU.
  • This is a circuit for providing data corresponding to the request to the client and managing the monitored person monitoring system MS as a whole.
  • the SV control processing unit 22 includes, for example, a CPU and its peripheral circuits.
  • the SV control processing unit 22 causes the server side control unit (SV control unit) 221, the server side monitoring processing unit (SV monitoring processing unit) 222, and the second moving image processing unit 223 to execute the control processing program. Functionally prepared.
  • the SV control unit 221 controls each unit of the management server device SV according to the function of each unit, and controls the entire management server device SV.
  • the SV monitoring processing unit 222 When the SV monitoring processing unit 222 receives the notification of the predetermined event from the sensor device SU, the SV monitoring processing unit 222 manages monitoring information related to monitoring of the monitored person Ob, and notifies the predetermined terminal device SP, TA of the predetermined event. is there. More specifically, when the SV monitoring processing unit 222 receives the first event notification communication signal from the sensor device SU, the SV monitoring processing unit 222 performs monitoring related to monitoring of the monitored person Ob contained in the received first event notification communication signal. Information is stored (recorded) in the SV monitoring information storage unit 231.
  • the SV monitoring processing unit 222 stores in the inter-device information storage unit 232 the report destination (re-report destination, transfer destination, transmission destination) corresponding to the sensor device SU that has transmitted the received first event notification communication signal.
  • Selection is performed from the notification destination correspondence, and the second event notification communication signal is transmitted to the selected terminal devices SP and TA. This selection (search process) is performed based on the sensor ID corresponding to the sensor device SU that has transmitted the received first event notification communication signal.
  • the event information accommodated in the first event notification communication signal is the predetermined action (one or more of getting up, getting out of bed, falling and falling)
  • the communication address corresponding to the sensor device SU having the sensor ID accommodated in the first event notification communication signal is accommodated as the download destination of the sensor ID, the event information and the target image, and the moving image accommodated in the one event notification communication signal. Is done. This communication address is selected (searched) from the communication address correspondence relationship based on the sensor ID corresponding to the sensor device SU that has transmitted the received first event notification communication signal.
  • the second moving image processing unit 223 stores the moving image distributed via the network NW in the first moving image processing unit 146 of the sensor device SU in the moving image storage unit 234 in association with the sensor device SU. is there. More specifically, when the second moving image processing unit 223 sequentially receives a series of moving image distribution communication signals from the sensor device SU, the moving images contained in the received moving image distribution communication signals. Are grouped into one, a moving image file is generated, the generated moving image file is assigned a file name and stored in the moving image storage unit 234, and the received series of received moving images is added to the file name of the stored moving image file. Are stored in the moving image storage unit 234 in association with the sensor ID accommodated in each moving image distribution communication signal.
  • the management server device SV is connected to the SV control processing unit 22 as necessary, as shown by a broken line in FIG. 3, for example, a server side input unit (SV input unit) for inputting various commands, various data, and the like.
  • Server side output unit (SV output unit) 25 that outputs various commands and various data input by the SV input unit 24 and monitoring information related to monitoring of the monitored person Ob, and data between external devices
  • a server-side interface unit (SVIF unit) 26 or the like for performing input / output may be provided.
  • Such a management server device SV can be configured by a computer with a communication function, for example.
  • the fixed terminal device SP includes a communication function for communicating with other devices SU, SV, TA via the network NW, a display function for displaying predetermined information, an input function for inputting predetermined instructions and data, and the like.
  • the user interface (UI) of the monitored person monitoring system MS is input by inputting predetermined instructions and data to be given to the management server device SV and the portable terminal device TA, or displaying the monitoring information obtained by the sensor device SU. ).
  • the fixed terminal device SP receives a request for a moving image by designating the sensor device SU (sensor ID or monitored person name) from the user (monitoring person), the designation is made to the management server apparatus SV.
  • Such a fixed terminal device SP can be configured by, for example, a computer with a communication function.
  • the fixed terminal device SP as an example of the terminal device operates in the same manner as the mobile terminal device TA.
  • a mobile terminal device TA that is another example of the terminal device will be described.
  • the mobile terminal device TA has a communication function for communicating with other devices SV, SP, SU via the network NW, a display function for displaying predetermined information, an input function for inputting predetermined instructions and data, and a voice call. Including a call function to perform, inputting a predetermined instruction or data to be given to the management server device SV or the sensor device SU, displaying the monitoring information obtained by the sensor device SU by a notification from the management server device SV, This is a device for making a nurse call response or calling a voice call with the sensor device SU.
  • the mobile terminal device TA when the mobile terminal device TA receives a request for a moving image by designating the sensor device SU (sensor ID or monitored person name) from the user (monitoring person), similarly to the fixed terminal apparatus SP, the management server device SV is requested for a moving image captured by the designated sensor device SU, and the moving image received from the management server device SV is displayed.
  • the sensor device SU sensor ID or monitored person name
  • the management server device SV is requested for a moving image captured by the designated sensor device SU, and the moving image received from the management server device SV is displayed.
  • such a mobile terminal device TA includes a terminal-side communication interface unit (TA communication IF unit) 31, a terminal-side control processing unit (TA control processing unit) 32, and A terminal side storage unit (TA storage unit) 33, a terminal side sound input / output unit (TA sound input / output unit) 34, a terminal side input unit (TA input unit) 35, and a terminal side display unit (TA display unit). 36 and a terminal-side interface unit (TAIF unit) 37.
  • the TA sound input / output unit 34 is connected to the TA control processing unit 32, and is a circuit for acquiring external sound and inputting it to the portable terminal device TA. It is a circuit for generating and outputting a sound corresponding to an electrical signal representing a sound according to the control of the processing unit 32.
  • the TA input unit 35 is connected to the TA control processing unit 32 and is, for example, a circuit that accepts a predetermined operation and inputs it to the mobile terminal device TA, for example, a plurality of input switches assigned with a predetermined function.
  • the predetermined operation relates to, for example, an ID input operation for logging in, a voice call request operation and its end operation, a live video request operation and its end operation, and the notified event.
  • Various operations necessary for monitoring such as an input operation indicating that there is an intention (“corresponding”) to respond to the monitored person Ob, for example, lifesaving, nursing, nursing care, assistance, etc. included.
  • the TA display unit 36 is connected to the TA control processing unit 32, and under the control of the TA control processing unit 32, the predetermined operation content input from the TA input unit 35 and the monitored target MS monitored by the monitored person monitoring system MS.
  • the monitoring information related to the monitoring of the observer Ob for example, the predetermined event (the type of the predetermined action detected by the sensor device SU or the nurse call received by the sensor device SU), the image (still image and moving image) of the monitored person Ob , And the time when the notification is received), and the like, for example, display devices such as an LCD (Liquid Crystal Display) and an organic EL display.
  • the TA input unit 35 and the TA display unit 36 constitute a touch panel.
  • the TA input unit 35 is a position input device that detects and inputs an operation position such as a resistance film method or a capacitance method.
  • a position input device is provided on the display surface of the TA display unit 36, and one or more input content candidates that can be input are displayed on the TA display unit 36.
  • a user such as a nurse or a caregiver ( When the monitor) touches the display position where the input content to be input is displayed, the position is detected by the position input device, and the display content displayed at the detected position is input to the portable terminal device TA as the operation input content of the user. Entered.
  • the TAIF unit 37 is a circuit that is connected to the TA control processing unit 32 and inputs / outputs data to / from an external device according to the control of the TA control processing unit 32.
  • the TAIF unit 37 uses the Bluetooth (registered trademark) standard.
  • An interface circuit, an interface circuit that performs infrared communication such as the IrDA standard, and an interface circuit that uses the USB standard are examples of the Bluetooth (registered trademark) standard.
  • the TA communication IF unit 31 is a communication circuit that is connected to the TA control processing unit 32 and performs communication according to the control of the TA control processing unit 32, similarly to the SU communication IF unit 15.
  • the TA communication IF unit 31 includes, for example, a communication interface circuit that conforms to the IEEE 802.11 standard or the like.
  • the TA storage unit 33 is a circuit that is connected to the TA control processing unit 32 and stores various predetermined programs and various predetermined data under the control of the TA control processing unit 32.
  • the various predetermined programs include a TA control program for controlling each part of the mobile terminal device TA according to the function of each part, and a TA monitoring process for executing predetermined information processing related to monitoring of the monitored person Ob.
  • a control processing program such as a TA streaming processing program displayed on the TA display unit 36 is included.
  • the TA storage unit 33 includes, for example, a ROM and an EEPROM.
  • the TA storage unit 33 includes a RAM serving as a working memory for the so-called TA control processing unit 32 that stores data generated during execution of the predetermined program.
  • the TA storage unit 33 functions as a terminal side monitoring information storage unit (TA monitoring information storage unit) 331 and a terminal side sensor information storage unit (TA sensor information storage unit) 332. Be prepared.
  • the TA monitoring information storage unit 331 stores the monitoring information.
  • the TA monitoring information storage unit 331 includes, as the monitoring information, sensor ID and event information (event information, wake-up in this embodiment, received in the second event notification communication signal received from the management server device SV.
  • the communication address of the sensor device SU to which images and moving images are downloaded, the reception time of the second event notification communication signal, the presence or absence of countermeasures, and the like are stored in association with each other. More specifically, as shown in FIG. 4, the TA monitoring information storage unit 331 stores the monitoring information in a terminal side monitoring information table (TA monitoring information table) MT-TA similar to the SV monitoring information table MT-SV.
  • TA monitoring information table terminal side monitoring information table
  • the TA sensor information storage unit 332 stores the sensor information.
  • the TA sensor information storage unit 332 stores the sensor ID, the location, the monitored person name, and the remarks in association with each other. More specifically, as shown in FIG. 6, the TA sensor information storage unit 332 stores the sensor information in a terminal side sensor information table (TA sensor information table) ST-TA similar to the SV sensor information table ST-SV.
  • TA sensor information table terminal side sensor information table
  • the TA control processing unit 32 is a circuit for controlling each unit of the mobile terminal device TA according to the function of each unit, receiving and displaying the monitoring information of the monitored person Ob, and answering or calling a nurse call. It is.
  • the TA control processing unit 32 includes, for example, a CPU and its peripheral circuits.
  • the TA control processing unit 32 executes a terminal processing unit (TA control unit) 321, a terminal side monitoring processing unit (TA monitoring processing unit) 322, a call processing unit 323, and a terminal side streaming process by executing a control processing program Unit (TA streaming processing unit) 324 functionally.
  • the TA control unit 321 controls each part of the mobile terminal apparatus TA according to the function of each part, and controls the entire mobile terminal apparatus TA.
  • the TA monitoring processing unit 322 executes predetermined information processing related to monitoring of the monitored person Ob. More specifically, when the TA monitoring processing unit 322 receives the second event notification communication signal transmitted by the management server device SV due to the first event notification communication signal transmitted by the sensor device SU. The monitoring information of the monitored person Ob is stored (recorded) in the TA monitoring information storage unit 331 based on each information (each data) accommodated in the received second event notification communication signal. The TA monitoring processing unit 322 displays a screen corresponding to each piece of information contained in the received second event notification communication signal on the TA display unit 36. When receiving a predetermined input operation from the TA input unit 35, the TA monitoring processing unit 322 executes a predetermined process corresponding to the input operation.
  • the call processing unit 323 performs a voice call with the sensor device SU by using the TA sound input / output unit 34 or the like. More specifically, for example, the call processing unit 323 transmits the first event notification communication signal that causes the transmission of the second event notification communication signal to the management server device SV using the TA sound input / output unit 34 or the like. For example, VoIP is performed with the transmission source sensor device SU.
  • the TA streaming processing unit 324 receives the distribution of the moving image from the sensor device SU, and displays the distributed moving image on the TA display unit 36 by streaming reproduction.
  • Such a portable terminal device TA can be configured by a portable communication terminal device such as a so-called tablet computer, a smartphone, or a mobile phone.
  • the monitored person monitoring device is composed of two devices, the sensor device SU and the management server device SV, so that the imaging unit 11 of the sensor device SU at least displays a moving image.
  • This corresponds to an example of an image acquisition unit that acquires an image including, and when the multiple-person determination unit determines that a plurality of people are included in the image, storage of the moving image acquired by the image acquisition unit is started.
  • the moving image storage processing unit that stores the moving image in the moving image storage unit includes a first moving image processing unit of the sensor device SU and a second moving image processing unit of the management server device SV.
  • each device SU, SV, SP, TA performs initialization of each necessary unit and starts its operation when the power is turned on.
  • the SU control processing unit 14 includes the SU control unit 141, the behavior detection processing unit 142, the nurse call processing unit 143, the SU streaming processing unit 144, the multi-person determination unit 145, and The first moving image processing unit 146 is functionally configured.
  • the SV control processing unit 21 is functionally configured with an SV control unit 211, an SV monitoring processing unit 222, and a second moving image processing unit 223 by executing the control processing program.
  • the TA control processing unit 32 is functionally configured with a TA control unit 321, a TA monitoring processing unit 322, a call processing unit 323, and a TA streaming processing unit 324 by executing the control processing program. .
  • FIG. 8 is a flowchart showing the operation of the sensor device shown in FIG.
  • the sensor device SU operates in the following manner for each frame or every several frames, thereby detecting a predetermined operation in the monitored person Ob and determining whether or not a nurse call is accepted.
  • the sensor device SU acquires an image (image data) for one frame from the imaging unit 11 as the target image by the SU control unit 141 of the SU control processing unit 14 (S11).
  • the sensor device SU executes a behavior detection process for detecting a predetermined behavior in the monitored person Ob by the behavior detection processing unit 142 of the SU control processing unit 14 based on the target image acquired in the processing S11 ( S12). More specifically, the behavior detection processing unit 142 determines the success or failure of getting up, the success or failure of leaving the bed, the success or failure of the fall, and the success or failure of the fall.
  • the sensor device SU determines whether or not a predetermined behavior in the monitored person Ob is detected by the behavior detection processing unit 142 in the behavior detection processing S12. As a result of the determination, when the predetermined action is not detected (No), the sensor device SU next executes the process S15, while when the predetermined action is detected (Yes). The sensor device SU executes the next process S14 and then executes the process S15.
  • the sensor apparatus SU uses the action detection processing unit 142 to A first event notification communication signal relating to detection of the predetermined action is transmitted to the management server device SV as a predetermined event. More specifically, the behavior detection processing unit 142 stores the sensor ID of the own device, the predetermined event (here, one or more of getting up, getting out of bed, falling and falling) and the target image. An event notification communication signal is transmitted to the management server device SV via the SU communication IF unit 15.
  • the sensor device SU determines whether or not a plurality of persons are included in the target image based on the target image acquired in the process S11 by the multi-person determination unit 145. As a result of this determination, when a plurality of people are not shown in the target image (No), the sensor device SU next executes a process S17, while a plurality of people are shown in the target image ( In Yes), the sensor device SU executes the next process S16 and then executes the process S17.
  • the sensor device SU functionally generates a timer in the SU control processing unit 14 by the first moving image processing unit 146, and sets the generated timer to a predetermined time (delivery time, for example, 5 minutes, 10 minutes, 15 minutes, etc.) and start timing, and distribution of moving images acquired by the imaging unit 11 is started to the management server device SV.
  • the first moving image processing unit 146 stores a moving image distribution communication signal that stores the sensor ID of the own device and further stores a moving image acquired by the imaging unit 11 for each predetermined number of frames. Are sequentially generated until it is determined that the distribution time has elapsed and the distribution ends, and each of the sequentially generated moving image distribution communication signals is transmitted to the management server device SV. To do.
  • the sensor device SU determines whether the nurse call is accepted by the nurse call processing unit 143. That is, the processes S11 to S20 shown in FIG. 8 are repeatedly executed for each frame or every several frames, but during the period from the previous execution of the process S17 to the current execution of the process S17, It is determined whether or not the call reception operation unit 13 has been operated. As a result of this determination, when the nurse call reception operation unit 13 is not operated and the nurse call is not received (No), the sensor device SU next executes the process S19, while the nurse call reception operation unit When No. 13 is operated and a nurse call is received (Yes), the sensor device SU executes the next process S18 and then executes the process S19.
  • the sensor apparatus SU uses the nurse call processing unit 143 to notify the nurse call that has been accepted in process S17 to the predetermined terminal apparatuses SP and TA via the management server apparatus SV.
  • the 1st event notification communication signal regarding is transmitted to management server apparatus SV. More specifically, the nurse call processing unit 143 transmits a first event notification communication signal containing the sensor ID of the own device and nurse call reception information to the management server device SV via the SU communication IF unit 15.
  • the sensor device SU determines whether or not the timer functionally generated in the SU control processing unit 14 by the first moving image processing unit 146 has timed out with the elapse of the distribution time. As a result of the determination, if the timer has not timed up, the sensor device SU ends the current process. On the other hand, if the timer has timed up (Yes), the sensor device SU After executing the next process S20, the present process is terminated.
  • the sensor device SU uses the first moving image processing unit 146 to generate and transmit the last moving image distribution communication signal to the management server device SV, and ends the distribution of the moving image distribution communication signal.
  • This final moving image distribution communication signal contains not only the sensor ID and the predetermined number of moving images but also distribution end information.
  • the sensor device SU operates as described above with respect to each of detection of a predetermined action and reception of a nurse call in the monitored person Ob.
  • FIG. 9 is a flowchart showing the operation of the management server apparatus shown in FIG.
  • the management server device SV determines whether or not the SV communication IF unit 21 has received a communication signal by the SV control unit 221 of the SV control processing unit 22 (S21). As a result of the determination, if the communication signal is not received (No), the management server device SV returns the process to S21. If the result of the determination is that the communication signal is received (Yes), The management server device SV executes the following process S22. That is, the management server device SV is waiting for reception of a communication signal.
  • the management server apparatus SV determines the type of the received communication signal by the SV control unit 221. As a result of the determination, when the received communication signal is the first event notification communication signal (first event notification), the management server device SV executes the process S26 after executing the process S23, and receives the received When the communication signal is a moving image distribution communication signal (moving image distribution), the processing S26 is performed after the processing S24 is performed, and the received communication signal is the first event notification communication signal and the moving image distribution. If it is not a communication signal (others), the process S26 is executed after the process S25.
  • the communication signal is a moving image distribution communication signal (moving image distribution)
  • the processing S26 is performed after the processing S24 is performed
  • the received communication signal is the first event notification communication signal and the moving image distribution. If it is not a communication signal (others), the process S26 is executed after the process S25.
  • the management server device SV processes the first event notification communication signal received from the sensor device SU in the processing S21 by the SV monitoring processing unit 222 of the SV control processing unit 22. More specifically, first, the SV monitoring processing unit 222 stores monitoring information regarding monitoring of the monitored person Ob contained in the first event notification communication signal received from the sensor device SU in step S21. 231 is stored (recorded). Then, the SV monitoring processing unit 222 selects a notification destination corresponding to the sensor device SU that has transmitted the first event notification communication signal received in step S21 from the notification destination correspondence stored in the inter-device information storage unit 232 ( Search for.
  • the SV monitoring processing unit 222 transmits a second event notification communication signal to the selected notification destination terminal devices SP and TA.
  • the second event notification communication signal as described above, when the event information contained in the first event notification communication signal received in the process S21 is the predetermined action, the second event notification communication signal is received in the process S21.
  • the event information accommodated in the first event notification communication signal received in the process S21 is a nurse call, the sensor ID and event information accommodated in the first event notification communication signal received in the process S21. Is housed.
  • the management server apparatus SV uses the second moving image processing unit 223 of the SV control processing unit 22 to transfer the moving image contained in the moving image distribution communication signal received from the sensor apparatus SU in the process S21 to the sensor apparatus SU ( It is stored in the moving image storage unit 234 in association with the sensor ID). More specifically, when the second moving image processing unit 223 sequentially receives a series of moving image distribution communication signals from the sensor device SU, the moving images contained in the received moving image distribution communication signals. Are grouped into one, a moving image file is generated, the generated moving image file is assigned a file name and stored in the moving image storage unit 234, and the received series of received moving images is added to the file name of the stored moving image file.
  • each of the processes S21 to S26 shown in FIG. 9 is repeatedly executed.
  • the second moving image processing unit 223 receives the moving image distribution communication signal received in the process S21.
  • the second moving image processing unit 223 receives the process ID in step S21.
  • a moving image file is generated by collecting a series of moving images temporarily stored in the SV storage unit 23 into one, and the generated moving image file is stored in the moving image distribution communication signal.
  • a file name is assigned and stored in the moving image storage unit 234.
  • the second moving image processing unit 223 stores the stored moving image file in the moving image storage unit 234 in association with the sensor IDs contained in the received series of moving image distribution communication signals. To do.
  • the management server apparatus SV uses the SV control processing unit 22 to execute an appropriate process according to the communication signal received in the process S21.
  • the management server apparatus SV determines whether or not the operation is finished (stopped) by the SV control processing unit 22. As a result of this determination, when the operation is finished (stopped) (Yes), the management server device SV finishes this process. On the other hand, when the operation is not finished (stopped) (No), the management server device SV The server device SV returns the process to step S21.
  • the monitoring server device SV operates as described above.
  • FIG. 10 is a flowchart showing the operation of the mobile terminal device shown in FIG.
  • FIG. 11 is a diagram showing an example of a standby screen displayed on the mobile terminal device shown in FIG.
  • FIG. 12 is a diagram illustrating an example of a monitoring information screen displayed on the mobile terminal device illustrated in FIG. 7.
  • FIG. 13 is a diagram showing an example of a nurse call reception screen displayed on the mobile terminal device shown in FIG.
  • FIG. 14 is a diagram showing an example of a submenu screen displayed on the mobile terminal device shown in FIG.
  • FIG. 15 is a diagram showing an example of a moving image selection screen displayed on the mobile terminal device shown in FIG.
  • FIG. 16 is a diagram illustrating an example of a moving image display screen displayed on the mobile terminal device illustrated in FIG. 7.
  • the portable terminal device TA accepts a login operation by a monitor (user) such as a nurse or a caregiver, and the TA monitor processing unit 322 automatically performs the login operation.
  • a standby screen for waiting for a communication signal addressed to the machine is displayed on the TA display unit 36.
  • the standby screen 51 includes a menu bar area 511 for displaying a menu bar, and a standby main area for displaying a message indicating that the user is waiting (for example, “no notification”) and an icon.
  • a time area 513 for displaying the current time a year / month / sunday area 514 for displaying the current year / month / sunday, and a user name area 515 for displaying the name of the user who is currently logged in to the portable terminal device TA.
  • the portable terminal device TA determines whether or not the TA communication IF unit 31 has received a communication signal by the TA control unit 321 of the TA control processing unit 32 (S31). As a result of this determination, when the communication signal is not received (No), the mobile terminal device TA returns the process to S31, and as a result of the determination, when the communication signal is received (Yes), The portable terminal device TA executes the following process S32. That is, the mobile terminal device TA is waiting for reception of a communication signal.
  • the portable terminal device TA determines the type of the received communication signal by the TA control unit 321. As a result of this determination, when the communication signal received in the process S31 is the second event notification communication signal (second event notification), the portable terminal device TA executes the next process S33, and in the process S31. When the received communication signal is not the second event notification communication signal (others), the process ends after executing the process S37 for performing an appropriate process according to the communication signal received in the process S31.
  • the communication signal received in the process S31 is the second event notification communication signal (second event notification)
  • the portable terminal device TA executes the next process S33, and in the process S31.
  • the process ends after executing the process S37 for performing an appropriate process according to the communication signal received in the process S31.
  • the mobile terminal device TA monitors the monitored person Ob contained in the second event notification communication signal received from the management server apparatus SV in the process S31 by the TA monitoring processing unit 322 of the TA control processing unit 32. Is stored (recorded) in the TA monitoring information storage unit 331.
  • the TA monitoring processing unit 322 displays a screen corresponding to each piece of information contained in the second event notification communication signal received in processing S31 on the TA display unit 36. More specifically, when the event information accommodated in the second event notification communication signal received in step S31 is the predetermined action, the TA monitoring processing unit 322, for example, the monitoring information screen illustrated in FIG. 52 is displayed on the TA display unit 36. On the other hand, when the event information accommodated in the second event notification communication signal received in the process S31 is the nurse call, for example, a nurse call reception screen 53 shown in FIG. Is displayed on the TA display unit 36.
  • the monitoring information screen 52 is a screen for displaying the monitoring information related to the monitoring of the monitored person Ob.
  • the monitoring information screen 52 includes a menu bar area 511, an arrangement location of the sensor device SU having a sensor ID accommodated in the second event notification communication signal received in the process S ⁇ b> 31, and the The monitored person name area 521 for displaying the name of the monitored person Ob monitored by the sensor device SU having the sensor ID, and the reception time of the second event notification communication signal received in the process S31 (or the predetermined action)
  • a detection information display area 522 for displaying the elapsed time from the (detection time) and the event information (the detection result of the predetermined action) contained in the second event notification communication signal received in the process S31, and the process S31.
  • the second event notification communication signal (that is, the target image captured by the sensor device SU having the sensor ID) ) (Here includes an image area 523 for displaying a still image), "corresponding” button 524, a “talk” button 525, a "See LIVE” button 526.
  • the sensor ID contained in the second event notification communication signal received in step S31 is used as a search key.
  • the location of the device SU and the name of the monitored person Ob are retrieved from the TA sensor information storage unit 332 and displayed.
  • the detection results in this embodiment, names of getting up, getting out of bed, falling down, and falling down
  • the TA storage unit 33 stores each action and an icon representative of the action in association with each other in advance.
  • the detection information display area 522 displays a wake-up icon that symbolizes wake-up.
  • the “corresponding” button 524 has an intention to perform a predetermined response (response, response) such as lifesaving, nursing, care, and assistance for the detection result displayed on the monitoring information screen 52. It is a button for inputting execution intention information indicating that the user of the mobile terminal device TA is present to the mobile terminal device TA.
  • the “speak” button 525 is a button for requesting a voice call, and is used to input an instruction to connect the sensor device SU of the sensor ID and the mobile terminal device TA via the network NW. It is a button.
  • the “LIVE” button 526 is a button for requesting a live video, and is a button for inputting an instruction to display a video captured by the sensor device SU of the sensor ID.
  • the nurse call reception screen 53 is a screen for displaying reception of a nurse call.
  • the nurse call reception screen 53 includes a menu bar area 511, a monitored person name area 521, a detection information display area 522, and a message indicating that a nurse call has been received (for example, “ A nurse call reception notification display area 531 for displaying “It is a nurse call”), a “corresponding” button 524, and a “speak” button 525.
  • the detection information display area 522 displays only the elapsed time from the reception time of the second event notification communication signal received in step S31 (or the reception time of reception of the nurse call). .
  • nurse call reception screen 53 may further include a “view LIVE” button 526.
  • the portable terminal device TA determines whether or not an input operation is accepted by the TA control processing unit 32 using a touch panel including the TA input unit 35 and the TA display unit 36 (S35). If the input operation is not accepted as a result of this determination (No), the portable terminal device TA returns the process to step S35. On the other hand, if the input operation is accepted as a result of the determination, the portable terminal device TA returns The apparatus TA performs the following process S36.
  • the portable terminal device TA performs an appropriate process according to the content of the input operation by the TA control processing unit 32, and ends this process.
  • the portable terminal device TA when the TA control processing unit 32 accepts an input operation of the “corresponding” button 524 (that is, accepts the intention to respond), the portable terminal device TA first displays it on the TA display unit 36 first. Is added to the monitoring information of the monitored person Ob, and the corresponding information is received and stored in the TA monitoring information storage unit 331. More specifically, the TA control processing unit 32 is the monitored information currently displayed on the TA display unit 36 in the monitoring information table MT-TA stored in the TA monitoring information storage unit 331 of the TA storage unit 33.
  • the correspondence field 3316 of the record in which the monitoring information of the person Ob is registered here, the record in which the monitoring information contained in the second event notification communication signal received in the process S31 is registered) Register the flag “1”.
  • the mobile terminal device TA has information indicating that the sensor ID corresponding to the monitoring information of the monitored person Ob displayed on the TA display unit 36 and “corresponding” are received by the TA control processing unit 32 (corresponding reception information). ) Is transmitted to the management server device SV.
  • the management server device SV that has received this correspondence reception notification communication signal uses the SV control processing unit 22 to transmit a communication signal containing the sensor ID and the correspondence reception information contained in the received correspondence reception notification communication signal (corresponding reception well-known communication). Signal) to the terminal devices SP and TA by broadcast communication.
  • the fact that “corresponding” has been received is synchronized between the terminal devices SP and TA.
  • the call processing unit 323 monitors the monitored person Ob displayed on the TA display unit 36.
  • a communication signal (call request communication signal) containing information such as requesting a voice call is transmitted to the sensor device SU, and the sensor device SU is connected to the sensor device SU via the network NW so as to be able to make a voice call.
  • a voice call can be made between the mobile terminal device TA and the sensor device SU.
  • the portable terminal device TA When the TA control processing unit 32 receives an input operation of an “end” button (not shown) that is a button for inputting an instruction to end a voice call, the portable terminal device TA causes the TA processing unit 323 to A communication signal (call end communication signal) containing information such as a request to end the voice call is transmitted to the sensor device SU that monitors the monitored person Ob displayed on the display unit 36. Thereby, the voice call between the mobile terminal device TA and the sensor device SU is terminated.
  • an “end” button not shown
  • a communication signal call end communication signal
  • the TA streaming processing unit 324 displays the monitored object currently displayed on the TA display unit 36.
  • a communication signal video distribution request communication signal
  • the video is connected to be downloadable via the sensor device SU, receives live video distribution from the sensor device SU, and displays the distributed video on the TA display unit 36 by streaming playback.
  • the “live end” button is a button for requesting the end of the moving image, and ends (stops) the distribution of the moving image picked up by the sensor device SU of the sensor ID and ends (stops) the display. This is a button for inputting an instruction to be performed.
  • the TA control processing unit 32 receives an input operation of the “live end” button, the portable terminal device TA monitors the monitored person Ob currently displayed on the TA display unit 36 by the TA streaming processing unit 324.
  • a communication signal (moving image distribution end communication signal) containing information such as requesting the end of moving image distribution is transmitted to the sensor device SU, and a still image is displayed on the TA display unit 36. Accordingly, the mobile terminal device TA ends the live video display.
  • the mobile terminal device TA operates as described above.
  • the TA control processing unit 32 manages it.
  • the server device SV is requested for a moving image captured by the designated sensor device SU, and the moving image received from the management server device SV is displayed.
  • the button 5111 is input.
  • the submenu button 5111 is a button for inputting an instruction to display a submenu screen to the mobile terminal device TA.
  • the submenu screen is a screen for displaying a selectable submenu and selecting a submenu.
  • the submenu screen 61 includes an “information” button 611, a “staff message board” button 612, a “care implementation input” button 613, and a “video check” button as submenus. 614 and a “logout” button 615.
  • the “information” button 611 is a button for inputting, for example, an instruction to display predetermined information such as a login name (monitor name) and a terminal ID to the mobile terminal device TA.
  • the “staff message board” button 612 is a button for inputting, to the mobile terminal device TA, an instruction to display a message registered (stored) in the management server device SV by the supervisor (user) from the terminal devices SP and TA. is there.
  • the “care implementation input” button 613 is a button for inputting an instruction to record a care record in the management server device SV from the terminal devices SP and TA to the mobile terminal device TA.
  • the “video confirmation” button 614 is used to input an instruction to request and display a moving image (moving image file) by designating the sensor device SU (sensor ID or monitored person name) to the mobile terminal device TA. It is a button.
  • the “logout” button 615 is a button for inputting an instruction to logout to the mobile terminal device TA.
  • the user In order to display the moving image, the user (monitoring person) performs an input operation on the “video check” button 614 on the submenu screen 61 shown in FIG.
  • the TA control processing unit 32 requests a moving image selection screen for receiving selection of a moving image file.
  • the communication signal (moving image selection screen request communication signal) to be transmitted is transmitted to the management server device SV.
  • the moving image selection screen request communication signal contains a command (instruction, command, moving image selection screen request command) for requesting the moving image selection screen, a terminal ID of the own device, and the like.
  • the management server device SV When receiving the moving image selection screen request communication signal from the mobile terminal device TA, the management server device SV first selects a moving image that can be selected in order to receive selection of a moving image file by the above-described processing S11, processing S12, and processing S25.
  • a communication signal (moving image selection screen notification communication signal) containing a moving image selection screen (electronic file) representing an image file is returned to the portable terminal device TA.
  • the selectable moving image file may be a file selected in an appropriate range from the moving image files stored in the moving image storage unit 234.
  • the moving image storage unit 234 between a time when the moving image selection screen request communication signal is received and a time that is back by a predetermined time (for example, 1 hour, 3 hours, 6 hours, 12 hours, 24 hours, etc.).
  • the stored moving image file is selected as the selectable moving image file.
  • the TA control processing unit 32 displays the moving image selection screen on the TA display unit 36.
  • the moving image selection screen 62 includes a menu bar area 511 and a selectable moving image display area 621 for displaying a list of one or more selectable moving image files as shown in FIG.
  • the selectable moving image display area 621 includes a thumbnail display area 6211 for displaying the first image in the moving image file as a thumbnail, and a file name display area 6212 for displaying the file name of the moving image file.
  • a recording time display area 6213 for displaying the recording time of the moving image file.
  • the file name of the moving image file is configured with the name of the location where the sensor device SU that generated the moving image is disposed.
  • the sensor device SU (sensor ID or monitored person name) can be specified by the file name via the sensor information.
  • the selectable moving image display area 621 is composed of four first to fourth selectable moving image display areas 621-1 to 621-4.
  • the selectable moving image display area 621 (first to fourth selectable moving image display areas 621-1 to 621-4, respectively) stores the moving image file selected by the supervisor (user) in the portable terminal. It is also a button for inputting to the device TA (an example of a moving image selection button or a recording moving image request button).
  • the user can select a desired moving image file from one or more selectable moving image display areas 621 on the moving image selection screen 62 shown in FIG.
  • a selectable moving image display area (moving image selection button) 621 for displaying a name in the file name display area 6212 is input.
  • the portable terminal device TA receives an input operation of the selectable moving image display area (moving image selection button) 621 from the TA input unit 35 constituting the touch panel, the TA control processing unit 32 requests the selected moving image file.
  • the communication signal (moving image request communication signal) to be transmitted is transmitted to the management server device SV.
  • the file name displayed in the file name display area 6212 of the selectable moving image display area (moving image selection button) 621 input by the user (placement of the sensor device SU, in other words, For example, sensor device SU or sensor ID or monitored person name), a command requesting the moving image file (instruction, command, moving image request command), a terminal ID of the own device, and the like are accommodated.
  • the management server device SV When the management server device SV receives the moving image request communication signal from the mobile terminal device TA, the file name (sensor device) of the moving image file accommodated in the moving image request communication signal is obtained by the above-described processing S11, processing S12, and processing S25.
  • a moving image file corresponding to the location of the SU, in other words, the sensor device SU or sensor ID or the name of the person to be monitored is acquired from the moving image storage unit 234, and a communication signal (moving image) containing the acquired moving image file Image notification communication signal) is returned to the portable terminal device TA.
  • the TA control processing unit 32 displays the moving image on the TA display unit 36 on the moving image display screen.
  • the moving image display screen is a screen for reproducing and displaying a moving image generated by the sensor device SU when a plurality of people are detected by the sensor device SU.
  • the moving image display screen 63 includes a menu bar area 511, a title area 631, a moving image area 632, and a reproduction control instruction input area 633, as shown in FIG.
  • the title area 631 is an area for displaying the file name of the moving image file and its recording time.
  • the moving image area 632 is an area for reproducing and displaying the moving image file.
  • the reproduction control instruction input area 633 is an area for receiving an instruction to control a reproduction operation (display operation) of a moving image displayed in the moving image region 632.
  • the reproduction control instruction input area 633 includes a reproduction / pause button 6331, a fast forward button 6332, a fast reverse button 6333, a reproduction time position display area 6334, and a reproduction time display area 6335.
  • the playback / pause button 6331 is a button for receiving a playback start instruction and a pause instruction for a moving image displayed in the moving image area 632.
  • the reproduction / pause button 6331 alternates between a reproduction start button that accepts an instruction to start reproduction and a pause button that accepts an instruction to pause each time an input operation is accepted.
  • the TA control processing unit 32 starts the moving image region from the stop point (including the starting point of the moving image).
  • the TA control processing unit 32 stops the reproduction of the moving image displayed on the moving image area 632.
  • the fast forward button 6332 is a button for receiving an instruction to increase the playback speed of the moving image displayed in the moving image area 632.
  • the playback speed is 1 ⁇ speed, 1.5 ⁇ speed, 2 ⁇ speed, 4 ⁇ speed or the like
  • the TA control processing unit 32 displays the moving image displayed in the moving image area 632 every time an input operation of the fast-forward button 6332 is received.
  • the image reproduction speed is cyclically increased in the order of 1 ⁇ speed, 1.5 ⁇ speed, 2 ⁇ speed, and 4 ⁇ speed.
  • the fast reverse button 6333 is a button for accepting an instruction to increase the reverse playback speed (reverse playback playback speed) of the moving image displayed in the moving image area 632.
  • the reverse playback speed is 1 ⁇ speed, 1.5 ⁇ speed, 2 ⁇ speed, 4 ⁇ speed, or the like, and the TA control processing unit 32 is displayed in the moving image area 632 every time an input operation of the fast reverse button 6333 is accepted.
  • the moving image return playback speed is cyclically increased in the order of 1 ⁇ speed, 1.5 ⁇ speed, 2 ⁇ speed, and 4 ⁇ speed.
  • the playback time position display area 6334 includes a progress status bar 6334a indicating the progress of playback of the moving image and the progress position of playback of the moving image (time position of the image displayed in the moving image area 632 with respect to the entire moving image). And a progress position mark 6334b representing.
  • the playback time display area 6335 is an area for displaying the video recording time and the playback time from the beginning (playback time / recording time).
  • the moving image selected by the user is displayed on the moving image display screen 63 on the portable terminal device TA by each operation of the portable terminal device TA and the management server device SV.
  • a monitored person monitoring system MS As described above, a monitored person monitoring system MS, a sensor apparatus SU and a management server apparatus SV as an example of a monitored person monitoring apparatus, and a plurality of monitored person monitoring methods implemented in these embodiments are provided.
  • the person determination unit 145, the first moving image processing unit 146, and the second moving image processing unit 223 are determined to include a plurality of people in the target image, distribution and storage of the moving image is started and the moving image Remember the image. Therefore, the monitored person monitoring system MS, the sensor apparatus SU and the management server apparatus SV as an example of the monitored person monitoring apparatus, and the monitored person monitoring method may include other persons other than the monitored person Ob.
  • a moving image is recorded.
  • the monitored person monitoring system MS, the sensor apparatus SU and the management server apparatus SV as an example of the monitored person monitoring apparatus, and the monitored person monitoring method do not always store moving images.
  • the monitored person monitoring system MS, the sensor apparatus SU and the management server apparatus SV as an example of the monitored person monitoring apparatus, and the monitored person monitoring In the method, since the sensor device SU functions as a so-called surveillance camera, the occurrence of theft or the like can be suppressed.
  • the monitored person monitoring system MS, the sensor apparatus SU and the management server apparatus SV as an example of the monitored person monitoring apparatus, and the monitored person monitoring method include: Can record the care and assistance for the elderly. Accordingly, the monitored person monitoring system MS, the sensor apparatus SU and the management server apparatus SV as an example of the monitored person monitoring apparatus, and the monitored person monitoring method include theft, etc. in consideration of the privacy of the monitored person. Can be suppressed, and the state of care and assistance can be recorded.
  • the moving image storage processing unit configured to include the first and second moving image processing units 146 and 223 includes a plurality of person determination unit 145 that includes a plurality of people in the target image. If the event is further notified before the determination, the storage of the moving image acquired by the imaging unit 11 may be started and the moving image may be stored in the moving image storage unit 234. That is, the moving image storage processing unit stores the moving image acquired by the imaging unit 11 after notifying the event and before determining that a plurality of persons are captured in the target image by the multiple person determining unit 145. And the moving image is stored in the moving image storage unit 234.
  • the first moving image processing unit 146 captures an image when the multi-person determination unit 145 further notifies the event before determining that a plurality of persons are included in the target image.
  • the first moving image processing unit 146a that starts distribution of the moving image acquired by the unit 11 may be used. That is, after the first event notification communication signal is transmitted to the management server device SV by the behavior detection processing unit 142 or the nurse call processing unit 143, the first moving image processing unit 146a uses the multiple person determination unit 145 to generate a plurality of target images. Before it is determined that a person is captured, distribution of the moving image acquired by the imaging unit 11 is started.
  • the user (monitor) who has received the event notification at the terminal devices SP and TA goes under the monitored person Ob as necessary. For this reason, there is a high possibility that the other person is a monitor. Therefore, according to this, the state of care or assistance can be recorded favorably.
  • the moving image storage processing unit configured to include the first and second moving image processing units 146 and 223 includes a plurality of person determination unit 145 that includes a plurality of people in the target image.
  • the storage of the moving image acquired by the imaging unit 11 is started to store the moving image. You may memorize
  • the moving image storage processing unit determines that a plurality of persons are included in the target image by the multiple person determination unit 145, the sound input by the SU sound input / output unit 12 is equal to or higher than a predetermined first threshold value. If it is, storage of the moving image acquired by the imaging unit 11 is started, and the moving image is stored in the moving image storage unit 234. Alternatively, after the notification of the event, the moving image storage processing unit further includes a multi-person determination unit 145 after a sound input by the SU sound input / output unit 12 is equal to or higher than a predetermined first threshold value.
  • the moving image storage processing unit is further input by the SU sound input / output unit 12 after the multi-person determining unit 145 determines that a plurality of persons are included in the target image.
  • the generated sound is equal to or higher than a predetermined first threshold, storage of the moving image acquired by the imaging unit 11 is started and the moving image is stored in the moving image storage unit 234.
  • the first moving image processing unit 146 is further input by the SU sound input / output unit 12 before or after the multiple person determination unit 145 determines that a plurality of persons are included in the target image.
  • the first moving image processing unit 146b may start distribution of moving images acquired by the imaging unit 11 when the sound is equal to or higher than a predetermined first threshold. That is, in the first moving image processing unit 146b, after the sound input by the SU sound input / output unit 12 is equal to or higher than the predetermined first threshold, a plurality of persons are reflected in the target image by the multiple person determination unit 145. If it is determined, distribution of the moving image acquired by the imaging unit 11 is started.
  • the first moving image processing unit 146b determines that the sound input by the SU sound input / output unit 12 is a predetermined first threshold value after the multiple person determination unit 145 determines that a plurality of persons are included in the target image. When it is above, distribution of the moving image acquired by the imaging unit 11 is started. Alternatively, after notifying the event, the first moving image processing unit 146b further performs a multi-person determination unit 145 after a sound input by the SU sound input / output unit 12 is equal to or higher than a predetermined first threshold value. When it is determined that a plurality of people are included in the target image, distribution of the moving image acquired by the imaging unit 11 is started.
  • the first moving image processing unit 146b further uses the SU sound input / output unit 12 after determining that a plurality of persons are included in the target image by the multiple person determination unit 145.
  • the input sound is equal to or higher than a predetermined first threshold, distribution of the moving image acquired by the imaging unit 11 is started.
  • the sensor device SU that is an example of the monitored person monitoring device further includes a window detection unit 17 that detects that the window has opened, as indicated by a broken line in FIG.
  • the moving image storage processing unit configured to include the second moving image processing units 146 and 223 further includes the window before or after the multiple person determination unit 145 determines that a plurality of persons are included in the target image.
  • the detection unit 17 detects that the window is opened, the moving image acquired by the imaging unit 11 may be stored and the moving image may be stored in the moving image storage unit 234.
  • the moving image storage processing unit determines that a plurality of persons are captured in the target image after the window detecting unit 17 detects that the window is opened
  • the plurality of persons determining unit 145 includes Then, storage of the moving image acquired by the imaging unit 11 is started, and the moving image is stored in the moving image storage unit 234.
  • the moving image storage processing unit detects that a window has been opened by the window detection unit 17 after determining that a plurality of people are included in the target image by the multiple person determination unit 145. Then, storage of the moving image acquired by the imaging unit 11 is started, and the moving image is stored in the moving image storage unit 234.
  • the moving image storage processing unit after the notification of the event, the moving image storage processing unit, after the window detection unit 17 detects that the window has been opened, the multiple person determination unit 145 adds a plurality of images to the target image. When it is determined that a person is captured, the storage of the moving image acquired by the imaging unit 11 is started and the moving image is stored in the moving image storage unit 234. Alternatively, after the notification of the event, the moving image storage processing unit further detects a window in the window detection unit 17 after determining that a plurality of persons are reflected in the target image by the multiple person determination unit 145. When the opening is detected, storage of the moving image acquired by the imaging unit 11 is started and the moving image is stored in the moving image storage unit 234.
  • the first moving image processing unit 146 further opens a window in the window detection unit before or after the multiple-person determination unit 145 determines that a plurality of people are included in the target image.
  • the first moving image processing unit 146c that starts distributing the moving image acquired by the imaging unit 11 may be used. That is, when the first moving image processing unit 146c determines that a plurality of persons are included in the target image after the window detection unit 17 detects that the window is opened, the plurality of person determination unit 145 Then, distribution of the moving image acquired by the imaging unit 11 is started.
  • the first moving image processing unit 146c detects that the window has been opened by the window detection unit 17 after determining that a plurality of people are included in the target image by the multiple person determination unit 145. Then, distribution of the moving image acquired by the imaging unit 11 is started. Alternatively, after notifying the event, the first moving image processing unit 146c further detects the opening of the window by the window detection unit 17 and then adds the target image to the target image by the multiple person determination unit 145. When it is determined that a plurality of people are captured, distribution of the moving image acquired by the imaging unit 11 is started.
  • the first moving image processing unit 146c further performs window detection by the window detection unit 17 after determining that a plurality of persons are reflected in the target image by the multiple person determination unit 145. Distribution of the moving image acquired by the imaging unit 11 is started.
  • the window detection unit 17 includes a magnet fixedly attached to a window screen (movable part of the window), and a sash frame of the window so as to face the magnet when the window is closed. And a magnetic sensor such as a Hall element attached to the fixed portion of the window.
  • the sensor device SU which is an example of the monitored person monitoring device is functionally connected to the SU control processing unit 14 as shown by a broken line in FIG.
  • the moving image storage processing unit configured to include the first and second moving image processing units 146 and 223 includes a motion detection unit 147 that detects a plurality of persons in the target image. Before or after the determination is made, when the motion speed or motion acceleration detected by the motion detection unit 147 is equal to or greater than a predetermined second threshold, the storage of the moving image acquired by the imaging unit 11 is started.
  • a moving image may be stored in the moving image storage unit 234.
  • the moving image storage processing unit a plurality of persons are shown in the target image by the multi-person determination unit 145 after the operation speed or the operation acceleration detected by the operation detection unit 147 is equal to or greater than a predetermined second threshold.
  • the moving image is stored in the moving image storage unit 234.
  • the motion speed or the motion acceleration detected by the motion detection unit 147 is a predetermined second threshold value. In the case described above, storage of the moving image acquired by the imaging unit 11 is started, and the moving image is stored in the moving image storage unit 234.
  • the moving image storage processing unit then further determines whether the motion speed or motion acceleration detected by the motion detection unit 147 is equal to or greater than a predetermined second threshold, and then determines the multiple person determination unit 145.
  • the storage of the moving image acquired by the imaging unit 11 is started and the moving image is stored in the moving image storage unit 234.
  • the motion image storage processing unit after notifying the event, and then further detecting an operation detected by the operation detection unit 147 after determining that a plurality of persons are reflected in the target image by the multiple person determination unit 145
  • the speed or the motion acceleration is equal to or greater than a predetermined second threshold
  • storage of the moving image acquired by the imaging unit 11 is started and the moving image is stored in the moving image storage unit 234.
  • the first moving image processing unit 146 further detects the operation speed detected by the operation detection unit 147 before or after the multiple person determination unit 145 determines that a plurality of people are included in the target image.
  • the first moving image processing unit 146d may start distribution of the moving image acquired by the imaging unit 11 when the motion acceleration is equal to or greater than a predetermined second threshold.
  • the first moving image processing unit 146c has a plurality of persons appearing in the target image by the multiple person determination unit 145 after the movement speed or movement acceleration detected by the movement detection unit 147 is equal to or greater than a predetermined second threshold.
  • the motion speed or the motion acceleration detected by the motion detection unit 147 is a predetermined second. When it is equal to or greater than the threshold, distribution of the moving image acquired by the imaging unit 11 is started.
  • the first moving image processing unit 146d further includes a multi-person determination unit after the operation speed or the operation acceleration detected by the operation detection unit 147 is equal to or greater than a predetermined second threshold. When it is determined in 145 that a plurality of people are included in the target image, distribution of the moving image acquired by the imaging unit 11 is started.
  • the first moving image processing unit 146d detects the motion detection unit 147 after the multi-person determination unit 145 determines that a plurality of people are included in the target image.
  • the operation speed or the operation acceleration is equal to or greater than a predetermined second threshold, distribution of the moving image acquired by the imaging unit 11 is started.
  • the motion detection unit 147 extracts a moving body region as a human region from the target image acquired by the imaging unit 11 by, for example, the background difference method or the frame difference method, and obtains the center of gravity position of the extracted moving body region. As described above, since the sensor device SU acquires the target image for each frame or every several frames, the motion detection unit 147 previously acquires the target image acquired by the imaging unit 11.
  • the center-of-gravity position of the moving object region (previous center-of-gravity position) obtained from (previous target image) and the center-of-gravity position of the moving object region obtained from the object image (current target image) acquired by the imaging unit 11 this time
  • the movement speed is obtained by obtaining the difference from the center of gravity position) as the movement amount and dividing the obtained movement amount by the time difference between the previous time point and the current time point.
  • the motion detection unit 147 calculates the motion acceleration by further dividing the calculated motion speed by the time difference between the previous time point and the current time point.
  • the sensor device SU includes the first moving image processing unit 146
  • the management server device SV includes the second moving image processing unit 223 and the moving image storage unit 234, and the sensor device SU includes the first moving image processing unit 146.
  • the moving image processing unit 146 the moving image storage processing unit and the moving image storage unit may be provided.
  • the sensor device SV may transmit a moving image in response to a request from the management server device SV or the terminal devices SP and TA.
  • the management server device SV may include the image acquisition unit, the multiple person determination unit, and the moving image storage processing unit instead of the second moving image processing unit 223.
  • the SV communication IF unit 21 corresponds to another example of an image acquisition unit that acquires an image including at least a moving image.
  • the sensor unit SU uses the imaging unit 11 as a moving image.
  • the generation of an image is started and this moving image is transmitted to the management server device SV.
  • the generation of the moving image is ended in the imaging unit 11
  • the transmission of the moving image to the management server device SV is ended, but the timing (condition) for ending the generation of the moving image is not limited to this, and can be changed as appropriate.
  • the sensor device SU is configured to determine that the plurality of people are not included in the target image by the multiple-person determining unit 145.
  • the first moving image processing unit 146 may cause the imaging unit 11 to finish generating the moving image and end the transmission of the moving image to the management server device SV. According to this, the generation of a moving image is not terminated after the predetermined time has elapsed, but a moving image can be generated as long as a plurality of people are shown in the target image.
  • the sensor device SU starts the generation of the moving image and transmits it to the management server device SV after determining that a plurality of people are included in the target image by the plurality of people determination unit 145, and further transmits the plurality of people. If a human distance is obtained and the distance is outside a preset range, the generation of the moving image may be terminated and the transmission of the moving image to the management server device SV may be terminated. More specifically, for example, the actual length per pixel (pixel) obtained by calculation or actual measurement by taking into account the magnification of the optical system in the imaging unit 11, the arrangement position of the imaging unit 11, and the like.
  • the multiple person determination unit 145 further determines the distance between the multiple persons based on the actual length per pixel at predetermined time intervals. Then, it is determined whether or not the determined distance is within a preset range, and the determination result is notified to the first moving image processing unit 146.
  • the said range is set to 1.5m, 2m, 2.5m etc., for example.
  • the imaging unit 11 ends the generation of the moving image, and the transmission of the moving image to the management server device SV ends. According to this, even if there are a plurality of people, they do not interfere with each other by being separated by a predetermined distance (for example, one does not harm the other), and recording is stopped to minimize the recording time. Can be suppressed.
  • the distance between the plurality of persons may be taken into consideration at the timing of starting generation of a moving image. That is, after determining that a plurality of persons are included in the target image by the plurality of person determination unit 145, the sensor device SU further obtains a distance between the plurality of persons, and the distance is within a preset range. Then, the generation of the moving image is started and transmitted to the management server device SV. Thereafter, the distance between the plurality of persons is obtained, and when the distance is out of a preset range, the generation of the moving image is terminated. Then, the transmission of the moving image to the management server device SV may be terminated.
  • the multiple person determination unit 145 further obtains the distance between the multiple persons based on the actual length per pixel. Then, it is determined whether or not the obtained distance is within a preset range, and when the distance is within the preset range, the first moving image processing unit 146 generates the moving image. Start and transmit the moving image to the management server device SV.
  • the multi-person determination unit 145 further obtains the distances of the plural persons based on the actual length per pixel for each predetermined time interval, and the obtained distance is within a preset range. It is determined whether or not there is, and the determination result is notified to the first moving image processing unit 146.
  • the first moving image processing unit 146 determines that the multiple-person determining unit 145 is out of the range, the first moving image processing unit 146 ends the generation of the moving image in the imaging unit 11 and ends the transmission of the moving image to the management server device SV. To do. According to this, even if there are a plurality of persons, the recording time can be suppressed to a minimum without interfering with each other by being separated by a predetermined distance.
  • a monitored person monitoring apparatus is a monitored person monitoring apparatus that detects a predetermined event related to a monitored person who is a monitoring target and notifies the event, and acquires an image including at least a moving image.
  • the determination unit and the multiple-person determination unit determine that a plurality of people are included in the image
  • the moving image acquired by the image acquisition unit is started to be stored and the moving image is stored in the moving image storage unit.
  • a moving image storage processing unit for storing.
  • the monitored person monitoring device includes a sensor device and a management server device that is communicably connected to the sensor device, and the moving image storage processing unit includes a plurality of persons in the image by the multi-person determination unit.
  • a first moving image processing unit that starts distribution of a moving image acquired by the image acquisition unit, and a moving image distributed by the first moving image processing unit;
  • a second moving image processing unit that stores the image, the sensor device includes the image acquisition unit, the multi-person determination unit, and the first moving image processing unit, and the first moving image processing unit includes the moving image
  • An image is distributed to a management server device, and the management server device includes the moving image storage unit and the second moving image processing unit.
  • the moving image storage processing unit ends the storage of the moving image after a predetermined time has elapsed after starting the storage of the moving image.
  • the first moving image processing unit ends the moving image distribution after a predetermined time has elapsed after starting the moving image distribution.
  • the predetermined event is a predetermined action in the monitored person.
  • the predetermined event is a nurse call.
  • Such a monitored person monitoring device includes the plural person determination unit and the moving image storage processing unit, and starts to store moving images when it is determined that a plurality of persons are included in the image.
  • a moving image is recorded when there is a high possibility that there is a person other than the monitored person.
  • the monitored person monitoring apparatus does not always store a moving image, so that the privacy of the monitored person can be considered.
  • the monitored person monitoring device functions as a so-called monitoring camera and can suppress the occurrence of theft or the like.
  • the monitored person monitoring device can record the state of care or assistance for the monitored person. Therefore, the monitored person monitoring device can suppress the occurrence of theft or the like while taking into account the privacy of the monitored person, and can record the state of care or assistance.
  • the moving image storage processing unit further executes the event before the multiple person determination unit determines that a plurality of persons are included in the image.
  • the notification is made, storage of the moving image acquired by the image acquisition unit is started and the moving image is stored in the moving image storage unit.
  • the monitor who has received the event notification at the terminal device goes under the monitored person as necessary. For this reason, there is a high possibility that the other person is a monitor. Accordingly, the monitored person monitoring apparatus can suitably record the state of care or assistance.
  • the above-described monitored person monitoring device further includes a sound input unit for inputting sound
  • the moving image storage processing unit includes a plurality of persons in the image by the multiple-person determination unit. Before or after the determination is made, and when the sound input by the sound input unit is equal to or higher than a predetermined first threshold, storage of the moving image acquired by the image acquisition unit is started and the moving image is stored. It memorize
  • the monitored person monitoring apparatus can preferably record the state of an accident or incident.
  • the above-described monitored person monitoring device further includes a window detection unit that detects that a window has been opened, and the moving image storage processing unit includes a plurality of persons in the image by the multiple-person determination unit.
  • the window detection unit detects that a window has been opened
  • storage of the moving image acquired by the image acquisition unit is started and the moving image is stored. It memorize
  • the monitored person monitoring apparatus can preferably record the state of an accident or incident.
  • the above-described monitored person monitoring device further includes an operation detection unit that detects an operation speed or an operation acceleration of a person
  • the moving image storage processing unit includes a plurality of images on the image by the multi-person determination unit. Storage of the moving image acquired by the image acquisition unit before or after the determination that a person is photographed, and when the operation speed or the acceleration detected by the operation detection unit is equal to or greater than a predetermined second threshold. And the moving image is stored in the moving image storage unit.
  • the monitored person monitoring apparatus can preferably record the state of an accident or incident.
  • a monitored person monitoring method is a monitored person monitoring method that detects a predetermined event related to a monitored person who is a monitoring target and notifies the event, and includes an image including at least a moving image.
  • a plurality of persons determination step for determining whether or not, and when the plurality of persons determination step determines that a plurality of persons are included in the image, storage of the moving image acquired in the image acquisition step is started and the moving image Is stored in the moving image storage unit.
  • Such a monitored person monitoring method includes the multiple person determination step and the moving image storage processing step, and starts to store moving images when it is determined that a plurality of persons are captured in the image.
  • a moving image is recorded when there is a high possibility that there is a person other than the monitored person.
  • the monitored person monitoring method since the monitored person monitoring method does not always store moving images, the privacy of the monitored person can be considered.
  • the other person is a person who intends to steal or the like
  • the monitored person monitoring method functions as a so-called surveillance camera and can suppress the occurrence of theft or the like.
  • the monitored person monitoring method can record the state of care or assistance for the monitored person. Therefore, the monitored person monitoring method can suppress the occurrence of theft or the like while considering the privacy of the monitored person, and can record the state of care or assistance.
  • a monitored person monitoring system is connected to a terminal device and the terminal device so as to be communicable, detects a predetermined event relating to a monitored person who is a monitoring target, and transmits the event to the terminal device.
  • a monitored person monitoring system including a monitored person monitoring apparatus for notification, wherein the monitored person monitoring apparatus is any one of the above-described monitored person monitoring apparatuses.
  • the monitoring apparatus includes a sensor device and a management server device connected to be communicable with the sensor device, and the sensor device is a monitored object.
  • the management server device is notified of the predetermined event related to a person, and the management server device re-notifies the terminal device when the notification is received from the sensor device.
  • a first moving image processing unit that starts distribution of a moving image acquired by the image acquiring unit when the multi-person determining unit determines that a plurality of people are included in the image; and the first moving image processing unit And a second moving image processing unit that stores the moving image distributed in the moving image storage unit, and the sensor device includes the image acquisition unit, the multi-person determination unit, and the first moving image processing unit.
  • the first Moving picture processing unit distributes the moving image to the management server apparatus, the management server apparatus comprises the moving image storage unit and the second moving picture processing unit.
  • Such a monitored person monitoring system includes any one of the above-described monitored person monitoring devices, it is possible to suppress theft and the like while considering the privacy of the monitored person, and record the state of care or assistance it can.
  • a monitored person monitoring device a monitored person monitoring method, and a monitored person monitoring system can be provided.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Nursing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Alarm Systems (AREA)
  • Accommodation For Nursing Or Treatment Tables (AREA)
  • Interconnected Communication Systems, Intercoms, And Interphones (AREA)
  • Telephonic Communication Services (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

本発明にかかる被監視者監視装置、該方法および該システムは、被監視者に関わる所定のイベントを検知して前記イベントを通知し、少なくとも動画像を含む画像を取得し、この取得した画像に基づいて前記画像に複数人が写っているか否かを判定し、前記画像に複数人が写っていると判定した場合に、前記取得した動画像の記憶を開始して前記動画像を動画像記憶部に記憶する。

Description

被監視者監視装置、該方法および該システム
 本発明は、監視すべき監視対象である被監視者を監視する被監視者監視装置、被監視者監視方法および被監視者監視システムに関する。
 我が国(日本)は、戦後の高度経済成長に伴う生活水準の向上、衛生環境の改善および医療水準の向上等によって、高齢化社会、より詳しくは、総人口に対する65歳以上の人口の割合である高齢化率が21%を超える超高齢化社会になっている。2005年では、総人口約1億2765万人に対し65歳以上の高齢者人口は、約2556万人であったのに対し、2020年では、総人口約1億2411万人に対し高齢者人口は、約3456万人となる予測もある。このような高齢化社会では、病気や怪我や高齢等による看護や介護を必要とする要看護者や要介護者(要看護者等)は、高齢化社会ではない通常の社会で生じる要看護者等よりもその増加が見込まれる。そして、我が国は、例えば2013年の合計特殊出生率が1.43という少子化社会でもある。そのため、高齢な要看護者等を高齢の家族(配偶者、子、兄弟)が介護する老老介護も起きて来ている。
 要看護者等は、病院や、老人福祉施設(日本の法令では老人短期入所施設、養護老人ホームおよび特別養護老人ホーム等)等の施設に入所し、その看護や介護を受ける。このような施設では、要看護者等が、例えばベッドからの転落や歩行中の転倒等によって怪我を負ったり、ベッドから抜け出して徘徊したりするなどの事態が生じ得る。このような事態に対し、可及的速やかに対応する必要がある。このような事態を放置しておくとさらに重大な事態に発展してしまう可能性もある。このため、前記施設では、看護師や介護士等は、定期的に巡視することによってその安否や様子を確認している。
 しかしながら、要看護者等の増加数に対し看護師等の増加数が追い付かずに、看護業界や介護業界では、慢性的に人手不足になっている。さらに、日勤の時間帯に較べ、準夜勤や夜勤の時間帯では、看護師や介護士等の人数が減るため、一人当たりの業務負荷が増大するので、前記業務負荷の軽減が要請される。また、前記老老介護の事態は、前記施設でも例外ではなく、高齢の要看護者等を高齢の看護師等がケアすることもしばしば見られる。一般に高齢になると体力が衰えるため、健康であっても若い看護師等に比し看護等の負担が重くなり、また、その動きや判断も遅くなる。
 このような人手不足や看護師等の負担を軽減するため、看護業務や介護業務を補完する技術が求められている。このため、近年では、要看護者等の、監視すべき監視対象である被監視者を監視(モニタ)する被監視者監視技術が研究、開発されている。
 このような技術の一つとして、例えば特許文献1に開示されたナースコールシステムがある。この特許文献1に開示されたナースコールシステムは、ベッドに設置されて患者が看護師を呼び出すためのナースコール子機と、ナースステーションに設置されて前記ナースコール子機による呼び出しに応答するためのナースコール親機とを有するナースコールシステムであって、ベッド上の患者をベッド上方から撮像するカメラと、前記カメラの撮像映像から、患者が上半身を起こした状態及び患者がベッド上から離れた状態のうち少なくとも一方の発生を判断して注意状態発生信号を出力する状態判断手段とを有し、前記ナースコール親機は、前記注意状態発生信号を受けて報知動作する報知手段を有する。そして、このナースコールシステムは、前記ナースコール子機からの呼び出しに応答するために看護師が携行する携帯端末と、前記注意状態発生信号を受けて、前記カメラの撮像映像を前記携帯端末に送信する通信制御手段とを有する。
 一方、安否確認の点では、一人暮らしの独居者も前記要介護者等と同様であり、被監視対象者となる。
 前記特許文献1に開示されたナースコールシステムのように、カメラの映像が端末装置に表示されると、看護師等の監視者は、要看護者等の被監視者の状況を視覚で把握できるため、便利である。ところで、被監視者の中には、あまり行動できない者や寝たきりの者等も存在するため、盗難等の防止が望まれる。また被監視者に対する介護や介助の様子を記録したいとの要望もある。前記特許文献1に開示されたナースコールシステムでは、カメラで映像を撮ることができるので、この映像を記録できる。しかしながら、単に映像を記録して行くと、大きな記憶容量が必要となるため、望ましくなく、また、被監視者のプライバシーも考慮されないため、望ましくない。
特開2014-90913号公報
 本発明は、上述の事情に鑑みて為された発明であり、その目的は、被監視者のプライバシーを考慮しつつ、盗難等の発生を抑制でき、介護や介助の様子を記録できる被監視者監視装置、被監視者監視方法および被監視者監視システムを提供することである。
 本発明にかかる被監視者監視装置、被監視者監視方法および被監視者監視システムは、被監視者に関わる所定のイベントを検知して前記イベントを通知し、少なくとも動画像を含む画像を取得し、この取得した画像に基づいて前記画像に複数人が写っているか否かを判定し、前記画像に複数人が写っていると判定した場合に、前記取得した動画像の記憶を開始して前記動画像を動画像記憶部に記憶する。
 上記並びにその他の本発明の目的、特徴及び利点は、以下の詳細な記載と添付図面から明らかになるであろう。
実施形態における被監視者監視システムの構成を示す図である。 図1に示す被監視者監視システムにおけるセンサ装置の構成を示す図である。 図1に示す被監視者監視システムにおける管理サーバ装置の構成を示す図である。 図3に示す前記管理サーバ装置に記憶されるサーバ側監視情報テーブルの構成を示す図である。 図3に示す前記管理サーバ装置に記憶される装置間情報テーブルの構成を示す図である。 図3に示す前記管理サーバ装置に記憶されるサーバ側センサ情報テーブルの構成を示す図である。 図1に示す被監視者監視システムにおける携帯端末装置の構成を示す図である。 図2に示す前記センサ装置の動作を示すフローチャートである。 図3に示す前記管理サーバ装置の動作を示すフローチャートである。 図7に示す前記携帯端末装置の動作を示すフローチャートである。 図7に示す携帯端末装置に表示される待受け画面の一例を示す図である。 図7に示す携帯端末装置に表示される監視情報画面の一例を示す図である。 図7に示す携帯端末装置に表示されるナースコール受付画面の一例を示す図である。 図7に示す携帯端末装置に表示されるサブメニュー画面の一例を示す図である。 図7に示す前記携帯端末装置に表示される動画像選択画面の一例を示す図である。 図7に示す携帯端末装置に表示される動画表示画面の一例を示す図である。
 以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
 実施形態における被監視者監視システムは、監視すべき(見守るべき)監視対象(見守り対象)である被監視者(見守り対象者)Obを監視するものであり、端末装置と、前記端末装置と通信可能に接続される被監視者監視装置とを備える。この被監視者監視システムにおける被監視者監視装置は、被監視者に関わる所定のイベントを検知して前記イベントを前記端末装置へ通知する被監視者監視装置であって、少なくとも動画像を含む画像を取得する画像取得部と、前記画像取得部で取得した動画像を記憶する動画像記憶部と、前記画像取得部で取得した画像に基づいて前記画像に複数人が写っているか否かを判定する複数人判定部と、前記複数人判定部で前記画像に複数人が写っていると判定した場合に、前記画像取得部で取得した動画像の記憶を開始して前記動画像を前記動画像記憶部に記憶する動画像記憶処理部とを備える。このような被監視者監視装置は、1個の装置で一体に構成されて良いが、本実施形態では、被監視者監視装置は、センサ装置と、前記センサ装置および前記端末装置それぞれと通信可能に接続される管理サーバ装置とを備えることで、2種類の各装置で別体に構成される。この態様では、一例では、好ましくは、前記動画像記憶処理部は、前記複数人判定部で前記画像に複数人が写っていると判定した場合に、前記画像取得部で取得した動画像の配信を開始する第1動画像処理部と、前記第1動画像処理部で配信された動画像を前記動画像記憶部に記憶する第2動画像処理部とを備えて構成される。前記センサ装置は、前記画像取得部、前記複数人判定部および前記第1動画像処理部を備え、前記第1動画像処理部は、前記動画像を管理サーバ装置へ配信し、前記管理サーバ装置は、前記動画像記憶部および前記第2動画像処理部を備える。このような被監視者監視装置において、好ましくは、前記動画像記憶処理部は、前記動画像の記憶を開始した後、所定の時間の経過後に、前記動画像の記憶を終了する。上述の場合では、好ましくは、前記第1動画像処理部は、前記動画像の配信を開始した後、所定の時間の経過後に、前記動画像の配信を終了する。なお、前記端末装置は、1種類の装置であって良いが、本実施形態態では、前記端末装置は、固定端末装置と携帯端末装置との2種類の装置である。これら固定端末装置と携帯端末装置との主な相違は、固定端末装置が固定的に運用される一方、携帯端末装置が例えば看護師や介護士等の監視者(ユーザ)に携行されて運用される点であり、これら固定端末装置と携帯端末装置とは、略同様であるので、以下の実施形態では、携帯端末装置を主に説明する。
 図1は、実施形態における被監視者監視システムの構成を示す図である。図2は、実施形態の被監視者監視システムにおけるセンサ装置の構成を示す図である。図3は、実施形態の被監視者監視システムにおける管理サーバ装置の構成を示す図である。図4は、図3に示す前記管理サーバ装置に記憶されるサーバ側監視情報テーブルの構成を示す図である。図5は、図3に示す前記管理サーバ装置に記憶される装置間情報テーブルの構成を示す図である。図5Aは、装置間情報テーブルのうちの通知先対応関係情報テーブルの構成を示し、図5Bは、装置間情報テーブルのうちの通信アドレス対応関係情報テーブルの構成を示す。図6は、図3に示す前記管理サーバ装置に記憶されるサーバ側センサ情報テーブルの構成を示す図である。図7は、実施形態の被監視者監視システムにおける携帯端末装置の構成を示す図である。
 実施形態における被監視者監視システムMSは、より具体的には、例えば、図1に示すように、1または複数のセンサ装置SU(SU-1~SU-4)と、管理サーバ装置SVと、固定端末装置SPと、1または複数の携帯端末装置TA(TA-1、TA-2)と、構内交換機(PBX、Private branch exchange)CXとを備え、これらは、有線や無線で、LAN(Local Area Network)等の網(ネットワーク、通信回線)NWを介して通信可能に接続される。ネットワークNWは、通信信号を中継する例えばリピーター、ブリッジおよびルーター等の中継機が備えられても良い。図1に示す例では、これら複数のセンサ装置SU-1~SU-4、管理サーバ装置SV、固定端末装置SP、複数の携帯端末装置TA-1、TA-2および構内交換機CXは、L2スイッチの集線装置(ハブ、HUB)LSおよびアクセスポイントAPを含む有線および無線の混在したLAN(例えばIEEE802.11規格に従ったLAN等)NWによって互いに通信可能に接続されている。より詳しくは、複数のセンサ装置SU-1~SU-4、管理サーバ装置SV、固定端末装置SPおよび構内交換機CXは、集線装置LSに接続され、複数の携帯端末装置TA-1、TA-2は、アクセスポイントAPを介して集線装置LSに接続されている。そして、ネットワークNWは、TCP(Transmission control protocol)およびIP(Internet protocol)等のインターネットプロトコル群が用いられることによっていわゆるイントラネットを構成する。
 被監視者監視システムMSは、被監視者Obに応じて適宜な場所に配設される。被監視者(見守り対象者)Obは、例えば、病気や怪我等によって看護を必要とする者や、身体能力の低下等によって介護を必要とする者や、一人暮らしの独居者等である。特に、早期発見と早期対処とを可能にする観点から、被監視者Obは、例えば異常状態等の所定の不都合な事象がその者に生じた場合にその発見を必要としている者であることが好ましい。このため、被監視者監視システムMSは、被監視者Obの種類に応じて、病院、老人福祉施設および住戸等の建物に好適に配設される。図1に示す例では、被監視者監視システムMSは、複数の被監視者Obが入居する複数の居室RMや、ナースステーション等の複数の部屋を備える介護施設の建物に配設されている。
 センサ装置SUは、ネットワークNWを介して他の装置SV、SP、TAと通信する通信機能等を備え、被監視者Obに関わる所定のイベント(事象)を、管理サーバ装置SVへ通知する装置である。前記所定のイベント(事象)は、好適には対処が必要な所定のイベントであり、例えば、本実施形態では、被監視者Obにおける予め設定された所定の行動およびナースコールである。このため、本実施形態では、センサ装置SUは、被監視者Obにおける所定の行動を検知して検知結果を前記所定のイベントの一例として管理サーバ装置SVへ通知(送信)し、ナースコールを受け付けて前記ナースコールを前記所定のイベントの他の一例として管理サーバ装置SVへ通知(送信)し、端末装置SP、TAとの間で音声通話を行い、動画を含む画像を生成して端末装置SP、TAへ動画を配信する装置である。本実施形態では、センサ装置SUは、撮像対象の画像に複数人が写っているか否かを判定し、この判定の結果、撮像対象の画像に複数人が写っていると判定した場合、動画像を記録(記憶)すべく、動画像の配信を開始して所定の時間だけ配信し、撮像対象の画像に複数人が写っていると判定しない場合、動画像を配信しない。このようなセンサ装置SUは、例えば、図2に示すように、撮像部11と、センサ側音入出力部(SU音入出力部)12と、ナースコール受付操作部13と、センサ側制御処理部(SU制御処理部)14と、センサ側通信インターフェース部(SU通信IF部)15と、センサ側記憶部(SU記憶部)16とを備える。
 撮像部11は、SU制御処理部14に接続され、SU制御処理部14の制御に従って、画像(画像データ)を生成する装置である。前記画像には、静止画(静止画データ)および動画(動画データ)が含まれる。撮像部11は、監視すべき監視対象である被監視者Obが所在を予定している空間(所在空間、図1に示す例では配設場所の居室(部屋)RM)を監視可能に配置され、前記所在空間を撮像対象としてその上方から撮像し、前記撮像対象を俯瞰した画像(画像データ)を生成し、前記撮像対象の画像(対象画像)をSU制御処理部14へ出力する。好ましくは、監視対象の被監視者Ob全体を撮像できる蓋然性が高いことから、撮像部11は、被監視者Obが横臥する寝具(例えばベッド等)における、被監視者Obの頭部が位置すると予定されている予め設定された頭部予定位置(通常、枕の配設位置)の直上から撮像対象を撮像できるように配設される。センサ装置SUは、この撮像部11によって、被監視者Obを、被監視者Obの上方から撮像した画像、好ましくは前記頭部予定位置の直上から撮像した画像を取得する。
 このような撮像部11は、可視光の画像を生成する装置であって良いが、比較的暗がりでも被監視者Obを監視できるように、本実施形態では、赤外線の画像を生成する装置である。このような撮像部11は、例えば、本実施形態では、撮像対象における赤外の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記撮像対象における赤外の光学像を電気的な信号に変換するエリアイメージセンサ、および、エリアイメージセンサの出力を画像処理することで前記撮像対象における赤外の画像を表すデータである画像データを生成する画像処理部等を備えるデジタル赤外線カメラである。撮像部11の前記結像光学系は、本実施形態では、その配設された居室RM全体を撮像できる画角を持つ広角な光学系(いわゆる広角レンズ(魚眼レンズを含む))であることが好ましい。
 SU音入出力部12は、音を入出力する回路である。すなわち、SU音入出力部12は、SU制御処理部14に接続され、SU制御処理部14の制御に従って音を表す電気信号に応じた音を生成して出力するための回路であって、外部の音を取得してセンサ装置SUに入力するための回路である。SU音入出力部12は、例えば、音の電気信号(音データ)を音の機械振動信号(音響信号)に変換するスピーカ等と、可聴領域の音の機械振動信号を電気信号に変換するマイクロフォン等とを備えて構成される。SU音入出力部12は、外部の音を表す電気信号をSU制御処理部14へ出力し、また、SU制御処理部14から入力された電気信号を音の機械振動信号に変換して出力する。
 ナースコール受付操作部13は、SU制御処理部14に接続され、ナースコールを当該センサ装置SUに入力するための例えば押しボタン式スイッチ等のスイッチ回路である。なお、ナースコール受付操作部13は、有線でSU制御処理部14に接続されて良く、また、例えばBluetooth(登録商標)規格等の近距離無線通信でSU制御処理部14に接続されて良い。
 SU通信IF部15は、SU制御処理部14に接続され、SU制御処理部14の制御に従って通信を行うための通信回路である。SU通信IF部15は、SU制御処理部14から入力された転送すべきデータを収容した通信信号を、この被監視者監視システムMSのネットワークNWで用いられる通信プロトコルに従って生成し、この生成した通信信号をネットワークNWを介して他の装置SV、SP、TAへ送信する。SU通信IF部15は、ネットワークNWを介して他の装置SV、SP、TAから通信信号を受信し、この受信した通信信号からデータを取り出し、この取り出したデータをSU制御処理部14が処理可能な形式のデータに変換してSU制御処理部14へ出力する。SU通信IF部15は、例えば、IEEE802.11規格等に従った通信インターフェース回路を備えて構成される。
 SU記憶部16は、SU制御処理部14に接続され、SU制御処理部14の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、センサ装置SUの各部を当該各部の機能に応じてそれぞれ制御するSU制御プログラムや、被監視者Obに対する監視に関する所定の情報処理を実行するSU監視処理プログラム等の制御処理プログラムが含まれる。前記SU監視処理プログラムには、被監視者Obにおける所定の行動を検知して検知結果を前記所定のイベント(事象)の一例として管理サーバ装置SVを介して所定の端末装置SP、TAへ通知する行動検知処理プログラムや、ナースコール受付操作部13でナースコールを受け付けた場合にその旨を前記所定のイベントの他の一例として管理サーバ装置SVへ通知し、SU音入出力部12等を用いることで端末装置SP、TAとの間で音声通話を行うナースコール処理プログラムや、撮像部11で生成した動画を、その動画を要求した端末装置SP、TAへストリーミングで配信するSUストリーミング処理プログラムや、撮像部11で取得した画像に基づいて前記画像に複数人が写っているか否かを判定する複数人判定プログラムや、前記複数人判定プログラムで前記画像に複数人が写っていると判定した場合に、撮像部11で取得した動画像の配信を開始する第1動画像処理プログラム等が含まれる。前記各種の所定のデータには、自機の、センサ装置SUを特定し識別するための識別子であるセンサ装置識別子(センサID)、および、管理サーバ装置SVの通信アドレス等の、各プログラムを実行する上で必要なデータ等が含まれる。SU記憶部16は、例えば不揮発性の記憶素子であるROM(Read Only Memory)や書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)等を備える。そして、SU記憶部16は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆるSU制御処理部14のワーキングメモリとなるRAM(Random Access Memory)等を含む。
 SU制御処理部14は、センサ装置SUの各部を当該各部の機能に応じてそれぞれ制御し、被監視者Obに関わる、対処が必要な所定のイベント(事象)を、管理サーバ装置SVへ通知するための回路である。より具体的には、本実施形態では、SU制御処理部14は、被監視者Obにおける所定の行動を検知してその検知結果を前記所定のイベントの一例として管理サーバ装置SVへ通知(報知、送信)し、ナースコールを受け付けてそのナースコールを前記所定のイベントの他の一例として管理サーバ装置SVへ通知(報知、送信)し、端末装置SP、TAとの間で音声通話を行い、動画を含む画像を生成して端末装置SP、TAへ動画を配信し、自立性の判定のために、画像を時間的に連続して管理サーバ装置へ送信する。本実施形態では、SU制御処理部14は、撮像対象の画像に複数人が写っているか否かを判定し、この判定の結果、撮像対象の画像に複数人が写っていると判定した場合、動画像を記録(記憶)すべく、動画像の配信を開始して所定の時間だけ管理サーバ装置SVへ配信し、撮像対象の画像に複数人が写っていると判定しない場合、動画像を配信しない。SU制御処理部14は、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。SU制御処理部14は、前記制御処理プログラムが実行されることによって、センサ側制御部(SU制御部)141、行動検知処理部142、ナースコール処理部143、センサ側ストリーミング処理部(SUストリーミング処理部)144、複数人判定部145および第1画像処理部146(146a~146e)を機能的に備える。
 SU制御部141は、センサ装置SUの各部を当該各部の機能に応じてそれぞれ制御し、センサ装置SUの全体制御を司るものである。
 行動検知処理部142は、被監視者Obにおける、予め設定された所定の行動を検知して検知結果を前記所定のイベントの一例として管理サーバ装置SVへ通知するものである。より具体的には、本実施形態では、前記所定の行動は、例えば、被監視者Obが起きた起床、被監視者Obが寝具から離れた離床、被監視者Obが寝具から落ちた転落、および、被監視者Obが倒れた転倒の4つの行動である。行動検知処理部142は、例えば、撮像部11で撮像した対象画像に基づいて被監視者Obの頭部を検出し、この検出した被監視者Obの頭部における大きさの時間変化に基づいて被監視者Obの起床、離床、転倒および転落を検知する。より詳しくは、まず、寝具BDの所在領域、および、第1ないし第3閾値Th1~Th3が前記各種の所定のデータの1つとして予めSU記憶部16に記憶される。前記第1閾値Th1は、寝具BDの所在領域内における横臥姿勢の頭部の大きさと座位姿勢の頭部の大きさとを識別するための値である。前記第2閾値Th2は、寝具BDの所在領域を除く居室RM内における立位姿勢の頭部の大きさであるか否かを識別するための値である。前記第3閾値Th3は、寝具BDの所在領域を除く居室RM内における横臥姿勢の頭部の大きさであるか否かを識別するための値である。行動検知処理部142は、対象画像から例えば背景差分法やフレーム差分法によって被監視者Obの人物の領域として動体領域を抽出する。次に、行動検知処理部142は、この抽出した動体領域から、例えば円形や楕円形のハフ変換によって、また例えば予め用意された頭部のモデルを用いたパターンマッチングによって、また例えば頭部検出用に学習したニューラルネットワークによって、被監視者Obの頭部領域を抽出する。そして、行動検知処理部142は、この抽出した頭部の位置および大きさから起床、離床、転倒および転落を検知する。例えば、行動検知処理部は、この抽出した頭部の位置が寝具BDの所在領域内であって、前記抽出した頭部の大きさが前記第1閾値Th1を用いることによって横臥姿勢の大きさから座位姿勢の大きさへ時間変化した場合には、起床と判定し、前記起床を検知する。例えば、行動検知処理部142は、この抽出した頭部の位置が寝具BDの所在領域内から寝具の所在領域外へ時間変化した場合であって、前記抽出した頭部の大きさが前記第2閾値Th2を用いることによって或る大きさから立位姿勢の大きさへ時間変化した場合には、離床と判定し、前記離床を検知する。例えば、行動検知処理部142は、この抽出した頭部の位置が寝具BDの所在領域内から寝具BDの所在領域外へ時間変化した場合であって、前記抽出した頭部の大きさが前記第3閾値Th3を用いることによって或る大きさから横臥姿勢の大きさへ時間変化した場合には、転落と判定し、前記転落を検知する。例えば、行動検知処理部142は、この抽出した頭部の位置が寝具BDの所在領域を除く居室RM内であって、前記抽出した頭部の大きさが前記第3閾値Th3を用いることによって或る大きさから横臥姿勢の大きさへ時間変化した場合には、転倒と判定し、前記転倒を検知する。
 このように前記所定の行動を検知すると、行動検知処理部142は、被監視者Obに関わる所定のイベント(事象)の内容を表すイベント情報(事象情報)を収容した、前記イベントを通知するための第1イベント通知通信信号をSU通信IF部15で管理サーバ装置SVへ通知する。より詳しくは、行動検知処理部142は、自機のセンサID、前記イベントの内容を表すイベント情報、前記所定の行動の検知に用いられた対象画像を収容した通信信号(第1イベント通知通信信号)を、SU通信IF部15を介して管理サーバ装置SVへ送信する。前記イベント情報は、本実施形態では、起床、離床、転落、転倒およびナースコール(NC)のうちの1または複数であり、ここでは、行動検知処理部142は、検知した起床、離床、転落および転倒のうちの1または複数を前記イベント情報として第1イベント通知通信信号に収容する。前記画像は、静止画および動画のうちの少なくとも一方であって良く、本実施形態では、後述するように、まず、静止画が報知され、ユーザの要求に応じて動画が配信される。なお、まず、動画が配信されても良く、また、静止画および動画が送信され、画面分割で静止画および動画が端末装置SP、TAに表示されても良い。
 ナースコール処理部143は、ナースコール受付操作部13でナースコールを受け付けた場合にその旨を前記所定のイベントの他の一例として収容した第1イベント通知通信信号を管理サーバ装置SVへ通知し、SU音入出力部12等を用いることで端末装置SP、TAとの間で音声通話を行うものである。より具体的には、ナースコール処理部143は、ナースコール受付操作部13が入力操作されると、自機のセンサIDおよび前記イベント情報としてナースコールを収容した第1イベント通知通信信号をSU通信IF部15を介して管理サーバ装置SVへ送信する。ナースコール処理部143は、SU音入出力部12等を用い、端末装置SP、TAとの間で例えばVoIP(Voice over Internet Protocol)によって音声通話を行う。
 SUストリーミング処理部144は、通信IF部3を介して固定端末装置SPまたは携帯端末装置TAから動画の配信の要求があった場合に、この要求のあった固定端末装置SPまたは携帯端末装置TAへ、撮像部11で生成した動画(例えばライブの動画)をストリーミング再生でSU通信IF部15を介して配信するものである。
 複数人判定部145は、撮像部11で取得した画像に基づいて前記画像に複数人が写っているか否かを判定するものである。より具体的には、複数人判定部145は、撮像部11で取得した対象画像から例えば背景差分法やフレーム差分法によって人物の領域として動体領域を抽出し、この抽出した動体領域が複数であるか否かを判定することによって、複数人が写っているか否かを判定する。この判定の結果、前記抽出した動体領域が複数である場合(2以上である場合)には、複数人判定部145は、前記対象画像に複数人が写っていると判定し、前記抽出した動体領域が1個以下である場合には、複数人判定部145は、前記対象画像に複数人が写っていないと判定する。なお、人物の領域は、所定の第1大きさ(第1サイズ、第1面積)以上、所定の第2大きさ(第2サイズ、第2面積)以下と考えられるので、予め複数のサンプルから前記第1および第2大きさそれぞれが決められ、複数人判定部145は、前記抽出した動体領域のうち、前記第1大きさ以上、前記第2大きさ以下の動体領域を人物の領域としても良い。すなわち、複数人判定部145は、前記抽出した動体領域のうち、前記第1大きさ未満の動体領域を無視して人物の領域として計数せず、前記抽出した動体領域のうち、前記第2大きさを越える動体領域を無視して人物の領域として計数しない。
 第1動画像処理部146は、複数人判定部145で前記対象画像に複数人が写っていると判定した場合に、撮像部11で取得した動画像の配信を管理サーバ装置SVへ開始するものである。より具体的には、第1動画像処理部146は、自機のセンサIDを収容し、さらに、撮像部11で取得した動画像を所定のフレーム数ずつ収容した通信信号(動画像配信通信信号)を予め設定された所定の時間だけ順次に生成し、これら順次に生成された各動画配信通信信号それぞれを管理サーバ装置SVへ送信する。これら順次に送信される各動画像配信通信信号における最後の動画像配信通信信号には、最後の配信であることを表す情報(配信終了情報)が収容される。管理サーバ装置SVは、後述するように、各動画配信通信信号を受信すると、その収容された動画像をセンサIDと対応付けて記憶(記録)する。なお、各動画像配信通信信号には、前記動画を管理サーバ装置SVに記憶(記録)させる指示(コマンド)が収容されても良い。
 図1には、一例として、4個の第1ないし第4センサ装置SU-1~SU-4が示されており、第1センサ装置SU-1は、被監視者Obの一人であるAさんOb-1の居室RM-1(不図示)に配設され、第2センサ装置SU-2は、被監視者Obの一人であるBさんOb-2の居室RM-2(不図示)に配設され、第3センサ装置SU-3は、被監視者Obの一人であるCさんOb-3の居室RM-3(不図示)に配設され、そして、第4センサ装置SU-4は、被監視者Obの一人であるDさんOb-4の居室RM-4(不図示)に配設されている。
 管理サーバ装置SVは、ネットワークNWを介して他の装置SU、TA、SPと通信する通信機能を備え、センサ装置SUから前記所定のイベントの通知を受けると、被監視者Obに対する監視に関する情報(監視情報(本実施形態では例えば前記所定のイベント(センサ装置SUで検知した所定の行動の種類やセンサ装置SUで受け付けたナースコール)、被監視者Obの画像(静止画および動画)、および、前記通知を受けた時刻等))を管理し、前記所定のイベントを所定の端末装置SP、TAへ通知(再通知、再報知、送信)し、クライアント(本実施形態では端末装置SP、TA等)の要求に応じたデータを前記クライアントに提供し、被監視者監視システムMS全体を管理する装置である。本実施形態では、管理サーバ装置SVは、センサ装置SUからネットワークNWを介して動画像配信通信信号を受信すると、この受信した動画像配信通信信号に収容された動画像の記憶(記録)を開始して前記動画像をセンサ装置SU(センサID、言い換えれば、センサ装置SUが配設されている部屋RMに居る被監視者Ob)と対応付けて記憶(記録)する。このような管理サーバ装置SVは、例えば、図3に示すように、サーバ側通信インターフェース部(SV通信IF部)21と、サーバ側制御処理部(SV制御処理部)22と、サーバ側記憶部(SV記憶部)23とを備える。
 SV通信IF部21は、SU通信IF部15と同様に、SV制御処理部22に接続され、SV制御処理部22の制御に従って通信を行うための通信回路である。SV通信IF部21は、例えば、IEEE802.11規格等に従った通信インターフェース回路を備えて構成される。
 SV記憶部23は、SV制御処理部22に接続され、SV制御処理部22の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、管理サーバ装置SVの各部を当該各部の機能に応じてそれぞれ制御するSV制御プログラムや、被監視者Obに対する監視に関する所定の情報処理を実行するSV監視処理プログラムや、センサ装置SUの第1動画像処理部146でネットワークNWを介して配信された動画像を後述の動画像記憶部234に記憶する第2動画像処理プログラム等の制御処理プログラムが含まれる。前記各種の所定のデータには、自機の、管理サーバ装置SVを特定し管理サーバ装置SVを識別するためのサーバ識別子(サーバID)や、被監視者Obの前記監視情報や、前記所定の事象の通知先等の装置SU、SP、TA間の情報を表す装置間情報や、センサ装置SUに関するセンサ情報や、センサ装置SUから配信された動画像等の各プログラムを実行する上で必要なデータ等が含まれる。これら監視情報、装置間情報、センサ情報および動画像それぞれを記憶するために、SV記憶部23は、サーバ側監視情報記憶部(SV監視情報記憶部)231、装置間情報記憶部232、サーバ側センサ情報記憶部(SVセンサ情報記憶部)234および動画像記憶部234を機能的に備える。
 SV監視情報記憶部231は、各装置SU、SP、TAそれぞれとの間で送受信した被監視者Obの監視情報を記憶するものである。より具体的には、SV監視情報記憶部231には、本実施形態では、前記監視情報として、第1イベント通知通信信号および後述の対応受付通知通信信号等の通信信号に収容された各情報に基づいて、センサID、イベント情報(イベント情報、本実施形態では起床、離床、転落、転倒およびナースコール)、受信時刻、対象画像(静止画および動画)および対処の有無が互いに対応付けて記憶される。
 この監視情報は、本実施形態では、テーブル形式でSV監視情報記憶部321に記憶されている。この監視情報を登録するサーバ側監視情報テーブル(SV監視情報テーブル)MT-SVは、例えば、図4に示すように、各装置SU、SP、TAから受信した通信信号に収容されたセンサIDを登録するセンサIDフィールド2311と、前記受信した通信信号に収容されたイベント情報を登録するイベントフィールド(イベントフィールド)2312と、前記受信した通信信号の受信時刻を登録する受信時刻フィールド2313と、前記受信した通信信号に収容された前記静止画を登録する静止画フィールド2314と、ライブ動画の取得先として、前記受信した通信信号に収容されたセンサIDに対応するセンサ装置SUの通信アドレス(例えばIPアドレス等)を登録する動画フィールド2315と、前記受信した通信信号に収容されたイベント情報に対する対応の受付の有無を登録する対応フィールド2316とを備え、前記受信した通信信号ごと(各イベントごと)にレコードを備える。静止画フィールド2314には、例えば、静止画の画像データが登録されて良く、また例えば、静止画の画像データのファイル名が登録されて良い。対応フィールド2316には、後述するように、前記受信した通信信号に収容されたイベント情報に対する対処(対応、処置、措置)する意思がある旨(“対応する”)を端末装置SP、TAで受け付けたか否かを表すフラグ(対応フラグ)が登録される。例えば、本実施形態では、対応フィールド2316には、前記受信した通信信号に収容されたイベント情報(イベントフィールド2312に登録されたイベント情報)に対処する意思がある旨(“対応する”)を端末装置SP、TAで受け付けたことを意味する対応フラグ「1」、あるいは、前記受信した通信信号に収容されたイベント情報に対処する意思がある旨(“対応する”)を端末装置SP、TAで受け付けていないことを意味する対応フラグ「0」が登録される。なお、デフォルトでは、対応フィールド2316には、未受付を意味する対応フラグ「0」が登録される。なお、第1イベント通知通信信号に、前記所定の行動を検知した検知時刻または前記ナースコールを受け付けたナースコール受付時刻が収容されている場合には、受信時刻に代え、前記検知時刻または前記ナースコール受付時刻が登録されても良い。
 装置間情報記憶部232は、前記装置間情報として、本実施形態では、センサ装置SUから送信された第1イベント通知通信信号等の通知先(再通知先、再報知先、送信先)を示す、送信元であるセンサIDと報知先(再報知先)である端末IDとの対応関係(通知先対応関係)、および、各装置SU、SP、TAのID(センサID、端末ID)とその通信アドレスとの対応関係(通信アドレス対応関係)等を記憶するものである。端末IDは、端末装置SP、TAを特定し端末装置SP、TAを識別するための端末識別子である。
 これら通知先対応関係および通信アドレス対応関係は、それぞれ、本実施形態では、テーブル形式で装置間情報記憶部232に記憶されている。この通知先対応関係を登録する通知先対応関係情報テーブルATは、例えば、図5Aに示すように、送信元のセンサ装置SUのセンサIDを登録する送信元フィールド2321と、送信元フィールド2321に登録されたセンサIDに対応するセンサ装置SUから通知された通信信号を送信する送信先の端末装置SP、TAの端末IDを登録する通知先フィールド2322とを備え、センサID(センサ装置SU)ごとにレコードを備える。前記通信アドレス対応関係を登録する通信アドレス対応関係情報テーブルDTは、例えば、図5Bに示すように、端末装置SP、TAの端末IDを登録する端末IDフィールド2323と、端末IDフィールド2323に登録された端末IDに対応する端末装置SP、TAの通信アドレスを登録する通信アドレスフィールド2324とを備え、端末ID(端末装置SP、TA)ごとにレコードを備える。
 なお、センサID、サーバIDおよび端末IDそれぞれは、例えば所定の記号列から成るシリアル番号等であって良く、また例えば通信アドレスであって良い(この場合通信アドレス対応関係は省略できる)。
 SVセンサ情報記憶部233は、前記センサ情報を記憶するものである。本実施形態では、前記センサ情報は、センサ装置SUに関する情報であり、センサ装置SUのセンサIDと被監視者Obの被監視者名とを互いに対応付けた情報である。
 このようなセンサ情報は、本実施形態では、テーブル形式でSVセンサ情報記憶部233に記憶される。より具体的には、センサ情報を登録するセンサ情報テーブルST-SVは、例えば、図6に示すように、センサIDを登録するセンサIDフィールド2331と、前記センサIDフィールド2331に登録されているセンサIDを持つセンサ装置SUの配設場所を登録する配設場所フィールド2332と、前記センサIDフィールド2331に登録されているセンサIDを持つセンサ装置SUによって監視される被監視者Ob(すなわち、前記センサIDフィールド2331に登録されているセンサIDを持つセンサ装置SUの配設場所に居る被監視者Ob)の被監視者名を登録する被監視者名フィールド2333と、前記センサIDフィールド2331に登録されているセンサIDを持つセンサ装置SU、その配設場所およびその被監視者Obに関する備考を登録する備考フィールド2334とを備え、センサID(すなわち、センサ装置SU)ごとにレコードを持つ。
 動画像記憶部234は、センサ装置SUから動画像配信通信信号で配信された動画像を、この動画像を配信したセンサ装置SUのセンサID(前記受信した動画像配信通信信号に収容されているセンサID)と対応付けて記憶(記録)するものである。より具体的には、動画像記憶部234は、前記動画像をファイル名を付けて記憶し、前記動画像のファイル名にセンサIDを対応付けて記憶する。
 SV制御処理部22は、管理サーバ装置SVの各部を当該各部の機能に応じてそれぞれ制御し、センサ装置SUから前記所定の事象の通知を受けると、被監視者Obに対する監視に関する監視情報を管理し、前記所定のイベントを所定の端末装置SP、TAへ通知(再通知、再報知、送信)し、センサ装置SUから配信を受けた動画像の記憶を介して前記動画像を記憶し、クライアントの要求に応じたデータを前記クライアントに提供し、被監視者監視システムMS全体を管理するための回路である。SV制御処理部22は、例えば、CPUおよびその周辺回路を備えて構成される。SV制御処理部22は、前記制御処理プログラムが実行されることによって、サーバ側制御部(SV制御部)221、サーバ側監視処理部(SV監視処理部)222および第2動画像処理部223を機能的に備える。
 SV制御部221は、管理サーバ装置SVの各部を当該各部の機能に応じてそれぞれ制御し、管理サーバ装置SVの全体制御を司るものである。
 SV監視処理部222は、センサ装置SUから前記所定のイベントの通知を受信すると被監視者Obに対する監視に関する監視情報を管理し、前記所定のイベントを所定の端末装置SP、TAへ報知するものである。より具体的には、SV監視処理部222は、センサ装置SUから前記第1イベント通知通信信号を受信すると、この受信した第1イベント通知通信信号に収容された、被監視者Obに対する監視に関する監視情報をSV監視情報記憶部231に記憶(記録)する。SV監視処理部222は、この受信した第1イベント通知通信信号を送信したセンサ装置SUに対応する通報先(再通報先、転送先、送信先)を装置間情報記憶部232に記憶された前記通知先対応関係から選定(検索)し、この選定した端末装置SP、TAへ第2イベント通知通信信号を送信する。この選定(検索処理)は、前記受信した第1イベント通知通信信号を送信したセンサ装置SUに対応するセンサIDに基づいて実施される。前記第2イベント通知通信信号には、前記第1イベント通知通信信号に収容されたイベント情報が前記所定の行動(起床、離床、転落および転倒のうちの1または複数)である場合には、第1イベント通知通信信号に収容されたセンサID、イベント情報および対象画像、ならびに、動画のダウンロード先として、第1イベント通知通信信号に収容されたセンサIDを持つセンサ装置SUに対応する通信アドレスが収容される。この通信アドレスは、前記受信した第1イベント通知通信信号を送信したセンサ装置SUに対応するセンサIDに基づいて通信アドレス対応関係から選定(検索)される。
 第2動画像処理部223は、センサ装置SUの第1動画像処理部146でネットワークNWを介して配信された動画像を動画像記憶部234に前記センサ装置SUと対応付けて記憶するものである。より具体的には、第2動画像処理部223は、センサ装置SUから順次に一連の各動画像配信通信信号を受信すると、これら受信した一連の各動画像配信通信信号に収容された動画像を1つに纏めて動画像ファイルを生成し、この生成した動画像ファイルをファイル名を付して動画像記憶部234に記憶し、この記憶した動画像ファイルのファイル名に、前記受信した一連の各動画像配信通信信号に収容されたセンサIDを対応付けて動画像記憶部234に記憶する。
 なお、管理サーバ装置SVは、図3に破線で示すように、必要に応じて、さらに、SV制御処理部22に接続され例えば各種コマンドや各種データ等を入力するサーバ側入力部(SV入力部)24、SV入力部24で入力された各種コマンドや各種データおよび被監視者Obに対する監視に関する監視情報等を出力するサーバ側出力部(SV出力部)25、および、外部機器との間でデータの入出力を行うサーバ側インターフェース部(SVIF部)26等を備えても良い。
 このような管理サーバ装置SVは、例えば、通信機能付きのコンピュータによって構成可能である。
 固定端末装置SPは、ネットワークNWを介して他の装置SU、SV、TAと通信する通信機能、所定の情報を表示する表示機能、および、所定の指示やデータを入力する入力機能等を備え、管理サーバ装置SVや携帯端末装置TAに与える所定の指示やデータを入力したり、センサ装置SUで得られた監視情報を表示したり等することによって、被監視者監視システムMSのユーザインターフェース(UI)として機能する機器である。本実施形態では、固定端末装置SPは、ユーザ(監視者)からセンサ装置SU(センサID、または被監視者名)を指定して動画像の要求を受け付けると、管理サーバ装置SVに、この指定されたセンサ装置SUで撮像された動画像を要求し、管理サーバ装置SVから受信した動画像を表示する。このような固定端末装置SPは、例えば、通信機能付きのコンピュータによって構成可能である。なお、前記端末装置の一例としての固定端末装置SPは、携帯端末装置TAと同様に動作するが、本明細書では、前記端末装置の他の一例である携帯端末装置TAについて説明される。
 携帯端末装置TAは、ネットワークNWを介して他の装置SV、SP、SUと通信する通信機能、所定の情報を表示する表示機能、所定の指示やデータを入力する入力機能、および、音声通話を行う通話機能等を備え、管理サーバ装置SVやセンサ装置SUに与える所定の指示やデータを入力したり、管理サーバ装置SVからの通知によってセンサ装置SUで得られた前記監視情報を表示したり、センサ装置SUとの間で音声通話によってナースコールの応答や声かけしたり等するための機器である。本実施形態では、携帯端末装置TAは、固定端末装置SPと同様に、ユーザ(監視者)からセンサ装置SU(センサID、または被監視者名)を指定して動画像の要求を受け付けると、管理サーバ装置SVに、この指定されたセンサ装置SUで撮像された動画像を要求し、管理サーバ装置SVから受信した動画像を表示する。このような携帯端末装置TAは、本実施形態では、例えば、図7に示すように、端末側通信インターフェース部(TA通信IF部)31と、端末側制御処理部(TA制御処理部)32と、端末側記憶部(TA記憶部)33と、端末側音入出力部(TA音入出力部)34と、端末側入力部(TA入力部)35と、端末側表示部(TA表示部)36と、端末側インターフェース部(TAIF部)37とを備える。
 TA音入出力部34は、SU音入出力部12と同様に、TA制御処理部32に接続され、外部の音を取得して携帯端末装置TAに入力するための回路であって、TA制御処理部32の制御に従って音を表す電気信号に応じた音を生成して出力するための回路である。
 TA入力部35は、TA制御処理部32に接続され、例えば、所定の操作を受け付け、携帯端末装置TAに入力する回路であり、例えば、所定の機能を割り付けられた複数の入力スイッチ等である。前記所定の操作には、例えば、ログインするためのIDの入力操作や、音声通話の要求操作およびその終了操作や、ライブでの動画の要求操作およびその終了操作や、前記通知されたイベントに関わる被監視者Obに対する例えば救命、看護、介護および介助等の対応(対処、応対)を実行する意思がある旨(“対応する”)の入力操作等の、監視する上で必要な各種操作等が含まれる。TA表示部36は、TA制御処理部32に接続され、TA制御処理部32の制御に従って、TA入力部35から入力された所定の操作内容や、被監視者監視システムMSによって監視されている被監視者Obに対する監視に関する前記監視情報(例えば前記所定のイベント(センサ装置SUで検知した所定の行動の種類やセンサ装置SUで受け付けたナースコール)、被監視者Obの画像(静止画および動画)、および、前記通知を受けた時刻等)等を表示する回路であり、例えばLCD(液晶ディスプレイ)および有機ELディスプレイ等の表示装置である。そして、本実施形態では、TA入力部35およびTA表示部36からタッチパネルが構成されている。この場合において、TA入力部35は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力デバイスである。このタッチパネルでは、TA表示部36の表示面上に位置入力デバイスが設けられ、TA表示部36に入力可能な1または複数の入力内容の候補が表示され、例えば看護師や介護士等のユーザ(監視者)が、入力したい入力内容を表示した表示位置を触れると、位置入力デバイスによってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容として携帯端末装置TAに入力される。
 TAIF部37は、TA制御処理部32に接続され、TA制御処理部32の制御に従って、外部機器との間でデータの入出力を行う回路であり、例えば、Bluetooth(登録商標)規格を用いたインターフェース回路、IrDA規格等の赤外線通信を行うインターフェース回路、および、USB規格を用いたインターフェース回路等である。
 TA通信IF部31は、SU通信IF部15と同様に、TA制御処理部32に接続され、TA制御処理部32の制御に従って通信を行うための通信回路である。TA通信IF部31は、例えば、IEEE802.11規格等に従った通信インターフェース回路を備えて構成される。
 TA記憶部33は、TA制御処理部32に接続され、TA制御処理部32の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、携帯端末装置TAの各部を当該各部の機能に応じてそれぞれ制御するTA制御プログラムや、被監視者Obに対する監視に関する所定の情報処理を実行するTA監視処理プログラムや、TA音入出力部34等を用いることでセンサ装置SUとの間で音声通話を行う通話処理プログラムや、センサ装置SUから動画の配信を受け、前記配信を受けた動画をストリーミング再生でTA表示部36に表示するTAストリーミング処理プログラム等の制御処理プログラムが含まれる。前記各種の所定のデータでは、自機の端末ID、TA表示部36に表示される画面情報、被監視者Obの前記監視情報およびセンサ装置SUに関するセンサ情報等の各プログラムを実行する上で必要なデータ等が含まれる。TA記憶部33は、例えばROMやEEPROM等を備える。TA記憶部33は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆるTA制御処理部32のワーキングメモリとなるRAM等を含む。これら監視情報およびセンサ情報それぞれを記憶するために、TA記憶部33は、端末側監視情報記憶部(TA監視情報記憶部)331および端末側センサ情報記憶部(TAセンサ情報記憶部)332を機能的に備える。
 TA監視情報記憶部331は、前記監視情報を記憶するものである。本実施形態では、TA監視情報記憶部331は、前記監視情報として、管理サーバ装置SVから受信した第2イベント通知通信信号に収容されたセンサID、イベント情報(イベント情報、本実施形態では起床、離床、転落、転倒およびナースコール)、画像および動画のダウンロード先のセンサ装置SUの通信アドレス、ならびに、当該第2イベント通知通信信号の受信時刻および対処の有無等を互いに対応付けて記憶する。より具体的には、TA監視情報記憶部331は、図4に示すように、SV監視情報テーブルMT-SVと同様な端末側監視情報テーブル(TA監視情報テーブル)MT-TAに前記監視情報を記憶する。
 TAセンサ情報記憶部332は、前記センサ情報を記憶するものである。TAセンサ情報記憶部332は、センサID、配設場所、被監視者名および備考を互いに対応付けて記憶する。より具体的には、TAセンサ情報記憶部332は、図6に示すように、SVセンサ情報テーブルST-SVと同様な端末側センサ情報テーブル(TAセンサ情報テーブル)ST-TAに前記センサ情報を記憶する。
 TA制御処理部32は、携帯端末装置TAの各部を当該各部の機能に応じてそれぞれ制御し、被監視者Obの前記監視情報を受けて表示し、ナースコールの応答や声かけするための回路である。TA制御処理部32は、例えば、CPUおよびその周辺回路を備えて構成される。TA制御処理部32は、制御処理プログラムが実行されることによって、端末側制御部(TA制御部)321、端末側監視処理部(TA監視処理部)322、通話処理部323および端末側ストリーミング処理部(TAストリーミング処理部)324を機能的に備える。
 TA制御部321は、携帯端末装置TAの各部を当該各部の機能に応じてそれぞれ制御し、携帯端末装置TAの全体制御を司るものである。
 TA監視処理部322は、被監視者Obに対する監視に関する所定の情報処理を実行するものである。より具体的には、TA監視処理部322は、センサ装置SUによって送信された第1イベント通知通信信号、に起因して管理サーバ装置SVによって送信された第2イベント通知通信信号を受信した場合に、この受信した第2イベント通知通信信号に収容された各情報(各データ)に基づき、被監視者Obの監視情報をTA監視情報記憶部331に記憶(記録)する。TA監視処理部322は、この受信した第2イベント通知通信信号に収容された各情報に応じた画面をTA表示部36に表示する。TA監視処理部322は、TA入力部35から所定の入力操作を受け付けると、その入力操作に応じた所定の処理を実行する。
 通話処理部323は、TA音入出力部34等を用いることでセンサ装置SUとの間で音声通話を行うものである。より具体的には、例えば、通話処理部323は、TA音入出力部34等を用い、第2イベント通知通信信号の送信の原因となった第1イベント通知通信信号を管理サーバ装置SVへ送信した送信元のセンサ装置SUとの間で例えばVoIPによって音声通話を行う。
 TAストリーミング処理部324は、センサ装置SUから動画の配信を受け、前記配信を受けた動画をストリーミング再生でTA表示部36に表示するものである。
 このような携帯端末装置TAは、例えば、いわゆるタブレット型コンピュータやスマートフォンや携帯電話機等の、持ち運び可能な通信端末装置によって構成可能である。
 このような被監視者監視システムMSでは、被監視者監視装置がセンサ装置SUおよび管理サーバ装置SVの2個の装置で構成されているので、センサ装置SUの撮像部11が、少なくとも動画像を含む画像を取得する画像取得部の一例に相当し、前記複数人判定部で前記画像に複数人が写っていると判定した場合に、前記画像取得部で取得した動画像の記憶を開始して前記動画像を前記動画像記憶部に記憶する動画像記憶処理部は、センサ装置SUの第1動画像処理部と管理サーバ装置SVの第2動画像処理部とを備えて構成されている。
 次に、本実施形態の動作について説明する。上記構成の被監視者監視システムMSでは、各装置SU、SV、SP、TAは、電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。センサ装置SUでは、その制御処理プログラムの実行によって、SU制御処理部14には、SU制御部141、行動検知処理部142、ナースコール処理部143、SUストリーミング処理部144、複数人判定部145および第1動画像処理部146が機能的に構成される。管理サーバ装置SVでは、その制御処理プログラムの実行によって、SV制御処理部21には、SV制御部211、SV監視処理部222および第2動画像処理部223が機能的に構成される。携帯端末装置TAでは、その制御処理プログラムの実行によって、TA制御処理部32には、TA制御部321、TA監視処理部322、通話処理部323およびTAストリーミング処理部324が機能的に構成される。
 まず、センサ装置SUの動作について説明する。図8は、図2に示す前記センサ装置の動作を示すフローチャートである。
 センサ装置SUは、各フレームごとに、あるいは、数フレームおきに、次のように動作することで、被監視者Obにおける所定の動作を検知し、ナースコールの受付の有無を判定している。
 図8において、まず、センサ装置SUは、SU制御処理部14のSU制御部141によって、撮像部11から1フレーム分の画像(画像データ)を前記対象画像として取得する(S11)。
 次に、センサ装置SUは、SU制御処理部14の行動検知処理部142によって、被監視者Obにおける所定の行動を検知する行動検知処理を前記処理S11で取得した対象画像に基づいて実行する(S12)。より具体的には、行動検知処理部142は、起床の成否を判定し、離床の成否を判定し、転落の成否を判定し、そして、転倒の成否を判定する。
 次に、センサ装置SUは、行動検知処理部142によって、前記行動検知処理S12で被監視者Obにおける所定の行動が検知されたか否かを判定する。この判定の結果、前記所定の行動が検知されていない場合(No)には、センサ装置SUは、次に、処理S15を実行し、一方、前記所定の行動が検知されている場合(Yes)には、センサ装置SUは、次の処理S14を実行した後に、処理S15を実行する。
 この処理S14では、処理S12および処理S13で検知した所定の行動を管理サーバ装置SVを介して所定の端末装置SP、TAへ通知するために、センサ装置SUは、行動検知処理部142によって、前記所定のイベントとして前記所定の行動の検知に関する第1イベント通知通信信号を管理サーバ装置SVへ送信する。より具体的には、行動検知処理部142は、自機のセンサID、前記所定のイベント(ここでは、起床、離床、転落および転倒のうちの1または複数)および前記対象画像を収容した第1イベント通知通信信号を、SU通信IF部15を介して管理サーバ装置SVへ送信する。
 前記処理S15では、センサ装置SUは、複数人判定部145によって、処理S11で取得した対象画像に基づいて前記対象画像に複数人が写っているか否かを判定する。この判定の結果、前記対象画像に複数人が写っていない場合(No)には、センサ装置SUは、次に、処理S17を実行し、一方、前記対象画像に複数人が写っている場合(Yes)には、センサ装置SUは、次の処理S16を実行した後に、処理S17を実行する。
 前記処理S16では、センサ装置SUは、第1動画像処理部146によって、SU制御処理部14に機能的にタイマーを生成し、この生成したタイマーを予め設定された所定の時間(配信時間、例えば5分、10分および15分等)にセットして計時を始め、撮像部11で取得した動画像の配信を管理サーバ装置SVへ開始する。より具体的には、第1動画像処理部146は、自機のセンサIDを収容し、さらに、撮像部11で取得した動画像を所定のフレーム数ずつ収容した動画像配信通信信号を、後述の処理S19および処理S20の各処理によって前記配信時間が経過した判定されてその配信が終了するまで、順次に生成し、これら順次に生成された各動画配信通信信号それぞれを管理サーバ装置SVへ送信する。
 前記処理S17では、センサ装置SUは、ナースコール処理部143によって、ナースコールを受け付けているか否かを判定する。すなわち、図8に示す処理S11ないし処理S20は、各フレームごとに、あるいは、数フレームおきに、繰り返し実行されるが、前回における処理S17の実行から今般における処理S17の実行までの間に、ナースコール受付操作部13が操作されたか否かが判定される。この判定の結果、ナースコール受付操作部13が操作されず、ナースコールを受け付けていない場合(No)には、センサ装置SUは、次に、処理S19を実行し、一方、ナースコール受付操作部13が操作され、ナースコールを受け付けている場合(Yes)には、センサ装置SUは、次の処理S18を実行した後に、処理S19を実行する。
 この処理S18では、処理S17でその受付が判明したナースコールを管理サーバ装置SVを介して所定の端末装置SP、TAへ報知するために、センサ装置SUは、ナースコール処理部143によって、ナースコールに関する第1イベント通知通信信号を管理サーバ装置SVへ送信する。より具体的には、ナースコール処理部143は、自機のセンサIDおよびナースコール受付情報を収容した第1イベント通知通信信号を、SU通信IF部15を介して管理サーバ装置SVへ送信する。
 前記処理S19では、センサ装置SUは、第1動画像処理部146によって、SU制御処理部14に機能的に生成したタイマーが前記配信時間の経過でタイムアップしたか否かを判定する。この判定の結果、タイマーがタイムアップしていない場合には、センサ装置SUは、今回の本処理を終了し、一方、タイマーがタイムアップしている場合(Yes)には、センサ装置SUは、次の処理S20を実行した後に、今回の本処理を終了する。
 前記処理S20では、センサ装置SUは、第1動画像処理部146によって、最後の動画像配信通信信号を生成して管理サーバ装置SVに送信し、動画像配信通信信号の配信を終了する。この最後の動画像配信通信信号には、センサIDおよび前記所定のフレーム数の動画像だけでなく、配信終了情報も収容される。
 被監視者Obにおける所定の行動の検知やナースコールの受付それぞれに関し、センサ装置SUは、以上のように動作している。
 次に、管理サーバ装置SVの動作について説明する。図9は、図3に示す前記管理サーバ装置の動作を示すフローチャートである。一方、図9において、管理サーバ装置SVは、SV制御処理部22のSV制御部221によって、SV通信IF部21で通信信号を受信したか否かを判定する(S21)。この判定の結果、通信信号を受信していない場合(No)には、管理サーバ装置SVは、処理をS21に戻し、前記判定の結果、通信信号を受信している場合(Yes)には、管理サーバ装置SVは、次の処理S22を実行する。すなわち、管理サーバ装置SVは、通信信号の受信を待ち受けている。
 処理S22では、管理サーバ装置SVは、SV制御部221によって、この受信した通信信号の種類を判定する。この判定の結果、管理サーバ装置SVは、前記受信した通信信号が第1イベント通知通信信号である場合(第1イベント通知)には、処理S23を実行した後に処理S26を実行し、前記受信した通信信号が動画像配信通信信号である場合(動画像配信)には、処理S24を実行した後に処理S26を実行し、そして、前記受信した通信信号がこれら第1イベント通知通信信号および動画像配信通信信号ではない場合(その他)には、処理S25を実行した後に処理S26を実行する。
 処理S23では、管理サーバ装置SVは、SV制御処理部22のSV監視処理部222によって、処理S21でセンサ装置SUから受信した第1イベント通知通信信号を処理する。より具体的には、まず、SV監視処理部222は、処理S21でセンサ装置SUから受信した第1イベント通知通信信号に収容された、被監視者Obに対する監視に関する監視情報をSV監視情報記憶部231に記憶(記録)する。そして、SV監視処理部222は、処理S21で受信した第1イベント通知通信信号を送信したセンサ装置SUに対応する通知先を装置間情報記憶部232に記憶された前記通知先対応関係から選定(検索)する。次に、SV監視処理部222は、この選定した通知先の端末装置SP、TAへの第2イベント通知通信信号を送信する。この第2イベント通知通信信号には、上述したように、処理S21で受信した第1イベント通知通信信号に収容されていたイベント情報が前記所定の行動である場合には、前記処理S21で受信した第1イベント通知通信信号に収容されたセンサID、イベント情報および対象画像、ならびに、動画のダウンロード先として、第1イベント通知通信信号に収容されたセンサIDを持つセンサ装置SUに対応する通信アドレスが収容される。一方、処理S21で受信した第1イベント通知通信信号に収容されていたイベント情報がナースコールである場合には、前記処理S21で受信した第1イベント通知通信信号に収容されたセンサIDおよびイベント情報が収容される。
 処理S24では、管理サーバ装置SVは、SV制御処理部22の第2動画像処理部223によって、処理S21でセンサ装置SUから受信した動画配信通信信号に収容された動画像を前記センサ装置SU(センサID)と対応付けて動画像記憶部234に記憶する。より具体的には、第2動画像処理部223は、センサ装置SUから順次に一連の各動画像配信通信信号を受信すると、これら受信した一連の各動画像配信通信信号に収容された動画像を1つに纏めて動画像ファイルを生成し、この生成した動画像ファイルをファイル名を付して動画像記憶部234に記憶し、この記憶した動画像ファイルのファイル名に、前記受信した一連の各動画像配信通信信号に収容されたセンサIDを対応付けて動画像記憶部234に記憶する。より詳しくは、図9に示す処理S21ないし処理S26の各処理は、繰り返し実行されるが、各繰り返しの処理S24において、第2動画像処理部223は、処理S21で受信した動画像配信通信信号に収容されたセンサIDと動画像とを互いに対応付けてSV記憶部23に記憶(一時的に記憶)し、各繰り返しの処理S24において、第2動画像処理部223は、処理S21で受信した動画像配信通信信号に配信終了情報が収容されていると、SV記憶部23に一時的に記憶した一連の動画像を1つに纏めて動画像ファイルを生成し、この生成した動画像ファイルをファイル名を付して動画像記憶部234に記憶する。そして、第2動画像処理部223は、この記憶した動画像ファイルのファイル名に、前記受信した一連の各動画像配信通信信号に収容されたセンサIDを対応付けて動画像記憶部234に記憶する。
 処理S25では、管理サーバ装置SVは、SV制御処理部22によって、処理S21で受信した通信信号に応じた適宜な処理を実行する。
 そして、これら処理S23ないし処理S25それぞれの後に実行される前記処理S26では、管理サーバ装置SVは、SV制御処理部22によって、その稼働が終了(停止)か否かを判定する。この判定の結果、稼働の終了(停止)である場合(Yes)には、管理サーバ装置SVは、本処理を終了し、一方、稼働の終了(停止)ではない場合(No)には、管理サーバ装置SVは、処理を処理S21に戻す。
 センサ装置SUから受信した第1イベント通知通信信号および動画像配信通信信号それぞれに関し、監視サーバ装置SVは、以上のように動作している。
 次に、端末装置SP、TAの動作について説明する。ここでは、代表的に、携帯端末装置TAの動作について説明する。図10は、図7に示す前記携帯端末装置の動作を示すフローチャートである。図11は、図7に示す携帯端末装置に表示される待受け画面の一例を示す図である。図12は、図7に示す携帯端末装置に表示される監視情報画面の一例を示す図である。図13は、図7に示す携帯端末装置に表示されるナースコール受付画面の一例を示す図である。図14は、図7に示す携帯端末装置に表示されるサブメニュー画面の一例を示す図である。図15は、図7に示す前記携帯端末装置に表示される動画像選択画面の一例を示す図である。図16は、図7に示す携帯端末装置に表示される動画表示画面の一例を示す図である。上述したように、電源が投入され、その稼働を始めると、携帯端末装置TAでは、例えば看護師や介護士等の監視者(ユーザ)によるログイン操作が受け付けられ、TA監視処理部322によって、自機宛の通信信号を待ち受ける待受け画面がTA表示部36に表示される。この待受け画面51は、例えば、図11に示すように、メニューバーを表示するメニューバー領域511と、待ち受け中であることを表すメッセージ(例えば「通知はありません」)およびアイコンを表示する待受けメイン領域512と、現在時刻を表示する時刻領域513と、今日の年月日曜日を表示する年月日曜日領域514と、今、当該携帯端末装置TAにログインしているユーザ名を表示するユーザ名領域515とを備える。
 図10において、携帯端末装置TAは、TA制御処理部32のTA制御部321によって、TA通信IF部31で通信信号を受信したか否かを判定する(S31)。この判定の結果、通信信号を受信していない場合(No)には、携帯端末装置TAは、処理をS31に戻し、前記判定の結果、通信信号を受信している場合(Yes)には、携帯端末装置TAは、次の処理S32を実行する。すなわち、携帯端末装置TAは、通信信号の受信を待ち受けている。
 処理S32では、携帯端末装置TAは、TA制御部321によって、この受信した通信信号の種類を判定する。この判定の結果、携帯端末装置TAは、前記処理S31で受信した通信信号が第2イベント通知通信信号である場合(第2イベント通知)には、次の処理S33を実行し、前記処理S31で受信した通信信号が第2イベント通知通信信号ではない場合(その他)には、処理S31で受信した通信信号に応じた適宜な処理を行う処理S37を実行した後に本処理を終了する。
 処理S33では、携帯端末装置TAは、TA制御処理部32のTA監視処理部322によって、処理S31で管理サーバ装置SVから受信した第2イベント通知通信信号に収容された、被監視者Obに対する監視に関する監視情報をTA監視情報記憶部331に記憶(記録)する。
 この処理S33の次に、TA監視処理部322は、処理S31で受信した第2イベント通知通信信号に収容された各情報に応じた画面をTA表示部36に表示する。より具体的には、TA監視処理部322は、処理S31で受信した第2イベント通知通信信号に収容された前記イベント情報が前記所定の行動である場合には、例えば図12に示す監視情報画面52をTA表示部36に表示し、一方、処理S31で受信した第2イベント通知通信信号に収容された前記イベント情報が前記ナースコールである場合には、例えば図13に示すナースコール受付画面53をTA表示部36に表示する。
 この監視情報画面52は、被監視者Obの監視に関する前記監視情報を表示するための画面である。前記監視情報画面52は、例えば、図12に示すように、メニューバー領域511と、処理S31で受信した第2イベント通知通信信号に収容されたセンサIDを持つセンサ装置SUの配設場所および前記センサIDを持つ前記センサ装置SUによって監視される被監視者Obの名前を表示する被監視者名領域521と、処理S31で受信した第2イベント通知通信信号の受信時刻(または前記所定の行動の検知時刻)からの経過時間、および、処理S31で受信した第2イベント通知通信信号に収容された前記事象情報(前記所定の行動の検知結果)を表示する検知情報表示領域522と、処理S31で受信した第2イベント通知通信信号に収容された画像(すなわち、前記センサIDを持つ前記センサ装置SUによって撮像された対象画像)(ここでは静止画)を表示する画像領域523と、「対応する」ボタン524と、「話す」ボタン525と、「LIVEを見る」ボタン526とを備える。
 被監視者名領域521にセンサ装置SUの配設場所および被監視者Obの名前を表示するために、処理S31で受信した第2イベント通知通信信号に収容されたセンサIDを検索キーに、センサ装置SUの配設場所および被監視者Obの名前がTAセンサ情報記憶部332から検索され、表示される。検知情報表示領域522には、処理S31で受信した第2イベント通知通信信号に収容された前記検知結果(本実施形態では、起床、離床、転落および転倒の各名称)がそのまま表示されても良いが、本実施形態では、前記検知結果を象徴的に表すアイコンで表示されている。このアイコンで表示するために、TA記憶部33には、各行動およびその行動を象徴的に表すアイコンが互いに対応付けられて予め記憶される。図12に示す例では、検知情報表示領域522には、起床を象徴的に表す起床アイコンが表示されている。「対応する」ボタン524は、監視情報画面52では、この監視情報画面52に表示された検知結果に対し例えば救命、看護、介護および介助等の所定の対応(応対、対処)を実施する意思が当該携帯端末装置TAのユーザにある旨を表す実施意思情報を、当該携帯端末装置TAに入力するためのボタンである。「話す」ボタン525は、音声通話を要求するためのボタンであって、前記センサIDの前記センサ装置SUと当該携帯端末装置TAとをネットワークNWを介して通話可能に接続する指示を入力するためのボタンである。「LIVEを見る」ボタン526は、ライブでの動画を要求するためのボタンであって、前記センサIDの前記センサ装置SUによって撮像される動画を表示させる指示を入力するためのボタンである。
 前記ナースコール受付画面53は、ナースコールの受付を表示するための画面である。このナースコール受付画面53は、例えば、図13に示すように、メニューバー領域511と、被監視者名領域521と、検知情報表示領域522と、ナースコールを受け付けた旨を表すメッセージ(例えば「ナースコールです」)を表示するナースコール受付通知表示領域531と、「対応する」ボタン524と、「話す」ボタン525とを備える。このナースコール受付画面53では、検知情報表示領域522には、処理S31で受信した第2イベント通知通信信号の受信時刻(または前記ナースコールを受け付けた受付時刻)からの経過時間のみが表示される。
 なお、ナースコール受付画面53は、「LIVEを見る」ボタン526をさらに備えても良い。
 そして、処理S34の次に、携帯端末装置TAは、TA制御処理部32によって、TA入力部35およびTA表示部36を備えて成るタッチパネルで入力操作を受け付けたか否かを判定する(S35)。この判定の結果、入力操作を受け付けていない場合(No)には、携帯端末装置TAは、処理を処理S35に戻し、一方、前記判定の結果、入力操作を受け付けている場合には、携帯端末装置TAは、次の処理S36を実行する。
 この処理S36では、携帯端末装置TAは、TA制御処理部32によって、入力操作の内容に応じた適宜な処理を実行し、本処理を終了する。
 例えば、携帯端末装置TAは、TA制御処理部32によって、「対応する」ボタン524の入力操作を受け付けると(すなわち、前記対応意思を受け付けると)、まず、現在、TA表示部36に表示している被監視者Obの監視情報に、「対応する」を受け付けた旨を付してTA監視情報記憶部331に記憶する。より具体的には、TA制御処理部32は、TA記憶部33のTA監視情報記憶部331に記憶されている監視情報テーブルMT-TAにおいて、現在、TA表示部36に表示している被監視者Obの監視情報を登録しているレコード(ここでは前記処理S31で受信した第2イベント通知通信信号に収容されていた監視情報を登録したレコード)の対応フィールド3316に、対応の受付を表す対応フラグ「1」を登録する。携帯端末装置TAは、TA制御処理部32によって、TA表示部36に表示している被監視者Obの監視情報に対応するセンサIDおよび「対応する」を受け付けた旨を表す情報(対応受付情報)を収容した通信信号(対応受付通知通信信号)を管理サーバ装置SVへ送信する。この対応受付通知通信信号を受信した管理サーバ装置SVは、SV制御処理部22によって、この受信した対応受付通知通信信号に収容されたセンサIDおよび対応受付情報を収容した通信信号(対応受付周知通信信号)を同報通信で端末装置SP、TAへ送信する。これによって、TA表示部36に表示している被監視者Obの監視情報に対応するセンサIDに関し、「対応する」を受け付けた旨が各端末装置SP、TA間で同期される。
 また例えば、携帯端末装置TAは、TA制御処理部32によって、「話す」ボタン525の入力操作を受け付けると、通話処理部323によって、TA表示部36に表示している被監視者Obを監視するセンサ装置SUへ、音声通話を要求する旨等の情報を収容した通信信号(通話要求通信信号)を送信し、これに応じたセンサ装置SUとネットワークNWを介して音声通話可能に接続する。これによって携帯端末装置TAとセンサ装置SUとの間で音声通話が可能となる。なお、携帯端末装置TAは、TA制御処理部32によって、音声通話の終了の指示を入力するためのボタンである図略の「終了」ボタンの入力操作を受け付けると、通話処理部323によって、TA表示部36に表示している被監視者Obを監視するセンサ装置SUへ、音声通話の終了を要求する旨等の情報を収容した通信信号(通話終了通信信号)を送信する。これによって携帯端末装置TAとセンサ装置SUとの間での音声通話が終了される。
 また例えば、携帯端末装置TAは、TA制御処理部32によって、「LIVEを見る」ボタン526の入力操作を受け付けると、TAストリーミング処理部324によって、現在、TA表示部36に表示している被監視者Obを監視するセンサ装置SUへ、ライブでの動画の配信を要求する旨等の情報を収容した通信信号(動画配信要求通信信号)を送信し、これに応じたセンサ装置SUとネットワークNWを介して動画のダウンロード可能に接続し、前記センサ装置SUからライブでの動画の配信を受け、この配信を受けた動画をストリーミング再生でTA表示部36に表示する。このライブでの動画を表示する監視情報画面52では、画像領域523に動画が表示され、「LIVEを見る」ボタン526に代え図略の「LIVE終了」ボタンが表示される。これによって携帯端末装置TAには、ライブでの動画が表示される。前記図略の「LIVE終了」ボタンは、動画の終了を要求するためのボタンであって、前記センサIDの前記センサ装置SUによって撮像される動画の配信を終了(停止)させ表示を終了(停止)させる指示を入力するためのボタンである。携帯端末装置TAは、TA制御処理部32によって、「LIVE終了」ボタンの入力操作を受け付けると、TAストリーミング処理部324によって、現在、TA表示部36に表示している被監視者Obを監視するセンサ装置SUへ、動画配信の終了を要求する旨等の情報を収容した通信信号(動画配信終了通信信号)を送信し、静止画をTA表示部36に表示する。これによって携帯端末装置TAは、ライブでの動画の表示を終了する。
 管理サーバ装置SVから受信した第2イベント通知通信信号に関し、携帯端末装置TAは、以上のように動作している。
 そして、携帯端末装置TAは、ユーザ(監視者)からセンサ装置SU(センサID、または被監視者名)を指定して記録動画要求ボタンの入力操作を受け付けると、TA制御処理部32によって、管理サーバ装置SVに、この指定されたセンサ装置SUで撮像された動画像を要求し、管理サーバ装置SVから受信した動画像を表示する。
 より具体的には、例えば、ユーザ(監視者)は、図11に示す待ち受け画面51、図12に示す監視情報画面52および図13に示すナースコール受付画面53等におけるメニューバー領域511のサブメニューボタン5111を入力操作する。前記サブメニューボタン5111は、サブメニュー画面を表示する指示を、当該携帯端末装置TAに入力するためのボタンである。前記サブメニュー画面は、選択可能なサブメニューを表示し、サブメニューを選択するための画面である。携帯端末装置TAは、前記タッチパネルを構成するTA入力部35から、サブメニューボタン5111の入力操作を受け付けると、サブメニュー画面をTA表示部36に表示する。
 このサブメニュー画面61は、一例では、図14に示すように、サブメニューとして、「情報」ボタン611と、「スタッフ伝言板」ボタン612と、「ケア実施入力」ボタン613と、「動画確認」ボタン614と、「ログアウト」ボタン615とを備える。「情報」ボタン611は、例えばログイン名(監視者名)、端末ID等の所定の情報を表示する指示を、当該携帯端末装置TAに入力するためのボタンである。「スタッフ伝言板」ボタン612は、端末装置SP、TAから監視者(ユーザ)によって管理サーバ装置SVに登録(記憶)された伝言を表示する指示を、当該携帯端末装置TAに入力するためのボタンである。「ケア実施入力」ボタン613は、端末装置SP、TAから監視者によってケア記録を管理サーバ装置SVに記録する指示を、当該携帯端末装置TAに入力するためのボタンである。「動画確認」ボタン614は、センサ装置SU(センサID、または被監視者名)を指定して動画像(動画像ファイル)を要求して表示する指示を、当該携帯端末装置TAに入力するためのボタンである。「ログアウト」ボタン615は、ログアウトする指示を、当該携帯端末装置TAに入力するためのボタンである。
 動画像を表示させるために、前記ユーザ(監視者)は、図14に示すサブメニュー画面61における「動画確認」ボタン614を入力操作する。携帯端末装置TAは、前記タッチパネルを構成するTA入力部35から、「動画確認」ボタン614の入力操作を受け付けると、TA制御処理部32によって、動画像ファイルの選択を受け付ける動画像選択画面を要求する通信信号(動画像選択画面要求通信信号)を管理サーバ装置SVへ送信する。前記動画像選択画面要求通信信号には、前記動画像選択画面を要求する命令(指示、コマンド、動画像選択画面要求命令)および自機の端末ID等が収容される。
 管理サーバ装置SVは、携帯端末装置TAから動画像選択画面要求通信信号を受信すると、上述の処理S11、処理S12および処理S25によって、まず、動画像ファイルの選択を受け付けるために、選択可能な動画像ファイルを表す動画像選択画面(電子ファイル)を収容した通信信号(動画像選択画面通知通信信号)を携帯端末装置TAへ返信する。前記選択可能な動画像ファイルは、動画像記憶部234に記憶された動画像ファイルの中から適宜な範囲で選択されたファイルであって良い。例えば、動画像選択画面要求通信信号を受信した受信時刻から所定時間(例えば、1時間、3時間、6時間、12時間、24時間等)だけ遡った時刻までの間に動画像記憶部234に記憶された動画像ファイルが前記選択可能な動画像ファイルとして選択される。
 携帯端末装置TAは、管理サーバ装置SVから動画像選択画面通知通信信号を受信すると、TA制御処理部32によって、前記動画像選択画面をTA表示部36に表示する。
 この動画像選択画面62は、一例では、図15に示すように、メニューバー領域511と、選択可能な1または複数の動画像ファイルを一覧で表示する選択可能動画像表示領域621とを備える。選択可能動画像表示領域621は、例えば、本実施形態では、当該動画像ファイルにおける先頭の画像をサムネイルで表示するサムネイル表示領域6211と、当該動画像ファイルのファイルネームを表示するファイルネーム表示領域6212と、当該動画像ファイルの録画時間を表示する録画時間表示領域6213とを備える。本実施形態では、動画像ファイルのファイルネームは、当該動画像を生成したセンサ装置SUが配設された配設場所の名称で構成されている。このようにファイルネームが構成されることによって、ファイルネームによって、センサ情報を介して、センサ装置SU(センサID、または被監視者名)が指定できる。選択可能動画像表示領域621は、図15に示す例では、4個の第1ないし第4選択可能動画像表示領域621-1~621-4で構成されている。そして、この選択可能動画像表示領域621(第1ないし第4選択可能動画像表示領域621-1~621-4それぞれ)は、監視者(ユーザ)によって選択された動画像ファイルを、当該携帯端末装置TAに入力するためのボタン(動画選択ボタン、記録動画要求ボタンの一例)でもある。
 所望の動画像を表示させるために、前記ユーザ(監視者)は、図15に示す動画像選択画面62における1または複数の選択可能動画像表示領域621の中から、所望の動画像ファイルのファイルネームをファイルネーム表示領域6212に表示する選択可能動画像表示領域(動画選択ボタン)621を入力操作する。携帯端末装置TAは、前記タッチパネルを構成するTA入力部35から、選択可能動画像表示領域(動画選択ボタン)621の入力操作を受け付けると、TA制御処理部32によって、選択した動画像ファイルを要求する通信信号(動画像要求通信信号)を管理サーバ装置SVへ送信する。前記動画像面要求通信信号には、ユーザによって入力操作された選択可能動画像表示領域(動画選択ボタン)621のファイルネーム表示領域6212に表示されたファイルネーム(センサ装置SUの配設場所、言い換えれば、センサ装置SUまたはセンサIDまたは被監視者名)、前記動画像ファイルを要求する命令(指示、コマンド、動画像要求命令)および自機の端末ID等が収容される。
 管理サーバ装置SVは、携帯端末装置TAから動画像要求通信信号を受信すると、上述の処理S11、処理S12および処理S25によって、動画像要求通信信号に収容された動画像ファイルのファイルネーム(センサ装置SUの配設場所、言い換えれば、センサ装置SUまたはセンサIDまたは被監視者名)に対応する動画像ファイルを動画像記憶部234から取得し、この取得した動画像ファイルを収容した通信信号(動画像通知通信信号)を携帯端末装置TAへ返信する。
 携帯端末装置TAは、管理サーバ装置SVから動画像通知通信信号を受信すると、TA制御処理部32によって、前記動画像を動画像表示画面でTA表示部36に表示する。前記動画像表示画面は、センサ装置SUで複数人を検知した場合に前記センサ装置SUで生成した動画像を再生して表示するための画面である。
 この動画像表示画面63は、一例では、図16に示すように、メニューバー領域511と、タイトル領域631と、動画像領域632と、再生制御指示入力領域633とを備える。前記タイトル領域631は、当該動画像ファイルのファイルネームおよびその録画時間を表示するための領域である。前記動画像領域632は、当該動画像ファイルを再生して表示するための領域である。前記再生制御指示入力領域633は、前記動画像領域632に表示される動画像の再生動作(表示動作)を制御する指示を受け付けるための領域である。再生制御指示入力領域633は、本実施形態では、再生/一時停止ボタン6331と、早送りボタン6332と、早戻しボタン6333と、再生時間位置表示領域6334と、再生時間表示領域6335とを備える。
 再生/一時停止ボタン6331は、動画像領域632に表示される動画像に対する再生開始の指示および一時停止の指示を受け付けるボタンである。再生/一時停止ボタン6331は、入力操作を受け付けるたびに、再生開始の指示を受け付ける再生開始ボタンと一時停止の指示を受け付ける一時停止ボタンとに交互に入れ換わる。再生/一時停止ボタン6331の入力操作を受け付けると、動画像の再生が停止している場合には、TA制御処理部32は、その停止時点(動画像の先頭時点を含む)から、動画像領域632に表示される動画像の再生を開始し、一方、動画像が再生されている場合には、TA制御処理部32は、動画像領域632に表示される動画像の再生を停止する。
 早送りボタン6332は、動画像領域632に表示される動画像の再生速度を速める指示を受け付けるボタンである。例えば、再生速度は、1倍速、1.5倍速、2倍速および4倍速等であり、早送りボタン6332の入力操作を受け付けるたびに、TA制御処理部32は、動画像領域632に表示される動画像の再生速度を、1倍速、1.5倍速、2倍速および4倍速の順でサイクリックに早める。
 早戻しボタン6333は、動画像領域632に表示される動画像の戻し再生速度(逆再生の再生速度)を速める指示を受け付けるボタンである。例えば、戻し再生速度は、1倍速、1.5倍速、2倍速および4倍速等であり、早戻しボタン6333の入力操作を受け付けるたびに、TA制御処理部32は、動画像領域632に表示される動画像の戻し再生速度を、1倍速、1.5倍速、2倍速および4倍速の順でサイクリックに早める。
 再生時間位置表示領域6334は、動画像の再生の進捗状況を表す進捗状況バー6334aと、動画像の再生の進捗位置(動画像全体に対する、動画像領域632に表示されている画像の時間位置)を表す進捗位置マーク6334bとを備える。
 再生時間表示領域6335は、動画像の録画時間および先頭からの再生時間を表示するための領域である(再生時間/録画時間)。
 このような携帯端末装置TAと管理サーバ装置SVとの各動作によって、ユーザによって選択された動画像が動画像表示画面63で携帯端末装置TAに表示される。
 以上説明したように、本実施形態における被監視者監視システムMS、被監視者監視装置の一例としてのセンサ装置SUおよび管理サーバ装置SV、ならびに、これらの実装された被監視者監視方法は、複数人判定部145、第1動画像処理部146および第2動画像処理部223を備え、対象画像に複数人が写っていると判定した場合に、動画像の配信および記憶を開始して前記動画像を記憶する。したがって、上記被監視者監視システムMS、被監視者監視装置の一例としてのセンサ装置SUおよび管理サーバ装置SV、ならびに、上記被監視者監視方法は、被監視者Ob以外の他者がいる可能性が高い場合に、動画像が記録される。このように、上記被監視者監視システムMS、被監視者監視装置の一例としてのセンサ装置SUおよび管理サーバ装置SV、ならびに、上記被監視者監視方法は、常時、動画像を記憶しないため、被監視者Obのプライバシーに配慮できる。前記他者が窃盗等をしようとする者である場合には、上記被監視者監視システムMS、被監視者監視装置の一例としてのセンサ装置SUおよび管理サーバ装置SV、ならびに、上記被監視者監視方法は、センサ装置SUがいわゆる監視カメラとして機能するため、盗難等の発生を抑制できる。前記他者が監視者である場合には、上記被監視者監視システムMS、被監視者監視装置の一例としてのセンサ装置SUおよび管理サーバ装置SV、ならびに、上記被監視者監視方法は、被監視者に対する介護や介助の様子を記録できる。よって、上記被監視者監視システムMS、被監視者監視装置の一例としてのセンサ装置SUおよび管理サーバ装置SV、ならびに、上記被監視者監視方法は、被監視者のプライバシーを考慮しつつ、盗難等の発生を抑制でき、介護や介助の様子を記録できる。
 なお、上述の実施形態において、第1および第2動画像処理部146、223を備えて構成される前記動画像記憶処理部は、複数人判定部145で対象画像に複数人が写っていると判定した場合の前に、さらに前記イベントを通知している場合に、撮像部11で取得した動画像の記憶を開始して前記動画像を動画像記憶部234に記憶しても良い。すなわち、前記動画像記憶処理部は、前記イベントを通知した後に、複数人判定部145で対象画像に複数人が写っていると判定した場合の前に、撮像部11で取得した動画像の記憶を開始して前記動画像を動画像記憶部234に記憶する。
 より具体的には、第1動画像処理部146は、複数人判定部145で対象画像に複数人が写っていると判定した場合の前に、さらに前記イベントを通知している場合に、撮像部11で取得した動画像の配信を開始する第1動画像処理部146aであっても良い。すなわち、第1動画像処理部146aは、行動検知処理部142またはナースコール処理部143によって第1イベント通知通信信号が管理サーバ装置SVへ送信された後に、複数人判定部145で対象画像に複数人が写っていると判定した場合の前に、撮像部11で取得した動画像の配信を開始する。
 イベントの通知を端末装置SP、TAで受けたユーザ(監視者)は、必要に応じて被監視者Obの下に赴く。このため、前記他者が監視者である可能性が高い。したがって、これによれば、介護や介助の様子が好適に記録できる。
 また、上述の実施形態において、第1および第2動画像処理部146、223を備えて構成される前記動画像記憶処理部は、複数人判定部145で対象画像に複数人が写っていると判定した場合の前または後に、さらにSU音入出力部12で入力された音が所定の第1閾値以上である場合に、撮像部11で取得した動画像の記憶を開始して前記動画像を動画像記憶部234に記憶しても良い。すなわち、前記動画像記憶処理部は、SU音入出力部12で入力された音が所定の第1閾値以上である場合の後に、複数人判定部145で対象画像に複数人が写っていると判定した場合に、撮像部11で取得した動画像の記憶を開始して前記動画像を動画像記憶部234に記憶する。あるいは、前記動画像記憶処理部は、複数人判定部145で対象画像に複数人が写っていると判定した場合の後に、SU音入出力部12で入力された音が所定の第1閾値以上である場合に、撮像部11で取得した動画像の記憶を開始して前記動画像を動画像記憶部234に記憶する。あるいは、前記動画像記憶処理部は、前記イベントを通知した後に、その後さらに、SU音入出力部12で入力された音が所定の第1閾値以上である場合の後に、複数人判定部145で対象画像に複数人が写っていると判定した場合に、撮像部11で取得した動画像の記憶を開始して前記動画像を動画像記憶部234に記憶する。あるいは、前記動画像記憶処理部は、前記イベントを通知した後に、その後さらに、複数人判定部145で対象画像に複数人が写っていると判定した場合の後に、SU音入出力部12で入力された音が所定の第1閾値以上である場合に、撮像部11で取得した動画像の記憶を開始して前記動画像を動画像記憶部234に記憶する。
 より具体的には、第1動画像処理部146は、複数人判定部145で対象画像に複数人が写っていると判定した場合の前または後に、さらにSU音入出力部12で入力された音が所定の第1閾値以上である場合に、撮像部11で取得した動画像の配信を開始する第1動画像処理部146bであっても良い。すなわち、第1動画像処理部146bは、SU音入出力部12で入力された音が所定の第1閾値以上である場合の後に、複数人判定部145で対象画像に複数人が写っていると判定した場合に、撮像部11で取得した動画像の配信を開始する。あるいは、第1動画像処理部146bは、複数人判定部145で対象画像に複数人が写っていると判定した場合の後に、SU音入出力部12で入力された音が所定の第1閾値以上である場合に、撮像部11で取得した動画像の配信を開始する。あるいは、第1動画像処理部146bは、前記イベントを通知した後に、その後さらに、SU音入出力部12で入力された音が所定の第1閾値以上である場合の後に、複数人判定部145で対象画像に複数人が写っていると判定した場合に、撮像部11で取得した動画像の配信を開始する。あるいは、第1動画像処理部146bは、前記イベントを通知した後に、その後さらに、複数人判定部145で対象画像に複数人が写っていると判定した場合の後に、SU音入出力部12で入力された音が所定の第1閾値以上である場合に、撮像部11で取得した動画像の配信を開始する。
 比較的大きな音が発生した場合、事故や事件の発生が予測される。したがって、これによれば、事故や事件の様子が好適に記録できる。
 また、上述の実施形態において、被監視者監視装置の一例であるセンサ装置SUは、図2に破線で示すように、窓が開いたことを検知する窓検知部17をさらに備え、第1および第2動画像処理部146、223を備えて構成される前記動画像記憶処理部は、複数人判定部145で対象画像に複数人が写っていると判定した場合の前または後に、さらに前記窓検知部17で窓が開いたことを検知している場合に、撮像部11で取得した動画像の記憶を開始して前記動画像を動画像記憶部234に記憶しても良い。すなわち、前記動画像記憶処理部は、前記窓検知部17で窓が開いたことを検知している場合の後に、複数人判定部145で対象画像に複数人が写っていると判定した場合に、撮像部11で取得した動画像の記憶を開始して前記動画像を動画像記憶部234に記憶する。あるいは、前記動画像記憶処理部は、複数人判定部145で対象画像に複数人が写っていると判定した場合の後に、前記窓検知部17で窓が開いたことを検知している場合に、撮像部11で取得した動画像の記憶を開始して前記動画像を動画像記憶部234に記憶する。あるいは、前記動画像記憶処理部は、前記イベントを通知した後に、その後さらに、前記窓検知部17で窓が開いたことを検知している場合の後に、複数人判定部145で対象画像に複数人が写っていると判定した場合に、撮像部11で取得した動画像の記憶を開始して前記動画像を動画像記憶部234に記憶する。あるいは、前記動画像記憶処理部は、前記イベントを通知した後に、その後さらに、複数人判定部145で対象画像に複数人が写っていると判定した場合の後に、前記窓検知部17で窓が開いたことを検知している場合に、撮像部11で取得した動画像の記憶を開始して前記動画像を動画像記憶部234に記憶する。
 より具体的には、第1動画像処理部146は、複数人判定部145で対象画像に複数人が写っていると判定した場合の前または後に、さらに前記窓検知部で窓が開いたことを検知している場合に、撮像部11で取得した動画像の配信を開始する第1動画像処理部146cであっても良い。すなわち、第1動画像処理部146cは、前記窓検知部17で窓が開いたことを検知している場合の後に、複数人判定部145で対象画像に複数人が写っていると判定した場合に、撮像部11で取得した動画像の配信を開始する。あるいは、第1動画像処理部146cは、複数人判定部145で対象画像に複数人が写っていると判定した場合の後に、前記窓検知部17で窓が開いたことを検知している場合に、撮像部11で取得した動画像の配信を開始する。あるいは、第1動画像処理部146cは、前記イベントを通知した後に、その後さらに、前記窓検知部17で窓が開いたことを検知している場合の後に、複数人判定部145で対象画像に複数人が写っていると判定した場合に、撮像部11で取得した動画像の配信を開始する。あるいは、第1動画像処理部146cは、前記イベントを通知した後に、その後さらに、複数人判定部145で対象画像に複数人が写っていると判定した場合の後に、前記窓検知部17で窓が開いたことを検知している場合に、撮像部11で取得した動画像の配信を開始する。
 窓検知部17は、一例では、窓の障子(窓の可動部分)に固定的に取り付けられた磁石と、前記窓が閉じられている状態で前記磁石に対向するように前記窓のサッシ枠(窓の固定部分)に取り付けられた、例えばホール素子等の磁気センサとを備えて構成される。
 病院や老人福祉施設等では、事故や事件の発生を防止するために、窓の開閉を禁止していることが多い。このため、窓が開かれる場合、事故や事件の発生が予測される。したがって、これによれば、事故や事件の様子が好適に記録できる。
 また、上述の実施形態において、被監視者監視装置の一例であるセンサ装置SUは、図2に破線で示すように、SU制御処理部14に機能的に、さらに、人の動作速度または動作加速度を検知する動作検知部147を備え、第1および第2動画像処理部146、223を備えて構成される前記動画像記憶処理部は、複数人判定部145で対象画像に複数人が写っていると判定した場合の前または後に、さらに動作検知部147で検知した動作速度または動作加速度が所定の第2閾値以上である場合に、撮像部11で取得した動画像の記憶を開始して前記動画像を動画像記憶部234に記憶しても良い。すなわち、前記動画像記憶処理部は、動作検知部147で検知した動作速度または動作加速度が所定の第2閾値以上である場合の後に、複数人判定部145で対象画像に複数人が写っていると判定した場合に、撮像部11で取得した動画像の記憶を開始して前記動画像を動画像記憶部234に記憶する。あるいは、前記動画像記憶処理部は、複数人判定部145で対象画像に複数人が写っていると判定した場合の後に、動作検知部147で検知した動作速度または動作加速度が所定の第2閾値以上である場合に、撮像部11で取得した動画像の記憶を開始して前記動画像を動画像記憶部234に記憶する。あるいは、前記動画像記憶処理部は、前記イベントを通知した後に、その後さらに、動作検知部147で検知した動作速度または動作加速度が所定の第2閾値以上である場合の後に、複数人判定部145で対象画像に複数人が写っていると判定した場合に、撮像部11で取得した動画像の記憶を開始して前記動画像を動画像記憶部234に記憶する。あるいは、前記動画像記憶処理部は、前記イベントを通知した後に、その後さらに、複数人判定部145で対象画像に複数人が写っていると判定した場合の後に、動作検知部147で検知した動作速度または動作加速度が所定の第2閾値以上である場合に、撮像部11で取得した動画像の記憶を開始して前記動画像を動画像記憶部234に記憶する。
 より具体的には、第1動画像処理部146は、複数人判定部145で対象画像に複数人が写っていると判定した場合の前または後に、さらに動作検知部147で検知した動作速度または動作加速度が所定の第2閾値以上である場合に、撮像部11で取得した動画像の配信を開始する第1動画像処理部146dであっても良い。すなわち、第1動画像処理部146cは、動作検知部147で検知した動作速度または動作加速度が所定の第2閾値以上である場合の後に、複数人判定部145で対象画像に複数人が写っていると判定した場合に、撮像部11で取得した動画像の配信を開始する。あるいは、第1動画像処理部146dは、複数人判定部145で対象画像に複数人が写っていると判定した場合の後に、動作検知部147で検知した動作速度または動作加速度が所定の第2閾値以上である場合に、撮像部11で取得した動画像の配信を開始する。あるいは、第1動画像処理部146dは、前記イベントを通知した後に、その後さらに、動作検知部147で検知した動作速度または動作加速度が所定の第2閾値以上である場合の後に、複数人判定部145で対象画像に複数人が写っていると判定した場合に、撮像部11で取得した動画像の配信を開始する。あるいは、第1動画像処理部146dは、前記イベントを通知した後に、その後さらに、複数人判定部145で対象画像に複数人が写っていると判定した場合の後に、動作検知部147で検知した動作速度または動作加速度が所定の第2閾値以上である場合に、撮像部11で取得した動画像の配信を開始する。
 動作検知部147は、撮像部11で取得した対象画像から例えば背景差分法やフレーム差分法によって人物の領域として動体領域を抽出し、この抽出した動体領域の重心位置を求める。そして、上述したように、センサ装置SUは、各フレームごとに、あるいは、数フレームおきに、対象画像を取得しているので、動作検知部147は、前回に、撮像部11で取得した対象画像(前回の対象画像)から求めた動体領域の重心位置(前回の重心位置)と、今回に、撮像部11で取得した対象画像(今回の対象画像)から求めた動体領域の重心位置(今回の重心位置)との差を移動量として求め、この求めた移動量を前回の時点と今回の時点との時間差で割ることで、動作速度を求める。あるいは、動作検知部147は、この求めた動作速度を、前回の時点と今回の時点との前記時間差でさらに割ることで、動作加速度を求める。
 比較的速い動作速度や比較的大きな動作加速度で動作する場合、事故や事件の発生が予測される。したがって、これによれば、事故や事件の様子が好適に記録できる。
 また、上述の実施形態では、センサ装置SUが第1動画像処理部146を備え、管理サーバ装置SVが第2動画像処理部223および動画像記憶部234を備えが、センサ装置SUが第1動画像処理部146に代え、前記動画像記憶処理部および前記動画像記憶部を備えても良い。そして、この場合、センサ装置SVは、管理サーバ装置SVや端末装置SP、TAの要求に応じて動画像を送信すればよい。あるいは、管理サーバ装置SVが第2動画像処理部223に代え、前記画像取得部、前記複数人判定部および前記動画像記憶処理部を備えても良い。そして、この場合、SV通信IF部21が、少なくとも動画像を含む画像を取得する画像取得部の他の一例に相当する。
 また、これら上述の実施形態では、センサ装置SUは、第1動画像処理部146によって、複数人判定部145で前記対象画像に複数人が写っていると判定した場合に、撮像部11で動画像の生成を開始してこの動画像を管理サーバ装置SVへ送信し、この動画像の生成の開始した時点から予め設定された所定の時間が経過すると、撮像部11に動画像の生成を終了させて管理サーバ装置SVへの動画像の送信を終了したが、動画像の生成を終了するタイミング(条件)は、これに限定されるものではなく、適宜に変更できる。
 例えば、センサ装置SUは、複数人判定部145によって前記対象画像に複数人が写っていると判定した後に、複数人判定部145によって前記対象画像に複数人が写っていないと判定したタイミングで、第1動画像処理部146によって、撮像部11に動画像の生成を終了させて管理サーバ装置SVへの前記動画像の送信を終了しても良い。これによれば、前記所定の時間経過で動画像の生成が終了されるのではなく、前記対象画像に複数人が写っている限り、動画像が生成できる。
 また例えば、センサ装置SUは、複数人判定部145によって前記対象画像に複数人が写っていると判定した後に、前記動画像の生成を開始して管理サーバ装置SVへ送信し、さらに、前記複数人間の距離を求め、この距離が予め設定された範囲外である場合に、前記動画像の生成を終了して管理サーバ装置SVへの前記動画像の送信を終了しても良い。より具体的には、例えば、撮像部11における光学系の倍率や前記撮像部11の配設位置等を考慮することによって計算または実測で求められた1画素(ピクセル)当たりの実際の長さ(実長)が求められてSU記憶部16に予め記憶され、前記複数人判定部145は、さらに、所定の時間間隔ごとに、この1画素当たりの実長に基づいて、前記複数人間の距離を求め、この求めた距離が予め設定された範囲内であるか否かを判定し、その判定結果を第1動画像処理部146へ通知する。前記範囲は、例えば、1.5mや2mや2.5m等に設定される。そして、第1動画像処理部146は、複数人判定部145で前記対象画像に複数人が写っていると判定した場合に、撮像部11で動画像の生成を開始してこの動画像を管理サーバ装置SVへ送信し、複数人判定部145で前記範囲外であると判定した場合に、撮像部11に動画像の生成を終了させて管理サーバ装置SVへの動画像の送信を終了する。これによれば、複数人が居ても、所定の距離だけ離れることによって互いに干渉すること(例えば一方が他方に危害を与えること)がなく、録画を停止することで、録画時間を最小限に抑制できる。
 なお、この観点によれば、動画像の生成を開始するタイミングにも前記複数人間の距離が考慮されても良い。すなわち、センサ装置SUは、複数人判定部145によって前記対象画像に複数人が写っていると判定した後に、さらに、前記複数人間の距離を求め、この距離が予め設定された範囲内である場合に、前記動画像の生成を開始して管理サーバ装置SVへ送信し、その後、前記複数人間の距離を求め、この距離が予め設定された範囲外である場合に、前記動画像の生成を終了して管理サーバ装置SVへの前記動画像の送信を終了しても良い。より具体的には、例えば、複数人判定部145は、前記対象画像に複数人が写っていると判定した後に、さらに、この1画素当たりの実長に基づいて、前記複数人間の距離を求め、この求めた距離が予め設定された範囲内であるか否かを判定し、この距離が予め設定された範囲内である場合に、第1動画像処理部146は、前記動画像の生成を開始して管理サーバ装置SVへの前記動画像の送信する。そして、前記複数人判定部145は、さらに、所定の時間間隔ごとに、この1画素当たりの実長に基づいて、前記複数人間の距離を求め、この求めた距離が予め設定された範囲内であるか否かを判定し、その判定結果を第1動画像処理部146へ通知する。第1動画像処理部146は、複数人判定部145で前記範囲外であると判定した場合に、撮像部11に動画像の生成を終了させて管理サーバ装置SVへの動画像の送信を終了する。これによれば、複数人が居ても、所定の距離だけ離れることによって互いに干渉することがなく、録画時間を最小限に抑制できる。
 本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。
 一態様にかかる被監視者監視装置は、監視対象である被監視者に関わる所定のイベントを検知して前記イベントを通知する被監視者監視装置であって、少なくとも動画像を含む画像を取得する画像取得部と、前記画像取得部で取得した動画像を記憶する動画像記憶部と、前記画像取得部で取得した画像に基づいて前記画像に複数人が写っているか否かを判定する複数人判定部と、前記複数人判定部で前記画像に複数人が写っていると判定した場合に、前記画像取得部で取得した動画像の記憶を開始して前記動画像を前記動画像記憶部に記憶する動画像記憶処理部とを備える。好ましくは、被監視者監視装置は、センサ装置と前記センサ装置と通信可能に接続された管理サーバ装置とを備え、前記動画像記憶処理部は、前記複数人判定部で前記画像に複数人が写っていると判定した場合に、前記画像取得部で取得した動画像の配信を開始する第1動画像処理部と、前記第1動画像処理部で配信された動画像を前記動画像記憶部に記憶する第2動画像処理部とを備え、前記センサ装置は、前記画像取得部、前記複数人判定部および前記第1動画像処理部を備え、前記第1動画像処理部は、前記動画像を管理サーバ装置へ配信し、前記管理サーバ装置は、前記動画像記憶部および前記第2動画像処理部を備える。好ましくは、上述の被監視者監視装置において、前記動画像記憶処理部は、前記動画像の記憶を開始した後、所定の時間の経過後に、前記動画像の記憶を終了する。好ましくは、上述の被監視者監視装置において、前記第1動画像処理部は、前記動画像の配信を開始した後、所定の時間の経過後に、前記動画像の配信を終了する。好ましくは、上述の被監視者監視装置において、前記所定のイベントは、前記被監視者における所定の行動である。好ましくは、上述の被監視者監視装置において、前記所定のイベントは、ナースコールである。
 このような被監視者監視装置は、前記複数人判定部および前記動画像記憶処理部を備え、画像に複数人が写っていると判定した場合に、動画像の記憶を開始して前記動画像を記憶する。したがって、上記被監視者監視装置では、被監視者以外の他者がいる可能性が高い場合に、動画像が記録される。このように、上記被監視者監視装置は、常時、動画像を記憶しないため、被監視者のプライバシーに配慮できる。前記他者が窃盗等をしようとする者である場合には、上記被監視者監視装置は、いわゆる監視カメラとして機能し、盗難等の発生を抑制できる。前記他者が監視者である場合には、上記被監視者監視装置は、被監視者に対する介護や介助の様子を記録できる。よって、上記被監視者監視装置は、被監視者のプライバシーを考慮しつつ、盗難等の発生を抑制でき、介護や介助の様子を記録できる。
 他の一態様では、上述の被監視者監視装置において、前記動画像記憶処理部は、前記複数人判定部で前記画像に複数人が写っていると判定した場合の前に、さらに前記イベントを通知している場合に、前記画像取得部で取得した動画像の記憶を開始して前記動画像を前記動画像記憶部に記憶する。
 イベントの通知を端末装置で受けた監視者は、必要に応じて被監視者の下に赴く。このため、前記他者が監視者である可能性が高い。したがって、上記被監視者監視装置は、介護や介助の様子を好適に記録できる。
 他の一態様では、上述の被監視者監視装置において、音が入力される音入力部をさらに備え、前記動画像記憶処理部は、前記複数人判定部で前記画像に複数人が写っていると判定した場合の前または後に、さらに前記音入力部で入力された音が所定の第1閾値以上である場合に、前記画像取得部で取得した動画像の記憶を開始して前記動画像を前記動画像記憶部に記憶する。
 比較的大きな音が発生した場合、事故や事件の発生が予測される。したがって、上記被監視者監視装置は、事故や事件の様子を好適に記録できる。
 他の一態様では、上述の被監視者監視装置において、窓が開いたことを検知する窓検知部をさらに備え、前記動画像記憶処理部は、前記複数人判定部で前記画像に複数人が写っていると判定した場合の前または後に、さらに前記窓検知部で窓が開いたことを検知している場合に、前記画像取得部で取得した動画像の記憶を開始して前記動画像を前記動画像記憶部に記憶する。
 病院や老人福祉施設等では、事故や事件の発生を防止するために、窓の開閉を禁止していることが多い。このため、窓が開かれる場合、事故や事件の発生が予測される。したがって、上記被監視者監視装置は、事故や事件の様子を好適に記録できる。
 他の一態様では、上述の被監視者監視装置において、人の動作速度または動作加速度を検知する動作検知部をさらに備え、前記動画像記憶処理部は、前記複数人判定部で前記画像に複数人が写っていると判定した場合の前または後に、さらに前記動作検知部で検知した動作速度または動作加速度が所定の第2閾値以上である場合に、前記画像取得部で取得した動画像の記憶を開始して前記動画像を前記動画像記憶部に記憶する。
 比較的速い動作速度や比較的大きな動作加速度で動作する場合、事故や事件の発生が予測される。したがって、上記被監視者監視装置は、事故や事件の様子を好適に記録できる。
 他の一態様にかかる被監視者監視方法は、監視対象である被監視者に関わる所定のイベントを検知して前記イベントを通知する被監視者監視方法であって、少なくとも動画像を含む画像を取得する画像取得工程と、前記画像取得工程で取得した動画像を動画像記憶部に記憶する動画像記憶工程と、前記画像取得工程で取得した画像に基づいて前記画像に複数人が写っているか否かを判定する複数人判定工程と、前記複数人判定工程で前記画像に複数人が写っていると判定した場合に、前記画像取得工程で取得した動画像の記憶を開始して前記動画像を前記動画像記憶部に記憶する動画像記憶処理工程とを備える。
 このような被監視者監視方法は、前記複数人判定工程および前記動画像記憶処理工程を備え、画像に複数人が写っていると判定した場合に、動画像の記憶を開始して前記動画像を記憶する。したがって、上記被監視者監視方法では、被監視者以外の他者がいる可能性が高い場合に、動画像が記録される。このように、上記被監視者監視方法は、常時、動画像を記憶しないため、被監視者のプライバシーに配慮できる。前記他者が窃盗等をしようとする者である場合には、上記被監視者監視方法は、いわゆる監視カメラとして機能し、盗難等の発生を抑制できる。前記他者が監視者である場合には、上記被監視者監視方法は、被監視者に対する介護や介助の様子を記録できる。よって、上記被監視者監視方法は、被監視者のプライバシーを考慮しつつ、盗難等の発生を抑制でき、介護や介助の様子を記録できる。
 他の一態様にかかる被監視者監視システムは、端末装置と、前記端末装置と通信可能に接続され、監視対象である被監視者に関わる所定のイベントを検知して前記イベントを前記端末装置へ通知する被監視者監視装置とを備える被監視者監視システムであって、前記被監視者監視装置は、これら上述のいずれかの被監視者監視装置である。好ましくは、上述の被監視者監視システムにおいて、前記監視者監視装置は、センサ装置と前記センサ装置と通信可能に接続された管理サーバ装置とを備え、前記センサ装置は、監視対象である被監視者に関わる前記所定のイベントを前記管理サーバ装置へ通知し、前記管理サーバ装置は、前記センサ装置から前記通知を受けると前記通知を前記端末装置へ再通知し、前記動画像記憶処理部は、前記複数人判定部で前記画像に複数人が写っていると判定した場合に、前記画像取得部で取得した動画像の配信を開始する第1動画像処理部と、前記第1動画像処理部で配信された動画像を前記動画像記憶部に記憶する第2動画像処理部とを備え、前記センサ装置は、前記画像取得部、前記複数人判定部および前記第1動画像処理部を備え、前記第1動画像処理部は、前記動画像を管理サーバ装置へ配信し、前記管理サーバ装置は、前記動画像記憶部および前記第2動画像処理部を備える。
 このような被監視者監視システムは、これら上述のいずれかの被監視者監視装置を備えるので、被監視者のプライバシーを考慮しつつ、盗難等の発生を抑制でき、介護や介助の様子を記録できる。
 この出願は、2016年2月24日に出願された日本国特許出願特願2016-32905を基礎とするものであり、その内容は、本願に含まれるものである。
 本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
 本発明によれば、被監視者監視装置、被監視者監視方法および被監視者監視システムが提供できる。
 
 

Claims (7)

  1.  監視対象である被監視者に関わる所定のイベントを検知して前記イベントを通知する被監視者監視装置であって、
     少なくとも動画像を含む画像を取得する画像取得部と、
     前記画像取得部で取得した動画像を記憶する動画像記憶部と、
     前記画像取得部で取得した画像に基づいて前記画像に複数人が写っているか否かを判定する複数人判定部と、
     前記複数人判定部で前記画像に複数人が写っていると判定した場合に、前記画像取得部で取得した動画像の記憶を開始して前記動画像を前記動画像記憶部に記憶する動画像記憶処理部とを備える、
     被監視者監視装置。
  2.  前記動画像記憶処理部は、前記複数人判定部で前記画像に複数人が写っていると判定した場合の前に、さらに前記イベントを通知している場合に、前記画像取得部で取得した動画像の記憶を開始して前記動画像を前記動画像記憶部に記憶する、
     請求項1に記載の被監視者監視装置。
  3.  音が入力される音入力部をさらに備え、
     前記動画像記憶処理部は、前記複数人判定部で前記画像に複数人が写っていると判定した場合の前または後に、さらに前記音入力部で入力された音が所定の第1閾値以上である場合に、前記画像取得部で取得した動画像の記憶を開始して前記動画像を前記動画像記憶部に記憶する、
     請求項1または請求項2に記載の被監視者監視装置。
  4.  窓が開いたことを検知する窓検知部をさらに備え、
     前記動画像記憶処理部は、前記複数人判定部で前記画像に複数人が写っていると判定した場合の前または後に、さらに前記窓検知部で窓が開いたことを検知している場合に、前記画像取得部で取得した動画像の記憶を開始して前記動画像を前記動画像記憶部に記憶する、
     請求項1または請求項2に記載の被監視者監視装置。
  5.  人の動作速度または動作加速度を検知する動作検知部をさらに備え、
     前記動画像記憶処理部は、前記複数人判定部で前記画像に複数人が写っていると判定した場合の前または後に、さらに前記動作検知部で検知した動作速度または動作加速度が所定の第2閾値以上である場合に、前記画像取得部で取得した動画像の記憶を開始して前記動画像を前記動画像記憶部に記憶する、
     請求項1または請求項2に記載の被監視者監視装置。
  6.  監視対象である被監視者に関わる所定のイベントを検知して前記イベントを通知する被監視者監視方法であって、
     少なくとも動画像を含む画像を取得する画像取得工程と、
     前記画像取得工程で取得した動画像を動画像記憶部に記憶する動画像記憶工程と、
     前記画像取得工程で取得した画像に基づいて前記画像に複数人が写っているか否かを判定する複数人判定工程と、
     前記複数人判定工程で前記画像に複数人が写っていると判定した場合に、前記画像取得工程で取得した動画像の記憶を開始して前記動画像を前記動画像記憶部に記憶する動画像記憶処理工程とを備える、
     被監視者監視方法。
  7.  端末装置と、前記端末装置と通信可能に接続され、監視対象である被監視者に関わる所定のイベントを検知して前記イベントを前記端末装置へ通知する被監視者監視装置とを備える被監視者監視システムであって、
     前記被監視者監視装置は、請求項1ないし請求項5のいずれか1項に記載の被監視者監視装置である、
     被監視者監視システム。
PCT/JP2017/006248 2016-02-24 2017-02-21 被監視者監視装置、該方法および該システム WO2017146012A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/078,091 US20190046080A1 (en) 2016-02-24 2017-02-21 Monitoring target person monitoring device, method, and system
CN201780012359.2A CN108701400A (zh) 2016-02-24 2017-02-21 被监视者监视装置、该方法以及该系统
JP2018501684A JP6680352B2 (ja) 2016-02-24 2017-02-21 被監視者監視装置、該方法および該システム
EP17756450.7A EP3422316A4 (en) 2016-02-24 2017-02-21 MONITORING DEVICE FOR MONITORED PERSON, PROCEDURE AND SYSTEM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-032905 2016-02-24
JP2016032905 2016-02-24

Publications (1)

Publication Number Publication Date
WO2017146012A1 true WO2017146012A1 (ja) 2017-08-31

Family

ID=59686203

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/006248 WO2017146012A1 (ja) 2016-02-24 2017-02-21 被監視者監視装置、該方法および該システム

Country Status (5)

Country Link
US (1) US20190046080A1 (ja)
EP (1) EP3422316A4 (ja)
JP (1) JP6680352B2 (ja)
CN (1) CN108701400A (ja)
WO (1) WO2017146012A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019057891A (ja) * 2017-09-22 2019-04-11 キヤノン株式会社 情報処理装置、撮像装置、情報処理方法及びプログラム
CN111096887A (zh) * 2018-10-10 2020-05-05 发美利稻田株式会社 防止犯罪系统及具备该防止犯罪系统的按摩机

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109804357A (zh) * 2016-10-07 2019-05-24 索尼公司 服务器、客户端、控制方法和存储介质
JP6881401B2 (ja) * 2018-07-09 2021-06-02 株式会社デンソー 異常判定装置
WO2021033703A1 (ja) * 2019-08-22 2021-02-25 日本電気株式会社 表示制御装置、表示制御方法、プログラム、および表示制御システム
CN111369754A (zh) * 2020-03-05 2020-07-03 吉舵物联科技有限公司 一种智能防盗报警方法及报警系统
CN111565300B (zh) * 2020-05-22 2020-12-22 深圳市百川安防科技有限公司 基于对象的视频文件处理方法、设备及系统
CN114596683A (zh) * 2022-02-09 2022-06-07 青岛海信日立空调系统有限公司 入侵检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005122528A (ja) * 2003-10-17 2005-05-12 Sony Corp 監視装置および方法、記録媒体、並びにプログラム
JP2005135188A (ja) * 2003-10-30 2005-05-26 Konica Minolta Holdings Inc 監視方法、監視システム、およびコンピュータプログラム
JP2006279516A (ja) * 2005-03-29 2006-10-12 Matsushita Electric Ind Co Ltd 監視システム、監視カメラ、及びコントローラ

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003274388A (ja) * 2002-03-13 2003-09-26 Mitsubishi Electric Corp 情報収集用監視カメラシステム及び情報収集方法
CN100559410C (zh) * 2004-06-04 2009-11-11 佳能株式会社 情况监视装置和情况监视系统
US7911348B2 (en) * 2005-12-09 2011-03-22 Bee Cave, LLC. Methods for refining patient, staff and visitor profiles used in monitoring quality and performance at a healthcare facility
GB2466242B (en) * 2008-12-15 2013-01-02 Audio Analytic Ltd Sound identification systems
US8629776B2 (en) * 2009-12-03 2014-01-14 Bi Incorporated Systems and methods for disrupting criminal activity
CN103093581B (zh) * 2011-11-08 2015-09-09 云辰电子开发股份有限公司 人员监控系统及方法
CN102752577B (zh) * 2012-05-15 2015-11-25 张勇 个人携带式移动监控及家庭服务平台
JP6253311B2 (ja) * 2013-08-28 2017-12-27 キヤノン株式会社 画像処理装置、画像処理方法
US10311694B2 (en) * 2014-02-06 2019-06-04 Empoweryu, Inc. System and method for adaptive indirect monitoring of subject for well-being in unattended setting

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005122528A (ja) * 2003-10-17 2005-05-12 Sony Corp 監視装置および方法、記録媒体、並びにプログラム
JP2005135188A (ja) * 2003-10-30 2005-05-26 Konica Minolta Holdings Inc 監視方法、監視システム、およびコンピュータプログラム
JP2006279516A (ja) * 2005-03-29 2006-10-12 Matsushita Electric Ind Co Ltd 監視システム、監視カメラ、及びコントローラ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3422316A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019057891A (ja) * 2017-09-22 2019-04-11 キヤノン株式会社 情報処理装置、撮像装置、情報処理方法及びプログラム
JP7086552B2 (ja) 2017-09-22 2022-06-20 キヤノン株式会社 情報処理装置、撮像装置、情報処理方法及びプログラム
CN111096887A (zh) * 2018-10-10 2020-05-05 发美利稻田株式会社 防止犯罪系统及具备该防止犯罪系统的按摩机

Also Published As

Publication number Publication date
US20190046080A1 (en) 2019-02-14
EP3422316A1 (en) 2019-01-02
CN108701400A (zh) 2018-10-23
EP3422316A4 (en) 2019-03-13
JP6680352B2 (ja) 2020-04-15
JPWO2017146012A1 (ja) 2018-12-20

Similar Documents

Publication Publication Date Title
WO2017146012A1 (ja) 被監視者監視装置、該方法および該システム
WO2017082037A1 (ja) 被監視者監視システムの中央処理装置および該方法ならびに前記被監視者監視システム
WO2017099091A1 (ja) 被監視者監視システムの中央処理装置および中央処理方法ならびに被監視者監視システム
WO2018003518A1 (ja) 被監視者監視システムの中央処理装置および中央処理方法ならびに被監視者監視システム
WO2017212995A1 (ja) 被監視者監視装置、該方法および該システム
JP6226110B1 (ja) 被監視者監視装置、該方法および該システム
JP6880811B2 (ja) 被監視者監視装置、該方法および該システム
JP6740633B2 (ja) 被監視者監視システムの中央処理装置および中央処理方法、ならびに、前記被監視者監視システム
JP6686523B2 (ja) 被監視者監視装置、該方法および該システム
WO2017026280A1 (ja) 被監視者監視システムの表示装置および表示方法ならびに被監視者監視システム
JP6172424B1 (ja) 端末装置および端末装置の制御方法ならびに被監視者監視システム
JP6292363B2 (ja) 端末装置および端末装置の表示方法ならびに被監視者監視システム
JP6213699B1 (ja) 被監視者監視システムの中央処理装置および中央処理方法ならびに被監視者監視システム
JP6187732B1 (ja) 端末装置、端末装置の動作制御方法および被監視者監視システム
JP6946276B2 (ja) 被監視者監視システムの端末装置、端末装置の制御方法およびプログラムならびに被監視者監視システム
JP6135832B1 (ja) 被監視者監視システム、被監視者監視システムの作動方法および被監視者監視システムの中央処理装置
WO2017145832A1 (ja) 被監視者監視装置、該方法および該システム
WO2017141629A1 (ja) 端末装置および端末装置の表示方法、センサ装置ならびに被監視者監視システム
JP6245415B1 (ja) 端末装置および端末装置の動作制御方法ならびに被監視者監視システム
WO2017130684A1 (ja) 被監視者監視装置、該方法および該システム
WO2017145520A1 (ja) 端末装置および端末装置の制御方法ならびに被監視者監視システム
JP2020188487A (ja) 中央処理装置、被監視者監視方法および被監視者監視システム
WO2017026284A1 (ja) 被監視者監視システムの中央処理装置および該方法ならびに被監視者監視システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018501684

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2017756450

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017756450

Country of ref document: EP

Effective date: 20180924

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17756450

Country of ref document: EP

Kind code of ref document: A1