WO2022196212A1 - 見守りシステム - Google Patents

見守りシステム Download PDF

Info

Publication number
WO2022196212A1
WO2022196212A1 PCT/JP2022/005692 JP2022005692W WO2022196212A1 WO 2022196212 A1 WO2022196212 A1 WO 2022196212A1 JP 2022005692 W JP2022005692 W JP 2022005692W WO 2022196212 A1 WO2022196212 A1 WO 2022196212A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
fallen
fall
unit
skeletal model
Prior art date
Application number
PCT/JP2022/005692
Other languages
English (en)
French (fr)
Inventor
雅寛 伊藤
宏二 石井
Original Assignee
矢崎総業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 矢崎総業株式会社 filed Critical 矢崎総業株式会社
Priority to CN202280016685.1A priority Critical patent/CN116940962A/zh
Publication of WO2022196212A1 publication Critical patent/WO2022196212A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a monitoring system.
  • Patent Literature 1 discloses a monitored person posture detection device that includes an imaging device, a skeleton information extraction unit, a skeleton information sample storage unit, a posture detection unit, and a posture determination unit. disclosed.
  • the imaging device acquires image data of an imaging area for monitoring a person to be monitored.
  • the skeleton information extraction unit extracts the skeleton information of the monitored person from the image data captured by the imaging device.
  • the skeleton information sample storage unit stores posture information samples made up of skeleton information.
  • the posture detection unit detects the posture of the monitored person based on the human skeleton information extracted by the skeleton information extraction unit and the skeleton information sample stored in the skeleton information storage unit.
  • a posture determination unit determines whether or not there is a fall based on the posture detected by the posture detection unit.
  • the posture detection device as described above has room for further improvement, for example, in terms of grasping the situation when falling.
  • the present invention has been made in view of the above circumstances, and aims to provide a monitoring system that can properly grasp the situation when a person falls.
  • the monitoring system of the present invention includes an imaging unit that captures an image of a monitored space, and a skeleton model generator that generates a skeleton model representing a person included in the image captured by the imaging unit. and a determination unit that determines the state of the person corresponding to the skeleton model based on the skeleton model generated by the skeleton model generation unit, wherein the determination unit determines whether the person corresponding to the skeleton model is When it is determined that the fallen person is in a state of falling, based on whether or not the skeletal model representing the person who has fallen overlaps with the skeletal model representing another person, it is determined that the fall is caused by the person who has fallen. judge.
  • the monitoring system according to the present invention has the effect of being able to properly grasp the situation at the time of a fall.
  • Drawing 1 is a block diagram showing a schematic structure of a watching system concerning an embodiment.
  • Drawing 2 is a mimetic diagram showing an example of loading of a watching system concerning an embodiment.
  • FIG. 3 is a schematic diagram illustrating an example of state determination based on a skeleton model in the watching system according to the embodiment.
  • FIG. 4 is a schematic diagram illustrating an example of determination in the watching system according to the embodiment.
  • FIG. 5 is a schematic diagram illustrating an example of determination in the watching system according to the embodiment.
  • FIG. 6 is a schematic diagram illustrating an example of determination in the watching system according to the embodiment.
  • FIG. 7 is a schematic diagram illustrating an example of determination in the watching system according to the embodiment.
  • Drawing 8 is a flow chart explaining an example of processing in a watching system concerning an embodiment.
  • the watching system 1 of this embodiment shown in FIGS. 1 and 2 is a system that monitors and watches the state of a person P existing in the monitored space SP.
  • the watching system 1 of the present embodiment is applied, for example, to welfare facilities such as care facilities such as outpatient care (day service) and facilities for the elderly.
  • the monitored space SP is, for example, a living room space, a corridor space, or the like of the facility.
  • the monitoring system 1 of the present embodiment includes an installation device 10, a detection device 20, and a terminal device 30, which constitute a cooperation system in which information is mutually transmitted and received and cooperated.
  • the installation device 10 and the detection device 20 constitute a detection system 1A that detects the fall of the person P in the monitored space SP and records the situation at the time of the fall.
  • the detection system 1A determines the state of the person P existing in the monitored space SP based on the skeletal model MDL (see FIG. 3) representing the person P, It realizes a configuration for properly grasping.
  • MDL skeletal model
  • connection method between each component for the transmission and reception of power supply, control signals, various information, etc. is either wired connection or wireless connection unless otherwise specified.
  • a wired connection is, for example, a connection via a wiring material such as an electric wire or an optical fiber.
  • Wireless connection is, for example, connection by wireless communication, contactless power supply, or the like.
  • the installation device 10 is a device that is installed in the monitored space SP and captures an image of the monitored space SP.
  • the installation device 10 includes an imaging unit 11 , a position detector 12 , a display 13 , a speaker 14 and a microphone 15 .
  • the installed device 10 configures an indoor monitoring module that integrates various functions by assembling these components into a housing or the like to form a unit and then installing the unit on the ceiling or the like of the monitored space SP. Further, in the installation device 10, for example, these components may be individually provided in the monitored space SP. For example, a plurality of installation devices 10 are provided in a facility to which the watching system 1 is applied.
  • the imaging unit 11 captures an image I (for example, see FIG. 3) of the monitored space SP.
  • the imaging unit 11 may be, for example, a monocular camera capable of capturing a two-dimensional image, or a stereo camera capable of capturing a three-dimensional image. Also, the imaging unit 11 may be a so-called TOF (Time of Flight) camera or the like.
  • the imaging unit 11 is typically provided at a position where all persons P present in the monitored space SP can be imaged.
  • the imaging unit 11 is arranged, for example, above the monitored space SP, here, on the ceiling, and the angle of view is set so that the imaging range includes the entire area of the monitored space SP. If one imaging unit 11 cannot cover the entire monitored space SP, a plurality of imaging units 11 may be provided so as to cover the entire monitored space SP.
  • imaging depth direction X A direction along the horizontal direction may be referred to as an “imaging width direction Y”, and a direction intersecting the imaging depth direction X and along the vertical direction may be referred to as an “imaging vertical direction Z”.
  • imaging depth direction X typically corresponds to a direction along the optical axis direction of the imaging unit 11 .
  • the position detector 12 is a detector capable of detecting the position of the person P with respect to the imaging depth direction X by the imaging unit 11 .
  • the position detector 12 detects the position of the person P imaged by the imaging unit 11 in the imaging depth direction X. As shown in FIG.
  • the position of the person P imaged by the imaging unit 11 with respect to the imaging depth direction X is typically the position of the person P corresponding to the skeleton model MDL generated by the detection device 20 with respect to the imaging depth direction X, as will be described later. Equivalent to position.
  • various radars, sonar, LiDAR (light detection and ranging), etc. that detect distance using laser, infrared rays, millimeter waves, ultrasonic waves, etc. can be used.
  • the position detector 12 can detect the position of the person P in the imaging depth direction X by measuring the distance between the person P and the position detector 12 along the imaging depth direction X, for example.
  • the display 13 displays (outputs) image information (visual information) toward the monitored space SP.
  • the display 13 is configured by, for example, a thin liquid crystal display, plasma display, organic EL display, or the like.
  • the display 13 displays image information at a position visible from the person P within the monitored space SP.
  • the display 13 provides various guidance (announcements) by outputting image information, for example.
  • the speaker 14 outputs sound information (auditory information) toward the monitored space SP.
  • the speaker 14 performs various guidance (announcements) by outputting sound information, for example.
  • the microphone 15 is a sound collecting device that converts sounds generated in the monitored space SP into electric signals.
  • the microphone 15 can be used, for example, for exchanging voices with persons outside the monitored space SP (for example, facility staff, etc.).
  • the detection device 20 is a device that detects the state of the person P existing in the monitored space SP based on the skeleton model MDL generated from the image I captured by the installed device 10 .
  • the detection device 20 includes an interface section 21, a storage section 22, and a processing section 23, which are connected so as to be able to communicate with each other.
  • the detection device 20 may constitute a so-called cloud service type device (cloud server) mounted on a network, or may constitute a so-called stand-alone type device separated from the network.
  • the detection device 20 can also be configured by installing an application for realizing various processes in various computer devices such as personal computers, workstations, and tablet terminals, for example.
  • the detection device 20 is provided, for example, in a facility management center or the like to which the watching system 1 is applied, but is not limited to this.
  • the interface unit 21 is an interface for transmitting and receiving various information to and from other devices other than the detecting device 20.
  • the interface section 21 has a function of wired communication of information with each section via an electric wire or the like, a function of wireless communication of information with each section via a wireless communication unit or the like, and the like.
  • the interface unit 21 transmits and receives information to and from a plurality of installed devices 10 and a plurality of terminal devices 30 as devices other than the detected device 20 .
  • the interface unit 21 is directly communicably connected to the plurality of installed devices 10, and is communicably connected to the plurality of terminal devices 30 via the communication unit 21a and the network N. Although illustrated as a thing, it is not restricted to this.
  • a plurality of installed devices 10 may also be connected to the interface section 21 via the communication section 21a and the network N.
  • the communication unit 21a is a communication module (Data Communication Module) connected to the network N for communication.
  • the network N can use any communication network, whether wired or wireless.
  • the storage unit 22 is a storage circuit that stores various information.
  • the storage unit 22 can rewrite data such as a relatively large-capacity storage device such as a hard disk, SSD (Solid State Drive), or optical disc, or RAM, flash memory, NVSRAM (Non Volatile Static Random Access Memory), etc. Any semiconductor memory may be used.
  • the storage unit 22 stores, for example, programs for the detecting device 20 to implement various functions.
  • the programs stored in the detecting device 20 include a program that causes the interface section 21 to function, a program that causes the communication section 21a to function, a program that causes the processing section 23 to function, and the like.
  • the storage unit 22 stores, for example, a learned mathematical model used for determining the state of the person P in the monitored space SP.
  • the storage unit 22 also stores various data necessary for various processes in the processing unit 23 . These various data are read from the storage unit 22 by the processing unit 23 and the like as necessary. Note that the storage unit 22 may be implemented by a cloud server or the like connected to the detecting device 20 via the network N.
  • the processing unit 23 is a processing circuit that implements various processing functions in the detection device 20 .
  • the processing unit 23 is realized by, for example, a processor.
  • a processor means a circuit such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), an ASIC (Application Specific Integrated Circuit), and an FPGA (Field Programmable Gate Array).
  • the processing unit 23 implements each processing function by executing a program read from the storage unit 22, for example.
  • the processing unit 23 can execute processing of inputting image data representing the image I captured by the imaging unit 11 of the installation device 10 to the detection device 20 via the interface unit 21 .
  • the terminal device 30 is a device that is communicably connected to the detecting device 20 .
  • the terminal device 30 includes an interface section 31, a storage section 32, a processing section 33, a display 34, a speaker 35, and a microphone 36, which are connected so as to be able to communicate with each other.
  • the terminal device 30 can also be configured by installing applications for realizing various processes in various computer devices such as personal computers, workstations, and tablet terminals, for example.
  • the terminal device 30 may constitute, for example, a portable terminal device that can be carried by a staff member or the like of the facility to which the watching system 1 is applied, or may constitute a stationary management terminal device.
  • the interface unit 31, storage unit 32, processing unit 33, display 34, speaker 35, and microphone 36 are substantially the same as the interface unit 21, storage unit 22, processing unit 23, display 13, speaker 14, and microphone 15 described above, respectively. Configuration.
  • the interface unit 31 is an interface for transmitting and receiving various information to and from other devices other than the terminal device 30 .
  • the interface unit 31 is communicably connected to the detecting device 20 via the communication unit 31a and the network N. As shown in FIG.
  • the communication unit 31a is a communication module, like the communication unit 21a described above.
  • the storage unit 32 stores, for example, programs for the terminal device 30 to implement various functions.
  • the processing unit 33 is a processing circuit that implements various processing functions in the terminal device 30 .
  • the processing unit 33 implements each processing function by executing a program read from the storage unit 32, for example.
  • the display 34 displays image information.
  • the speaker 35 outputs sound information.
  • a microphone 36 is a sound collecting device that converts sound into an electric signal.
  • the processing unit 23 converts the state of the person P existing in the monitored space SP into the skeleton model MDL representing the person P, as shown in FIGS. It has a function to perform various processes such as making a judgment based on the situation, properly grasping and recording the situation at the time of the fall.
  • the processing unit 23 of the present embodiment includes an information processing unit 23a, a skeleton model generation unit 23b, a determination unit 23c, and a motion processing unit 23d functionally conceptually in order to realize the various processing functions described above. Consists of The processing unit 23 implements the processing functions of the information processing unit 23a, the skeleton model generation unit 23b, the determination unit 23c, and the motion processing unit 23d by executing programs read from the storage unit 22, for example.
  • the information processing unit 23a is a part having a function capable of executing processing related to various information used in the monitoring system 1.
  • the information processing section 23 a can execute processing for transmitting and receiving various information to and from the installed device 10 and the terminal device 30 .
  • the monitoring system 1 can exchange information (for example, audio information, image information, etc.) with the installation device 10 and the terminal device 30 through processing by the information processing section 23a.
  • the information processing section 23a can execute a process of acquiring image data representing the image I of the monitored space SP captured by the imaging section 11 from the installation device 10 and temporarily storing the image data in the storage section 22. .
  • the skeletal model generation unit 23b is a part having a function capable of executing a process of generating a skeletal model MDL (see FIG. 3) representing the person P included in the image I of the monitored space SP captured by the imaging unit 11.
  • the skeletal model MDL is a human body model that represents the human body skeleton including the head, eyes, nose, mouth, shoulders, hips, feet, knees, elbows, hands, joints, etc. of the person P in three dimensions.
  • the skeletal model generation unit 23b can generate the skeletal model MDL representing the person P included in the image I, for example, by top-down skeletal estimation in which the person P is first detected and then the skeletal structure of the person P is estimated. .
  • the skeletal model generation unit 23b recognizes the person P in the image I using various known object recognition techniques, and defines the outside of the area where the recognized person P exists in the image I with the bounding box BB. Execute the enclosing process.
  • the bounding box BB is a rectangular frame having a size necessary to enclose the person P recognized in the image I.
  • the skeletal model generation unit 23b generates skeletal parts of the human body such as the head, eyes, nose, mouth, shoulders, waist, feet, knees, elbows, hands, joints, etc. ) are detected, and the skeleton model MDL of the person P is generated by combining them.
  • the skeletal models MDL illustrated in FIG. 3 the skeletal parts of the human body such as the head, eyes, nose, mouth, shoulders, waist, feet, knees, elbows, hands, and joints of the person P are symbolically represented by "points". It is generated by representing and connecting these with "lines”.
  • the skeletal model generation unit 23b When there are multiple persons P included in the image I, the skeletal model generation unit 23b generates a plurality of skeletal models MDL according to the number of the persons P.
  • the skeletal model generation unit 23b causes the storage unit 22 to store the generated skeletal model MDL.
  • the skeletal model generation unit 23b estimates the skeleton of the person P after detecting all the skeletal parts of the human body in the image I without using the bounding box BB or the like.
  • a skeletal model representing the included person P may be generated.
  • the skeletal model generator 23b first uses various known object recognition techniques to identify the head, eyes, nose, mouth, shoulders, waist, feet, knees, elbows, hands, and so on of the human body in the image I. All three-dimensional position coordinates of each skeletal part such as a joint are detected. After that, the skeletal model generation unit 23b generates the skeletal model MDL of each person P by matching the detected skeletal parts for each person P and joining them together.
  • this monitoring system 1 can use object recognition technology using various types of machine learning as an object recognition technology for recognizing the person P in the image I.
  • the watching system 1 learns the person P in advance by various types of machine learning, for example, using an image I including the person P as data for learning.
  • the watching system 1 can register users of the facility in advance, and can learn each user in the image I so that each user can be identified as an individual.
  • the monitoring system 1 uses pre-collected data related to “an image I including a person P who is a user of the facility” as explanatory variables, and uses “identification information of the person P corresponding to the image (for example, a user ID, etc.
  • the watching system 1 pre-stores in the storage unit 22 a learned mathematical model for object recognition (person recognition) obtained by this machine learning.
  • the skeletal model generation unit 23b performs classification/regression based on, for example, the learned mathematical model for object recognition (person recognition) stored in the storage unit 22 as described above. After recognizing P in a state in which the individual is specified by the identification information, a skeletal model MDL representing the person P is generated. More specifically, the skeleton model generation unit 23b inputs the image I captured by the imaging unit 11 to the mathematical model for object recognition. As a result, the skeletal model generation unit 23b recognizes the person P in the image I, acquires the identification information specifying the person P, and generates the skeletal model MDL representing the person P. FIG. Thereby, the skeletal model generation unit 23b can generate the skeletal model MDL of the person P whose individual is specified by the identification information. The skeletal model generating unit 23b stores the generated skeletal model MDL in the storage unit 22 together with the identification information of the person P whose individual is specified.
  • the skeletal model generation unit 23b stores the generated skeletal model MDL in the storage unit 22 together with the identification information
  • the skeleton model generation unit 23b executes a process of deleting the image I used for generating the skeleton model MDL, and temporarily stores the image I used in the generation of the skeleton model MDL. It is also possible not to leave the image data representing the image I in the copy or the like.
  • the watching system 1 does not use the image I used to generate the skeletal model MDL, but uses the skeletal model MDL generated from the image in subsequent processes. Various processes are executed (see FIGS. 4, 5, etc.).
  • the monitoring system 1 can perform various types of monitoring while ensuring the privacy of the facility user without using an image showing the individual face of the facility user.
  • the determining unit 23c is a part having a function capable of executing processing for determining the state of the person P corresponding to the skeletal model MDL generated by the skeletal model generating unit 23b, based on the skeletal model MDL.
  • the determination unit 23c of the present embodiment determines a fallen state in which the person P has fallen as the state of the person P corresponding to the skeleton model MDL generated by the skeleton model generation unit 23b. If a person P is included in the image I of the monitored space SP captured by the imaging unit 11, the determination unit 23c performs these state determinations on the person P.
  • This monitoring system 1 uses, for example, the relative positional relationship and relative distance of each skeletal part in the skeletal model MDL, the size of the bounding box BB, etc. as parameters, and various kinds of machine learning in advance to determine the state of the person P including the falling state. to learn.
  • the watching system 1 uses pre-collected data on “the relative positional relationship, relative distance, and size of the bounding box BB of each skeletal part in the skeletal model MDL” as explanatory variables.
  • Machine learning is performed using data related to the "state of" as the objective variable.
  • various types of algorithms applicable to the present embodiment can be used, such as logistic regression, support vector machine, neural network, random forest, etc., as described above.
  • the watching system 1 stores in the storage unit 22 in advance a learned mathematical model for state determination obtained by the machine learning.
  • the determination unit 23c determines the state of the person corresponding to the skeletal model MDL by classification/regression based on the learned mathematical model for state determination stored in the storage unit 22 as described above. More specifically, the determining unit 23c determines the relative positional relationship, the relative distance, and the size of the bounding box BB of each skeletal part obtained from the skeletal model MDL of the person P included in the actually captured image I. , is input to the mathematical model for the state determination. As a result, the determining unit 23c determines the falling state of the person P as the state of the person P corresponding to the skeletal model MDL by distinguishing it from other states (for example, the standing state, the sitting state, etc.).
  • the determination unit 23c of the present embodiment generates the skeleton model MDL based on the skeleton model MDL generated by the skeleton model generation unit 23b, without using the image I used to generate the skeleton model MDL.
  • a state of the person P corresponding to the MDL is determined.
  • the determination unit 23c of the present embodiment determines that the skeletal model MDL representing the fallen person P and the skeletal model representing the other person P A self-inflicted fall is determined based on the presence or absence of overlap with the model MDL.
  • the determination unit 23c of the present embodiment determines whether or not the skeletal model MDL representing the fallen person P overlaps with the skeletal model MDL representing another person P, and the skeletal model MDL detected by the position detector 12. based on the position of the person P in the imaging depth direction X corresponding to .
  • a self-inflicted fall is a fall caused by the person P who has fallen.
  • a fall caused by someone else is a fall caused by a person P other than the person P who has fallen.
  • the determination unit 23c generates a skeleton model MDL2 representing the fallen person P2 (see FIG. 6 and the like) and a skeleton representing the other person P1 (see FIG. 6 and the like).
  • a skeleton model MDL2 representing the fallen person P2 (see FIG. 6 and the like)
  • a skeleton representing the other person P1 see FIG. 6 and the like.
  • the determination unit 23c detects by the position detector 12 when the skeleton model MDL2 representing the fallen person P2 and the skeleton model MDL1 representing the other person P1 overlap each other. Based on the determined positions of the persons P1 and P2 in the imaging depth direction X, the overall overlap between the persons P1 and P2, in other words, the contact (interference) between the persons P1 and P2 is determined. It is determined by distinguishing between a fall and a fall caused by another person's fault.
  • the contact range is a position range set in advance for determining contact (interference) between persons P, and the position of a specific person P in the imaging depth direction X is used as a reference. When the position in the imaging depth direction X is within this contact range, it indicates that the persons P are in contact with each other.
  • the determination unit 23c determines that the person P1 and the person P2 are not in contact with each other. As a result, it is determined that the fall of the person P2 is due to self-inflicted fall.
  • the determination unit 23c determines that there is an overlap between the skeleton model MDL2 representing the person P2 who has fallen and the skeleton model MDL1 representing the other person P1, and the person who has fallen If the position of P2 in the imaging depth direction X and the position of the other person P1 in the imaging depth direction X are within the contact range, it is determined that the fall of the person P2 is a fall of another person's responsibility. That is, if the position of the fallen person P2 in the imaging depth direction X and the position of the other person P1 in the imaging depth direction X are within the contact range, the determination unit 23c determines that the person P1 and the person P2 are in contact with each other. , as a result, it is determined that the fall of the person P2 is the fall of another person's fault.
  • the information processing unit 23a of the present embodiment stores situation data representing the state of the fall in the storage unit. 22 and saved as a record.
  • the situation data representing the situation at the time of the fall typically includes data representing the movement of the skeletal model MDL until the fallen person P falls, and data relating to the type of fall.
  • the skeletal model MDL of the person P up to the fall includes, in addition to the skeletal model MDL of the person P himself/herself who has fallen, for example, another person P (for example , the skeleton model MDL of the person P1).
  • the data regarding the type of fall is data indicating whether the fall that occurred was a fall due to self-responsibility or a fall due to others.
  • the information processing unit 23a associates, for example, the above data with identification information representing the person P who has fallen or another person P who has come into contact with the person P who has fallen, as situation data representing the situation at the time of the fall. You may make it memorize
  • the information processing section 23a can prevent the image I used for generating the skeleton model MDL from being stored in the storage section 22 as a record, as described above.
  • the watching system 1 can store the movement of the skeletal model MDL until the fallen person P1 falls as a record in the storage unit 22 while ensuring the privacy of the person P. .
  • the operation processing unit 23d is a part having a function capable of executing processing for controlling the operation of each unit based on the determination result by the detection device 20.
  • the operation processing unit 23d of the present embodiment can execute a process of transferring the situation data to another device other than the detecting device 20 based on the determination result by the determination unit 23c.
  • the operation processing unit 23d controls the communication unit 21a based on the determination result by the determination unit 23c, transfers the situation data according to the determination result to the terminal device 30, of the person P has fallen.
  • the terminal device 30 may store the received situation data at the time of falling in the storage unit 32 and save it as a record.
  • the terminal device 30 may display the movement of the skeletal model MDL until the person P falls through the display 34 so that the facility staff or the like can confirm the situation at the time of the fall.
  • the processing function of transferring the situation data to another device by the operation processing section 23d may be realized by the information processing section 23a described above.
  • the information processing section 23a of the detecting device 20 controls the imaging section 11 to capture the image I of the monitored space SP, and stores the captured image information in the storage section 22.
  • Store step S1.
  • the skeleton model generation unit 23b of the detection device 20 detects the position of each skeleton part of the person P by object recognition and skeleton estimation based on the image I of the monitored space SP stored in the storage unit 22. (Step S2), a skeletal model MDL of the person P is generated (Step S3).
  • the skeletal model generation unit 23b erases the image used to generate the skeletal model MDL (step S4) so that no image data representing the image remains.
  • the processing unit 23 of the detecting device 20 performs various processes using the skeleton model MDL generated from the image I without using the image I used to generate the skeleton model MDL in each subsequent process.
  • the determining unit 23c of the detecting device 20 corresponds to the skeleton model MDL generated by the process of step S3, using a mathematical model for state judgment that has been learned by machine learning. It is detected whether or not the person P has fallen (step S5).
  • the determination unit 23c determines whether or not the person P corresponding to the skeleton model MDL has fallen (step S6). If the determining unit 23c determines that the person P is not overturned (step S6: No), the current control cycle ends and the next control cycle starts.
  • step S6 If the determination unit 23c determines that the person P corresponding to the skeleton model MDL is in a fallen state (step S6: Yes), the skeleton model MDL representing the fallen person P and the skeleton model MDL representing the other person P are combined. are overlapped (step S7).
  • step S8 the falling person P1 is responsible for the fall.
  • the information processing unit 23a uses data representing the movement of the skeletal model MDL until the fallen person P falls, data related to the type of the fall, identification representing the person P, and data representing the situation when the person P falls.
  • the information is linked to each other, stored in the storage unit 22, and saved as a record. In this case, the data regarding the type of fall indicates that the fall that occurred was a fall at self-responsibility.
  • the motion processing unit 23d of the detection device 20 controls the communication unit 21a to transfer the situation data at the time of the fall to the terminal device 30, and to notify staff of the facility or the like via the terminal device 30 that the person P has fallen. is notified (step S9), the current control cycle is terminated, and the next control cycle is started.
  • the terminal device 30 causes the storage unit 32 to store the received situation data at the time of falling, and saves it as a record.
  • step S7 determines in step S7 that the skeleton model MDL representing the fallen person P and the skeleton model MDL representing the other person P overlap (step S7: Yes)
  • detection by the position detector 12 Based on the result, it is determined whether or not the position of the fallen person P in the imaging depth direction X and the position of the other person P in the imaging depth direction X are within the contact range (step S10).
  • step S10 determines that the position of the fallen person P in the imaging depth direction X and the position of the other person P in the imaging depth direction X are outside the contact range (step S10: No), the above-described step S8 is performed. transition to
  • step S10 determines that the position of the fallen person P in the imaging depth direction X and the position of the other person P in the imaging depth direction X are within the contact range (step S10: Yes)
  • the fallen person It is determined that the fall of P1 is the fall of another person's fault (step S11), and the process proceeds to step S9 described above.
  • the information processing unit 23a uses data representing the movement of the skeletal model MDL until the fallen person P falls, data related to the type of the fall, identification representing the person P, and data representing the situation when the person P falls.
  • the information is linked to each other, stored in the storage unit 22, and saved as a record. In this case, the data relating to the type of fall indicates that the fall that occurred was a fall of another person's responsibility.
  • the imaging unit 11 captures an image I of the monitored space SP, and the skeleton model generation unit 23b generates a skeleton model MDL representing the person P included in the image I. Then, the determination unit 23c determines the state of the person P corresponding to the skeleton model MDL based on the skeleton model MDL generated by the skeleton model generation unit 23b. At this time, if the determining unit 23c determines that the person P corresponding to the skeletal model MDL is in a fallen state, the skeletal model MDL representing the fallen person P overlaps with the skeletal model MDL representing another person P. Based on the presence/absence of the falling person P himself/herself, it is determined whether the person P himself/herself has fallen.
  • the watching system 1 can properly grasp the situation at the time of the fall.
  • the monitoring system 1 can use the determination result by the determination unit 23c as a material for determining whether the user is to blame for the fall or the other person's fault when a fall accident of a user occurs in a welfare facility.
  • the monitoring system 1 can grasp the state of the person P based on the skeletal model MDL generated from the image I rather than the image I itself captured by the image capturing unit 11, the amount of data and calculation can be reduced. It is possible to properly grasp the situation at the time of falling with the load.
  • the monitoring system 1 can grasp the situation at the time of the fall based on the skeleton model MDL generated from the image I rather than the image I itself captured by the imaging unit 11. While ensuring privacy, the situation at the time of falling can be properly grasped as described above. As a result, the watching system 1 can, for example, reduce psychological pressure on installation of the installation device 10, and can be a system that facilitates obtaining consent for installation.
  • the monitoring system 1 described above includes storage units 22 and 32 that store the movement of the skeletal model MDL until the fallen person P falls. As a result, the watching system 1 can save the movement of the skeletal model MDL until the fallen person P1 falls down as a record while ensuring the privacy of the person P.
  • the determination unit 23c detects that the fallen person It is determined that P's fall was a self-inflicted fall. As a result, the watching system 1 can easily determine whether the person P has fallen due to self-inflicted injury according to the overlapping of the skeleton models MDL.
  • the monitoring system 1 described above is based on the presence or absence of overlap with a plurality of skeletal models MDL and the position of the person P with respect to the imaging depth direction X detected by the position detector 12 by the determination unit 23c. , it is also possible to discriminate between self-responsible falls and other-responsible falls. As a result, the watching system 1 can grasp the situation at the time of the fall in more detail.
  • the determining unit 23c determines that the skeletal model MDL representing the person P who has fallen overlaps with the skeletal model MDL representing another person P, and the person P who has fallen is out of the contact range with respect to the imaging depth direction X and the position of the other person P with respect to the imaging depth direction X, it is determined that the fall of the fallen person P is a self-inflicted fall.
  • the monitoring system 1 determines that the skeleton model MDL representing the fallen person P and the skeleton model MDL representing the other person P overlap, and the position of the fallen person P with respect to the imaging depth direction X is determined by the determination unit 23c.
  • the monitoring system 1 can accurately determine the contact or interference between the person P who has fallen and another person P, and as a situation at the time of the fall, it is possible to discriminate between a fall due to one's own fault and a fall due to someone else's fault. can be done.
  • the installed device 10 has been described as including the position detector 12, but the present invention is not limited to this.
  • the determination unit 23c is described as determining a fall based on the detection result of the position detector 12 by distinguishing between the fall due to the self and the fall due to others, but the present invention is not limited to this.
  • the monitoring system 1 may not include the position detector 12, and may not discriminate between a fall due to self and a fall due to others.
  • the storage units 22 and 32 also store, for example, audio data collected by the microphone 15 as situation data, so that the situations before and after the fall can be complemented by audio.
  • each processing function of the processing units 23 and 33 may be realized by combining a plurality of independent processors and having each processor execute a program. Moreover, the processing functions of the processing units 23 and 33 may be appropriately distributed or integrated in a single or a plurality of processing circuits and implemented. Further, the processing functions of the processing units 23 and 33 may be realized entirely or in part by a program, or may be realized by hardware such as wired logic.
  • the monitoring system according to this embodiment may be configured by appropriately combining the constituent elements of the embodiments and modifications described above.
  • monitoring system 1A detection system 10 installation device 11 imaging unit 12 position detector 20 detection devices 21, 31 interface units 22, 32 storage units 23, 33 processing unit 23a information processing unit 23b skeleton model generation unit 23c determination unit 23d operation processing unit 30

Landscapes

  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Analysis (AREA)

Abstract

見守りシステム（１）は、監視対象空間の画像を撮像する撮像部（１１）と、撮像部（１１）によって撮像された画像に含まれる人物を表す骨格モデルを生成する骨格モデル生成部（２３ｂ）と、骨格モデル生成部（２３ｂ）によって生成された骨格モデルに基づいて、骨格モデルに対応する人物の状態を判定する判定部（２３ｃ）とを備え、判定部（２３ｃ）は、骨格モデルに対応する人物が転倒した転倒状態であるものと判定した場合、当該転倒した人物を表す骨格モデルと他の人物を表す骨格モデルとの重なりの有無に基づいて、当該転倒した人物自身に起因した自責転倒を判定する。

Description

見守りシステム
　本発明は、見守りシステムに関する。
　例えば、特許文献１には、撮像装置と、骨格情報抽出部と、骨格情報サンプル記憶部と、姿勢検出部と、姿勢判定部と、を備えることを特徴とする被監視者の姿勢検知装置が開示されている。撮像装置は、被監視者を監視する撮像領域の画像データを取得する。骨格情報抽出部は、撮像装置で撮像した画像データから被監視者の骨格情報を抽出する。骨格情報サンプル記憶部は、骨格情報からなる姿勢情報サンプルを格納する。姿勢検出部は、骨格情報抽出部で抽出した人間の骨格情報と骨格情報記憶部に格納された骨格情報サンプルとに基づいて被監視者の姿勢を検出する。姿勢判定部は、この姿勢検出部で検出した姿勢に基づいて転倒、転落の有無を判定する。
特開２０２０－３４９６０号公報
　ところで、上記のような姿勢検知装置は、例えば、転倒時の状況把握の点で更なる改善の余地がある。
　本発明は、上記の事情に鑑みてなされたものであって、転倒時の状況を適正に把握することができる見守りシステムを提供することを目的とする。
　上記目的を達成するために、本発明に見守りシステムは、監視対象空間の画像を撮像する撮像部と、前記撮像部によって撮像された前記画像に含まれる人物を表す骨格モデルを生成する骨格モデル生成部と、前記骨格モデル生成部によって生成された前記骨格モデルに基づいて、前記骨格モデルに対応する人物の状態を判定する判定部とを備え、前記判定部は、前記骨格モデルに対応する人物が転倒した転倒状態であるものと判定した場合、当該転倒した人物を表す前記骨格モデルと他の人物を表す前記骨格モデルとの重なりの有無に基づいて、当該転倒した人物自身に起因した自責転倒を判定する。
　本発明に係る見守りシステムは、転倒時の状況を適正に把握することができる、という効果を奏する。
図１は、実施形態に係る見守りシステムの概略構成を表すブロック図である。 図２は、実施形態に係る見守りシステムの搭載例を表す模式図である。 図３は、実施形態に係る見守りシステムにおける骨格モデルに基づく状態判定の一例を説明する模式図である。 図４は、実施形態に係る見守りシステムにおける判定の一例を説明する模式図である。 図５は、実施形態に係る見守りシステムにおける判定の一例を説明する模式図である。 図６は、実施形態に係る見守りシステムにおける判定の一例を説明する模式図である。 図７は、実施形態に係る見守りシステムにおける判定の一例を説明する模式図である。 図８は、実施形態に係る見守りシステムにおける処理の一例を説明するフローチャートである。
　以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
［実施形態］
　図１、図２に示す本実施形態の見守りシステム１は、監視対象空間ＳＰに存在する人物Ｐの状態を監視し見守るシステムである。本実施形態の見守りシステム１は、例えば、通所介護（デイサービス）などの介護施設、高齢者施設等の福祉施設に適用される。監視対象空間ＳＰは、例えば、当該施設の居室空間や廊下空間等である。
　本実施形態の見守りシステム１は、設置機器１０と、検出機器２０と、端末機器３０とを備え、これらが相互に情報を送受信し連携する連携システムを構成する。ここでは、設置機器１０と検出機器２０とは、監視対象空間ＳＰにおいて人物Ｐの転倒を検出し、転倒時の状況を記録する検出システム１Ａを構成する。本実施形態の見守りシステム１は、検出システム１Ａにおいて、監視対象空間ＳＰに存在する人物Ｐの状態を、当該人物Ｐを表す骨格モデルＭＤＬ（図３参照）に基づいて判定し、転倒時の状況を適正に把握するための構成を実現したものである。以下、各図を参照して見守りシステム１の各構成について詳細に説明する。
　なお、図１に図示する見守りシステム１において、電力供給、制御信号、各種情報等の授受のための各構成要素間の接続方式は、特に断りのない限り、有線による接続、無線による接続のいずれであってもよい。有線による接続とは、例えば、電線や光ファイバ等の配索材を介した接続である。無線による接続とは、例えば、無線通信、非接触給電等による接続である。
＜設置機器の基本構成＞
　設置機器１０は、監視対象空間ＳＰに設置され、当該監視対象空間ＳＰを撮像する機器である。設置機器１０は、撮像部１１と、位置検出器１２と、ディスプレイ１３と、スピーカ１４と、マイク１５とを備える。設置機器１０は、例えば、これらの構成要素が筐体等に組み付けられユニット化された上で監視対象空間ＳＰの天井等に設けられることで、種々の機能を統合した室内監視モジュールを構成する。また、設置機器１０は、例えば、これらの構成要素が監視対象空間ＳＰに個別に設けられてもよい。設置機器１０は、例えば、見守りシステム１が適用される施設に複数設けられる。
　撮像部１１は、監視対象空間ＳＰの画像Ｉ（例えば、図３参照）を撮像するものである。撮像部１１は、例えば、２次元画像を撮像可能な単眼カメラであってもよいし、３次元画像を撮像可能なステレオカメラであってもよい。また、撮像部１１は、いわゆるＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）カメラ等であってもよい。撮像部１１は、典型的には、監視対象空間ＳＰに存在する全ての人物Ｐを撮像可能な位置に設けられる。撮像部１１は、例えば、監視対象空間ＳＰの上方、ここでは、天井に配置され、撮像範囲に監視対象空間ＳＰの全領域が含まれるように画角が設定されている。撮像部１１は、１つで監視対象空間ＳＰの全域をカバーできない場合には複数が設けられ当該複数によって監視対象空間ＳＰの全域をカバーするように構成されてもよい。
　なお、以下の説明では、後述の図３、図４、図５、図６に示すように、撮像部１１による撮像の奥行方向を「撮像奥行方向Ｘ」といい、撮像奥行方向Ｘと交差し水平方向に沿う方向を「撮像幅方向Ｙ」といい、撮像奥行方向Ｘと交差し鉛直方向に沿う方向を「撮像上下方向Ｚ」という場合がある。撮像奥行方向Ｘは、典型的には、撮像部１１の光軸方向に沿った方向に相当する。
　位置検出器１２は、撮像部１１による撮像奥行方向Ｘに対する人物Ｐの位置を検出可能な検出器である。位置検出器１２は、撮像部１１によって撮像された人物Ｐの撮像奥行方向Ｘに対する位置を検出する。撮像部１１によって撮像された人物Ｐの撮像奥行方向Ｘに対する位置は、典型的には、後述するように、検出機器２０によって生成された骨格モデルＭＤＬに対応する人物Ｐの、撮像奥行方向Ｘに対する位置に相当する。位置検出器１２は、例えば、レーザ、赤外線、ミリ波、超音波等を用いて距離を検出する各種レーダ、ソナー、ＬｉＤＡＲ（ｌｉｇｈｔ　ｄｅｔｅｃｔｉｏｎ　ａｎｄ　ｒａｎｇｉｎｇ）等を用いることができる。位置検出器１２は、例えば、撮像奥行方向Ｘに沿った人物Ｐと位置検出器１２との距離を計測することで、撮像奥行方向Ｘに対する人物Ｐの位置を検出することができる。
　ディスプレイ１３は、監視対象空間ＳＰに向けて画像情報（視覚情報）を表示（出力）するものである。ディスプレイ１３は、例えば、薄型の液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ等によって構成される。ディスプレイ１３は、監視対象空間ＳＰ内の人物Ｐから目視可能な位置に画像情報を表示する。ディスプレイ１３は、例えば、画像情報を出力することで種々の案内（アナウンス）を行う。
　スピーカ１４は、監視対象空間ＳＰに向けて音情報（聴覚情報）を出力するものである。スピーカ１４は、例えば、音情報を出力することで種々の案内（アナウンス）を行う。
　マイク１５は、監視対象空間ＳＰで発生した音を電気信号に変換する集音装置である。マイク１５は、例えば、監視対象空間ＳＰの外部の人物（例えば、施設職員等）との音声のやり取りに使用することができる。
＜検出機器の基本構成＞
　検出機器２０は、設置機器１０によって撮像された画像Ｉから生成される骨格モデルＭＤＬに基づいて監視対象空間ＳＰに存在する人物Ｐの状態を検出する機器である。検出機器２０は、インターフェース部２１と、記憶部２２と、処理部２３とを備え、これらが相互に通信可能に接続されている。検出機器２０は、ネットワーク上に実装されるいわゆるクラウドサービス型の装置（クラウドサーバ）を構成してもよいし、ネットワークから切り離されたいわゆるスタンドアローン型の装置を構成してもよい。検出機器２０は、例えば、パーソナルコンピュータ、ワークステーション、タブレット端末等の種々のコンピュータ機器に種々の処理を実現させるアプリケーションをインストールすることで構成することもできる。検出機器２０は、例えば、見守りシステム１が適用される施設の管理センタ等に設けられるがこれに限らない。
　インターフェース部２１は、検出機器２０外の他の機器と種々の情報を送受信するためのインターフェースである。インターフェース部２１は、各部との間で電線等を介して情報を有線通信する機能、各部との間で無線通信ユニット等を介して情報を無線通信する機能等を有している。インターフェース部２１は、検出機器２０外の他の機器として、複数の設置機器１０、及び、複数の端末機器３０との間で情報を送受信する。ここでは、インターフェース部２１は、複数の設置機器１０に対して直接的に通信可能に接続される一方、複数の端末機器３０に対して通信部２１ａ、ネットワークＮを介して通信可能に接続されるものとして図示しているがこれに限らない。複数の設置機器１０も通信部２１ａ、ネットワークＮを介して当該インターフェース部２１に接続されてもよい。ここで、通信部２１ａは、ネットワークＮと通信接続される通信モジュール（Ｄａｔａ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｍｏｄｕｌｅ）である。ネットワークＮは、有線または無線を問わず、任意の通信網を用いることができる。
　記憶部２２は、種々の情報を記憶する記憶回路である。記憶部２２は、例えば、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、光ディスクなどの比較的に大容量の記憶装置、あるいは、ＲＡＭ、フラッシュメモリ、ＮＶＳＲＡＭ（Ｎｏｎ　Ｖｏｌａｔｉｌｅ　Ｓｔａｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などのデータを書き換え可能な半導体メモリであってもよい。記憶部２２は、例えば、検出機器２０が各種の機能を実現するためのプログラムを記憶する。検出機器２０に記憶されるプログラムには、インターフェース部２１を機能させるプログラム、通信部２１ａを機能させるプログラム、処理部２３を機能させるプログラム等が含まれる。記憶部２２は、例えば、監視対象空間ＳＰの人物Ｐの状態判定に用いられる学習済みの数理モデル等を記憶する。また、記憶部２２は、処理部２３での各種処理に必要な各種データを記憶する。記憶部２２は、処理部２３等によってこれらの各種データが必要に応じて読み出される。なお、記憶部２２は、ネットワークＮを介して検出機器２０に接続されたクラウドサーバ等により実現されてもよい。
　処理部２３は、検出機器２０における各種処理機能を実現する処理回路である。処理部２３は、例えば、プロセッサによって実現される。プロセッサとは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の回路を意味する。処理部２３は、例えば、記憶部２２から読み込んだプログラムを実行することにより、各処理機能を実現する。例えば、処理部２３は、設置機器１０の撮像部１１によって撮像された画像Ｉを表す画像データ等を、インターフェース部２１を介して検出機器２０に入力する処理を実行可能である。
＜端末機器の基本構成＞
　端末機器３０は、検出機器２０と通信可能に接続される機器である。端末機器３０は、インターフェース部３１と、記憶部３２と、処理部３３と、ディスプレイ３４と、スピーカ３５と、マイク３６とを備え、これらが相互に通信可能に接続されている。端末機器３０は、例えば、パーソナルコンピュータ、ワークステーション、タブレット端末等の種々のコンピュータ機器に種々の処理を実現させるアプリケーションをインストールすることで構成することもできる。端末機器３０は、例えば、見守りシステム１が適用される施設の職員等によって携帯可能な携帯端末機器を構成してもよいし、据え置き型の管理端末機器を構成してもよい。
　インターフェース部３１、記憶部３２、処理部３３、ディスプレイ３４、スピーカ３５、マイク３６は、それぞれ、上述したインターフェース部２１、記憶部２２、処理部２３、ディスプレイ１３、スピーカ１４、マイク１５と略同様の構成である。インターフェース部３１は、端末機器３０外の他の機器と種々の情報を送受信するためのインターフェースである。インターフェース部３１は、通信部３１ａ、ネットワークＮを介して検出機器２０に通信可能に接続される。通信部３１ａは、上述した通信部２１ａと同様に、通信モジュールである。記憶部３２は、例えば、端末機器３０が各種の機能を実現するためのプログラムを記憶する。処理部３３は、端末機器３０における各種処理機能を実現する処理回路である。処理部３３は、例えば、記憶部３２から読み込んだプログラムを実行することにより、各処理機能を実現する。ディスプレイ３４は、画像情報を表示するものである。スピーカ３５は、音情報を出力するものである。マイク３６は、音を電気信号に変換する集音装置である。
　以上、本実施形態に係る見守りシステム１の全体構成の概略について説明した。
＜検出機器の処理部の処理機能＞
　このような構成のもと、本実施形態に係る処理部２３は、図３～図７に示すように、監視対象空間ＳＰに存在する人物Ｐの状態を、当該人物Ｐを表す骨格モデルＭＤＬに基づいて判定し、転倒時の状況を適正に把握、記録する各種処理を行うための機能を有している。
　具体的には、本実施形態の処理部２３は、上記各種処理機能を実現するために、機能概念的に、情報処理部２３ａ、骨格モデル生成部２３ｂ、判定部２３ｃ、及び、動作処理部２３ｄを含んで構成される。処理部２３は、例えば、記憶部２２から読み込んだプログラムを実行することにより、これら情報処理部２３ａ、骨格モデル生成部２３ｂ、判定部２３ｃ、及び、動作処理部２３ｄの各処理機能を実現する。
　情報処理部２３ａは、見守りシステム１で用いる種々の情報に関する処理を実行可能な機能を有する部分である。情報処理部２３ａは、設置機器１０や端末機器３０との間で種々の情報を送受信する処理を実行可能である。見守りシステム１は、情報処理部２３ａによる処理により、設置機器１０や端末機器３０と相互に情報（例えば、音声情報や画像情報等）のやり取りが可能となる。ここでは、情報処理部２３ａは、設置機器１０から、撮像部１１によって撮像された監視対象空間ＳＰの画像Ｉを表す画像データを取得し記憶部２２に一時的に記憶させる処理を実行可能である。
　骨格モデル生成部２３ｂは、撮像部１１によって撮像された監視対象空間ＳＰの画像Ｉに含まれる人物Ｐを表す骨格モデルＭＤＬ（図３参照）を生成する処理を実行可能な機能を有する部分である。骨格モデルＭＤＬは、人物Ｐの頭、目、鼻、口、肩、腰、足、膝、肘、手、各関節等を含む人体骨格を３次元で表した人体モデルである。
　骨格モデル生成部２３ｂは、例えば、まず人物Ｐを検出した後に当該人物Ｐの骨格を推定するトップダウン型の骨格推定によって、画像Ｉに含まれる人物Ｐを表す骨格モデルＭＤＬを生成することができる。この場合、骨格モデル生成部２３ｂは、種々の公知の物体認識技術を用いて、画像Ｉ内の人物Ｐを認識し、画像Ｉにおいて当該認識した人物Ｐが存在する領域の外側をバウンディングボックスＢＢで囲う処理を実行する。ここで、バウンディングボックスＢＢとは、画像Ｉにおいて認識された人物Ｐを囲うために必要な大きさの矩形状の枠である。そして、骨格モデル生成部２３ｂは、当該バウンディングボックスＢＢ内の人物Ｐの頭、目、鼻、口、肩、腰、足、膝、肘、手、各関節等の人体の各骨格部位（人体パーツ）の３次元位置座標を検出し、これらを組み合わせて当該人物Ｐの骨格モデルＭＤＬを生成する。図３に例示する骨格モデルＭＤＬは、人物Ｐの頭、目、鼻、口、肩、腰、足、膝、肘、手、各関節等の人体の各骨格部位を「点」によって象徴的に表すと共にこれらを「線」でつなぎ合わせることで生成されている。骨格モデル生成部２３ｂは、画像Ｉに含まれる人物Ｐが複数である場合には、当該人物Ｐの数に応じて複数の骨格モデルＭＤＬを生成する。骨格モデル生成部２３ｂは、生成した骨格モデルＭＤＬを記憶部２２に記憶させる。
　なお、骨格モデル生成部２３ｂは、例えば、バウンディングボックスＢＢ等を用いず画像Ｉ中の人体の各骨格部位を全て検出した後に人物Ｐの骨格を推定するボトムアップ型の骨格推定によって、画像Ｉに含まれる人物Ｐを表す骨格モデルを生成してもよい。この場合、骨格モデル生成部２３ｂは、まず、種々の公知の物体認識技術を用いて、画像Ｉ中の人体の頭、目、鼻、口、肩、腰、足、膝、肘、手、各関節等の各骨格部位の３次元位置座標を全て検出する。その後、骨格モデル生成部２３ｂは、当該検出した各骨格部位を人物Ｐごとにマッチングさせて繋ぎ合わせていくことで、各人物Ｐの骨格モデルＭＤＬを生成する。
　また、この見守りシステム１は、画像Ｉ内の人物Ｐを認識するための物体認識技術として、各種機械学習を用いた物体認識技術を用いることができる。この場合、見守りシステム１は、例えば、人物Ｐを含む画像Ｉ等を学習用データとして、予め各種機械学習により人物Ｐを学習しておく。このとき、見守りシステム１は、施設の利用者を予め登録しておき、画像Ｉにおいて、各利用者を個体として識別可能なように学習させておくこともできる。例えば、見守りシステム１は、予め収集された「施設の利用者である人物Ｐを含む画像Ｉ」に関するデータを説明変数とし、「当該画像に対応する人物Ｐの識別情報（例えば、利用者ＩＤ等）」に関するデータを目的変数として学習用教師データセットを用意し、当該学習用教師データセットを用いて機械学習を行う。機械学習としては、例えば、ロジスティック回帰、サポートベクトルマシン、ニューラルネットワーク、ランダムフォレスト等、本実施形態に適用可能な様々な形式のアルゴリズムを用いることができる。見守りシステム１は、この機械学習によって得られた学習済みの物体認識（人物認識）用の数理モデル等を予め記憶部２２に記憶しておく。
　そして、骨格モデル生成部２３ｂは、例えば、上記のように記憶部２２に記憶されている学習済みの物体認識（人物認識）用の数理モデル等に基づいた分類・回帰により、画像Ｉ内の人物Ｐを、識別情報により個人を特定した状態で認識した後、当該人物Ｐを表す骨格モデルＭＤＬを生成する。より具体的には、骨格モデル生成部２３ｂは、撮像部１１によって撮像された画像Ｉを、当該物体認識用の数理モデルに入力する。この結果、骨格モデル生成部２３ｂは、画像Ｉ内の人物Ｐを認識すると共に当該人物Ｐを特定する識別情報を取得し、当該人物Ｐを表す骨格モデルＭＤＬを生成する。これにより、骨格モデル生成部２３ｂは、識別情報により個人が特定された人物Ｐの骨格モデルＭＤＬを生成することができる。骨格モデル生成部２３ｂは、個人が特定された人物Ｐの識別情報と共に、生成した骨格モデルＭＤＬを記憶部２２に記憶させる。
　また、骨格モデル生成部２３ｂは、骨格モデルＭＤＬを生成した後、当該骨格モデルＭＤＬの生成に用いた画像Ｉを消去する処理を実行し、記憶部２２や記憶部３２、設置機器１０の一時記憶部等に当該画像Ｉを表す画像データを残さないようにすることもできる。この場合、見守りシステム１は、骨格モデルＭＤＬを生成した後、以降の各処理においては、当該骨格モデルＭＤＬの生成に用いた画像Ｉを用いずに、画像から生成された骨格モデルＭＤＬを用いて各種処理を実行する（図４、図５等参照）。これにより、見守りシステム１は、施設利用者個人の顔等が映った画像を用いずに、施設利用者のプライバシーを確保した上で、様々な監視を行うことが可能となる。
　判定部２３ｃは、骨格モデル生成部２３ｂによって生成された骨格モデルＭＤＬに基づいて、当該骨格モデルＭＤＬに対応する人物Ｐの状態を判定する処理を実行可能な機能を有する部分である。本実施形態の判定部２３ｃは、骨格モデル生成部２３ｂによって生成された骨格モデルＭＤＬに対応する人物Ｐの状態として、人物Ｐが転倒した転倒状態を判定する。判定部２３ｃは、撮像部１１によって撮像された監視対象空間ＳＰの画像Ｉに人物Ｐが含まれていた場合に、当該人物Ｐに対してこれらの状態判定を行う。
　この見守りシステム１は、例えば、骨格モデルＭＤＬにおける各骨格部位の相対的な位置関係や相対距離、バウンディングボックスＢＢの大きさ等をパラメータとして、予め各種機械学習により、転倒状態を含む人物Ｐの状態を学習しておく。例えば、見守りシステム１は、予め収集された「骨格モデルＭＤＬにおける各骨格部位の相対的な位置関係、相対距離、バウンディングボックスＢＢの大きさ」に関するデータを説明変数とし、「転倒状態を含む人物Ｐの状態」に関するデータを目的変数として機械学習を行う。機械学習としては、上記と同様に、例えば、ロジスティック回帰、サポートベクトルマシン、ニューラルネットワーク、ランダムフォレスト等、本実施形態に適用可能な様々な形式のアルゴリズムを用いることができる。見守りシステム１は、この機械学習によって得られた学習済みの状態判定用の数理モデル等を予め記憶部２２に記憶しておく。
　そして、判定部２３ｃは、上記のように記憶部２２に記憶されている学習済みの状態判定用の数理モデル等に基づいた分類・回帰により、骨格モデルＭＤＬに対応する人物の状態を判定する。より具体的には、判定部２３ｃは、実際に撮像された画像Ｉに含まれる人物Ｐの骨格モデルＭＤＬから得られる各骨格部位の相対的な位置関係、相対距離、バウンディングボックスＢＢの大きさを、当該状態判定用の数理モデルに入力する。これにより、判定部２３ｃは、骨格モデルＭＤＬに対応する人物Ｐの状態として、当該人物Ｐの転倒状態を他の状態（例えば、立っている状態や座っている状態等）と区別して判定する。
　なお、本実施形態の判定部２３ｃは、上述したように、骨格モデル生成部２３ｂによって生成された骨格モデルＭＤＬに基づいて、当該骨格モデルＭＤＬの生成に用いた画像Ｉを用いずに、骨格モデルＭＤＬに対応する人物Ｐの状態を判定する。
　そして、本実施形態の判定部２３ｃは、骨格モデルＭＤＬに対応する人物Ｐが転倒した転倒状態であるものと判定した場合、当該転倒した人物Ｐを表す骨格モデルＭＤＬと他の人物Ｐを表す骨格モデルＭＤＬとの重なりの有無に基づいて自責転倒を判定する。ここでは、本実施形態の判定部２３ｃは、転倒した人物Ｐを表す骨格モデルＭＤＬと他の人物Ｐを表す骨格モデルＭＤＬとの重なりの有無、及び、位置検出器１２によって検出された骨格モデルＭＤＬに対応する人物Ｐの撮像奥行方向Ｘに対する位置に基づいて、自責転倒と他責転倒とを区別して判定する。
　ここで、自責転倒とは、転倒した人物Ｐ自身に起因した転倒である。一方、他責転倒とは、転倒した人物Ｐ自身以外の他の人物Ｐに起因した転倒である。
　より具体的には、判定部２３ｃは、例えば、図４に例示するように、転倒した人物Ｐ２（図６等参照）を表す骨格モデルＭＤＬ２と他の人物Ｐ１（図６等参照）を表す骨格モデルＭＤＬ１との重なりが無い場合に、当該人物Ｐ２の転倒が自責転倒であるものと判定する。
　一方、判定部２３ｃは、例えば、図５に例示するように、転倒した人物Ｐ２を表す骨格モデルＭＤＬ２と他の人物Ｐ１を表す骨格モデルＭＤＬ１との重なりが有る場合に、位置検出器１２によって検出された人物Ｐ１、Ｐ２の撮像奥行方向Ｘに対する位置に基づいて、人物Ｐ１と人物Ｐ２との総合的な重なり、言い換えれば、人物Ｐ１と人物Ｐ２との接触（干渉）を判定することで自責転倒と他責転倒とを区別して判定する。
　すなわちこの場合、判定部２３ｃは、例えば、図５、図６に例示するように、転倒した人物Ｐ２を表す骨格モデルＭＤＬ２と他の人物Ｐ１を表す骨格モデルＭＤＬ１との重なりが有り、かつ、転倒した人物Ｐ２の撮像奥行方向Ｘに対する位置と他の人物Ｐ１の撮像奥行方向Ｘに対する位置とが予め定められた接触範囲外である場合、当該人物Ｐ２の転倒が自責転倒であるものと判定する。ここでは、接触範囲とは、人物Ｐ同士の接触（干渉）を判定するために予め設定される位置範囲であり、特定の人物Ｐの撮像奥行方向Ｘに対する位置を基準として、他の人物Ｐの撮像奥行方向Ｘに対する位置がこの接触範囲内にある場合に当該人物Ｐ同士が接触していることを表す。つまり、判定部２３ｃは、転倒した人物Ｐ２の撮像奥行方向Ｘに対する位置と他の人物Ｐ１の撮像奥行方向Ｘに対する位置とが接触範囲外である場合、人物Ｐ１と人物Ｐ２とが接触しておらず、この結果、当該人物Ｐ２の転倒が自責転倒であるものと判定する。
　一方、判定部２３ｃは、例えば、図５、図７に例示するように、転倒した人物Ｐ２を表す骨格モデルＭＤＬ２と他の人物Ｐ１を表す骨格モデルＭＤＬ１との重なりが有り、かつ、転倒した人物Ｐ２の撮像奥行方向Ｘに対する位置と他の人物Ｐ１の撮像奥行方向Ｘに対する位置とが上記接触範囲内である場合、当該人物Ｐ２の転倒が他責転倒であるものと判定する。つまり、判定部２３ｃは、転倒した人物Ｐ２の撮像奥行方向Ｘに対する位置と他の人物Ｐ１の撮像奥行方向Ｘに対する位置とが接触範囲内である場合、人物Ｐ１と人物Ｐ２とが接触しており、この結果、当該人物Ｐ２の転倒が他責転倒であるものと判定する。
　なお、本実施形態の情報処理部２３ａは、判定部２３ｃによって、骨格モデルＭＤＬに対応する人物Ｐが転倒した転倒状態であるものと判定した場合、転倒した際の状況を表す状況データを記憶部２２に記憶させ、記録として保存しておくようにしてもよい。転倒した際の状況を表す状況データは、典型的には、転倒した人物Ｐが転倒に至るまでの骨格モデルＭＤＬの動きを表すデータ、転倒の種別に関するデータを含む。ここで、人物Ｐが転倒に至るまでの骨格モデルＭＤＬは、転倒した人物Ｐ自身の骨格モデルＭＤＬに加えて、例えば、転倒した人物Ｐ（例えば、人物Ｐ２）と接触した他の人物Ｐ（例えば、人物Ｐ１）の骨格モデルＭＤＬも含んでもよい。また、転倒の種別に関するデータは、発生した転倒が自責転倒であるのか、他責転倒であるのかを表すデータである。また、情報処理部２３ａは、例えば、転倒した際の状況を表す状況データとして、上記のデータと共に、転倒した人物Ｐや転倒した人物Ｐと接触した他の人物Ｐを表す識別情報も紐付けて記憶部２２に記憶させてもよい。
　この場合も、情報処理部２３ａは、上述したように、当該骨格モデルＭＤＬの生成に用いた画像Ｉについては記憶部２２に記録として保存しないようにすることができる。これにより、見守りシステム１は、人物Ｐのプライバシーを確保した上で、転倒した人物Ｐ１が転倒に至るまでの骨格モデルＭＤＬの動き等を記憶部２２に記録として保存しておくことが可能となる。
　動作処理部２３ｄは、検出機器２０による判定結果に基づいて各部の動作を制御する処理を実行可能な機能を有する部分である。本実施形態の動作処理部２３ｄは、判定部２３ｃによる判定結果に基づいて、状況データを検出機器２０外の他の機器に転送する処理を実行可能である。動作処理部２３ｄは、例えば、判定部２３ｃによる判定結果に基づいて、通信部２１ａを制御し、当該判定結果に応じた状況データを端末機器３０に転送すると共に、当該端末機器３０を介して施設の職員等に人物Ｐが転倒したことを通知する。端末機器３０は、例えば、受信した転倒時の状況データを記憶部３２に記憶させ、記録として保存しておくようにしてもよい。端末機器３０は、例えば、ディスプレイ３４を介して人物Ｐが転倒に至るまでの骨格モデルＭＤＬの動きを表示させ、施設の職員等に転倒時の状況を確認させるようにしてもよい。なお、動作処理部２３ｄによって状況データを他の機器に転送する処理機能等は、上述した情報処理部２３ａによって実現されてもよい。
＜制御フローの一例＞
　次に、図８のフローチャート図を参照して見守りシステム１おける制御の一例について説明する。
　まず、検出機器２０の情報処理部２３ａは、人物Ｐが監視対象空間ＳＰに入室すると、撮像部１１を制御し監視対象空間ＳＰの画像Ｉを撮像させ、撮像された画像情報を記憶部２２に記憶させる（ステップＳ１）。
　次に、検出機器２０の骨格モデル生成部２３ｂは、記憶部２２に記憶された監視対象空間ＳＰの画像Ｉに基づいて、物体認識、骨格推定により、人物Ｐの各骨格部位の位置を検出し（ステップＳ２）、当該人物Ｐの骨格モデルＭＤＬを生成する（ステップＳ３）。
　次に、骨格モデル生成部２３ｂは、骨格モデルＭＤＬの生成に用いた画像を消去し（ステップＳ４）、当該画像を表す画像データを残さないようにする。検出機器２０の処理部２３は、以降の各処理においては、当該骨格モデルＭＤＬの生成に用いた画像Ｉを用いずに、画像Ｉから生成された骨格モデルＭＤＬを用いて各種処理を実行する。
　次に、検出機器２０の判定部２３ｃは、ステップＳ３の処理で生成された骨格モデルＭＤＬに基づいて、機械学習により学習済みの状態判定用の数理モデル等を用いて、骨格モデルＭＤＬに対応する人物Ｐが転倒した状態であるのかを検出する（ステップＳ５）。
　そして、判定部２３ｃは、骨格モデルＭＤＬに対応する人物Ｐが転倒した状態であるか否かを判定する（ステップＳ６）。判定部２３ｃは、人物Ｐが転倒した状態ではないと判定した場合（ステップＳ６：Ｎｏ）、今回の制御周期を終了し、次回の制御周期に移行する。
　判定部２３ｃは、骨格モデルＭＤＬに対応する人物Ｐが転倒した状態であると判定した場合（ステップＳ６：Ｙｅｓ）、転倒した人物Ｐを表す骨格モデルＭＤＬと他の人物Ｐを表す骨格モデルＭＤＬとが重なっているか否かを判定する（ステップＳ７）。
　判定部２３ｃは、転倒した人物Ｐを表す骨格モデルＭＤＬと他の人物Ｐを表す骨格モデルＭＤＬとが重なっていないと判定した場合（ステップＳ７：Ｎｏ）、当該転倒した人物Ｐ１の転倒が自責転倒であるものと判定する（ステップＳ８）。このとき、情報処理部２３ａは、転倒した際の状況を表す状況データとして、転倒した人物Ｐが転倒に至るまでの骨格モデルＭＤＬの動きを表すデータ、転倒の種別に関するデータ、人物Ｐを表す識別情報を相互に紐付けて記憶部２２に記憶させ、記録として保存する。この場合、転倒の種別に関するデータは、発生した転倒が自責転倒であることを表すものとなっている。
　その後、検出機器２０の動作処理部２３ｄは、通信部２１ａを制御し、転倒時の状況データを端末機器３０に転送すると共に、当該端末機器３０を介して施設の職員等に人物Ｐが転倒したことを通知し（ステップＳ９）、今回の制御周期を終了し、次回の制御周期に移行する。このとき、端末機器３０は、受信した転倒時の状況データを記憶部３２に記憶させ、記録として保存しておく。
　判定部２３ｃは、ステップＳ７で、転倒した人物Ｐを表す骨格モデルＭＤＬと他の人物Ｐを表す骨格モデルＭＤＬとが重なっていると判定した場合（ステップＳ７：Ｙｅｓ）、位置検出器１２による検出結果に基づいて、転倒した人物Ｐの撮像奥行方向Ｘに対する位置と他の人物Ｐの撮像奥行方向Ｘに対する位置とが接触範囲内であるか否かを判定する（ステップＳ１０）。
　判定部２３ｃは、転倒した人物Ｐの撮像奥行方向Ｘに対する位置と他の人物Ｐの撮像奥行方向Ｘに対する位置とが接触範囲外であると判定した場合（ステップＳ１０：Ｎｏ）、上述したステップＳ８に移行する。
　判定部２３ｃは、転倒した人物Ｐの撮像奥行方向Ｘに対する位置と他の人物Ｐの撮像奥行方向Ｘに対する位置とが接触範囲内であると判定した場合（ステップＳ１０：Ｙｅｓ）、当該転倒した人物Ｐ１の転倒が他責転倒であるものと判定し（ステップＳ１１）、上述したステップＳ９に移行する。このとき、情報処理部２３ａは、転倒した際の状況を表す状況データとして、転倒した人物Ｐが転倒に至るまでの骨格モデルＭＤＬの動きを表すデータ、転倒の種別に関するデータ、人物Ｐを表す識別情報を相互に紐付けて記憶部２２に記憶させ、記録として保存する。この場合、転倒の種別に関するデータは、発生した転倒が他責転倒であることを表すものとなっている。
　以上で説明した見守りシステム１は、撮像部１１によって監視対象空間ＳＰの画像Ｉを撮像し、骨格モデル生成部２３ｂによって当該画像Ｉに含まれる人物Ｐを表す骨格モデルＭＤＬを生成する。そして、判定部２３ｃは、骨格モデル生成部２３ｂによって生成された骨格モデルＭＤＬに基づいて、骨格モデルＭＤＬに対応する人物Ｐの状態を判定する。このとき、判定部２３ｃは、骨格モデルＭＤＬに対応する人物Ｐが転倒状態であるものと判定した場合、当該転倒した人物Ｐを表す骨格モデルＭＤＬと他の人物Ｐを表す骨格モデルＭＤＬとの重なりの有無に基づいて、当該転倒した人物Ｐ自身に起因した自責転倒を判定する。この結果、見守りシステム１は、転倒時の状況を適正に把握することができる。例えば、見守りシステム１は、福祉施設において、利用者の転倒事故が発生した場合、自責か他責かを判断する材料として、判定部２３ｃによる判定結果を用いることができる。
　また、見守りシステム１は、撮像部１１によって撮像された画像Ｉそのものではなく、画像Ｉから生成された骨格モデルＭＤＬに基づいて人物Ｐの状態を把握することができるので、より少ないデータ量、演算負荷で転倒時の状況を適正に把握することができる。
　また、この場合、見守りシステム１は、撮像部１１によって撮像された画像Ｉそのものではなく、画像Ｉから生成された骨格モデルＭＤＬに基づいて転倒時の状況を把握することができるので、人物Ｐのプライバシーを確保した上で、上記のように転倒時の状況を適正に把握することができる。これにより、見守りシステム１は、例えば、設置機器１０の設置に対する心理的な圧迫を軽減することができ、設置に対する同意を得やすいシステムとすることができる。
　ここでは、以上で説明した見守りシステム１は、転倒した人物Ｐが転倒に至るまでの骨格モデルＭＤＬの動きを記憶する記憶部２２、３２を備える。これにより、見守りシステム１は、人物Ｐのプライバシーを確保した上で、転倒した人物Ｐ１が転倒に至るまでの骨格モデルＭＤＬの動きを記録として保存しておくことができる。
　具体的には、以上で説明した見守りシステム１は、判定部２３ｃによって、転倒した人物Ｐを表す骨格モデルＭＤＬと他の人物Ｐを表す骨格モデルＭＤＬとの重なりが無い場合に、当該転倒した人物Ｐの転倒が自責転倒であるものと判定する。これにより、見守りシステム１は、複数の骨格モデルＭＤＬの重なりあいに応じて簡易的に人物Ｐの自責転倒を判定することができる。
　一方、以上で説明した見守りシステム１は、判定部２３ｃによって、複数の骨格モデルＭＤＬとの重なりの有無、及び、位置検出器１２によって検出された人物Ｐの撮像奥行方向Ｘに対する位置に基づくことで、自責転倒と他責転倒とを区別して判定することもできる。この結果、見守りシステム１は、転倒時の状況をより詳細に把握することができる。
　具体的には、以上で説明した見守りシステム１は、判定部２３ｃによって、転倒した人物Ｐを表す骨格モデルＭＤＬと他の人物Ｐを表す骨格モデルＭＤＬとの重なりが有り、かつ、転倒した人物Ｐの撮像奥行方向Ｘに対する位置と他の人物Ｐの撮像奥行方向Ｘに対する位置とが接触範囲外である場合、当該転倒した人物Ｐの転倒が自責転倒であるものと判定する。一方、見守りシステム１は、判定部２３ｃによって、転倒した人物Ｐを表す骨格モデルＭＤＬと他の人物Ｐを表す骨格モデルＭＤＬとの重なりが有り、かつ、転倒した人物Ｐの撮像奥行方向Ｘに対する位置と他の人物Ｐの撮像奥行方向Ｘに対する位置とが接触範囲内である場合、当該転倒した人物Ｐの転倒が他責転倒であるものと判定する。この結果、見守りシステム１は、転倒した人物Ｐと他の人物Ｐとの接触、干渉を精度よく判定することができ、転倒時の状況として、自責転倒を他責転倒とを区別して把握することができる。
　なお、上述した本発明の実施形態に係る見守りシステムは、上述した実施形態に限定されず、請求の範囲に記載された範囲で種々の変更が可能である。
　以上の説明では、設置機器１０は、位置検出器１２を備えるものとして説明したがこれに限らない。また、以上の説明では、判定部２３ｃは、位置検出器１２による検出結果に基づいて、自責転倒と他責転倒とを区別して判定するものとして説明したがこれに限らない。見守りシステム１は、位置検出器１２を備えず、自責転倒と他責転倒とを区別して判定しないものであってもよい。
　以上の説明では、記憶部２２、３２は、例えば、状況データとして、マイク１５によって集音された音声データも記憶しておくことで、転倒前後の状況を音声により補完することも可能である。
　以上で説明した処理部２３、３３は、それぞれ単一のプロセッサによって各処理機能が実現されるものとして説明したがこれに限らない。処理部２３、３３は、それぞれ複数の独立したプロセッサを組み合わせて各プロセッサがプログラムを実行することにより各処理機能が実現されてもよい。また、処理部２３、３３が有する処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、処理部２３、３３が有する処理機能は、その全部又は任意の一部をプログラムにて実現してもよく、また、ワイヤードロジック等によるハードウェアとして実現してもよい。
　本実施形態に係る見守りシステムは、以上で説明した実施形態、変形例の構成要素を適宜組み合わせることで構成してもよい。
１　　見守りシステム
１Ａ　　検出システム
１０　　設置機器
１１　　撮像部
１２　　位置検出器
２０　　検出機器
２１、３１　　インターフェース部
２２、３２　　記憶部
２３、３３　　処理部
２３ａ　　情報処理部
２３ｂ　　骨格モデル生成部
２３ｃ　　判定部
２３ｄ　　動作処理部
３０　　端末機器
ＢＢ　　バウンディングボックス
Ｉ　　画像
ＭＤＬ、ＭＤＬ１、ＭＤＬ２　　骨格モデル
Ｎ　　ネットワーク
Ｐ、Ｐ１、Ｐ２　　人物
ＳＰ　　監視対象空間
Ｘ　　撮像奥行方向
Ｙ　　撮像幅方向
Ｚ　　撮像上下方向

Claims (5)

  1. 　監視対象空間の画像を撮像する撮像部と、
    　前記撮像部によって撮像された前記画像に含まれる人物を表す骨格モデルを生成する骨格モデル生成部と、
    　前記骨格モデル生成部によって生成された前記骨格モデルに基づいて、前記骨格モデルに対応する人物の状態を判定する判定部とを備え、
    　前記判定部は、前記骨格モデルに対応する人物が転倒した転倒状態であるものと判定した場合、当該転倒した人物を表す前記骨格モデルと他の人物を表す前記骨格モデルとの重なりの有無に基づいて、当該転倒した人物自身に起因した自責転倒を判定する、
    　見守りシステム。
  2. 　前記転倒した人物が転倒に至るまでの前記骨格モデルの動きを記憶する記憶部を備える、
    　請求項１に記載の見守りシステム。
  3. 　前記判定部は、前記転倒した人物を表す前記骨格モデルと前記他の人物を表す前記骨格モデルとの重なりが無い場合に、当該転倒した人物の転倒が前記自責転倒であるものと判定する、
    　請求項１又は請求項２に記載の見守りシステム。
  4. 　前記骨格モデルに対応する人物の、前記撮像部による撮像奥行方向に対する位置を検出可能である位置検出器を備え、
    　前記判定部は、前記転倒した人物を表す前記骨格モデルと前記他の人物を表す前記骨格モデルとの重なりの有無、及び、前記位置検出器によって検出された前記骨格モデルに対応する人物の前記撮像奥行方向に対する位置に基づいて、前記自責転倒と、前記他の人物に起因した他責転倒とを区別して判定する、
    　請求項１乃至請求項３のいずれか１項に記載の見守りシステム。
  5. 　前記判定部は、前記転倒した人物を表す前記骨格モデルと前記他の人物を表す前記骨格モデルとの重なりが有り、かつ、前記転倒した人物の前記撮像奥行方向に対する位置と前記他の人物の前記撮像奥行方向に対する位置とが予め定められた接触範囲外である場合、当該転倒した人物の転倒が前記自責転倒であるものと判定し、
    　前記転倒した人物を表す前記骨格モデルと前記他の人物を表す前記骨格モデルとの重なりが有り、かつ、前記転倒した人物の前記撮像奥行方向に対する位置と前記他の人物の前記撮像奥行方向に対する位置とが前記接触範囲内である場合、当該転倒した人物の転倒が前記他責転倒であるものと判定する、
    　請求項４に記載の見守りシステム。
PCT/JP2022/005692 2021-03-18 2022-02-14 見守りシステム WO2022196212A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280016685.1A CN116940962A (zh) 2021-03-18 2022-02-14 看护系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021044211A JP7317880B2 (ja) 2021-03-18 2021-03-18 見守りシステム
JP2021-044211 2021-03-18

Publications (1)

Publication Number Publication Date
WO2022196212A1 true WO2022196212A1 (ja) 2022-09-22

Family

ID=83322244

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/005692 WO2022196212A1 (ja) 2021-03-18 2022-02-14 見守りシステム

Country Status (3)

Country Link
JP (1) JP7317880B2 (ja)
CN (1) CN116940962A (ja)
WO (1) WO2022196212A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008152717A (ja) * 2006-12-20 2008-07-03 Sanyo Electric Co Ltd 転倒状況検知装置
WO2019187492A1 (ja) * 2018-03-30 2019-10-03 コニカミノルタ株式会社 転倒検知装置および該方法ならびに被監視者監視支援システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008152717A (ja) * 2006-12-20 2008-07-03 Sanyo Electric Co Ltd 転倒状況検知装置
WO2019187492A1 (ja) * 2018-03-30 2019-10-03 コニカミノルタ株式会社 転倒検知装置および該方法ならびに被監視者監視支援システム

Also Published As

Publication number Publication date
JP7317880B2 (ja) 2023-07-31
JP2022143603A (ja) 2022-10-03
CN116940962A (zh) 2023-10-24

Similar Documents

Publication Publication Date Title
CN110212451A (zh) 一种电力ar智能巡检装置
CN110291489A (zh) 计算上高效的人类标识智能助理计算机
US10847004B1 (en) Security surveillance device
CN107378971A (zh) 一种智能机器人控制系统
KR102413893B1 (ko) 스켈레톤 벡터 기반 비대면 비접촉 낙상탐지 시스템 및 방법
Gomez-Donoso et al. Enhancing the ambient assisted living capabilities with a mobile robot
Sarfraz et al. A multimodal assistive system for helping visually impaired in social interactions
Bellotto et al. Enrichme integration of ambient intelligence and robotics for aal
JP2020194493A (ja) 介護設備又は病院用の監視システム及び監視方法
WO2022196214A1 (ja) 見守りシステム
Wengefeld et al. The morphia project: First results of a long-term user study in an elderly care scenario from robotic point of view
Murphy et al. Interacting with trapped victims using robots
Ghidoni et al. A distributed perception infrastructure for robot assisted living
CN207172091U (zh) 一种智能机器人控制系统
WO2022196212A1 (ja) 見守りシステム
JP7326363B2 (ja) 見守りシステム
Zhang et al. EatingTrak: Detecting fine-grained eating moments in the wild using a wrist-mounted IMU
Christian et al. Hand gesture recognition and infrared information system
Wang et al. Oliv: an artificial intelligence-powered assistant for object localization for impaired vision
Ismail et al. Multimodal indoor tracking of a single elder in an AAL environment
CN114422583A (zh) 一种巡检机器人与智能终端间的交互系统
Liang et al. A collaborative elderly care system using a companion robot and a wearable device
Kaneko et al. Human-robot communication for surveillance of elderly people in remote distance
Ardiyanto et al. Autonomous monitoring framework with fallen person pose estimation and vital sign detection
US10638092B2 (en) Hybrid camera network for a scalable observation system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22770971

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280016685.1

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22770971

Country of ref document: EP

Kind code of ref document: A1