WO2022196214A1 - 見守りシステム - Google Patents

見守りシステム Download PDF

Info

Publication number
WO2022196214A1
WO2022196214A1 PCT/JP2022/005694 JP2022005694W WO2022196214A1 WO 2022196214 A1 WO2022196214 A1 WO 2022196214A1 JP 2022005694 W JP2022005694 W JP 2022005694W WO 2022196214 A1 WO2022196214 A1 WO 2022196214A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
unit
image
skeletal model
skeletal
Prior art date
Application number
PCT/JP2022/005694
Other languages
English (en)
French (fr)
Inventor
雅寛 伊藤
宏二 石井
Original Assignee
矢崎総業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 矢崎総業株式会社 filed Critical 矢崎総業株式会社
Publication of WO2022196214A1 publication Critical patent/WO2022196214A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a monitoring system.
  • Patent Literature 1 discloses a monitored person posture detection device that includes an imaging device, a skeleton information extraction unit, a skeleton information sample storage unit, a posture detection unit, and a posture determination unit. disclosed.
  • the imaging device acquires image data of an imaging area for monitoring a person to be monitored.
  • the skeleton information extraction unit extracts the skeleton information of the monitored person from the image data captured by the imaging device.
  • the skeleton information sample storage unit stores posture information samples made up of skeleton information.
  • the posture detection unit detects the posture of the monitored person based on the human skeleton information extracted by the skeleton information extraction unit and the skeleton information sample stored in the skeleton information storage unit.
  • a posture determination unit determines whether or not there is a fall based on the posture detected by the posture detection unit.
  • the attitude detection device described above has room for further improvement, for example, in terms of action determination while ensuring privacy.
  • the present invention has been made in view of the above circumstances, and aims to provide a monitoring system that can appropriately grasp behavior.
  • the monitoring system of the present invention includes an imaging unit that captures an image of a monitored space, and a skeleton model generator that generates a skeleton model representing a person included in the image captured by the imaging unit.
  • a determination unit that determines behavior of a person corresponding to the skeleton model based on the skeleton model generated by the skeleton model generation unit; and a movement of the skeleton model that corresponds to the behavior of the person.
  • a storage unit wherein the skeletal model generation unit, after generating the skeletal model, executes a process of deleting the image used to generate the skeletal model, and stores image data representing the image in the storage unit.
  • the monitoring system according to the present invention has the effect of being able to properly grasp behavior.
  • Drawing 1 is a block diagram showing a schematic structure of a watching system concerning an embodiment.
  • Drawing 2 is a mimetic diagram showing an example of loading of a watching system concerning an embodiment.
  • FIG. 3 is a schematic diagram illustrating an example of an arrangement of installed devices in the monitoring system according to the embodiment.
  • FIG. 4 is a schematic diagram illustrating an example of action determination based on a skeleton model in the watching system according to the embodiment.
  • Drawing 5 is a flow chart explaining an example of processing in a watching system concerning an embodiment.
  • the watching system 1 of this embodiment shown in FIGS. 1 and 2 is a system that monitors and watches the behavior of a person P existing in the monitored space SP.
  • the watching system 1 of the present embodiment is applied, for example, to welfare facilities such as care facilities such as outpatient care (day service) and facilities for the elderly.
  • the monitored space SP is, for example, a living room space, a corridor space, or the like of the facility.
  • the monitoring system 1 of the present embodiment includes an installation device 10, a detection device 20, and a terminal device 30, which constitute a cooperation system in which information is mutually transmitted and received and cooperated.
  • the installed device 10 and the detection device 20 constitute a detection system 1A that detects the behavior of the person P in the monitored space SP and records the detected behavior.
  • the detection system 1A determines the behavior of the person P existing in the monitored space SP based on the skeleton model MDL (see FIG. 4) representing the person P, It realizes a configuration for properly grasping the behavior.
  • MDL skeleton model
  • connection method between each component for the transmission and reception of power supply, control signals, various information, etc. is either wired connection or wireless connection unless otherwise specified.
  • a wired connection is, for example, a connection via a wiring material such as an electric wire or an optical fiber.
  • Wireless connection is, for example, connection by wireless communication, contactless power supply, or the like.
  • the installation device 10 is a device that is installed in the monitored space SP and captures an image of the monitored space SP.
  • the installation device 10 includes an imaging unit 11 , a display 12 , a speaker 13 and a microphone 14 .
  • the installed device 10 configures an indoor monitoring module that integrates various functions by assembling these components into a housing or the like to form a unit, and then installing the unit on the ceiling or the like of the monitored space SP. Further, in the installation device 10, for example, these components may be individually provided in the monitored space SP.
  • the imaging unit 11 captures an image I (for example, see FIG. 4) of the monitored space SP.
  • the imaging unit 11 may be, for example, a monocular camera capable of capturing a two-dimensional image, or a stereo camera capable of capturing a three-dimensional image. Also, the imaging unit 11 may be a so-called TOF (Time of Flight) camera or the like.
  • the imaging unit 11 is typically provided at a position where all persons P present in the monitored space SP can be imaged.
  • the imaging unit 11 is arranged, for example, above the monitored space SP, here, on the ceiling, and the angle of view is set so that the imaging range includes the entire area of the monitored space SP. If one imaging unit 11 cannot cover the entire monitored space SP, a plurality of imaging units 11 may be provided so as to cover the entire monitored space SP.
  • the depth direction of imaging by the imaging unit 11 is referred to as the "imaging depth direction X", and the direction crossing the imaging depth direction X and along the horizontal direction is the “imaging width direction Y , and a direction that intersects the imaging depth direction X and is along the vertical direction is referred to as an "imaging vertical direction Z.”
  • the imaging depth direction X typically corresponds to a direction along the optical axis direction of the imaging unit 11 .
  • the display 12 displays (outputs) image information (visual information) toward the monitored space SP.
  • the display 12 is configured by, for example, a thin liquid crystal display, plasma display, organic EL display, or the like.
  • the display 12 displays image information at a position visible from the person P within the monitored space SP.
  • the display 12 provides various guidance (announcements) by outputting image information, for example.
  • the speaker 13 outputs sound information (auditory information) toward the monitored space SP.
  • the speaker 13 performs various guidance (announcements) by outputting sound information, for example.
  • the microphone 14 is a sound collecting device that converts sounds generated in the monitored space SP into electrical signals.
  • the microphone 14 can be used, for example, for exchanging voices with persons outside the monitored space SP (for example, facility staff, etc.).
  • a plurality of installation devices 10 of the present embodiment are provided in the facility to monitor the behavior of the person P throughout the facility to which the watching system 1 is applied.
  • the installed device 10 is installed not only in the living room space in the facility but also in the corridor space, etc., which is the flow line of the person P, so that the behavior such as wandering of the person P can also be monitored. becomes.
  • the detection device 20 is a device that detects the behavior of the person P existing in the monitored space SP based on the skeleton model MDL generated from the image I captured by the installed device 10 .
  • the detection device 20 includes an interface section 21, a storage section 22, and a processing section 23, which are connected so as to be able to communicate with each other.
  • the detection device 20 may constitute a so-called cloud service type device (cloud server) implemented on a network, or may constitute a so-called stand-alone type device separated from the network.
  • the detection device 20 can also be configured by installing an application for realizing various processes in various computer devices such as personal computers, workstations, and tablet terminals, for example.
  • the detection device 20 is provided, for example, in a facility management center or the like to which the watching system 1 is applied, but is not limited to this.
  • the interface unit 21 is an interface for transmitting and receiving various information to and from other devices other than the detecting device 20.
  • the interface section 21 has a function of wired communication of information with each section via an electric wire or the like, a function of wireless communication of information with each section via a wireless communication unit or the like, and the like.
  • the interface unit 21 transmits and receives information to and from a plurality of installed devices 10 and a plurality of terminal devices 30 as devices other than the detected device 20 .
  • the interface unit 21 is directly communicably connected to the plurality of installed devices 10, and is communicably connected to the plurality of terminal devices 30 via the communication unit 21a and the network N. Although illustrated as a thing, it is not restricted to this.
  • a plurality of installed devices 10 may also be connected to the interface section 21 via the communication section 21a and the network N.
  • the communication unit 21a is a communication module (Data Communication Module) connected to the network N for communication.
  • the network N can use any communication network, whether wired or wireless.
  • the storage unit 22 is a storage circuit that stores various information.
  • the storage unit 22 can rewrite data such as a relatively large-capacity storage device such as a hard disk, SSD (Solid State Drive), or optical disc, or RAM, flash memory, NVSRAM (Non Volatile Static Random Access Memory), etc. Any semiconductor memory may be used.
  • the storage unit 22 stores, for example, programs for the detecting device 20 to implement various functions.
  • the programs stored in the detecting device 20 include a program that causes the interface section 21 to function, a program that causes the communication section 21a to function, a program that causes the processing section 23 to function, and the like.
  • the storage unit 22 stores, for example, a learned mathematical model or the like used for action determination of the person P in the monitored space SP.
  • the storage unit 22 also stores various data necessary for various processes in the processing unit 23 . These various data are read from the storage unit 22 by the processing unit 23 and the like as necessary. Note that the storage unit 22 may be implemented by a cloud server or the like connected to the detecting device 20 via the network N.
  • the processing unit 23 is a processing circuit that implements various processing functions in the detection device 20 .
  • the processing unit 23 is realized by, for example, a processor.
  • a processor means a circuit such as a CPU (Central Processing Unit), an MPU (Micro Processing Unit), an ASIC (Application Specific Integrated Circuit), and an FPGA (Field Programmable Gate Array).
  • the processing unit 23 implements each processing function by executing a program read from the storage unit 22, for example.
  • the processing unit 23 can execute processing of inputting image data representing the image I captured by the imaging unit 11 of the installation device 10 to the detection device 20 via the interface unit 21 .
  • the terminal device 30 is a device that is communicably connected to the detecting device 20 .
  • the terminal device 30 includes an interface section 31, a storage section 32, a processing section 33, a display 34, a speaker 35, and a microphone 36, which are connected so as to be able to communicate with each other.
  • the terminal device 30 can also be configured by installing applications for realizing various processes in various computer devices such as personal computers, workstations, and tablet terminals, for example.
  • the terminal device 30 may constitute, for example, a portable terminal device that can be carried by a staff member or the like of the facility to which the watching system 1 is applied, or may constitute a stationary management terminal device.
  • the interface unit 31, storage unit 32, processing unit 33, display 34, speaker 35, and microphone 36 are substantially the same as the interface unit 21, storage unit 22, processing unit 23, display 12, speaker 13, and microphone 14 described above, respectively. Configuration.
  • the interface unit 31 is an interface for transmitting and receiving various information to and from other devices other than the terminal device 30 .
  • the interface unit 31 is communicably connected to the detecting device 20 via the communication unit 31a and the network N. As shown in FIG.
  • the communication unit 31a is a communication module, like the communication unit 21a described above.
  • the storage unit 32 stores, for example, programs for the terminal device 30 to implement various functions.
  • the processing unit 33 is a processing circuit that implements various processing functions in the terminal device 30 .
  • the processing unit 33 implements each processing function by executing a program read from the storage unit 32, for example.
  • the display 34 displays image information.
  • the speaker 35 outputs sound information.
  • a microphone 36 is a sound collecting device that converts sound into an electric signal.
  • the processing unit 23 has a function to perform various processes such as judging, properly grasping, and recording.
  • the processing unit 23 of the present embodiment functionally conceptually includes an information processing unit 23a, a skeleton model generation unit 23b, a determination unit 23c, and an action processing unit 23d. Consists of The processing unit 23 implements the processing functions of the information processing unit 23a, the skeleton model generation unit 23b, the determination unit 23c, and the motion processing unit 23d, for example, by executing programs read from the storage unit 22.
  • FIG. 23
  • the information processing unit 23a is a part having a function capable of executing processing related to various information used in the monitoring system 1.
  • the information processing section 23 a can execute processing for transmitting and receiving various information to and from the installed device 10 and the terminal device 30 .
  • the monitoring system 1 can exchange information (for example, audio information, image information, etc.) with the installation device 10 and the terminal device 30 through processing by the information processing section 23a.
  • the information processing section 23a can execute a process of acquiring image data representing the image I of the monitored space SP captured by the imaging section 11 from the installation device 10 and temporarily storing the image data in the storage section 22. .
  • the skeletal model generation unit 23b is a part having a function capable of executing a process of generating a skeletal model MDL (see FIG. 4) representing the person P included in the image I of the monitored space SP captured by the imaging unit 11.
  • the skeletal model MDL is a human body model that represents the human body skeleton including the head, eyes, nose, mouth, shoulders, hips, feet, knees, elbows, hands, joints, etc. of the person P in three dimensions.
  • the skeletal model generation unit 23b can generate the skeletal model MDL representing the person P included in the image I, for example, by top-down skeletal estimation in which the person P is first detected and then the skeletal structure of the person P is estimated. .
  • the skeletal model generation unit 23b recognizes the person P in the image I using various known object recognition techniques, and defines the outside of the area where the recognized person P exists in the image I with the bounding box BB. Execute the enclosing process.
  • the bounding box BB is a rectangular frame having a size necessary to enclose the person P recognized in the image I.
  • the skeletal model generation unit 23b generates skeletal parts of the human body such as the head, eyes, nose, mouth, shoulders, waist, feet, knees, elbows, hands, joints, etc. ) are detected, and the skeleton model MDL of the person P is generated by combining them.
  • the skeletal models MDL illustrated in FIG. 4 the skeletal parts of the human body such as the head, eyes, nose, mouth, shoulders, waist, feet, knees, elbows, hands, and joints of the person P are symbolically represented by "points". It is generated by representing and connecting these with "lines”.
  • the skeletal model generation unit 23b When there are a plurality of persons P included in the image I, the skeletal model generation unit 23b generates a plurality of skeletal models MDL (MDL1, MDL2) according to the number of the persons P (P1, P2). The skeletal model generation unit 23b stores the generated skeletal model MDL in the storage unit 22.
  • MDL1, MDL2 a plurality of skeletal models MDL (MDL1, MDL2) according to the number of the persons P (P1, P2).
  • the skeletal model generation unit 23b stores the generated skeletal model MDL in the storage unit 22.
  • the skeletal model generation unit 23b estimates the skeleton of the person P after detecting all the skeletal parts of the human body in the image I without using the bounding box BB or the like.
  • a skeletal model representing the included person P may be generated.
  • the skeletal model generator 23b first uses various known object recognition techniques to identify the head, eyes, nose, mouth, shoulders, waist, feet, knees, elbows, hands, and so on of the human body in the image I. All three-dimensional position coordinates of each skeletal part such as a joint are detected. After that, the skeletal model generation unit 23b generates the skeletal model MDL of each person P by matching the detected skeletal parts for each person P and joining them together.
  • this monitoring system 1 can use object recognition technology using various types of machine learning as an object recognition technology for recognizing the person P in the image I.
  • the watching system 1 learns the person P in advance by various types of machine learning, for example, using an image I including the person P as data for learning.
  • the watching system 1 can register users of the facility in advance, and can learn each user in the image I so that each user can be identified as an individual.
  • the monitoring system 1 uses pre-collected data related to “an image I including a person P who is a user of the facility” as explanatory variables, and uses “identification information of the person P corresponding to the image (for example, a user ID, etc.
  • the watching system 1 pre-stores in the storage unit 22 a learned mathematical model for object recognition (person recognition) obtained by this machine learning.
  • the skeletal model generation unit 23b performs classification/regression based on, for example, a mathematical model for object recognition (person recognition) that has already been learned and stored in the storage unit 22 as described above. After recognizing P in a state in which the individual is specified by the identification information, a skeletal model MDL representing the person P is generated. More specifically, the skeleton model generation unit 23b inputs the image I captured by the imaging unit 11 to the mathematical model for object recognition. As a result, the skeletal model generation unit 23b recognizes the person P in the image I, acquires the identification information specifying the person P, and generates the skeletal model MDL representing the person P.
  • the skeletal model generation unit 23b can generate the skeletal model MDL of the person P whose individual is specified by the identification information.
  • the skeletal model generating unit 23b stores the generated skeletal model MDL in the storage unit 22 together with the identification information of the person P whose individual is specified.
  • the determining unit 23c is a part having a function capable of executing processing for determining the behavior of the person P corresponding to the skeletal model MDL generated by the skeletal model generating unit 23b, based on the skeletal model MDL.
  • the determining unit 23c distinguishes, for example, walking, staying, sitting, falling, contacting another person, wandering, etc., as actions of the person P corresponding to the skeleton model MDL generated by the skeleton model generating unit 23b. judge. If a person P is included in the image I of the monitored space SP captured by the imaging unit 11, the determination unit 23c performs these behavior determinations on the person P.
  • the watching system 1 learns the behavior of the person P in advance by various types of machine learning using, for example, the relative positional relationship and relative distance of each skeletal part in the skeletal model MDL, the size of the bounding box BB, etc. as parameters. back.
  • the watching system 1 uses pre-collected data on "the relative positional relationship, relative distance, and size of the bounding box BB of each skeletal part in the skeletal model MDL" as explanatory variables, Perform machine learning with data as the objective variable.
  • various types of algorithms applicable to the present embodiment can be used, such as logistic regression, support vector machine, neural network, random forest, etc., as described above.
  • the watching system 1 stores in the storage unit 22 in advance a learned mathematical model for action determination obtained by this machine learning.
  • the determination unit 23c determines the behavior of the person corresponding to the skeletal model MDL by classification/regression based on the learned behavior determination mathematical model or the like stored in the storage unit 22 as described above. More specifically, the determining unit 23c determines the relative positional relationship, the relative distance, and the size of the bounding box BB of each skeletal part obtained from the skeletal model MDL of the person P included in the actually captured image I. , is input to the mathematical model for action determination. Thereby, the determination unit 23c distinguishes and determines the behavior of the person P corresponding to the skeleton model MDL (for example, walking, staying, sitting, falling, contacting another person, wandering, etc.).
  • the information processing section 23a of the present embodiment causes the storage section 22 to store the situation data representing the action situation after the action of the person P is judged by the judgment section 23c, and saves it as a record.
  • the situation data representing the action situation typically includes data representing the movement of the skeletal model MDL according to the action of the person P and data relating to the type of action.
  • the skeletal model MDL corresponding to the action of the person P may include, for example, the skeletal model MDL of another person P involved in the action in addition to the skeletal model MDL of the person P who performed the action.
  • the data on the type of action is data representing the type of action performed by the person P (for example, walking, staying, sitting, falling, contacting another person, wandering, etc.).
  • the information processing unit 23a stores, for example, as situation data representing the situation of an action, identification information representing the person P who performed the action and other persons P involved in the action in association with the above data. It may be stored in the unit 22 . In addition, the information processing unit 23a does not store the situation data representing the situation of all actions, but only the situation data of a predetermined specific type of action in the storage unit 22 and saves it as a record. You can leave it as is.
  • the operation processing unit 23d is a part having a function capable of executing processing for controlling the operation of each unit based on the determination result by the detection device 20.
  • the operation processing unit 23d of the present embodiment can execute a process of transferring the situation data to another device other than the detecting device 20 based on the determination result by the determination unit 23c.
  • the operation processing unit 23d controls the communication unit 21a based on the determination result by the determination unit 23c, transfers the situation data according to the determination result to the terminal device 30, of the person P has performed a specific action.
  • the terminal device 30 may store the received situation data in the storage unit 32 and save it as a record.
  • the terminal device 30 may display, for example, the movement of the skeletal model MDL until the person P reaches the action on the display 34, and the staff of the facility or the like may confirm the situation at the time of the fall.
  • the processing function of transferring the situation data to another device by the operation processing section 23d may be realized by the information processing section 23a described above.
  • the watching system 1 of the present embodiment does not use the image I used to generate the skeleton model MDL in each subsequent process, and does not use the skeleton model generated from the image I. It is configured to execute various processes using MDL.
  • the skeletal model generation unit 23b of the present embodiment executes a process of deleting the image I used for generating the skeleton model MDL. , a process is executed to prevent the image data representing the image I from being left in the temporary storage section or the like of the installed device 10 . Then, as described above, the determination unit 23c of the present embodiment generates the skeleton model MDL based on the skeleton model MDL generated by the skeleton model generation unit 23b, without using the image I used to generate the skeleton model MDL. A person's behavior corresponding to the MDL is determined.
  • the determination unit 23c uses the relative positional relationship, the relative distance, and the size of the bounding box BB of each skeletal part obtained from the skeletal model MDL of the person P as the mathematical model for action determination.
  • the image I used to generate the skeleton model MDL is not input to the mathematical model for behavior determination, and the behavior of the person P is discriminated and determined.
  • the information processing section 23a does not store the image I used to generate the skeleton model MDL in the storage section 22, the storage section 32, or the like as a record.
  • the watching system 1 can save the movement of the skeleton model MDL until the person P1 reaches a specific action in the storage unit 22 as a record while ensuring the privacy of the person P.
  • the monitoring system 1 can perform various types of monitoring while ensuring the privacy of the facility user without using an image showing the individual face of the facility user.
  • the information processing section 23a of the detecting device 20 controls the imaging section 11 to capture the image I of the monitored space SP, and stores the captured image information in the storage section 22.
  • Store step S1.
  • the skeleton model generation unit 23b of the detection device 20 detects the position of each skeleton part of the person P by object recognition and skeleton estimation based on the image I of the monitored space SP stored in the storage unit 22. (Step S2), a skeletal model MDL of the person P is generated (Step S3).
  • the skeletal model generation unit 23b erases the image used to generate the skeletal model MDL (step S4) so that no image data representing the image remains.
  • the processing unit 23 of the detecting device 20 performs various processes using the skeleton model MDL generated from the image I without using the image I used to generate the skeleton model MDL in each subsequent process.
  • the determination unit 23c of the detecting device 20 uses a mathematical model for action determination that has been learned by machine learning, etc., to correspond to the skeletal model MDL.
  • the action of the person P is detected (step S5).
  • the determination unit 23c determines whether or not the person P corresponding to the skeleton model MDL has taken a specific type of action, for example, whether or not he or she has left the building by wandering (step S6). If the determination unit 23c determines that the person P has not left the building by loitering (does not perform a specific type of action) (step S6: No), the determination unit 23c terminates the current control cycle and performs the next control. Transition to cycle.
  • step S6 determines that the person P has wandered out of the building (performed a specific type of action) (step S6: Yes)
  • the information processing unit 23a of the detection device 20 determines that the action was performed.
  • the situation data representing the situation data representing the movement of the skeletal model MDL until the person P reaches the action
  • data related to the type of action and identification information representing the person P are mutually linked and stored in the storage unit 22, Save as a record.
  • the action processing unit 23d of the detection device 20 controls the communication unit 21a to transfer the situation data at the time of action to the terminal device 30, and to notify the staff of the facility or the like via the terminal device 30 that the person P is identified. It notifies that the action of the type has been performed (step S7), ends the current control cycle, and shifts to the next control cycle.
  • the terminal device 30 stores the received situation data in the storage unit 32 and saves it as a record.
  • the imaging unit 11 captures an image I of the monitored space SP, and the skeleton model generation unit 23b generates a skeleton model MDL representing the person P included in the image I.
  • the determination unit 23c determines the behavior of the person P corresponding to the skeleton model MDL.
  • the watching system 1 deletes the image I used to generate the skeleton model MDL, and in each subsequent process, deletes the image I used to generate the skeleton model MDL.
  • Various processes are executed using the skeletal model MDL generated from the image I without using the skeletal model MDL.
  • the watching system 1 can monitor the behavior of the person P while ensuring the privacy of the facility user without using the image I in which the individual face of the facility user is reflected. As a result, the watching system 1 can properly grasp the behavior of the person P.
  • the watching system 1 can grasp the behavior of the person P based on the skeleton model MDL generated from the image I rather than the image I itself captured by the imaging unit 11, thereby ensuring the privacy of the person P. After doing so, the behavior of the person P can be properly grasped as described above.
  • the watching system 1 can, for example, reduce psychological pressure on installation of the installation device 10, and can be a system that facilitates obtaining consent for installation.
  • the watching system 1 can grasp the behavior of the person P based on the skeletal model MDL generated from the image I rather than the image I itself captured by the imaging unit 11, the amount of data and calculation can be reduced. It is possible to properly grasp the situation at the time of falling with the load.
  • the monitoring system 1 described above determines the action of the person P corresponding to the skeletal model MDL based on the skeletal model MDL by the determination unit 23c without using the image I used to generate the skeletal model MDL. judge.
  • the monitoring system 1 can monitor the behavior of the person P, such as loitering, without impairing the privacy of the user in, for example, a welfare facility. can be made easier to use.
  • the storage units 22 and 32 also store, for example, audio data collected by the microphone 14 as situation data, so that it is possible to complement the action determination of the person P with audio. .
  • each processing function of the processing units 23 and 33 may be realized by combining a plurality of independent processors and having each processor execute a program. Moreover, the processing functions of the processing units 23 and 33 may be appropriately distributed or integrated in a single or a plurality of processing circuits and implemented. Further, the processing functions of the processing units 23 and 33 may be realized entirely or in part by a program, or may be realized by hardware such as wired logic.
  • the monitoring system according to this embodiment may be configured by appropriately combining the constituent elements of the embodiments and modifications described above.
  • monitoring system 1A detection system 10 installation device 11 imaging unit 20 detection devices 21, 31 interface units 22, 32 storage units 23, 33 processing unit 23a information processing unit 23b skeleton model generation unit 23c determination unit 23d operation processing unit 30 terminal device BB Bounding box I Image MDL, MDL1, MDL2 Skeletal model N Network P, P1, P2 Person SP Space to be monitored

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Analysis (AREA)

Abstract

見守りシステム（１）は、監視対象空間の画像を撮像する撮像部（１１）と、撮像部（１１）によって撮像された画像に含まれる人物を表す骨格モデルを生成する骨格モデル生成部（２３ｂ）と、骨格モデル生成部（２３ｂ）によって生成された骨格モデルに基づいて、骨格モデルに対応する人物の行動を判定する判定部（２３ｃ）と、人物の行動に応じた骨格モデルの動きを記憶する記憶部（２２、３２）とを備え、骨格モデル生成部（２３ｂ）は、骨格モデルを生成した後、当該骨格モデルの生成に用いた画像を消去する処理を実行し、記憶部（２２、３２）に当該画像を表す画像データを残さない。

Description

見守りシステム
　本発明は、見守りシステムに関する。
　例えば、特許文献１には、撮像装置と、骨格情報抽出部と、骨格情報サンプル記憶部と、姿勢検出部と、姿勢判定部と、を備えることを特徴とする被監視者の姿勢検知装置が開示されている。撮像装置は、被監視者を監視する撮像領域の画像データを取得する。骨格情報抽出部は、撮像装置で撮像した画像データから被監視者の骨格情報を抽出する。骨格情報サンプル記憶部は、骨格情報からなる姿勢情報サンプルを格納する。姿勢検出部は、骨格情報抽出部で抽出した人間の骨格情報と骨格情報記憶部に格納された骨格情報サンプルとに基づいて被監視者の姿勢を検出する。姿勢判定部は、この姿勢検出部で検出した姿勢に基づいて転倒、転落の有無を判定する。
特開２０２０－３４９６０号公報
　ところで、上記のような姿勢検知装置は、例えば、プライバシーを確保した上での行動判定の点で更なる改善の余地がある。
　本発明は、上記の事情に鑑みてなされたものであって、行動を適正に把握することができる見守りシステムを提供することを目的とする。
　上記目的を達成するために、本発明に見守りシステムは、監視対象空間の画像を撮像する撮像部と、前記撮像部によって撮像された前記画像に含まれる人物を表す骨格モデルを生成する骨格モデル生成部と、前記骨格モデル生成部によって生成された前記骨格モデルに基づいて、前記骨格モデルに対応する人物の行動を判定する判定部と、前記人物の行動に応じた前記骨格モデルの動きを記憶する記憶部とを備え、前記骨格モデル生成部は、前記骨格モデルを生成した後、当該骨格モデルの生成に用いた前記画像を消去する処理を実行し、前記記憶部に当該画像を表す画像データを残さない。
　本発明に係る見守りシステムは、行動を適正に把握することができる、という効果を奏する。
図１は、実施形態に係る見守りシステムの概略構成を表すブロック図である。 図２は、実施形態に係る見守りシステムの搭載例を表す模式図である。 図３は、実施形態に係る見守りシステムにおける設置機器の配置例の一例を説明する模式図である。 図４は、実施形態に係る見守りシステムにおける骨格モデルに基づく行動判定の一例を説明する模式図である。 図５は、実施形態に係る見守りシステムにおける処理の一例を説明するフローチャートである。
　以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
［実施形態］
　図１、図２に示す本実施形態の見守りシステム１は、監視対象空間ＳＰに存在する人物Ｐの行動を監視し見守るシステムである。本実施形態の見守りシステム１は、例えば、通所介護（デイサービス）などの介護施設、高齢者施設等の福祉施設に適用される。監視対象空間ＳＰは、例えば、当該施設の居室空間や廊下空間等である。
　本実施形態の見守りシステム１は、設置機器１０と、検出機器２０と、端末機器３０とを備え、これらが相互に情報を送受信し連携する連携システムを構成する。ここでは、設置機器１０と検出機器２０とは、監視対象空間ＳＰにおいて人物Ｐの行動を検出し、検出した行動を記録する検出システム１Ａを構成する。本実施形態の見守りシステム１は、検出システム１Ａにおいて、監視対象空間ＳＰに存在する人物Ｐの行動を、当該人物Ｐを表す骨格モデルＭＤＬ（図４参照）に基づいて判定し、当該人物Ｐの行動を適正に把握するための構成を実現したものである。以下、各図を参照して見守りシステム１の各構成について詳細に説明する。
　なお、図１に図示する見守りシステム１において、電力供給、制御信号、各種情報等の授受のための各構成要素間の接続方式は、特に断りのない限り、有線による接続、無線による接続のいずれであってもよい。有線による接続とは、例えば、電線や光ファイバ等の配索材を介した接続である。無線による接続とは、例えば、無線通信、非接触給電等による接続である。
＜設置機器の基本構成＞
　設置機器１０は、監視対象空間ＳＰに設置され、当該監視対象空間ＳＰを撮像する機器である。設置機器１０は、撮像部１１と、ディスプレイ１２と、スピーカ１３と、マイク１４とを備える。設置機器１０は、例えば、これらの構成要素が筐体等に組み付けられユニット化された上で監視対象空間ＳＰの天井等に設けられることで、種々の機能を統合した室内監視モジュールを構成する。また、設置機器１０は、例えば、これらの構成要素が監視対象空間ＳＰに個別に設けられてもよい。
　撮像部１１は、監視対象空間ＳＰの画像Ｉ（例えば、図４参照）を撮像するものである。撮像部１１は、例えば、２次元画像を撮像可能な単眼カメラであってもよいし、３次元画像を撮像可能なステレオカメラであってもよい。また、撮像部１１は、いわゆるＴＯＦ（Ｔｉｍｅ　ｏｆ　Ｆｌｉｇｈｔ）カメラ等であってもよい。撮像部１１は、典型的には、監視対象空間ＳＰに存在する全ての人物Ｐを撮像可能な位置に設けられる。撮像部１１は、例えば、監視対象空間ＳＰの上方、ここでは、天井に配置され、撮像範囲に監視対象空間ＳＰの全領域が含まれるように画角が設定されている。撮像部１１は、１つで監視対象空間ＳＰの全域をカバーできない場合には複数が設けられ当該複数によって監視対象空間ＳＰの全域をカバーするように構成されてもよい。
　なお、以下の説明では、図４に示すように、撮像部１１による撮像の奥行方向を「撮像奥行方向Ｘ」といい、撮像奥行方向Ｘと交差し水平方向に沿う方向を「撮像幅方向Ｙ」といい、撮像奥行方向Ｘと交差し鉛直方向に沿う方向を「撮像上下方向Ｚ」という。撮像奥行方向Ｘは、典型的には、撮像部１１の光軸方向に沿った方向に相当する。
　ディスプレイ１２は、監視対象空間ＳＰに向けて画像情報（視覚情報）を表示（出力）するものである。ディスプレイ１２は、例えば、薄型の液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ等によって構成される。ディスプレイ１２は、監視対象空間ＳＰ内の人物Ｐから目視可能な位置に画像情報を表示する。ディスプレイ１２は、例えば、画像情報を出力することで種々の案内（アナウンス）を行う。
　スピーカ１３は、監視対象空間ＳＰに向けて音情報（聴覚情報）を出力するものである。スピーカ１３は、例えば、音情報を出力することで種々の案内（アナウンス）を行う。
　マイク１４は、監視対象空間ＳＰで発生した音を電気信号に変換する集音装置である。マイク１４は、例えば、監視対象空間ＳＰの外部の人物（例えば、施設職員等）との音声のやり取りに使用することができる。
　本実施形態の設置機器１０は、図３に例示するように、見守りシステム１が適用される施設内の全域において人物Ｐの行動を監視するため、当該施設内に複数設けられる。この守りシステム１は、例えば、設置機器１０が施設内の居室空間の他、人物Ｐの動線となる廊下空間等にも設けられることで、人物Ｐの徘徊等の行動も監視することが可能となる。
＜検出機器の基本構成＞
　検出機器２０は、設置機器１０によって撮像された画像Ｉから生成される骨格モデルＭＤＬに基づいて監視対象空間ＳＰに存在する人物Ｐの行動を検出する機器である。検出機器２０は、インターフェース部２１と、記憶部２２と、処理部２３とを備え、これらが相互に通信可能に接続されている。検出機器２０は、ネットワーク上に実装されるいわゆるクラウドサービス型の装置（クラウドサーバ）を構成してもよいし、ネットワークから切り離されたいわゆるスタンドアローン型の装置を構成してもよい。検出機器２０は、例えば、パーソナルコンピュータ、ワークステーション、タブレット端末等の種々のコンピュータ機器に種々の処理を実現させるアプリケーションをインストールすることで構成することもできる。検出機器２０は、例えば、見守りシステム１が適用される施設の管理センタ等に設けられるがこれに限らない。
　インターフェース部２１は、検出機器２０外の他の機器と種々の情報を送受信するためのインターフェースである。インターフェース部２１は、各部との間で電線等を介して情報を有線通信する機能、各部との間で無線通信ユニット等を介して情報を無線通信する機能等を有している。インターフェース部２１は、検出機器２０外の他の機器として、複数の設置機器１０、及び、複数の端末機器３０との間で情報を送受信する。ここでは、インターフェース部２１は、複数の設置機器１０に対して直接的に通信可能に接続される一方、複数の端末機器３０に対して通信部２１ａ、ネットワークＮを介して通信可能に接続されるものとして図示しているがこれに限らない。複数の設置機器１０も通信部２１ａ、ネットワークＮを介して当該インターフェース部２１に接続されてもよい。ここで、通信部２１ａは、ネットワークＮと通信接続される通信モジュール（Ｄａｔａ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｍｏｄｕｌｅ）である。ネットワークＮは、有線または無線を問わず、任意の通信網を用いることができる。
　記憶部２２は、種々の情報を記憶する記憶回路である。記憶部２２は、例えば、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、光ディスクなどの比較的に大容量の記憶装置、あるいは、ＲＡＭ、フラッシュメモリ、ＮＶＳＲＡＭ（Ｎｏｎ　Ｖｏｌａｔｉｌｅ　Ｓｔａｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などのデータを書き換え可能な半導体メモリであってもよい。記憶部２２は、例えば、検出機器２０が各種の機能を実現するためのプログラムを記憶する。検出機器２０に記憶されるプログラムには、インターフェース部２１を機能させるプログラム、通信部２１ａを機能させるプログラム、処理部２３を機能させるプログラム等が含まれる。記憶部２２は、例えば、監視対象空間ＳＰの人物Ｐの行動判定に用いられる学習済みの数理モデル等を記憶する。また、記憶部２２は、処理部２３での各種処理に必要な各種データを記憶する。記憶部２２は、処理部２３等によってこれらの各種データが必要に応じて読み出される。なお、記憶部２２は、ネットワークＮを介して検出機器２０に接続されたクラウドサーバ等により実現されてもよい。
　処理部２３は、検出機器２０における各種処理機能を実現する処理回路である。処理部２３は、例えば、プロセッサによって実現される。プロセッサとは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の回路を意味する。処理部２３は、例えば、記憶部２２から読み込んだプログラムを実行することにより、各処理機能を実現する。例えば、処理部２３は、設置機器１０の撮像部１１によって撮像された画像Ｉを表す画像データ等を、インターフェース部２１を介して検出機器２０に入力する処理を実行可能である。
＜端末機器の基本構成＞
　端末機器３０は、検出機器２０と通信可能に接続される機器である。端末機器３０は、インターフェース部３１と、記憶部３２と、処理部３３と、ディスプレイ３４と、スピーカ３５と、マイク３６とを備え、これらが相互に通信可能に接続されている。端末機器３０は、例えば、パーソナルコンピュータ、ワークステーション、タブレット端末等の種々のコンピュータ機器に種々の処理を実現させるアプリケーションをインストールすることで構成することもできる。端末機器３０は、例えば、見守りシステム１が適用される施設の職員等によって携帯可能な携帯端末機器を構成してもよいし、据え置き型の管理端末機器を構成してもよい。
　インターフェース部３１、記憶部３２、処理部３３、ディスプレイ３４、スピーカ３５、マイク３６は、それぞれ、上述したインターフェース部２１、記憶部２２、処理部２３、ディスプレイ１２、スピーカ１３、マイク１４と略同様の構成である。インターフェース部３１は、端末機器３０外の他の機器と種々の情報を送受信するためのインターフェースである。インターフェース部３１は、通信部３１ａ、ネットワークＮを介して検出機器２０に通信可能に接続される。通信部３１ａは、上述した通信部２１ａと同様に、通信モジュールである。記憶部３２は、例えば、端末機器３０が各種の機能を実現するためのプログラムを記憶する。処理部３３は、端末機器３０における各種処理機能を実現する処理回路である。処理部３３は、例えば、記憶部３２から読み込んだプログラムを実行することにより、各処理機能を実現する。ディスプレイ３４は、画像情報を表示するものである。スピーカ３５は、音情報を出力するものである。マイク３６は、音を電気信号に変換する集音装置である。
　以上、本実施形態に係る見守りシステム１の全体構成の概略について説明した。
＜検出機器の処理部の処理機能＞
　このような構成のもと、本実施形態に係る処理部２３は、図４等に示すように、監視対象空間ＳＰに存在する人物Ｐの行動を、当該人物Ｐを表す骨格モデルＭＤＬに基づいて判定し、適正に把握、記録する各種処理を行うための機能を有している。
　具体的には、本実施形態の処理部２３は、上記各種処理機能を実現するために、機能概念的に、情報処理部２３ａ、骨格モデル生成部２３ｂ、判定部２３ｃ、及び、動作処理部２３ｄを含んで構成される。処理部２３は、例えば、記憶部２２から読み込んだプログラムを実行することにより、これら情報処理部２３ａ、骨格モデル生成部２３ｂ、判定部２３ｃ、及び、動作処理部２３ｄの各処理機能を実現する。
　情報処理部２３ａは、見守りシステム１で用いる種々の情報に関する処理を実行可能な機能を有する部分である。情報処理部２３ａは、設置機器１０や端末機器３０との間で種々の情報を送受信する処理を実行可能である。見守りシステム１は、情報処理部２３ａによる処理により、設置機器１０や端末機器３０と相互に情報（例えば、音声情報や画像情報等）のやり取りが可能となる。ここでは、情報処理部２３ａは、設置機器１０から、撮像部１１によって撮像された監視対象空間ＳＰの画像Ｉを表す画像データを取得し記憶部２２に一時的に記憶させる処理を実行可能である。
　骨格モデル生成部２３ｂは、撮像部１１によって撮像された監視対象空間ＳＰの画像Ｉに含まれる人物Ｐを表す骨格モデルＭＤＬ（図４参照）を生成する処理を実行可能な機能を有する部分である。骨格モデルＭＤＬは、人物Ｐの頭、目、鼻、口、肩、腰、足、膝、肘、手、各関節等を含む人体骨格を３次元で表した人体モデルである。
　骨格モデル生成部２３ｂは、例えば、まず人物Ｐを検出した後に当該人物Ｐの骨格を推定するトップダウン型の骨格推定によって、画像Ｉに含まれる人物Ｐを表す骨格モデルＭＤＬを生成することができる。この場合、骨格モデル生成部２３ｂは、種々の公知の物体認識技術を用いて、画像Ｉ内の人物Ｐを認識し、画像Ｉにおいて当該認識した人物Ｐが存在する領域の外側をバウンディングボックスＢＢで囲う処理を実行する。ここで、バウンディングボックスＢＢとは、画像Ｉにおいて認識された人物Ｐを囲うために必要な大きさの矩形状の枠である。そして、骨格モデル生成部２３ｂは、当該バウンディングボックスＢＢ内の人物Ｐの頭、目、鼻、口、肩、腰、足、膝、肘、手、各関節等の人体の各骨格部位（人体パーツ）の３次元位置座標を検出し、これらを組み合わせて当該人物Ｐの骨格モデルＭＤＬを生成する。図４に例示する骨格モデルＭＤＬは、人物Ｐの頭、目、鼻、口、肩、腰、足、膝、肘、手、各関節等の人体の各骨格部位を「点」によって象徴的に表すと共にこれらを「線」でつなぎ合わせることで生成されている。骨格モデル生成部２３ｂは、画像Ｉに含まれる人物Ｐが複数である場合には、当該人物Ｐ（Ｐ１、Ｐ２）の数に応じて複数の骨格モデルＭＤＬ（ＭＤＬ１、ＭＤＬ２）を生成する。骨格モデル生成部２３ｂは、生成した骨格モデルＭＤＬを記憶部２２に記憶させる。
　なお、骨格モデル生成部２３ｂは、例えば、バウンディングボックスＢＢ等を用いず画像Ｉ中の人体の各骨格部位を全て検出した後に人物Ｐの骨格を推定するボトムアップ型の骨格推定によって、画像Ｉに含まれる人物Ｐを表す骨格モデルを生成してもよい。この場合、骨格モデル生成部２３ｂは、まず、種々の公知の物体認識技術を用いて、画像Ｉ中の人体の頭、目、鼻、口、肩、腰、足、膝、肘、手、各関節等の各骨格部位の３次元位置座標を全て検出する。その後、骨格モデル生成部２３ｂは、当該検出した各骨格部位を人物Ｐごとにマッチングさせて繋ぎ合わせていくことで、各人物Ｐの骨格モデルＭＤＬを生成する。
　また、この見守りシステム１は、画像Ｉ内の人物Ｐを認識するための物体認識技術として、各種機械学習を用いた物体認識技術を用いることができる。この場合、見守りシステム１は、例えば、人物Ｐを含む画像Ｉ等を学習用データとして、予め各種機械学習により人物Ｐを学習しておく。このとき、見守りシステム１は、施設の利用者を予め登録しておき、画像Ｉにおいて、各利用者を個体として識別可能なように学習させておくこともできる。例えば、見守りシステム１は、予め収集された「施設の利用者である人物Ｐを含む画像Ｉ」に関するデータを説明変数とし、「当該画像に対応する人物Ｐの識別情報（例えば、利用者ＩＤ等）」に関するデータを目的変数として学習用教師データセットを用意し、当該学習用教師データセットを用いて機械学習を行う。機械学習としては、例えば、ロジスティック回帰、サポートベクトルマシン、ニューラルネットワーク、ランダムフォレスト等、本実施形態に適用可能な様々な形式のアルゴリズムを用いることができる。見守りシステム１は、この機械学習によって得られた学習済みの物体認識（人物認識）用の数理モデル等を予め記憶部２２に記憶しておく。
　そして、骨格モデル生成部２３ｂは、例えば、上記のように記憶部２２に記憶されている学習済みの物体認識（人物認識）用の数理モデル等に基づいた分類・回帰により、画像Ｉ内の人物Ｐを、識別情報により個人を特定した状態で認識した後、当該人物Ｐを表す骨格モデルＭＤＬを生成する。より具体的には、骨格モデル生成部２３ｂは、撮像部１１によって撮像された画像Ｉを、当該物体認識用の数理モデルに入力する。この結果、骨格モデル生成部２３ｂは、画像Ｉ内の人物Ｐを認識すると共に当該人物Ｐを特定する識別情報を取得し、当該人物Ｐを表す骨格モデルＭＤＬを生成する。これにより、骨格モデル生成部２３ｂは、識別情報により個人が特定された人物Ｐの骨格モデルＭＤＬを生成することができる。骨格モデル生成部２３ｂは、個人が特定された人物Ｐの識別情報と共に、生成した骨格モデルＭＤＬを記憶部２２に記憶させる。
　判定部２３ｃは、骨格モデル生成部２３ｂによって生成された骨格モデルＭＤＬに基づいて、当該骨格モデルＭＤＬに対応する人物Ｐの行動を判定する処理を実行可能な機能を有する部分である。判定部２３ｃは、例えば、骨格モデル生成部２３ｂによって生成された骨格モデルＭＤＬに対応する人物Ｐの行動として、例えば、歩行、滞留、着座、転倒、他の人物との接触、徘徊等を区別して判定する。判定部２３ｃは、撮像部１１によって撮像された監視対象空間ＳＰの画像Ｉに人物Ｐが含まれていた場合に、当該人物Ｐに対してこれらの行動判定を行う。
　この見守りシステム１は、例えば、骨格モデルＭＤＬにおける各骨格部位の相対的な位置関係や相対距離、バウンディングボックスＢＢの大きさ等をパラメータとして、予め各種機械学習により、人物Ｐの行動を学習しておく。例えば、見守りシステム１は、予め収集された「骨格モデルＭＤＬにおける各骨格部位の相対的な位置関係、相対距離、バウンディングボックスＢＢの大きさ」に関するデータを説明変数とし、「人物Ｐの行動」に関するデータを目的変数として機械学習を行う。機械学習としては、上記と同様に、例えば、ロジスティック回帰、サポートベクトルマシン、ニューラルネットワーク、ランダムフォレスト等、本実施形態に適用可能な様々な形式のアルゴリズムを用いることができる。見守りシステム１は、この機械学習によって得られた学習済みの行動判定用の数理モデル等を予め記憶部２２に記憶しておく。
　そして、判定部２３ｃは、上記のように記憶部２２に記憶されている学習済みの行動判定用の数理モデル等に基づいた分類・回帰により、骨格モデルＭＤＬに対応する人物の行動を判定する。より具体的には、判定部２３ｃは、実際に撮像された画像Ｉに含まれる人物Ｐの骨格モデルＭＤＬから得られる各骨格部位の相対的な位置関係、相対距離、バウンディングボックスＢＢの大きさを、当該行動判定用の数理モデルに入力する。これにより、判定部２３ｃは、骨格モデルＭＤＬに対応する人物Ｐの行動（例えば、歩行、滞留、着座、転倒、他の人物との接触、徘徊等）を区別して判定する。
　なお、本実施形態の情報処理部２３ａは、判定部２３ｃによって人物Ｐの行動が判定された後、行動の状況を表す状況データを記憶部２２に記憶させ、記録として保存しておく。行動の状況を表す状況データは、典型的には、人物Ｐの行動に応じた骨格モデルＭＤＬの動きを表すデータ、行動の種別に関するデータを含む。ここで、人物Ｐの行動に応じた骨格モデルＭＤＬは、当該行動を行った人物Ｐ自身の骨格モデルＭＤＬに加えて、例えば、当該行動に関与した他の人物Ｐの骨格モデルＭＤＬも含んでもよい。また、行動の種別に関するデータは、人物Ｐが行った行動の種類（例えば、歩行、滞留、着座、転倒、他の人物との接触、徘徊等）を表すデータである。また、情報処理部２３ａは、例えば、行動の状況を表す状況データとして、上記のデータと共に、当該行動を行った人物Ｐや当該行動に関与した他の人物Ｐを表す識別情報も紐付けて記憶部２２に記憶させてもよい。また、情報処理部２３ａは、全ての行動の状況を表す状況データを記憶させるのではなく、予め定められた特定の種類の行動についての状況データに限って記憶部２２に記憶させ、記録として保存しておくようにしてもよい。
　動作処理部２３ｄは、検出機器２０による判定結果に基づいて各部の動作を制御する処理を実行可能な機能を有する部分である。本実施形態の動作処理部２３ｄは、判定部２３ｃによる判定結果に基づいて、状況データを検出機器２０外の他の機器に転送する処理を実行可能である。動作処理部２３ｄは、例えば、判定部２３ｃによる判定結果に基づいて、通信部２１ａを制御し、当該判定結果に応じた状況データを端末機器３０に転送すると共に、当該端末機器３０を介して施設の職員等に人物Ｐが特定の行動を行ったことを通知する。端末機器３０は、例えば、受信した状況データを記憶部３２に記憶させ、記録として保存しておくようにしてもよい。端末機器３０は、例えば、ディスプレイ３４を介して人物Ｐが当該行動に至るまでの骨格モデルＭＤＬの動きを表示させ、施設の職員等に転倒時の状況を確認させるようにしてもよい。なお、動作処理部２３ｄによって状況データを他の機器に転送する処理機能等は、上述した情報処理部２３ａによって実現されてもよい。
　そして、本実施形態の見守りシステム１は、骨格モデルＭＤＬを生成した後、以降の各処理においては、当該骨格モデルＭＤＬの生成に用いた画像Ｉを用いずに、画像Ｉから生成された骨格モデルＭＤＬを用いて各種処理を実行するように構成される。
　具体的には、本実施形態の骨格モデル生成部２３ｂは、骨格モデルＭＤＬを生成した後、当該骨格モデルＭＤＬの生成に用いた画像Ｉを消去する処理を実行し、記憶部２２や記憶部３２、設置機器１０の一時記憶部等に当該画像Ｉを表す画像データを残さないようにする処理を実行する。そして、本実施形態の判定部２３ｃは、上述したように、骨格モデル生成部２３ｂによって生成された骨格モデルＭＤＬに基づいて、当該骨格モデルＭＤＬの生成に用いた画像Ｉを用いずに、骨格モデルＭＤＬに対応する人物の行動を判定する。すなわちこの場合、判定部２３ｃは、上述したように、人物Ｐの骨格モデルＭＤＬから得られる各骨格部位の相対的な位置関係、相対距離、バウンディングボックスＢＢの大きさを、行動判定用の数理モデルに入力する一方、骨格モデルＭＤＬの生成に用いた画像Ｉは当該行動判定用の数理モデルに入力せずに、人物Ｐの行動を区別して判定する。
　情報処理部２３ａは、上述したように、当該骨格モデルＭＤＬの生成に用いた画像Ｉについては記憶部２２や記憶部３２等に記録として保存しないようにする。これにより、見守りシステム１は、人物Ｐのプライバシーを確保した上で、人物Ｐ１が特定の行動に至るまでの骨格モデルＭＤＬの動き等を記憶部２２に記録として保存しておくことが可能となる。この結果、見守りシステム１は、施設利用者個人の顔等が映った画像を用いずに、施設利用者のプライバシーを確保した上で、様々な監視を行うことが可能となる。
＜制御フローの一例＞
　次に、図５のフローチャート図を参照して見守りシステム１おける制御の一例について説明する。
　まず、検出機器２０の情報処理部２３ａは、人物Ｐが監視対象空間ＳＰに入室すると、撮像部１１を制御し監視対象空間ＳＰの画像Ｉを撮像させ、撮像された画像情報を記憶部２２に記憶させる（ステップＳ１）。
　次に、検出機器２０の骨格モデル生成部２３ｂは、記憶部２２に記憶された監視対象空間ＳＰの画像Ｉに基づいて、物体認識、骨格推定により、人物Ｐの各骨格部位の位置を検出し（ステップＳ２）、当該人物Ｐの骨格モデルＭＤＬを生成する（ステップＳ３）。
　次に、骨格モデル生成部２３ｂは、骨格モデルＭＤＬの生成に用いた画像を消去し（ステップＳ４）、当該画像を表す画像データを残さないようにする。検出機器２０の処理部２３は、以降の各処理においては、当該骨格モデルＭＤＬの生成に用いた画像Ｉを用いずに、画像Ｉから生成された骨格モデルＭＤＬを用いて各種処理を実行する。
　次に、検出機器２０の判定部２３ｃは、ステップＳ３の処理で生成された骨格モデルＭＤＬに基づいて、機械学習により学習済みの行動判定用の数理モデル等を用いて、骨格モデルＭＤＬに対応する人物Ｐの行動を検出する（ステップＳ５）。
　そして、判定部２３ｃは、骨格モデルＭＤＬに対応する人物Ｐが特定の種類の行動を行ったか否か、例えば、徘徊により建物から出て行ったか否かを判定する（ステップＳ６）。判定部２３ｃは、人物Ｐが徘徊により建物から出て行っていない（特定の種類の行動を行っていない）と判定した場合（ステップＳ６：Ｎｏ）、今回の制御周期を終了し、次回の制御周期に移行する。
　検出機器２０の情報処理部２３ａは、判定部２３ｃによって人物Ｐが徘徊により建物から出て行った（特定の種類の行動を行った）と判定した場合（ステップＳ６：Ｙｅｓ）、行動した際の状況を表す状況データとして、人物Ｐが当該行動に至るまでの骨格モデルＭＤＬの動きを表すデータ、行動の種別に関するデータ、人物Ｐを表す識別情報を相互に紐付けて記憶部２２に記憶させ、記録として保存する。その後、検出機器２０の動作処理部２３ｄは、通信部２１ａを制御し、行動時の状況データを端末機器３０に転送すると共に、当該端末機器３０を介して施設の職員等に人物Ｐが特定の種類の行動を行ったことを通知し（ステップＳ７）、今回の制御周期を終了し、次回の制御周期に移行する。このとき、端末機器３０は、受信した状況データを記憶部３２に記憶させ、記録として保存しておく。
　以上で説明した見守りシステム１は、撮像部１１によって監視対象空間ＳＰの画像Ｉを撮像し、骨格モデル生成部２３ｂによって当該画像Ｉに含まれる人物Ｐを表す骨格モデルＭＤＬを生成する。そして、判定部２３ｃは、骨格モデル生成部２３ｂによって生成された骨格モデルＭＤＬに基づいて、骨格モデルＭＤＬに対応する人物Ｐの行動を判定する。このとき、見守りシステム１は、骨格モデルＭＤＬを生成した後、当該骨格モデルＭＤＬの生成に用いた画像Ｉを消去し、以降の各処理においては、当該骨格モデルＭＤＬの生成に用いた画像Ｉを用いずに、画像Ｉから生成された骨格モデルＭＤＬを用いて各種処理を実行する。これにより、見守りシステム１は、施設利用者個人の顔等が映った画像Ｉを用いずに、施設利用者のプライバシーを確保した上で、人物Ｐの行動監視を行うことができる。この結果、見守りシステム１は、人物Ｐの行動を適正に把握することができる。
　つまり、見守りシステム１は、撮像部１１によって撮像された画像Ｉそのものではなく、画像Ｉから生成された骨格モデルＭＤＬに基づいて人物Ｐお行動を把握することができるので、人物Ｐのプライバシーを確保した上で、上記のように人物Ｐの行動を適正に把握することができる。これにより、見守りシステム１は、例えば、設置機器１０の設置に対する心理的な圧迫を軽減することができ、設置に対する同意を得やすいシステムとすることができる。
　また、見守りシステム１は、撮像部１１によって撮像された画像Ｉそのものではなく、画像Ｉから生成された骨格モデルＭＤＬに基づいて人物Ｐの行動を把握することができるので、より少ないデータ量、演算負荷で転倒時の状況を適正に把握することができる。
　ここでは、以上で説明した見守りシステム１は、判定部２３ｃによって骨格モデルＭＤＬに基づいて、当該骨格モデルＭＤＬの生成に用いた画像Ｉを用いずに、骨格モデルＭＤＬに対応する人物Ｐの行動を判定する。これにより、見守りシステム１は、例えば、福祉施設において、利用者のプライバシーを損なわずに人物Ｐの徘徊等の行動を監視することができ、原因を判断する材料として、判定部２３ｃによる判定結果を用い易くすることができる。
　なお、上述した本発明の実施形態に係る見守りシステムは、上述した実施形態に限定されず、請求の範囲に記載された範囲で種々の変更が可能である。
　以上の説明では、記憶部２２、３２は、例えば、状況データとして、マイク１４によって集音された音声データも記憶しておくことで、人物Ｐの行動判定を音声により補完することも可能である。
　以上で説明した処理部２３、３３は、それぞれ単一のプロセッサによって各処理機能が実現されるものとして説明したがこれに限らない。処理部２３、３３は、それぞれ複数の独立したプロセッサを組み合わせて各プロセッサがプログラムを実行することにより各処理機能が実現されてもよい。また、処理部２３、３３が有する処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、処理部２３、３３が有する処理機能は、その全部又は任意の一部をプログラムにて実現してもよく、また、ワイヤードロジック等によるハードウェアとして実現してもよい。
　本実施形態に係る見守りシステムは、以上で説明した実施形態、変形例の構成要素を適宜組み合わせることで構成してもよい。
１　　見守りシステム
１Ａ　　検出システム
１０　　設置機器
１１　　撮像部
２０　　検出機器
２１、３１　　インターフェース部
２２、３２　　記憶部
２３、３３　　処理部
２３ａ　　情報処理部
２３ｂ　　骨格モデル生成部
２３ｃ　　判定部
２３ｄ　　動作処理部
３０　　端末機器
ＢＢ　　バウンディングボックス
Ｉ　　画像
ＭＤＬ、ＭＤＬ１、ＭＤＬ２　　骨格モデル
Ｎ　　ネットワーク
Ｐ、Ｐ１、Ｐ２　　人物
ＳＰ　　監視対象空間

Claims (2)

  1. 　監視対象空間の画像を撮像する撮像部と、
    　前記撮像部によって撮像された前記画像に含まれる人物を表す骨格モデルを生成する骨格モデル生成部と、
    　前記骨格モデル生成部によって生成された前記骨格モデルに基づいて、前記骨格モデルに対応する人物の行動を判定する判定部と、
    　前記人物の行動に応じた前記骨格モデルの動きを記憶する記憶部とを備え、
    　前記骨格モデル生成部は、前記骨格モデルを生成した後、当該骨格モデルの生成に用いた前記画像を消去する処理を実行し、前記記憶部に当該画像を表す画像データを残さない、
    　見守りシステム。
  2. 　前記判定部は、前記骨格モデル生成部によって生成された前記骨格モデルに基づいて、当該骨格モデルの生成に用いた前記画像を用いずに、前記骨格モデルに対応する人物の行動を判定する、
    　請求項１に記載の見守りシステム。
PCT/JP2022/005694 2021-03-18 2022-02-14 見守りシステム WO2022196214A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-044213 2021-03-18
JP2021044213A JP2022143605A (ja) 2021-03-18 2021-03-18 見守りシステム

Publications (1)

Publication Number Publication Date
WO2022196214A1 true WO2022196214A1 (ja) 2022-09-22

Family

ID=83322240

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/005694 WO2022196214A1 (ja) 2021-03-18 2022-02-14 見守りシステム

Country Status (2)

Country Link
JP (1) JP2022143605A (ja)
WO (1) WO2022196214A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024014278A1 (ja) * 2022-07-11 2024-01-18 ソニーセミコンダクタソリューションズ株式会社 撮像装置およびデータ出力方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020145595A (ja) * 2019-03-06 2020-09-10 株式会社Ｆ Ｌａｂｅｌ 看視又は監視システム、又はプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020145595A (ja) * 2019-03-06 2020-09-10 株式会社Ｆ Ｌａｂｅｌ 看視又は監視システム、又はプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024014278A1 (ja) * 2022-07-11 2024-01-18 ソニーセミコンダクタソリューションズ株式会社 撮像装置およびデータ出力方法

Also Published As

Publication number Publication date
JP2022143605A (ja) 2022-10-03

Similar Documents

Publication Publication Date Title
US7633527B2 (en) Attention detection
Portugal et al. SocialRobot: An interactive mobile robot for elderly home care
CN107378971A (zh) 一种智能机器人控制系统
WO2022196214A1 (ja) 見守りシステム
Gomez-Donoso et al. Enhancing the ambient assisted living capabilities with a mobile robot
Sarfraz et al. A multimodal assistive system for helping visually impaired in social interactions
CN107111363B (zh) 用于监视的方法、装置和系统
Mettel et al. Designing and evaluating safety services using depth cameras
Wengefeld et al. The morphia project: first results of a long-term user study in an elderly care scenario from robotic point of view
Ghidoni et al. A distributed perception infrastructure for robot assisted living
Kumari et al. Smart Surveillance Robot using Object Detection
JP7326363B2 (ja) 見守りシステム
JP7317880B2 (ja) 見守りシステム
US11227148B2 (en) Information processing apparatus, information processing method, information processing program, and information processing system
Ismail et al. Multimodal indoor tracking of a single elder in an AAL environment
Balasubramani et al. Design IoT-Based Blind Stick for Visually Disabled Persons
Krishna Join the group formations using social cues in social robots
US10891755B2 (en) Apparatus, system, and method for controlling an imaging device
US10638092B2 (en) Hybrid camera network for a scalable observation system
Rossi et al. A Framework for Personalized and Adaptive Socially Assistive Robotics.
Dias et al. First Aid and Emergency Assistance Robot for Individuals at Home using IoT and Deep Learning
Yun et al. Distributed sensor networks for multiple human recognition in indoor environments
Toupas et al. A Framework Towards Ambient Assisted Living Enhanced by Service Robots
Lee et al. Augmented reality based vision system for network based mobile robot
Mollaei et al. Patient’s actions recognition in hospital’s recovery department based on RGB-D dataset

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22770973

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22770973

Country of ref document: EP

Kind code of ref document: A1