WO2020241034A1 - 監視システム及び監視方法 - Google Patents

監視システム及び監視方法 Download PDF

Info

Publication number
WO2020241034A1
WO2020241034A1 PCT/JP2020/014768 JP2020014768W WO2020241034A1 WO 2020241034 A1 WO2020241034 A1 WO 2020241034A1 JP 2020014768 W JP2020014768 W JP 2020014768W WO 2020241034 A1 WO2020241034 A1 WO 2020241034A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
monitoring
care
monitored
person
Prior art date
Application number
PCT/JP2020/014768
Other languages
English (en)
French (fr)
Inventor
三郎 山内
Original Assignee
アースアイズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019101306A external-priority patent/JP6579411B1/ja
Priority claimed from JP2019101307A external-priority patent/JP6593948B1/ja
Application filed by アースアイズ株式会社 filed Critical アースアイズ株式会社
Publication of WO2020241034A1 publication Critical patent/WO2020241034A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a monitoring system and a monitoring method. More specifically, the present invention relates to a nursing care facility, a monitoring system and a monitoring method for a hospital, and a monitoring method for other common spaces.
  • This type of surveillance system is generally configured to include a photographing device such as a surveillance camera that photographs a monitored person, and an information transmitting device that transmits the captured surveillance image to the observer.
  • a monitoring system In such a monitoring system, generally, the movement of the monitored person is grasped by image analysis or the like, and a specific notification corresponding to the type of the grasped movement is given.
  • a monitoring system for example, in Patent Document 1, in consideration of the privacy of the monitored person, a monitoring system that notifies the monitor only of the analysis result obtained by analyzing the monitored image, not the captured monitoring image itself ( (See Patent Document 1) is disclosed.
  • the present invention has been made in view of the above circumstances, and in hospitals, long-term care facilities, etc., information on the degree of need for care according to different care levels for each monitored person is higher than that of the conventional system.
  • the purpose is to provide a monitoring system for nursing care facilities or hospitals that can notify the observer with judgment accuracy.
  • the present invention solves the above-mentioned problems by the following solutions.
  • the description will be given with reference numerals corresponding to the embodiments of the present invention, but the present invention is not limited thereto.
  • a monitoring system for nursing care equipment or a hospital in which a photographing unit that photographs a monitored area, a face recognition information acquisition unit that acquires unique face recognition information of each monitored person, and the photographing unit
  • a monitoring target identification unit that can identify the monitoring target person in the captured monitoring image
  • a motion recognition unit that can recognize the operation performed by the monitoring target person specified by the monitoring target identification unit, and each monitoring.
  • a combination of a care level storage unit that can register a unique care level that is individually set for the subject, and one or more specific actions that are individually set for each of the arbitrary care levels and the care level.
  • the correspondence standard is a combination of the correspondence standard storage unit capable of registering the correspondence standard for each care level, the care level set for the monitoring target person, and the operation performed by the monitoring target person.
  • the response necessity determination unit that determines the necessity of the response to the monitored person and the response request notification are output when the response necessity determination unit determines that the response is necessary.
  • a response request notification output unit is provided, and the care level storage unit is a face-recognized care that is a combination of the care level peculiar to each monitored person and the face recognition information peculiar to the monitored person.
  • a monitoring system that can register level information as the care level.
  • the invention of (1) is a monitoring system for a long-term care facility or a hospital, in addition to each means for recognizing and notifying the movement of a monitored person, a care level storage unit, a corresponding standard storage unit, and a corresponding standard storage unit.
  • the configuration includes a response necessity determination unit. This made it possible to determine the necessity of response in more detail according to the care level of each monitored person. As a result, in hospitals, nursing homes, etc., information on the need for care for each monitored person can be notified to the monitor with higher judgment accuracy than the conventional system, reducing the monitoring burden on the monitor. can do.
  • the invention of (1) is further configured to include a face authentication information acquisition unit that acquires unique face authentication information of the monitored person.
  • the risk of mistakes such as mistakes of the monitored persons can be significantly reduced.
  • the above-mentioned high determination accuracy can be maintained in a large-scale hospital or nursing facility where a large number of monitored persons exist, or in a monitored area where a large number of monitored persons enter and exit.
  • a monocular camera capable of capturing a surveillance image in which the photographing unit has only two-dimensional information, and the position in the surveillance image is specified in association with the actual position in the three-dimensional space which is the monitoring target area.
  • the monitoring system according to (1) further comprising a coordinate setting unit for setting possible coordinates.
  • the invention of (2) makes it possible to configure the surveillance system of (1) by, for example, a monocular camera that can be acquired at a low cost without introducing an expensive 3D camera or the like. Thereby, the effect of the invention of (1) can be enjoyed more economically.
  • the motion recognition unit includes a skeleton extraction unit that extracts the skeleton of the monitored person composed of skeleton lines connecting a plurality of feature points, and the three-dimensional structure of the feature points extracted by the skeleton extraction unit.
  • a skeleton extraction unit that extracts the skeleton of the monitored person composed of skeleton lines connecting a plurality of feature points, and the three-dimensional structure of the feature points extracted by the skeleton extraction unit.
  • a skeleton formed by connecting a plurality of feature points of a monitored person is extracted, and the position and speed of each feature point are extracted.
  • a monitoring image generation unit that generates a personal identification monitoring image that displays a plurality of the monitored persons with identification information having different unique colors and / or shapes added thereto.
  • the monitoring system according to any one of (1) to (3).
  • the observer in any of the inventions (1) to (3), the observer can more easily identify the individual monitored person on the monitor or the like for monitoring. As a result, the burden of judgment of the observer when using any of the inventions (1) to (4) is further reduced, and the risk of human error such as misunderstanding of the observer is reduced. Judgment accuracy can be maintained more substantially and reliably.
  • the invention of (5) enjoys the above-mentioned effect of any of the inventions (1) to (4), and provides information on the necessity of care according to the care level different for each monitored person.
  • a system that can notify the observer with higher judgment accuracy than the system can be introduced in a nursing care facility or a hospital. As a result, it is possible to reduce the burden of monitoring work on the care recipient or the patient by the caregiver or the nurse in the care facility or the hospital.
  • Face recognition which is a monitoring method for nursing care equipment or hospitals, and is a combination of the face recognition information acquisition unit, the unique care level of each monitored person, and the unique face recognition information of the monitored person.
  • the face recognition information acquisition unit uses a monitoring system provided with a corresponding standard storage unit, and the face recognition information acquisition step of acquiring the unique face recognition information of each monitored person, and the photographing unit ,
  • An action recognition step that recognizes the action performed by the monitored person specified in the step, a care necessity determination step in which the response necessity determination unit determines the necessity of response to the monitored person, and a response request notification output unit.
  • the response request notification output step for outputting the response request notification when the response necessity determination unit determines that the response is necessary is included, and the monitoring target is included in the care necessity determination step.
  • the care level storage unit, the correspondence standard storage unit, and the correspondence necessity determination are further made.
  • the care level storage unit, the correspondence standard storage unit, and the correspondence necessity determination are further made.
  • the face recognition information acquisition step of acquiring the unique face recognition information of each of the monitored persons the monitoring shooting step in which the photographing unit photographs the inside of the common space, and the monitoring target specifying unit perform the monitoring.
  • one registered monitoring target person is linked to the face recognition information by a machine learning type image analysis device having a neural network, and the other registered monitoring target person is linked.
  • the monitoring target person identification step to be specified separately from the above, and the unique color and / or shape determined by the monitoring image generation unit according to the face recognition information of the monitoring target person specified in the monitoring target person identification step.
  • a monitoring image generation step for generating a monitoring image to be displayed in a state in which unique visual information is added is included, and identification of a monitoring target person in the monitoring target person identification step is performed on the monitoring image.
  • a monitoring method performed by associating an analysis result with the face recognition information of the monitored person that has been acquired in advance.
  • the invention of (7) is a monitoring method suitable when the monitoring area is specified in an area where "specific plurality" that can be registered in advance exist, and ID management by acquiring biometric information and deep learning are used.
  • ID management by acquiring biometric information and deep learning are used.
  • FIG. 1 It is a figure which shows typically the state of the care facility in which the monitoring system of this invention is installed. It is a block diagram which provides the explanation of the basic structure and operation of the monitoring system of this invention. It is a drawing which shows an example of the specific registration data registered in the care level storage part which comprises the monitoring system of this invention. It is a drawing which shows an example of the specific registration data which is registered in the correspondence reference storage part which comprises the monitoring system of this invention. It is a flowchart which shows the operation flow of the monitoring method of this invention. It is a drawing which shows typically the example of the specific operation recognized by the operation recognition part of the monitoring system of this invention.
  • FIG. 5 is a drawing schematically showing another example of an acquisition mode of unique face authentication information different for each monitored person in a monitoring system further including a face authentication information registration unit, which is another example of the embodiment of the present invention.
  • Another example of the embodiment of the present invention is an example of a display mode of the generated personal identification monitoring image in a monitoring system further including a monitoring image generation unit that makes it easier to identify an individual.
  • It is a figure which shows an example of the mounting mode of the photographing part which constitutes the monitoring apparatus of this invention, and an example of the mode of the setting method of coordinates.
  • It is a block diagram which provides the explanation of the basic structure and operation of the monitoring system which concerns on other embodiment of this invention. It is a flowchart which shows the operation flow of the monitoring method which concerns on other embodiment of this invention.
  • FIG. 1 is a diagram schematically showing a state of a nursing care facility 200 in which a monitoring system 100 is installed.
  • the application target of the monitoring system of the present invention is not limited to the nursing care equipment as shown in the figure. Maintain the safety of the care recipients, etc. who stay in hospitals other than long-term care facilities, or in similar facilities, facilities, etc. where people who need some kind of medical treatment or insurance medical treatment stay. It is a widely applicable system as a means of monitoring to do so.
  • the monitoring system of the present invention can be installed not only in public facilities such as nursing care facilities and hospitals but also in individual residences and the like in the same situation to enjoy its effects.
  • a person to be monitored in a nursing care facility 200 having a plurality of private rooms 210A, 210B, 210C, a common space 220, and a management room 230.
  • a management room in which a photographing unit (surveillance camera) (120A to 120F) is installed in each of the private rooms (210A, 210B, 210C) and the common space 220 in which (10A to F) stay, and the observer 21 is present.
  • the 230 may include a configuration in which a response request notification output unit 140A for outputting a response request notification is installed. Further, as shown in FIG.
  • a response request notification is also given to a small information processing terminal carried by the observer 22 in a place other than the management room 230 (common space 220 in FIG. 1). It is more preferable to configure the monitoring system so that it can be used as the output unit 140B.
  • this monitoring system 100 includes at least a photographing unit 120, an arithmetic processing unit 130, and a response request notification output unit 140. Further, the arithmetic processing unit 130 includes at least a monitoring target identification unit 131, an operation recognition unit 132, a care level storage unit 133, a correspondence reference storage unit 134, and a correspondence necessity determination unit 135.
  • the monitoring system 100 can be configured by arranging the photographing unit 120, the arithmetic processing unit 130, and the response request notification output unit 140 at appropriate distances from each other.
  • the configuration of the monitoring system of the present invention is not limited to the configuration having such an arrangement.
  • it may be configured as a device in which the photographing unit 120 and the arithmetic processing unit 130 are integrated, or a configuration in which a part of the arithmetic processing unit 130 is mounted in the photographing unit 120.
  • the photographing unit 120 is a so-called surveillance camera that photographs a monitored area.
  • the photographing unit 120 can be composed of various conventionally known monitoring cameras capable of continuously photographing the monitored area.
  • the surveillance system 100 when the photographing unit 120 is a monocular camera capable of capturing a surveillance image having only two-dimensional information, the surveillance system 100 sets the position in the surveillance image in the three-dimensional space which is the monitoring target area. It is preferable to further include a coordinate setting unit (not shown) for setting identifiable coordinates in association with the actual position.
  • the coordinate setting unit may be built in the photographing unit 120, or may be additionally added as a separate device.
  • the coordinate setting unit performs a process of setting identifiable coordinates by associating the position corresponding to the floor surface in the photographed image photographed by the photographing unit 120 with the actual size. It is preferable that the coordinate setting performed by the coordinate setting unit is performed before the monitoring is executed. More specifically, it is preferable that the coordinate setting performed by the coordinate setting unit is appropriately performed when, for example, the monitoring system 100 is installed, whereby the arrangement of the photographing unit 120 may be changed thereafter. Unless otherwise, the setting can be omitted again.
  • the coordinates set by the coordinate setting unit are defined as an arbitrary position in the captured image captured by the photographing unit 120, and when that position is on the floor surface, the floor surface is the actual monitoring area. It is a coordinate that can identify which position corresponds to in the space of.
  • the position on the coordinate to be set is set in association with the actual size. Since the captured image captured by the photographing unit 120 is two-dimensional image information, even if a position in the captured image is selected (specified), which position in the actual three-dimensional space is specified. Can't. However, if the position to be selected (specified) in the captured image is limited to the floor surface after setting the coordinates associated with the actual dimensions on the floor surface, the position selected (specified) in the captured image. It is possible to identify the position of the floor surface in the real space (monitoring area). Therefore, the coordinate setting unit sets the coordinates corresponding to the floor surface. A specific method for setting such coordinates will be described later.
  • the arithmetic processing unit 130 performs arithmetic processing necessary for monitoring the image data transmitted from the photographing unit 120.
  • the arithmetic processing unit 130 can be configured by using, for example, a personal computer, a tablet terminal, a smartphone, or the like. Alternatively, the arithmetic processing unit 130 can be configured as a dedicated device specialized for monitoring operation. In any of these configurations, the arithmetic processing unit 130 includes hardware such as a CPU, a memory, and a communication unit. Then, the arithmetic processing unit 130 having such a configuration can specifically execute various operations and monitoring methods described below by executing a computer program (monitoring program).
  • the arithmetic processing unit 130 is connected to the photographing unit 120 so that image data can be received from the photographing unit 120.
  • This connection can be a wired connection using a dedicated communication cable or a wired LAN connection. Further, the connection is not limited to a wired connection, and may be a connection using various wireless communications such as a wireless LAN, short-range wireless communication, and a mobile phone line.
  • the arithmetic processing unit 130 may not be arranged in the vicinity of the photographing unit 120, but may be arranged in a remote place away from the photographing unit 120.
  • the monitoring target identification unit 131 automatically detects an arbitrary monitoring target person in the surveillance image captured by the photographing unit 120 during the monitoring operation, and identifies this as the monitoring target person. Further, it is preferable that the monitoring target identification unit 131 also has a function of individually identifying a plurality of monitoring target persons in parallel at the same time.
  • the monitoring target can be identified by various conventionally known image analysis methods, but a machine learning type image analysis device having a neural network (so-called "image recognition device using deep learning technology”) is used. It is preferable to configure the monitoring target identification unit 131.
  • the motion recognition unit 132 recognizes the motion performed by the monitoring target person specified by the monitoring target identification unit 131. This operation can be specified by various conventionally known image analysis methods, but it is preferable to configure the operation recognition unit 132 by using the above-mentioned "image recognition device using deep learning technology".
  • the motion recognition unit 132 has a skeleton extraction unit that extracts the skeleton of the monitored person composed of skeleton lines connecting a plurality of feature points, and a position specification that specifies the positions of the feature points extracted by the skeleton extraction unit. It is preferable to further include a unit.
  • the skeleton extraction unit extracts the skeleton of the monitored person composed of skeleton lines connecting a plurality of feature points (see FIGS. 6 and 7).
  • the position specifying unit specifies the "position in the three-dimensional space constituting the monitored area" of the feature points constituting the skeleton extracted by the skeleton extraction unit.
  • the "position in the three-dimensional space constituting the monitored area” is a position actually occupied by the above-mentioned feature points in the actual monitored area space. This position can be specified based on the "three-dimensional position information" that can be obtained from the position that each feature point occupies on the above coordinates.
  • the motion recognition unit 132 recognizes the "motion" of the monitored person in the monitored area 3D space based on the information related to the fluctuation of the "position in the monitored area 3D space" of the above feature points. Can be done.
  • the "movement” referred to here includes all movements of the monitored person that can be grasped by the position change of the feature point of the skeleton, such as the position change of the monitored person and the change of the posture without the position change. (See FIGS. 6 and 7).
  • the care level storage unit 133 can register a unique care level individually set for each monitored person, for example, as shown in FIG.
  • the care level storage unit 133 can be configured by various storage devices or the like capable of registering such information.
  • FIG. 3 shows a storage table in a storage device for storing a combination of identification (ID) information of each monitored person and a unique care level set individually for each monitored person. This is an example. According to the information stored in this table, the care level of both the monitored person with "ID: 0001" and the monitored person with "ID: 0002" is "1", but "ID: 0003". , "ID: 0005" and "ID: 0008", the care level of the monitored person is "3".
  • Correspondence standard storage unit 134 is a correspondence standard for each care level which is a combination of an arbitrary care level registered in the care level storage unit 133 and one or a plurality of specific actions individually set for each care level. Can be registered.
  • the correspondence reference storage unit 134 can be configured by various storage devices or the like capable of registering such information.
  • FIG. 4 is an example of a storage table in a storage device for storing a combination of each care level and a specific operation individually set for each care level.
  • the specific action corresponding to "care level 1" is “wandering” when the monitored person is in a private room, and when the monitored person is in a common space. In, it is “wandering / rampage”.
  • the specific action corresponding to "care level 2" is “get up” when the monitored person is in a private room, and “fall” when the monitored person is in a common space.
  • the response necessity determination unit 135 determines the care level and the response standard storage unit of the monitoring target person registered in the care level storage unit 133 for the movement of the monitoring target person acquired by the monitoring target identification unit 131 and the motion recognition unit 132. By recognizing it as a combination with the operation performed by the monitored person registered in 134 and collating this with the corresponding standard for each care level registered in the corresponding standard storage unit 134, the monitored person Judge the necessity of dealing with.
  • the response necessity determination unit 135 can be configured by various information processing devices, programs, and the like capable of such simple matching analysis of information and output of the result.
  • the response request notification output unit 140 determines that a response is required for an arbitrary monitored person by the response necessity determination unit 135, the response request notification output unit 140 monitors the determination result of the response necessity determination unit 135 as a response request notification. Output in a format that can be recognized by a person.
  • the response request notification output unit 140 determines whether or not a response is necessary, such as a personal computer with a monitor (140A in FIG. 1) or a small portable information processing terminal (140B in FIG. 1) that can be easily carried.
  • Various information processing terminals capable of appropriately displaying information related to the determination result output by the unit 135 in recognizable video, text, audio, etc. by the monitoring worker (21, 22 in FIG. 1), or its It can be configured by various information display devices including a monitor and the like capable of responding to such a request.
  • the monitoring system 100 further includes a face recognition acquisition unit and an image generation unit having a function of generating a personal identification monitoring image 141 as shown in FIG. 9, in addition to the components of each of the su. Is more preferable.
  • the face authentication information acquisition unit As the face authentication information acquisition unit, various conventionally known face authentication information acquisition devices can be used.
  • the face recognition information acquisition unit 140 acquires face recognition information in advance as unique biometric identification information of the monitored person 10.
  • the face-recognized care level information which is a combination of the unique care level of each monitored person and the unique face recognition information of the monitored person, should be recorded in the care level storage unit 133 as the care level. Can be done. As a result, even when the number of monitored persons is large, each monitored person can be identified with high accuracy with extremely few false recognitions.
  • the surveillance image generation unit can be configured by using a known image processing apparatus without particular limitation as long as it is an image processing apparatus having a function of generating a personal identification surveillance image 141 as shown in FIG.
  • the personal identification monitoring image 141 is a monitoring image that displays a plurality of monitored persons in a state in which identification information having different unique colors and / or shapes is added.
  • FIG. 8 shows a state in which such a monitoring image is displayed on the response request notification output unit 140B, which is a small information processing terminal.
  • a specific monitoring target person (monitoring target person 10L in FIG. 9) can be designated as a specific monitoring target by a touch panel method on the image display surface of the response request notification output unit 140B.
  • FIG. 5 is a flowchart showing the flow of the monitoring method of the present invention that can be executed by using the monitoring system 100.
  • the coordinate setting unit performs the coordinate setting process.
  • the coordinate setting process performed in the coordinate setting step S11 is, for example, that the coordinate setting unit associates the position corresponding to the floor surface in the monitoring image captured by the photographing unit 120 with the actual size in the monitoring target area three-dimensional space.
  • This is a process of setting identifiable coordinates, that is, three-dimensional coordinates having depth information about the monitored area.
  • the surveillance image captured by the photographing unit 120 is normal two-dimensional image information, even if a position in the surveillance image is selected (specified), that alone is the selected (specified) position (two-dimensional position). However, it is not possible to specify what position (three-dimensional position) it is in the actual three-dimensional space.
  • the coordinate setting unit sets the coordinates corresponding to the floor surface.
  • the coordinate setting step is performed as shown in FIG. 10 as an example.
  • the actual center position PO of the floor surface 300 existing at the center position in the surveillance image captured by the photographing unit 120 that is, the center position PO where the optical axis O of the photographing lens intersects the floor surface 300.
  • Geometrically identifiable Specifically, the height h from the floor surface 300 at the position where the photographing unit 120 is installed and the angle ⁇ (the angle formed by the optical axis O and the vertical direction G) that can specify the direction of the optical axis O. If this can be obtained, the distance LO from the position directly below the photographing unit 120 to the center position PO can be obtained.
  • the vertical angle of view ⁇ is a known value uniquely determined from the size of the image pickup element of the camera constituting the photographing unit 120 and the specifications of the photographing lens, and therefore, from the center position PO to the latest point P1 of the photographing range.
  • the distance L1 and the distance L2 from the center position PO to the farthest point P2 in the photographing range can also be obtained geometrically.
  • the position in the image can be associated with the actual position (actual size, actual distance) in the three-dimensional space of the monitored area.
  • the photographing unit 120 is equipped with a function capable of adding three-dimensional information to the surveillance image in parallel with the photographing (for example, by a distance measuring means such as a distance sensor), the photographing unit 120 may be used.
  • a separate coordinate setting unit or a coordinate setting step as an individual step is not necessarily an essential step in the monitoring method of the present invention.
  • the shooting unit 120 performs surveillance shooting.
  • the surveillance shooting still images are continuously shot at predetermined intervals, and a monitoring operation described later is performed as a series of shot images.
  • a monitoring operation described later is performed as a series of shot images.
  • the shooting interval very short, substantially It can also be regarded as performing a monitoring operation as a movie shooting.
  • monitoring target identification step S13 the monitoring target identification unit 131 determines whether or not the monitoring target person in the monitoring image captured by the photographing unit is detected and specified.
  • the process proceeds to the operation recognition step S14, and when the monitored person is not detected (S13, No), the process returns to the monitoring shooting step S12 for monitoring. Continue operation.
  • the detection of the monitored person can be performed by any of various conventionally known methods or a combination thereof.
  • "people" in the monitoring area can be extracted by background subtraction.
  • This background subtraction is a known technique, and by taking the difference between the image data acquired by the surveillance camera 24 and the background image of the surveillance area A acquired in advance, a moving monitoring target is extracted. It is a technology.
  • the combination of the image recognition technology using deep learning and the present invention which has been attracting attention in the field of image recognition in recent years for the dramatic improvement of the recognition rate, is effective.
  • image recognition technique By combining with such an image recognition technique, it is possible to automatically detect and identify an individual monitored person in a monitored image with an extremely high recognition accuracy rate. It is also possible to classify and recognize a large number of monitoring targets by gender or age, and simultaneously detect and identify them.
  • the recognition accuracy may be significantly reduced.
  • the recognition rate of a sleeping human can be increased by performing coordinate transformation in which the coordinates themselves are rotated by 90 ° around the origin or at another appropriate angle.
  • the motion recognition unit 132 recognizes the motion performed by the monitored person specified in the monitoring target specifying step S13.
  • This motion recognition can be performed by various known image analysis methods.
  • the image analysis method for performing the motion recognition step S14 is not limited to a specific method or means, but is a skeleton extraction unit that extracts the skeleton of the monitored person composed of skeleton lines connecting a plurality of feature points, and a skeleton extraction. It is preferable to use a motion recognition method performed by the motion recognition unit 132 including a position specifying unit for specifying the position of the feature point extracted by the unit in the three-dimensional space.
  • the motion recognition step S14 is performed by the motion recognition unit 132 including the skeleton extraction unit and the position specifying unit will be specifically described.
  • FIG. 6 is a drawing schematically showing an example of a specific motion recognized by the motion recognition unit 132 including the skeleton extraction unit and the position identification unit.
  • the monitored person 10G is sleeping on the bed
  • the monitored person 10H is in a state where the upper body is raised from the bed
  • the monitored person 10I is in a state of sitting on the edge of the bed (end sitting position).
  • the state of is recognized as the behavior of each monitored person.
  • FIG. 7 is a diagram showing a state in which the motion of the monitored person in the monitored area space is recognized by the motion recognition unit 132 including the skeleton extraction unit and the position specifying unit.
  • the posture and the line-of-sight direction e of the monitored person 10J lying on the bed are recognized by the motion recognition unit 132.
  • the motion recognition unit 132 including the skeleton extraction unit can extract the skeleton 10J'of the monitored person 10J.
  • the "skeleton" of the monitored person is a linear figure formed by connecting a plurality of feature points of the monitored person.
  • the extraction of the skeleton of the monitored person as shown in FIG. 7 can be specifically performed by any of various conventionally known methods or a combination thereof.
  • the skeleton of a "human” can be extracted from a two-dimensional surveillance image by using a technique called "OpenPose” disclosed in the following document. "Zhe Cao et al. Realtime Multi-Person 2D Human Pose Estimation using Part Affinity Fields, CVPR 2017"
  • the response necessity determination unit 135 collates the combination of the care level set for the monitored person and the action performed by the monitored person with the response standard for each care level. Determines the necessity of dealing with the monitored person.
  • the "unique care level” individually set for each monitored person is registered in the care level storage unit 133 provided in the monitoring system 100 of the present invention as an essential configuration.
  • the "correspondence standard for each care level” which is a combination of an arbitrary care level and one or a plurality of specific actions individually set for each care level, is also provided by the monitoring system 100 as an essential configuration. It is registered in the reference storage unit 134.
  • the response necessity determination unit 135 uses each of these personal information registered in advance to monitor the monitoring according to the operation of the monitored person recognized by the motion recognition unit 132. The necessity of dealing with the target person is determined.
  • the care level of the monitored person registered in the care level storage unit 133 is 1, the movement of the monitored person recognized by the motion recognition unit 132 is recorded in the corresponding reference storage unit.
  • the action corresponds to the care level 1 that is being performed, that is, the combination of the unique care level of the monitored person and the action performed by the monitored person is registered in the response standard for each care level.
  • the movement of the monitored person recognized by the motion recognition unit 132 is an operation corresponding to the care level 3 recorded in the correspondence reference storage unit.
  • the care level registered in the corresponding standard for each care level.
  • the process proceeds to the response request notification output step S17 and the monitoring target. If it is determined from the movement of the person that no action is required (S15, No), the process returns to the surveillance shooting step S12.
  • the response request notification output step S17 when the arithmetic processing unit 130 determines that it is necessary to respond to the monitored person, the response request notification is output to the response request notification output unit 140.
  • the format of the response request notification is not limited to a specific format as long as the observer can identify which monitored person needs to respond.
  • a box with a specific color that distinguishes the monitored person from other targets, skeletal information of the monitored person who can recognize the state of operation, a sign indicating that care is required (blinking light, warning sound, etc.) ) Etc. are preferably output from the response request notification output unit 140 held by the observer.
  • the above-mentioned response request notification output to the response request notification output unit 140 is based on the conventional monitoring system because the necessity of care is determined after considering the degree of individual care level for each monitored person. However, the accuracy of the judgment is high, and the observer can take the necessary care more efficiently by starting the response accordingly.
  • the arithmetic processing unit 130 determines whether or not to end the monitoring.
  • the end of monitoring is determined to be the end when, for example, an instruction to end monitoring is input.
  • the monitoring operation ends, and in other cases (S18, No), the process returns to the monitoring shooting step S12 and the monitoring is continued.
  • the application target of the monitoring system of the present invention is not limited to nursing care facilities and hospitals as shown in FIG.
  • the monitoring system of the present invention includes all closed-type facilities such as movie theaters and sports stadiums that can manage the entire number of visitors as a specific number of people to be monitored, more specifically. , If the facility is composed of a common space where it is possible to acquire the face recognition information of all the monitored persons and register it in the system by any time before entering the monitored area. , Can be applied to various facilities and equipment.
  • the monitoring system of the present invention can be configured as shown in the block diagram of FIG. 11 as "another embodiment".
  • the monitoring system 100 includes at least a face authentication information acquisition unit 110, a photographing unit 120, an arithmetic processing unit 130, and a monitoring image display unit 140.
  • the arithmetic processing unit 130 includes at least a monitoring target identification unit 131 and a monitoring image generation unit 133. Further, it is more preferable that the arithmetic processing unit 130 is further configured to include the motion recognition unit 132.
  • the face authentication information acquisition unit 110 can use various conventionally known face authentication information acquisition devices. In the monitoring system 100 of the present invention, it is preferable to use various face recognition devices to which the deep learning technology whose recognition accuracy has been dramatically improved in recent years is applied. When the monitoring system 100 of the present invention is operated, for example, as shown in FIG. 8, the face authentication information acquisition unit 110 uses the face as unique biometric identification information of all the monitored persons 10 who stay in the monitored area in advance. The authentication information is acquired at any time before entering the monitored area.
  • the face recognition information which is the biometric identification information for each monitored person acquired by the face recognition information acquisition unit 110, is stored in the storage device in the arithmetic processing unit 130 and is referred to by other components as necessary.
  • this face authentication information is registered in the above storage device as combination information associated with other incidental information useful for monitoring the monitored person.
  • incidental information useful for monitoring the monitored person.
  • face recognition information 0001-care-requiring person "face recognition information 0002-A royal family-related VIP”, "face recognition information 0003-person requiring attention during suspended sentence”, etc. are examples of the above combination information. ..
  • the photographing unit 120 is a so-called surveillance camera that photographs a monitored area.
  • the photographing unit 120 can be composed of various conventionally known monitoring cameras capable of continuously photographing the monitored area.
  • the monitoring system 100 further includes a coordinate setting unit (not shown) that sets identifiable coordinates by associating the position in the monitoring image with the actual position in the three-dimensional space that is the monitoring target area. It can be configured by a monocular camera capable of capturing only a surveillance image as two-dimensional information.
  • the coordinate setting unit may be built in the photographing unit 120, or may be additionally added as a separate device.
  • the arithmetic processing unit 130 uses the face recognition information transmitted from the face recognition information acquisition unit 110, personal information combined with the information, and image data transmitted from the photographing unit 120, and performs arithmetic processing necessary for monitoring. I do.
  • the arithmetic processing unit 130 can be configured by using, for example, a personal computer, a tablet terminal, a smartphone, or the like. Alternatively, the arithmetic processing unit 130 can be configured as a dedicated device specialized for monitoring operation. In any of these configurations, the arithmetic processing unit 130 includes hardware such as a CPU, a memory, and a communication unit. Then, the arithmetic processing unit 130 having such a configuration can specifically execute various operations and monitoring methods described below by executing a computer program (monitoring program).
  • the arithmetic processing unit 130 is connected to the face authentication information acquisition unit 110 and the photographing unit 120 so that information communication is possible.
  • This connection can be a wired connection using a dedicated communication cable or a wired LAN connection. Further, the connection is not limited to a wired connection, and may be a connection using various wireless communications such as a wireless LAN, short-range wireless communication, and a mobile phone line.
  • the monitoring target identification unit 131 refers to one of the monitoring target persons in the monitoring image captured by the photographing unit 120 during the monitoring operation as a face, which is biometric identification information for each monitoring target person acquired by the face authentication information acquisition unit 110. In association with the authentication information, it is identified separately from the other monitored persons.
  • a machine learning type image analysis device having a neural network so-called “image recognition device using deep learning technology”.
  • the motion recognition unit 132 recognizes the motion performed by the monitoring target person specified by the monitoring target identification unit 131. This operation can be specified by various conventionally known image analysis methods, but it is also preferable to configure the operation recognition unit 132 by using an "image recognition device using deep learning technology".
  • the motion recognition unit 132 has a skeleton extraction unit that extracts the skeleton of the monitored person composed of skeleton lines connecting a plurality of feature points, and a position specification that specifies the positions of the feature points extracted by the skeleton extraction unit. It is preferable to further include a unit.
  • the skeleton extraction unit extracts the skeleton of the monitored person, which is composed of skeleton lines connecting a plurality of feature points (see FIG. 7).
  • the position specifying unit specifies the "position in the three-dimensional space constituting the monitored area" of the feature points constituting the skeleton extracted by the skeleton extraction unit.
  • the "position in the three-dimensional space constituting the monitored area” is a position actually occupied by the above-mentioned feature points in the actual monitored area space. This position can be specified based on the "three-dimensional position information" that can be obtained from the position that each feature point occupies on the above coordinates.
  • the surveillance image generation unit 133 can be configured by using a known image processing apparatus without particular limitation as long as it is an image processing apparatus having a function of generating the surveillance image 141 as shown in FIG.
  • the monitoring image 141 is a monitoring image that displays a plurality of monitored persons in a state in which identification information having different unique colors and / or shapes is added.
  • the form of the identification information is not particularly limited as long as it has the discriminating power, but a form in which a specific color is added to the surrounding ruled line around the monitored person can be mentioned as a typical form.
  • the monitoring image generation unit 133 adds alert visual information different from other non-selected monitoring target persons to only the monitoring target person arbitrarily selected by the monitor among a plurality of registered monitoring target persons. It is more preferable to have a function of displaying.
  • the alert visual information is, for example, a format in which only the surrounding ruled line around the selected specific monitored person is colored in red or yellow so as to easily call attention, or the enclosed ruled line itself blinks. It can be configured in various forms, such as repeating skeletons.
  • the monitoring image generation unit 133 may display the combination information useful for various types of monitoring illustrated above, which is registered in association with the face recognition information, in the monitoring image 141.
  • the surveillance image display unit 140 can be configured by various known information processing terminals and various image display devices capable of displaying the surveillance image 141 generated by the surveillance image generation unit 133.
  • FIG. 6 shows a state in which the surveillance image 141 generated by the surveillance image generation unit 133 is displayed on the surveillance image display unit 140B, which is a small information processing terminal.
  • a specific monitoring target person (monitoring target person 10B in FIG. 5) may be designated as a specific monitoring target by a touch panel method on the image display surface of the monitoring image display unit 140B.
  • FIG. 11 is a flowchart showing the flow of the monitoring method of the present invention that can be executed by using the monitoring system 100 as another embodiment.
  • the following monitoring method is a suitable monitoring method when the monitoring area is specified in an area where "specific plurality" that can be registered in advance exist, and is an image using ID management by acquiring biometric information and deep learning. By combining this with motion grasping by analysis, it is possible to identify the monitored person in the monitored image with high accuracy with extremely little false recognition.
  • the face authentication information acquisition unit 110 acquires the unique face authentication information of each monitored person.
  • the shooting unit 120 performs surveillance shooting.
  • the surveillance shooting still images are continuously shot at predetermined intervals, and a monitoring operation described later is performed as a series of shot images.
  • a monitoring operation described later is performed as a series of shot images.
  • the shooting interval very short, substantially It can also be regarded as performing a monitoring operation as a movie shooting.
  • the monitoring target identification unit 131 selects one of the monitoring target persons in the monitoring image captured by the photographing unit 120 during the monitoring operation for each monitoring target person acquired by the face authentication information acquisition unit 110.
  • the face recognition information which is the biometric identification information of the above, it is determined whether or not the person is detected and specified separately from other monitored persons.
  • the process proceeds to the operation recognition step S14, and when the monitored person is not detected (S13, No), the monitoring shooting step S12 is performed. Return and continue the monitoring operation.
  • the motion recognition unit 132 recognizes the motion performed by the monitored person specified in the monitoring target specifying step S13.
  • This motion recognition can be performed by various known image analysis methods.
  • the image analysis method for performing the motion recognition step S14 is not limited to a specific method or means, but is a skeleton extraction unit that extracts the skeleton of the monitored person composed of skeleton lines connecting a plurality of feature points, and a skeleton extraction. It is preferable to use a motion recognition method performed by the motion recognition unit 132 including a position specifying unit for specifying the position of the feature point extracted by the unit in the three-dimensional space.
  • monitoring image generation step S15A the monitoring target person specified in the monitoring target identification step S13 is added with unique visual information consisting of a unique color and / or shape determined according to the unique face authentication information. Generate a surveillance image displayed in.
  • unique visual information consisting of a unique color and / or shape determined according to the unique face authentication information.
  • monitoring image display step S16A In the monitoring image display step S16A, the monitoring image 141 generated in the monitoring image generation step S15 is displayed on the monitoring image display unit 140.
  • Surveillance system 110 Face recognition information acquisition unit 120 (120A, 120B, 120C, 120D) Imaging unit (surveillance camera) 130 Computational processing unit 131 Monitoring target identification unit 132 Motion recognition unit 133 Care level storage unit 134 Correspondence standard storage unit 135 Correspondence necessity judgment unit 140 (140A, 140B) Correspondence request notification output unit 141 Personal identification monitoring image 200 Nursing facility 210 ( 210A, 210B, 210C) Private room 220 Common space 230 Management room 10 (10A-10M) Monitored person 21, 22 Monitorer 300 Floor surface S11 Coordinate setting step S12 Surveillance shooting step S13 Monitoring target identification step S14 Motion recognition step S15 Care required Negative judgment step S16 Correspondence request notification output step S15A Surveillance image generation step S16A Surveillance image display step

Abstract

病院や介護施設等において、病院や介護施設等において、監視対象者毎に異なるケア水準に応じたケアの必要度に係る情報を、従来のシステムよりもより高い判断精度で監視者に通知することができる、介護設備又は病院用の監視システムを提供する。 撮影部120と、監視対象特定部131と、動作認識部132と、ケア水準記憶部133と、ケア水準別の対応基準を登録することができる対応基準記憶部134と、ケア水準と動作との組合せを、ケア水準別の対応基準と照合することによって、監視対象者に対する対応の要否を判定する対応要否判定部135と、対応要否判定部135によって対応が必要であると判断された場合に、対応要求通知を出力する対応要求通知出力部140と、を備える、監視システム100とする。

Description

監視システム及び監視方法
 本発明は、監視システム及び監視方法に関する。詳しくは、本発明は、介護設備、病院用の監視システム及び監視方法と、その他の共用スペース用の監視方法と、に関する。
 従来、病院や介護施設等において、監視対象者である被介護者の挙動を監視画像により監視する様々な監視システムが存在する。この種の監視システムは、一般に、監視対象者を撮影する監視カメラ等の撮影装置と、撮影された監視画像を監視者に送信する情報送信装置と、を含んで構成されている。
 そのような監視システムでは、一般に、監視対象者の動作を画像解析等により把握して、把握した動作の種類に対応する特定の通知が行われる。そのような監視システムとして、例えば、特許文献1には、監視対象者のプライバシーに配慮し、撮影した監視画像そのものではなく、当該監視画像を解析した解析結果のみを監視者に通知する監視システム(特許文献1参照)が開示されている。
 しかしながら、実際には、例えば、特許文献1に開示されている監視システムのように、監視対象者の監視画像を解析して監視者に定型的な動作に対して定型的な対応を求める情報を通知する監視システムにおいて、監視者は、画一的に発せられる通知に対して、逐一個々の監視対象者の特性を考慮した上で対応の要否を個別に判断する必要があった。
特開2014-7685号公報
 本発明は、以上の状況に鑑みてなされたものであり、病院や介護施設等において、監視対象者毎に異なるケア水準に応じたケアの必要度に係る情報を、従来のシステムよりもより高い判断精度で監視者に通知することができる、介護設備又は病院用の監視システムを提供することを目的とする。
 本発明は、以下の解決手段により、上述の課題を解決する。尚、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
 (1) 介護設備又は病院用の監視システムであって、監視対象領域を撮影する撮影部と、各々の監視対象者の固有の顔認証情報を取得する顔認証情報取得部と、前記撮影部が撮影した監視画像中の監視対象者を特定することができる監視対象特定部と、前記監視対象特定部によって特定された監視対象者が行う動作を認識することができる動作認識部と、各々の監視対象者に個別に設定されている固有のケア水準を登録することができるケア水準記憶部と、任意のケア水準と当該ケア水準毎に個別に設定されている一又は複数の特定動作との組合せであるケア水準別の対応基準を登録することができる対応基準記憶部と、前記監視対象者に設定されている前記ケア水準と該監視対象者が行った前記動作との組合せを、前記対応基準と照合することによって、該監視対象者に対する対応の要否を判定する対応要否判定部と、前記対応要否判定部によって対応が必要であると判断された場合に、対応要求通知を出力する対応要求通知出力部と、を備え、前記ケア水準記憶部には、各々の監視対象者の固有の前記ケア水準と該監視対象者の固有の前記顔認証情報との組合せである顔認証済ケア水準情報を、前記ケア水準として登録することができる、監視システム。
 (1)の発明は、介護設備又は病院用の監視システムにおいて、監視対象者の動作を認識して通知するための各手段に加えて、更に、ケア水準記憶部、対応基準記憶部、及び、対応要否判定部を含む構成とした。これにより、個々の監視対象者のケア水準に応じて対応の要否をより細やかに判定することができるようにした。これにより、病院や介護施設等において、監視対象者毎のケアの必要度に係る情報を、従来のシステムよりもより高い判断精度で監視者に通知することができ、監視者の監視負担を軽減することができる。又、(1)の発明は、更には、監視対象者の固有の顔認証情報を取得する顔認証情報取得部を、備える構成としたものである。これにより、監視対象領域内に複数の監視対象者が存在する場合において、監視対象者の取り違え等のミスが起こるリスクを大幅に軽減することができる。特に大量の監視対象者が存在する大規模の病院や介護施設等、或いは、多数の監視対象者が出入りする監視対象領域において、上述の高い判断精度を維持することができる。
 (2) 前記撮影部が2次元情報のみを有する監視画像を撮影可能な単眼カメラであって、前記監視画像中の位置を前記監視対象領域である3次元空間内における実際の位置と関連付けて特定可能な座標を設定する座標設定部を、更に備える、(1)に記載の監視システム。
 (2)の発明は、例えば、高価な3Dカメラ等を導入することなく廉価で取得可能な単眼カメラによって、(1)の監視システムを構成可能としたものである。これにより(1)の発明の効果をより経済的に享受することができる。
 (3) 前記動作認識部は、複数の特徴点を連接する骨格線で構成される前記監視対象者の骨格を抽出する骨格抽出部と、前記骨格抽出部が抽出した前記特徴点の前記3次元空間内における位置を特定する位置特定部と、を備え、前記特徴点の前記位置の変動に係る情報に基づいて、前記監視対象者の動作を認識する、(1)又は(2)に記載の監視システム。
 (3)の発明は、例えば、後述の「OpenPose」等の画像解析手段を用いることにより、監視対象者の複数の特徴点が連接されてなる骨格を抽出し、これら各特徴点の位置や速度を解析することによって、監視対象者の動作を認識することができる構成としたものである。これによれば、監視者が認識すべき各種の動作を、監視対象者の体形等に関わらずより高い精度でもれなく認識することができ、又、監視画像の表示を骨格情報のみによる表示とすることにより、監視対象者のプライバシーに配慮した監視態様とすることもできる。
 (4) 複数の前記監視対象者を、それぞれ異なる固有の色彩及び/又は形状からなる識別情報が付加された状態で表示する、個人識別監視画像を生成する、監視画像生成部を、更に備える、(1)から(3)の何れかに記載の監視システム。
 (4)の発明は、(1)から(3)の何れかの発明において、監視者が、監視用のモニター等において、個々の監視対象者の識別をより容易に行えるようにした。これにより、(1)から(4)の何れかの発明の使用時における監視者の判断負担をより軽減させて監視者の見間違い等の人為的ミスのリスクを低減させることにより、上述の高い判断精度をより実質的且つ確実に維持することができる。
 (5) (1)から(4)の何れかに記載の監視システムが設置されている、介護設備又は病院。
 (5)の発明は、(1)から(4)の何れかの発明の奏する上記効果を享受して、監視対象者毎に異なるケア水準に応じたケアの必要度に係る情報を、従来のシステムよりもより高い判断精度で監視者に通知することができるシステムを介護設備又は病院に導入することができる。これにより、介護設備や病院において、介護者や看護者等による被介護者や患者に対する監視作業の負担を軽減することができる。
 (6) 介護設備又は病院用の監視方法であって、顔認証情報取得部と、各々の監視対象者の固有のケア水準と該監視対象者の固有の顔認証情報との組合せである顔認証済ケア水準情報が登録されているケア水準記憶部と、任意のケア水準と当該ケア水準毎に個別に設定されている一又は複数の特定動作との組合せであるケア水準別の対応基準が登録されている対応基準記憶部と、を備えてなる監視システムを用い、前記顔認証情報取得部が、各々の監視対象者の固有の顔認証情報を取得する顔認証情報取得ステップと、撮影部が、監視対象領域を撮影する監視撮影ステップと、監視対象特定部が、前記監視撮影ステップにおいて撮影した監視画像中の監視対象者を特定する監視対象特定ステップと、動作認識部が、前記監視対象特定ステップにおいて特定された監視対象者が行う動作を認識する動作認識ステップと、対応要否判定部が、前記監視対象者に対する対応の要否を判定するケア要否判定ステップと、対応要求通知出力部が、前記対応要否判定部によって対応が必要であると判断された場合に対応要求通知を出力する対応要求通知出力ステップと、を含んでなり、前記ケア要否判定ステップにおいては、前記監視対象者の固有の前記顔認証済ケア水準情報と該監視対象者が行った前記動作との組合せを、前記対応基準と、照合することによって、対応の要否が判定される、監視方法。
 (6)の発明は、介護設備又は病院において、監視対象者の動作を認識して通知するための各手段に加えて、更に、ケア水準記憶部、対応基準記憶部、及び、対応要否判定部を含む構成としたシステムを用いることにより、個々の監視対象者のケア水準に応じて対応の要否をより細やかに判定することができるようにした。これにより、病院や介護施設等において、監視対象者毎のケアの必要度に係る情報を、従来の監視方法よりもより高い判断精度で監視者は取得することができ、監視者の監視負担を軽減することができる。
 (7) 複数の登録された監視対象者が滞在する共用スペース用の監視方法であって、顔認証情報取得部が、全ての前記監視対象者について、前記共用スペースへの入場時迄の何れかの時点において、各々の前記監視対象者の固有の顔認証情報を取得する顔認証情報取得ステップと、撮影部が、前記共用スペース内を撮影する監視撮影ステップと、監視対象特定部が、前記監視撮影ステップにおいて撮影した監視画像中おいて、一の登録済みの監視対象者を、ニューラルネットワークを有する機械学習型の画像解析装置によって前記顔認証情報と結び付けて、他の登録済みの前記監視対象者とは区別して特定する監視対象者特定ステップと、監視画像生成部が、前記監視対象者特定ステップにおいて特定された監視対象者の前記顔認証情報に応じて決定される固有の色彩及び/又は形状からなる固有の視覚情報が付加された状態で表示される監視画像を生成する、監視画像生成ステップと、を含んでなり、前記監視対象者特定ステップにおける監視対象者の特定は、前記監視画像の解析結果と、予め取得済の該監視対象者の前記顔認証情報と、を結び付けることによって行われる、監視方法。
 (7)の発明は、監視領域が、予め登録可能な「特定複数」の存在する領域に特定されている場合に好適な監視方法であり、生体情報取得によるID管理と、ディープラーニングを用いた画像解析による動作把握とを組合せることによって、監視画像内での監視対象者の識別を誤認知の極めて少ない高い精度で行うことができる。
 本発明によれば、病院や介護施設等において、病院や介護施設等において、監視対象者毎に異なるケア水準に応じたケアの必要度に係る情報を、従来のシステムよりもより高い判断精度で監視者に通知することができる、介護設備又は病院用の監視システムを提供することができる。
本発明の監視システムが設置されている介護設備の様子を模式的に示す図である。 本発明の監視システムの基本構成と動作の説明に供するブロック図である。 本発明の監視システムを構成するケア水準記憶部に登録される、具体的な登録データの一例を示す図面である。 本発明の監視システムを構成する対応基準記憶部に登録される、具体的な登録データの一例を示す図面である。 本発明の監視方法の動作の流れを示すフローチャートである。 本発明の監視システムの動作認識部によって認識される特定動作の例を模式的に示す図面である。 本発明の実施形態の他の一例であって、骨格抽出部、及び、位置特定部を更に備える監視システムにおける、動作認識の態様の他の一例を模式的に示す図面である。 本発明の実施形態の他の一例であって、顔認証情報登録部を更に備える監視システムにおける、監視対象者毎に異なる固有の顔認証情報の取得態様の一例を模式的に示す図面である。 本発明の実施形態の他の一例であって、個人の識別がより容易となる監視画像生成部を更に備える監視システムにおける、生成された個人識別監視画像の表示態様の一例である。 本発明の監視装置を構成する撮影部の取り付け態様の一例、及び座標の設定方法の態様の一例を示す図である。 本発明の他の実施形態にかかる監視システムの基本構成と動作の説明に供するブロック図である。 本発明の他の実施形態にかかる監視方法の動作の流れを示すフローチャートである。
 以下、本発明を実施するための最良の形態について図面等を参照して説明する。
 <監視システム>
 図1は、監視システム100が設置されている介護設備200の様子を模式的に示す図である。但し、本発明の監視システムの適用対象は、同図に示すような、介護設備に限られない。介護設備以外の病院、或いは、その他何らかの医療対応や保険療養を必要とする人等を滞在させる同様の施設、設備等において、それらの施設、設備に滞在する被介護者等を、その安全を維持するために監視する手段として、広く適用可能なシステムである。尚、本発明の監視システムは、公共施設である介護施設や病院等の他、同様の状況にある個人の住居等にも設置して、その効果を享受することができる。
 [全体構成]
 図1に示す通り、監視システム100の好ましい実施形態の一例として、複数の個室210A、210B、210C、共用スペース220、及び、管理室230を有する介護設備200において、監視対象者(非介護者)(10A~F)が滞在する各個室(210A、210B、210C)及び共用スペース220、に、それぞれ、撮影部(監視カメラ)(120A~120F)が設置されていて、監視者21がいる管理室230には、対応要求通知を出力する対応要求通知出力部140Aが設置されている構成を挙げることができる。又、図1に示す通り、監視システム100においては、管理室230以外の場所(図1においては共用スペース220)にいる監視者22が携帯する小型の情報処理端末についても、これを対応要求通知出力部140Bとして使用できるように監視システムを構成することがより好ましい。
 図2のブロック図に示す通り、この監視システム100は、少なくとも、撮影部120と、演算処理部130と、対応要求通知出力部140と、を含んで構成される。又、演算処理部130は、少なくとも、監視対象特定部131、動作認識部132、ケア水準記憶部133、対応基準記憶部134、対応要否判定部135と、を含んで構成される。
 監視システム100は、撮影部120と演算処理部130と、対応要求通知出力部140を、それぞれ適切な離れた位置に配置して構成することができる。但し、本発明の監視システムの構成は、このような配置からなる構成に限定されない。例えば、撮影部120と演算処理部130とが一体化されている装置とした構成、或いは、演算処理部130の一部を撮影部120内に搭載した構成とすることもできる。
 [撮影部]
 撮影部120は、監視対象領域を撮影する、所謂、監視カメラである。撮影部120は、監視対象領域を連続的に撮影することができる従来公知の各種の監視用カメラで構成することができる。
 又、監視システム100において、撮影部120が2次元情報のみを有する監視画像を撮影可能な単眼カメラである場合、監視システム100は、監視画像中の位置を監視対象領域である3次元空間内における実際の位置と関連付けて特定可能な座標を設定する座標設定部(図示せず)を、更に備えることが好ましい。座標設定部は撮影部120に内蔵されていてもよいし、別途の装置として追加的に付加されていてもよい。
 座標設定部は、撮影部120が撮影した撮影画像中の床面に相当する位置を実寸法と関連付けて特定可能な座標を設定する処理を行う。この座標設定部が行う座標の設定は、監視を実行するよりも先に行われることが好ましい。より具体的には、座標設定部が行う座標の設定は、例えば、監視システム100を設置したときに適切に行われていることが好ましく、これにより、その後、撮影部120の配置を変更したりしない限り、再度の設定を不要とすることができる。この座標設定部が設定する座標とは、撮影部120が撮影する撮影画像中において、ある任意の位置を特定し、その位置が床面にあるとしたときに、その床面が実際の監視領域の空間においてどの位置に相当するのか特定可能な座標である。即ち、この設定される座標上の位置は、実寸法と関連付けて設定される。撮影部120が撮影する撮影画像は、二次元の画像情報であることから、撮影画像中である位置を選択(特定)したとしても、実際の三次元空間上のどの位置であるのかを特定することができない。しかし、床面上に実寸法と関連付けた座標を設定した上で、撮影画像中で選択(特定)する位置を、床面であると限定すれば、撮影画像中で選択(特定)された位置が実空間(監視領域)のどの位置の床面であるのかを特定可能となる。そこで、座標設定部は、床面に対応させた座標を設定する。このような座標の設定の具体的実施方法は後述する。
 [演算処理部]
 演算処理部130は、撮影部120から送信された画像データに対して、監視に必要な演算処理を行う。演算処理部130は、例えば、パーソナルコンピュータやタブレット端末、スマートフォン等を利用して構成することができる。或いは、演算処理部130は、監視動作に特化した専用の装置として構成することもできる。これらの何れの構成においても、演算処理部130は、CPU、メモリ、通信部等のハードウェアを備えている。そして、このような構成からなる演算処理部130は、コンピュータプログラム(監視プログラム)を実行することにより、以下に説明する各種動作、及び、監視方法を具体的に実行することができる。
 演算処理部130は、撮影部120から画像データを受信することができるように撮影部120と接続されている。この接続は、専用の通信ケーブルを利用した有線接続、或いは、有線LANによる接続とすることができる。又、有線接続に限らず、無線LANや近距離無線通信、携帯電話回線等の各種無線通信を用いた接続としてもよい。尚、演算処理部130は、撮影部120の近傍に配置せずに、撮影部120から離れた遠隔地に配置してもよい。
 (監視対象特定部)
 監視対象特定部131は、監視動作中に、撮影部120が撮影した監視画像中の任意の監視対象者を自動的に検出して、これを監視対象者として特定する。又、監視対象特定部131は、複数の監視対象者を同時に並行して個別に特定する機能も有するものであることが好ましい。この監視対象者の特定は、従来公知の様々な画像解析方法によることができるが、ニューラルネットワークを有する機械学習型の画像解析装置(所謂「ディープラーニング技術を用いた画像認識装置」)を用いて監視対象特定部131を構成することが好ましい。
 (動作認識部)
 動作認識部132は、監視対象特定部131によって特定された監視対象者が行う動作を認識する。この動作の特定は、従来公知の様々な画像解析方法によることができるが、上述の「ディープラーニング技術を用いた画像認識装置」を用いて動作認識部132を構成することが好ましい。
 又、動作認識部132は、複数の特徴点を連接する骨格線で構成される監視対象者の骨格を抽出する骨格抽出部と、この骨格抽出部が抽出した特徴点の位置を特定する位置特定部と、を更に備えることが好ましい。骨格抽出部は、複数の特徴点を連接する骨格線で構成される監視対象者の骨格を抽出する(図6、図7参照)。又、位置特定部は、骨格抽出部が抽出した骨格を構成する特徴点の「監視対象領域を構成する3次元空間内における位置」を特定する。この「監視対象領域を構成する3次元空間内における位置」とは、上記の特徴点が現実の監視対象領域空間内で実際に占める位置である。この位置は、各特徴点が、上記の座標上に占める位置から得ることができる「3次元位置情報」に基づいて特定するこができる。
 動作認識部132は、上記の特徴点の「監視対象領域3次元空間内における位置」の変動に係る情報に基づいて、監視対象領域3次元空間内における監視対象者の「動作」を認識することができる。尚、ここでいう「動作」には、監視対象者の位置変動、位置変動を伴わない姿勢の変化等、骨格の特徴点の位置変動によって把握することが可能な監視対象者のあらゆる動きが含まれる(図6、図7参照)。
 (ケア水準記憶部)
 ケア水準記憶部133は、例えば、図3に示すように、各々の監視対象者に個別に設定されている固有のケア水準を登録することができる。ケア水準記憶部133は、このような情報を登録可能な各種の記憶装置等により構成することができる。図3は、各々の監視対象者の識別(ID)情報と、各々の監視対象者毎に個別に設定されている固有のケア水準の組合せを記憶するための記憶装置内の記憶用のテーブルの一例である。このテーブルに記憶されている情報に従えば、「ID:0001」の監視対象者と、「ID:0002」の監視対象者のケア水準は何れも「1」であるが、「ID:0003」、「ID:0005」及び「ID:0008」の監視対象者のケア水準は、何れも「3」である。
 (対応基準記憶部)
 対応基準記憶部134は、ケア水準記憶部133に登録されている任意のケア水準と当該ケア水準毎に個別に設定されている一又は複数の特定動作との組合せであるケア水準別の対応基準を登録することができる。対応基準記憶部134は、このような情報を登録可能な各種の記憶装置等により構成することができる。図4は、各々のケア水準と各ケア水準毎に個別に設定されている特定動作との組合せを記憶するための記憶装置内の記憶用のテーブルの一例である。
 又、対応基準記憶部134においては、図4に例示するように、同一のケア水準に対して、個室と共用スペースにおいてそれぞれ異なる特定動作が設定されていることがより好ましい。このテーブルに記憶されている情報に従えば、「ケア水準1」に対応する特定動作は、監視対象者が個室にいる場合においては、「徘徊」であり、監視対象者が共用スペースにいる場合においては「徘徊・暴れ」である。これに対して「ケア水準2」に対応する特定動作は、監視対象者が個室にいる場合においては、「起き上がり」であり、監視対象者が共用スペースにいる場合においては「転倒」である。
 (対応要否判定部)
 対応要否判定部135は、監視対象特定部131及び動作認識部132によって取得した監視対象者の動作について、ケア水準記憶部133に登録されている当該監視対象者のケア水準と対応基準記憶部134に登録されている当該監視対象者が行った動作との組合せとして認識し、これを、対応基準記憶部134に登録されているケア水準別の対応基準と照合することによって、当該監視対象者に対する対応の要否を判定する。対応要否判定部135は、このような簡単な情報のマッチング解析とその結果の出力が可能な各種の情報処理装置やプログラム等により構成することができる。
 [対応要求通知出力部]
 対応要求通知出力部140は、対応要否判定部135によって任意の監視対象者について、対応が必要であると判断された場合に、対応要否判定部135の判定結果を対応要求通知として監視作業者が認知可能な形式で出力する。対応要求通知出力部140は、モニター付きのパーソナルコンピュータ(図1の140A)、或いは、容易に持ち運ぶことができる小型の携帯情報処理端末(図1の140B)、等のように、対応要否判定部135が出力する判定結果に係る情報を、監視作業者(図1の21、22)が、認知可能な映像・文字・音声等で適宜表示することができる各種の情報処理端末、或いは、そのような要求に対応可能なモニター等を含む各種の情報表示装置によって構成することができる。
 [監視システムのその他の機能]
 監視システム100は、以上説明した須各構成部分の他、更に、顔認証取得部や、図9に示すような個人識別監視画像141を生成する機能を有する画像生成部を更に備えるものであることがより好ましい。
 (顔認証情報取得部)
 顔認証情報取得部は、従来の公知の各種の顔認証情報取得装置を用いることができる。監視システム100に顔認証情報取得部を更に備えさせることにより、例えば図8に示すように、顔認証情報取得部140により、予め、監視対象者10の固有の生体識別情報として顔認証情報を取得し、各々の監視対象者の固有のケア水準と当該監視対象者の固有の顔認証情報との組合せである顔認証済ケア水準情報を、ケア水準としてケア水準記憶部133に録しておくことができる。これにより、監視対象者の数が多数である場合であっても、各監視対象者の識別を、誤認知の極めて少ない高い精度で行うことができるようになる。
 (監視画像生成部)
 監視画像生成部は、図9に示すような個人識別監視画像141を生成する機能を有する画像処理装置であれば、特に限定なく公知の画像処理装置を用いて構成することができる。個人識別監視画像141は、複数の監視対象者を、それぞれ異なる固有の色彩及び/又は形状からなる識別情報が付加された状態で表示する監視画像である。図8はそのような監視画像が小型の情報処理端末である対応要求通知出力部140Bに表示されている状態を示している。
 例えば、対応要求通知出力部140Bの画像表示面においてタッチパネル方式で特定の監視対象者(図9中の監視対象者10L)を、特定の監視対象として指定することができるようにすることも好ましい。
 [監視システムの動作]
 図5は、監視システム100を用いて実行することができる本発明の監視方法の流れを示すフローチャートである。
 (座標設定ステップ)
 座標設定ステップS11を予め行う場合には、座標設定部が、座標設定処理を行う。座標設定ステップS11で行われる座標設定処理とは、例えば、座標設定部が、撮影部120が撮影した監視画像中の床面に相当する位置を監視対象領域3次元空間内における実寸法と関連付けて特定可能な座標、即ち、監視対象領域についての奥行き情報も有する3次元座標を設定する処理である。撮影部120が撮影する監視画像が通常の2次元の画像情報である場合、監視画像中である位置を選択(特定)したとしても、それだけでは、選択(特定された)位置(2次元位置)が、実際の3次元空間上におけるいかなる位置(3次元位置)であるのかを特定することができない。しかし、床面上に、「監視対象領域3次元空間内における実寸法」と関連付けた座標を設定した上で、監視画像中で選択(特定)する位置を、床面であると限定すれば、監視画像中で選択(特定)された位置が監視対象領域3次元空間内におけるどの位置の床面であるのかを特定することが可能となる。そこで、座標設定部は床面に対応させた座標を設定する。
 座標設定ステップは、一例として図10に示すような態様で行われる。同図に示す通り、撮影部120が撮影する監視画像中における、中心位置に存在する床面300の実際の中心位置PO、即ち、撮影レンズの光軸Oが床面300と交わる中心位置POは、幾何学的に特定可能である。具体的には、撮影部120が設置されている位置の床面300からの高さhと、光軸Oの向きを特定可能な角度α(光軸Oと鉛直方向Gとのなす角度)とを取得できれば、撮影部120の真下の位置から中心位置POまでの距離LOを求めることができる。又、垂直方向画角θは、撮影部120を構成するカメラの撮像素子のサイズと撮影レンズの諸元から一義的に決まる既知の値であるので、中心位置POから撮影範囲の最近点P1までの距離L1と、中心位置POから撮影範囲の最遠点P2までの距離L2とについても、幾何学的に求めることができる。同様に、これらの中間の任意の位置についても、画像中の位置と監視対象領域3次元空間内における実際の位置(実寸法、実距離)とを関連付けることができる。
 尚、撮影部120に撮影と平行して監視画像に3次元情報を付与することができる機能、(例えば、距離センサー等の測距手段等による)を搭載する場合であれば、撮影部120とは別個の座標設定部や個別のステップとしての座標設定ステップは、本発明の監視方法において必ずしも必須のステップではない。
 (監視撮影ステップ)
 監視撮影ステップS12では、撮影部120が、監視撮影を行う。ここで、監視撮影は、静止画の撮影を所定間隔で連続して行い、撮影される画像の連続として後述する監視動作を行うが、撮影間隔を非常に短くすることにより、実質的には、動画撮影として、監視動作を行っているものと捉えることもできる。
 (監視対象特定ステップ)
 監視対象特定ステップS13では、監視対象特定部131が、撮影部が撮影した監視画像中の監視対象者を検出して特定したか否かについて判断を行う。監視対象者を検出して特定した場合(S13、Yes)には、動作認識ステップS14へ進み、監視対象者が検出されていない場合(S13、No)には、監視撮影ステップS12へ戻り、監視動作を継続する。
 監視対象者の検出は、具体的には、従来公知の様々な手法の何れか、又は、それらを組合せて行うことができる。例えば、背景差分によって監視領域内の「人」を抽出することができる。この背景差分は公知の技術であり、監視カメラ24で取得された画像データと、事前に取得しておいた監視領域Aの背景画像との差分をとることで、動きのある監視対象を抽出する技術である。
 又、検出した監視対象者の特定については、近年、画像認識分野において、認識率の飛躍的向上が注目を集めているディープラーニングを用いた画像認識技術と本発明との組合せが有効である。このような画像認識技術と組合せることにより、監視画像中の個別の監視対象者を自動的に、且つ、極めて高い認識正解率で検出して特定することができる。又、多数の監視対象を例えば、性別や年代別に分類認識して、同時並行的に検出して特定することもできる。
 尚、ディープランニングを用いた画像認識技術については、例えば、下記に公開されている。
 「ディープラーニングと画像認識、オペレーションズ・リサーチ」
 (http://www.orsj.o.jp/archive2/or60-4/or60_4_198.pdf)
 尚、本発明においては、図6、図7に示すように、監視対象者が寝ている状態での監視が必要となる場合が多い。従来の各種の画像認識プログラム及び同プログラムを用いた画像認識装置においては、多くの場合、直立した人間における身体各部の位置関係を認識のための特徴点としている。よって監視対象者が寝ている状態、即ち、頭部の胴部と四肢の位置関係(上下関係)が直立した状態とは異なる場合に、認識の精度が著しく低下する場合がある。この場合は、例えば、座標そのものを、原点を中心に90°、或いは、その他の適切な角度で回転させる座標変換を行うことにより、寝ている状態の人間の認識率を高めることができる。
 (動作認識ステップ)
 動作認識ステップS14では、動作認識部132が、監視対象特定ステップS13において特定した監視対象者が行う動作を認識する。この動作認識は、公知の各種の画像解析方法によることができる。動作認識ステップS14を行うための画像解析方法は特定の方法、手段に限定されないが、複数の特徴点を連接する骨格線で構成される監視対象者の骨格を抽出する骨格抽出部と、骨格抽出部が抽出した特徴点の3次元空間内における位置を特定する位置特定部と、を備えなる動作認識部132によって行われる動作認識方法によることが好ましい。以下、動作認識ステップS14が、上記の骨格抽出部及び位置特定部を備える動作認識部132によって行われる場合の実施形態について、具体的に説明する。
 図6は、骨格抽出部及び位置特定部を備える動作認識部132において認識される特定動作の例を模式的に示す図面である。ぞれぞれ、監視対象者10Gは、ベッドに寝ている状態、監視対象者10Hは、ベッドから上半身を起こした状態、そして監視対象者10Iは、ベッドの端部に座った状態(端坐位の状態)が、それぞれの監視対象者の動作として認識されている。
 図7は、骨格抽出部及び位置特定部を備える動作認識部132によって、監視対象領域空間内での監視対象者の動作が認識されている状態を示す図である。ここでは、ベッドに側臥している監視対象者10Jの姿勢や視線方向eが、動作認識部132によって認識されている。このように、骨格抽出部を備える動作認識部132は、監視対象者10Jの骨格10J´を抽出することができる。ここで、本明細書における、監視対象者の「骨格」とは、監視対象者の複数の特徴点とこれらを連接してなる線状の図形である。
 図7に示すような、監視対象者の骨格の抽出は、具体的には、従来公知の様々な手法の何れか、又は、それらを組合せて行うことができる。一例として、下記文献に開示されている「OpenPose」と称される技術を用いることにより、2次元の監視画像から「人」の骨格を抽出することができる。
 「Zhe Cao 他 Realtime Multi-Person 2D Human Pose Estimation using Part Affinity Fields, CVPR 2017」
 例えば、上述の「OpenPose」を用いることにより、監視対象者の複数の特徴点が連接されてなる骨格を抽出することが可能である。そして、これら各特徴点の「監視対象領域空間内における位置」を、例えば、上記の座標設定ステップによって予め設定されている座標を用いることによって特定し、特定された全ての特徴点の位置、速度を解析することによって、監視対象者の動作を認識することができる。
 (ケア要否判定ステップ)
 ケア要否判定ステップS15では、対応要否判定部135が、監視対象者に設定されているケア水準と当該監視対象者が行った動作との組合せを、ケア水準別の対応基準と照合することによって、当該監視対象者に対する対応の要否を判定する。
 各々の監視対象者に個別に設定されている「固有のケア水準」は、本発明の監視システム100が必須の構成として備えるケア水準記憶部133に登録されている。又、任意のケア水準と当該ケア水準毎に個別に設定されている一又は複数の特定動作との組合せである「ケア水準別の対応基準」は、同じく監視システム100が必須の構成として備える対応基準記憶部134に登録されている。ケア要否判定ステップS16においては、対応要否判定部135が、予め登録されているこれらの各個人情報を用いて、動作認識部132により認識された監視対象者の動作に応じて、当該監視対象者に対する対応の要否が判定される。
 例えば、ケア水準記憶部133に登録されている当該監視対象者のケア水準が1である場合であれば、動作認識部132により認識された監視対象者の動作が、対応基準記憶部に記録されているケア水準1に対応する動作であるか否かによって、即ち、監視対象者の固有のケア水準と、当該監視対象者が行っている動作との組合せを、ケア水準別の対応基準に登録されているケア水準と特定動作との組合せと、照合することによって、当該監視対象者に対する対応の要否が判定される。この場合、認識された監視対象者が個室に滞在していて、尚且つ、徘徊が認識された場合には、対応が必要と判断される。一方で、監視対象者がケア水準3である場合であれば、動作認識部132により認識された監視対象者の動作が、対応基準記憶部に記録されているケア水準3に対応する動作であるか否かによって、即ち、ケア水準3であるという監視対象者の固有のケア水準と、当該監視対象者が行っている動作との組合せを、ケア水準別の対応基準に登録されているケア水準と特定動作との組合せと、照合することによって、当該監視対象者に対する対応の要否が判定される。この場合、認識された監視対象者(ケア水準3)が「個室」に滞在していて、尚且つ、端坐位が認識された場合には、対応が必要と判断される。
 ケア要否判定ステップS15において、対応要否判定部135が、監視対象者の動作から対応が必要であると判断した場合(S15、Yes)には、対応要求通知出力ステップS17へ進み、監視対象者の動作から対応が必要ではないと判断した場合(S15、No)には、監視撮影ステップS12へ戻る。
 (対応要求通知出力ステップS17)
 対応要求通知出力ステップS17では、演算処理部130が、監視対象者に対する対応が必要であると判断した場合に、対応要求通知を対応要求通知出力部140に出力する。対応要求通知の形式は監視者がどの監視対象者に対して対応が必要であるのかを識別できる形式であれば特定の形式に限定されない。監視対象者を他の対象から区別する特定の色の囲み枠線、動作の状態を認識可能な当該監視対象者の骨格情報、ケアを必要としていることを示すサイン(光の点滅や警告音等)等が監視者の保持する、対応要求通知出力部140から出力されることが好ましい。
 対応要求通知出力部140に出力される上記の対応要求通知は、監視対象者毎の個別のケア水準の程度が加味された上でケアの必要度が判断されているので、従来の監視システムよりも判断の精度が高く、これに応じて、監視者は対応に着手することにより、より効率よく必要なケア対応を行うことができる。
 尚、対応要求通知出力ステップS17では、演算処理部130が、監視を終了するか否かを判断する。監視終了は、例えば、監視終了の命令が入力された場合に終了と判断される。終了する場合(S18、Yes)には、監視動作を終了し、それ以外の場合(S18、No)には、監視撮影ステップS12へ戻り、監視を継続する。
 <監視システム(他の実施形態)>
 本発明の監視システムの適用対象は、図1に示すような、介護設備や病院には限られない。本発明の監視システムは、「他の実施形態」として、映画館やスポーツスタジアム等、入場者の全体を特定多数の監視対象者として管理することが可能なクローズド型の設備全般、より詳細には、監視対象領域への入場迄の何れかの時点までに、全ての監視対象者の顔認識情報を取得してシステムに登録することが可能な状況にある共用スペースによって構成される施設であれば、様々な施設や設備に適用することができる。
 本発明の監視システムは、「他の実施形態」として、図11のブロック図に示す通りの構成とすることができる。この実施形態において、監視システム100は、少なくとも、顔認証情報取得部110、撮影部120、演算処理部130、及び、監視画像表示部140と、を含んで構成される。又、演算処理部130は、少なくとも、監視対象特定部131、監視画像生成部133、を含んで構成される。又、演算処理部130は、更に、動作認識部132を、含んで構成されることがより好ましい。
 [顔認証情報取得部]
 顔認証情報取得部110は、従来の公知の各種の顔認証情報取得装置を用いることができる。本発明の監視システム100においては、近年認識精度が飛躍的に向上しているディープラーニング技術を応用した各種の顔認証デバイスを用いることが好ましい。本発明の監視システム100を稼働させる場合、例えば図8に示すように、顔認証情報取得部110により、予め、監視対象領域内に滞在する全ての監視対象者10の固有の生体識別情報として顔認証情報を監視対象領域内への入場時迄の何れかの時点において取得する。
 顔認証情報取得部110によって取得された監視対象者毎の生体識別情報である顔認証情報は、演算処理部130内の記憶デバイスに記憶され必要に応じて、他の構成部分から参照される。
 又、この顔認証情報は、当該監視対象者に係る監視に有用な他の付帯情報と紐づけられた組合せ情報として上記の記憶デバイスに登録されることが好ましい。例えば、「顔認証情報0001-要介護者」、「顔認証情報0002-A国王室関連VIP」、「顔認証情報0003-執行猶予期間中要注意人物」等が上記の組合せ情報の一例である。
 [撮影部]
 撮影部120は、監視対象領域を撮影する、所謂、監視カメラである。撮影部120は、監視対象領域を連続的に撮影することができる従来公知の各種の監視用カメラで構成することができる。尚、監視システム100は、監視画像中の位置を監視対象領域である3次元空間内における実際の位置と関連付けて特定可能な座標を設定する座標設定部(図示せず)を、更に備えることにより、2次元情報としての監視画像のみを撮影可能な単眼カメラで構成することができる。上記の座標設定部は撮影部120に内蔵されていてもよいし、別途の装置として追加的に付加されていてもよい。
 [演算処理部]
 演算処理部130は、顔認証情報取得部110から送信された顔認証情報及び当該情報と組合された個人情報、及び、撮影部120から送信された画像データを用いて、監視に必要な演算処理を行う。演算処理部130は、例えば、パーソナルコンピュータやタブレット端末、スマートフォン等を利用して構成することができる。或いは、演算処理部130は、監視動作に特化した専用の装置として構成することもできる。これらの何れの構成においても、演算処理部130は、CPU、メモリ、通信部等のハードウェアを備えている。そして、このような構成からなる演算処理部130は、コンピュータプログラム(監視プログラム)を実行することにより、以下に説明する各種動作、及び、監視方法を具体的に実行することができる。
 演算処理部130は、顔認証情報取得部110及び撮影部120と情報通信可能に接続されている。この接続は、専用の通信ケーブルを利用した有線接続、或いは、有線LANによる接続とすることができる。又、有線接続に限らず、無線LANや近距離無線通信、携帯電話回線等の各種無線通信を用いた接続としてもよい。
 (監視対象特定部)
 監視対象特定部131は、監視動作中に、撮影部120が撮影した監視画像中の一の監視対象者を、顔認証情報取得部110によって取得された監視対象者毎の生体識別情報である顔認証情報と結び付けて、他の前記監視対象者とは区別して特定する。この処理を行うための画像解析及び情報処理の装置としては、ニューラルネットワークを有する機械学習型の画像解析装置(所謂「ディープラーニング技術を用いた画像認識装置」)を用いることが好ましい。
 (動作認識部)
 動作認識部132は、監視対象特定部131によって特定された監視対象者が行う動作を認識する。この動作の特定は、従来公知の様々な画像解析方法によることができるが、これについても「ディープラーニング技術を用いた画像認識装置」を用いて動作認識部132を構成することが好ましい。
 又、動作認識部132は、複数の特徴点を連接する骨格線で構成される監視対象者の骨格を抽出する骨格抽出部と、この骨格抽出部が抽出した特徴点の位置を特定する位置特定部と、を更に備えることが好ましい。骨格抽出部は、複数の特徴点を連接する骨格線で構成される監視対象者の骨格を抽出する(図7参照)。又、位置特定部は、骨格抽出部が抽出した骨格を構成する特徴点の「監視対象領域を構成する3次元空間内における位置」を特定する。この「監視対象領域を構成する3次元空間内における位置」とは、上記の特徴点が現実の監視対象領域空間内で実際に占める位置である。この位置は、各特徴点が、上記の座標上に占める位置から得ることができる「3次元位置情報」に基づいて特定するこができる。
 (監視画像生成部)
 監視画像生成部133は、図9に示すような監視画像141を生成する機能を有する画像処理装置であれば、特に限定なく公知の画像処理装置を用いて構成することができる。監視画像141は、複数の監視対象者を、それぞれ異なる固有の色彩及び/又は形状からなる識別情報が付加された状態で表示する監視画像である。識別情報の形態は、識別力を有する形態でありさえすれば特段限定されないが、監視対象者の周囲の囲み罫線に特定の色彩を付した形態を代表的な形態として挙げることができる。
 監視画像生成部133は、複数の登録された監視対象者のうち監視者が任意に選択した監視対象者のみに、選択されていない他の監視対象者とは異なる注意喚起視覚情報を付加して表示する機能を有することがより好ましい。注意喚起視覚情報とは、例えば、選択された特定の監視対象者の周囲の囲み罫線のみに、赤や黄色の特定の注意を喚起しやすい色彩を付す形式、或いは、当該囲み罫線自体が点滅を繰り返す形骸等、様々な形式で構成することができる。
 監視画像生成部133は、顔認識情報と紐づけられて登録されている上述で例示した各種の監視に有用な組合せ情報を、監視画像141中に表示するものとしてもよい。
 [監視画像表示部]
 監視画像表示部140は、監視画像生成部133によって生成された監視画像141を表示することができる公知の各種情報処理端末や各種画像表示装置で構成することができる。図6は、監視画像生成部133によって生成された監視画像141が、小型の情報処理端末である監視画像表示部140Bに表示されている状態を示している。
 尚、監視画像表示部140Bの画像表示面においてタッチパネル方式で特定の監視対象者(図5中の監視対象者10B)を、特定の監視対象として指定することができるようにするものとしてもよい。
 [監視システム(他の実施形態)の動作]
 図11は、他の実施形態とした監視システム100を用いて実行することができる本発明の監視方法の流れを示すフローチャートである。以下の監視方法は、監視領域が、予め登録可能な「特定複数」の存在する領域に特定されている場合に好適な監視方法であり、生体情報取得によるID管理と、ディープラーニングを用いた画像解析による動作把握とを組合せることによって、監視画像内での監視対象者の識別を誤認知の極めて少ない高い精度で行うことができる。
 (顔認証情報取得ステップ)
 顔認証情報取得ステップS11では、顔認証情報取得部110が、各々の監視対象者の固有の顔認証情報を取得する。
 顔認証情報と紐づけられる上述の監視対象者の各種の監視に有用な付帯情報もこのステップと同時に取得して、演算処理部130に組合せ情報として記憶させることが好ましい。
 (監視撮影ステップ)
 監視撮影ステップS12では、撮影部120が、監視撮影を行う。ここで、監視撮影は、静止画の撮影を所定間隔で連続して行い、撮影される画像の連続として後述する監視動作を行うが、撮影間隔を非常に短くすることにより、実質的には、動画撮影として、監視動作を行っているものと捉えることもできる。
 (監視対象特定ステップ)
 監視対象特定ステップS13では、監視対象特定部131が、監視動作中に、撮影部120が撮影した監視画像中の一の監視対象者を、顔認証情報取得部110によって取得された監視対象者毎の生体識別情報である顔認証情報と結び付けて、他の監視対象者とは区別して検出して特定したか否かについて判断を行う。上記態様で監視対象者を検出して特定した場合(S13、Yes)には、動作認識ステップS14へ進み、監視対象者が検出されていない場合(S13、No)には、監視撮影ステップS12へ戻り、監視動作を継続する。
 監視対象者の特定は、近年、画像認識分野において、認識率の飛躍的向上が注目を集めている「ディープラーニングを用いた画像認識技術」の活用が極めて有効である。このような画像認識技術の採用により、監視画像中の個別の監視対象者を自動的に、且つ、極めて高い認識正解率で検出して特定することができる。又、多数の監視対象を例えば、性別や年代別に分類認識して、同時並行的に検出して特定することもできる。
 (動作認識ステップ)
 動作認識ステップS14では、動作認識部132が、監視対象特定ステップS13において特定した監視対象者が行う動作を認識する。この動作認識は、公知の各種の画像解析方法によることができる。動作認識ステップS14を行うための画像解析方法は特定の方法、手段に限定されないが、複数の特徴点を連接する骨格線で構成される監視対象者の骨格を抽出する骨格抽出部と、骨格抽出部が抽出した特徴点の3次元空間内における位置を特定する位置特定部と、を備えなる動作認識部132によって行われる動作認識方法によることが好ましい。
 (監視画像生成ステップ)
 監視画像生成ステップS15Aでは、監視対象特定ステップS13によって特定された監視対象者が、固有の顔認証情報に応じて決定される固有の色彩及び/又は形状からなる固有の視覚情報が付加された状態で表示される監視画像を生成する。固有の視覚情報の具体的形態については上述した通りである。
 (監視画像表示ステップ)
 監視画像表示ステップS16Aでは、監視画像生成ステップS15において生成された監視画像141が、監視画像表示部140に表示される。
 100                        監視システム
 110                        顔認証情報取得部
 120(120A、120B、120C、120D)   撮影部(監視カメラ)
 130                        演算処理部
 131                        監視対象特定部
 132                        動作認識部
 133                        ケア水準記憶部
 134                        対応基準記憶部
 135                        対応要否判定部
 140(140A、140B)             対応要求通知出力部
 141                        個人識別監視画像
 200                        介護施設
 210(210A、210B、210C)        個室
 220                        共用スペース
 230                        管理室
 10(10A~10M)                監視対象者
 21、22                      監視者
 300                        床面
 S11                        座標設定ステップ
 S12                        監視撮影ステップ
 S13                        監視対象特定ステップ
 S14                        動作認識ステップ
 S15                        ケア要否判定ステップ
 S16                        対応要求通知出力ステップ
 S15A                       監視画像生成ステップ
 S16A                       監視画像表示ステップ

Claims (7)

  1.  介護設備又は病院用の監視システムであって、
     監視対象領域を撮影する撮影部と、
     各々の監視対象者の固有の顔認証情報を取得する顔認証情報取得部と、
     前記撮影部が撮影した監視画像中の監視対象者を特定することができる監視対象特定部と、
     前記監視対象特定部によって特定された監視対象者が行う動作を認識することができる動作認識部と、
     各々の監視対象者に個別に設定されている固有のケア水準を登録することができるケア水準記憶部と、
     任意のケア水準と当該ケア水準毎に個別に設定されている一又は複数の特定動作との組合せであるケア水準別の対応基準を登録することができる対応基準記憶部と、
     前記監視対象者に設定されている前記ケア水準と該監視対象者が行った前記動作との組合せを、前記対応基準と照合することによって、該監視対象者に対する対応の要否を判定する対応要否判定部と、
     前記対応要否判定部によって対応が必要であると判断された場合に、対応要求通知を出力する対応要求通知出力部と、
     を備え、
     前記ケア水準記憶部には、各々の監視対象者の固有の前記ケア水準と該監視対象者の固有の前記顔認証情報との組合せである顔認証済ケア水準情報を、前記ケア水準として登録することができる、
     監視システム。
  2.  前記撮影部が2次元情報のみを有する監視画像を撮影可能な単眼カメラであって、
     前記監視画像中の位置を前記監視対象領域である3次元空間内における実際の位置と関連付けて特定可能な座標を設定する座標設定部を、更に備える、
     請求項1に記載の監視システム。
  3.  前記動作認識部は、複数の特徴点を連接する骨格線で構成される前記監視対象者の骨格を抽出する骨格抽出部と、前記骨格抽出部が抽出した前記特徴点の前記3次元空間内における位置を特定する位置特定部と、を備え、前記特徴点の前記位置の変動に係る情報に基づいて、前記監視対象者の動作を認識する、請求項1又は2に記載の監視システム。
  4.  複数の前記監視対象者を、それぞれ異なる固有の色彩及び/又は形状からなる識別情報が付加された状態で表示する、個人識別監視画像を生成する、監視画像生成部を、更に備える、請求項1から3の何れかに記載の監視システム。
  5.  請求項1から4の何れかに記載の監視システムが設置されている、介護設備又は病院。
  6.  介護設備又は病院用の監視方法であって、
     顔認証情報取得部と、
     各々の監視対象者の固有のケア水準と該監視対象者の固有の顔認証情報との組合せである顔認証済ケア水準情報が登録されているケア水準記憶部と、
     任意のケア水準と当該ケア水準毎に個別に設定されている一又は複数の特定動作との組合せであるケア水準別の対応基準が登録されている対応基準記憶部と、
     を備えてなる監視システムを用い、
     前記顔認証情報取得部が、各々の監視対象者の固有の顔認証情報を取得する顔認証情報取得ステップと、
     撮影部が、監視対象領域を撮影する監視撮影ステップと、
     監視対象特定部が、前記監視撮影ステップにおいて撮影した監視画像中の監視対象者を特定する監視対象特定ステップと、
     動作認識部が、前記監視対象特定ステップにおいて特定された監視対象者が行う動作を認識する動作認識ステップと、
     対応要否判定部が、前記監視対象者に対する対応の要否を判定するケア要否判定ステップと、
     対応要求通知出力部が、前記対応要否判定部によって対応が必要であると判断された場合に対応要求通知を出力する対応要求通知出力ステップと、を含んでなり、
     前記ケア要否判定ステップにおいては、前記監視対象者の固有の前記顔認証済ケア水準情報と該監視対象者が行った前記動作との組合せを、前記対応基準と、照合することによって、対応の要否が判定される、
     監視方法。
  7.  複数の登録された監視対象者が滞在する共用スペース用の監視方法であって、
     顔認証情報取得部が、全ての前記監視対象者について、前記共用スペースへの入場時迄の何れかの時点において、各々の前記監視対象者の固有の顔認証情報を取得する顔認証情報取得ステップと、
     撮影部が、前記共用スペース内を撮影する監視撮影ステップと、
     監視対象特定部が、前記監視撮影ステップにおいて撮影した監視画像中おいて、一の登録済みの監視対象者を、ニューラルネットワークを有する機械学習型の画像解析装置によって前記顔認証情報と結び付けて、他の登録済みの前記監視対象者とは区別して特定する監視対象者特定ステップと、
     監視画像生成部が、前記監視対象者特定ステップにおいて特定された監視対象者の前記顔認証情報に応じて決定される固有の色彩及び/又は形状からなる固有の視覚情報が付加された状態で表示される監視画像を生成する、監視画像生成ステップと、を含んでなり、
     前記監視対象者特定ステップにおける監視対象者の特定は、前記監視画像の解析結果と、予め取得済の該監視対象者の前記顔認証情報と、を結び付けることによって行われる、
     監視方法。
PCT/JP2020/014768 2019-05-30 2020-03-31 監視システム及び監視方法 WO2020241034A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019-101307 2019-05-30
JP2019101306A JP6579411B1 (ja) 2019-05-30 2019-05-30 介護設備又は病院用の監視システム及び監視方法
JP2019-101306 2019-05-30
JP2019101307A JP6593948B1 (ja) 2019-05-30 2019-05-30 共用スペース用の監視システム及び監視方法

Publications (1)

Publication Number Publication Date
WO2020241034A1 true WO2020241034A1 (ja) 2020-12-03

Family

ID=73553379

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/014768 WO2020241034A1 (ja) 2019-05-30 2020-03-31 監視システム及び監視方法

Country Status (1)

Country Link
WO (1) WO2020241034A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6976487B1 (ja) * 2020-12-14 2021-12-08 三菱電機株式会社 施設評価装置及び施設評価方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015184810A (ja) * 2014-03-20 2015-10-22 株式会社東芝 画像処理装置、画像処理方法および画像処理プログラム
WO2016002408A1 (ja) * 2014-06-30 2016-01-07 日本電気株式会社 画像処理装置、監視システム、画像処理方法、及びプログラム
JP2016103237A (ja) * 2014-11-28 2016-06-02 クラリオン株式会社 見守りシステム
JP2017216006A (ja) * 2017-08-10 2017-12-07 パラマウントベッド株式会社 見守り支援装置
JP2018093283A (ja) * 2016-11-30 2018-06-14 マクセル株式会社 監視情報収集システム
JP2019009562A (ja) * 2017-06-22 2019-01-17 凸版印刷株式会社 監視映像表示システム、監視映像表示装置、監視情報管理サーバ、および、監視映像表示方法
WO2019064947A1 (ja) * 2017-09-28 2019-04-04 京セラドキュメントソリューションズ株式会社 監視端末装置及び表示処理方法
JP2019080271A (ja) * 2017-10-27 2019-05-23 ホーチキ株式会社 在室者監視システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015184810A (ja) * 2014-03-20 2015-10-22 株式会社東芝 画像処理装置、画像処理方法および画像処理プログラム
WO2016002408A1 (ja) * 2014-06-30 2016-01-07 日本電気株式会社 画像処理装置、監視システム、画像処理方法、及びプログラム
JP2016103237A (ja) * 2014-11-28 2016-06-02 クラリオン株式会社 見守りシステム
JP2018093283A (ja) * 2016-11-30 2018-06-14 マクセル株式会社 監視情報収集システム
JP2019009562A (ja) * 2017-06-22 2019-01-17 凸版印刷株式会社 監視映像表示システム、監視映像表示装置、監視情報管理サーバ、および、監視映像表示方法
JP2017216006A (ja) * 2017-08-10 2017-12-07 パラマウントベッド株式会社 見守り支援装置
WO2019064947A1 (ja) * 2017-09-28 2019-04-04 京セラドキュメントソリューションズ株式会社 監視端末装置及び表示処理方法
JP2019080271A (ja) * 2017-10-27 2019-05-23 ホーチキ株式会社 在室者監視システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6976487B1 (ja) * 2020-12-14 2021-12-08 三菱電機株式会社 施設評価装置及び施設評価方法
WO2022130441A1 (ja) * 2020-12-14 2022-06-23 三菱電機株式会社 施設評価装置及び施設評価方法

Similar Documents

Publication Publication Date Title
WO2020189313A1 (ja) 監視装置、監視システム、及び、監視方法
US7680295B2 (en) Hand-gesture based interface apparatus
JP6062039B2 (ja) 画像処理システムおよび画像処理用プログラム
KR102052883B1 (ko) 열화상 카메라를 이용한 낙상 예측 시스템 및 열화상 카메라를 이용한 낙상 예측 방법
JP6579411B1 (ja) 介護設備又は病院用の監視システム及び監視方法
US20170315774A1 (en) Method and system of communication for use in hospitals
US10943092B2 (en) Monitoring system
JP2018032950A (ja) 情報処理装置及びその方法、コンピュータプログラム
KR102161783B1 (ko) 초고해상도 얼굴 동영상 데이터베이스를 이용한 서비스 로봇 얼굴인식 성능 평가 시스템 및 방법
US11666247B2 (en) Method, device and computer program for capturing optical image data of patient surroundings and for identifying a patient check-up
JP2017059945A (ja) 画像解析装置及び画像解析方法
CN113303791A (zh) 一种机动车驾驶人在线自助体检系统、移动终端及存储介质
WO2020241034A1 (ja) 監視システム及び監視方法
Ghidoni et al. A distributed perception infrastructure for robot assisted living
JP3767898B2 (ja) 人物行動理解システム
KR20130134334A (ko) 실내 이동자 위치추적 시스템 및 그 방법
JP2020187389A (ja) 移動体軌跡分析装置、移動体軌跡分析プログラム、および移動体軌跡分析方法
JP2017054229A (ja) 人物判別システム
JP6593948B1 (ja) 共用スペース用の監視システム及び監視方法
JP6621127B1 (ja) 医療用装身器具の自己抜去監視システム及び医療用装身器具の自己抜去監視方法
JP2008252473A (ja) 映像記録システム
JP2004128615A (ja) 人物監視システム
TWI796786B (zh) 基於熱影像的追蹤辨識監護系統及方法
JP2021005333A (ja) 医療用装身器具の自己抜去監視システム及び医療用装身器具の自己抜去監視方法
US20220292865A1 (en) Spatial infection risk determination system, spatial infection risk determination method, and storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20815391

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20815391

Country of ref document: EP

Kind code of ref document: A1