WO2021033597A1 - 画像処理システム、画像処理プログラム、および画像処理方法 - Google Patents

画像処理システム、画像処理プログラム、および画像処理方法 Download PDF

Info

Publication number
WO2021033597A1
WO2021033597A1 PCT/JP2020/030587 JP2020030587W WO2021033597A1 WO 2021033597 A1 WO2021033597 A1 WO 2021033597A1 JP 2020030587 W JP2020030587 W JP 2020030587W WO 2021033597 A1 WO2021033597 A1 WO 2021033597A1
Authority
WO
WIPO (PCT)
Prior art keywords
behavior
subject
predetermined
image
target person
Prior art date
Application number
PCT/JP2020/030587
Other languages
English (en)
French (fr)
Inventor
池田　直樹
智也 岡▲崎▼
希武 田中
辰也 佐々木
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to JP2021540740A priority Critical patent/JP7388440B2/ja
Publication of WO2021033597A1 publication Critical patent/WO2021033597A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop

Definitions

  • the present invention relates to an image processing system, an image processing program, and an image processing method.
  • Elderly care recipients may be injured in facilities such as hospitals and welfare facilities for the elderly by falling while walking or falling out of bed. Therefore, in order to detect the condition of the care recipient from the captured image so that the staff such as the caregiver and the nurse can immediately rush to the care recipient when the care recipient becomes in such a state.
  • System development is underway. In order to detect the state of a person requiring long-term care or the like with such a system, it is necessary to detect the posture and behavior of the person to be detected from the image with high accuracy.
  • Patent Document 1 The following prior art is disclosed in Patent Document 1 below.
  • the monitoring function by the detection unit that detects the predetermined action of the monitored person and gives a notification or the like is stopped based on the information or the like received from the terminal unit. As a result, the monitoring function can be stopped as needed, so that false detections for persons other than the monitored person can be reduced.
  • Patent Document 1 can prevent erroneous detection of the behavior of a person other than the monitored person as the behavior of the monitored person, but cannot improve the detection accuracy of the behavior of the monitored person. There's a problem.
  • the present invention has been made to solve such a problem. That is, it is an object of the present invention to provide an image processing system, an image processing program, and an image processing method that can improve the estimation accuracy of a person's behavior based on a captured image.
  • a feature point detection unit that detects feature points related to the target person's body based on an image including the target person taken by an imaging device, and a feature point detection unit on the image based on the detected feature points.
  • a calculation unit that calculates the geometrical features of the target person, a determination unit that uses the calculated geometrical features to determine whether or not the behavior of the target person is an action included in a predetermined behavior, and the determination.
  • An image processing system including an output unit that outputs information about the behavior of the target person when the unit determines that the behavior of the target person is an behavior included in the predetermined behavior.
  • the calculation unit calculates a change in the length of a predetermined portion of the target person on the image as the geometric feature based on the change in the positional relationship of the plurality of the feature points, and the determination unit
  • the image processing system according to (1) above which determines whether or not the behavior of the subject is an behavior included in the predetermined behavior based on a change in the length of a predetermined portion of the subject.
  • the calculation unit calculates a change in the angle between predetermined parts of the target person on the image as the geometric feature based on the change in the positional relationship of the plurality of the feature points, and the determination unit
  • the calculation unit calculates a change in the size or shape of the head of the subject on the image as the geometric feature based on the change in the positional relationship of the plurality of feature points, and determines the determination.
  • the unit determines whether or not the behavior of the subject is included in the predetermined behavior based on the change in the size or shape of the head of the subject (1) to (3).
  • the image processing system described in any one.
  • the calculation unit calculates the position of the target person on the image as the geometric feature, and the determination unit considers the position of the target person on the image and performs the behavior of the target person.
  • the image processing system according to any one of (1) to (4) above, which determines whether or not the action is included in the predetermined action.
  • the determination unit further includes an estimation unit that estimates the posture of the target person based on the feature points detected by the detection unit, and the determination unit uses the geometric feature and the posture to use the subject person.
  • the image processing system according to any one of (1) to (5) above, which determines whether or not the action of is an action included in the predetermined action.
  • the photographing device is a wide-angle camera, and the image is an image including the predetermined area taken by the wide-angle camera installed at a position overlooking a predetermined area.
  • the image processing system according to any one of 7).
  • the procedure (d) for outputting information on the behavior of the target person is provided.
  • An image processing method having a step (d) of outputting.
  • Feature points related to the subject's body are detected based on the captured image, and the subject's behavior becomes a predetermined behavior using the subject's geometric features on the image calculated based on the detected feature points. It is determined whether or not the behavior is included, and when it is determined that the behavior is included, information on the behavior of the target person is output. As a result, the accuracy of estimating the behavior of the subject based on the captured image can be improved.
  • the image processing system, the image processing program, and the image processing method according to the embodiment of the present invention will be described with reference to the drawings.
  • the same elements are designated by the same reference numerals, and duplicate description will be omitted.
  • the dimensional ratios in the drawings are exaggerated for convenience of explanation and may differ from the actual ratios.
  • the angle formed by the two directions (lines) can be thought of as two angles such as 60 degrees and 300 degrees (360 degrees -60 degrees), but in the present specification, of the two angles. It means the smaller angle.
  • FIG. 1 is a diagram showing a schematic configuration of the image recognition system 10.
  • the image recognition system 10 has a detection unit 100, a server 200, a communication network 300, and a mobile terminal 400.
  • the detection unit 100 is communicably connected to the server 200 and the mobile terminal 400 by the communication network 300.
  • the mobile terminal 400 may be connected to the communication network 300 via the access point 310.
  • the detection unit 100 constitutes an image processing system.
  • the detection unit 100 may be one integrated device or a plurality of devices separately arranged.
  • the server 200 may perform a part of the functions of the detection unit 100.
  • FIG. 2 is a block diagram showing the configuration of the detection unit 100.
  • the detection unit 100 includes a control unit 110, a communication unit 120, a camera 130, and a body motion sensor 140, which are connected to each other by a bus.
  • the camera 130 constitutes a photographing device.
  • the control unit 110 is composed of a CPU (Central Processing Unit) and memories such as a RAM (Random Access Memory) and a ROM (Read Only Memory), and controls and performs arithmetic processing of each part of the detection unit 100 according to a program.
  • the control unit 110 constitutes a feature point detection unit, a calculation unit, a determination unit, an output unit, and an estimation unit. The details of the operation of the control unit 110 will be described later.
  • the communication unit 120 is an interface circuit (for example, a LAN card or the like) for communicating with the mobile terminal 400 or the like via the communication network 300.
  • an interface circuit for example, a LAN card or the like
  • the camera 130 is, for example, a wide-angle camera.
  • the camera 130 is installed at a position where the detection unit 100 is installed on the ceiling or the like of the living room of the target person 500 to overlook a predetermined area, and an image including the predetermined area (hereinafter, also simply referred to as “image 600”). Take a picture of).
  • the target person 500 is a person who needs long-term care or nursing by, for example, a staff member.
  • the predetermined area may be a three-dimensional area including the entire floor surface of the living room of the subject 500.
  • the camera 130 may be a standard camera having a narrower angle of view than a wide-angle camera. Hereinafter, for the sake of simplicity, the camera 130 will be described as a wide-angle camera.
  • the image 600 may include the subject 500 as an image.
  • Image 600 includes still images and moving images.
  • the camera 130 is a near-infrared camera, which irradiates the near-infrared ray toward the photographing area by an LED (Light Emitting Device) and emits the reflected light of the near-infrared ray reflected by an object in the photographing area to a CMOS (Completion Metal Oxide Sensor) sensor. A predetermined area can be photographed by receiving light from the light.
  • the image 600 can be a monochrome image having the reflectance of near infrared rays as each pixel.
  • a visible light camera may be used instead of the near infrared camera, or these may be used in combination.
  • the body movement sensor 140 is a doppler shift type sensor that transmits and receives microwaves to the bed 700 and detects the doppler shift of microwaves generated by the body movement (for example, respiratory movement) of the subject 500.
  • control unit 110 The operation of the control unit 110 will be described.
  • FIG. 3 is a functional block diagram of the control unit 110.
  • the control unit 110 functions as a feature point detection unit 111, a calculation unit 112, a determination unit 113, and an output unit 114.
  • the feature point detection unit 111 detects the feature points 620 related to the body of the target person 500 based on the image 600 including the target person 500 taken by the camera 130.
  • the calculation unit 112 calculates the geometric feature of the target person 500 on the image 600 based on the feature point 620 detected by the feature point detection unit 111.
  • the determination unit 113 determines whether or not the action of the target person 500 is an action included in the predetermined action by using the geometric feature calculated by the calculation unit 112.
  • the output unit 114 outputs information about the behavior of the target person 500 when the determination unit 113 determines that the behavior of the target person 500 is an action included in the predetermined behavior.
  • control unit 110 may function as the estimation unit 115.
  • the estimation unit 115 estimates the posture of the subject 500 based on the feature points 620 detected by the feature point detection unit 111.
  • the determination unit 113 determines whether or not the behavior of the subject 500 is included in the predetermined behavior by using the geometric feature calculated by the calculation unit 112 and the posture estimated by the estimation unit 115. To do.
  • the operation of the control unit 110 will be described in more detail.
  • the control unit 110 detects the silhouette of a person's image (hereinafter referred to as "human silhouette") from the image 600.
  • the human silhouette can be detected, for example, by extracting a range of pixels having a relatively large difference by the time difference method for extracting the difference between images (frames) whose shooting times are before and after.
  • the human silhouette may be detected by the background subtraction method that extracts the difference between the photographed image and the background image.
  • the control unit 110 can detect a predetermined action of the subject 500 based on the silhouette of the person. Predetermined actions include, for example, falls and falls.
  • the control unit 110 detects a fall, for example, because the center of gravity of the detected silhouette has changed from a state in which it was moving in time series to a state in which it has suddenly stopped, or a change in the aspect ratio of a rectangle corresponding to a human silhouette. Can be.
  • the control unit 110 has, for example, changed from a state in which the human silhouette exists in the area of the bed 700 to a state in which the person silhouette suddenly exists outside the area of the bed 700, or has a rectangular aspect ratio corresponding to the human silhouette.
  • a fall can be detected due to a change or the like.
  • the area of the bed 700 in the image 600 is preset when the detection unit 100 is installed, and can be stored in the memory of the control unit 110 as data.
  • the control unit 110 Based on the image 600, the control unit 110 detects the person area 610 as an area including the target person 500, and from the person area 610, a feature point related to the human body (hereinafter, simply referred to as “feature point 620”) is obtained. To detect.
  • FIG. 4 is a diagram showing a person area 610 detected in the image 600.
  • the control unit 110 detects an area including the target person 500 who is a person as a person area 610 from the image 600. Specifically, the control unit 110 can detect the person area 610 by detecting the area where the object (object) exists on the image 600 and estimating the category of the object included in the detected area. The region where the object exists can be detected as a rectangle (candidate rectangle) including the object on the image 600. The detection unit 100 detects the person area 610 by detecting the candidate rectangles whose object category is presumed to be a person among the detected candidate rectangles. The person region 610 can be detected using a neural network (hereinafter referred to as "NN").
  • NN neural network
  • Examples of the method for detecting the person region 610 by the NN include known methods such as Faster R-CNN, Fast R-CNN, and R-CNN.
  • the NN for detecting the person area 610 from the image 600 detects (estimates) the person area 610 from the image 600 by using the teacher data of the combination of the image 600 and the person area 610 set as the correct answer for the image 600. ) Is learned in advance.
  • FIG. 5 is a diagram showing feature points 620.
  • the control unit 110 detects the feature point 620 based on the person area 610.
  • Feature points 620 may include joint points 621 and a pair of vertices 622 of the head (eg, head rectangle).
  • the feature point 620 may further include, for example, the center point 621c of the two joint points 621a, 621b at the tip of the foot.
  • the central point 621c is calculated based on the two joint points 620a and 621b at the tip of the foot.
  • the feature point 620 can be detected by a known technique using NN such as DeepPose.
  • the feature point 620 can be detected (and calculated) as the coordinates in the image 600. Details of DeepPose are described in publicly known literature (Alexander Toshev, et al.
  • the NN for detecting the feature point 620 from the person area 610 uses the teacher data of the combination of the person area 610 and the feature point 620 set as the correct answer for the person area 610, and uses the teacher data of the combination of the person area 610 to the feature point 620. Learning for detecting (estimating) is performed in advance.
  • the feature point 620 may be estimated directly from the image 600 by using the NN for detecting the feature point 620 from the image 600.
  • the NN for detecting the feature point 620 from the image 600 uses the teacher data of the combination of the image 600 and the feature point 620 set as the correct answer for the image 600 to obtain the feature point 620 from the image 600. Learning for detection (estimation) is performed in advance.
  • the control unit 110 calculates the geometric feature of the target person 500 on the image 600 based on the feature points 620 detected as described above.
  • the geometric features for example, the position of the target person 500 on the image 600, the length of the predetermined parts of the target person 500, the angle between the predetermined parts, the size or shape of the head of the target person 500, and the like are calculated.
  • the control unit 110 uses the calculated geometric feature to determine whether or not the action of the subject 500 is an action included in a predetermined action. The process of determining the behavior of the subject 500 based on the geometric feature will be described in detail later.
  • the control unit 110 may estimate the posture of the target person 500 based on the position of the detected feature point 620.
  • Postures include, for example, standing, sitting, and lying down.
  • the control unit 110 can estimate the posture of the target person 500 from the position of the feature point 620 by DNN (Deep Neural Network) in which the dictionary for detecting the posture of the person is reflected from the position of the feature point 620.
  • DNN Deep Neural Network
  • the control unit 110 estimates the probabilities of the standing, sitting, and lying posture classes based on the position of the feature point 620 by the DNN, and determines the posture with the highest estimated probability. It can be estimated as the posture of the subject 500.
  • the control unit 110 calculates the change in the length of the predetermined portion of the subject 500 on the image 600 based on the change in the positional relationship of the plurality of predetermined feature points 620, and based on the change in the length of the predetermined portion. It is determined whether or not the behavior of the subject 500 is included in the predetermined behavior.
  • the plurality of predetermined feature points 620 are a plurality of predetermined feature points 620 corresponding to predetermined parts of the subject 500, and the feature points 620 detected by the experiment from the viewpoint of determination accuracy of whether or not they are included in the predetermined behavior. Can be appropriately selected from the above.
  • the length of the predetermined portion is calculated as, for example, a distance between a plurality of feature points 620 associated with the predetermined portion.
  • the predetermined action may be a plurality of actions or a single action.
  • Predetermined actions can include falls and falls.
  • the control unit 110 determines the predetermined part of the target person 500. Based on the change in length, it is determined (re-determined) whether or not the detected behavior corresponds to the behavior included in the predetermined behavior (for example, fall and fall). Whether or not the action of the subject 500 is included in the predetermined action is determined for the image 600 in which any one of the predetermined actions is detected based on the human silhouette.
  • FIG. 6 is a diagram for explaining an example of determining that a fall or a fall has occurred due to a change in the length of a predetermined portion on the image.
  • the upper body and the lower body are set as predetermined parts.
  • the length of the upper body is calculated as, for example, the distance between the joint point 621d at the center of the shoulder and the joint point 621e at the center of the waist.
  • the length of the lower body is calculated as, for example, the distance between the center points 621c of the two joint points 620a and 620b at the tip of the foot and the joint points 621e at the center of the waist.
  • the control unit 110 calculates the change in the length of the upper body and the lower body calculated as described above in a predetermined period, and when the change in length has a predetermined relationship, the action of the subject 500 is determined. Determined to be included in the action.
  • control unit 110 determines that the action of the target person 500 is included in the predetermined action when the calculated change in length is equal to or greater than a predetermined threshold value.
  • the predetermined threshold value can be appropriately set by an experiment from the viewpoint of the determination accuracy of whether or not the behavior of the subject 500 is included in the predetermined behavior.
  • the predetermined threshold value for example, the rate of change, the magnitude of change, and the like can be set.
  • the subject 500 when the subject 500 is walking, the subject 500 is in a standing posture. When the subject 500 is in either a fall or a fall behavior, the subject 500 is in a lying position. As shown in A of FIG. 6, when the subject 500 is in a standing posture, the lengths of the upper body and the lower body are shortened. On the other hand, as shown in B of FIG. 6, when the subject 500 is in the recumbent posture, the lengths of the upper body and the lower body become long. This tendency becomes more remarkable as the subject 500 exists in the central region (the region directly below the camera) on the image, but even when the subject 500 exists in a region other than the central region, the length of the predetermined portion due to changes in posture and behavior is also observed. You can see the change in the camera.
  • the change in the length of the predetermined portion is equal to or greater than the predetermined threshold value, it can be determined that the behavior of the subject 500 is at least one of the predetermined behaviors of falling and falling.
  • a predetermined threshold value for example, a value such as 200% may be set as a value indicating the rate of change, and the number of pixels increased as a value indicating the magnitude of change, the actual length calculated from the number of pixels, or the like. The value of may be set.
  • the calculated length may be any one. Further, the calculated length is not limited to the length of the upper body or the lower body, and the length of an arbitrary portion determined by an experiment or the like from the viewpoint of determination accuracy can be used.
  • the control unit 110 calculates the position of the target person 500 on the image 600 as a geometric feature, and determines a predetermined change in length according to the calculated position of the target person 500 on the image 600.
  • the threshold may be adjusted. For example, the range of a relatively short distance from the center of the image 600 is the first range, the range of a distance relatively far from the center of the image 600 is the third range, and the range between the first range and the third range is the second range. The range.
  • a predetermined first threshold value set in the first range, a predetermined second threshold value set in the second range, and a predetermined third threshold value set in the third range can be set differently from each other. For example, when the change in length due to the change in the posture of the subject 500 becomes larger as it is closer to the center of the image 600, the first threshold value is set to a large value and the second threshold value is set to a value smaller than the first threshold value. Then, the third threshold value can be set to a value smaller than the second threshold value.
  • the judgment based on the change in the length of the predetermined part does not distinguish between falls and falls.
  • a fall or a fall is distinguished in the detection of a predetermined behavior based on a human silhouette, it is sufficient if it can be determined that the fall or the fall is at least one of the falls.
  • the accuracy of the fall and fall detection is determined by determining that the fall or the fall is at least one of the fall and the fall based on the change in the length of a predetermined part. Can be improved.
  • control unit 110 estimates the posture of the target person 500 based on the position of the feature point 620, and in addition to the change in the length of the predetermined portion, the behavior of the target person 500 also considers the estimated change in the posture. May be determined. For example, in the example of FIG. 6, in the control unit 110, the change in the lengths of the upper body and the lower body is equal to or more than a predetermined threshold value, and the posture estimated based on the position of the feature point 620 changes from the standing position to the lying position. If so, it may be determined that the behavior of the subject 500 is at least one of a fall and a fall.
  • the control unit 110 calculates the change in the angle between the predetermined parts of the subject 500 on the image 600 based on the change in the positional relationship of the plurality of predetermined feature points 620, and based on the change in the angle between the predetermined parts. It is determined whether or not the behavior of the subject 500 is included in the predetermined behavior.
  • the plurality of predetermined feature points 620 are a plurality of predetermined feature points 620 corresponding to each of the plurality of predetermined parts of the subject 500, and were detected by experiments from the viewpoint of determination accuracy of whether or not they are included in the predetermined behavior. It can be appropriately selected from the feature points 620.
  • the angle between the predetermined parts can be calculated as, for example, the angle formed by the lines connecting the two feature points 620 associated with each predetermined part.
  • a specific example will be described.
  • FIG. 7 is a diagram for explaining an example of determining that a fall or a fall has occurred due to a change in the angle between predetermined parts on an image.
  • angles an upper body and lower body angle and a knee angle (upper thigh and lower leg angle), are set as angles between predetermined parts.
  • the angles of the upper and lower body are, for example, the line connecting the joint point 621d in the center of the shoulder and the joint point 621e in the center of the waist (corresponding to the upper body) and the center points 621c of the two joint points 620a and 620b at the tip of the foot. It is calculated as the angle of the angle formed by the line connecting the joint point 621e at the center of the waist and the joint point 621e (corresponding to the lower body).
  • the knee angles are, for example, the line connecting the joint points 621f and 621g at the base of the foot and the joint points 621h and 621i of the knee, respectively (corresponding to the left and right upper thighs), and the two joint points 620a at the tip of the foot. , 620b and the lines connecting the knee joint points 621h and 621i (corresponding to the left and right lower legs) are calculated as the angles of the angles.
  • the knee angle may be calculated for the knees of both feet or for the knees of one foot.
  • the control unit 110 calculates changes in the angles of the upper and lower body and the angles of the knees calculated as described above in a predetermined period, and when the changes in the angles have a predetermined relationship, the behavior of the subject 500 is determined. Judged to be included in a predetermined action. For example, the control unit 110 determines that the behavior of the target person 500 is included in the predetermined behavior when the calculated change in angle is equal to or greater than a predetermined threshold value.
  • the predetermined threshold value can be appropriately set by an experiment from the viewpoint of the determination accuracy of whether or not the behavior of the subject 500 is included in the predetermined behavior.
  • the predetermined threshold value for example, the rate of change, the magnitude of change, and the like can be set.
  • a predetermined threshold value for example, a value such as 50% may be set as a value indicating the rate of change in the angle, and a value such as 30 °, 45 °, 90 ° or the like may be set as a value indicating the magnitude of the change in the angle. It may be set.
  • the calculated angle may be one.
  • the determination based on the change in the angle of the upper body and the lower body and the determination based on the change in the angle of the knee may be performed independently or in combination.
  • the calculated angle is not limited to the angle of the upper body and the lower body and the angle of the knee, and the angle between arbitrary parts determined by an experiment or the like can be calculated from the viewpoint of determination accuracy.
  • the determination regarding the angles of a plurality of parts existing in the subject 500 such as the knee may be performed for the total value, the average value, etc. by combining the angles of both knees, or the angle of either one of the knees. May be done for.
  • control unit 110 calculates the position of the target person 500 on the image 600 as a geometric feature, as in the determination based on the change in the length of the predetermined portion, and the target person 500 on the calculated image 600.
  • a predetermined threshold value for determining a change in angle may be adjusted according to the position of.
  • control unit 110 estimates the posture of the target person 500 based on the position of the feature point 620, and in addition to the change in the angle between the predetermined parts, the behavior of the target person 500 also considers the estimated change in the posture. May be determined. For example, in the example of FIG. 7, in the control unit 110, the change in the angles of the upper body and the lower body is equal to or more than a predetermined threshold value, and the posture estimated based on the position of the feature point 620 changes from the standing position to the lying position. In some cases, it may be determined that the behavior of the subject 500 is at least one of a fall and a fall.
  • the control unit 110 calculates a change in the size or shape of the head of the subject 500 on the image 600 based on the change in the positional relationship of the plurality of predetermined feature points 620, and determines the change in the size or shape of the head. Based on the change, it is determined whether or not the behavior of the subject 500 is included in the predetermined behavior.
  • the plurality of predetermined feature points 620 are a plurality of feature points 620 corresponding to the head of the subject 500, for example, two pairs of vertices 622 of the head (head rectangle).
  • the change in head size can be calculated, for example, as a change in the area of the rectangle defined by the pair of vertices 622.
  • the change in the shape of the head can be calculated as, for example, a change in the aspect ratio of the rectangle.
  • FIG. 8 is a diagram for explaining an example of determining that a person has fallen or has fallen due to a change in the size of the head on the image.
  • the size of the head is calculated as the area of the rectangle defined by the two pairs of vertices 622 of the head.
  • the control unit 110 calculates the change in the size of the head calculated as described above in a predetermined period, and when the change in size has a predetermined relationship, the action of the subject 500 is a predetermined action. It is determined that it is included in. For example, the control unit 110 determines that the action of the target person 500 is included in the predetermined action when the calculated change in size is equal to or greater than a predetermined threshold value.
  • the predetermined threshold value can be appropriately set by an experiment from the viewpoint of the determination accuracy of whether or not the behavior of the subject 500 is included in the predetermined behavior. As the predetermined threshold value, for example, the rate of change, the magnitude of change, and the like can be set.
  • the control unit 110 determines that the action of the subject 500 is at least one of the predetermined actions of falling and falling.
  • a predetermined threshold value for example, a value such as 50% may be set as a value indicating the rate of change in area, and an actual number of pixels or the number of pixels decreased as a value indicating the magnitude of change in area.
  • a value such as the area of may be set.
  • the behavior may be determined based on the change in the shape of the head.
  • the shape of the head rectangle is close to a square, and the aspect ratio can be close to 1: 1.
  • the control unit 110 calculates the change in the aspect ratio of the head rectangle as the change in the shape of the head, and based on the change in the aspect ratio, whether or not the action of the subject 500 is included in the predetermined action. Can be determined.
  • control unit 110 calculates the position of the target person 500 on the image 600 as a geometric feature, as in the determination based on the change in the length of the predetermined portion, and the target person 500 on the calculated image 600.
  • a predetermined threshold value for determining a change in the size or shape of the head may be adjusted according to the position of.
  • control unit 110 estimates the posture of the subject 500 based on the position of the feature point 620, and considers the estimated change in the posture in addition to the change in the size or shape of the head of the subject 500. You may judge the behavior of. For example, in the example of FIG. 8, in the control unit 110, the change in the size or shape of the head is equal to or larger than a predetermined threshold value, and the posture estimated based on the position of the feature point 620 changes from the standing position to the lying position. When changed, it may be determined that the behavior of the subject 500 is at least one of a fall and a fall.
  • each of the above-mentioned judgments included in the judgment based on the change in the length of the predetermined part, the judgment based on the change in the length of the predetermined part, and the judgment based on the change in the size or shape of the head are performed independently. Also, a plurality of determinations may be combined. When a plurality of judgments are combined, for example, priority and weighting based on judgment accuracy etc. are set for the judgment result of each judgment, and even if the judgment result of each judgment is integrated and the judgment using the geometric feature is performed. Good.
  • the control unit 110 determines that the behavior of the target person 500 is included in the predetermined behavior by the determination based on the geometric feature of the target person 500 on the image 600 as described above, the control unit 110 provides information on the behavior of the target person 500. It is output by transmitting it to the server 200 by the communication unit 120 or the like.
  • the information regarding the behavior of the subject 500 is the first information indicating that the behavior of the subject 500 is at least one of the predetermined behaviors, or the probability (probability) of the predetermined behavior detected based on the human silhouette is high. It can be the second information indicating that.
  • the first information is, for example, information that "the behavior of the subject 500 is at least one of a fall and a fall".
  • the second information is, for example, information that "the probability of being a detected action is high".
  • the control unit 110 may further transmit the behavior specific information indicating the predetermined behavior of the target person 500, which is detected based on the human silhouette, to the server 200 or the like in association with the information regarding the behavior of the target person 500.
  • the first information, the second information, and the action specific information can be associated with each other by including information that identifies the target person 500 such as the ID (number) of the target person 500, and the shooting time of the image 600.
  • the server 200 makes a final determination that the target person 500 has performed a predetermined action detected based on the human silhouette based on the action specific information and the information on the behavior of the target person 500. obtain.
  • the control unit 110 detects any of the predetermined actions of the target person 500 based on the silhouette of the person, and at least one of the predetermined actions based on the geometrical features of the target person 500 on the image 600.
  • the control unit 110 may transmit (output) the third information indicating the final determination that the target person 500 has performed a predetermined action to the server 200 or the like as information regarding the action of the target person 500.
  • the action specific information does not need to be transmitted to the server 200 or the like.
  • the third information is, for example, information that "the subject 500 has fallen".
  • the third information includes information that identifies the target person 500, such as the name of the target person 500.
  • FIG. 9 is a block diagram showing the configuration of the server 200.
  • the server 200 includes a control unit 210, a communication unit 220, and a storage unit 230. The components are connected to each other by a bus.
  • control unit 210 and the communication unit 220 The basic configuration of the control unit 210 and the communication unit 220 is the same as that of the control unit 110 and the communication unit 120, which are the corresponding components of the detection unit 100.
  • the control unit 210 receives information on the behavior of the target person 500 from the detection unit 100 by the communication unit 220.
  • the control unit 210 may further receive the action specific information from the detection unit 100.
  • the control unit 21 determines that the target person 500 indicates the behavior specific information. Make the final decision that you have acted.
  • the control unit 21 also receives the target person 500. Make a final decision that the action specific information has taken the prescribed action.
  • control unit 21 When the control unit 21 makes a final determination that the predetermined action indicated by the action specific information has been performed, the control unit 21 sends an event notification for notifying the staff or the like that the target person 500 has performed the predetermined action (for example, a fall). It can be transmitted to a mobile terminal 400 or the like.
  • the control unit 21 When the information regarding the behavior of the target person 500 is the third information indicating the final determination that the target person 500 has performed the predetermined action, the control unit 21 notifies the staff or the like that the target person 500 has performed the predetermined action.
  • the event notification for the purpose can be transmitted to the mobile terminal 400 or the like.
  • the server 200 can be implemented by substituting a part of the functions of the detection unit 100.
  • the server 200 receives the image 600 from the detection unit 100, detects the human silhouette from the image 600, and detects a predetermined action of the target person 500 based on the human silhouette.
  • a predetermined action of the target person 500 is detected, the person area 610 is detected, and the feature point 620 is detected based on the person area 610.
  • the geometric feature of the subject 500 on the image 600 is calculated based on the feature point 620, and the predetermined action of the subject 500 detected based on the human silhouette based on the geometric feature is included in the predetermined action. It can be determined whether or not the behavior is to be performed.
  • FIG. 10 is a block diagram showing the configuration of the mobile terminal 400.
  • the mobile terminal 400 includes a control unit 410, a wireless communication unit 420, a display unit 430, an input unit 440, and a voice input / output unit 450.
  • the components are connected to each other by a bus.
  • the mobile terminal 400 may be composed of, for example, a communication terminal device such as a tablet computer, a smartphone, or a mobile phone.
  • the control unit 410 has a basic configuration such as a CPU, RAM, and ROM, similar to the configuration of the control unit 110 of the detection unit 100.
  • the wireless communication unit 420 has a function of performing wireless communication according to standards such as Wi-Fi and Bluetooth (registered trademark), and wirelessly communicates with each device via an access point or directly.
  • the wireless communication unit 420 receives the event notification from the server 200.
  • the display unit 430 and the input unit 440 are touch panels, and a touch sensor as the input unit 440 is provided on the display surface of the display unit 430 composed of a liquid crystal or the like.
  • the event notification is displayed by the display unit 430 and the input unit 440. Then, an input screen for prompting the response to the target person 500 regarding the event notification is displayed, and the staff's intention to respond to the event notification input on the input screen is received.
  • the voice input / output unit 450 is, for example, a speaker and a microphone, and enables voice communication between staff members with another mobile terminal 400 via the wireless communication unit 420. Further, the voice input / output unit 450 may have a function of enabling a voice call with the detection unit 100 via the wireless communication unit 420.
  • FIG. 11 is a flowchart showing the operation of the image recognition system 10. This flowchart is executed by the control unit 110 according to the program.
  • the control unit 110 detects the feature point 620 of the target person 500 based on the image 600 when the predetermined action of the target person 500 is detected based on the person silhouette detected from the image 600 (S101). ..
  • the control unit 110 calculates the geometric feature of the target person 500 on the image 600 based on the detected feature point 620 (S102).
  • the control unit 110 uses geometric features to determine whether the behavior of the subject 500 is at least one of a fall and a fall (whether it is included in a fall and a fall), which is a predetermined behavior (S103). ..
  • control unit 110 determines that the behavior of the target person 500 is at least one of a predetermined behavior, a fall and a fall (S104: YES)
  • the control unit 110 transmits information on the behavior of the target person to the server 200. Is output (S105).
  • the embodiment has the following effects.
  • the feature points of the subject are detected based on the captured image, the geometric features of the subject on the image are calculated based on the detected feature points, and the behavior of the subject is performed using the calculated geometric features. It is determined whether or not it is included in a predetermined action, and when it is determined that it is included, information regarding the behavior of the target person is output. As a result, the behavior of the target person can be determined in consideration of the geometrical features of the target person on the image, so that the estimation accuracy of the behavior of the target person can be improved.
  • the change in the length of the predetermined part of the target person on the image is calculated as a geometric feature, and the target is based on the change in the length of the predetermined part of the target person. It is determined whether or not a person's action is an action included in a predetermined action. As a result, the behavior of the subject can be determined in consideration of the change in the length of the predetermined portion of the subject on the image, so that the estimation accuracy of the behavior of the subject can be improved.
  • the change in the angle between the predetermined parts of the target person on the image is calculated, and the target is based on the change in the angle between the predetermined parts of the target person. It is determined whether or not a person's action is an action included in a predetermined action. As a result, the behavior of the subject can be determined in consideration of the change in the angle between the predetermined parts of the subject on the image, so that the estimation accuracy of the behavior of the subject can be improved.
  • changes in the size or shape of the subject's head on the image are calculated as geometric features, and changes in the size or shape of the subject's head are calculated. It is determined whether or not the behavior of the subject is an behavior included in the predetermined behavior based on the above. As a result, the behavior of the subject can be determined in consideration of the size or shape of the head of the subject on the image, so that the estimation accuracy of the behavior of the subject can be improved.
  • the position of the target person on the image is calculated, and whether or not the action of the target person is included in the predetermined action is determined in consideration of the position of the target person on the image. As a result, the accuracy of estimating the behavior of the subject can be improved based on the image regardless of the position of the subject.
  • the posture of the subject is estimated based on the detected feature points, and whether or not the behavior of the subject is included in the predetermined behavior is determined using the geometric features and the posture.
  • the behavior of the target person can be determined in consideration of the estimated posture in addition to the geometric feature, so that the estimation accuracy of the behavior of the target person can be further improved.
  • the predetermined behavior is a fall and a fall, and it is determined whether or not the behavior of the subject is at least one of a fall and a fall. As a result, it is possible to improve the estimation accuracy of the subject's fall or fall.
  • the photographing device is a wide-angle camera, and the image is an image including a predetermined area taken by a wide-angle camera installed at a position overlooking a predetermined area. Thereby, it is possible to more effectively improve the estimation accuracy of the behavior of the subject based on the captured image.
  • the configuration of the image recognition system 10 described above has been described as a main configuration in explaining the features of the above-described embodiment, and is not limited to the above-mentioned configuration and may be variously modified within the scope of claims. it can. Further, the configuration provided in a general image recognition system is not excluded.
  • the detection unit 100, the server 200, and the mobile terminal 400 may each be configured by a plurality of devices, or any plurality of devices may be configured as a single device.
  • the means and methods for performing various processes in the image recognition system 10 described above can be realized by either a dedicated hardware circuit or a programmed computer.
  • the program may be provided by a computer-readable recording medium such as a USB memory or a DVD (Digital definitely Disc) -ROM, or may be provided online via a network such as the Internet.
  • the program recorded on the computer-readable recording medium is usually transferred to and stored in a storage unit such as a hard disk.
  • the above program may be provided as a single application software, or may be incorporated into the software of a device such as a detection unit as one function.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

【課題】撮影された画像に基づく人物の行動の推定精度を向上できる画像処理システムを提供する。 【解決手段】撮影された、対象者を含む画像に基づいて、対象者の体に関する特徴点を検出する特徴点検出部と、検出された特徴点に基づいて、画像上における対象者の幾何特徴を算出する算出部と、算出された幾何特徴を用いて、対象者の行動が所定の行動に含まれる行動であるか否かを判定する判定部と、対象者の行動が所定の行動に含まれる行動であると判定された場合に、対象者の行動に関する情報を出力する出力部と、を有する。

Description

画像処理システム、画像処理プログラム、および画像処理方法
　本発明は、画像処理システム、画像処理プログラム、および画像処理方法に関する。
　我が国は、戦後の高度経済成長に伴う生活水準の向上、衛生環境の改善、および医療水準の向上等により、長寿命化が顕著となっている。このため、出生率の低下と相まって、高齢化率が高い高齢化社会になっている。このような高齢化社会では、病気、怪我、および加齢などにより、介護等の対応を必要とする要介護者等の増加が想定される。
　要介護者等は、病院や老人福祉施設などの施設において、歩行中に転倒したり、ベッドから転落したりして怪我をするおそれがある。そのため、要介護者等がこのような状態になったときに介護士や看護師等のスタッフがすぐに駆けつけられるようにするために、撮影された画像から要介護者等の状態を検出するためのシステムの開発が進められている。このようなシステムで要介護者等の状態を検出するためには、画像から検知対象である人物の姿勢や行動を高精度で検出する必要がある。
　下記特許文献１には、次の先行技術が開示されている。被監視者の所定の行動を検知して通知等をする検知ユニットによる監視機能を、端末ユニットから受信した情報等に基づいて停止する。これにより、必要に応じて監視機能を停止できるため、被監視者以外の者に対する誤検知を低減できる。
国際公開第２０１６／１５２４２８号
　しかし、上記特許文献１に開示された先行技術は、被監視者以外の者の行動を被監視者の行動として誤検知することを防止できるが、被監視者の行動の検知精度を向上できないという問題がある。
　本発明は、このような問題を解決するためになされたものである。すなわち、撮影された画像に基づく人物の行動の推定精度を向上できる、画像処理システム、画像処理プログラム、および画像処理方法を提供することを目的とする。
　本発明の上記課題は、以下の手段によって解決される。
　（１）撮影装置により撮影された、対象者を含む画像に基づいて、前記対象者の体に関する特徴点を検出する特徴点検出部と、検出された前記特徴点に基づいて、前記画像上における前記対象者の幾何特徴を算出する算出部と、算出された前記幾何特徴を用いて、前記対象者の行動が所定の行動に含まれる行動であるか否かを判定する判定部と、前記判定部により、前記対象者の行動が前記所定の行動に含まれる行動であると判定された場合に、前記対象者の行動に関する情報を出力する出力部と、を有する画像処理システム。
　（２）前記算出部は、複数の前記特徴点の位置関係の変化に基づいて、前記幾何特徴として、前記画像上における前記対象者の所定部位の長さの変化を算出し、前記判定部は、前記対象者の所定部位の長さの変化に基づいて前記対象者の行動が前記所定の行動に含まれる行動であるか否かを判定する上記（１）に記載の画像処理システム。
　（３）前記算出部は、複数の前記特徴点の位置関係の変化に基づいて、前記幾何特徴として、前記画像上における前記対象者の所定部位同士の角度の変化を算出し、前記判定部は、前記対象者の所定部位同士の角度の変化に基づいて前記対象者の行動が前記所定の行動に含まれる行動であるか否かを判定する上記（１）または（２）に記載の画像処理システム。
　（４）前記算出部は、複数の前記特徴点の位置関係の変化に基づいて、前記幾何特徴として、前記画像上における前記対象者の頭部の大きさまたは形状の変化を算出し、前記判定部は、前記対象者の頭部の大きさまたは形状の変化に基づいて前記対象者の行動が前記所定の行動に含まれる行動であるか否かを判定する上記（１）～（３）のいずれか一つに記載の画像処理システム。
　（５）前記算出部は、前記幾何特徴として、前記画像上における前記対象者の位置を算出し、前記判定部は、前記画像上における前記対象者の位置を考慮して前記対象者の行動が前記所定の行動に含まれる行動であるか否かを判定する上記（１）～（４）のいずれか一つに記載の画像処理システム。
　（６）前記検出部によって検出された前記特徴点に基づいて、前記対象者の姿勢を推定する推定部をさらに有し、前記判定部は、前記幾何特徴および前記姿勢を用いて、前記対象者の行動が前記所定の行動に含まれる行動であるか否かを判定する上記（１）～（５）のいずれか一つに記載の画像処理システム。
　（７）前記所定の行動は転倒および転落であり、前記判定部は、前記対象者の行動が、転倒および転落の少なくともいずれかであるかどうか判定する、上記（１）～（６）のいずれか一つに記載の画像処理システム。
　（８）前記撮影装置は広角カメラであり、前記画像は、所定の領域を俯瞰する位置に設置された前記広角カメラにより撮影された前記所定の領域を含む画像である、上記（１）～（７）のいずれか一つに記載の画像処理システム。
　（９）撮影装置により撮影された、対象者を含む画像に基づいて、前記対象者の体に関する特徴点を検出する手順（ａ）と、検出された前記特徴点に基づいて、前記画像上における前記対象者の幾何特徴を算出する手順（ｂ）と、算出された前記幾何特徴を用いて、前記対象者の行動が所定の行動に含まれる行動であるか否かを判定する手順（ｃ）と、前記手順（ｃ）において、前記対象者の行動が前記所定の行動に含まれる行動であると判定された場合に、前記対象者の行動に関する情報を出力する手順（ｄ）と、を有する処理をコンピューターに実行させるための画像処理プログラム。
　（１０）画像処理システムに実行させる方法であって、撮影装置により撮影された、対象者を含む画像に基づいて、前記対象者の体に関する特徴点を検出する段階（ａ）と、検出された前記特徴点に基づいて、前記画像上における前記対象者の幾何特徴を算出する段階（ｂ）と、算出された前記幾何特徴を用いて、前記対象者の行動が所定の行動に含まれる行動であるか否かを判定する段階（ｃ）と、前記段階（ｃ）において、前記対象者の行動が前記所定の行動に含まれる行動であると判定された場合に、前記対象者の行動に関する情報を出力する段階（ｄ）と、を有する画像処理方法。
　撮影された画像に基づいて対象者の体に関する特徴点を検出し、検出された特徴点に基づいて算出される画像上における対象者の幾何特徴を用いて、対象者の行動が所定の行動に含まれる行動であるか否かを判定し、含まれると判定したときに対象者の行動に関する情報を出力する。これにより、撮影された画像に基づく対象者の行動の推定精度を向上できる。
画像認識システムの概略構成を示す図である。 検出部の構成を示すブロック図である。 制御部の機能ブロック図である。 画像において検出された人物領域を示す図である。 特徴点を示す図である。 画像上における所定部位の長さの変化によって転倒または転落したことを判定する例を説明するための図である。 画像上における所定部位同士の角度の変化によって転倒または転落したことを判定する例を説明するための図である。 画像上における頭部の大きさの変化によって転倒または転落したことを判定する例を説明するための図である。 サーバーの構成を示すブロック図である。 携帯端末の構成を示すブロック図である。 画像認識システムの動作を示すフローチャートである。
　以下、図面を参照して、本発明の実施形態に係る、画像処理システム、画像処理プログラム、および画像処理方法について説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。また、２つの方向（線）がなす角度は、例えば、６０度と３００度（３６０度－６０度）というように２つの角度が観念できるが、本明細書においては、当該２つの角度のうち小さい方の角度のことを意味する。
　図１は、画像認識システム１０の概略構成を示す図である。
　画像認識システム１０は、検出部１００、サーバー２００、通信ネットワーク３００、および携帯端末４００を有する。検出部１００は、通信ネットワーク３００によりサーバー２００および携帯端末４００と相互に通信可能に接続される。携帯端末４００はアクセスポイント３１０を介して通信ネットワーク３００と接続され得る。検出部１００は、画像処理システムを構成する。検出部１００は、１つの一体化された装置でも、分離配置される複数の装置でもあり得る。なお、後述するように、検出部１００の機能の一部をサーバー２００が実施するようにしてもよい。
　（検出部１００）
　図２は、検出部１００の構成を示すブロック図である。図２の例に示すように、検出部１００は、制御部１１０、通信部１２０、カメラ１３０、および体動センサー１４０を備え、これらはバスによって相互に接続されている。カメラ１３０は、撮影装置を構成する。
　制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、およびＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等のメモリにより構成され、プログラムに従って検出部１００の各部の制御および演算処理を行う。制御部１１０は、特徴点検出部、算出部、判定部、出力部、および推定部を構成する。制御部１１０の作用の詳細については後述する。
　通信部１２０は、通信ネットワーク３００を介して、携帯端末４００等と通信するためのインターフェース回路（例えばＬＡＮカード等）である。
　カメラ１３０は、例えば広角カメラである。カメラ１３０は、検出部１００が対象者５００の居室の天井等に設置されることで、所定の領域を俯瞰する位置に設置され、当該所定の領域を含む画像（以下、単に「画像６００」とも称する）を撮影する。対象者５００は、例えばスタッフ等により介護または看護を必要とする者である。所定の領域は対象者５００の居室の床面全体を含む３次元の領域であり得る。カメラ１３０は、広角カメラより画角が狭い標準カメラであってもよい。以下、説明を簡単にするために、カメラ１３０は、広角カメラであるものとして説明する。画像６００には、対象者５００が画像として含まれ得る。画像６００には、静止画および動画が含まれる。カメラ１３０は近赤外線カメラであり、ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｅｖｉｃｅ）により近赤外線を撮影領域に向けて照射し、撮影領域内の物体により反射される近赤外線の反射光をＣＭＯＳ（Ｃｏｍｐｌｅｍｅｍｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサーにより受光することで所定の領域を撮影し得る。画像６００は近赤外線の反射率を各画素とするモノクロ画像であり得る。カメラ１３０は、近赤外線カメラに代替して可視光カメラを用いてもよく、これらを併用してもよい。
　体動センサー１４０は、ベッド７００に対してマイクロ波を送受信して対象者５００の体動（例えば呼吸動）によって生じたマイクロ波のドップラシフトを検出するドップラシフト方式のセンサーである。
　制御部１１０の作用について説明する。
　図３は、制御部１１０の機能ブロック図である。制御部１１０は、特徴点検出部１１１、算出部１１２、判定部１１３、および出力部１１４として機能する。
　特徴点検出部１１１は、カメラ１３０によって撮影された、対象者５００を含む画像６００に基づいて、対象者５００の体に関する特徴点６２０を検出する。
　算出部１１２は、特徴点検出部１１１によって検出された特徴点６２０に基づいて、画像６００上における対象者５００の幾何特徴を算出する。
　判定部１１３は、算出部１１２によって算出された幾何特徴を用いて、対象者５００の行動が所定の行動に含まれる行動であるか否かを判定する。
　出力部１１４は、判定部１１３によって対象者５００の行動が所定の行動に含まれる行動であると判定された場合に、対象者５００の行動に関する情報を出力する。
　また、制御部１１０は、推定部１１５として機能してもよい。この場合、推定部１１５は、特徴点検出部１１１によって検出された特徴点６２０に基づいて、対象者５００の姿勢を推定する。この場合、判定部１１３は、算出部１１２によって算出された幾何特徴および推定部１１５によって推定された姿勢を用いて、対象者５００の行動が所定の行動に含まれる行動であるか否かを判定する。以下、制御部１１０の作用についてより詳細に説明する。
　制御部１１０は、画像６００から人の画像のシルエット（以下、「人シルエット」と称する）を検出する。人シルエットは、例えば、撮影時刻が前後する画像（フレーム）の差分を抽出する時間差分法により差分が相対的に大きい画素の範囲を抽出することで検出され得る。人シルエットは、撮影画像と背景画像との差分を抽出する背景差分法により検出されてもよい。制御部１１０は、人シルエットに基づいて、対象者５００の所定の行動を検出し得る。所定の行動には、例えば、転倒および転落が含まれる。制御部１１０は、例えば、検出されたシルエットの重心が、時系列で動いていた状態から急に停止した状態に変化したことや人シルエットに対応する矩形のアスペクト比の変化等により、転倒を検出し得る。制御部１１０は、例えば、人シルエットがベッド７００の領域内に存在している状態から急にベッド７００の領域外に存在している状態に変化したことや人シルエットに対応する矩形のアスペクト比の変化等により、転落を検出し得る。画像６００におけるベッド７００の領域は、検出部１００が設置される際に予め設定され、データとして制御部１１０のメモリに記憶され得る。
　制御部１１０は、画像６００に基づいて、対象者５００を含む領域として、人物領域６１０を検出し、人物領域６１０から、人の体に関する特徴点（以下、単に「特徴点６２０」と称する）を検出する。
　図４は、画像６００において検出された人物領域６１０を示す図である。
　制御部１１０は、画像６００から、人物である対象者５００を含む領域を人物領域６１０として検出する。具体的には、制御部１１０は、画像６００上で物体（オブジェクト）が存在する領域を検出し、検出した領域に含まれる物体のカテゴリーを推定することで、人物領域６１０を検出し得る。物体が存在する領域は、画像６００上で物体が含まれる矩形（候補矩形）として検出され得る。検出部１００は、検出された候補矩形のうち、物体のカテゴリーが人物であると推定された候補矩形を検出することで、人物領域６１０を検出する。人物領域６１０は、ニューラルネットワーク（以下、「ＮＮ」と称する）を用いて検出され得る。ＮＮによる人物領域６１０の検出方法としては、例えば、Ｆａｓｔｅｒ　Ｒ－ＣＮＮ、Ｆａｓｔ　Ｒ－ＣＮＮ、およびＲ－ＣＮＮといった公知の方法が挙げられる。画像６００から人物領域６１０を検出するためのＮＮは、画像６００と、当該画像６００に対する正解として設定された人物領域６１０との組合せの教師データを用いて、画像６００から人物領域６１０を検出（推定）するための学習が予めされる。
　図５は、特徴点６２０を示す図である。
　制御部１１０は、人物領域６１０に基づいて、特徴点６２０を検出する。特徴点６２０には、関節点６２１、および頭部（例えば、頭部矩形）の対頂点６２２が含まれ得る。特徴点６２０には、例えば、足の先端の２つの関節点６２１ａ、６２１ｂの中央点６２１ｃがさらに含まれ得る。当該中央点６２１ｃは、足の先端の２つの関節点６２０ａ、６２１ｂに基づいて算出される。特徴点６２０は、ＤｅｅｐＰｏｓｅ等のＮＮを用いた公知の技術により検出され得る。特徴点６２０は、画像６００における座標として検出（および算出）され得る。ＤｅｅｐＰｏｓｅについては、公知の文献（Alexander Toshev, et al. “DeepPose: Human Pose Estimation via Deep Neural Networks”, in CVPR, 2014）に詳細が記載されている。人物領域６１０から特徴点６２０を検出するためのＮＮは、人物領域６１０と、当該人物領域６１０に対する正解として設定された特徴点６２０との組合せの教師データを用いて、人物領域６１０から特徴点６２０を検出（推定）するための学習が予めされる。なお、特徴点６２０は、画像６００から特徴点６２０を検出するためのＮＮを用いて、画像６００から直接推定されてもよい。この場合、画像６００から特徴点６２０を検出するためのＮＮは、画像６００と、当該画像６００に対する正解として設定された特徴点６２０との組合せの教師データを用いて、画像６００から特徴点６２０を検出（推定）するための学習が予めされる。
　制御部１１０は、上記のように検出された特徴点６２０に基づいて、画像６００上における対象者５００の幾何特徴を算出する。幾何特徴としては、例えば画像６００上における対象者５００の位置、対象者５００の所定部位の長さ、所定部位同士の角度、対象者５００の頭部の大きさまたは形状等が算出される。制御部１１０は、算出された幾何特徴を用いて、対象者５００の行動が所定の行動に含まれる行動であるか否かを判定する。幾何特徴に基づいて対象者５００の行動を判定する処理について、詳細は後述する。
　また、制御部１１０は、検出された特徴点６２０の位置に基づいて対象者５００の姿勢を推定してもよい。姿勢には、例えば、立位、座位、および臥位が含まれる。制御部１１０は、例えば、特徴点６２０の位置から人物の姿勢を検出するための辞書が反映されたＤＮＮ（Ｄｅｅｐ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）により、特徴点６２０の位置から対象者５００の姿勢を推定し得る。具体的には、制御部１１０は、ＤＮＮにより、特徴点６２０の位置に基づいて、立位、座位、および臥位それぞれの姿勢クラスの確率を推定し、推定された確率が最も高い姿勢を、対象者５００の姿勢として推定し得る。
　以下、幾何特徴に基づいて対象者５００の行動を判定する処理について具体的に説明する。
　（所定部位の長さの変化に基づく判定）
　まず、幾何特徴として、画像６００上における対象者５００の所定部位の長さの変化を算出して対象者５００の行動を判定する処理の例について説明する。
　制御部１１０は、複数の所定の特徴点６２０の位置関係の変化に基づいて、画像６００上における対象者５００の所定部位の長さの変化を算出し、所定部位の長さの変化に基づいて対象者５００の行動が所定の行動に含まれるか否かを判定する。複数の所定の特徴点６２０は、対象者５００の所定部位に対応する複数の特徴点６２０であり、所定の行動に含まれるかどうかの判定精度の観点から、実験により、検出された特徴点６２０の中から、適当に選択され得る。所定部位の長さは、例えば、所定部位に対応付けられた複数の特徴点６２０の間の距離として算出される。所定の行動は、複数の行動であっても単一の行動であってもよい。所定の行動には、転倒および転落が含まれ得る。具体的には、制御部１１０は、人シルエット等に基づいて、対象者５００の行動が所定の行動の中のいずれか（例えば、転倒）として検出された場合に、対象者５００の所定部位の長さの変化に基づいて、検出された行動が、所定の行動に含まれる行動（例えば、転倒および転落）に該当するか否かを判定（再判断）する。対象者５００の行動が、所定の行動に含まれるか否かの判定は、人シルエットに基づいて所定の行動のいずれか１つが検出された画像６００に対して行われる。以下、具体例を挙げて説明する。
　図６は、画像上における所定部位の長さの変化によって転倒または転落したことを判定する例を説明するための図である。
　図６の例においては、所定部位として上半身および下半身が設定されている。上半身の長さは、例えば、肩の中心の関節点６２１ｄと腰の中心の関節点６２１ｅとの間の距離として算出される。また、下半身の長さは、例えば、足の先端の２つの関節点６２０ａ、６２０ｂの中央点６２１ｃと腰の中心の関節点６２１ｅとの間の距離として算出される。制御部１１０は、上記のように算出される上半身および下半身の長さの所定の期間における変化を算出し、長さの変化が所定の関係にある場合に、対象者５００の行動が、所定の行動に含まれると判定する。例えば、制御部１１０は、算出された長さの変化が所定の閾値以上である場合に、対象者５００の行動が、所定の行動に含まれると判定する。所定の閾値は、対象者５００の行動が、所定の行動に含まれるかどうかの判定精度の観点から、実験により、適当に設定し得る。所定の閾値としては、例えば、変化の割合や変化の大きさ等が設定され得る。
　例えば、対象者５００が歩行という行動をしている場合は、対象者５００は立位の姿勢にある。対象者５００が転倒および転落のいずれかの行動をしている場合は、対象者５００は臥位の姿勢にある。図６のＡに示すように、対象者５００が立位の姿勢である場合、上半身および下半身の長さは短くなる。一方、図６のＢに示すように、対象者５００が臥位の姿勢である場合は、上半身および下半身の長さは長くなる。この傾向は、対象者５００が画像上の中心領域（カメラの直下領域）に存在する程顕著になるが、中心領域以外に存在する場合にも、同様に姿勢や行動の変化による所定部位の長さの変化が見られる。したがって、所定部位の長さの変化が所定の閾値以上であれば、対象者５００の行動が、所定の行動である転倒および転落の少なくともいずれかであると判定できる。図６の例では、上半身および下半身の長さが所定の閾値以上に長く変化している場合、対象者５００の行動が、転倒および転落の少なくともいずれかであると判定できる。所定の閾値としては、例えば変化の割合を示す値として２００％等の値が設定されてもよく、変化の大きさを示す値として増加した画素数や画素数から算出される実際の長さ等の値が設定されてもよい。
　なお、図６の例では、上半身および下半身の２つの所定部位の長さを算出して判定する例について説明したが、算出される長さはいずれか１つでもよい。また、算出される長さは、上半身や下半身の長さに限定されず、判定精度の観点から実験等により決定される任意の部位の長さが使用され得る。
　また、上記のように、カメラ１３０と対象者５００との位置関係、すなわち、画像６００上における対象者５００の位置によって、所定部位の長さの変化の程度が異なる。したがって、制御部１１０は、幾何特徴として画像６００上における対象者５００の位置を算出し、算出された画像６００上における対象者５００の位置に応じて、長さの変化を判定するための所定の閾値を調整してもよい。例えば、画像６００の中心から比較的短い距離の範囲内を第１範囲、画像６００の中心から比較的遠い距離の範囲内を第３範囲、第１範囲と第３範囲の間の範囲を第２範囲とする。そして、第１範囲に設定する所定の第１閾値、第２範囲に設定する所定の第２閾値、第３範囲に設定する所定の第３閾値を、それぞれ異ならせて設定し得る。例えば、画像６００の中心に近いほど対象者５００の姿勢の変化に伴う長さの変化が大きくなる場合、第１閾値を大きい値に設定し、第２閾値を第１閾値よりも小さい値に設定し、第３閾値を第２閾値よりも小さい値に設定し得る。
　また、所定部位の長さの変化に基づく判定では、転倒および転落を区別しない。しかし、転倒か転落かは、人シルエットに基づく所定の行動の検出において区別されているため、転倒および転落の少なくともいずれかであると判定できれば十分である。人シルエットに基づいて転倒または転落が検出されたときに、さらに、所定部位の長さの変化に基づいて、転倒および転落の少なくともいずれかであると判定することにより、転倒および転落の検出精度を向上できる。
　また、制御部１１０は、特徴点６２０の位置に基づいて対象者５００の姿勢を推定し、所定部位の長さの変化に加えて、推定された姿勢の変化も考慮して対象者５００の行動を判定してもよい。例えば、図６の例では、制御部１１０は、上半身および下半身の長さの変化が所定の閾値以上であり、さらに特徴点６２０の位置に基づいて推定された姿勢が立位から臥位に変化した場合に、対象者５００の行動が、転倒および転落の少なくともいずれかであると判定してもよい。
　（所定部位同士の角度の変化に基づく判定）
　次に、幾何特徴として、画像６００上における対象者５００の所定部位同士の角度の変化を算出して対象者５００の行動を判定する処理の例について説明する。以下では、所定部位の長さの変化に基づく判定と同様の部分の説明は省略し、異なる部分を中心に説明する。
　制御部１１０は、複数の所定の特徴点６２０の位置関係の変化に基づいて、画像６００上における対象者５００の所定部位同士の角度の変化を算出し、所定部位同士の角度の変化に基づいて対象者５００の行動が所定の行動に含まれるか否かを判定する。複数の所定の特徴点６２０は、対象者５００の複数の所定部位それぞれに対応する複数の特徴点６２０であり、所定の行動に含まれるかどうかの判定精度の観点から、実験により、検出された特徴点６２０の中から、適当に選択され得る。所定部位同士の角度は、例えば、各所定部位に対応付けられた２つの特徴点６２０を結ぶ線同士がなす角の角度として算出され得る。以下、具体例を挙げて説明する。
　図７は、画像上における所定部位同士の角度の変化によって転倒または転落したことを判定する例を説明するための図である。
　図７の例においては、所定部位同士の角度として、上半身および下半身の角度と、膝の角度（上腿および下腿の角度）の２つの角度が設定されている。上半身および下半身の角度は、例えば、肩の中心の関節点６２１ｄと腰の中心の関節点６２１ｅとを結ぶ線（上半身に対応）と、足の先端の２つの関節点６２０ａ、６２０ｂの中央点６２１ｃと腰の中心の関節点６２１ｅとを結ぶ線（下半身に対応）とがなす角の角度として算出される。また、膝の角度は、例えば、足の付け根の関節点６２１ｆ、６２１ｇと膝の関節点６２１ｈ、６２１ｉとをそれぞれ結ぶ線（左右の上腿に対応）と、足の先端の２つの関節点６２０ａ、６２０ｂと膝の関節点６２１ｈ、６２１ｉとをそれぞれ結ぶ線（左右の下腿に対応）とがそれぞれなす角の角度として算出される。膝の角度は、両方の足の膝について算出されてもよく、片方の足の膝について算出されてもよい。
　制御部１１０は、上記のように算出される上半身および下半身の角度と膝の角度の所定の期間における変化を算出し、角度の変化が所定の関係にある場合に、対象者５００の行動が、所定の行動に含まれると判定する。例えば、制御部１１０は、算出された角度の変化が所定の閾値以上である場合に、対象者５００の行動が、所定の行動に含まれると判定する。所定の閾値は、対象者５００の行動が、所定の行動に含まれるかどうかの判定精度の観点から、実験により、適当に設定し得る。所定の閾値としては、例えば、変化の割合や変化の大きさ等が設定され得る。
　図７のＡに示すように、対象者５００が立位の姿勢である場合、上半身および下半身の角度は大きくなり、膝の角度も大きくなる。一方、図７のＢに示すように、対象者５００が臥位の姿勢である場合は、上半身および下半身の角度は小さくなり、膝の角度も小さくなる。この傾向は、対象者５００が画像上のどの領域に存在する場合にも見られる。したがって、所定部位同士の角度の変化が所定の閾値以上であれば、対象者５００の行動が、所定の行動である転倒および転落の少なくともいずれかであると判定できる。図７の例では、上半身および下半身の角度と膝の角度が所定の閾値以上に小さくなっている場合、対象者５００の行動が、転倒および転落の少なくともいずれかであると判定できる。所定の閾値としては、例えば角度の変化の割合を示す値として５０％等の値が設定されてもよく、角度の変化の大きさを示す値として３０°、４５°、９０°等の値が設定されてもよい。
　なお、図７の例では、上半身および下半身の角度と、膝の角度という２つの角度を算出する例について説明したが、算出される角度は１つでもよい。また、上半身および下半身の角度の変化に基づく判定と、膝の角度の変化に基づく判定は、それぞれ独立して実施されてもよく、あるいは組み合わせて実施されてもよい。また、算出される角度は、上半身および下半身の角度や膝の角度に限定されず、判定精度の観点から実験等により決定される任意の部位同士の角度が算出され得る。また、例えば膝のように対象者５００に複数存在する部位の角度に関する判定は、両方の膝の角度を組み合わせて合計値や平均値等について行われてもよく、あるいはいずれか一方の膝の角度について行われてもよい。
　また、制御部１１０は、上記の所定部位の長さの変化に基づく判定と同様に、幾何特徴として、画像６００上における対象者５００の位置を算出し、算出された画像６００上における対象者５００の位置に応じて、角度の変化を判定するための所定の閾値を調整してもよい。
　また、制御部１１０は、特徴点６２０の位置に基づいて対象者５００の姿勢を推定し、所定部位同士の角度の変化に加えて、推定された姿勢の変化も考慮して対象者５００の行動を判定してもよい。例えば、図７の例では、制御部１１０は、上半身および下半身の角度の変化が所定の閾値以上であり、さらに特徴点６２０の位置に基づいて推定された姿勢が立位から臥位に変化した場合に、対象者５００の行動が、転倒および転落の少なくともいずれかであると判定してもよい。
　（頭部の大きさまたは形状の変化に基づく判定）
　次に、幾何特徴として、画像６００上における対象者５００の頭部の大きさまたは形状の変化を算出して対象者５００の行動を判定する処理の例について説明する。以下では、所定部位の長さの変化に基づく判定または所定部位同士の角度の変化に基づく判定と同様の部分の説明は省略し、異なる部分を中心に説明する。
　制御部１１０は、複数の所定の特徴点６２０の位置関係の変化に基づいて、画像６００上における対象者５００の頭部の大きさまたは形状の変化を算出し、頭部の大きさまたは形状の変化に基づいて対象者５００の行動が所定の行動に含まれるか否かを判定する。複数の所定の特徴点６２０は、対象者５００の頭部に対応する複数の特徴点６２０であり、例えば頭部（頭部矩形）の２つの対頂点６２２である。この場合、頭部の大きさの変化は、例えば対頂点６２２によって規定される矩形の面積の変化として算出され得る。また、頭部の形状の変化は、例えば当該矩形のアスペクト比の変化として算出され得る。以下、具体例を挙げて説明する。
　図８は、画像上における頭部の大きさの変化によって転倒または転落したことを判定する例を説明するための図である。
　図８の例においては、頭部の大きさは、頭部の２つの対頂点６２２によって規定される矩形の面積として算出される。制御部１１０は、上記のように算出される頭部の大きさの所定の期間における変化を算出し、大きさの変化が所定の関係にある場合に、対象者５００の行動が、所定の行動に含まれると判定する。例えば、制御部１１０は、算出された大きさの変化が所定の閾値以上である場合に、対象者５００の行動が、所定の行動に含まれると判定する。所定の閾値は、対象者５００の行動が、所定の行動に含まれるかどうかの判定精度の観点から、実験により、適当に設定し得る。所定の閾値としては、例えば、変化の割合や変化の大きさ等が設定され得る。
　図８のＡに示すように、対象者５００が立位の姿勢である場合、頭部の大きさは大きくなる。一方、図８のＢに示すように、対象者５００が臥位の姿勢である場合は、頭部の大きさは小さくなる。この傾向は、対象者５００が画像上の中心領域（カメラの直下領域）に存在する程顕著になるが、中心領域以外に存在する場合にも、同様に姿勢や行動の変化による頭部の大きさの変化が見られる。したがって、頭部の大きさの変化、すなわち頭部矩形の面積の変化が所定の閾値以上であれば、制御部１１０は、対象者５００の行動が、所定の行動である転倒および転落の少なくともいずれかであると判定できる。図８の例では、頭部矩形の面積が所定の閾値以上に小さくなっている場合、対象者５００の行動が、転倒および転落の少なくともいずれかであると判定される。所定の閾値としては、例えば面積の変化の割合を示す値として５０％等の値が設定されてもよく、面積の変化の大きさを示す値として減少した画素数や画素数から算出される実際の面積等の値が設定されてもよい。
　なお、図８の例では、頭部の大きさの変化に基づいて行動が判定される例について説明したが、頭部の形状の変化に基づいて行動が判定されてもよい。例えば、カメラの直下領域に存在する対象者５００が立位の姿勢である場合、頭部矩形の形状は正方形に近くなり、アスペクト比は１：１に近い値となり得る。一方、対象者５００が臥位の姿勢にある場合、頭部矩形の形状は長辺と短辺を有する長方形に近くなり、アスペクト比は１：１から離れた値となり得る。したがって、制御部１１０は、頭部の形状の変化として頭部矩形のアスペクト比の変化を算出し、アスペクト比の変化に基づいて、対象者５００の行動が、所定の行動に含まれるか否かを判定できる。
　また、制御部１１０は、上記の所定部位の長さの変化に基づく判定と同様に、幾何特徴として、画像６００上における対象者５００の位置を算出し、算出された画像６００上における対象者５００の位置に応じて、頭部の大きさまたは形状の変化を判定するための所定の閾値を調整してもよい。
　また、制御部１１０は、特徴点６２０の位置に基づいて対象者５００の姿勢を推定し、頭部の大きさまたは形状の変化に加えて、推定された姿勢の変化も考慮して対象者５００の行動を判定してもよい。例えば、図８の例では、制御部１１０は、頭部の大きさまたは形状の変化が所定の閾値以上であり、さらに特徴点６２０の位置に基づいて推定された姿勢が立位から臥位に変化した場合に、対象者５００の行動が、転倒および転落の少なくともいずれかであると判定してもよい。
　上述した所定部位の長さの変化に基づく判定、所定部位の長さの変化に基づく判定、頭部の大きさまたは形状の変化に基づく判定に含まれる各判定は、それぞれ独立して実施されてもよく、複数の判定が組み合わせられてもよい。複数の判定が組み合わせられる場合、例えば各判定による判定結果に対して判定精度等に基づく優先度や重み付けが設定され、各判定による判定結果を総合して幾何特徴を用いた判定が行われてもよい。
　（行動に関する情報の出力処理）
　制御部１１０は、上記のような画像６００上における対象者５００の幾何特徴に基づく判定によって、対象者５００の行動が所定の行動に含まれると判定した場合、対象者５００の行動に関する情報を、通信部１２０によりサーバー２００に送信すること等により、出力する。対象者５００の行動に関する情報は、対象者５００の行動が所定の行動の少なくともいずれかであることを示す第１情報、または、人シルエットに基づき検出された所定の行動の確度（確率）が高いことを示す第２情報であり得る。第１情報は、例えば、「対象者５００の行動が、転倒および転落の少なくともいずれかである」という情報である。第２情報は、例えば、「検出された行動である確率が高い」という情報である。制御部１１０は、対象者５００の行動に関する情報と関連付けて、人シルエットに基づいて検出された、対象者５００の所定の行動を示す行動特定情報をさらにサーバー２００等に送信し得る。第１情報、第２情報、および行動特定情報には、対象者５００のＩＤ（番号）等の対象者５００を特定する情報、および画像６００の撮影時間等が含まれることで関連付けされ得る。後述するように、サーバー２００において、行動特定情報と、対象者５００の行動に関する情報と、に基づいて、対象者５００が、人シルエットに基づいて検出された所定の行動をしたという最終判断がされ得る。
　一方、制御部１１０が、人シルエットに基づいて対象者５００の所定の行動のいずれかが検出され、かつ、画像６００上における対象者５００の幾何特徴に基づいて所定の行動の少なくともいずれかであると判定された場合に、対象者５００が人シルエットに基づいて検出された所定の行動をしたという最終判断をしてもよい。この場合、制御部１１０は、対象者５００が所定の行動をしたという最終判断を示す第３情報を、対象者５００の行動に関する情報としてサーバー２００等に送信（出力）し得る。なお、行動特定情報はサーバー２００等に送信される必要はない。第３情報は、例えば、「対象者５００が転倒した」という情報である。第３情報には、対象者５００の氏名等の対象者５００を特定する情報が含まれる。
　（サーバー２００）
　図９は、サーバー２００の構成を示すブロック図である。サーバー２００は、制御部２１０、通信部２２０、および記憶部２３０を備える。各構成要素は、バスによって、相互に接続されている。
　制御部２１０および通信部２２０の基本構成は、検出部１００の対応する構成要素である、制御部１１０および通信部１２０と同様である。
　制御部２１０は、通信部２２０により、検出部１００から対象者５００の行動に関する情報を受信する。制御部２１０は、検出部１００から行動特定情報をさらに受信し得る。
　制御部２１は、対象者５００の行動に関する情報が、対象者５００の行動が所定の行動の少なくともいずれかであることを示す第１情報である場合、対象者５００が、行動特定情報が示す所定の行動をしたという最終判断をする。制御部２１は、対象者５００の行動に関する情報が、人シルエットに基づき検出された所定の行動の確度（確率）が高いことを示す第２情報である場合も、同様に、対象者５００が、行動特定情報が示す所定の行動をしたという最終判断をする。制御部２１は、行動特定情報が示す所定の行動をしたという最終判断をしたときに、対象者５００が所定の行動（例えば、転倒）をしたことをスタッフ等に通知するためのイベント通知を、携帯端末４００等に送信し得る。
　制御部２１は、対象者５００の行動に関する情報が、対象者５００の所定の行動をしたという最終判断を示す第３情報である場合、対象者５００が所定の行動をしたことをスタッフ等に通知するためのイベント通知を、携帯端末４００等に送信し得る。
　なお、サーバー２００は、検出部１００の機能の一部を代替して実施し得る。例えば、サーバー２００は、検出部１００から画像６００を受信し、画像６００から人シルエットを検出し、人シルエットに基づいて、対象者５００の所定の行動を検出する。対象者５００の所定の行動が検出されたときに、人物領域６１０を検出して、人物領域６１０に基づいて、特徴点６２０を検出する。そして、特徴点６２０に基づいて画像６００上における対象者５００の幾何特徴を算出し、幾何特徴に基づいて、人シルエットに基づいて検出された対象者５００の所定の行動が、所定の行動に含まれる行動かどうか判定し得る。
　（携帯端末４００）
　図１０は、携帯端末４００の構成を示すブロック図である。携帯端末４００は、制御部４１０、無線通信部４２０、表示部４３０、入力部４４０、および音声入出力部４５０を備える。各構成要素は、バスにより相互に接続されている。携帯端末４００は、例えば、タブレット型コンピューター、スマートフォン、または携帯電話等の通信端末機器によって構成され得る。
　制御部４１０は、検出部１００の制御部１１０の構成と同様に、ＣＰＵ、ＲＡＭ、ＲＯＭなどの基本構成を備える。
　無線通信部４２０は、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの規格による無線通信を行う機能を有し、アクセスポイントを経由して、または直接に各装置と無線通信する。無線通信部４２０は、イベント通知をサーバー２００から受信する。
　表示部４３０および入力部４４０は、タッチパネルであり、液晶などで構成される表示部４３０の表示面に、入力部４４０としてのタッチセンサーが設けられる。表示部４３０、入力部４４０によって、イベント通知を表示する。そして、イベント通知に関する対象者５００への対応を促す入力画面を表示するとともに、当該入力画面に入力された、スタッフによるイベント通知への対応の意思を受け付ける。
　音声入出力部４５０は、例えばスピーカーとマイクであり、無線通信部４２０を介して他の携帯端末４００との間でスタッフ相互間の音声通話を可能にする。また、音声入出力部４５０は、無線通信部４２０を介して検出部１００との間で音声通話を可能にする機能を備え得る。
　画像認識システム１０の動作について説明する。
　図１１は、画像認識システム１０の動作を示すフローチャートである。本フローチャートは、プログラムに従い、制御部１１０により実行される。
　制御部１１０は、画像６００から検出した人シルエットに基づいて、対象者５００の所定の行動を検出したことを契機に、画像６００に基づいて、対象者５００の特徴点６２０を検出する（Ｓ１０１）。
　制御部１１０は、検出された特徴点６２０に基づいて、画像６００上における対象者５００の幾何特徴を算出する（Ｓ１０２）。
　制御部１１０は、幾何特徴を用いて、対象者５００の行動が所定の行動である、転倒および転落の少なくともいずれかであるかどうか（転倒および転落に含まれるかどうか）を判定する（Ｓ１０３）。
　制御部１１０は、対象者５００の行動が所定の行動である、転倒および転落のいずれでもないと判定した場合は（Ｓ１０４：ＮＯ）、処理を終了する。
　制御部１１０は、対象者５００の行動が所定の行動である、転倒および転落の少なくともいずれかであると判定した場合は（Ｓ１０４：ＹＥＳ）、対象者の行動に関する情報をサーバー２００へ送信することで出力する（Ｓ１０５）。
　実施形態は以下の効果を奏する。
　撮影された画像に基づいて対象者の特徴点を検出し、検出された特徴点に基づいて画像上における対象者の幾何特徴を算出し、算出された幾何特徴を用いて、対象者の行動が所定の行動に含まれるか判定し、含まれると判定したときに対象者の行動に関する情報を出力する。これにより、画像上における対象者の幾何特徴を考慮して対象者の行動を判定できるため、対象者の行動の推定精度を向上できる。
　また、複数の特徴点の位置関係の変化に基づいて、幾何特徴として、画像上における対象者の所定部位の長さの変化を算出し、対象者の所定部位の長さの変化に基づいて対象者の行動が所定の行動に含まれる行動であるか否かを判定する。これにより、画像上における対象者の所定部位の長さの変化を考慮して対象者の行動を判定できるため、対象者の行動の推定精度を向上できる。
　また、複数の特徴点の位置関係の変化に基づいて、幾何特徴として、画像上における対象者の所定部位同士の角度の変化を算出し、対象者の所定部位同士の角度の変化に基づいて対象者の行動が所定の行動に含まれる行動であるか否かを判定する。これにより、画像上における対象者の所定部位同士の角度の変化を考慮して対象者の行動を判定できるため、対象者の行動の推定精度を向上できる。
　また、複数の特徴点の位置関係の変化に基づいて、幾何特徴として、画像上における対象者の頭部の大きさまたは形状の変化を算出し、対象者の頭部の大きさまたは形状の変化に基づいて対象者の行動が所定の行動に含まれる行動であるか否かを判定する。これにより、画像上における対象者の頭部の大きさまたは形状を考慮して対象者の行動を判定できるため、対象者の行動の推定精度を向上できる。
　また、幾何特徴として、画像上における対象者の位置を算出し、画像上における対象者の位置を考慮して対象者の行動が所定の行動に含まれる行動であるか否かを判定する。これにより、対象者の位置によらず、画像に基づいて対象者の行動の推定精度に向上できる。
　また、検出された特徴点に基づいて、対象者の姿勢を推定し、幾何特徴および姿勢を用いて、対象者の行動が所定の行動に含まれる行動であるか否かを判定する。これにより、幾何特徴に加えて推定された姿勢を考慮して対象者の行動を判定できるため、対象者の行動の推定精度をさらに向上できる。
　また、所定の行動は転倒および転落であり、対象者の行動が、転倒および転落の少なくともいずれかであるかどうか判定する。これにより、対象者の転倒または転倒に関する推定精度を向上できる。
　撮影装置は広角カメラであり、画像は、所定の領域を俯瞰する位置に設置された広角カメラにより撮影された所定の領域を含む画像である。これにより、より効果的に、撮影された画像に基づく対象者の行動の推定精度を向上できる。
　以上に説明した画像認識システム１０の構成は、上述の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上述の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な画像認識システムが備える構成を排除するものではない。
　例えば、検出部１００、サーバー２００、および携帯端末４００は、それぞれ複数の装置により構成されてもよく、いずれか複数の装置が単一の装置として構成されてもよい。
　また、上述したフローチャートは、一部のステップを省略してもよく、他のステップが追加されてもよい。また各ステップの一部は同時に実行されてもよく、一つのステップが複数のステップに分割されて実行されてもよい。
　また、上述した画像認識システム１０における各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）－ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、一機能としてその検出部等の装置のソフトウエアに組み込まれてもよい。
　本出願は、２０１９年８月２０日に出願された日本特許出願（特願２０１９－１５０６１９号）に基づいており、その開示内容は、参照され、全体として、組み入れられている。

Claims (10)

  1. 　撮影装置により撮影された、対象者を含む画像に基づいて、前記対象者の体に関する特徴点を検出する特徴点検出部と、
    　検出された前記特徴点に基づいて、前記画像上における前記対象者の幾何特徴を算出する算出部と、
    　算出された前記幾何特徴を用いて、前記対象者の行動が所定の行動に含まれる行動であるか否かを判定する判定部と、
    　前記判定部により、前記対象者の行動が前記所定の行動に含まれる行動であると判定された場合に、前記対象者の行動に関する情報を出力する出力部と、
    　を有する画像処理システム。
  2. 　前記算出部は、複数の前記特徴点の位置関係の変化に基づいて、前記幾何特徴として、前記画像上における前記対象者の所定部位の長さの変化を算出し、
    　前記判定部は、前記対象者の所定部位の長さの変化に基づいて前記対象者の行動が前記所定の行動に含まれる行動であるか否かを判定する請求項１に記載の画像処理システム。
  3. 　前記算出部は、複数の前記特徴点の位置関係の変化に基づいて、前記幾何特徴として、前記画像上における前記対象者の所定部位同士の角度の変化を算出し、
    　前記判定部は、前記対象者の所定部位同士の角度の変化に基づいて前記対象者の行動が前記所定の行動に含まれる行動であるか否かを判定する請求項１または２に記載の画像処理システム。
  4. 　前記算出部は、複数の前記特徴点の位置関係の変化に基づいて、前記幾何特徴として、前記画像上における前記対象者の頭部の大きさまたは形状の変化を算出し、
    　前記判定部は、前記対象者の頭部の大きさまたは形状の変化に基づいて前記対象者の行動が前記所定の行動に含まれる行動であるか否かを判定する請求項１～３のいずれか一項に記載の画像処理システム。
  5. 　前記算出部は、前記幾何特徴として、前記画像上における前記対象者の位置を算出し、
    　前記判定部は、前記画像上における前記対象者の位置を考慮して前記対象者の行動が前記所定の行動に含まれる行動であるか否かを判定する請求項１～４のいずれか一項に記載の画像処理システム。
  6. 　前記検出部によって検出された前記特徴点に基づいて、前記対象者の姿勢を推定する推定部をさらに有し、
    　前記判定部は、前記幾何特徴および前記姿勢を用いて、前記対象者の行動が前記所定の行動に含まれる行動であるか否かを判定する請求項１～５のいずれか一項に記載の画像処理システム。
  7. 　前記所定の行動は転倒および転落であり、
    　前記判定部は、前記対象者の行動が、転倒および転落の少なくともいずれかであるかどうか判定する、請求項１～６のいずれか一項に記載の画像処理システム。
  8. 　前記撮影装置は広角カメラであり、前記画像は、所定の領域を俯瞰する位置に設置された前記広角カメラにより撮影された前記所定の領域を含む画像である、請求項１～７のいずれか一項に記載の画像処理システム。
  9. 　撮影装置により撮影された、対象者を含む画像に基づいて、前記対象者の体に関する特徴点を検出する手順（ａ）と、
    　検出された前記特徴点に基づいて、前記画像上における前記対象者の幾何特徴を算出する手順（ｂ）と、
    　算出された前記幾何特徴を用いて、前記対象者の行動が所定の行動に含まれる行動であるか否かを判定する手順（ｃ）と、
    　前記手順（ｃ）において、前記対象者の行動が前記所定の行動に含まれる行動であると判定された場合に、前記対象者の行動に関する情報を出力する手順（ｄ）と、
    　を有する処理をコンピューターに実行させるための画像処理プログラム。
  10. 　画像処理システムに実行させる方法であって、
    　撮影装置により撮影された、対象者を含む画像に基づいて、前記対象者の体に関する特徴点を検出する段階（ａ）と、
    　検出された前記特徴点に基づいて、前記画像上における前記対象者の幾何特徴を算出する段階（ｂ）と、
    　算出された前記幾何特徴を用いて、前記対象者の行動が所定の行動に含まれる行動であるか否かを判定する段階（ｃ）と、
    　前記段階（ｃ）において、前記対象者の行動が前記所定の行動に含まれる行動であると判定された場合に、前記対象者の行動に関する情報を出力する段階（ｄ）と、
    　を有する画像処理方法。
PCT/JP2020/030587 2019-08-20 2020-08-11 画像処理システム、画像処理プログラム、および画像処理方法 WO2021033597A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021540740A JP7388440B2 (ja) 2019-08-20 2020-08-11 画像処理システム、画像処理プログラム、および画像処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-150619 2019-08-20
JP2019150619 2019-08-20

Publications (1)

Publication Number Publication Date
WO2021033597A1 true WO2021033597A1 (ja) 2021-02-25

Family

ID=74661133

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/030587 WO2021033597A1 (ja) 2019-08-20 2020-08-11 画像処理システム、画像処理プログラム、および画像処理方法

Country Status (2)

Country Link
JP (1) JP7388440B2 (ja)
WO (1) WO2021033597A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0225180B2 (ja) * 1979-07-31 1990-05-31 Ricoh Kk
WO2015033576A1 (ja) * 2013-09-06 2015-03-12 日本電気株式会社 セキュリティシステム、セキュリティ方法及び非一時的なコンピュータ可読媒体
WO2016143641A1 (ja) * 2015-03-06 2016-09-15 コニカミノルタ株式会社 姿勢検知装置および姿勢検知方法
JP2017091552A (ja) * 2015-06-09 2017-05-25 コニカミノルタ株式会社 行動検知装置および行動検知方法ならびに被監視者監視装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6525180B1 (ja) * 2018-04-11 2019-06-05 株式会社アジラ 対象数特定装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0225180B2 (ja) * 1979-07-31 1990-05-31 Ricoh Kk
WO2015033576A1 (ja) * 2013-09-06 2015-03-12 日本電気株式会社 セキュリティシステム、セキュリティ方法及び非一時的なコンピュータ可読媒体
WO2016143641A1 (ja) * 2015-03-06 2016-09-15 コニカミノルタ株式会社 姿勢検知装置および姿勢検知方法
JP2017091552A (ja) * 2015-06-09 2017-05-25 コニカミノルタ株式会社 行動検知装置および行動検知方法ならびに被監視者監視装置

Also Published As

Publication number Publication date
JP7388440B2 (ja) 2023-11-29
JPWO2021033597A1 (ja) 2021-02-25

Similar Documents

Publication Publication Date Title
JP7271915B2 (ja) 画像処理プログラムおよび画像処理装置
JP6717235B2 (ja) 見守り支援システム及びその制御方法
US11298050B2 (en) Posture estimation device, behavior estimation device, storage medium storing posture estimation program, and posture estimation method
JP6984712B2 (ja) 被監視者監視システムおよび被監視者監視システムのプログラム
JP2022165483A (ja) 検出装置、検出システム、検出方法、および検出プログラム
JP6115692B1 (ja) 行動検知装置、該方法および該プログラム、ならびに、被監視者監視装置
JP6048630B1 (ja) 行動検知装置および行動検知方法ならびに被監視者監視装置
CN113366529A (zh) 护理记录装置、护理记录系统、护理记录程序及护理记录方法
JP2019121045A (ja) 姿勢推定システム、行動推定システム、および姿勢推定プログラム
WO2021033453A1 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP7314939B2 (ja) 画像認識プログラム、画像認識装置、学習プログラム、および学習装置
JP7347577B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP7243725B2 (ja) 対象物体検出プログラム、および対象物体検出装置
WO2021033597A1 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP7500929B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
WO2021024691A1 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP2020013185A (ja) 見守り装置および見守り装置の制御プログラム
JPWO2016181731A1 (ja) 転倒検知装置および転倒検知方法ならびに被監視者監視装置
JP2021065617A (ja) 画像処理装置および画像処理プログラム
JP2024093174A (ja) 自傷行為検出装置、自傷行為検出システム、自傷行為検出プログラム、および自傷行為検出方法
JP2024093173A (ja) 画像処理装置、画像処理システム、画像処理プログラム、および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20854345

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021540740

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20854345

Country of ref document: EP

Kind code of ref document: A1