WO2018030024A1 - 見守りシステム、見守り装置、見守り方法、および見守りプログラム - Google Patents

見守りシステム、見守り装置、見守り方法、および見守りプログラム Download PDF

Info

Publication number
WO2018030024A1
WO2018030024A1 PCT/JP2017/023972 JP2017023972W WO2018030024A1 WO 2018030024 A1 WO2018030024 A1 WO 2018030024A1 JP 2017023972 W JP2017023972 W JP 2017023972W WO 2018030024 A1 WO2018030024 A1 WO 2018030024A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
area
condition
stationary
subject
Prior art date
Application number
PCT/JP2017/023972
Other languages
English (en)
French (fr)
Inventor
謙太 嶋村
早田　啓介
保理江　大作
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to JP2018532868A priority Critical patent/JP6922914B2/ja
Priority to EP17839098.5A priority patent/EP3499477A4/en
Publication of WO2018030024A1 publication Critical patent/WO2018030024A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G12/00—Accommodation for nursing, e.g. in hospitals, not covered by groups A61G1/00 - A61G11/00, e.g. trolleys for transport of medicaments or food; Prescription lists
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/0423—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting deviation from an expected pattern of behaviour or schedule
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/043—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting an emergency event, e.g. a fall
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/016—Personal emergency signalling and security systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/08—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • This disclosure relates to technology for watching the behavior of care recipients who need care for elderly people and patients.
  • Watching systems for watching the actions of care recipients who need care are widespread.
  • the watching system detects that the cared person is in danger of falling, and notifies the caregiver of this. Thereby, the caregiver can run to the care receiver.
  • Patent Document 1 discloses a fall detection device that can accurately detect a fall of a person.
  • the fall detection device calculates a difference area between time-series input images, and calculates an area of a difference region in which a pixel value exceeds a predetermined value in a difference image obtained as a difference result.
  • the fall detection device notifies the fall of a person based on the fact that the area exceeds a predetermined threshold. That is, the fall detection device notifies the fall of the person based on the detection of the amount of movement that instantaneously increases when the person falls.
  • the present disclosure has been made to solve the above-described problems, and an object in one aspect is to provide a monitoring system capable of more accurately detecting that a care recipient is in danger. It is to be. An object in another aspect is to provide a monitoring device that can more accurately detect that a care recipient is in danger. Still another object of the present invention is to provide a monitoring method that can more accurately detect that a care recipient is in danger. Still another object of the present invention is to provide a watching program that can more accurately detect that a care recipient is in danger.
  • the watching system includes a photographing unit for photographing a subject, and a storage unit for storing information defining a dangerous spot set for a reference image obtained by photographing the subject.
  • a person detection unit for sequentially detecting a person area representing a person from a series of input images obtained by continuously photographing the subject from the same viewpoint as the reference image, and the person area and the dangerous part
  • An informing unit for informing that the person is in danger when the overlapping first condition and the second condition in which the person is stationary for a predetermined time or more are satisfied.
  • the watching device capable of connecting a photographing unit for photographing a subject stores information that defines a dangerous place set for a reference image obtained by photographing the subject. And a person detection unit for sequentially detecting a person area representing a person from a series of input images obtained by continuously photographing the subject from the same viewpoint as the reference image, and the person area And a notifying unit for notifying that the person is in danger when the first condition where the dangerous places overlap and the second condition where the person is stationary for a predetermined time or more is satisfied.
  • the watching method includes a step of preparing information defining a dangerous spot set for a reference image obtained by photographing the subject, and continuously monitoring the subject from the same viewpoint as the reference image. Sequentially detecting a person area representing a person from a series of input images obtained by photographing, a first condition in which the person area and the dangerous part overlap, and the person is stationary for a predetermined time or more And notifying that the person is in danger when the second condition is satisfied.
  • the watching program prepares information specifying a dangerous spot set for the reference image obtained by photographing the subject in the computer, and the subject from the same viewpoint as the reference image. Sequentially detecting a person area representing a person from a series of input images obtained by continuously photographing the image, a first condition in which the person area and the dangerous part overlap, and the person is not less than a predetermined time And a step of notifying that the person is in danger when the second condition of stationary is satisfied.
  • FIG. 1 is a diagram illustrating an example of a device configuration of the watching system 500.
  • the watching system 500 is used to watch over the care recipient 10 who is a watching target person (monitoring target person).
  • the watching system 500 includes a camera 50 as a photographing unit, a watching device 100, and a mobile terminal 200.
  • the camera 50, the watching device 100, and the mobile terminal 200 are connected via a network.
  • the camera 50 is installed in, for example, a nursing facility, a medical facility, or a home.
  • the camera 50 may be attached to the ceiling or to the side wall.
  • the camera 50 is attached to the ceiling and images the care receiver 10 and the bed 20 from the ceiling.
  • a near infrared camera is used as the camera 50.
  • the near-infrared camera includes an IR (Infrared) projector that projects near-infrared light. By using the near-infrared camera, the cared person 10 can be photographed even at night.
  • a normal camera that receives only visible light is used as the camera 50.
  • a 3D sensor or a thermography is used as the camera 50.
  • the watching device 100 detects a danger occurring in the care receiver 10 based on a series of images (that is, videos) obtained from the camera 50.
  • the detectable danger includes a situation where the cared person 10 falls, a state where the cared person 10 is present at a dangerous part (for example, a bed fence or the like), and the like.
  • the watch device 100 When the watching device 100 detects that the care recipient 10 is in danger, the watch device 100 notifies the caregiver 11 of the fact.
  • the monitoring device 100 notifies the care receiver 11 of the danger of the care recipient 10 to the mobile terminal 200 of the caregiver 11.
  • the mobile terminal 200 receives the notification, the mobile terminal 200 notifies the caregiver 11 of the danger of the care recipient 10 by a message or voice. Thereby, the care giver 11 can immediately grasp that the care recipient 10 is in danger and can quickly rush to the care recipient 10.
  • FIG. 1 illustrates an example in which the watching system 500 includes one camera 50, but the watching system 500 may include a plurality of cameras 50.
  • 1 shows an example in which the watching system 500 includes one watching device 100, but the watching system 500 may include a plurality of watching devices 100.
  • the camera 50 and the monitoring device 100 are configured as separate devices, but the camera 50 and the monitoring device 100 may be configured integrally.
  • FIG. 1 shows an example in which the watching system 500 includes a plurality of mobile terminals 200, but the watching system 500 may be configured by one mobile terminal 200.
  • Watching apparatus 100 accepts in advance a setting of a location (hereinafter also referred to as “dangerous location”) that may pose a danger to the care recipient with respect to a reference image obtained by photographing the subject.
  • a location hereinafter also referred to as “dangerous location”
  • the term “subject” as used herein refers to what is included in the field of view of the camera 50. That is, the subject includes a person such as a care recipient or an object such as a bed or a floor.
  • the monitoring device 100 determines that the cared person has fallen when the cared person is stationary for a predetermined time or more at the danger point set for the reference image, Notify the caregiver that the care recipient is at risk. In this way, whether or not there is a danger to the care recipient is determined based on the danger spot set in advance for the reference image.
  • FIG. 2 is a diagram illustrating an example of the dangerous spot setting screen 25.
  • the watching device 100 displays the setting screen 25 on the display 106 based on the reception of the call operation of the setting screen 25.
  • the setting screen 25 includes a reference image 30 obtained by photographing a subject, a selection area 45 for selecting the type of object, a registration button 46, and a cancel button 47.
  • the selection area 45 includes, for example, a plurality of radio buttons. Associated with each radio button is an object that can pose a danger to the caregiver.
  • the administrator selects a setting target object from the objects indicated in the selection area 45.
  • the manager designates a dangerous spot where the selected object is shown on the reference image 30.
  • the dangerous place is designated by a mouse operation or a touch operation, for example. In the example of FIG. 2, the dangerous place is designated by a pointer 332 that is linked to a mouse operation.
  • the administrator designates a bed area as a dangerous place
  • the administrator selects “Bed” in the selection area 45 and designates points 41A to 41D by operating the mouse.
  • the points 41A to 41D are designated by a mouse click operation, for example.
  • the administrator selects “floor” in the selection area 45 and designates the points 43A to 43F by operating the mouse.
  • the points 43A to 43F are designated by clicking the mouse, for example.
  • FIG. 3 is a diagram illustrating an example of the data structure of the layout information 124.
  • the coordinate value of each point designated for the reference image 30 is associated with each object.
  • the coordinate value of the points 41A to 41D is associated with the object name “bed”.
  • the coordinate value of the points 43A to 43F is associated with the object name “floor”.
  • the watching device 100 closes the setting screen 25 without saving the setting made on the setting screen 25.
  • the monitoring device 100 detects a person area in which the cared person is shown in the input image in order to detect that the cared person is in danger.
  • the watching device 100 includes a first condition (hereinafter, also referred to as “position condition”) in which a person area in an input image overlaps a dangerous place defined in the layout information 124 (see FIG. 3) described above.
  • position condition a first condition
  • second condition hereinafter also referred to as “stationary condition” in which the cared person is stationary for a predetermined time or more is satisfied, the cared person is notified of the danger.
  • FIG. 4 is a diagram showing a series of input images 30A to 30E obtained by continuously photographing a subject.
  • FIG. 5 is a graph showing temporal changes in the amount of movement of the cared person 10 shown in FIG.
  • the predetermined value Th1 is a threshold value for determining whether or not the care recipient 10 is stationary.
  • the predetermined value Th1 may be set in advance or may be arbitrarily set by an administrator.
  • the cared person 10 is walking on the floor area 43 during times T2 to T3.
  • the person area detected for the input image 30B and the floor area 43 set as the dangerous place overlap the above-described position condition is satisfied.
  • the movement amount of the care recipient 10 is larger than the predetermined value Th1, the stationary condition is not satisfied. Since both the position condition and the stationary condition are not satisfied, the watching device 100 determines that there is no danger for the care recipient.
  • the watching device 100 starts measuring the rest time ⁇ T of the care receiver based on the fact that the sequentially detected movement amount becomes equal to or less than the predetermined value Th1.
  • the stationary time ⁇ T is equal to or longer than the predetermined time Th2
  • the stationary condition in which the care receiver is stationary for the predetermined time or longer is satisfied.
  • the predetermined time Th2 may be set in advance or may be arbitrarily set by the administrator.
  • the watching apparatus 100 notifies the care receiver that a danger has occurred.
  • the watching device 100 includes a position condition (first condition) where the detected person area and the set danger point overlap, and a stationary condition (first condition) where the care recipient is stationary for a predetermined time or more. 2 condition) is satisfied, the cared person 10 is informed that there is a danger.
  • the first condition is satisfied when all the person areas overlap with the floor area 43 has been described. However, when a part of the person area overlaps with the floor area 43, the first condition is satisfied.
  • One condition may be satisfied. That is, the first condition in which part or all of the pixel group in the person area is included in the floor area 43 is satisfied.
  • the watching device 100 may determine the danger of the care recipient 10 based on the bed area 41 set as a dangerous spot. As an example, when the cared person 10 is straddling the fence of the bed 20, the watching device 100 notifies the cared person 10 of the danger, assuming that the cared person 10 is taking a dangerous action. In this case, the position condition is satisfied when the detected person area overlaps the end of the bed area 41. Since the fence is likely to be installed on the short side portion of the bed, the fence is preferably filled when the detected person area overlaps the short side of the bed area 41. The short side of the bed area is detected by image processing such as edge detection.
  • the threshold for the position condition (that is, the predetermined value Th1) is different between the danger detection using the bed area 41 and the danger detection using the floor area 43.
  • the threshold value for the stationary condition (that is, the predetermined time Th2) may be different between the danger detection using the bed area 41 and the danger detection using the floor area 43.
  • FIG. 6 is a diagram showing a series of input images 40A to 40D obtained by continuously photographing a subject.
  • FIG. 7 is a graph showing a temporal change in the amount of movement of the cared person 10 shown in FIG. Since the movement of the care receiver 10 other than the times T13 to T14 shown in FIGS. 6 and 7 is as described in FIG. 4, the description thereof will not be repeated below.
  • the watching device 100 can suppress notification of the danger of the care recipient 10 by an operation other than such a fall by determining whether or not the stationary condition is satisfied. This reduces false alarms and reduces the caregiver's burden.
  • FIG. 8 is a block diagram illustrating an example of a functional configuration of the watching device 100.
  • the watching device 100 includes a control device 101.
  • the control device 101 includes a person detection unit 150, a first determination unit 152, a movement amount detection unit 154, a measurement unit 156, a second determination unit 158, and a notification unit 160 as functional configurations.
  • these functional configurations will be described in order.
  • the person detection unit 150 is a person region representing a person from a series of input images 60 obtained by continuously photographing a subject from the same viewpoint as the above-described reference image 30 (see FIG. 2) used for setting a dangerous place. Are detected sequentially. That is, pixels indicated by the same coordinate value in the reference image 30 and the input image 60 indicate the same position.
  • FIG. 9 is a conceptual diagram schematically showing inter-frame difference processing.
  • FIG. 9 shows input images 60A to 60C as an example of the input image 60.
  • the input images 60A to 60C are a series of images with continuous shooting times.
  • the person detection unit 150 acquires the input images 60A and 60B from the camera 50, the person detection unit 150 subtracts the other from one of the input images 60A and 60B. As a result, a difference image 60AB is obtained.
  • the person detection unit 150 detects a pixel group having a pixel value greater than or equal to a predetermined value from the difference image 60AB, and extracts the pixel group as a moving object. Next, when the size of the extracted moving object is within a predetermined threshold range, the person detection unit 150 sets the moving object as the person region 10A.
  • the threshold range is defined by at least one of an upper limit value and a lower limit value. The threshold range is appropriately adjusted according to the positional relationship between the camera 50 and the care recipient 10.
  • the person detection unit 150 when acquiring the input images 60B and 60C from the camera 50, the person detection unit 150 subtracts the other from one of the input images 60B and 60C. As a result, a difference image 60BC is obtained.
  • the person detection unit 150 detects a pixel group having a pixel value greater than or equal to a predetermined value from the difference image 60BC, and extracts the pixel group as a moving object. Next, when the size of the extracted moving object is within a predetermined threshold range, the person detection unit 150 sets the moving object as the person region 10B.
  • the person area detection method is not limited to the interframe difference.
  • the person detection unit 150 may detect a person region by optical flow, tracking, or other image processing techniques.
  • the first determination unit 152 determines whether or not the above-described position condition is satisfied. Whether or not the position condition is satisfied is determined based on the positional relationship between the person area detected by the person detection unit 150 and the dangerous spot set for the reference image. More specifically, the first determination unit 152 determines that the position condition (first condition) is satisfied when the detected person area and the dangerous place overlap. At this time, the first determination unit 152 may determine that the position condition is satisfied when the entire person area overlaps the dangerous part, or when the part of the person area overlaps the dangerous part. It may be determined that the position condition is satisfied.
  • the first determination unit 152 determines whether or not the position condition is satisfied every time the person region is detected by the person detection unit 150. Thereby, it is sequentially determined whether or not the position condition is satisfied.
  • the determination result by the first determination unit 152 is output to the notification unit 160.
  • the movement amount detection unit 154 sequentially detects the movement amount of the care recipient from a series of input images.
  • the movement amount detection unit 154 detects the movement amount of the care recipient based on the difference image obtained by the inter-frame difference.
  • the difference image 60AB is a result of the difference between the input images 60A and 60B.
  • the movement amount detection unit 154 counts pixels having pixel values greater than or equal to a predetermined value from the difference image 60AB, and detects the count number of the pixels as the movement amount.
  • the movement amount detection unit 154 counts pixels having a pixel value greater than or equal to a predetermined value from the difference image 60BC, and detects the count number of the pixels as the movement amount.
  • the detected movement amount is sequentially output to the measurement unit 156.
  • the movement amount detection unit 154 may detect the temporal change amount of the coordinate value of the person area detected by the person detection unit 150 as the movement amount of the care recipient. More specifically, the movement amount detection unit 154 sequentially acquires coordinate values in the person area (for example, the center point and the center of gravity of the person area) from the person detection unit 150, and the temporal change in the coordinate values. The amount is detected as the amount of movement of the care recipient. Alternatively, the movement amount detection unit 154 may detect the movement amount of the care recipient by optical flow, tracking, or other image processing techniques.
  • the measuring unit 156 measures the stationary time of the care recipient. Various methods can be considered as a method of measuring the stationary time by the measuring unit 156. Below, with reference to FIG. 10, an example of the measuring method of the stationary time by the measurement part 156 is demonstrated.
  • FIG. 10 is a diagram illustrating an input image 30D representing that the care receiver 10 is falling.
  • the measurement unit 156 is configured to include an area so that a person area is included in the input image 30D in which the movement amount is equal to or less than the predetermined value Th1, based on the movement amount of the cared person sequentially detected being equal to or less than the predetermined value Th1.
  • Set AR The measurement unit 156 continues to measure the stationary time while the area AR includes the human regions 12 that are sequentially detected thereafter.
  • the measuring unit 156 interrupts the measurement of the stationary time when the human area 12 that is sequentially detected thereafter overlaps the area AR.
  • the area AR is set when the cared person 10 stops, and the stationary time is measured while the cared person 10 remains in the area AR.
  • the stationary time is continuously measured even when the care recipient 10 is moving on the spot (for example, wearing the body).
  • the measuring unit 156 continues measuring the resting time while the movement amount of the care recipient 10 is equal to or less than the predetermined value Th1. That is, the measurement unit 156 starts measuring the stationary time based on the fact that the movement amount sequentially detected by the movement amount detection unit 154 is equal to or less than the predetermined value Th1 (see FIG. 5), and within the area AR While the amount of movement of the cared person 10 is equal to or less than the predetermined value Th1, the measurement of the stationary time is continued.
  • the measurement unit 156 starts measuring the stationary time based on the fact that the sequentially detected movement amount has changed from the predetermined value Th3 that is larger than the predetermined value Th1 to a state that is equal to or less than the predetermined value Th1.
  • the measurement of the stationary time is started based on the predetermined values Th1 and Th3, so that A caregiver falls is detected.
  • the second determination unit 158 determines whether or not the above stationary condition is satisfied. Whether or not the stationary condition is satisfied is determined based on the stationary time measured by the measuring unit 156. More specifically, the second determination unit 158 determines that the stationary condition (second condition) is satisfied when the measured stationary time is equal to or longer than a predetermined time Th2 (see FIG. 5).
  • the second determination unit 158 sequentially acquires the stationary time from the measuring unit 156, and determines that the stationary condition is satisfied when the sequentially acquired stationary time is equal to or longer than the predetermined time Th2. Thereby, the fall of the care recipient is immediately detected.
  • the notification unit 160 notifies that the cared person is in danger when the position condition (first condition) and the second condition (second condition) are satisfied at the same time.
  • the notification unit 160 notifies the care receiver's mobile terminal 200 (see FIG. 1) that there is a danger to the care recipient.
  • the mobile terminal 200 informs the caregiver by a message, voice, or the like that the care recipient is in danger. Thereby, the caregiver can immediately grasp that the care recipient is in danger and can quickly rush to the care receiver.
  • the notification unit 160 monitors a message indicating that a care recipient is in danger and displays the message on the display 106 (see FIG. 14) of the device 100. Moreover, the alerting
  • FIG. 11 is a diagram illustrating a difference in how a cared person appears in the input image due to a difference in the positional relationship between the cared person 10 and the camera 50.
  • the camera 50 is installed at a height HA from the ground.
  • the camera 50 is installed at a height HB from the ground.
  • the height HB is higher than the height HA. It is assumed that the cared person 10 moves a distance L under these conditions.
  • the cared person 10 moves by the distance L
  • the cared person 10 moves by the distance LA in the input image 70A.
  • the cared person 10 has moved by the distance LB.
  • the amount of movement of the cared person 10 in the input images 70 ⁇ / b> A and 70 ⁇ / b> B varies depending on the positional relationship between the camera 50 and the cared person 10.
  • the watching device 100 corrects the movement amount detected from the input image to the movement amount in the real space based on the installation information of the camera 50, and the stationary condition is satisfied based on the corrected movement amount. It is determined whether or not. Thereby, the watching apparatus 100 can detect the danger of a care receiver more accurately.
  • the installation information of the camera 50 is set by the administrator when the camera 50 is installed.
  • the installation information that can be set includes, for example, the height of the ceiling, the height of the cared person (for example, the height at the time of falling, the height of the cared person, etc.), the shooting direction, and the like.
  • the angle of view, the number of pixels, the distortion, the projection method, and the like of the camera 50 may be set.
  • the walking speed of the care recipient may be set.
  • the content set by the administrator is written in the above-described layout information 124 (see FIG. 3), for example.
  • the monitoring device 100 corrects the movement amount of the care receiver 10 in the input image to increase as the distance between the camera 50 and the care receiver 10 decreases.
  • the watching device 100 corrects the movement amount of the cared person 10 in the input image to decrease as the distance between the camera 50 and the cared person 10 increases.
  • FIG. 12 is a diagram for explaining a method for calculating the distance between the camera 50 and the care receiver 10.
  • the watching device 100 calculates the angle ⁇ between the optical axis direction of the camera 50 and the direction from the camera 50 toward the care receiver 10 based on the following formulas (1) and (2).
  • ⁇ 0 shown in Expression (1) represents an angle of view per pixel of the input image 70. “ ⁇ 0 ” is set in advance. “R” shown in Expression (1) represents the distance between the point P 0 and the point P 1 in the input image 70. Point P 0 represents the central pixel in the input image 70. Point P 1 represents the position of the cared person 10 in the input image 70. “X 0 ” shown in Expression (2) represents the x coordinate of the point P 0 in the input image 70.
  • “Y 0 ” shown in Expression (2) represents the y coordinate of the point P 0 in the input image 70.
  • X 1 shown in Expression (2) represents the x coordinate of the point P 1 in the input image 70.
  • Y 1 shown in Expression (2) represents the y coordinate of the point P 1 in the input image 70.
  • the distance D between the camera 50 and the care recipient 10 is calculated based on the following formulas (3) and (4).
  • H1 H ⁇ H2 (4)
  • H shown in Expression (4) represents a distance between the ground and the camera 50 in the vertical direction.
  • H1 shown in Expression (4) represents the distance between the care receiver 10 and the camera 50 when the care receiver 10 falls.
  • H2 represents the distance between the cared person 10 and the ground when the cared person 10 falls.
  • H and “H2” shown in Expression (4) are set in advance by the administrator.
  • H1” shown by Formula (3) may be preset by the administrator.
  • FIG. 13 is a flowchart showing a part of processing executed by the watching device 100.
  • the processing in FIG. 13 is realized by the control device 101 (see FIG. 8) of the watching device 100 (computer) executing a program. In other aspects, some or all of the processing may be performed by circuit elements or other hardware.
  • step S110 the control device 101 acquires an input image obtained by photographing the subject from the camera 50 (see FIG. 1). Each time the process of step S110 is executed, a new input image is acquired.
  • step S112 the control device 101 detects the person area representing the care recipient in the input image as the above-described person detection unit 150 (see FIG. 8).
  • the person area detection method is as described in FIG.
  • step S120 the control apparatus 101 determines whether the above-described position condition is satisfied as the above-described first determination unit 152 (see FIG. 8).
  • the control apparatus 101 determines that the position condition is satisfied when the danger area set in advance for the above-described reference image 30 (see FIG. 2) overlaps the person area detected in step S112.
  • control device 101 determines that the position condition is satisfied (YES in step S120)
  • control device 101 switches control to step S122. If not (NO in step S120), control device 101 returns control to step S110.
  • step S122 the control device 101 detects the amount of movement of the care recipient as the above-described movement amount detection unit 154 (see FIG. 8). As an example, the control device 101 calculates the distance between the center-of-gravity coordinates in the person area detected last time and the center-of-gravity coordinates of the person area detected this time as the amount of movement of the care recipient.
  • step S130 the control device 101 determines whether or not the amount of movement of the care recipient is equal to or less than a predetermined value Th1 (see FIG. 5). When it is determined that the amount of movement of the care recipient is equal to or less than the predetermined value Th1 (YES in step S130), control device 101 switches control to step S132. If not (NO in step S130), control device 101 returns control to step S110.
  • Th1 a predetermined value
  • step S132 the control device 101 sets an area AR (see FIG. 10) so as to include a person area in the input image representing the stationary care recipient.
  • step S134 the control device 101 starts measuring the stationary time of the care recipient as the above-described measuring unit 156 (see FIG. 8).
  • step S140 the control device 101 acquires a new input image and detects a person area from the input image.
  • the control device 101 determines whether or not the newly detected person area exists in the area AR set in step S132.
  • control device 101 switches control to step S150. If not (NO in step S140), control device 101 returns control to step S110.
  • step S150 the control device 101 determines whether the stationary condition is satisfied as the second determination unit 158 (see FIG. 8). The control device 101 determines that the stationary condition is satisfied when the stationary time becomes longer than the predetermined time Th2 (see FIG. 5). When control device 101 determines that the stationary condition is satisfied (YES in step S150), control device 101 switches control to step S152. If not (NO in step S150), control device 101 returns control to step S140.
  • step S152 the control device 101 notifies the cared person of the danger as the above-described notification unit 160 (see FIG. 8).
  • FIG. 14 is a block diagram illustrating a main hardware configuration of the watching system 500.
  • the watching system 500 includes a watching device 100 and a mobile terminal 200 for a caregiver.
  • the watching device 100 and the mobile terminal 200 are connected to each other via a network.
  • the watching device 100 includes a control device 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, a communication interface 104, a display interface 105, and a storage device 120.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the control device 101 controls the watching device 100.
  • the control device 101 is configured by at least one integrated circuit, for example.
  • the integrated circuit includes, for example, at least one CPU (Central Processing Unit), at least one ASIC (Application Specific Integrated Circuit), at least one FPGA (Field Programmable Gate Array), or a combination thereof.
  • the communication interface 104 is connected to an antenna (not shown).
  • the watching device 100 exchanges data with an external communication device via the antenna.
  • the external communication device includes, for example, a camera 50, a portable terminal 200, a server, and the like.
  • the watching device 100 may be configured such that the watching program 122 can be downloaded from a server via an antenna.
  • the watching device 100 and the camera 50 may be configured integrally, or may be configured separately as shown in FIG.
  • a display 106 is connected to the display interface 105.
  • the display interface 105 outputs an image signal for displaying an image to the display 106 in accordance with a command from the control device 101 or the like.
  • the display 106 displays a message or an image indicating the danger.
  • the storage device 120 is a storage medium such as a hard disk or an external storage device.
  • the storage device 120 stores the watching program 122, the above-described layout information 124 (see FIG. 3), and the like.
  • the storage location of the watching program 122 and the layout information 124 is not limited to the storage device 120, but is stored in a storage area (for example, a cache) of the control device 101, a ROM 102, a RAM 103, an external device (for example, a server), or the like. Also good.
  • the watching program 122 may be provided as a part of an arbitrary program, not as a single program.
  • the processing according to the present embodiment is realized in cooperation with an arbitrary program. Even such a program that does not include some modules does not depart from the spirit of the watching program 122 according to the present embodiment.
  • some or all of the functions provided by the watching program 122 may be realized by dedicated hardware.
  • the watching device 100 may be configured in a form such as a so-called cloud service in which at least one server executes a part of the processing of the watching program 122.
  • the mobile terminal 200 includes a control device 201, a ROM 202, a RAM 203, a communication interface 204, a display 206, and a storage device 220.
  • the control device 201 controls the mobile terminal 200.
  • the control device 201 is configured by at least one integrated circuit, for example.
  • the integrated circuit includes, for example, at least one CPU, at least one ASIC, at least one FPGA, or a combination thereof.
  • the control device 201 controls the mobile terminal 200 by executing various programs such as the control program 222 of the mobile terminal 200.
  • the control device 201 reads the control program 222 from the storage device 220 to the ROM 202 based on receiving the execution instruction of the control program 222.
  • the RAM 203 functions as a working memory and temporarily stores various data necessary for executing the control program 222.
  • An antenna (not shown) or the like is connected to the communication interface 204.
  • the portable terminal 200 exchanges data with an external communication device via the antenna.
  • the external communication device includes, for example, the monitoring device 100 and a server.
  • the watching device 100 may be configured to download the control program 222 from a server via an antenna.
  • the display 106 When the display 106 receives from the device 100 a signal indicating that a care recipient is in danger, the display 106 displays a message or an image indicating that. Preferably, the display 106 displays the room number of the cared person who is in danger, the name of the cared person, and the type of danger (for example, falling) that occurs in the cared person.
  • the storage device 220 is a storage medium such as eMMC (Embedded MultiMediaCard). As an example, the storage device 220 stores a control program 222.
  • the storage location of the control program 222 is not limited to the storage device 220.
  • the control program 222 may be stored in the cache of the control device 201, the ROM 202, the RAM 203, or another communication device.
  • the watching system includes a photographing unit for photographing a subject, and a storage unit for storing information defining a dangerous spot set for a reference image obtained by photographing the subject.
  • a person detection unit for sequentially detecting a person area representing a person from a series of input images obtained by continuously photographing the subject from the same viewpoint as the reference image, and the person area and the dangerous part
  • An informing unit for informing that the person is in danger when the overlapping first condition and the second condition in which the person is stationary for a predetermined time or more are satisfied.
  • the dangerous location includes a floor area representing a floor.
  • the first condition is satisfied when the person area overlaps the floor area.
  • the dangerous location includes a bed area representing a bed.
  • the first condition is satisfied when the person area overlaps the end of the bed area.
  • the watching system further includes a measuring unit for measuring a stationary time during which the person is stationary. The second condition is satisfied when the stationary time is equal to or longer than the predetermined time.
  • the watching system further includes a movement amount detection unit for sequentially detecting the movement amount of the person from the series of input images.
  • the measurement unit starts measuring the stationary time based on the sequentially detected movement amount being equal to or less than a predetermined value.
  • the measurement unit sets an area so as to include a person area in the input image in which the movement amount is equal to or less than the predetermined value based on the movement amount sequentially detected being equal to or less than the predetermined value.
  • the measurement of the still time is continued while the area is set and the person regions that are sequentially detected are included in the area.
  • the measurement unit continues to measure the stationary time while the sequentially detected movement amount is equal to or less than the predetermined value.
  • the watching device capable of connecting a photographing unit for photographing a subject stores information that defines a dangerous place set for a reference image obtained by photographing the subject. And a person detection unit for sequentially detecting a person area representing a person from a series of input images obtained by continuously photographing the subject from the same viewpoint as the reference image, and the person area And a notifying unit for notifying that the person is in danger when the first condition where the dangerous places overlap and the second condition where the person is stationary for a predetermined time or more is satisfied.
  • the watching method includes a step of preparing information defining a dangerous spot set for a reference image obtained by photographing the subject, and continuously monitoring the subject from the same viewpoint as the reference image. Sequentially detecting a person area representing a person from a series of input images obtained by photographing, a first condition in which the person area and the dangerous part overlap, and the person is stationary for a predetermined time or more And notifying that the person is in danger when the second condition is satisfied.
  • the watching program prepares information specifying a dangerous spot set for the reference image obtained by photographing the subject in the computer, and the subject from the same viewpoint as the reference image. Sequentially detecting a person area representing a person from a series of input images obtained by continuously photographing the image, a first condition in which the person area and the dangerous part overlap, and the person is not less than a predetermined time And a step of notifying that the person is in danger when the second condition of stationary is satisfied.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Theoretical Computer Science (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Nursing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

被介護者に危険が生じていることをより正確に検知することができる見守りシステムを提供する。被写体を撮影するためのカメラと、被写体を撮影して得られた基準画像について設定された危険箇所を規定しているレイアウト情報（１２４）を格納するための記憶部と、基準画像と同じ視点から被写体を連続的に撮影して得られた一連の入力画像（６０）から、被介護者を表わす人物領域を順次検知するための人物検知部（１５０）と、人物領域および危険箇所が重なっている位置条件と、被介護者が所定時間以上静止している静止条件とが満たされた場合に、被介護者に危険が生じていることを報知するための報知部（１６０）とを備える。

Description

見守りシステム、見守り装置、見守り方法、および見守りプログラム
　本開示は、高齢者や患者などの介護を要する被介護者の行動を見守るための技術に関する。
　介護を必要とする被介護者（たとえば、高齢者や患者など）の行動を見守る見守りシステムが普及している。見守りシステムは、被介護者に転倒などの危険が生じていることを検知し、そのことを介護者に報知する。これにより、介護者は、被介護者の元に駆け付けることができる。
　このような見守りシステムに関し、特開２０００－２０７６６５号公報（特許文献１）は、人物の転倒を精度よく検知できる転倒検知装置を開示している。当該転倒検知装置は、時系列の入力画像間を差分し、差分結果として得られた差分画像において画素値が所定値を超えている差分領域の面積を算出する。当該転倒検知装置は、当該面積が所定閾値を超えたことに基づいて、人物の転倒を報知する。すなわち、当該転倒検知装置は、人物の転倒時に瞬間的に大きくなる移動量を検知したことに基づいて人物の転倒を報知する。
特開２０００－２０７６６５号公報
　特許文献１に開示される転倒検知装置においては、瞬間的に大きくなった移動量が検知された場合に、人物の転倒が報知されるため、人物が単に躓いた場合にも、人物の転倒が報知されてしまう。このような誤報が増えると、介護者の負担が増加してしまう。したがって、被介護者に生じた危険をより正確に検知することができる見守りシステムが望まれている。
　本開示は上述のような問題点を解決するためになされたものであって、ある局面における目的は、被介護者に危険が生じていることをより正確に検知することができる見守りシステムを提供することである。他の局面における目的は、被介護者に危険が生じていることをより正確に検知することができる見守り装置を提供することである。さらに他の局面における目的は、被介護者に危険が生じていることをより正確に検知することができる見守り方法を提供することである。さらに他の局面における目的は、被介護者に危険が生じていることをより正確に検知することができる見守りプログラムを提供することである。
　ある局面に従うと、見守りシステムは、被写体を撮影するための撮影部と、上記被写体を撮影して得られた基準画像について設定された危険箇所を規定している情報を格納するための記憶部と、上記基準画像と同じ視点から上記被写体を連続的に撮影して得られた一連の入力画像から、人物を表わす人物領域を順次検知するための人物検知部と、上記人物領域および上記危険箇所が重なっている第１条件と、上記人物が所定時間以上静止している第２条件とが満たされた場合に、上記人物に危険が生じていることを報知するための報知部とを備える。
　他の局面に従うと、被写体を撮影するための撮影部を接続することができる見守り装置は、上記被写体を撮影して得られた基準画像について設定された危険箇所を規定している情報を格納するための記憶部と、上記基準画像と同じ視点から上記被写体を連続的に撮影して得られた一連の入力画像から、人物を表わす人物領域を順次検知するための人物検知部と、上記人物領域および上記危険箇所が重なっている第１条件と、上記人物が所定時間以上静止している第２条件とが満たされた場合に、上記人物に危険が生じていることを報知するための報知部とを備える。
　他の局面に従うと、見守り方法は、被写体を撮影して得られた基準画像について設定された危険箇所を規定している情報を準備するステップと、上記基準画像と同じ視点から上記被写体を連続的に撮影して得られた一連の入力画像から、人物を表わす人物領域を順次検知するステップと、上記人物領域および上記危険箇所が重なっている第１条件と、上記人物が所定時間以上静止している第２条件とが満たされた場合に、上記人物に危険が生じていることを報知するステップとを備える。
　他の局面に従うと、見守りプログラムは、コンピュータに、被写体を撮影して得られた基準画像について設定された危険箇所を規定している情報を準備するステップと、上記基準画像と同じ視点から上記被写体を連続的に撮影して得られた一連の入力画像から、人物を表わす人物領域を順次検知するステップと、上記人物領域および上記危険箇所が重なっている第１条件と、上記人物が所定時間以上静止している第２条件とが満たされた場合に、上記人物に危険が生じていることを報知するステップとを実行させる。
　ある局面において、被介護者に危険が生じていることをより正確に検知することができる。
　本発明の上記および他の目的、特徴、局面および利点は、添付の図面と関連して理解される本発明に関する次の詳細な説明から明らかとなるであろう。
見守りシステムの装置構成の一例を示す図である。 危険箇所の設定画面の一例を示す図である。 レイアウト情報のデータ構造の一例を示す図である。 被写体を連続的に撮影して得られた一連の入力画像を示す図である。 図４に示される被介護者の移動量の時間的変化をグラフで示す図である。 被写体を連続的に撮影して得られた一連の入力画像を示す図である。 図６に示される被介護者の移動量の時間的変化をグラフで示す図である。 見守り装置の機能構成の一例を示すブロック図である。 フレーム間差分処理を概略的に示す概念図である。 被介護者が転倒していることを表わす入力画像を示す図である。 被介護者とカメラとの位置関係の違いによる入力画像内における被介護者の写り方の違いを示す図である。 カメラと被介護者との間の距離を算出する方法を説明するための図である。 見守り装置が実行する処理の一部を表わすフローチャートである。 見守りシステムの主要なハードウェア構成を示すブロック図である。
　以下、図面を参照しつつ、本発明に従う各実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがって、これらについての詳細な説明は繰り返さない。
　［見守りシステム５００の装置構成］
　図１を参照して、見守りシステム５００の装置構成について説明する。図１は、見守りシステム５００の装置構成の一例を示す図である。
　見守りシステム５００は、見守り対象者（監視対象者）である被介護者１０を見守るために利用される。図１に示されるように、見守りシステム５００は、撮影部としてのカメラ５０と、見守り装置１００と、携帯端末２００とを含む。カメラ５０、見守り装置１００、および携帯端末２００は、ネットワークを介して接続されている。
　カメラ５０は、たとえば、介護施設、医療施設、宅内などに設置される。カメラ５０は、天井に取り付けられてもよいし、側壁に取り付けられてもよい。図１の例では、カメラ５０は、天井に取り付けられており、被介護者１０およびベッド２０を天井から撮影している。ある局面において、カメラ５０として、近赤外カメラが用いられる。近赤外カメラは、近赤外光を投光するＩＲ（Infrared）投光器を含む。近赤外カメラが用いられることにより、夜間でも被介護者１０が撮影され得る。他の局面において、カメラ５０として、可視光のみを受光する通常のカメラが用いられる。他の局面において、カメラ５０として、３Ｄセンサやサーモグラフィが用いられる。
　見守り装置１００は、カメラ５０から得られた一連の画像（すなわち、映像）に基づいて被介護者１０に生じている危険を検知する。一例として、検知可能な危険は、被介護者１０の転倒や、危険個所（たとえば、ベッドの柵など）に被介護者１０がいる状態などを含む。
　見守り装置１００は、被介護者１０に危険が生じていることを検知した場合に、そのことを介護者１１に報知する。報知方法の一例として、見守り装置１００は、被介護者１０の危険を介護者１１の携帯端末２００に通知する。携帯端末２００は、当該通知を受信すると、被介護者１０の危険をメッセージや音声などで介護者１１に報知する。これにより、介護者１１は、被介護者１０に危険が生じていることを即座に把握でき、被介護者１０の元に素早く駆け付けることができる。
　なお、図１には、見守りシステム５００が１つのカメラ５０を備えている例が示されているが、見守りシステム５００は、複数のカメラ５０を備えてもよい。また、図１には、見守りシステム５００が１つの見守り装置１００を備えている例が示されているが、見守りシステム５００は、複数の見守り装置１００を備えてもよい。さらに、図１には、カメラ５０と見守り装置１００とが別個の装置として構成されているが、カメラ５０と見守り装置１００とは一体的に構成されてもよい。さらに、図１には、見守りシステム５００が複数の携帯端末２００を備えている例が示されているが、見守りシステム５００は、１つの携帯端末２００で構成されてもよい。
　［危険検知処理の概要］
　本実施の形態に従う見守り装置１００は、被写体を撮影して得られた基準画像に対して、被介護者に危険を及ぼし得る箇所（以下、「危険箇所」ともいう。）の設定を予め受け付ける。ここでいう被写体とは、カメラ５０の視野に含まれるもののことをいう。すなわち、被写体は、被介護者などの人物や、ベッドや床などの物体などを含む。
　詳細については後述するが、本実施の形態に従う見守り装置１００は、基準画像について設定された危険箇所において被介護者が所定時間以上静止している場合に、被介護者が転倒したと判断し、被介護者に危険が生じていることを介護者に通知する。このように、被介護者に危険が生じているか否かは、基準画像について予め設定された危険箇所に基づいて判断される。
　以下では、図２および図３を参照して、危険箇所の設定方法の一例について説明する。図２は、危険箇所の設定画面２５の一例を示す図である。
　図２に示されるように、見守り装置１００は、設定画面２５の呼出操作を受け付けたことに基づいて、設定画面２５をディスプレイ１０６に表示する。設定画面２５は、被写体を撮影して得られた基準画像３０と、物体の種類を選択するための選択領域４５と、登録ボタン４６と、キャンセルボタン４７とを含む。
　選択領域４５は、たとえば、複数のラジオボタンで構成される。各ラジオボタンには、介護者に危険を及ぼし得る物体が関連付けられている。管理者は、選択領域４５に示される物体の中から、設定対象の物体を選択する。その上で、管理者は、選択された物体が写っている危険箇所を基準画像３０上で指定する。当該危険箇所は、たとえば、マウス操作やタッチ操作で指定される。図２の例では、当該危険箇所は、マウス操作に連動するポインタ３３２によって指定されている。
　管理者は、危険箇所としてベッド領域を指定する場合、選択領域４５の「ベッド」を選択した上で、マウス操作によって点４１Ａ～４１Ｄを指定する。点４１Ａ～４１Ｄは、たとえば、マウスのクリック操作により指定される。また、管理者は、危険箇所として床領域を指定する場合、選択領域４５の「床」を選択した上で、マウス操作によって点４３Ａ～４３Ｆを指定する。点４３Ａ～４３Ｆは、たとえば、マウスのクリックにより指定される。
　登録ボタン４６が押下されると、基準画像３０について設定された危険箇所が図３に示されるレイアウト情報１２４として記憶される。図３は、レイアウト情報１２４のデータ構造の一例を示す図である。レイアウト情報１２４において、基準画像３０について指定された各点の座標値が各物体に関連付けられる。図３の例では、物体名「ベッド」には、点４１Ａ～４１Ｄの座標値が関連付けられている。物体名「床」には、点４３Ａ～４３Ｆの座標値が関連付けられている。
　キャンセルボタン４７が押下されると、見守り装置１００は、設定画面２５に対して行われた設定を保存せずに、設定画面２５を閉じる。
　なお、上述では、危険箇所としてベッドおよび床が設定される例について説明を行ったが、その他の物体が危険箇所として設定されてもよい。たとえば、危険箇所として、窓周辺やトイレなどが設定されてもよい。
　［被介護者の危険検知処理］
　本実施の形態に従う見守り装置１００は、被介護者に危険が生じていることを検知するために、入力画像内において被介護者が写っている人物領域を検知する。見守り装置１００は、入力画像内における人物領域が、上述のレイアウト情報１２４（図３参照）に規定されている危険箇所に重なっている第１条件（以下、「位置条件」ともいう。）と、被介護者が所定時間以上静止している第２条件（以下、「静止条件」ともいう。）とが満たされた場合に、被介護者に危険が生じていることを報知する。
　以下では、図４および図５を参照して、被介護者の危険検知処理について説明する。図４は、被写体を連続的に撮影して得られた一連の入力画像３０Ａ～３０Ｅを示す図である。図５は、図４に示される被介護者１０の移動量の時間的変化をグラフで示す図である。
　時間Ｔ１～Ｔ２において、被介護者１０は、ベッド２０から立ち上がろうとしている。このとき、被介護者１０には、ある程度動きが生じるので、被介護者１０の移動量は、所定値Ｔｈ１よりも大きい。所定値Ｔｈ１は、被介護者１０が静止している否かを判断するための閾値である。所定値Ｔｈ１は、予め設定されていてもよいし、管理者によって任意に設定されてもよい。
　時間Ｔ２～Ｔ３において、被介護者１０は、床領域４３を歩いているとする。このとき、入力画像３０Ｂについて検知された人物領域と、危険箇所として設定されている床領域４３とが重なっているため、上記位置条件が満たされる。一方で、被介護者１０の移動量は、所定値Ｔｈ１よりも大きいため、上記静止条件は満たされない。位置条件と静止条件との両方が満たされていないため、見守り装置１００は、被介護者に危険が生じていないと判断する。
　時間Ｔ３～Ｔ４において、被介護者１０は、床領域４３で転倒したとする。このとき、被介護者１０の移動量は、瞬間的に大きくなり、その後、所定値Ｔｈ１よりも小さくなる。
　時間Ｔ４～Ｔ５において、被介護者１０は、床領域４３で転倒したまま静止しているとする。このように、転倒の影響が大きい場合には、被介護者１０は、しばらく静止している。見守り装置１００は、順次検知される移動量が所定値Ｔｈ１以下になったことに基づいて、被介護者の静止時間ΔＴの計測を開始する。静止時間ΔＴが所定時間Ｔｈ２以上になった時点で、被介護者が所定時間以上静止している上記静止条件が満たされる。所定時間Ｔｈ２は、予め設定されていてもよいし、管理者によって任意に設定されてもよい。
　また、時間Ｔ４～Ｔ５においては、入力画像３０Ｂについて検知された人物領域と、危険箇所として設定されている床領域４３とが重なっているため、上記位置条件が満たされる。時間Ｔ４～Ｔ５においては、位置条件と静止条件との両方が満たされため、見守り装置１００は、被介護者に危険が生じていることを報知する。
　このように、見守り装置１００は、検知された人物領域と、設定された危険箇所とが重なっている位置条件（第１条件）と、被介護者が所定時間以上静止している静止条件（第２条件）とが満たされた場合に、被介護者１０に危険が生じていることを報知する。
　時間Ｔ５～Ｔ６において、被介護者１０は、自身で起き上がり再び歩き出したとする。これにより、被介護者１０の移動量が所定値Ｔｈ１を再び超える。
　なお、図４では、人物領域の全てが床領域４３と重なっている場合に第１条件が満たされる例について説明を行ったが、人物領域の一部が床領域４３と重なっている場合に第１条件が満たされてもよい。すなわち、人物領域内の画素群の一部または全部が床領域４３に含まれている第１条件が満たされる。
　また、図４では、被介護者１０に危険が生じている例として、被介護者１０が転倒した例について説明を行ったが、検知可能な危険は、被介護者１０の転倒に限定されない。たとえば、見守り装置１００は、危険箇所として設定されたベッド領域４１に基づいて、被介護者１０の危険を判断してもよい。一例として、被介護者１０がベッド２０の柵に跨っている場合には、見守り装置１００は、被介護者１０が危険な行動をとっているものとして、被介護者１０の危険を報知する。この場合、上記位置条件は、検知された人物領域がベッド領域４１の端部に重なっている場合に満たされる。柵は、ベッドの短辺部分に設置される可能性が高いため、好ましくは、検知された人物領域がベッド領域４１の短辺に重なっている場合に満たされる。ベッド領域の短辺は、たとえば、エッジ検知などの画像処理により検知される。
　好ましくは、位置条件についての閾値（すなわち、所定値Ｔｈ１）は、ベッド領域４１を用いた危険検知と、床領域４３を用いた危険検知とで異なる。同様に、静止条件についての閾値（すなわち、所定時間Ｔｈ２）は、ベッド領域４１を用いた危険検知と、床領域４３を用いた危険検知とで異なっていてもよい。このように、設定された危険箇所ごとに最適な閾値が設定されることで、見守り装置１００は、被介護者１０の危険検知の誤報をより確実に低減することができる。
　［静止条件の意義］
　図６および図７を参照して、上記静止条件の意義について説明する。図６は、被写体を連続的に撮影して得られた一連の入力画像４０Ａ～４０Ｄを示す図である。図７は、図６に示される被介護者１０の移動量の時間的変化をグラフで示す図である。図６および図７に示される時間Ｔ１３～Ｔ１４以外の被介護者１０の動きは、図４で説明した通りであるので、以下では、それらの説明については繰り返さない。
　時間Ｔ１３～Ｔ１４において、被介護者１０は、たとえば、躓きなどの理由により一瞬静止したとする。このとき、被介護者１０の移動量は、瞬間的に大きくなり、その後、所定値Ｔｈ１よりも小さくなる。被介護者１０が躓いた場合には、被介護者１０は直ぐに移動を再開する。そのため、被介護者１０の移動量は、直ぐに所定値Ｔｈ１を再び超える。この場合、静止時間ΔＴは、所定時間Ｔｈ２よりも短いので、上記静止条件は満たされない。
　このように、被介護者１０が転倒以外の理由で静止したときには、何らかの動きが被介護者１０に直ぐに生じる可能性が高い。見守り装置１００は、上記静止条件が満たされたか否かを判断することで、このような転倒以外の動作で被介護者１０の危険を報知することを抑制することができる。これにより、誤報が減少し、介護者の負担が軽減される。
　［見守り装置１００の機能構成］
　図８を参照して、見守り装置１００の機能について説明する。図８は、見守り装置１００の機能構成の一例を示すブロック図である。
　図８に示されるように、見守り装置１００は、制御装置１０１を含む。制御装置１０１は、機能構成として、人物検知部１５０と、第１判断部１５２と、移動量検知部１５４と、計測部１５６と、第２判断部１５８と、報知部１６０とを含む。以下では、これらの機能構成について順に説明する。
　　（人物検知部１５０）
　人物検知部１５０は、危険箇所の設定に用いられる上述の基準画像３０（図２参照）と同じ視点から被写体を連続的に撮影して得られた一連の入力画像６０から、人物を表わす人物領域を順次検知する。すなわち、基準画像３０および入力画像６０における同一座標値で示される画素は、同じ位置を示す。
　図９を参照して、人物検知部１５０による人物検知処理の一例について説明する。人物検知部１５０は、たとえば、フレーム間差分により人物領域を検知する。図９は、フレーム間差分処理を概略的に示す概念図である。
　図９には、入力画像６０の一例として、入力画像６０Ａ～６０Ｃが示されている。入力画像６０Ａ～６０Ｃは、撮影時刻が連続している一連の画像である。人物検知部１５０は、カメラ５０から入力画像６０Ａ，６０Ｂを取得すると、入力画像６０Ａ，６０Ｂのいずれか一方から他方を差分する。その結果、差分画像６０ＡＢが得られる。人物検知部１５０は、差分画像６０ＡＢから、所定値以上の画素値を有する画素群を検知し、当該画素群を移動体として抽出する。次に、人物検知部１５０は、抽出した移動体のサイズが予め定められた閾範囲に収まっている場合に、当該移動体を人物領域１０Ａとする。閾範囲とは、上限値および下限値の少なくとも一方で規定される。閾範囲は、カメラ５０と被介護者１０との位置関係に応じて適宜調整される。
　同様に、人物検知部１５０は、カメラ５０から入力画像６０Ｂ，６０Ｃを取得すると、入力画像６０Ｂ，６０Ｃのいずれか一方から他方を差分する。その結果、差分画像６０ＢＣが得られる。人物検知部１５０は、差分画像６０ＢＣから、所定値以上の画素値を有する画素群を検知し、当該画素群を移動体として抽出する。次に、人物検知部１５０は、抽出した移動体のサイズが予め定められた閾範囲に収まっている場合に、当該移動体を人物領域１０Ｂとする。
　なお、上述では、フレーム間差分により人物領域を検知する例について説明を行ったが、人物領域の検知方法は、フレーム間差分に限定されない。たとえば、人物検知部１５０は、オプティカルフロー、トラッキング、または、その他の画像処理技術によって、人物領域を検知してもよい。
　　（第１判断部１５２）
　図８を再び参照して、第１判断部１５２は、上述の位置条件が満たされたか否かを判断する。位置条件が満たされたか否かは、人物検知部１５０によって検知された人物領域と、上述の基準画像について設定された危険箇所との位置関係に基づいて判断される。より具体的には、第１判断部１５２は、検知された人物領域および危険箇所が重なっている場合に、位置条件（第１条件）が満たされたと判断する。このとき、第１判断部１５２は、人物領域の全部が危険箇所に重なっている場合に位置条件が満たされたと判断してもよいし、人物領域の一部が危険箇所に重なっている場合に位置条件が満たされたと判断してもよい。
　好ましくは、第１判断部１５２は、人物検知部１５０によって人物領域が検知される度に、位置条件が満たされたか否かを判断する。これにより、位置条件が満たされたか否かが逐次判断される。第１判断部１５２による判断結果は、報知部１６０に出力される。
　　（移動量検知部１５４）
　移動量検知部１５４は、一連の入力画像から被介護者の移動量を順次検知する。以下では、図９を再び参照して、移動量検知部１５４による移動量検知処理の一例について説明する。移動量検知部１５４は、たとえば、フレーム間差分により得られた差分画像に基づいて、被介護者の移動量を検知する。
　上述したように、差分画像６０ＡＢは、入力画像６０Ａ，６０Ｂを差分した結果である。移動量検知部１５４は、差分画像６０ＡＢから、所定値以上の画素値を有する画素をカウントし、当該画素のカウント数を移動量として検知する。同様に、移動量検知部１５４は、差分画像６０ＢＣから、所定値以上の画素値を有する画素をカウントし、当該画素のカウント数を移動量として検知する。検知された移動量は、計測部１５６に順次出力される。
　なお、上述では、被介護者の移動量がフレーム間差分により得られた差分画像に基づいて検知される例について説明を行ったが、被介護者の移動量は、他の方法で検知されてもよい。たとえば、移動量検知部１５４は、人物検知部１５０によって検知された人物領域の座標値の時間的な変化量を被介護者の移動量として検知してもよい。より具体的には、移動量検知部１５４は、人物検知部１５０から人物領域内の座標値（たとえば、人物領域の中心点や重心点など）を順次取得し、当該座標値の時間的な変化量を被介護者の移動量として検知する。あるいは、移動量検知部１５４は、オプティカルフロー、トラッキング、または、その他の画像処理技術によって、被介護者の移動量を検知してもよい。
　　（計測部１５６）
　計測部１５６は、被介護者の静止時間を計測する。計測部１５６による静止時間の計測方法としては、様々な方法が考えられる。以下では、図１０を参照して、計測部１５６による静止時間の計測方法の一例について説明する。図１０は、被介護者１０が転倒していることを表わす入力画像３０Ｄを示す図である。
　計測部１５６は、順次検知される被介護者の移動量が所定値Ｔｈ１以下になったことに基づいて、移動量が所定値Ｔｈ１以下になった入力画像３０Ｄ内において人物領域を含むようにエリアＡＲを設定する。計測部１５６は、その後に順次検知される人物領域１２がエリアＡＲに含まれている間、静止時間の計測を継続する。計測部１５６は、その後に順次検知される人物領域１２がエリアＡＲと重なった時点で、静止時間の計測を中断する。
　このように、被介護者１０が静止した時点でエリアＡＲが設定され、被介護者１０がエリアＡＲに留まっている間、静止時間が計測される。エリアＡＲを基準として静止時間が計測されることにより、被介護者１０がその場で動いている場合（たとえば、体を摩るなど）でも静止時間の計測が継続される。
　静止時間の他の計測方法として、計測部１５６は、被介護者１０の移動量が所定値Ｔｈ１以下である間、静止時間の計測を継続する。すなわち、計測部１５６は、移動量検知部１５４によって順次検知される移動量が、所定値Ｔｈ１（図５参照）以下になったことに基づいて、静止時間の計測を開始し、エリアＡＲ内における被介護者１０の移動量が所定値Ｔｈ１以下である間、静止時間の計測を継続する。
　好ましくは、計測部１５６は、順次検知される移動量が、所定値Ｔｈ１よりも大きい所定値Ｔｈ３から、所定値Ｔｈ１以下である状態に変化したことに基づいて、静止時間の計測を開始する。被介護者が転倒した場合には、被介護者の移動量は、一瞬大きくなり、その後小さくなるため、静止時間の計測が所定値Ｔｈ１，Ｔｈ３を基準に開始されることにより、より確実に被介護者の転倒が検知される。
　　（第２判断部１５８）
　図８を再び参照して、第２判断部１５８は、上述の静止条件が満たされたか否かを判断する。静止条件が満たされたか否かは、計測部１５６によって計測される静止時間に基づいて判断される。より具体的には、第２判断部１５８は、計測された静止時間が所定時間Ｔｈ２（図５参照）以上になった場合に、静止条件（第２条件）が満たされたと判断する。
　好ましくは、第２判断部１５８は、計測部１５６から静止時間を順次取得し、順次取得される静止時間が所定時間Ｔｈ２以上になった時点で、静止条件が満たされたと判断する。これにより、被介護者の転倒が即時検知される。
　　（報知部１６０）
　報知部１６０は、上述の位置条件（第１条件）と上述の第２条件（第２条件）とが同時に満たされた場合に、被介護者に危険が生じていることを報知する。
　報知方法の一例として、報知部１６０は、被介護者に危険が生じていることを介護者用の携帯端末２００（図１参照）に通知する。携帯端末２００は、当該通知を受信すると、被介護者に危険が生じていることをメッセージや音声などで介護者に報知する。これにより、介護者は、被介護者に危険が生じていることを即座に把握でき、被介護者の元に素早く駆け付けることができる。
　報知方法の他の例として、報知部１６０は、被介護者に危険が生じていることを示すメッセージを見守り装置１００のディスプレイ１０６（図１４参照）に表示させる。また、報知部１６０は、被介護者に危険が生じていることを示す音声を見守り装置１００のスピーカ（図示しない）に出力させてもよい。
　［移動量の補正処理］
　図１１は、被介護者１０とカメラ５０との位置関係の違いによる入力画像内における被介護者の写り方の違いを示す図である。
　図１１（Ａ）においては、カメラ５０は、地面から高さＨＡの位置に設置されている。図１１（Ｂ）においては、カメラ５０は、地面から高さＨＢの位置に設置されている。高さＨＢは、高さＨＡよりも高い。この条件下で、被介護者１０が距離Ｌ移動したとする。
　図１１に示されるように、被介護者１０が距離Ｌだけ移動した場合、入力画像７０Ａにおいては、被介護者１０は、距離ＬＡだけ移動している。一方で、入力画像７０Ｂにおいては、被介護者１０は、距離ＬＢだけ移動している。このように、入力画像７０Ａ，７０Ｂ内における被介護者１０の移動量は、カメラ５０と被介護者１０との位置関係に応じて変わる。
　そのため、見守り装置１００は、カメラ５０の設置情報に基づいて、入力画像から検知された移動量を実空間上の移動量に補正し、補正後の移動量に基づいて、上記静止条件が満たされたか否かを判断する。これにより、見守り装置１００は、被介護者の危険をより正確に検知することができる。
　典型的には、カメラ５０の設置情報は、カメラ５０の設置時に管理者によって設定される。設定され得る設置情報は、たとえば、天井の高さ、被介護者の高さ（たとえば、転倒時の高さや被介護者の身長など）、撮影方向などを含む。他にも、カメラ５０の画角、画素数、歪み、射影方式などが設定されてもよい。他にも、被介護者の歩行速度などが設定されてもよい。管理者によって設定された内容は、たとえば、上述のレイアウト情報１２４（図３参照）に書き込まれる。
　一例として、見守り装置１００は、カメラ５０と被介護者１０との間の距離が短いほど、入力画像内における被介護者１０の移動量を多くするように補正する。異なる言い方をすれば、見守り装置１００は、カメラ５０と被介護者１０との間の距離が長いほど、入力画像内における被介護者１０の移動量を少なくするように補正する。
　この補正を行うためには、見守り装置１００は、カメラ５０と被介護者１０との間の距離を算出する必要がある。以下では、図１２を参照して、カメラ５０と被介護者１０との間の距離を算出する方法について説明する。図１２は、カメラ５０と被介護者１０との間の距離を算出する方法を説明するための図である。
　まず、見守り装置１００は、以下の式（１）および式（２）に基づいて、カメラ５０の光軸方向と、カメラ５０から被介護者１０に向かう方向との間の角度θを算出する。
　θ＝ｒ・θ０・・・（１）
　ｒ＝ｓｑｒｔ｛（ｘ１－ｘ０）２＋（ｙ１－ｙ０）２｝・・・（２）
　式（１）に示される「θ０」は、入力画像７０の１画素当たりの画角を表わす。「θ０」は、予め設定されている。式（１）に示される「ｒ」は、入力画像７０内の点Ｐ０と点Ｐ１との間の距離を表わす。点Ｐ０は、入力画像７０内の中心画素を表わす。点Ｐ１は、入力画像７０内における被介護者１０の位置を表わす。式（２）に示される「ｘ０」は、入力画像７０内の点Ｐ０のｘ座標を表わす。式（２）に示される「ｙ０」は、入力画像７０内の点Ｐ０のｙ座標を表わす。式（２）に示される「ｘ１」は、入力画像７０内の点Ｐ１のｘ座標を表わす。式（２）に示される「ｙ１」は、入力画像７０内の点Ｐ１のｙ座標を表わす。
　カメラ５０と被介護者１０との間の距離Ｄは、以下の式（３），（４）に基づいて算出される。
　Ｄ＝Ｈ１／ｃｏｓθ・・・（３）
　Ｈ１＝Ｈ－Ｈ２・・・（４）
　式（３）に示される「Ｈ１」は、鉛直方向における被介護者１０とカメラ５０との間の距離を表わす。式（４）に示される「Ｈ」は、鉛直方向における地面とカメラ５０との間の距離を表わす。式（４）に示される「Ｈ１」は、被介護者１０の転倒時における被介護者１０とカメラ５０との間の距離を表わす。「Ｈ２」は、被介護者１０の転倒時における被介護者１０と地面との間の距離を表わす。式（４）に示される「Ｈ」，「Ｈ２」は、管理者によって予め設定されている。あるいは、式（３）に示される「Ｈ１」が管理者によって予め設定されていてもよい。
　［見守り装置１００の制御構造］
　図１３を参照して、見守り装置１００の制御構造について説明する。図１３は、見守り装置１００が実行する処理の一部を表わすフローチャートである。図１３の処理は、見守り装置１００（コンピュータ）の制御装置１０１（図８参照）がプログラムを実行することにより実現される。他の局面において、処理の一部または全部が、回路素子またはその他のハードウェアによって実行されてもよい。
　ステップＳ１１０において、制御装置１０１は、被写体を撮影して得られた入力画像をカメラ５０（図１参照）から取得する。ステップＳ１１０の処理が実行される度に、新たな入力画像が取得される。
　ステップＳ１１２において、制御装置１０１は、上述の人物検知部１５０（図８参照）として、入力画像内において、被介護者を表わす人物領域を検知する。人物領域の検知方法は、図９で説明した通りである。
　ステップＳ１２０において、制御装置１０１は、上述の第１判断部１５２（図８参照）として、上述の位置条件が満たされたか否かを判断する。制御装置１０１は、上述の基準画像３０（図２参照）について予め設定されている危険箇所と、ステップＳ１１２で検知された人物領域とが重なっている場合に、位置条件が満たされたと判断する。制御装置１０１は、上記位置条件が満たされたと判断した場合（ステップＳ１２０においてＹＥＳ）、制御をステップＳ１２２に切り替える。そうでない場合には（ステップＳ１２０においてＮＯ）、制御装置１０１は、制御をステップＳ１１０に戻す。
　ステップＳ１２２において、制御装置１０１は、上述の移動量検知部１５４（図８参照）として、被介護者の移動量を検知する。一例として、制御装置１０１は、前回検知された人物領域内の重心座標と、今回検知された人物領域の重心座標との間の距離を被介護者の移動量として算出する。
　ステップＳ１３０において、制御装置１０１は、被介護者の移動量が所定値Ｔｈ１（図５参照）以下であるか否かを判断する。制御装置１０１は、被介護者の移動量が所定値Ｔｈ１以下であると判断した場合（ステップＳ１３０においてＹＥＳ）、制御をステップＳ１３２に切り替える。そうでない場合には（ステップＳ１３０においてＮＯ）、制御装置１０１は、制御をステップＳ１１０に戻す。
　ステップＳ１３２において、制御装置１０１は、被介護者の静止を表わす入力画像内において人物領域を含むようにエリアＡＲ（図１０参照）を設定する。
　ステップＳ１３４において、制御装置１０１は、上述の計測部１５６（図８参照）として、被介護者の静止時間の計測を開始する。
　ステップＳ１４０において、制御装置１０１は、新たな入力画像を取得するともに、当該入力画像から人物領域を検知する。制御装置１０１は、新たに検知された人物領域がステップＳ１３２で設定されたエリアＡＲ内に存在するか否かを判断する。制御装置１０１は、新たに検知された人物領域がエリアＡＲ内に存在すると判断した場合（ステップＳ１４０においてＹＥＳ）、制御をステップＳ１５０に切り替える。そうでない場合には（ステップＳ１４０においてＮＯ）、制御装置１０１は、制御をステップＳ１１０に戻す。
　ステップＳ１５０において、制御装置１０１は、上述の第２判断部１５８（図８参照）として、静止条件が満たされたか否かを判断する。制御装置１０１は、静止時間が所定時間Ｔｈ２（図５参照）よりも長くなった時点で、静止条件が満たされたと判断する。制御装置１０１は、静止条件が満たされたと判断した場合（ステップＳ１５０においてＹＥＳ）、制御をステップＳ１５２に切り替える。そうでない場合には（ステップＳ１５０においてＮＯ）、制御装置１０１は、制御をステップＳ１４０に戻す。
　ステップＳ１５２において、制御装置１０１は、上述の報知部１６０（図８参照）として、被介護者に危険が生じていることを報知する。
　［見守りシステム５００のハードウェア構成］
　図１４を参照して、見守りシステム５００のハードウェア構成の一例について説明する。図１４は、見守りシステム５００の主要なハードウェア構成を示すブロック図である。
　図１４に示されるように、見守りシステム５００は、見守り装置１００と、介護者用の携帯端末２００とで構成されている。見守り装置１００および携帯端末２００は、互いにネットワーク接続されている。
　以下では、見守り装置１００および携帯端末２００のハードウェア構成について順に説明する。
　　（見守り装置１００のハードウェア構成）
　見守り装置１００は、制御装置１０１と、ＲＯＭ（Read　Only　Memory）１０２と、ＲＡＭ（Random　Access　Memory）１０３と、通信インターフェイス１０４と、表示インターフェイス１０５と、記憶装置１２０とを備える。
　制御装置１０１は、見守り装置１００を制御する。制御装置１０１は、たとえば、少なくとも１つの集積回路によって構成される。集積回路は、たとえば、少なくとも１つのＣＰＵ（Central　Processing　Unit）、少なくとも１つのＡＳＩＣ（Application　Specific　Integrated　Circuit）、少なくとも１つのＦＰＧＡ（Field　Programmable　Gate　Array）、またはそれらの組み合わせなどによって構成される。
　通信インターフェイス１０４には、アンテナ（図示しない）などが接続される。見守り装置１００は、当該アンテナを介して、外部の通信機器との間でデータをやり取りする。外部の通信機器は、たとえば、カメラ５０、携帯端末２００、サーバーなどを含む。見守り装置１００は、アンテナを介して見守りプログラム１２２をサーバーからダウンロードできるように構成されてもよい。見守り装置１００およびカメラ５０は、一体的に構成されてもよいし、図１４に示されるように別個に構成されてもよい。
　表示インターフェイス１０５には、ディスプレイ１０６が接続される。表示インターフェイス１０５は、制御装置１０１などからの指令に従って、ディスプレイ１０６に対して、画像を表示するための画像信号を出力する。一例として、ディスプレイ１０６は、被介護者に危険が生じていることが検知された場合に、そのことを示すメッセージや画像などを表示する。
　記憶装置１２０は、たとえば、ハードディスクや外付けの記憶装置などの記憶媒体である。記憶装置１２０は、見守りプログラム１２２や上述のレイアウト情報１２４（図３参照）などを格納する。見守りプログラム１２２およびレイアウト情報１２４の格納場所は、記憶装置１２０に限定されず、制御装置１０１の記憶領域（たとえば、キャッシュなど）、ＲＯＭ１０２、ＲＡＭ１０３、外部機器（たとえば、サーバー）などに格納されていてもよい。
　なお、見守りプログラム１２２は、単体のプログラムとしてではなく、任意のプログラムの一部に組み込まれて提供されてもよい。この場合、本実施の形態に従う処理は、任意のプログラムと協働して実現される。このような一部のモジュールを含まないプログラムであっても、本実施の形態に従う見守りプログラム１２２の趣旨を逸脱するものではない。さらに、見守りプログラム１２２によって提供される機能の一部または全部は、専用のハードウェアによって実現されてもよい。さらに、少なくとも１つのサーバーが見守りプログラム１２２の処理の一部を実行する所謂クラウドサービスのような形態で見守り装置１００が構成されてもよい。
　　（携帯端末２００のハードウェア構成）
　引き続き図１４を参照して、介護者用の携帯端末２００のハードウェア構成について説明する。
　図１４に示されるように、携帯端末２００は、制御装置２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、通信インターフェイス２０４と、ディスプレイ２０６と、記憶装置２２０とを含む。
　制御装置２０１は、携帯端末２００を制御する。制御装置２０１は、たとえば、少なくとも１つの集積回路によって構成される。集積回路は、たとえば、少なくとも１つのＣＰＵ、少なくとも１つのＡＳＩＣ、少なくとも１つのＦＰＧＡ、またはそれらの組み合わせなどによって構成される。
　制御装置２０１は、携帯端末２００の制御プログラム２２２などの各種プログラムを実行することで携帯端末２００を制御する。制御装置２０１は、制御プログラム２２２の実行命令を受け付けたことに基づいて、記憶装置２２０からＲＯＭ２０２に制御プログラム２２２を読み出す。ＲＡＭ２０３は、ワーキングメモリとして機能し、制御プログラム２２２の実行に必要な各種データを一時的に格納する。
　通信インターフェイス２０４には、アンテナ（図示しない）などが接続される。携帯端末２００は、当該アンテナを介して、外部の通信機器との間でデータをやり取りする。外部の通信機器は、たとえば、見守り装置１００、サーバーなどを含む。見守り装置１００は、アンテナを介して制御プログラム２２２をサーバーからダウンロードできるように構成されてもよい。
　ディスプレイ１０６は、被介護者に危険が生じていること示す信号を見守り装置１００から受信した場合に、そのことを示すメッセージや画像などを表示する。好ましくは、ディスプレイ１０６は、危険が生じている被介護者の部屋番号、当該被介護者の名前、当該被介護者に生じている危険の種類（たとえば、転倒など）を表示する。
　記憶装置２２０は、たとえば、ｅＭＭＣ（Embedded　MultiMediaCard）などの記憶媒体である。一例として、記憶装置２２０は、制御プログラム２２２を格納する。制御プログラム２２２の格納場所は、記憶装置２２０に限定されず、たとえば、制御装置２０１のキャッシュ、ＲＯＭ２０２、ＲＡＭ２０３、または他の通信機器などに格納されていてもよい。
　［まとめ］
　ある局面に従うと、見守りシステムは、被写体を撮影するための撮影部と、上記被写体を撮影して得られた基準画像について設定された危険箇所を規定している情報を格納するための記憶部と、上記基準画像と同じ視点から上記被写体を連続的に撮影して得られた一連の入力画像から、人物を表わす人物領域を順次検知するための人物検知部と、上記人物領域および上記危険箇所が重なっている第１条件と、上記人物が所定時間以上静止している第２条件とが満たされた場合に、上記人物に危険が生じていることを報知するための報知部とを備える。
　好ましくは、上記危険箇所は、床を表わす床領域を含む。上記第１条件は、上記人物領域が上記床領域と重なっている場合に満たされる。
　好ましくは、上記危険箇所は、ベッドを表わすベッド領域を含む。上記第１条件は、上記人物領域が上記ベッド領域の端部に重なっている場合に満たされる。
　好ましくは、上記見守りシステムは、上記人物が静止している静止時間を計測するための計測部をさらに備える。上記第２条件は、上記静止時間が上記所定時間以上になった場合に満たされる。
　好ましくは、上記見守りシステムは、上記一連の入力画像から上記人物の移動量を順次検知するための移動量検知部をさらに備える。上記計測部は、順次検知される上記移動量が所定値以下になったことに基づいて、上記静止時間の計測を開始する。
　好ましくは、上記計測部は、順次検知される上記移動量が所定値以下になったことに基づいて、上記移動量が上記所定値以下になった入力画像内において人物領域を含むようにエリアを設定し、順次検知される上記人物領域が上記エリアに含まれている間、上記静止時間の計測を継続する。
　好ましくは、上記計測部は、順次検知される上記移動量が上記所定値以下である間、上記静止時間の計測を継続する。
　他の局面に従うと、被写体を撮影するための撮影部を接続することができる見守り装置は、上記被写体を撮影して得られた基準画像について設定された危険箇所を規定している情報を格納するための記憶部と、上記基準画像と同じ視点から上記被写体を連続的に撮影して得られた一連の入力画像から、人物を表わす人物領域を順次検知するための人物検知部と、上記人物領域および上記危険箇所が重なっている第１条件と、上記人物が所定時間以上静止している第２条件とが満たされた場合に、上記人物に危険が生じていることを報知するための報知部とを備える。
　他の局面に従うと、見守り方法は、被写体を撮影して得られた基準画像について設定された危険箇所を規定している情報を準備するステップと、上記基準画像と同じ視点から上記被写体を連続的に撮影して得られた一連の入力画像から、人物を表わす人物領域を順次検知するステップと、上記人物領域および上記危険箇所が重なっている第１条件と、上記人物が所定時間以上静止している第２条件とが満たされた場合に、上記人物に危険が生じていることを報知するステップとを備える。
　他の局面に従うと、見守りプログラムは、コンピュータに、被写体を撮影して得られた基準画像について設定された危険箇所を規定している情報を準備するステップと、上記基準画像と同じ視点から上記被写体を連続的に撮影して得られた一連の入力画像から、人物を表わす人物領域を順次検知するステップと、上記人物領域および上記危険箇所が重なっている第１条件と、上記人物が所定時間以上静止している第２条件とが満たされた場合に、上記人物に危険が生じていることを報知するステップとを実行させる。
　今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。
　１０　被介護者、１０Ａ，１０Ｂ，１２　人物領域、１１　介護者、２０　ベッド、２５　設定画面、３０　基準画像、３０Ａ～３０Ｅ，４０Ａ～４０Ｄ，６０，６０Ａ～６０Ｃ，７０，７０Ａ，７０Ｂ　入力画像、４１　ベッド領域、４１Ａ～４１Ｄ，４３Ａ～４３Ｆ　点、４３　床領域、４５　選択領域、４６　登録ボタン、４７　キャンセルボタン、５０　カメラ、６０ＡＢ，６０ＢＣ　差分画像、１００　見守り装置、１０１，２０１　制御装置、１０２，２０２　ＲＯＭ、１０３，２０３　ＲＡＭ、１０４，２０４　通信インターフェイス、１０５　表示インターフェイス、１０６，２０６　ディスプレイ、１２０，２２０　記憶装置、１２２　見守りプログラム、１２４　レイアウト情報、１５０　人物検知部、１５２　第１判断部、１５４　移動量検知部、１５６　計測部、１５８　第２判断部、１６０　報知部、２００　携帯端末、２２２　制御プログラム、３３２　ポインタ、５００　見守りシステム。

Claims (10)

  1. 　被写体を撮影するための撮影部と、
    　前記被写体を撮影して得られた基準画像について設定された危険箇所を規定している情報を格納するための記憶部と、
    　前記基準画像と同じ視点から前記被写体を連続的に撮影して得られた一連の入力画像から、人物を表わす人物領域を順次検知するための人物検知部と、
    　前記人物領域および前記危険箇所が重なっている第１条件と、前記人物が所定時間以上静止している第２条件とが満たされた場合に、前記人物に危険が生じていることを報知するための報知部とを備える、見守りシステム。
  2. 　前記危険箇所は、床を表わす床領域を含み、
    　前記第１条件は、前記人物領域が前記床領域と重なっている場合に満たされる、請求項１に記載の見守りシステム。
  3. 　前記危険箇所は、ベッドを表わすベッド領域を含み、
    　前記第１条件は、前記人物領域が前記ベッド領域の端部に重なっている場合に満たされる、請求項１または２に記載の見守りシステム。
  4. 　前記見守りシステムは、前記人物が静止している静止時間を計測するための計測部をさらに備え、
    　前記第２条件は、前記静止時間が前記所定時間以上になった場合に満たされる、請求項１～３のいずれか１項に記載の見守りシステム。
  5. 　前記見守りシステムは、前記一連の入力画像から前記人物の移動量を順次検知するための移動量検知部をさらに備え、
    　前記計測部は、順次検知される前記移動量が所定値以下になったことに基づいて、前記静止時間の計測を開始する、請求項４に記載の見守りシステム。
  6. 　前記計測部は、順次検知される前記移動量が所定値以下になったことに基づいて、前記移動量が前記所定値以下になった入力画像内において人物領域を含むようにエリアを設定し、順次検知される前記人物領域が前記エリアに含まれている間、前記静止時間の計測を継続する、請求項５に記載の見守りシステム。
  7. 　前記計測部は、順次検知される前記移動量が前記所定値以下である間、前記静止時間の計測を継続する、請求項５に記載の見守りシステム。
  8. 　被写体を撮影するための撮影部を接続することができる見守り装置であって、
    　前記被写体を撮影して得られた基準画像について設定された危険箇所を規定している情報を格納するための記憶部と、
    　前記基準画像と同じ視点から前記被写体を連続的に撮影して得られた一連の入力画像から、人物を表わす人物領域を順次検知するための人物検知部と、
    　前記人物領域および前記危険箇所が重なっている第１条件と、前記人物が所定時間以上静止している第２条件とが満たされた場合に、前記人物に危険が生じていることを報知するための報知部とを備える、見守り装置。
  9. 　被写体を撮影して得られた基準画像について設定された危険箇所を規定している情報を準備するステップと、
    　前記基準画像と同じ視点から前記被写体を連続的に撮影して得られた一連の入力画像から、人物を表わす人物領域を順次検知するステップと、
    　前記人物領域および前記危険箇所が重なっている第１条件と、前記人物が所定時間以上静止している第２条件とが満たされた場合に、前記人物に危険が生じていることを報知するステップとを備える、見守り方法。
  10. 　コンピュータに実行される見守りプログラムであって、
    　前記見守りプログラムは、前記コンピュータに、
    　　被写体を撮影して得られた基準画像について設定された危険箇所を規定している情報を準備するステップと、
    　　前記基準画像と同じ視点から前記被写体を連続的に撮影して得られた一連の入力画像から、人物を表わす人物領域を順次検知するステップと、
    　　前記人物領域および前記危険箇所が重なっている第１条件と、前記人物が所定時間以上静止している第２条件とが満たされた場合に、前記人物に危険が生じていることを報知するステップとを実行させる、見守りプログラム。
PCT/JP2017/023972 2016-08-08 2017-06-29 見守りシステム、見守り装置、見守り方法、および見守りプログラム WO2018030024A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018532868A JP6922914B2 (ja) 2016-08-08 2017-06-29 見守りシステム、見守り装置、見守り方法、および見守りプログラム
EP17839098.5A EP3499477A4 (en) 2016-08-08 2017-06-29 MONITORING SYSTEM, MONITORING DEVICE, MONITORING PROCEDURE AND MONITORING PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016155577 2016-08-08
JP2016-155577 2016-08-08

Publications (1)

Publication Number Publication Date
WO2018030024A1 true WO2018030024A1 (ja) 2018-02-15

Family

ID=61162072

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/023972 WO2018030024A1 (ja) 2016-08-08 2017-06-29 見守りシステム、見守り装置、見守り方法、および見守りプログラム

Country Status (3)

Country Link
EP (1) EP3499477A4 (ja)
JP (1) JP6922914B2 (ja)
WO (1) WO2018030024A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020003955A1 (ja) * 2018-06-26 2020-01-02 コニカミノルタ株式会社 コンピューターで実行されるプログラム、情報処理装置、および、コンピューターで実行される方法
JP7481843B2 (ja) 2019-12-24 2024-05-13 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000207665A (ja) 1999-01-18 2000-07-28 Matsushita Electric Works Ltd 転倒検知装置
JP2001307246A (ja) * 2000-04-20 2001-11-02 Matsushita Electric Works Ltd 人体検知装置
JP2008052631A (ja) * 2006-08-28 2008-03-06 Matsushita Electric Works Ltd 異常検知システム
JP2011086286A (ja) * 2009-09-17 2011-04-28 Shimizu Corp ベッド上及び室内の見守りシステム
JP2016067641A (ja) * 2014-09-30 2016-05-09 東京エレクトロンデバイス株式会社 転倒検知処理装置及び転倒検知システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5771039B2 (ja) * 2011-03-30 2015-08-26 セコム株式会社 放置人物検出装置
JP6417670B2 (ja) * 2014-02-21 2018-11-07 オムロン株式会社 監視装置、監視システム、監視方法、監視プログラム、および監視プログラムを記録したコンピュータ読み取り可能な記録媒体
SG10201406350UA (en) * 2014-10-03 2016-05-30 Nextan Pte Ltd An event detection method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000207665A (ja) 1999-01-18 2000-07-28 Matsushita Electric Works Ltd 転倒検知装置
JP2001307246A (ja) * 2000-04-20 2001-11-02 Matsushita Electric Works Ltd 人体検知装置
JP2008052631A (ja) * 2006-08-28 2008-03-06 Matsushita Electric Works Ltd 異常検知システム
JP2011086286A (ja) * 2009-09-17 2011-04-28 Shimizu Corp ベッド上及び室内の見守りシステム
JP2016067641A (ja) * 2014-09-30 2016-05-09 東京エレクトロンデバイス株式会社 転倒検知処理装置及び転倒検知システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3499477A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020003955A1 (ja) * 2018-06-26 2020-01-02 コニカミノルタ株式会社 コンピューターで実行されるプログラム、情報処理装置、および、コンピューターで実行される方法
JPWO2020003955A1 (ja) * 2018-06-26 2021-08-02 コニカミノルタ株式会社 コンピューターで実行されるプログラム、情報処理装置、および、コンピューターで実行される方法
JP7205540B2 (ja) 2018-06-26 2023-01-17 コニカミノルタ株式会社 コンピューターで実行されるプログラム、情報処理装置、および、コンピューターで実行される方法
JP7481843B2 (ja) 2019-12-24 2024-05-13 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Also Published As

Publication number Publication date
EP3499477A1 (en) 2019-06-19
EP3499477A4 (en) 2019-09-11
JP6922914B2 (ja) 2021-08-18
JPWO2018030024A1 (ja) 2019-06-06

Similar Documents

Publication Publication Date Title
JP6137425B2 (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
JP6115335B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP6720909B2 (ja) 行動検知装置、該方法および該プログラム、ならびに、被監視者監視装置
JP6717235B2 (ja) 見守り支援システム及びその制御方法
JP6500785B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP6708980B2 (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
JPWO2015133195A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
JPWO2016181837A1 (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
US20190266872A1 (en) Watching system, watching device, watching method and watching program
WO2018030024A1 (ja) 見守りシステム、見守り装置、見守り方法、および見守りプログラム
JP2018151834A (ja) 迷子検出装置および迷子検出方法
US20180322334A1 (en) Person Monitoring Device And Method, And Person Monitoring System
JP2018533240A (ja) 占有検出
JP6311809B2 (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
JP2019021002A (ja) 見守り支援システム及びその制御方法
JP2023548886A (ja) カメラを制御するための装置及び方法
JPWO2016152182A1 (ja) 異常状態検知装置、異常状態検知方法、及び、異常状態検知プログラム
JP2021033379A (ja) 画像処理システム、画像処理プログラム、および画像処理方法
WO2021024691A1 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP2022126069A (ja) 画像処理方法
JP7090328B2 (ja) 情報処理装置
JP2022126070A (ja) 画像処理方法
JP2023051147A (ja) ナースコールシステム、および状態判断システム
KR20240084266A (ko) 객체에 대한 낙상 상태 정보를 제공하는 방법 및 디바이스
JP2020014738A (ja) 情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17839098

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018532868

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017839098

Country of ref document: EP

Effective date: 20190311