WO2019013257A1 - 見守り支援システム及びその制御方法、プログラム - Google Patents

見守り支援システム及びその制御方法、プログラム Download PDF

Info

Publication number
WO2019013257A1
WO2019013257A1 PCT/JP2018/026210 JP2018026210W WO2019013257A1 WO 2019013257 A1 WO2019013257 A1 WO 2019013257A1 JP 2018026210 W JP2018026210 W JP 2018026210W WO 2019013257 A1 WO2019013257 A1 WO 2019013257A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
motion
unit
image
bed
Prior art date
Application number
PCT/JP2018/026210
Other languages
English (en)
French (fr)
Inventor
達哉 村上
信二 高橋
田中　清明
純平 松永
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Publication of WO2019013257A1 publication Critical patent/WO2019013257A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
    • A61G7/00—Beds specially adapted for nursing; Devices for lifting patients or disabled persons
    • A61G7/05—Parts, details or accessories of beds
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a technique for supporting watching of a subject on a bed.
  • Patent Document 1 discloses a watching support system that detects the motion of a patient and performs notification according to the motion and condition of the patient.
  • a predetermined operation such as a patient's wake-up operation (rising on a bed) or a bed-off operation (falling from a bed) is detected and notified.
  • detection of the movement may fail or detection accuracy may decrease.
  • the same movement may be normal movement for one patient, but abnormal movement (or dangerous movement) for another patient. Therefore, in the conventional system, problems such as “do not overlook the action to be notified” and “notify even though there is no need to notify” have occurred. The occurrence of such false detection or over detection is undesirable because it reduces the reliability of the system.
  • the present invention has been made in view of the above-described circumstances, and an object of the present invention is to provide a technique for performing notification with high accuracy and high reliability regardless of individual differences in movement.
  • a method is employed in which the normal operation of the subject is learned in advance and compared with the normal operation to determine the presence or absence of abnormality in the operation of the target.
  • a first aspect of the present invention is a watching support system for watching a target person on a bed, and acquiring an image from an imaging device installed to shoot the target person An image of the subject taken during a predetermined period in the past, and a feature extraction unit that extracts a feature when the subject performs a predetermined action from the image obtained by the image acquisition unit as a motion feature And a learning unit that generates data representing the normal motion feature of the subject based on the motion feature extracted by the feature extraction unit, and data representing the normal motion feature of the subject generated by the learning unit.
  • the current pair is compared by comparing the storage feature to be stored and the motion feature extracted by the feature extraction unit from the image of the subject currently captured with the normal motion feature stored in the storage unit.
  • a watching support system comprising: a determination unit that determines whether a person's operation is a normal operation or an abnormal operation; and a notification unit that performs notification when the determination unit determines that the operation is an abnormal operation. I will provide a.
  • the learning unit When the target person performs the predetermined motion a plurality of times in the predetermined period, the learning unit generates an average motion feature based on a plurality of motion features, and the average motion feature is generated. It is preferable that the normal operation characteristic of the subject is adopted. Even if the same person may have variations in the features each time, by generating an average motion feature based on a plurality of motion features, the reliability of the normal motion feature can be improved.
  • the predetermined operation may include a wake-up operation, a bed-lift operation, or a bed-operation. Although these operations have large individual differences, it is difficult to improve detection accuracy in the prior art, but according to the present invention, it is possible to realize highly accurate abnormality determination in consideration of individual differences.
  • the feature extraction unit may include, as the motion feature, at least one of a trajectory of head position, weight application, use / non-use of a bed fence, and time required for operation. Since individual differences are likely to appear in these motion features, learning of normal motion features and comparison between normal motion features and current motion features can be easily performed, and highly accurate abnormality determination can be realized.
  • the present invention can be understood as a watching support system having at least a part of the above configuration or function.
  • the present invention also provides a watching support method or a watching support system control method including at least a part of the above-described processing, a program for causing a computer to execute these methods, or non-temporarily such a program. It can also be regarded as a recorded computer readable recording medium.
  • the state or behavior of the subject on the bed can be detected with high accuracy and high reliability.
  • FIG. 1 is a block diagram schematically showing a hardware configuration and a functional configuration of a watching support system.
  • FIG. 2 is a view showing an installation example of the imaging device.
  • FIG. 3A is a schematic diagram of time-series image data
  • FIG. 3B is a diagram showing an example of determination logic of start and end of operation of seven items.
  • FIG. 4 is a diagram illustrating an example of operation features of seven items of operations.
  • FIG. 5A is a diagram showing an example of a time-series image of the wake-up operation
  • FIG. 5B is a diagram showing an example of a locus of head position extracted from the time-series image
  • FIG. 5C is extracted from the time-series image It is a figure which shows the example of how to put weight.
  • FIG. 6 is a flowchart of the learning process of the normal operation of the subject.
  • FIG. 7 is a flowchart of the monitoring process of the operation of the subject.
  • the present invention relates to a technique for supporting watching of a subject on a bed.
  • This technology can be applied to a system that automatically detects the getting-up and getting-up behavior of patients and care recipients in hospitals and nursing facilities, etc., and performs necessary notification when a dangerous state occurs.
  • This system can be preferably used, for example, for watching and supporting elderly people, patients with dementia, children and the like.
  • FIG. 1 is a block diagram schematically showing a hardware configuration and a functional configuration of the watching support system 1
  • FIG. 2 is a diagram showing an installation example of an imaging device.
  • the watching support system 1 includes an imaging device 10 and an information processing device 11 as main hardware configurations.
  • the imaging device 10 and the information processing device 11 are connected by wire or wirelessly. Although only one imaging device 10 is shown in FIG. 1, a plurality of imaging devices 10 may be connected to the information processing device 11.
  • the imaging device 10 is a device for capturing a subject on a bed and capturing image data.
  • a monochrome or color visible light camera, an infrared camera, a three-dimensional camera or the like can be used.
  • the imaging device 10 configured by the infrared LED illumination 100 and the near infrared camera 101 is adopted in order to enable watching of the target person even at night (even when the room is dark).
  • the imaging device 10 is installed to look over the entire bed 20 from the top of the bed 20 to the foot.
  • the imaging device 10 captures an image at a predetermined time interval (for example, 30 fps), and the image data is sequentially captured by the information processing device 11.
  • a predetermined time interval for example, 30 fps
  • the information processing apparatus 11 is an apparatus provided with a function of analyzing image data captured from the imaging apparatus 10 in real time, automatically detecting the state and behavior of the subject 21 on the bed 20, and notifying when necessary.
  • the information processing apparatus 11 includes an image acquisition unit 110, an operation detection unit 111, an operation feature extraction unit 112, a learning unit 113, a storage unit 114, a determination unit 115, and a notification unit 116 as specific functional modules.
  • the information processing apparatus 11 includes a general-purpose computer including a CPU (processor), memory, storage (HDD, SSD, etc.), input device (keyboard, mouse, touch panel, etc.), communication interface, etc.
  • a general-purpose computer including a CPU (processor), memory, storage (HDD, SSD, etc.), input device (keyboard, mouse, touch panel, etc.), communication interface, etc.
  • Each module of the information processing apparatus 11 is realized by the CPU executing a program stored in the storage or the memory.
  • the configuration of the information processing apparatus 11 is not limited to this example.
  • distributed computing may be performed by a plurality of computers, a part of the module may be executed by a cloud server, or a part of the module may be configured by a circuit such as an ASIC or an FPGA. It is also good.
  • the image acquisition unit 110 is a module for acquiring an image captured by the imaging device 10.
  • the image data input from the image acquisition unit 110 is temporarily stored in a memory or a storage, and is used for various processes such as operation detection, extraction of operation features, learning of normal operation, and operation monitoring described later.
  • the operation detection unit 111 is a module that analyzes an image (moving image data or time-series image data) acquired by the image acquisition unit 110 and detects a predetermined operation of the watching target person 21.
  • the "predetermined operation” is an operation to be monitored by the present system. Although what kind of operation may be set to "predetermined operation", it is good to set the operation which watching object person 21 does by all means in daily life to "predetermined operation". It is because it can be expected that by monitoring the operation to be always performed every day, it is possible to accurately detect the abnormality of the watching target 21 and the sign of the abnormality.
  • the motion detection unit 111 may detect the motion only from the image acquired by the image acquisition unit 110, but may use detection results of other sensors for motion detection.
  • the motion feature extraction unit 112 is a module for extracting, from the image obtained by the image obtaining unit 110, a feature when the watching target person 21 performs a predetermined motion as a "motion feature".
  • a feature also referred to as a feature amount
  • the motion feature may use a feature extracted from an image of one frame, or may use a feature extracted from an image of a plurality of frames, or a time from start to end of shooting time of an image or operation
  • Temporal features may be used, such as: Further, not only the feature extracted from the image obtained by the image obtaining unit 110 but also the feature extracted from the detection result of another sensor may be added to the motion feature.
  • the learning unit 113 is a module that generates data representing the normal operation feature of the watching target person 21 based on the motion feature extracted from the image of the watching target person 21 captured during a predetermined period in the past.
  • the "predetermined period” can be set arbitrarily, but it is preferable that it is at least one day, preferably several days.
  • the image when abnormality occurs in the watching target person 21 is an image for learning You should exclude from.
  • Data representing the normal operation feature generated by the learning unit 113 is stored in the storage unit 114.
  • the storage unit 114 is a module that stores various data used by the watching support system 1 for processing.
  • the storage unit 114 includes at least parameters used in various processes such as operation detection, extraction of operation features, learning of normal operation, operation monitoring, setting information of a monitoring area, image data or detection results of a plurality of past frames, monitoring
  • a storage area is provided for storing data representing the normal operation feature of the subject 21.
  • the determination unit 115 is a module that monitors the operation of the watching target 21 and detects an abnormal operation. Specifically, the determination unit 115 stores, in the storage unit 114, the operation feature extracted from the image of the watching target person 21 currently photographed (that is, the real-time monitoring image captured by the image acquiring unit 110). It is determined whether the current motion of the watching target 21 is the normal motion or the abnormal motion by comparing with the normal motion feature of the watching target 21. That is, if the current motion feature is the same as or substantially the same as the normal motion feature, the motion of the watching target 21 can be determined as "normal motion” and the current motion feature is clearly different from the normal motion feature If it is a thing, it can be judged that operation of watching object person 21 is "abnormal operation".
  • the target person 21 watches over an abnormal operation (a motion different from the normal operation)
  • some abnormality may occur in the monitoring target person 21.
  • the presence or absence of abnormality is determined by comparing with the normal operation of the watching target person 21 itself, and therefore the abnormal operation is accurately detected regardless of the individual difference in the movement. be able to.
  • the notification unit 116 is a module that performs a necessary notification when the determination unit 115 detects an abnormal operation of the watching target 21.
  • the notification unit 116 determines whether or not the notification is necessary (for example, only in the case of a dangerous condition), the content of the notification (for example, the content of the message), the notification means (for example, for example). Voice, mail, buzzer, warning light), notification destination (eg, nurse, doctor), frequency of notification, etc. can be switched.
  • the time-series image data acquired from the image acquisition unit 110 includes a scene in which the target person 21 performs the above-described predetermined operation.
  • the operation detection unit 111 by automatically detecting “start” and “end” of each operation by the operation detection unit 111, a part (frame group) corresponding to each operation is specified from the time-series image data.
  • FIG. 3B shows an example of start determination logic and end determination logic of each of the seven items of operations.
  • the "start” and “end” are judged for actions that last for a certain amount of time such as “wake up” or “meal”, but actions that do not continue like “wake up in the morning” or “sleeping in the night” Judge only "start”.
  • the motion detecting unit 111 determines that the “wake up” is started when “eyes open” and / or “body moved” is detected.
  • the "open eye” can be detected by, for example, known image recognition (such as face organ detection).
  • the body has moved may be detected by, for example, known image recognition (human body detection etc.), or body motion may be detected by an acceleration sensor attached to the target person 21 or the bed, or bedside Body movement may be detected by a radio wave sensor installed on the
  • the motion detection unit 111 determines that the wake-up operation is “start” when “the head is separated from the pillow or the bed” is detected.
  • the "head separated from the pillow or bed” may be detected by, for example, known image recognition (such as head detection) or may be detected by a load sensor installed on the pillow or bed.
  • the motion detection unit 111 determines that the wake-up operation is “end” when “the head has moved to the central position of the bed” and / or “the upper body has risen on the bed” is detected.
  • the position and condition of the head and upper body may be detected by, for example, known image recognition, or may be detected by a load sensor installed in a bed.
  • the motion detecting unit 111 determines that the bed lifting operation is “start” when “the body has moved in the direction of the entrance of the bed” is detected.
  • the movement of the body may be detected by, for example, known image recognition, or may be detected by a load sensor installed in a bed.
  • the motion detection unit 111 determines that the bed leaving operation is “end” when “the body is separated from the bed” is detected. For example, "the body has left the bed” may be detected by known image recognition, may be detected by a load sensor installed in the bed, or may be detected by a human sensor.
  • the movement detection unit 111 determines that the walking operation is “start” when “the body is separated from the bed” is detected. For example, “the body has left the bed” may be detected by known image recognition, may be detected by a load sensor installed in the bed, or may be detected by a human sensor.
  • the motion detection unit 111 determines that the walking motion is “end” when “the body has returned to the bed” or “the body has moved out of the monitoring area” is detected.
  • the “body's return to the bed” may be detected by, for example, known image recognition, may be detected by a load sensor installed in the bed, or may be detected by a human sensor.
  • the "body's movement out of the monitoring area” may be detected by, for example, known image recognition, or may be detected by a human sensor.
  • Meal action detection unit 111 determines that the meal action is “start” when “meal delivery” and / or “the fact that the food has been taken to the mouth” is detected. “Delivery” and “feeding food to the mouth” can be detected by, for example, known image recognition. The motion detection unit 111 determines that the meal operation is “end” when “hang-down” and / or “the food is lost” is detected. The “dropper” and / or “the absence of food” can be detected, for example, by known image recognition. In addition, when the time of serving and hanging chopsticks is decided in advance in a hospital or facility, the time may be used as the start time / end time of the meal operation as it is.
  • the motion detection unit 111 determines that “bed start” is performed.
  • the operation detection unit 111 determines that the bed-closing operation is "end”.
  • the position / state of the head may be detected by, for example, known image recognition, or may be detected by a load sensor installed on a bed or pillow.
  • the motion detecting unit 111 determines that “sleeping” is “started” when “eye closed” and / or “body's motion stopped” is detected.
  • the "eye closure” can be detected by, for example, known image recognition (such as face organ detection).
  • the movement of the body stopped” may be detected by, for example, known image recognition (human body detection etc.), or body movement may be detected by an acceleration sensor attached to the subject 21 or a bed.
  • Body motion may be detected by a radio wave sensor installed on the bedside.
  • FIG. 4 shows an example of operation features extracted for each of the seven items of operations.
  • the motion feature extraction unit 112 extracts, for example, “the time when the eyes are open” as the feature of the awakening motion.
  • the time information may be acquired from the time stamp of the image data or the built-in clock of the present system (the same applies hereinafter).
  • FIG. 5A shows an example of a time-series image from the start to the end of the wake-up operation.
  • the motion feature extraction unit 112 detects the head from the image, and thereafter, tracks the head position until the end of the wake-up motion.
  • known object recognition and object tracking algorithms may be used.
  • the rectangular frame in FIG. 5A indicates the detection result of the head.
  • the motion feature extraction unit 112 records data of the head position (for example, the center coordinates of the rectangular frame) for each frame from the start to the end of the wake-up operation as "locus of head position".
  • FIG. 5B schematically shows the trajectory of the head position extracted from the time-series image of FIG. 5A. It can be seen that the subject 21 has a feature (movement habit) in which the head passes through the left side of the center of the body when getting up.
  • FIG. 5C schematically shows how to apply weight (weight shift) extracted from the time-series image of FIG. 5A. It can also be seen in FIG. 5C that a characteristic of tilting the upper body to the left when rising is also appearing.
  • Feature extraction of "how to put on weight” may be any method.
  • the motion feature extraction unit 112 may extract the body pressure distribution of the subject 21 from the measurement result of the load sensor installed in the bed, or the position, the silhouette, and the position of the head and body of the subject 21 from the image.
  • the body pressure distribution or the center of gravity may be roughly estimated by detecting the like.
  • “Use of fence” is information indicating whether or not the target person 21 uses the fence beside the bed (does not grasp or not) when getting up from the bed.
  • the movement feature extraction unit 112 detects, for example, the hand of the target person 21 from the image, and based on the positional relationship between the position of the hand and the fence beside the bed, whether or not the target person 21 is putting a hand on the fence It can be determined.
  • the touch sensor installed on the fence may detect that the target person 21 is touching the fence.
  • the “time taken for the wake-up operation” is the difference between the end time of the wake-up operation and the start time. The use of fences and the time taken to get up are also characteristic of individual differences.
  • the motion feature extraction unit 112 sets, for example, “locus of head position”, “how to put on weight (weight shift)”, “use of fence”, “time taken for leaving operation” Extract as a feature.
  • the “head position trajectory”, “weighting method (weight shift)”, and “use or absence of fence” can be extracted in the same manner as the feature of the wake-up operation.
  • the “time taken for the bed leaving operation” is the difference between the end time of the bed leaving operation and the start time.
  • the motion feature extraction unit 112 extracts, for example, “moving speed” and “walking” as the features of the walking motion.
  • the motion feature extraction unit 112 can obtain the “moving speed” based on the change in the position of the target person 21 among a plurality of frames.
  • the “walking” for example, characteristics such as body bending degree (the tendency to bend the body when there is an abnormality such as abdominal pain), stride length, movement trajectory movement, trunk movement and the like may be captured.
  • the motion feature extraction unit 112 can extract these features by analyzing images of a plurality of frames.
  • the motion feature extraction unit 112 extracts, for example, “time required for meal” and “amount of movement” as the feature of the meal motion. "Time taken for a meal” is the difference between the end time of the meal and the start time. The “amount of movement” is, for example, information such as the number of times the hand was delivered to the mouth during a meal, the number of chewing.
  • the motion feature extraction unit 112 can extract these features by analyzing images of a plurality of frames.
  • the movement feature extraction unit 112 stores, for example, “locus of head position”, “how to put weight (weight shift)”, “use of fence”, “time required for bed movement” It extracts as a feature of floor movement.
  • the “head position trajectory”, “weighting method (weight shift)”, and “use or absence of fence” can be extracted in the same manner as the feature of the wake-up operation.
  • the “time taken for bed-keeping operation” is the difference between the end time and the start-time for bed-keeping operation.
  • the motion feature extraction unit 112 extracts, for example, “time when the eyes are closed” as the feature of the sleeping motion. In order to prevent false recognition with blinks, the motion feature extraction unit 112 may determine that the user has fallen asleep when the state in which the eyes are closed continues for a predetermined time (for example, 30 seconds).
  • FIG. 6 shows a flow of learning processing of the normal operation of the target person 21 by the learning unit 113. This flow is executed before starting to monitor the operation of a new subject, such as when installing a system or changing a watching target.
  • the image acquisition unit 110 acquires image data for a predetermined period (for example, one day to several days) (step S60). At this time, the image acquisition unit 110 may capture an image from the imaging device in real time, or may capture image data that has already been captured from the storage unit 118.
  • the motion detection unit 111 detects the above-described seven items of motion from the image data acquired in step S60 (step S61), and extracts the features of each of the motion detected by the motion feature extraction unit 112 (step S62). ). As a result, one to a plurality of motion features are extracted for each of the seven items of motion.
  • the learning unit 113 generates a normal operation feature of the subject 21 based on the one or more operation features obtained in step S62 (step S63).
  • the operation feature may be used as the normal operation feature.
  • the learning unit 113 generates an average motion feature based on the multiple motion features. Specifically, an average, a weighted average, a mode value, an intermediate value, and the like of a plurality of motion features may be calculated.
  • the learning unit 113 generates a normal operation feature for each of the seven items of operations, and registers the data in the storage unit 114 (step S64).
  • the present system can start monitoring the operation of the target person 21.
  • monitoring processing is performed using an initial value (a factory setting value, a user setting value, etc.) of the normal operation feature, and online learning is performed while continuing monitoring.
  • the normal operation feature may be replaced with the information of the subject person 21.
  • FIG. 7 shows a flow of monitoring processing of the operation of the watching target. This flow is started after learning of the watching target's normal operation is completed.
  • the image acquisition unit 110 acquires current image data from the imaging device 10 (step S70).
  • the operation detection unit 111 detects an operation of any of the seven items using the current image data (or the image data of the latest plurality of frames) (step S71).
  • the operation detected here is referred to as a detection operation.
  • the operation feature extraction unit 112 extracts an operation feature of the detection operation (step S72).
  • the types of motion features and the extraction method are as described above.
  • the determination unit 115 reads the normal operation feature of the detection operation from the storage unit 114 (step S73), and compares the normal operation feature with the current operation feature extracted in step S72 (step S74). If the difference between the normal operation feature and the current operation feature is equal to or less than the threshold value, the determination unit 115 determines that the current operation of the target person 21 is the normal operation (step S75), (without performing notification) ) Continue monitoring. On the other hand, when the difference between the normal motion feature and the current motion feature exceeds the threshold value, the determination unit 115 determines that the current motion of the subject 21 is abnormal, and performs notification from the notification unit 116 as necessary. After that (step S76), monitoring is continued.
  • the present embodiment described above it is determined whether the operation of the target person 21 is abnormal or not by learning (memory) the normal operation of the target person 21 of watching over itself and comparing it with the normal operation. Therefore, regardless of the individual difference in movement, abnormal movement can be detected with high accuracy. Therefore, false detection and over detection as in the prior art can be reduced, and the reliability of the system can be improved.
  • learning and monitoring are performed for seven items of operations, but the seven items of operations are merely an example, and the operations to be learned and monitored are not limited to these.
  • the number of items may be one or more.
  • the above-mentioned motion feature is also an example to the last, and any information can be used as the motion feature as long as it is information that can be extracted from an image or results of other sensors and that can identify individual differences in motion. You may
  • Watch support system 10 Imaging device
  • 11 Information processing device 100: Illumination
  • 101 Near infrared camera
  • 110 Image acquisition unit
  • 111 Operation detection unit
  • 112 Operation feature extraction unit
  • 113 Learning unit
  • 114 Storage unit
  • 115 Judgment unit
  • 116 Notification unit 20: Bed
  • 21 Target person

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Emergency Management (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Nursing (AREA)
  • Alarm Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

ベッド上の対象者の見守りを支援する見守り支援システムが、撮像装置から画像を取得する画像取得部と、画像から前記対象者が所定の動作を行うときの特徴を動作特徴として抽出する特徴抽出部と、過去の所定期間に撮影された前記対象者の画像から抽出された動作特徴を基に、前記対象者の通常動作特徴を表すデータを生成する学習部と、前記学習部により生成された前記対象者の通常動作特徴を表すデータを記憶する記憶部と、現在撮影された前記対象者の画像から抽出された動作特徴を、前記記憶部に記憶されている前記通常動作特徴と比べることにより、現在の前記対象者の動作が通常の動作か異常な動作かを判定する判定部と、前記判定部により異常な動作と判定された場合に、報知を行う報知部と、を有する。

Description

見守り支援システム及びその制御方法、プログラム
　本発明は、ベッド上の対象者の見守りを支援するための技術に関する。
　介護施設や病院等では、介護士や看護師などによる見守りの負担を減らすために、要介護者や患者の動作を検知して報知するセンサのニーズが増している。特許文献１には、患者の動作を検知し、患者の動作と容態に応じた報知を行う、見守り支援システムが開示されている。
特開２０１２－０７１００４号公報
　特許文献１のシステムでは、カメラで撮影した画像に基づき、患者の起床動作（ベッド上での起き上がり）や離床動作（ベッドから降りること）などの所定の動作を検知し、報知を行っている。しかしながら、実際の動き方には個人差があるため、患者によっては動作の検知に失敗したり検知精度が低下する可能性がある。また、同じ動き方でも、ある患者にとっては通常の動作であるが、別の患者にとっては異常な動作（あるいは危険な動作）である可能性もある。したがって、従来システムでは、「報知すべき動作を見過ごし報知しない」、「報知の必要がないにもかかわらず報知してしまう」などの問題が発生している。このような誤検知や過検知の発生は、システムの信頼性を低下させるため、望ましくない。
　本発明は、上記実情に鑑みなされたものであって、動きの個人差にかかわらず、高精度かつ高信頼の報知を行うための技術を提供することを目的とする。
　上記目的を達成するために、本発明では、対象者自身の通常の動作をあらかじめ学習し、通常の動作と比較することで対象者の動作の異常の有無を判定する、という方法を採用する。
　具体的には、本発明の第一態様は、ベッド上の対象者の見守りを支援する見守り支援システムであって、前記対象者を撮影するように設置された撮像装置から画像を取得する画像取得部と、前記画像取得部により得られた画像から、前記対象者が所定の動作を行うときの特徴を動作特徴として抽出する特徴抽出部と、過去の所定期間に撮影された前記対象者の画像から前記特徴抽出部により抽出された動作特徴を基に、前記対象者の通常動作特徴を表すデータを生成する学習部と、前記学習部により生成された前記対象者の通常動作特徴を表すデータを記憶する記憶部と、現在撮影された前記対象者の画像から前記特徴抽出部により抽出された動作特徴を、前記記憶部に記憶されている前記通常動作特徴と比べることにより、現在の前記対象者の動作が通常の動作か異常な動作かを判定する判定部と、前記判定部により異常な動作と判定された場合に、報知を行う報知部と、を有することを特徴とする見守り支援システムを提供する。
　この構成によれば、見守りの対象者自身の通常の動作を学習（記憶）し、その通常の動作と比較することで対象者の動作が異常であるか否かを判定するので、動きの個人差にかかわらず、異常な動作を精度良く検知することができる。したがって、従来のような誤検知や過検知を減らすことができ、システムの信頼性を向上することができる。
　前記所定期間に前記対象者が前記所定の動作を複数回行っている場合に、前記学習部は、複数回分の動作特徴を基に平均的な動作特徴を生成し、前記平均的な動作特徴を前記対象者の通常動作特徴とすることが好ましい。同じ人でも動作のたびに特徴のばらつきが生じる可能性があるところ、複数回分の動作特徴を基に平均的な動作特徴を生成することで、通常動作特徴の信頼性を向上することができる。
　前記所定の動作は、起床動作、離床動作、又は、就床動作を含むとよい。これらの動作は個人差が大きいため、従来技術では検知精度の向上が難しいが、本発明によれば、個人差を考慮した高精度な異常判定を実現することができる。
　前記特徴抽出部は、前記動作特徴として、頭部位置の軌跡、体重のかけ方、ベッドの柵の使用有無、及び、動作に要した時間のうち少なくとも１つを含むとよい。これらの動作特徴に個人差が現れやすいため、通常動作特徴の学習や通常動作特徴と現在の動作特徴との比較を行いやすく、高精度な異常判定を実現することができる。
　なお、本発明は、上記構成ないし機能の少なくとも一部を有する見守り支援システムとして捉えることができる。また、本発明は、上記処理の少なくとも一部を含む、見守り支援方法又は見守り支援システムの制御方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
　本発明によれば、ベッド上の対象者の状態ないし行動を高精度かつ高信頼に検知することができる。
図１は見守り支援システムのハードウェア構成および機能構成を模式的に示すブロック図である。 図２は撮像装置の設置例を示す図である。 図３Ａは時系列画像データの模式図であり、図３Ｂは７項目の動作の開始と終了の判断ロジックの例を示す図である。 図４は７項目の動作の動作特徴の例を示す図である。 図５Ａは起床動作の時系列画像の例を示す図であり、図５Ｂは時系列画像から抽出された頭部位置の軌跡の例を示す図であり、図５Ｃは時系列画像から抽出された体重のかけ方の例を示す図である。 図６は対象者の通常動作の学習処理のフローチャートである。 図７は対象者の動作の監視処理のフローチャートである。
　本発明は、ベッド上の対象者の見守りを支援するための技術に関する。この技術は、病院や介護施設などにおいて、患者や要介護者などの離床・起床行動を自動で検知し、危険な状態が発生した場合などに必要な通知を行うシステムに適用することができる。このシステムは、例えば、高齢者、認知症患者、子供などの見守り支援に好ましく利用することができる。
　以下、図面を参照して本発明を実施するための好ましい形態の一例を説明する。ただし、以下の実施形態に記載されている装置の構成や動作は一例であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
　（システム構成）
　図１と図２を参照して、本発明の実施形態に係る見守り支援システムの構成を説明する。図１は、見守り支援システム１のハードウェア構成および機能構成を模式的に示すブロック図であり、図２は、撮像装置の設置例を示す図である。
　見守り支援システム１は、主なハードウェア構成として、撮像装置１０と情報処理装置１１を有している。撮像装置１０と情報処理装置１１の間は有線又は無線により接続されている。図１では、１つの撮像装置１０のみ示しているが、複数台の撮像装置１０を情報処理装置１１に接続してもよい。
　撮像装置１０は、ベッド上の対象者を撮影して画像データを取り込むためのデバイスである。撮像装置１０としては、モノクロ又はカラーの可視光カメラ、赤外線カメラ、三次元カメラなどを用いることができる。本実施形態では、夜間でも（部屋内が暗い場合でも）対象者の見守りを可能とするため、赤外線ＬＥＤ照明１００と近赤外線カメラ１０１で構成される撮像装置１０を採用する。撮像装置１０は、図２に示すように、ベッド２０の頭側上方から足側に向かって、ベッド２０の全体を俯瞰するように設置される。撮像装置１０は所定の時間間隔（例えば、３０ｆｐｓ）で撮影を行い、その画像データは情報処理装置１１に順次取り込まれる。
　情報処理装置１１は、撮像装置１０から取り込まれる画像データをリアルタイムに分析し、ベッド２０上の対象者２１の状態や行動を自動で検知し、必要な場合に通知を行う機能を備える装置である。情報処理装置１１は、具体的な機能モジュールとして、画像取得部１１０、動作検出部１１１、動作特徴抽出部１１２、学習部１１３、記憶部１１４、判定部１１５、報知部１１６を有している。
　本実施形態の情報処理装置１１は、ＣＰＵ（プロセッサ）、メモリ、ストレージ（ＨＤＤ、ＳＳＤなど）、入力デバイス（キーボード、マウス、タッチパネルなど）、通信インタフェースなどを具備する汎用のコンピュータにより構成され、上述した情報処理装置１１の各モジュールは、ストレージ又はメモリに格納されたプログラムをＣＰＵが実行することにより実現される。ただし、情報処理装置１１の構成はこの例に限られない。例えば、複数台のコンピュータによる分散コンピューティングを行ってもよいし、上記モジュールの一部をクラウドサーバにより実行してもよいし、上記モジュールの一部をＡＳＩＣやＦＰＧＡのような回路で構成してもよい。
　画像取得部１１０は、撮像装置１０により撮影された画像を取得するためのモジュールである。画像取得部１１０より入力された画像データは一時的にメモリ又はストレージに記憶され、後述する動作検出、動作特徴の抽出、通常動作の学習、動作の監視などの各種処理に供される。
　動作検出部１１１は、画像取得部１１０により取得された画像（動画像データないし時系列の画像データ）を分析し、見守り対象者２１の所定の動作を検出するモジュールである。「所定の動作」は、本システムが監視の対象とする動作である。どのような動作を「所定の動作」に設定しても構わないが、見守り対象者２１が一日の生活のなかで必ず行う動作を「所定の動作」に設定するとよい。必ず行う動作を日々監視することで、見守り対象者２１の異常や異常の兆候を精度良く検知できると期待できるからである。動作検出部１１１は、画像取得部１１０により取得される画像のみから動作を検出してもよいが、他のセンサの検知結果を動作検出に利用してもよい。
　動作特徴抽出部１１２は、画像取得部１１０により得られた画像から、見守り対象者２１が所定の動作を行うときの特徴を「動作特徴」として抽出するモジュールである。「動作特徴」にはどのような特徴（特徴量とも称す）を用いてもよいが、個人差の現れやすい特徴を用いることが好ましい。１つの動作について１つの特徴だけでなく複数の特徴を抽出してもよい。動作特徴には、１フレームの画像から抽出される特徴を用いてもよいし、複数フレームの画像から抽出される特徴を用いてもよいし、画像の撮影時刻や動作の開始から終了までの時間などのように時間に関する特徴を用いてもよい。また、画像取得部１１０により得られた画像から抽出した特徴だけでなく、他のセンサの検知結果から抽出した特徴を動作特徴に加えてもよい。
　学習部１１３は、過去の所定期間に撮影された見守り対象者２１自身の画像から抽出された動作特徴を基に、その見守り対象者２１の通常動作特徴を表すデータを生成するモジュールである。「所定期間」は任意に設定できるが、少なくとも１日間、好ましくは数日間であるとよい。また、学習部１１３の目的は、見守り対象者２１の通常時の動作特徴（いつもの動き方）を学習することにあるため、見守り対象者２１に異常が発生したときの画像は学習用の画像から除外するとよい。学習部１１３により生成された通常動作特徴を表すデータは記憶部１１４に格納される。
　記憶部１１４は、見守り支援システム１が処理に用いる各種のデータを記憶するモジュールである。記憶部１１４には、少なくとも、動作検出、動作特徴の抽出、通常動作の学習、動作の監視などの各種処理で用いられるパラメータ、監視領域の設定情報、過去複数フレームの画像データ又は検出結果、見守り対象者２１の通常動作特徴を表すデータを記憶するための記憶エリアが設けられる。
　判定部１１５は、見守り対象者２１の動作を監視し、異常な動作を検知するモジュールである。具体的には、判定部１１５は、現在撮影された見守り対象者２１の画像（つまり、画像取得部１１０により取り込まれるリアルタイムの監視画像）から抽出された動作特徴を、記憶部１１４に記憶されている見守り対象者２１の通常動作特徴と比べることにより、現在の見守り対象者２１の動作が通常の動作か異常な動作かを判定する。すなわち、現在の動作特徴が通常動作特徴と同じか実質的に同じものであれば、見守り対象者２１の動作は「通常の動作」と判定でき、現在の動作特徴が通常動作特徴と明らかに異なるものであれば、見守り対象者２１の動作は「異常な動作」と判定できる。異常な動作（通常とは異なる動作）を見守り対象者２１がとった場合、見守り対象者２１に何らかの異常が発生した可能性がある。このように、このように、本システムでは、見守り対象者２１自身の通常の動作と比較することで異常の有無を判定するので、動きの個人差にかかわらず、異常な動作を精度良く検知することができる。
　報知部１１６は、判定部１１５により見守り対象者２１の異常な動作が検知された場合に、必要な報知を行うモジュールである。報知部１１６は、見守り対象者２１の動作の危険度合いに応じて、通知の要否（例えば、危険な状態の場合のみ通知を行う）、通知の内容（例えばメッセージの内容）、通知手段（例えば音声、メール、ブザー、警告灯）、通知先（例えば看護師、医師）、通知の頻度などを切り替えることができる。
　（動作検出）
　動作検出部１１１による動作検出処理の一例を説明する。本実施形態では、見守り対象者２１の動作として、（１）朝の覚醒（睡眠状態から覚醒状態になること）、（２）起床（ベッド上で体を起こすこと）、（３）離床（ベッドから離れること）、（４）歩行（ベッドの周囲を歩くこと）、（５）食事、（６）就床（ベッドに寝た状態となること）、（７）夜の入眠（覚醒状態から睡眠状態になること）、の７項目の所定の動作を監視の対象とする。以下、見守り対象者２１を単に対象者２１とも呼ぶ。
　図３Ａに示すように、画像取得部１１０から取得される時系列画像データには、対象者２１が上記の所定の動作を行うシーンが含まれている。ただし、対象者２１が各々の動作をいつ行うかは不明であるし、日によって異なる。そこで本システムでは、動作検出部１１１によって各動作の「開始」と「終了」を自動で検知することにより、時系列画像データから各動作に対応するパート（フレーム群）を特定する。
　図３Ｂは、７項目の動作それぞれの開始判断ロジックと終了判断ロジックの一例を示している。なお、「起床」や「食事」のようにある程度の時間続く動作については「開始」と「終了」を判断するが、「朝の覚醒」や「夜の入眠」のように継続しない動作については「開始」のみ判断する。
　（１）朝の覚醒
　動作検出部１１１は、「目が開いたこと」及び／又は「身体が動いたこと」が検知された場合に、覚醒動作の「開始」と判断する。「目が開いたこと」は例えば公知の画像認識（顔器官検出など）により検知可能である。また「身体が動いたこと」は例えば公知の画像認識（人体検出など）により検知してもよいし、対象者２１又はベッドに装着した加速度センサにより体動を検知してもよいし、ベッドサイドに設置した電波センサにより体動を検知してもよい。
　（２）起床
　動作検出部１１１は、「頭が枕又はベッドから離れたこと」が検知された場合に、起床動作の「開始」と判断する。「頭が枕又はベッドから離れたこと」は例えば公知の画像認識（頭部検出など）により検知してもよいし、枕又はベッドに設置した荷重センサにより検知してもよい。動作検出部１１１は、「頭がベッド中央位置に移動したこと」及び／又は「ベッド上に上半身が起立したこと」が検知された場合に、起床動作の「終了」と判断する。頭や上半身の位置・状態は例えば公知の画像認識により検知してもよいし、ベッドに設置した荷重センサにより検知してもよい。
　（３）離床
　動作検出部１１１は、「身体がベッドの降り口方向に移動したこと」が検知された場合に、離床動作の「開始」と判断する。身体の移動は例えば公知の画像認識により検知してもよいし、ベッドに設置した荷重センサにより検知してもよい。動作検出部１１１は、「身体がベッドから離れたこと」が検知された場合に、離床動作の「終了」と判断する。「身体がベッドから離れたこと」は例えば公知の画像認識により検知してもよいし、ベッドに設置した荷重センサにより検知してもよいし、人感センサにより検知してもよい。
　（４）歩行
　動作検出部１１１は、「身体がベッドから離れたこと」が検知された場合に、歩行動作の「開始」と判断する。「身体がベッドから離れたこと」は例えば公知の画像認識により検知してもよいし、ベッドに設置した荷重センサにより検知してもよいし、人感センサにより検知してもよい。動作検出部１１１は、「身体がベッドに戻ったこと」又は「身体が監視領域外へ移動したこと」が検知された場合に、歩行動作の「終了」と判断する。「身体がベッドに戻ったこと」は例えば公知の画像認識により検知してもよいし、ベッドに設置した荷重センサにより検知してもよいし、人感センサにより検知してもよい。「身体が監視領域外へ移動したこと」は例えば公知の画像認識により検知してもよいし、人感センサにより検知してもよい。
　（５）食事
　動作検出部１１１は、「配膳」及び／又は「口に食べ物を運んだこと」が検知された場合に、食事動作の「開始」と判断する。「配膳」や「口に食べ物を運んだこと」は例えば公知の画像認識により検知可能である。動作検出部１１１は、「下げ膳」及び／又は「食べ物が無くなったこと」が検知された場合に、食事動作の「終了」と判断する。「下げ膳」及び／又は「食べ物が無くなったこと」は例えば公知の画像認識により検知可能である。なお、病院や施設において配膳と下げ膳の時刻が予め決まっている場合には、その時刻をそのまま食事動作の開始時刻・終了時刻としてもよい。
　（６）就床
　動作検出部１１１は、「頭がベッドの中央位置から枕の方向に移動したこと」が検知された場合に、就床動作の「開始」と判断する。動作検出部１１１は、「頭が枕又はベッドに着いたこと」が検知された場合に、就床動作の「終了」と判断する。頭の位置・状態は例えば公知の画像認識により検知してもよいし、ベッド又は枕に設置した荷重センサにより検知してもよい。
　（７）夜の入眠
　動作検出部１１１は、「目が閉じたこと」及び／又は「身体の動きが停止したこと」が検知された場合に、入眠動作の「開始」と判断する。「目が閉じたこと」は例えば公知の画像認識（顔器官検出など）により検知可能である。また「身体の動きが停止したこと」は例えば公知の画像認識（人体検出など）により検知してもよいし、対象者２１又はベッドに装着した加速度センサにより体動を検知してもよいし、ベッドサイドに設置した電波センサにより体動を検知してもよい。
　（動作特徴の抽出）
　動作特徴抽出部１１２による動作特徴抽出処理の一例を説明する。図４は、７項目の動作それぞれについて抽出する動作特徴の一例を示している。
　（１）朝の覚醒
　動作特徴抽出部１１２は、例えば「目が開いた時刻」を覚醒動作の特徴として抽出する。時間情報については、画像データのタイムスタンプ又は本システムの内蔵時計から取得すればよい（以後同様である）。
　（２）起床
　動作特徴抽出部１１２は、例えば「頭部位置の軌跡」、「体重のかけ方（体重移動）」、「柵の使用有無」、「起床動作に要した時間」を起床動作の特徴として抽出する。図５Ａは、起床動作の開始から終了までの時系列画像の一例を示している。動作検出部１１１により起床動作の開始が検出されると、動作特徴抽出部１１２が、画像から頭部を検出し、以後、起床動作の終了まで、頭部位置の追跡を行う。頭部検出及び追跡の方法については、公知の物体認識及び物体追跡アルゴリズムを用いればよい。図５Ａの矩形枠は頭部の検出結果を示している。起床動作が終了したら、動作特徴抽出部１１２は、起床動作の開始から終了までのフレーム毎の頭部位置（例えば、矩形枠の中心座標）のデータを、「頭部位置の軌跡」として記録する。図５Ｂは、図５Ａの時系列画像から抽出された頭部位置の軌跡を模式的に示している。この対象者２１は、起き上がるときに頭部が身体の中心よりも左側を通る特徴（動きの癖）を有していることがわかる。
　また図５Ｃは、図５Ａの時系列画像から抽出された体重のかけ方（体重移動）を模式的に示している。図５Ｃにも、起き上がるときに上体を左側に傾けるという特徴が現れていることがわかる。「体重のかけ方」の特徴抽出はどのような方法でもよい。例えば、動作特徴抽出部１１２は、ベッドに設置した荷重センサの計測結果から対象者２１の体圧分布を抽出してもよいし、画像から対象者２１の姿勢、シルエット、頭部と体の位置などを検出することで体圧分布や重心などを大まかに推定してもよい。
　「柵の使用有無」は、対象者２１がベッドから起き上がるときにベッド脇の柵を使用するか（掴むか）否かを示す情報である。動作特徴抽出部１１２は、例えば、画像から対象者２１の手を検出し、手の位置とベッド脇の柵との位置関係に基づいて、対象者２１が柵に手をかけているか否かを判定することができる。あるいは、柵に設置したタッチセンサにより対象者２１が柵に触れていることを検知してもよい。「起床動作に要した時間」は、起床動作の終了時刻と開始時刻の差である。柵の使用有無や起床動作に要した時間なども個人差が現れやすい特徴である。
　（３）離床
　動作特徴抽出部１１２は、例えば「頭部位置の軌跡」、「体重のかけ方（体重移動）」、「柵の使用有無」、「離床動作に要した時間」を離床動作の特徴として抽出する。「頭部位置の軌跡」、「体重のかけ方（体重移動）」、「柵の使用有無」については、起床動作の特徴と同じ方法で抽出することができる。「離床動作に要した時間」は、離床動作の終了時刻と開始時刻の差である。
　（４）歩行
　動作特徴抽出部１１２は、例えば「移動速度」、「歩き方」を歩行動作の特徴として抽出する。動作特徴抽出部１１２は、複数フレーム間での対象者２１の位置の変化に基づいて「移動速度」を求めることができる。「歩き方」としては、例えば、身体の折り曲げ具合（腹痛などの異常がある場合は身体を折り曲げる傾向にある）、歩幅、移動軌跡の揺れ、体幹の揺れなどの特徴を捉えてもよい。動作特徴抽出部１１２は、複数フレームの画像を分析することによりこれらの特徴を抽出することができる。
　（５）食事
　動作特徴抽出部１１２は、例えば「食事に要した時間」、「動きの量」を食事動作の特徴として抽出する。「食事に要した時間」は食事の終了時刻と開始時刻の差である。「動きの量」は、例えば、食事中に手を口に運んだ回数、咀嚼回数などの情報である。動作特徴抽出部１１２は、複数フレームの画像を分析することによりこれらの特徴を抽出することができる。
　（６）就床
　動作特徴抽出部１１２は、例えば「頭部位置の軌跡」、「体重のかけ方（体重移動）」、「柵の使用有無」、「就床動作に要した時間」を就床動作の特徴として抽出する。「頭部位置の軌跡」、「体重のかけ方（体重移動）」、「柵の使用有無」については、起床動作の特徴と同じ方法で抽出することができる。「就床動作に要した時間」は、就床動作の終了時刻と開始時刻の差である。
　（７）夜の入眠
　動作特徴抽出部１１２は、例えば「目が閉じた時刻」を入眠動作の特徴として抽出する。まばたきとの誤認を防ぐため、動作特徴抽出部１１２は、目を閉じた状態が所定時間（例えば３０秒）続いた場合に入眠と判断してもよい。
　（通常動作の学習）
　図６に、学習部１１３による対象者２１の通常動作の学習処理のフローを示す。このフローは、システムの設置時や見守り対象者の変更時など、新しい対象者の動作の監視を開始する前に実行される。
　学習処理がスタートすると、画像取得部１１０が所定期間分（例えば１日～数日間分）の画像データを取得する（ステップＳ６０）。このとき、画像取得部１１０は撮像装置からリアルタイムに画像を取り込んでもよいし、撮影済みの画像データを記憶部１１８から読み込んでもよい。次に、動作検出部１１１が、ステップＳ６０で取得した画像データから前述した７項目の動作を検出し（ステップＳ６１）、動作特徴抽出部１１２が検出された動作それぞれの特徴を抽出する（ステップＳ６２）。これにより、７項目の動作のそれぞれについて、１回～複数回分の動作特徴が抽出される。
　続いて、学習部１１３が、ステップＳ６２で得られた１回～複数回分の動作特徴に基づいて、当該対象者２１の通常動作特徴を生成する（ステップＳ６３）。学習用のデータとして１回分の動作特徴しか無い場合は、その動作特徴をそのまま通常動作特徴とすればよい。複数回分の動作特徴が存在する場合は、学習部１１３は、複数回分の動作特徴を基に平均的な動作特徴を生成する。具体的には、複数回分の動作特徴の平均、加重平均、最頻値、中間値などを計算すればよい。学習部１１３は、７項目の動作それぞれについて通常動作特徴を生成し、そのデータを記憶部１１４に登録する（ステップＳ６４）。
　以上述べた通常動作の学習処理が完了すると、本システムは対象者２１の動作の監視を開始可能となる。なお、本実施形態では、システムの本稼働前に学習を完了する所謂オフライン学習の例を説明したが、システムの稼働中（対象者２１の動作の監視中）に学習を継続する所謂オンライン学習を実行してもよい。その場合は、例えば、新しい対象者２１の監視開始時は、通常動作特徴の初期値（工場設定値やユーザー設定値など）を用いて監視処理を行い、監視を続けながらオンライン学習を行うことで、通常動作特徴を対象者２１本人の情報に置き換えていくとよい。
　（動作の監視）
　図７に、見守り対象者の動作の監視処理のフローを示す。このフローは、見守り対象者の通常動作の学習完了後に開始される。
　まず、画像取得部１１０が撮像装置１０から現在の画像データを取得する（ステップＳ７０）。次に、動作検出部１１１が、現在の画像データ（又は直近複数フレームの画像データ）を用いて７項目のうちのいずれかの動作を検出する（ステップＳ７１）。以後、ここで検出された動作を検出動作と呼ぶ。次に、動作特徴抽出部１１２が検出動作の動作特徴を抽出する（ステップＳ７２）。動作特徴の種類及び抽出方法は前述のとおりである。
　次に、判定部１１５が、記憶部１１４から検出動作の通常動作特徴を読み込み（ステップＳ７３）、通常動作特徴とステップＳ７２で抽出した現在の動作特徴とを比較する（ステップＳ７４）。通常動作特徴と現在の動作特徴との差が閾値以下であれば、判定部１１５は、対象者２１の現在の動作が通常の動作であると判定し（ステップＳ７５）、（報知を行わずに）監視を継続する。他方、通常動作特徴と現在の動作特徴との差が閾値を超えていた場合は、判定部１１５は、対象者２１の現在の動作に異常ありと判定し、報知部１１６から必要な報知を行った後（ステップＳ７６）、監視を継続する。
　以上述べた本実施形態によれば、見守りの対象者２１自身の通常の動作を学習（記憶）し、その通常の動作と比較することで対象者２１の動作が異常であるか否かを判定するので、動きの個人差にかかわらず、異常な動作を精度良く検知することができる。したがって、従来のような誤検知や過検知を減らすことができ、システムの信頼性を向上することができる。
　＜その他＞
　上記の各実施形態の説明は、本発明を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。
　例えば、上記実施形態では、７項目の動作について学習・監視を行ったが、この７項目の動作はあくまで一例であり、学習・監視の対象となる動作はこれらに限られない。また項目数は１つでもよいし複数でもよい。また上記の動作特徴もあくまで一例であり、画像や他のセンサの結果から抽出可能な情報であり、かつ、動作の個人差を把握可能な情報であれば、どのような情報を動作特徴として利用してもよい。
　１：見守り支援システム
　１０：撮像装置、１１：情報処理装置
　１００：照明、１０１：近赤外線カメラ、１１０：画像取得部、１１１：動作検出部、１１２：動作特徴抽出部、１１３：学習部、１１４：記憶部、１１５：判定部、１１６：報知部
　２０：ベッド、２１：対象者

Claims (6)

  1. 　ベッド上の対象者の見守りを支援する見守り支援システムであって、
    　前記対象者を撮影するように設置された撮像装置から画像を取得する画像取得部と、
    　前記画像取得部により得られた画像から、前記対象者が所定の動作を行うときの特徴を動作特徴として抽出する特徴抽出部と、
    　過去の所定期間に撮影された前記対象者の画像から前記特徴抽出部により抽出された動作特徴を基に、前記対象者の通常動作特徴を表すデータを生成する学習部と、
    　前記学習部により生成された前記対象者の通常動作特徴を表すデータを記憶する記憶部と、
    　現在撮影された前記対象者の画像から前記特徴抽出部により抽出された動作特徴を、前記記憶部に記憶されている前記通常動作特徴と比べることにより、現在の前記対象者の動作が通常の動作か異常な動作かを判定する判定部と、
    　前記判定部により異常な動作と判定された場合に、報知を行う報知部と、
    を有することを特徴とする見守り支援システム。
  2. 　前記所定期間に前記対象者が前記所定の動作を複数回行っている場合に、
    　前記学習部は、複数回分の動作特徴を基に平均的な動作特徴を生成し、前記平均的な動作特徴を前記対象者の通常動作特徴とする
    ことを特徴とする請求項１に記載の見守り支援システム。
  3. 　前記所定の動作は、起床動作、離床動作、又は、就床動作を含む
    ことを特徴とする請求項１又は２に記載の見守り支援システム。
  4. 　前記特徴抽出部は、前記動作特徴として、頭部位置の軌跡、体重のかけ方、ベッドの柵の使用有無、及び、動作に要した時間のうち少なくとも１つを含む
    ことを特徴とする請求項３に記載の見守り支援システム。
  5. 　ベッド上の対象者の見守りを支援する見守り支援システムの制御方法であって、
    　前記対象者を撮影するように設置された撮像装置から画像を取得するステップと、
    　取得された画像から、前記対象者が所定の動作を行うときの特徴を動作特徴として抽出するステップと、
    　過去の所定期間に撮影された前記対象者の画像から抽出された動作特徴を基に、前記対象者の通常動作特徴を表すデータを生成するステップと、
    　前記生成された前記対象者の通常動作特徴を表すデータを記憶部に記憶するステップと、
    　現在撮影された前記対象者の画像から抽出された動作特徴を、前記記憶部に記憶されている前記通常動作特徴と比べることにより、現在の前記対象者の動作が通常の動作か異常な動作かを判定するステップと、
    　異常な動作と判定された場合に、報知を行うステップと、
    を有することを特徴とする見守り支援システムの制御方法。
  6. 　請求項５に記載の見守り支援システムの制御方法の各ステップをコンピュータに実行させるためのプログラム。
PCT/JP2018/026210 2017-07-14 2018-07-11 見守り支援システム及びその制御方法、プログラム WO2019013257A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-138405 2017-07-14
JP2017138405A JP6915421B2 (ja) 2017-07-14 2017-07-14 見守り支援システム及びその制御方法

Publications (1)

Publication Number Publication Date
WO2019013257A1 true WO2019013257A1 (ja) 2019-01-17

Family

ID=65002460

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/026210 WO2019013257A1 (ja) 2017-07-14 2018-07-11 見守り支援システム及びその制御方法、プログラム

Country Status (2)

Country Link
JP (1) JP6915421B2 (ja)
WO (1) WO2019013257A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020190889A (ja) * 2019-05-21 2020-11-26 新生電子株式会社 要介護者見守りシステム
JP7237382B1 (ja) 2021-12-24 2023-03-13 知能技術株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6583953B1 (ja) * 2019-06-27 2019-10-02 アースアイズ株式会社 医療用装身器具の自己抜去監視システム及び医療用装身器具の自己抜去監視方法
JP2021106319A (ja) * 2019-12-26 2021-07-26 キヤノン株式会社 人体検出装置、人体検出装置の処理方法およびプログラム
JP7388200B2 (ja) * 2020-01-16 2023-11-29 コニカミノルタ株式会社 リハビリテーションを支援する情報の提供の方法およびリハビリテーション支援システム
JP6828838B1 (ja) * 2020-03-10 2021-02-10 株式会社リコー 情報処理装置、情報処理システム、情報提供方法、及びプログラム
JP7518699B2 (ja) 2020-08-28 2024-07-18 京セラ株式会社 システム、電子機器、電子機器の制御方法、及びプログラム
EP4285817A1 (en) * 2021-01-29 2023-12-06 Nine Hours, Inc. Sleep monitoring capsule and sleep monitoring system
JP2023013078A (ja) * 2021-07-15 2023-01-26 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法、及び、プログラム
JP7161812B1 (ja) * 2022-07-25 2022-10-27 株式会社Cross Sync 意識状態解析装置及びプログラム、並びに観察システム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002230555A (ja) * 2001-02-01 2002-08-16 Noa Syst:Kk 動きを検知する検知装置及び方法
JP2017098180A (ja) * 2015-11-27 2017-06-01 株式会社レイトロン 照明装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007072964A (ja) * 2005-09-09 2007-03-22 Ishihara Sangyo:Kk 離床予測自動感知通報方法と同自動感知通報システム
JP6413310B2 (ja) * 2014-04-10 2018-10-31 富士通株式会社 見守り装置、表示方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002230555A (ja) * 2001-02-01 2002-08-16 Noa Syst:Kk 動きを検知する検知装置及び方法
JP2017098180A (ja) * 2015-11-27 2017-06-01 株式会社レイトロン 照明装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KURANISHI, SACHI ET AL.: "Review on abnormality detection based on accumulation image data using space-time gradient characteristics", THE 20TH SYMPOSIUM ON SENSING VIA IMAGE INFORMATION, 13 June 2014 (2014-06-13), pages IS3 - 02-1-IS3-02-5 *
SASHIDA, TAKEHIKO ET AL.: "Action Recognition of the Sleeping Situation using 3D Human Pose Information", THE 20TH SYMPOSIUM ON SENSING VIA IMAGE INFORMATION, 13 June 2014 (2014-06-13), pages IS2 - 30-1-IS2-30-5 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020190889A (ja) * 2019-05-21 2020-11-26 新生電子株式会社 要介護者見守りシステム
JP7237382B1 (ja) 2021-12-24 2023-03-13 知能技術株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Also Published As

Publication number Publication date
JP2019020993A (ja) 2019-02-07
JP6915421B2 (ja) 2021-08-04

Similar Documents

Publication Publication Date Title
WO2019013257A1 (ja) 見守り支援システム及びその制御方法、プログラム
US20230222887A1 (en) Machine learning based monitoring system
US11688265B1 (en) System and methods for safety, security, and well-being of individuals
US11547298B2 (en) Abnormality determination apparatus and non-transitory computer readable medium storing program
EP3432772B1 (en) Using visual context to timely trigger measuring physiological parameters
JP6822328B2 (ja) 見守り支援システム及びその制御方法
JP6952299B2 (ja) 睡眠深度判定システム、睡眠深度判定装置及び睡眠深度判定方法
US20210219873A1 (en) Machine vision to predict clinical patient parameters
CN115116133A (zh) 一种用于独居老人监护的异常行为检测系统及方法
JP6273944B2 (ja) 状態検知方法、装置、およびプログラム
JPWO2017183602A1 (ja) 被監視者監視システムおよび被監視者監視方法
JP6048630B1 (ja) 行動検知装置および行動検知方法ならびに被監視者監視装置
CN113384247A (zh) 照护系统与自动照护方法
JP6870465B2 (ja) 被監視者監視装置および該方法ならびに被監視者監視システム
JP6822326B2 (ja) 見守り支援システム及びその制御方法
JP7314939B2 (ja) 画像認識プログラム、画像認識装置、学習プログラム、および学習装置
JP6611871B1 (ja) 監視装置
JP5517285B2 (ja) 起床監視装置
JP6115689B1 (ja) 転倒検知装置および転倒検知方法ならびに被監視者監視装置
JP7327396B2 (ja) 制御プログラム、レポート出力方法、およびレポート出力装置
WO2020003953A1 (ja) コンピューターで実行されるプログラム、情報処理装置、および、コンピューターで実行される方法
WO2020003952A1 (ja) コンピューターで実行されるプログラム、情報処理装置、および、コンピューターで実行される方法
JP2020052808A (ja) 見守り装置、見守りシステム、見守りプログラム、および見守り方法
WO2020137061A1 (ja) 情報表示方法、プログラムおよび情報表示装置
JP6729512B2 (ja) 見守り支援システム及びその制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18831562

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18831562

Country of ref document: EP

Kind code of ref document: A1