WO2020149126A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
WO2020149126A1
WO2020149126A1 PCT/JP2019/050827 JP2019050827W WO2020149126A1 WO 2020149126 A1 WO2020149126 A1 WO 2020149126A1 JP 2019050827 W JP2019050827 W JP 2019050827W WO 2020149126 A1 WO2020149126 A1 WO 2020149126A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
person
biometric
measured
monitoring
Prior art date
Application number
PCT/JP2019/050827
Other languages
English (en)
French (fr)
Inventor
安川　徹
Original Assignee
エイアイビューライフ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エイアイビューライフ株式会社 filed Critical エイアイビューライフ株式会社
Publication of WO2020149126A1 publication Critical patent/WO2020149126A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Definitions

  • the present invention relates to an information processing device and an information processing method.
  • Patent Document 1 many monitoring systems have been developed for monitoring a person such as a cared person using an image captured by a distance image sensor.
  • the monitoring system disclosed in Patent Document 1 extracts the position of the bed from the distance image, detects the area of the person, and determines the movement of the person. Specifically, the position of the bed is obtained from the frequency distribution of height in the longitudinal direction and the lateral direction of the bed. In addition, by detecting the position of an object with respect to a predetermined height position, the motion of a person determines the motion of the person such as a bed rest state, an upper body upright state, and a standing state.
  • Patent Document 2 describes a sensor device that detects biometric information of a person on a bed.
  • the sensor device described in Patent Document 2 is installed in a bed and detects biological information such as a person's heartbeat and respiration by irradiating an electromagnetic wave. The state of the person can be monitored based on the biometric information thus detected.
  • the above-mentioned technology has a problem that the state of the person who is a cared person cannot be detected more accurately. This is because, in the above-described technique, the posture and the state of the person are constantly changing, although the posture and the biometric information of the person are detected. Therefore, it is assumed that the criterion for monitoring is also constantly changing.
  • an object of the present invention is to provide an information processing apparatus capable of solving the above-mentioned problem that the state of a person cannot be accurately detected.
  • An information processing apparatus which is one mode of the present invention,
  • Distance image acquisition means for acquiring a distance image of a predetermined area including the bed, Based on the distance image, a detection unit that detects a motion of a person in the distance image, Measuring means for measuring the biological information of the person on the bed from the measuring device, Based on the movement of the person and the biological information, monitoring means for performing a monitoring process for the biological information, Equipped with The monitoring means performs the monitoring process based on the measured biological information and biological reference information generated in advance, and the new biological reference to be used later based on the measured biological information used for the monitoring process. Generate information, Take the configuration.
  • the monitoring means performs the monitoring process based on the biometric information and the biometric reference information measured by dividing a certain period into a plurality of periods, and the biometric information measured in the plurality of periods used for the monitoring process. Generate the new biometric reference information to be used later based on Take the configuration.
  • the monitoring unit uses the new biological reference information generated based on the biological information measured during the immediately preceding monitoring process, Take the configuration.
  • the monitoring means is the measurement device in a state where the motion of the person is in a lying position in which the person is lying on the bed, and the measured biometric information is not preset on the bed.
  • the monitoring unit When the movement of the person changes by a predetermined reference or more, the monitoring unit generates the new biometric reference information based on the biometric information measured after that, and further generates the new biometric reference information. Performing the monitoring process based on the biological information measured in Take the configuration.
  • the monitoring means when the measured biometric information is an unmonitorable value in which the monitoring process cannot be continued due to a preset standard, generates the new biometric standard information based on the subsequently measured biometric information. , Performing the monitoring process based on the generated new biological reference information and the biological information measured after that, Take the configuration.
  • Equipped with exit detection means for detecting the exit of a person from a predetermined area including the bed the monitoring unit generates the new biometric reference information based on the biometric information measured thereafter, and measures the generated new biometric reference information and further thereafter. Performing the monitoring process based on the biological information, Take the configuration.
  • the monitoring means detects the exit of the person, the motion of the person is in a lying position in which the person is lying on the bed, and the measured biometric information indicates that the person is on the bed. Is different from the absence reference value information which is a measurement value from the measuring device in a state where there is not, further, when the measured biological information is in a specific state that is not a preset unmonitorable value, While performing the monitoring process based on the biological information and the biological reference information, the new biological reference information to be used later based on the measured biological information used for the monitoring process is generated, When it is not the specific state, the monitoring process is stopped, Take the configuration.
  • an information processing method which is another embodiment of the present invention is The information processing device Obtain a range image of a predetermined area including the bed, Based on the distance image, detects the movement of a person in the distance image, Measure the biometric information of the person on the bed from the measuring device, When performing a monitoring process for the biometric information based on the motion of the person and the biometric information, the monitoring process is performed based on the measured biometric information and pre-generated biometric reference information, and the monitoring is performed. Generate the new biological reference information to be used later based on the measured biological information used for processing, Take the configuration.
  • a program that is another form of the present invention In the information processing device, Obtain a range image of a predetermined area including the bed, Based on the distance image, detects the movement of a person in the distance image, Measure the biometric information of the person on the bed from the measuring device, When performing a monitoring process for the biometric information based on the motion of the person and the biometric information, the monitoring process is performed based on the measured biometric information and pre-generated biometric reference information, and the monitoring is performed. Generate the new biological reference information to be used later based on the measured biological information used for processing, Execute processing, Take the configuration.
  • the present invention configured as described above can accurately detect the state of a person.
  • FIG. 1 It is a schematic diagram showing the composition of the information processing system in Embodiment 1 of the present invention. It is a block diagram which shows the structure of the monitoring server disclosed by FIG. It is a figure which shows the mode of image processing by the monitoring server disclosed in FIG. It is a figure which shows the mode of image processing by the monitoring server disclosed in FIG. It is a figure which shows the mode of processing of biometric information by the monitoring server disclosed by FIG. It is a figure which shows the mode of processing of biometric information by the monitoring server disclosed by FIG. 3 is a flowchart showing the processing operation of the monitoring server disclosed in FIG. 1.
  • FIGS. 1 and 2 are diagrams showing the configuration of the information processing system.
  • 3 to 7 are diagrams for explaining the processing operation of the information processing system. The configuration and operation of the information processing system will be described below with reference to the drawings.
  • the information processing system is an information processing system for monitoring the behavior and biometric information of a person P to be monitored, such as a cared person or a monitored person.
  • the information processing system includes a monitoring server 10, a range image camera C, a biometric sensor S installed under the bed or on the ceiling, a mobile terminal 20, and a monitoring terminal 30.
  • the distance image camera C (imaging device) is arranged at a position where a distance image can be photographed in the area R in which the bed B on which the person P to be monitored lies is arranged.
  • the distance image camera C is provided on the ceiling of a medical facility, a nursing facility, or one room in the home, and the entire bed B is placed at a position within the image.
  • the range image camera C is not necessarily installed on the ceiling, and may be installed on any place such as a wall or a stand.
  • the bed B to be photographed may be any bed such as a futon.
  • the range image camera C captures a distance image with pixel values as distance values.
  • the range image camera C may be of a type that measures the distance from the round-trip time when the infrared laser is projected onto the target, or may be any type of image capturing device. Then, the range image camera C has a function of shooting a range image at regular time intervals or at the timing of receiving a shooting instruction, and transmitting the range image to the monitoring server 10 described later.
  • the function of the monitoring server 10 may be installed in the distance image camera C. That is, the function of the monitoring server 10 may be realized by the information processing device mounted on the range image camera C.
  • the biometric sensor S (measuring device) is installed on the bed B on which the person P to be monitored lies.
  • the biological sensor S is, for example, a microwave sensor, irradiates the person P lying on the bed B with microwaves, and uses the reflected waves to detect the heartbeat, respiration, and body movement of the person P as biological information.
  • the biometric sensor S may be a measurement device that detects biometric information such as the heartbeat, respiration, and body movement of the person P by any method, and the biometric information to be detected necessarily represents heartbeat, respiration, and body movement. It is not limited to being information.
  • the biometric sensor S may be installed in any place such as the ceiling.
  • the mobile terminal 20 is an information processing terminal such as a smartphone operated and held by a user U who is a supervising person who takes care of and monitors a person who is a cared person.
  • the mobile terminal 20 is connected to and can communicate with the monitoring server 10 via wireless communication, and can input an operation instruction of the user U to the monitoring server 10 as described later.
  • the mobile terminal 20 displays a range image captured by the range image camera C on the display screen, and also displays an operation screen on which an operation instruction regarding monitoring can be input.
  • the operation instruction is transmitted from the mobile terminal 20 to the monitoring server 10.
  • the mobile terminal 20 also has a function of receiving a notification of abnormality of the person who is the cared person issued from the monitoring server 10 and notifying the user U of the notification.
  • the monitoring terminal 30 is an information processing terminal operated by a user U who is a supervisor who takes care of and monitors a person who is a cared person.
  • the monitoring terminal 30 is installed in a place such as a monitoring room in which a user U such as a monitor is enrolled, and can be operated by a plurality of users U. Similar to the mobile terminal 20 described above, the monitoring terminal 30 displays a distance image on the display screen, enables input of operation instructions regarding monitoring, and transmits such operation instructions to or from the monitoring server 10. It has a function of receiving a notice of abnormality of a person to be notified and notifying the user U.
  • the monitoring server 10 is a server device (information processing device) having a computing device and a storage device. Then, as shown in FIG. 2, the monitoring server 10 has a distance image acquisition unit 11, a biological information measurement unit 12, a motion detection unit 13, a monitoring unit 14, and a notification unit, which are constructed by the arithmetic device executing a program. 15 are provided.
  • the monitoring server 10 also includes a reference information storage unit 16 formed in the storage device.
  • each configuration will be described in detail, and the operation of the monitoring server 10 will also be described with reference to the flowchart in FIG. 7.
  • the distance image acquisition unit 11 (distance image acquisition means) periodically acquires, from the distance image camera C, a distance image including the bed B captured by the distance image camera C and the person P to be monitored as described above. get. Then, by passing the acquired distance image to the motion detection unit 13, the distance image is used for motion detection processing and monitoring processing described later.
  • the biometric information measuring unit 12 (measurement means) periodically acquires biometric information (measured values) of the heartbeat, respiration, and body movement of the person P on the bed B detected by the biometric sensor S.
  • the biological information is represented by the average value of the level of heartbeat, respiration, and body movement for each fixed period, as shown in the upper part of FIG.
  • the biometric information is used for the monitoring process described later. Since the biometric sensor S measures an event that occurs on the bed B, the biometric information measurement unit 12 acquires the measurement value even when the person P does not exist on the bed B, and the measurement unit 14 monitors the measurement value. Have passed on.
  • the motion detection unit 13 acquires a distance image via the distance image acquisition unit 11 (step S1 in FIG. 7), detects the person P in the distance image, and moves the person P.
  • a motion detection process for detecting is performed. Specifically, the motion detection unit 13 detects the area of the bed B in the distance image and the person P. For example, the motion detection unit 13 first specifies the area of the bed B based on the coordinates in the distance image that specifies the area of the bed B that is specified in advance. Then, the motion detection unit 13 detects an object existing in the area of the bed B, and detects the highest point and the center of gravity of the person P from the object. At this time, the motion detection unit 13 detects, for example, an object formed of individual lumps in the distance image 21, and detects the person from the mass of the detected object, the positional relationship between the objects, the volume ratio (area ratio), and the like. To detect.
  • the motion detection unit 13 detects the motion of the person P from the positional relationship between the highest vertex of the detected person P and the position of the center of gravity. Specifically, in this embodiment, the posture of the person P on the bed B is detected (step S2 in FIG. 7). At this time, the motion detection unit 13 detects the height and the position of the center of gravity of the person P, and determines the motion of the person P from the positional relationship between the height, the position of the center of gravity, and the distance image 21.
  • the motion detection unit 13 detects whether or not the person P is lying on the bed B, that is, whether or not the person is in the “decubitus position” (Yes in step S3 of FIG. 7).
  • the motion detection unit 13 has a positional relationship in which the highest point of the person P and the center of gravity are connected on the plane of the bed B, and each position is slightly higher than the preset supine height position. When the position does not exceed the set position, the motion of the person P is determined to be in the “decubitus position”.
  • the upper diagram shows the distance image 21, and the lower diagram shows the bed B as seen from the side. The same applies to FIG. 4 described below.
  • the motion detection unit 13 also detects whether or not the person P has changed the motion (posture) on the bed B. For example, the motion detection unit 13 detects that the motion has changed by detecting that the positions of the highest vertex and the center of gravity of the person detected from the distance image have changed. As an example, when the maximum vertex of the person or the position of the center of gravity changes by a predetermined value or more, it is detected that the motion has changed. At this time, the motion detection unit 13 also detects a motion change when the person P changes from the supine position in the supine position as illustrated in FIG. 3 to the sideways position in the lateral position illustrated in FIG. 4. The detection of the motion of the person P described above may be performed by any method.
  • the motion detection unit 13 always performs the above-described motion detection process and notifies the monitoring unit 14 of the detected motion (posture). At this time, the motion detection unit 13 may notify the monitoring unit 14 of the detected motion at a constant time interval, and when the detected motion changes, the motion detecting unit 13 may monitor the fact that the motion has changed or the changed motion. 14 may be notified. Thereby, the monitoring unit 14 can always recognize the motion of the person P.
  • the monitoring unit 14 (monitoring means) performs monitoring processing on the biometric information based on the action of the person P detected as described above and the biometric information of the person P.
  • the monitoring unit 14 monitors the biological information detected by the biological sensor S. That is, the monitoring unit 14 does not perform the monitoring process on the biometric information in a state other than the lying position (No in step S3 of FIG. 7 ).
  • the monitoring unit 14 determines that the biometric information detected by the biometric sensor S (step S4 in FIG. 7) is stored as the absent reference value information (person absent value) stored in the reference information storage unit 16 in advance.
  • the monitoring unit 14 does not perform the monitoring process on the detected biometric information.
  • the absence reference value information is a measurement value from the biometric sensor S in a state where the person P does not exist on the bed B stored in advance, as shown in the lower diagram of FIG. 5.
  • the absence reference value information shows a slight waveform due to external vibration or the like, but is obviously different from the waveform when the person P is present on the bed B. Therefore, it is possible to determine that the biometric information is different from the absence reference value information by examining the difference between the amplitude and the frequency of the biometric information and the absence reference value information for a certain period.
  • the monitoring unit 14 measures biometric information for a certain period of time (a series of periods), and determines whether the biometric information is normal or abnormal using the biometric information measured for the certain period of time. Then, the monitoring unit 14 repeatedly performs a series of processes such as measurement and determination of biological information for a fixed time. At this time, the monitoring unit 14 compares the measured biometric information with a previously generated normal reference value (biological reference information) to determine whether the measured biometric information is normal or abnormal.
  • the normal reference value is information generated based on the biometric information measured when the person P in the lying position, which is the current movement (posture) of the person P, is normal. Therefore, upon entering the monitoring process, the monitoring unit 14 first checks whether or not the normal reference value generated during the immediately preceding monitoring process exists (step S6 in FIG. 7).
  • the monitoring unit 14 newly generates a normal reference value (step S7 of FIG. 7). Specifically, the monitoring unit 14 generates a normal reference value using the biometric information measured at the current fixed time. At this time, as shown in the upper diagram of FIG. 6, the monitoring unit 14 divides the biometric information measured at the current fixed time into a plurality of periods W and generates a normal reference value using the biometric information of each period W. To do. For example, the biometric information for a certain time of 100 seconds may be divided into 20 seconds ⁇ 5 periods W, and the biometric information of each period W may be used as a normal reference value.
  • One normal reference value may be generated by aggregating information such as averaging, or the normal reference value may be generated by any method.
  • the normal reference value may be generated for each type of biometric information such as heartbeat frequency, heartbeat level, respiratory wavenumber, and respiratory level. Further, the fixed time and each period W are not limited to the above-mentioned time.
  • the monitoring unit 14 stores the normal reference value in the reference information storage unit 16 and sets it for use in the next monitoring process (No in step S9 of FIG. 7). , No in step S10, step S11). Then, in the current monitoring process, normality/abnormality of the biometric information is determined using the normal reference value in the immediately preceding monitoring process (steps S8 and S12 in FIG. 7). When the process proceeds to the monitoring process (No in step S13 of FIG. 7) and the abnormality is detected (Yes in step S13 of FIG. 7), the notification unit 15 is notified of that fact.
  • the monitoring unit 14 operates (posture) the person P while generating a new normal reference value as described above, that is, while measuring biological information for a certain period of time in the current monitoring process. Changes or when it is determined that the biometric information is a value that cannot be monitored (Yes in step S9 of FIG. 7), the normal reference value is not generated. In this case, it is confirmed that the motion (posture) of the person P is in the recumbent position, new biometric information for a certain period of time is newly measured, and the normal reference value is generated as described above.
  • the monitoring unit 14 stores the unmonitorable value of the biological information in advance, and determines that the biological information is the unmonitorable value when the measured biological information matches the unmonitorable value.
  • the unmonitorable value is a waveform of biometric information that can occur when the person P has a large body movement such as coughing or rolling over, or a value of the amplitude or frequency of the biometric information (value equal to or greater than a threshold value) ).
  • the monitoring unit 14 proceeds to the next monitoring process and newly measures biometric information for a certain period of time (step S4 in FIG. 7). Then, when the newly measured biometric information is different from the absent reference value information (No in step S5 of FIG. 7, Yes in step S6), the monitoring unit 14 uses the measured biometric information and the immediately preceding monitoring process. Using the generated normal reference value, it is determined whether the biometric information is normal or abnormal (step S8 in FIG. 7). At this time, as shown in the upper diagram of FIG. 6, the monitoring unit 14 divides the newly measured biometric information into a plurality of periods W and makes a determination using the biometric information of each period W.
  • the biometric information for 100 seconds may be divided into 20 seconds ⁇ 5 periods W, and the biometric information for each period W may be compared with a normal reference value to make a comprehensive determination. Then, it may be judged by comparing with a normal reference value.
  • a normal reference value As an example, when the biometric information of the five periods W is used, the number of the periods W in which the biometric information of each period W can be determined to be abnormal such that the biological information is too large or too small with respect to the normal reference value is aggregated and determined as abnormal When there are four or more possible periods W, it is determined that the abnormal state is comprehensive.
  • the normality/abnormality of the biometric information may be determined by any method.
  • the monitoring unit 14 uses the newly measured biometric information in the monitoring process as described above, and at the same time, generates a new normal reference value to be used in the next monitoring process from the newly measured biometric information ( Step S11 of FIG. 7). That is, the monitoring unit 14 performs the monitoring process, and at the same time, generates a new normal reference value used in the next monitoring process from the biometric information used in the monitoring process.
  • the method for generating the normal reference value is the same as above.
  • the monitoring unit 14 performs the final determination of normality/abnormality of the biological information as described above, newly generates a normal reference value, and uses the normal reference value in the next monitoring process. Update (No in step S9 of FIG. 7, No in step S10, step S11). Then, when the monitoring process determines that the biometric information is normal (No in step S13 of FIG. 7 ), the process proceeds to the next monitoring process. As a result, the monitoring unit 14 measures new biometric information in the next monitoring process and compares it with the newly updated normal reference value to determine normality/abnormality. As a result, the monitoring unit 14 can always determine the currently measured biometric information by using the normal reference value generated from the biometric information measured in the immediately preceding monitoring process.
  • the monitoring unit 14 changes the motion (posture) of the person P while generating the normal reference value while performing the monitoring process as described above, that is, while measuring the biometric information.
  • the monitoring process is stopped and the generation of a new normal reference value is stopped.
  • the monitoring unit 14 deletes the immediately preceding normal reference value stored in the reference information storage unit 16, confirms that the motion (posture) of the person P is in the recumbent position, as described above.
  • the biological information for a certain period of time is measured, and a new normal reference value is generated.
  • the monitoring process is restarted as described above.
  • the monitoring unit 14 determines that the biometric information is abnormal (Yes in step S13 of FIG. 7), the monitoring unit 14 notifies the notification unit 15 to that effect. Then, the notification unit 15 notifies the mobile terminal 20 and the monitoring terminal 30 that the biometric information of the person P is abnormal (step S14 in FIG. 7).
  • the upper waveform in FIG. 6 represents a normal time
  • the lower waveform in FIG. 6 represents an abnormal time. Therefore, when the waveform as shown in the lower part of FIG. 6 is detected, it is determined to be abnormal.
  • the operation detection unit 13 detects the distance image acquired via the distance image acquisition unit 11 or the detection data from the infrared sensor separately provided in the region R, It also has a function of detecting that a person has left.
  • the motion detection unit 13 tracks the position of the person P in the distance image, and detects that the person P exits the region R when the person P passes through a preset entrance/exit point.
  • an infrared sensor is provided at the entrance of the region R, and when it is detected that an object has passed from the indoor side to the outdoor side, it is detected that the person P has left the region R.
  • any method may be used to detect that the person P has left the area R. Then, when the motion detection unit 13 detects that the person P has exited from the region R, the motion detection unit 13 notifies the monitoring unit 14 of that fact.
  • the monitoring unit 14 Upon receiving the notification that the person P has exited from the area R, the monitoring unit 14 basically stops the above-described monitoring processing. That is, measurement of biometric information, determination of normality/abnormality of biometric information, and generation of a normal reference value are stopped. However, even when the notification that the person P has exited from the region R is received, the motion of the person P is in the lying position at this point, and the measured biometric information differs from the absence reference value information. Further, when the measured biometric information is in a state (specific state) that is not the unmonitorable value, the biometric information monitoring process is continued. That is, the biometric information is measured, the normality/abnormality of the biometric information is determined, and the normal reference value generation process is continued.
  • the person P who is the monitoring target may have exited, and the subsequent determination of biometric information is unnecessary, so in principle, Stop the monitoring process.
  • the area R there may be another person such as a caregiver of the person P to be monitored, and it may be detected that the other person exits the area R. ..
  • the measured biometric information is different from the absence reference value information, and further, the measured biometric information is not the unmonitorable value, The biological information monitoring process is to be continued.
  • the biometric sensor S mounted on the bed B measures the biometric information of the person P to determine normality/abnormality
  • the value serving as the determination criterion is set to a specific state (for example, , The person is in the lying position). Therefore, it is possible to set an appropriate criterion for comparison with the current situation of the person P and compare them, and it is possible to detect the state of the person P more accurately.
  • the above-mentioned program is stored in a storage device or a computer-readable recording medium.
  • the recording medium is a portable medium such as a flexible disk, an optical disk, a magneto-optical disk, and a semiconductor memory.
  • the present invention enjoys the benefit of the priority claim based on the patent application of Japanese Patent Application No. 2019-004393 filed on January 15, 2019 in Japan, and is described in the patent application. All contents are included in the present specification.
  • Monitoring Server 11 Distance Image Acquisition Unit 12 Biometric Information Measurement Unit 13 Motion Detection Unit 14 Monitoring Unit 15 Notification Unit 16 Reference Information Storage Unit 20 Mobile Terminal 21 Distance Image 30 Monitoring Terminal B Bed C Distance Image Camera S Biometric Sensor P Person U User

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Optics & Photonics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本発明の情報処理装置は、寝床を含む所定領域の距離画像を取得する距離画像取得手段と、距離画像に基づいて、当該距離画像内の人物の動作を検出する検出手段と、計測装置から寝床上の人物の生体情報を計測する計測手段と、人物の動作と生体情報とに基づいて、当該生体情報に対する監視処理を行う監視手段と、を備える。そして、上記監視手段は、計測した生体情報と予め生成された生体基準情報とに基づいて監視処理を行うと共に、当該監視処理に用いる計測した生体情報に基づいて後に使用する新たな前記生体基準情報を生成する。

Description

情報処理装置
　本発明は、情報処理装置及び情報処理方法に関する。
　近年、高齢者の人口が増加し、介護の需要が高まっている。一方で、介護には、多くの介護者が必要となり、介護者の作業負担や人件費の増加という問題が生じる。そこで、特許文献１に記載のような、距離画像センサで撮影した画像を用いて、被介護者といった人物を監視する監視システムが多く開発されている。
　特許文献１に開示の監視システムでは、距離画像からベッドの位置を抽出し、また、人の領域を検出し、人の動作を判別している。具体的に、ベッドの位置は、ベッドの長手方向及び短手方向における高さの度数分布から求めている。また、人の動作は、所定の高さ位置に対する物体の位置を検出することで、臥床の状態、上半身を起こした状態、起立の状態、といった人の動作を判別している。
　また、特許文献２には、ベッド上の人の生体情報を検出するセンサ装置が記載されている。特許文献２に記載のセンサ装置は、ベッドに設置され、電磁波を照射することによって人物の心拍、呼吸などの生体情報を検出している。そして、このように検出された生体情報をもとに、人物の状態を監視することができる。
特開２０１２－０３００４２号公報 特開２０１８－０００２９５号公報
　しかしながら、上述した技術では、被介護者である人物の状態をより正確に検出することができない、という問題が生じる。これは、上述した技術では、人物の姿勢や生体情報を検出しているものの、人物の姿勢や状態は常に変化するため、監視時の判断基準も常に変化することが想定されるためである。
　このため、本発明の目的は、上述した課題である、人物の状態を正確に検出することができない、ということを解決することができる情報処理装置を提供することにある。
　本発明の一形態である情報処理装置は、
　寝床を含む所定領域の距離画像を取得する距離画像取得手段と、
　前記距離画像に基づいて、当該距離画像内の人物の動作を検出する検出手段と、
　計測装置から前記寝床上の人物の生体情報を計測する計測手段と、
　前記人物の動作と前記生体情報とに基づいて、当該生体情報に対する監視処理を行う監視手段と、
を備え、
　前記監視手段は、計測した前記生体情報と予め生成された生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる計測した前記生体情報に基づいて後に使用する新たな前記生体基準情報を生成する、
という構成をとる。
　そして、上記情報処理装置では、
　前記監視手段は、一定期間を複数期間に分けて計測した前記生体情報と前記生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる前記複数期間に分けて計測した前記生体情報に基づいて後に使用する前記新たな生体基準情報を生成する、
という構成をとる。
　また、上記情報処理装置では、
　前記監視手段は、前記監視処理の際に、直前の前記監視処理時に計測した前記生体情報に基づいて生成した前記新たな生体基準情報を用いる、
という構成をとる。
　また、上記情報処理装置では、
　前記監視手段は、前記人物の動作が前記寝床上に人物が横たわっている臥位状態であり、計測した前記生体情報が予め設定された前記寝床上に人物が存在していない状態における前記計測装置からの計測値である不在時基準値情報と異なる場合に、計測した前記生体情報と前記生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる計測した前記生体情報に基づいて前記新たな生体基準情報を生成する、
という構成をとる。
　また、上記情報処理装置では、
　前記監視手段は、前記人物の動作が所定基準以上変化した場合に、その後に計測した前記生体情報に基づいて前記新たな生体基準情報を生成し、当該生成した前記新たな生体基準情報とさらにその後に計測した前記生体情報とに基づいて前記監視処理を行う、
という構成をとる。
　また、上記情報処理装置では、
　前記監視手段は、計測した前記生体情報が予め設定された基準により前記監視処理が継続できない監視不能値である場合に、その後に計測した前記生体情報に基づいて前記新たな生体基準情報を生成し、当該生成した前記新たな生体基準情報とさらにその後に計測した前記生体情報とに基づいて前記監視処理を行う、
という構成をとる。
　また、上記情報処理装置では、
　前記寝床を含む所定領域からの人物の退出を検出する退出検出手段を備え、
　前記監視手段は、人物の退出を検出した際には、その後に計測した前記生体情報に基づいて前記新たな生体基準情報を生成し、当該生成した前記新たな生体基準情報とさらにその後に計測した前記生体情報とに基づいて前記監視処理を行う、
という構成をとる。
　また、上記情報処理装置では、
　前記監視手段は、人物の退出を検出した際には、前記人物の動作が前記寝床上に人物が横たわっている臥位状態であり、計測した前記生体情報が予め設定された前記寝床上に人物が存在していない状態における前記計測装置からの計測値である不在時基準値情報と異なり、さらに、計測した前記生体情報が予め設定された監視不能値ではない特定状態である場合には、計測した前記生体情報と前記生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる計測した前記生体情報に基づいて後に使用する前記新たな生体基準情報を生成し、
　前記特定状態ではない場合には、前記監視処理を停止する、
という構成をとる。
　また、本発明の他の形態である情報処理方法は、
　情報処理装置が、
　寝床を含む所定領域の距離画像を取得し、
　前記距離画像に基づいて、当該距離画像内の人物の動作を検出し、
　計測装置から前記寝床上の人物の生体情報を計測し、
　前記人物の動作と前記生体情報とに基づいて、当該生体情報に対する監視処理を行う際に、計測した前記生体情報と予め生成された生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる計測した前記生体情報に基づいて後に使用する新たな前記生体基準情報を生成する、
という構成をとる。
　また、本発明の他の形態であるプログラムは、
　情報処理装置に、
　寝床を含む所定領域の距離画像を取得し、
　前記距離画像に基づいて、当該距離画像内の人物の動作を検出し、
　計測装置から前記寝床上の人物の生体情報を計測し、
　前記人物の動作と前記生体情報とに基づいて、当該生体情報に対する監視処理を行う際に、計測した前記生体情報と予め生成された生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる計測した前記生体情報に基づいて後に使用する新たな前記生体基準情報を生成する、
処理を実行させる、
という構成をとる。
　本発明は、以上のように構成されることにより、人物の状態を正確に検出することができる。
本発明の実施形態１における情報処理システムの構成を示す概略図である。 図１に開示した監視サーバの構成を示すブロック図である。 図１に開示した監視サーバによる画像処理の様子を示す図である。 図１に開示した監視サーバによる画像処理の様子を示す図である。 図１に開示した監視サーバによる生体情報の処理の様子を示す図である。 図１に開示した監視サーバによる生体情報の処理の様子を示す図である。 図１に開示した監視サーバの処理動作を示すフローチャートである。
　＜実施形態１＞
　本発明の第１の実施形態を、図１乃至図７を参照して説明する。図１乃至図２は、情報処理システムの構成を示す図である。図３乃至図７は、情報処理システムの処理動作を説明するための図である。以下、各図を参照して、情報処理システムの構成及び動作を説明する。
　本発明における情報処理システムは、被介護者や被監視者といった監視対象となる人物Ｐの行動及び生体情報を監視するための情報処理システムである。そして、情報処理システムは、監視サーバ１０と、距離画像カメラＣと、寝床下や天井に設置された生体センサＳと、携帯端末２０と、監視端末３０と、を備えて構成されている。
　上記距離画像カメラＣ（撮影装置）は、監視対象となる人物Ｐが横たわるベッドＢが配置された領域Ｒ内の距離画像を撮影可能な位置に配置されている。例えば、距離画像カメラＣは、医療施設や介護施設、宅内の一室の天井に設けられ、ベッドＢ全体が画像内に収まる位置に配置されている。なお、距離画像カメラＣは、必ずしも天井に設置されていることに限定されず、壁やスタンドなど、いかなる場所に設置されていてもよい。また、撮影されるベッドＢは、布団などのいかなる寝床であってもよい。
　距離画像カメラＣは、画素値を距離値とした距離画像を撮影するものである。例えば、距離画像カメラＣは、赤外線レーザをターゲットに投射した際の往復の時間から距離を計測する形式のものであってもよく、いかなる方式の撮影装置であってもよい。そして、距離画像カメラＣは、一定の時間間隔で、あるいは、撮影指示を受けたタイミングで、距離画像を撮影し、かかる距離画像を後述する監視サーバ１０に送信する機能を有する。なお、上記監視サーバ１０の機能については、上記距離画像カメラＣに搭載することもできる。つまり、距離画像カメラＣに搭載された情報処理装置にて監視サーバ１０の機能を実現してもよい。
　上記生体センサＳ（計測装置）は、監視対象となる人物Ｐが横たわるベッドＢに設置されている。そして、生体センサＳは、例えば、マイクロ波センサであり、ベッドＢに横たわる人物Ｐに対してマイクロ波を照射し、その反射波を用いて人物Ｐの心拍・呼吸・体動を生体情報として検出する、というものである。但し、生体センサＳは、いかなる方法で人物Ｐの心拍・呼吸・体動などの生体情報を検出する計測装置であってもよく、また、検出する生体情報は必ずしも心拍・呼吸・体動を表す情報であることに限定されない。なお、図１の例では、ベッドＢに生体センサＳが設置されている場合を例示しているが、天井などいかなる場所に設置されていてもよい。
　上記携帯端末２０は、被介護者である人物の介護を行ったり、監視する監視者であるユーザＵが保持して操作するスマートフォンなどの情報処理端末である。携帯端末２０は、監視サーバ１０と無線通信を介して接続され通信可能であり、後述するように、監視サーバ１０に対してユーザＵの操作指示を入力することが可能である。例えば、携帯端末２０は、表示画面に、距離画像カメラＣにて撮影された距離画像を表示すると共に、監視に関する操作指示を入力可能な操作画面を表示する。かかる画面に対してユーザＵからタッチ操作によって指示が入力されることで、かかる操作指示が携帯端末２０から監視サーバ１０に送信されることとなる。また、携帯端末２０は、監視サーバ１０から発せられる被介護者である人物の異常の通知を受信して、ユーザＵに報知する機能も有する。
　上記監視端末３０は、被介護者である人物の介護を行ったり、監視する監視者であるユーザＵが操作する情報処理端末である。監視端末３０は、監視者などのユーザＵが在籍する監視ルームなどの場所に設置されており、複数のユーザＵによって操作可能である。監視端末３０は、上述した携帯端末２０と同様に、表示画面に距離画像を表示すると共に、監視に関する操作指示を入力可能とし、かかる操作指示を監視サーバ１０に送信したり、監視サーバ１０から発せられる人物の異常の通知を受信して、ユーザＵに報知する機能を有する。
　上記監視サーバ１０は、演算装置及び記憶装置を有するサーバ装置（情報処理装置）である。そして、監視サーバ１０は、図２に示すように、演算装置がプログラムを実行することで構築された、距離画像取得部１１、生体情報計測部１２、動作検出部１３、監視部１４、通知部１５、を備えている。また、監視サーバ１０は、記憶装置に形成された、基準情報記憶部１６を備えている。以下、各構成について詳述するが、併せて監視サーバ１０の動作も、図７のフローチャートを参照して併せて説明する。
　上記距離画像取得部１１（距離画像取得手段）は、上述したように距離画像カメラＣにて撮影されたベッドＢ及び監視対象となる人物Ｐを含む距離画像を、定期的に距離画像カメラＣから取得する。そして、取得した距離画像を動作検出部１３に渡すことで、当該距離画像は後述する動作検出処理や監視処理に用いられる。
　上記生体情報計測部１２（計測手段）は、定期的に生体センサＳにて検出されたベッドＢ上の人物Ｐの心拍・呼吸・体動の生体情報（計測値）を取得する。例えば、生体情報は、図５の上図に示すように、一定期間毎の心拍・呼吸・体動のレベル平均値にて表される。そして、取得した生体情報を監視部１４に渡すことで、当該生体情報は後述する監視処理に用いられる。なお、生体センサＳではベッドＢ上に生じる事象を計測しているため、生体情報計測部１２は、ベッドＢ上に人物Ｐが存在しない場合でも計測値を取得し、かかる計測値を監視部１４に渡している。
　上記動作検出部１３（検出手段）は、距離画像取得部１１を介して距離画像を取得して（図７のステップＳ１）、当該距離画像内の人物Ｐを検出して、当該人物Ｐの動作を検出する動作検出処理を行う。具体的に、動作検出部１３は、距離画像内におけるベッドＢの領域と、人物Ｐと、を検出する。例えば、動作検出部１３は、まず、予め指定されているベッドＢの領域を指定する距離画像内の座標に基づいて、ベッドＢの領域を特定する。そして、動作検出部１３は、ベッドＢの領域内に存在する物体を検出し、かかる物体から人物Ｐの最頂点と重心位置を検出する。このとき、動作検出部１３は、例えば、距離画像２１内における個々の塊からなる物体を検出し、検出した物体の質量や、物体間の位置関係や体積比（面積比）などから、人物を検出する。
　そして、動作検出部１３は、検出された人物Ｐの最頂点と重心位置の位置関係から、人物Ｐの動作を検出する。具体的に、本実施形態では、ベッドＢ上における人物Ｐの姿勢を検出する（図７のステップＳ２）。このとき、動作検出部１３は、人物Ｐの高さと重心位置を検出し、当該高さと重心位置と距離画像２１内の位置関係から、人物Ｐの動作を判定する。
　特に、動作検出部１３は、人物ＰがベッドＢ上において横たわっている動作、つまり、「臥位」であるか否かを検出する（図７のステップＳ３でＹｅｓ）。例えば、動作検出部１３は、図３に示すように、人物Pの最頂点と重心位置がベッドＢの平面上で連結した位置関係となり、それぞれ予め設定された臥位高さ位置よりもやや高く設定された位置を超えていない場合に、人物Ｐの動作が「臥位」であると判定する。ここで、図３は、上図が距離画像２１を示しており、下図がベッドＢを側方から見た図を示している。以下に説明する図４も同様である。
　なお、動作検出部１３は、人物ＰがベッドＢ上において動作（姿勢）を変化させたか否かの検出も行う。例えば、動作検出部１３は、距離画像から検出した人物の最頂点と重心の位置が変化したことを検出することで、動作に変化があったことを検出する。一例としては、人物の最頂点や重心位置が所定値以上変化した場合に、動作が変化したことを検出する。このとき、動作検出部１３は、人物Ｐが、図３に示すような仰向けの臥位状態から、図４に示す横向きの臥位状態に変化させた場合も、動作変化として検出する。なお、上述した人物Ｐの動作の検出は、いかなる方法で行われてもよい。
　ここで、動作検出部１３は、上述した動作検出処理を常に行い、検出した動作（姿勢）を監視部１４に通知する。このとき、動作検出部１３は、一定の時間間隔で検出した動作を監視部１４に通知してもよく、検出した動作が変化したときに、動作が変化した旨や変化後の動作を監視部１４に通知してもよい。これにより、監視部１４は、常に人物Ｐの動作を認識することができる。
　上記監視部１４（監視手段）は、上述したように検出した人物Ｐの動作と、当該人物Ｐの生体情報とに基づいて、当該生体情報に対する監視処理を行う。特に、監視部１４は、検出した人物Ｐの動作が、上述した「臥位」である場合に（図７のステップＳ３でＹｅｓ）、生体センサＳから検出した生体情報の監視処理を行う。つまり、監視部１４は、臥位状態以外の場合には（図７のステップＳ３でＮｏ）、生体情報に対する監視処理は行わない。そして、監視部１４は、具体的には、生体センサＳから検出した生体情報が（図７のステップＳ４）、予め基準情報記憶部１６に記憶された不在時基準値情報（人物不在値）と比較して、当該不在時基準値情報と異なり、生体情報が人物Ｐの有効値であると判断された場合に（図７のステップＳ５でＮｏ）、検出した生体情報に対する監視処理を行う。逆に、監視部１４は、生体センサＳから検出した生体情報が不在時基準値情報と同等である場合には（図７のステップＳ５でＹｅｓ）、検出した生体情報に対する監視処理は行わない。
　ここで、上記不在時基準値情報は、図５の下図に示すように、予め記憶されたベッドＢ上に人物Ｐが存在していない状態における生体センサＳからの計測値である。このように、不在時基準値情報は、外部振動などにより多少の波形が表されているが、明らかにベッドＢ上に人物Ｐが存在している場合の波形とは異なる。このため、生体情報と不在時基準値情報との一定期間の振幅や振動数との差異を調べることで、生体情報が不在時基準値情報とは異なることを判断することができる。その結果、人物Ｐが存在していない場合の生体センサＳからの計測値を監視処理することを抑制することができ、より確実に人物Ｐの心拍・呼吸・体動などを計測した生体情報に対する監視処理を行うことができる。
　監視部１４は、監視処理として、生体情報を一定時間（一連の期間）計測し、かかる一定時間で計測された生体情報を用いて、当該生体情報が正常か異常かの判定を行う。そして、監視部１４は、一定時間の生体情報の計測及び判定といった一連の処理を繰り返し行う。このとき、監視部１４は、計測した生体情報と、予め生成された正常基準値（生体基準情報）と、を比較して、計測した生体情報が正常か異常かを判定する。ここで、正常基準値は、現在の人物Ｐの動作（姿勢）である臥位状態における人物Ｐの正常時に計測された生体情報に基づいて生成される情報である。このため、監視部１４は、監視処理に入ると、まず、直前の監視処理時に生成された正常基準値が存在するか否かを調べる（図７のステップＳ６）。
　監視部１４は、直前の監視処理時に正常基準値が生成されていない場合には（図７のステップＳ６でＮｏ）、新たに正常基準値を生成する（図７のステップＳ７）。具体的に、監視部１４は、今現在の一定時間で計測した生体情報を用いて正常基準値を生成する。このとき、監視部１４は、図６の上図に示すように、今現在の一定時間で計測した生体情報を複数期間Ｗに分けて、各期間Ｗの生体情報を用いて正常基準値を生成する。例えば、一定時間である１００秒間の生体情報を２０秒間×５期間Ｗに分けて、各期間Ｗの生体情報をそれぞれ正常基準値としてもよく、すべての期間Ｗやそのうちいくつかの期間Ｗの生体情報を平均するなど集計して１つの正常基準値を生成してもよく、いかなる方法で正常基準値を生成してもよい。なお、正常基準値は、心拍波数、心拍レベル、呼吸波数、呼吸レベルなどの生体情報の種類毎に生成してもよい。また、一定時間や各期間Ｗは上述した時間であることに限定されない。
　監視部１４は、上述したように新たに正常基準値を生成すると、当該正常基準値を基準情報記憶部１６に記憶して、次の監視処理で用いるよう設定する（図７のステップＳ９でＮｏ、ステップＳ１０でＮｏ、ステップＳ１１）。そして、現在の監視処理では、直前の監視処理時の正常基準値を用いて生体情報の正常／異常を判定して（図７のステップＳ８、ステップＳ１２）、正常であった場合は、次の監視処理に進み（図７のステップＳ１３でＮｏ）、異常であった場合は（図７のステップＳ１３でＹｅｓ）、その旨を通知部１５に通知する。但し、監視部１４は、上述したように新たな正常基準値を生成している間、つまり、今現在の監視処理で生体情報を一定時間計測している間に、人物Ｐの動作（姿勢）が変化したり、生体情報が監視不能な値であると判断した場合には（図７のステップＳ９でＹｅｓ）、正常基準値を生成しない。この場合は、人物Ｐの動作（姿勢）が臥位であることを確認し、新たに一定時間の生体情報を計測して上述同様に正常基準値の生成を行う。なお、監視部１４は、予め生体情報の監視不能値を記憶しており、計測した生体情報が監視不能値に一致している場合に、生体情報が監視不能な値であると判断する。例えば、監視不能値とは、人物Ｐが咳をしたり寝返りをするなどの大きな体動が生じたときに起こりうる生体情報の波形や、生体情報の振幅や振動数の値（閾値以上の値）にて表される。
　監視部１４は、上述したように直前の監視処理で正常基準値が生成された後には、次の監視処理に進み、新たに一定時間の生体情報を計測する（図７のステップＳ４）。そして、監視部１４は、新たに計測した生体情報が不在時基準値情報と異なる場合には（図７のステップＳ５でＮｏ，ステップＳ６でＹｅｓ）、当該計測した生体情報と直前の監視処理で生成された正常基準値とを用いて生体情報が正常か異常かの判定を行う（図７のステップＳ８）。このとき、監視部１４は、図６の上図に示すように、新たに計測した生体情報を複数期間Ｗに分けて、各期間Ｗの生体情報を用いて判定を行う。例えば、１００秒間の生体情報を２０秒間×５期間Ｗに分けて、各期間Ｗの生体情報をそれぞれ正常基準値と比較して総合的に判定してもよく、各期間Ｗの生体情報を平均して正常基準値と比較して判定してもよい。一例として、５つの期間Ｗの生体情報を用いる場合には、各期間Ｗの生体情報が正常基準値に対して大きすぎたり小さすぎるといった異常と判断できる期間Ｗの数を集計し、異常と判断できる期間Ｗが４つ以上の場合に、総合的に異常状態であると判定する。なお、生体情報の正常／異常の判定はいかなる方法で行ってもよい。
　また、監視部１４は、上述したように新たに計測した生体情報を監視処理に用いると同時に、当該新たに計測した生体情報から、さらに次の監視処理に用いる新たな正常基準値を生成する（図７のステップＳ１１）。つまり、監視部１４は、監視処理を行うと同時に、かかる監視処理に用いている生体情報から、次の監視処理に用いる新たな正常基準値を生成する。なお、正常基準値の生成方法は上述同様である。
　具体的に、監視部１４は、上述したように生体情報の正常／異常の最終的な判定を行うと共に、新たに正常基準値を生成して、当該正常基準値を次の監視処理で用いるよう更新する（図７のステップＳ９でＮｏ、ステップＳ１０でＮｏ、ステップＳ１１）。そして、監視処理により生体情報が正常であると判定されると（図７のステップＳ１３でＮｏ）、さらに次の監視処理に進む。これにより、監視部１４は、さらに次の監視処理でさらに新たな生体情報を計測し、新たに更新された正常基準値と比較して正常／異常の判定を行う。その結果、監視部１４は、常に直前の監視処理時に計測された生体情報から生成した正常基準値を用いて、現在計測された生体情報の判定を行うことができる。
　なお、監視部１４は、上述したように監視処理を行いつつ正常基準値を生成している間、つまり、生体情報を計測している間に、人物Ｐの動作（姿勢）が変化したり、生体情報が監視不能な値であると判断した場合には（図７のステップＳ９でＹｅｓ）、監視処理を停止し、また、新たな正常基準値の生成を停止する。そして、監視部１４は、基準情報記憶部１６に記憶されている直前の正常基準値を削除し、上述したように、あらためて人物Ｐの動作（姿勢）が臥位であることを確認し、新たに一定時間の生体情報を計測して、新たな正常基準値の生成を行う。そして、新たな正常基準値を用いて、上述したように監視処理を再開する。
　そして、監視部１４は、生体情報が異常であると判定した場合には（図７のステップＳ１３でＹｅｓ）、その旨を通知部１５に通知する。すると、通知部１５は、人物Ｐの生体情報に異常があった旨を、携帯端末２０や監視端末３０に通知する（図７のステップＳ１４）。例えば、図６に示す呼吸の生体情報の例では、図６の上段の波形は正常時を表しているが、図６の下段の波形は異常時を表している。このため、図６の下段のような波形を検出した場合には、異常であると判定する。
　ここで、上記動作検出部１３（退出検出手段）は、距離画像取得部１１を介して取得した距離画像や、領域Ｒ内に別途設けられた赤外線センサーからの検出データなどから、領域Ｒ内から人物を退出したことを検出する機能も有する。例えば、動作検出部１３は、距離画像内の人物Ｐの位置を追跡し、予め設定された出入口箇所を通過した場合に、人物Ｐが領域Ｒ内から退出したことを検出する。また、別の例としては、領域Ｒの出入口に赤外線センサーを設け、室内側から室外側に物体が通過したことを検出した場合に、人物Ｐが領域Ｒ内から退出したことを検出する。但し、人物Ｐが領域Ｒ内から退出したことの検出方法はいかなる方法であってもよい。そして、動作検出部１３は、領域Ｒ内から人物Ｐが退出したことを検出すると、その旨を監視部１４に通知する。
　上記監視部１４は、領域Ｒ内から人物Ｐが退出した旨の通知を受けると、原則的には、上述した監視処理を停止する。つまり、生体情報の計測や、生体情報の正常／異常の判定、さらには、正常基準値の生成、を停止する。但し、領域Ｒ内から人物Ｐが退出した旨の通知を受けた場合であっても、この時点において、人物Ｐの動作が臥位状態であり、計測した生体情報が不在時基準値情報と異なり、さらに、計測した生体情報が監視不能値ではない状態（特定状態）である場合には、生体情報の監視処理を継続する。つまり、生体情報を計測して、生体情報の正常／異常の判定、さらには、正常基準値の生成の処理を継続する。
　上述したように、領域Ｒ内から人物Ｐが退出したことを検出した場合には、監視対象である人物Ｐが退出した可能性があり、その後の生体情報の判定は不要となるため、原則的には、監視処理を停止する。一方で、領域Ｒ内には、監視対象である人物Ｐの介助者などの他の人物が存在している場合もあり、かかる他の人物が領域Ｒ内から退出したことを検出することもある。このような状況に対応すべく、人物Ｐが臥位状態であり、計測した生体情報が不在時基準値情報と異なり、さらに、計測した生体情報が監視不能値ではない状態である場合には、生体情報の監視処理を継続することとしている。
　以上のように、本発明では、ベッドＢに装備した生体センサＳにて人物Ｐの生体情報を計測して正常／異常を判定する際に、その判断基準となる値を、特定の状態（例えば、臥位状態）である人物Ｐの直近の生体情報を基に生成している。このため、人物Ｐの現在の状況に適切な判断基準を設定して比較することができ、より正確に人物Ｐの状態を検出することができる。
　なお、上述したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されている。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。
　以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。
　なお、本発明は、日本国にて２０１９年１月１５日に特許出願された特願２０１９－００４３９３の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
１０　監視サーバ
１１　距離画像取得部
１２　生体情報計測部
１３　動作検出部
１４　監視部
１５　通知部
１６　基準情報記憶部
２０　携帯端末
２１　距離画像
３０　監視端末
Ｂ　ベッド
Ｃ　距離画像カメラ
Ｓ　生体センサ
Ｐ　人物
Ｕ　ユーザ

Claims (10)

  1. 　寝床を含む所定領域の距離画像を取得する距離画像取得手段と、
    　前記距離画像に基づいて、当該距離画像内の人物の動作を検出する検出手段と、
    　計測装置から前記寝床上の人物の生体情報を計測する計測手段と、
    　前記人物の動作と前記生体情報とに基づいて、当該生体情報に対する監視処理を行う監視手段と、
    を備え、
    　前記監視手段は、計測した前記生体情報と予め生成された生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる計測した前記生体情報に基づいて後に使用する新たな前記生体基準情報を生成する、
    情報処理装置。
  2. 　請求項１に記載の情報処理装置であって、
    　前記監視手段は、一定期間を複数期間に分けて計測した前記生体情報と前記生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる前記複数期間に分けて計測した前記生体情報に基づいて後に使用する前記新たな生体基準情報を生成する、
    情報処理装置。
  3. 　請求項１又は２に記載の情報処理装置であって、
    　前記監視手段は、前記監視処理の際に、直前の前記監視処理時に計測した前記生体情報に基づいて生成した前記新たな生体基準情報を用いる、
    情報処理装置。
  4. 　請求項１乃至３のいずれかに記載の情報処理装置であって、
    　前記監視手段は、前記人物の動作が前記寝床上に人物が横たわっている臥位状態であり、計測した前記生体情報が予め設定された前記寝床上に人物が存在していない状態における前記計測装置からの計測値である不在時基準値情報と異なる場合に、計測した前記生体情報と前記生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる計測した前記生体情報に基づいて前記新たな生体基準情報を生成する、
    情報処理装置。
  5. 　請求項１乃至４のいずれかに記載の情報処理装置であって、
    　前記監視手段は、前記人物の動作が所定基準以上変化した場合に、その後に計測した前記生体情報に基づいて前記新たな生体基準情報を生成し、当該生成した前記新たな生体基準情報とさらにその後に計測した前記生体情報とに基づいて前記監視処理を行う、
    情報処理装置。
  6. 　請求項１乃至５のいずれかに記載の情報処理装置であって、
    　前記監視手段は、計測した前記生体情報が予め設定された基準により前記監視処理が継続できない監視不能値である場合に、その後に計測した前記生体情報に基づいて前記新たな生体基準情報を生成し、当該生成した前記新たな生体基準情報とさらにその後に計測した前記生体情報とに基づいて前記監視処理を行う、
    情報処理装置。
  7. 　請求項１乃至６のいずれかに記載の情報処理装置であって、
    　前記寝床を含む所定領域からの人物の退出を検出する退出検出手段を備え、
    　前記監視手段は、人物の退出を検出した際には、その後に計測した前記生体情報に基づいて前記新たな生体基準情報を生成し、当該生成した前記新たな生体基準情報とさらにその後に計測した前記生体情報とに基づいて前記監視処理を行う、
    情報処理装置。
  8. 　請求項７に記載の情報処理装置であって、
    　前記監視手段は、人物の退出を検出した際には、前記人物の動作が前記寝床上に人物が横たわっている臥位状態であり、計測した前記生体情報が予め設定された前記寝床上に人物が存在していない状態における前記計測装置からの計測値である不在時基準値情報と異なり、さらに、計測した前記生体情報が予め設定された監視不能値ではない特定状態である場合には、計測した前記生体情報と前記生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる計測した前記生体情報に基づいて後に使用する前記新たな生体基準情報を生成し、
    　前記特定状態ではない場合には、前記監視処理を停止する、
    情報処理装置。
  9. 　情報処理装置が、
    　寝床を含む所定領域の距離画像を取得し、
    　前記距離画像に基づいて、当該距離画像内の人物の動作を検出し、
    　計測装置から前記寝床上の人物の生体情報を計測し、
    　前記人物の動作と前記生体情報とに基づいて、当該生体情報に対する監視処理を行う際に、計測した前記生体情報と予め生成された生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる計測した前記生体情報に基づいて後に使用する新たな前記生体基準情報を生成する、
    情報処理方法。
  10. 　情報処理装置に、
    　寝床を含む所定領域の距離画像を取得し、
    　前記距離画像に基づいて、当該距離画像内の人物の動作を検出し、
    　計測装置から前記寝床上の人物の生体情報を計測し、
    　前記人物の動作と前記生体情報とに基づいて、当該生体情報に対する監視処理を行う際に、計測した前記生体情報と予め生成された生体基準情報とに基づいて前記監視処理を行うと共に、当該監視処理に用いる計測した前記生体情報に基づいて後に使用する新たな前記生体基準情報を生成する、
    処理を実行させるためのプログラム。
     
PCT/JP2019/050827 2019-01-15 2019-12-25 情報処理装置 WO2020149126A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019004393A JP2020110422A (ja) 2019-01-15 2019-01-15 情報処理装置
JP2019-004393 2019-01-15

Publications (1)

Publication Number Publication Date
WO2020149126A1 true WO2020149126A1 (ja) 2020-07-23

Family

ID=71614330

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/050827 WO2020149126A1 (ja) 2019-01-15 2019-12-25 情報処理装置

Country Status (2)

Country Link
JP (1) JP2020110422A (ja)
WO (1) WO2020149126A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011030919A (ja) * 2009-08-05 2011-02-17 Kandenko Co Ltd 被験者検知システム
JP2012030042A (ja) * 2010-06-30 2012-02-16 Panasonic Electric Works Co Ltd 監視装置、プログラム
JP2013078433A (ja) * 2011-10-03 2013-05-02 Panasonic Corp 監視装置、プログラム
JP2015506186A (ja) * 2011-12-20 2015-03-02 コーニンクレッカ フィリップス エヌ ヴェ ユーザの圧受容器反射をモニタリングする方法及び装置
JP2015119898A (ja) * 2013-12-25 2015-07-02 シャープ株式会社 状態判定装置および状態判定モジュール
JP2017174266A (ja) * 2016-03-25 2017-09-28 学校法人日本大学 遠隔患者支援システム
JP2018126423A (ja) * 2017-02-10 2018-08-16 ミネベアミツミ株式会社 ベッドモニタリングシステム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6095984A (en) * 1996-04-17 2000-08-01 Seiko Epson Corporation Arrhythmia detecting apparatus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011030919A (ja) * 2009-08-05 2011-02-17 Kandenko Co Ltd 被験者検知システム
JP2012030042A (ja) * 2010-06-30 2012-02-16 Panasonic Electric Works Co Ltd 監視装置、プログラム
JP2013078433A (ja) * 2011-10-03 2013-05-02 Panasonic Corp 監視装置、プログラム
JP2015506186A (ja) * 2011-12-20 2015-03-02 コーニンクレッカ フィリップス エヌ ヴェ ユーザの圧受容器反射をモニタリングする方法及び装置
JP2015119898A (ja) * 2013-12-25 2015-07-02 シャープ株式会社 状態判定装置および状態判定モジュール
JP2017174266A (ja) * 2016-03-25 2017-09-28 学校法人日本大学 遠隔患者支援システム
JP2018126423A (ja) * 2017-02-10 2018-08-16 ミネベアミツミ株式会社 ベッドモニタリングシステム

Also Published As

Publication number Publication date
JP2020110422A (ja) 2020-07-27

Similar Documents

Publication Publication Date Title
JP7138931B2 (ja) 姿勢解析装置、姿勢解析方法、及びプログラム
KR101070389B1 (ko) 환자 상태 모니터링 시스템
JP6852733B2 (ja) 生体監視装置及び生体監視方法
JPWO2017183602A1 (ja) 被監視者監視システムおよび被監視者監視方法
JP7090327B2 (ja) 情報処理装置、情報処理方法、プログラム
JP2020027465A (ja) 監視装置、監視システム、及びプログラム
JP2017228042A (ja) 監視装置、監視システム、監視方法及び監視プログラム
WO2020149126A1 (ja) 情報処理装置
JP7468350B2 (ja) 状態監視装置および状態監視装置の制御方法
JP2020187389A (ja) 移動体軌跡分析装置、移動体軌跡分析プログラム、および移動体軌跡分析方法
US20220148334A1 (en) Breathing detection apparatus and methods for detecting breathing
JP7095870B2 (ja) 情報処理装置
JP7090328B2 (ja) 情報処理装置
JP7232497B2 (ja) 情報処理装置
WO2021033453A1 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP2021033379A (ja) 画像処理システム、画像処理プログラム、および画像処理方法
WO2020003954A1 (ja) コンピューターで実行されるプログラム、情報処理装置、および、コンピューターで実行される方法
WO2020021897A1 (ja) 情報処理装置
JP2022126069A (ja) 画像処理方法
JP7364179B2 (ja) ロボット
WO2020145145A1 (ja) 情報処理装置
JP2022126071A (ja) 画像処理方法
JP2022126070A (ja) 画像処理方法
WO2019163561A1 (ja) 情報処理装置
JP7039011B2 (ja) 情報処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19909912

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19909912

Country of ref document: EP

Kind code of ref document: A1