WO2020145380A1 - 介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法 - Google Patents

介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法 Download PDF

Info

Publication number
WO2020145380A1
WO2020145380A1 PCT/JP2020/000636 JP2020000636W WO2020145380A1 WO 2020145380 A1 WO2020145380 A1 WO 2020145380A1 JP 2020000636 W JP2020000636 W JP 2020000636W WO 2020145380 A1 WO2020145380 A1 WO 2020145380A1
Authority
WO
WIPO (PCT)
Prior art keywords
care
state
person
caregiver
data
Prior art date
Application number
PCT/JP2020/000636
Other languages
English (en)
French (fr)
Inventor
森　正人
Original Assignee
株式会社サンクレエ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社サンクレエ filed Critical 株式会社サンクレエ
Priority to CN202080008632.6A priority Critical patent/CN113366529A/zh
Priority to US17/421,513 priority patent/US20220084657A1/en
Priority to JP2020565220A priority patent/JP7403132B2/ja
Publication of WO2020145380A1 publication Critical patent/WO2020145380A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/20—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management or administration of healthcare resources or facilities, e.g. managing hospital staff or surgery rooms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to a nursing care recording device, a nursing care recording system, a nursing care recording program, and a nursing care recording method for recording a nursing care record.
  • Japanese Unexamined Patent Application Publication No. 2017-174012 discloses an information processing apparatus that acquires and displays time-series data that records the state of sleep or activity of a care receiver from a sleep sensor, a motion sensor, a toilet sensor, or the like. (Patent Document 1).
  • the caregiver records the caregivers' actions performed on the cared person.
  • the caregiver has to perform a recording act in addition to the daily busy work such as an assisting act, which is a heavy burden. Therefore, a technique has been developed so far for a caregiver to support a recording work such as assistance.
  • a nursing-care recording mobile phone which is carried by a nursing-care staff who cares for a nursing-care recipient, and records the nursing-care results performed by the nursing-care staff on the nursing care recipient in a predetermined format
  • Patent Document 2 A program for a terminal is disclosed (Patent Document 2).
  • the present invention has been made in order to solve such a problem, and has an inexpensive and simple system configuration, and at the same time, records regarding a living condition of a cared person and records regarding a caregiver's assistance act. Further, it is an object of the present invention to provide a care recording device, a care recording system, a care recording program, and a care recording method that can improve the efficiency of care work by performing them easily.
  • the care recording apparatus has an inexpensive and simple system configuration, but at the same time and easily records the life of the cared person and the caregiver's assistance action at the same time, thereby improving the efficiency of care work.
  • a care recording device for recording the state of the care receiver and the assistance action performed by the care receiver for the care receiver, and photographing the care receiver.
  • a shooting data acquisition unit that acquires shooting data from a camera
  • a person determination unit that detects a person in the image based on the shooting data and determines whether the person is the cared person or the caregiver.
  • a care receiver state determination unit that stores the care history information in which the status type of the care receiver is determined based on the imaging data and the date and time is associated with the status type in the care history storage unit, and the person.
  • the person determined by the determination unit includes the caregiver, the type of the caregiver of the caregiver is determined based on the imaging data, and the type of the caregiver is used as the care history information.
  • a care act determination unit which is stored in the care history storage unit in association with each other.
  • the cared person state determination unit detects each coordinate of the body part representing the posture of the cared person from the imaging data, and determines the state type of the cared person based on each coordinate of the body part. It may have a posture determination mode.
  • the cared person state determination unit determines the state type based on the state learned data obtained by learning the imaged data captured in advance for each state of the cared person and the acquired imaged data. It may have a state learning determination mode to perform.
  • an area setting unit that sets an area smaller than the shooting range within the shooting range of the shooting data, and the care receiver in association with the area set by the area setting unit
  • a carcass part setting unit that sets a carcass part of a person, and the care receiver state determination unit detects a position within a shooting range representing each car body part of the cared person from the shooting data, and Among the positions of each body part, the state type of the cared person is determined based on whether the position of the body part set by the body part setting unit is within the area set by the area setting unit. It may have a body part area determination mode.
  • the care activity determination unit determines that the caregiver makes a predetermined gesture from the captured data. It may have a gesture determination mode that determines whether or not the gesture is performed and, when the gesture is detected, determines the type of the assistance action associated with the gesture.
  • the care activity determination unit causes the caregiver to point a finger from the imaging data. It is also possible to have a finger determination mode that determines whether or not the user has performed the action, and when detecting the action of raising the finger, determines the type of the assistance action associated with the number of the raised fingers.
  • the type of assistance action is automatically recorded to further reduce the load on the caregiver and to solve the problem of suppressing the occurrence of record omission due to forgetting the record.
  • the care history information stored in the care history storage unit is used.
  • a care record image generation unit may be provided that generates a care record image for displaying the state of the care recipient and the type of the assistance action on the same screen side by side for each care recipient.
  • the physical evaluation level storage unit that stores the physical evaluation level defined in 1., and the state type of the target care receiver determined by the care receiver status determination unit corresponds to the physical evaluation level of the care receiver.
  • An abnormal state determination unit that determines whether or not an abnormal state is present, and an abnormal state notification unit that notifies the care recipient if the care recipient is determined to be in an abnormal state may be provided.
  • the care recording system has an inexpensive and simple system configuration, but at the same time, records the life of the cared person and the care activity of the caregiver simultaneously and easily, thereby improving the efficiency of care work.
  • the nursing care recording device and the nursing care recording camera installed in the living room of the care-receiver for photographing the living room and transmitting the photographing data to the nursing care recording device are provided.
  • the nursing care recording program according to the present invention has an inexpensive and simple system configuration, but at the same time and easily records the life of the cared person and the caregiver's assistance action at the same time, thereby improving the efficiency of care work.
  • a care record program for recording the state of the care receiver and the care action performed by the care receiver with respect to the care receiver, wherein the care receiver is photographed A shooting data acquisition unit that acquires shooting data from a camera, and a person determination unit that detects a person in the image based on the shooting data and determines whether the person is the cared person or the caregiver.
  • a care receiver state determination unit that stores the care history information in which the status type of the care receiver is determined based on the imaging data and the date and time is associated with the status type in the care history storage unit, and the person.
  • the person determined by the determination unit includes the caregiver, the type of the caregiver of the caregiver is determined based on the imaging data, and the type of the caregiver is used as the care history information.
  • the computer is caused to function as a care act determination unit that is associated and stored in the care history storage unit.
  • the nursing care recording method according to the present invention has an inexpensive and simple system configuration, but simultaneously and easily records the life of the cared person and the care activity of the caregiver, thereby improving the efficiency of care work.
  • the person determined by the determination step includes the caregiver, the type of the caregiver of the caregiver is determined based on the imaging data, and the type of the caregiver is used as the care history information.
  • FIG. 1 It is a block diagram showing one embodiment of a nursing-care recording system concerning the present invention. It is a figure which shows an example of a posture state among the state classifications of a cared person in this embodiment. It is a figure which shows the area set in the imaging range of imaging data by the area setting part in this embodiment. It is a figure which shows an example at the time of setting a body evaluation level in this embodiment simply. It is a figure which shows an example of the care history table memorize
  • the care recording system 1 of the present embodiment is for recording the state of life of the cared person and the assistance action performed by the carer for the cared person.
  • the care room of the cared person is provided. It has a care recording camera 2 for photographing the inside, and a care recording device 3 for recording a care history based on the photographing data transmitted from the care recording camera 2.
  • a care recording camera 2 for photographing the inside
  • a care recording device 3 for recording a care history based on the photographing data transmitted from the care recording camera 2.
  • the nursing record camera 2 is installed in a room, a hallway of a cared person, in front of an elevator, or the like, and captures a still image or a moving image of the room or the like.
  • the nursing-care recording camera 2 in the present embodiment is configured to be communicatively connectable to the communication means 31 of the nursing-care recording device 3 via a wired/wireless LAN, WiFi, Bluetooth (registered trademark), etc., and photographed images are used as photographed data. It is adapted to be transmitted to the care recording device 3 in real time.
  • the installation location and the number of the care recording cameras 2 in the living room are determined based on the main posture of the care receiver in the living room. For example, if the care receiver is in a bedridden state, the caregiver is installed in a place where it is possible to take a picture from an angle at which changes from the bedridden state can be easily recognized.
  • the care recording device 3 is for recording the state (state type) of the cared person and the care act performed by the cared person on the cared person.
  • the state type refers to various states in the life of the cared person, and includes various states that can be recorded regarding the living state including sleep of the cared person. Specifically, as shown in FIG. 2, lying down (sleeping), rolling (moving), getting up (moving), sitting (end) sitting, standing (moving), standing, falling/falling, etc. Examples include a state based on the care recipient's posture, a state requiring attention based on a physical evaluation of the care recipient to be described later, a dangerous state, and the like.
  • assistance activities refer to general physical assistance to the cared person, such as rushing to nurse call, getting up, eating assistance, toilet assistance, changing diapers, bathing assistance, changing clothing assistance, bedtime assistance, etc. Is exemplified.
  • the nursing-care recording device 3 of the present embodiment is configured by a computer such as a database server, and as shown in FIG. 1, mainly, a communication unit that communicates with the nursing-care recording camera 2, the external communication terminal 4, and the like. 31; display input means 32 for displaying various display screens and inputting various data; storage means 33 for storing various data and functioning as a working area when the arithmetic processing means 34 performs arithmetic processing; By executing the care record program 3a installed in the storage means 33, various processing operations are performed and the processing means 34 functions as each component described later.
  • the communication means 31 is composed of a communication module and the like, and is for implementing a communication function in the care recording device 3.
  • the communication unit 31 receives the photographing data from the care recording camera 2, and displays the care record image, the abnormality record image, and the abnormality notification as shown in FIGS. 8 to 10 on the external mobile terminal 4 and the like. It is supposed to be sent.
  • the communication method is not particularly limited, and wired/wireless LAN, WiFi, Bluetooth (registered trademark) and the like are exemplified.
  • the display input means 32 is a user interface having an input function and a display function.
  • the display input unit 32 in the present embodiment is configured by a display having a touch panel function, and is mainly used as an input unit that functions as a monitor that displays various information and an area setting unit 321 and a body part setting unit 322 described later. Used.
  • the configuration of the display input means 32 is not limited to the one using a touch panel type display, and a display means having only a display function and an input means having only an input function such as a keyboard are separately provided. You may have.
  • the storage unit 33 includes a hard disk, a ROM (Read Only Memory), a RAM (Random Access Memory), a flash memory, and the like, and as shown in FIG. 1, a program storage unit 331 that stores the care recording program 3a, A person data storage unit 332 that stores person data, a state determination data storage unit 333 that stores state determination data used to determine the state of a cared person, and a care act used to determine a caregiver's assistance action determination.
  • Assistance action determination data storage unit 334 that stores determination data
  • physical evaluation level storage unit 335 that stores the physical evaluation level of each care recipient, and abnormal condition determination used to determine the abnormal condition of the care recipient It has an abnormal state determination data storage unit 336 that stores data, and a care history storage unit 337 that stores the state type of the cared person and the care action type of the cared person in time series.
  • the care storage program 3a for controlling the care recording device 3 of the present embodiment is installed in the program storage unit 331. Then, the arithmetic processing means 34 executes the care recording program 3a to cause the computer to function as each component of the care recording device 3.
  • the care record program 3a may be stored in a computer-readable non-transitory recording medium such as a CD-ROM or a USB memory, and may be directly read from the recording medium and executed. Also, it may be used from an external server or the like by a cloud computing method, an ASP (Application Service Provider) method, or the like.
  • a cloud computing method such as a CD-ROM or a USB memory
  • ASP Application Service Provider
  • the person data storage unit 332 is a database that stores person data used for person determination.
  • the face authentication data obtained by photographing the face of the target person used in the face authentication processing by the person determination unit 342, personal information such as whether the person is a cared person or a caregiver, and an ID number for identifying them. Etc. are stored.
  • the person data is not limited to face image data and the like, and may be appropriately selected from data that can be subjected to person determination processing by being compared with photographed data.
  • the state determination data storage unit 333 stores the state determination data used to determine the state of the cared person.
  • the state determination data storage unit 333 in the present embodiment includes determination coordinate data corresponding to the coordinates of the body part used for determining the type of state of the care receiver in the posture determination mode 343a described below, and a state learning determination mode described below.
  • the state-learned data used for determining the state type of the care receiver by 343b and the body part area determination data used for determining the state type of the care receiver by the body part area determination mode 343c described later are stored.
  • the coordinate data for discrimination is, for example, a coordinate value for each body part or a relative coordinate value for each body part.
  • the body part includes a head, a torso part, an arm part, a leg part and joints connecting the respective body parts.
  • the body part corresponds to a body part capable of discriminating a sitting posture, a standing posture and the like of a care receiver.
  • the coordinate data is stored.
  • the coordinate data stored as the determination coordinate data is obtained by learning the coordinates of each body part extracted from an image of a sitting posture or the like by using a posture estimation algorithm or the like used in the posture determination mode 343a described later. It is coordinate data.
  • the image to be learned at this time is preferably photographed in consideration of the physical evaluation level of the care receiver, which will be described later, and the installation position of the care recording camera 2 installed in the living room.
  • the image data is only an image captured from one direction
  • the coordinate values are based on the two-dimensional coordinates obtained from the image data.
  • images taken from multiple directions not only two-dimensional coordinates but also three-dimensional coordinates can be used.
  • the state-learned data is obtained by learning the photographed data obtained by photographing in advance for each state of the cared person.
  • the state-learned data obtained by learning the imaging data of the cared person's sitting posture, standing posture, etc. is stored.
  • the body part area determination data is composed of area data set by the area setting part 321 used in the determination in the body part area determination mode 343c and body part data set by the body part setting part 322.
  • the area setting unit 321 mainly sets an area within the shooting range of the shooting data according to the physical evaluation level of the care receiver, and in the present embodiment, the display input means 32 functions as the input means. It consists of As shown in FIG. 3, the set area has an area smaller than the shooting range, and in this embodiment, the set area is stored as coordinate data indicating a specific range within the shooting range of the shooting data. .. Further, the area setting unit 321 in the present embodiment can set a plurality of areas for one shooting range. Specifically, the caution area set to determine whether or not the user needs attention and the danger area set to determine whether or not the user is in a dangerous state can be appropriately selected and set. As a result, the determination result can be divided for each area.
  • the body part setting unit 322 sets the body part of the cared person in association with the area set by the area setting unit 321, and in the present embodiment, the display input unit 32 functions as an input unit. Composed.
  • the body part to be set includes a head, a torso, an arm, a leg, joints connecting the body parts, and the like.
  • the body part name selectively input from is stored by text data or the like.
  • the assistance action determination data storage unit 334 stores the assistance action determination data used to determine the assistance action performed by the caregiver with respect to the care receiver.
  • the assistance action determination data storage unit 334 includes gesture data used to determine a caregiver's assistance action type in a gesture determination mode 344a, which will be described later, and caregiver assistance action types in a finger determination mode 344b, which will be described later.
  • the finger data used for the determination and the assisting action learned data used for determining the caregiver action type by the caregiver learning determination mode 344c described later are stored.
  • Gesture data is data that associates gestures performed by a caregiver with assistance activities.
  • the gesture is a movement or shape of a characteristic part of a caregiver, a dynamic gesture involving movement such as a triangle, a quadrangle, or a geometrical pattern such as a star drawn by a tip of a hand or an arm, Examples of static gestures that do not involve movement, such as goo, choki, and par.
  • types of assistance actions such as rushing to nurse call, assistance in getting up, assistance in eating, assistance in toilet, changing diaper, assistance in bathing, assistance in changing clothes, assistance in going to bed, etc. are stored in association with each other for each of these gestures.
  • Finger data is data that associates the number of fingers protruding by the caregiver's hand with the assistance action. For example, when the number of fingers is one, the number of fingers and the type of each assistance action are stored in association with each other, such as rushing to a nurse call when the number of fingers is two and wake-up assistance when the number is two.
  • the data for learning assistance activities is obtained by learning the imaging data obtained by capturing in advance for each type of caregiver's assistance activities.
  • the assistance action learning completed data in which the shooting data of the state of each type of assistance action is learned is stored. For example, as shown in FIG. 1, by learning shooting data obtained by shooting a state in which a meal is being assisted, the assistance action learned data corresponding to the meal assistance is created and stored.
  • the physical evaluation level storage unit 335 is a database in which the physical evaluation level of each cared person is stored.
  • the physical evaluation level in the present embodiment is a level that is determined based on the activities of daily living of each cared person and the results of manual muscle strength measurement.
  • the present embodiment is for determining normality and abnormality according to the posture of the care-receiver determined by the posture determination mode 343a and the state learning determination mode 343b, and as shown in FIG.
  • permission means a level at which the sitting posture is always recognized
  • needing assistance means a level at which the sitting posture is allowed under conditions such as attendance of an assistant or an assistive device, and disapproval means sitting.
  • a level at which no posture is recognized In the standing position, permission means the level at which the standing position is always recognized, assistance means the level at which the standing position is recognized under conditions such as attendance of assistants and assistive devices, and not allowed. It is set as a level at which no posture is recognized.
  • the evaluation level shown in FIG. 4 indicates a level at which a sitting posture can be freely performed, but assistance is required in the standing posture.
  • FIM Fluorescence Independent Measure
  • ADL activities of daily living
  • MMT manual muscle strength measurement
  • FIM is an evaluation method mainly based on the function level, and is “0. complete independence”, “1. independence in a special environment”, “2. light assistance”, “3. moderate assistance”, “4. heavy assistance” , And “5. All assistance” are evaluated.
  • the muscle strength level that can be completely moved even if strong resistance is added is “5. normal”, the muscle strength level that can be completely moved even if a considerable resistance is added is “4. good”, and muscle strength that can be completely moved by gravity.
  • the level is "3. fair”, the level of muscle force that can be completely moved except gravity is "2. poor”, the level of muscle force that does not move joints is "1. trace”, the level of muscle force that does not show any muscle contraction. Is evaluated as “0.zero” in 6 levels.
  • the physical evaluation level storage unit 335 stores the level evaluated by at least one of the evaluation methods for each cared person.
  • the abnormal state determination data storage unit 336 is a database of normality/abnormality of the cared person based on the physical evaluation level and the state type of the cared person. In the present embodiment, the normal or abnormal state is stored for each combination of the physical evaluation level and the posture of the care receiver.
  • the sitting posture can be freely set, but in the standing posture, it is stored as a level requiring assistance, and when the state type is “sitting posture”, it is stored as “normal”, It is memorized as "abnormal” when trying to stand alone from the sitting posture or when standing up.
  • the physical evaluation level based on MMT is the “5.normal” level at which the muscle can be moved without problems, and the state type is “seated posture”, it is stored as “normal”.
  • the physical evaluation level based on the MMT is the "0.zero" level in which the muscles cannot be moved at all, even if the state type is the "seated posture", the cared person should take the sitting posture.
  • the abnormal state determination data storage unit 336 stores normality or abnormality for the state type for each physical evaluation level.
  • the classification of normal and abnormal is not particularly limited, but for abnormal such as normal, slightly abnormal, abnormal, and very abnormal, a classification according to the abnormal level may be set. Here, the number of divisions of the abnormal level, the corresponding name, and the like may be appropriately selected.
  • the care history storage unit 337 stores the care history information for each care recipient (for each care recipient ID), in which time information about the status of the care recipient and assistance actions is accumulated in time series.
  • the care history storage unit 337 in the present embodiment is determined by the state type determined by the care receiver state determination unit 343 described later, for example, the posture determination mode 343a or the state learning determination mode 343b.
  • the care history information in which the date and time is associated with the caution state and the dangerous state determined by the posture state, the body part area determination mode 343c, and the dangerous state is stored at predetermined time intervals, and the assistance action determination unit 344 is performed.
  • the type of the assistance action determined by and the caregiver ID of the person who performed the assistance action can be stored in association with each other.
  • the determination result in the body part area determination mode 343c indicates a state requiring caution and a dangerous state
  • the image data captured at that time can be stored.
  • the items of the care history information stored in the care history storage unit 337 are not limited to those shown in FIG. 5, and may be increased or decreased as necessary. If the caregiver's assistance action and the like to the caregiver's state can be associated with each other, the caregiver's care history information and the caregiver's care history information are managed in different storage units. You may do it. Further, it may be stored as a separate item from the state type such as normality, abnormality, a state requiring attention, and a dangerous state.
  • the arithmetic processing unit 34 is configured by a CPU (Central Processing Unit) or the like, and by executing the care recording program 3a installed in the storage unit 33, as illustrated in FIG. 1, the imaging data acquisition unit 341, the person The determination unit 342, the care receiver state determination unit 343, the assistance action determination unit 344, the assistance recorded image generation unit 345, the abnormal state determination unit 346, and the abnormal state notification unit 347 are configured to function.
  • a CPU Central Processing Unit
  • the image data acquisition unit 341 acquires image data transmitted from the nursing record camera 2.
  • the photographing data acquisition unit 341 acquires the photographing data transmitted from the care recording camera 2 via the communication unit 31 at predetermined time intervals.
  • the person determination unit 342 detects a person shown in the image data acquired by the image data acquisition unit 341 and determines whether the person is a cared person or a caregiver. Specifically, a general person detection algorithm is used to determine whether or not a person area is extracted in the captured data. When the person area is extracted, the face authentication data is read from the person data storage unit 332, and the face image stored as the face authentication data is compared with the extracted face area in the person area. It is determined whether the person is a cared person or a cared person.
  • face authentication is used to determine whether a person is a cared person or a caregiver. Not limited to the method by, for example, when the detected position of the person is inside the bed area, it is determined that the person is a cared person, and when the person is a predetermined position outside the bed area, the person is You may decide to be a caregiver.
  • the care receiver status determination unit 343 determines the status type of the care receiver.
  • a posture determination mode 343a that determines the state type of the cared person based on each coordinate of the body part, and a state that determines the state type based on the state learned data and the acquired imaging data. It has a learning determination mode 343b and a body part area determination mode 343c that determines whether a state requires caution or a dangerous state based on whether or not a specific body part exists in the set area.
  • the posture determination mode 343a uses a posture estimation algorithm, as shown in FIG. 6, from the imaging data acquired by the imaging data acquisition unit 341 to the cared person's joint points or each body part of the face (eyes, ears, nose). Etc.), each detected coordinate is compared with the discrimination coordinate data stored in the state determination data storage unit 333, and the feature amount indicating the degree of similarity with the discrimination coordinate data and the posture. By obtaining the information, the type such as the sitting posture or the standing posture of the cared person is determined.
  • the posture estimation algorithm can be appropriately selected, and OpenPose (such as tf-pose-estimation) using Deep Learning, PoseNet, BodyPix, etc. are exemplified.
  • This posture estimation algorithm may be executed by the arithmetic processing unit 34 of the care recording device 3, and another device equipped with an image processing unit or a machine learning library TensorFlow released as an open source by Google is used.
  • the execution process may be performed by a web browser.
  • the coordinates in the posture determination mode 343a specify the position within the shooting range of the shooting data, and as described above, the two-dimensional coordinates or the three-dimensional coordinates are used depending on the shooting direction and the number of shooting directions of the image. It can be appropriately selected.
  • the state learning determination mode 343b determines the type of state based on the state learned data and the shooting data. Specifically, the image feature amount representing the image area of the cared person is calculated from the captured data. Then, the state learned data stored in the state determination data storage unit 333 is read out, and the degree of similarity between the calculated image feature amount and each state learned data is calculated. If the calculated degree of similarity of the state-learned data is greater than or equal to a predetermined threshold value, the type of the state-learned data is determined as the type of the care receiver's state. If there are a plurality of similarities that are greater than or equal to a predetermined threshold value, the state type of the care-receiver may be determined as the one that has a greater similarity.
  • the body part area determination mode 343c sets an area within the imaging range of the imaging data, and determines the type of state based on the presence or absence of the body part of the care receiver set in this area.
  • the normal state based on the area set by the area setting section 321 stored as body part area determination data in the state determination data storage section 333 and the body part set by the body part setting section 322 Determine if it is a necessary or dangerous condition.
  • the joints of the care receiver are acquired from the imaging data acquired by the imaging data acquisition unit 341.
  • the coordinates of each body part of the point or face are detected, and the body part of the cared person is specified from the arrangement of the detected coordinates. Then, it is determined whether the position (coordinates) of the body part that coincides with the body part set by the body part setting unit 322 is inside or outside the area set by the area setting unit 321.
  • this determination criterion may be set to a criterion for determining a state requiring caution or a dangerous state when the body part is determined to be outside the area.
  • the detection of the position within the imaging range representing each body part of the cared person from the imaging data is not limited to the method based on the coordinates obtained by the posture estimation algorithm, and for example, in the state learning determination mode 343b.
  • the state-learned data obtained by learning the image of each body part may be compared with the photographing data, and detection may be performed based on the degree of similarity.
  • the care receiver state determination unit 343 when no person is detected by the person determination unit 342 in any of the posture determination mode 343a, the state learning determination mode 343b, and the body part area determination mode 343c, If the detected person is other than the care receiver, it is determined that the care receiver does not exist in the living room, and the state type of the care receiver is determined to be “activity (exit)”.
  • the care receiver state determination unit 343 causes the care history storage unit 337 to store the determined state type as care history information created in a time series for each care receiver, as shown in FIG.
  • the assistance act determination unit 344 determines the type of assistance action, determines whether the person in the image data determined by the person determination unit 342 includes a caregiver, and the caregiver If it is included, the type of assistance action by the caregiver is determined based on the image data.
  • the assistance action determination unit 344 includes a gesture determination mode 344a that determines the type of assistance action based on the gesture performed by the caregiver and a finger that determines the type of assistance action based on the number of fingers the caregiver has raised.
  • the determination mode 344b and the assistance action learning determination mode 344c that determines the type of the assistance action based on the assistance action learned data and the acquired image data.
  • the gesture determination mode 344a it is determined whether or not the caregiver has performed a predetermined gesture from the imaged data, and when the gesture is detected, the type of assistance action associated with the gesture is determined. Specifically, first, characteristic parts such as the caregiver's hand region and arm region are extracted from the image data. Then, the gesture data is read from the assistance action determination data storage unit 334, and the movement or shape of the extracted characteristic part is compared with the gesture data to calculate the degree of similarity of each pattern, and the degree of similarity is predetermined. It is determined whether or not there is a gesture equal to or more than the threshold value. When there is a gesture of a predetermined threshold value or more, the type of assistance action associated with the gesture pattern is determined as the type of assistance action performed by the caregiver. If there are a plurality of similarities having a degree of similarity equal to or higher than a predetermined threshold value, the one having a large degree of similarity may be determined as the type of assistance action.
  • the finger determination mode 344b it is detected from the imaging data whether or not the caregiver has performed an operation of raising a finger, and when the operation of raising the finger is detected, the number of the raised fingers is extracted and associated with the number.
  • the determined assisting act is determined as the type of assisting act of the caregiver. For example, the image data is binarized into a caregiver's hand region and other regions. The number of protruding parts in the hand area is detected. The detected number is used as the number of fingers of the caregiver. Then, the assistance action associated with the number of fingers is extracted from the finger data stored in the assistance action determination data storage unit 334, and the assistance action is determined as the type of the assistance action performed by the caregiver.
  • the method for detecting the number of standing fingers is not limited to the method of binarizing the caregiver's hand region and other regions, and other algorithms capable of extracting the number of standing fingers are used. It may be appropriately selected from the following.
  • the type of assistance action is determined based on the assistance action learned data and the shooting data. Specifically, the image feature amount is calculated from the shooting data. The feature amount of the image calculated at this time may be a caregiver, a cared person, or both. Then, the assistance action learned data stored in the assistance action determination data storage unit 334 is read out, and the degree of similarity between the calculated image feature amount and each assistance action learned data is calculated. If the calculated degree of similarity in the assistance action learned data is equal to or greater than a predetermined threshold value, the type of the assistance action learned data is determined as the caregiver's assistance action. If there are a plurality of similarities that are greater than or equal to a predetermined threshold value, the one with a high degree of similarity may be determined as the type of caregiver's assistance action.
  • the assistance action learning data is stored in the assistance action determination data storage unit 334 as a learning parameter to be set in the machine learning algorithm, and the assistance action learned data is set in the learned model to be learned.
  • the machine learning algorithm may be executed by the arithmetic processing unit 34 of the care recording device 3, or may be executed by another device having an image processing unit or a Web browser. Good.
  • the assistance act determination unit 344 stores the type of assistance action in the care history storage unit 337 in association with the care history information of the care receiver.
  • the caregiver ID of the caregiver who performed the assistance action is stored together with the type of the assistance action.
  • each caregiver ID is stored.
  • the care record image generation unit 345 is for generating a care record image for displaying a care record and an abnormality record image for displaying the abnormal state of the care receiver and the recorded information.
  • the care record image generation unit 345 in the present embodiment reads the care history information from the care history storage unit 337 and generates a care record image. Then, it is transmitted to the display input means 32.
  • the status type and care activity type of the cared person are displayed in parallel on the same screen and displayed for each cared person.
  • “Activity”, “Activity (getting out)”) is provided in the state type display column in which items corresponding to the items are arranged in the vertical direction.
  • this state type display field each item is displayed in a striped color in association with the time range of each state type.
  • a assistance action display field that displays the type of assistance action in association with the time when the assistance action was performed.
  • the care history information is read from the care history storage unit 337 and an abnormal record image including a list of information necessary for displaying the abnormal state.
  • an abnormal record image including an abnormal condition determination result such as a condition requiring attention and a dangerous condition, a date and time when the abnormality is determined, and image data captured at that time is generated. To do. Then, the generated abnormality record image is transmitted to the display input means 32.
  • the display of the care record image is not limited to the display input means 32, and the image is transmitted to the external communication terminal 4 communicably connected via the communication means as shown in FIG. You may make it display it.
  • the abnormal condition determination unit 346 determines whether the care receiver is normal or abnormal based on the physical evaluation level of the care receiver and the type of the condition of the care receiver determined from the imaging data. .. Specifically, the physical evaluation level storage unit 335 is acquired along with the acquisition of the type (posture state) of the state of the care receiver determined by the posture determination mode 343a and the state learning determination mode 343b in the care receiver state determination unit 343. The physical evaluation level given to the cared person is read from.
  • abnormal state determination data storage unit 336 determines whether normal or abnormal, or slightly abnormal, abnormal, or very abnormal determined by the combination of the physical evaluation level of the care recipient and the type of state
  • the abnormal level is extracted and the normality and abnormalities of the cared person are discriminated based on the extracted abnormal level.
  • the abnormal state determination unit 346 determines that the position of the body part that matches the body part set by the body part setting unit 322 in the body part area determination mode 343c is within the area set by the area setting unit 321. In this case, information on whether the area is a caution area or a dangerous area is acquired from the state determination data storage unit 333. When the area is a caution area, it is determined that the care recipient needs attention, and when the area is a danger area, the care recipient is determined to be in a danger state.
  • the abnormal state notification unit 347 matches the body part set by the body part setting unit 322 in the body part area determination mode 343c when the state of the care receiver is determined to be abnormal by the abnormal state determination unit 346. When it is determined that the position of the body part is within the area set by the area setting unit 321, the fact is notified.
  • the imaging data of the cared person in the abnormal state and in the abnormal state is transmitted to the display input unit 32 or the external communication terminal 4 via the communication unit 31.
  • a pop-up window for notifying the image data of the care-receiver or the abnormal state is displayed on the display screen of the display input means 32 or the external communication terminal 4, or a notification is made from a speaker (not shown).
  • the device for notifying the caregiver of the abnormal state is not particularly limited.
  • an emergency light (lamp) that can be turned on, blinked, turned off, and discolored according to the determination result of the abnormal state is used. You may select as appropriate.
  • the nursing-care recording camera 2 photographs the inside of the care-receiver's living room. Then, as shown in FIG. 11, the imaging data acquisition unit 341 of the care recording device 3 acquires the imaging data in the living room of the cared person imaged by the care recording camera 2 via the communication unit 31 (imaging). Data acquisition step: S1).
  • the person determination unit 342 detects a person reflected in the photographing data and determines whether this person is a cared person or a cared person (person determination step: S2). This makes it possible to distinguish the cared person from the cared person and execute appropriate determination processing for each of them.
  • the care receiver status determination unit 343 determines the status type of the care receiver based on the imaging data (care receiver status determination step: S3).
  • the determination is made in one mode selected from the posture determination mode 343a, the state learning determination mode 343b, and the body part area determination mode 343c.
  • the mode to be selected is not limited to one, and a plurality of modes may be selected and determined.
  • the posture determination mode 343a is selected, as shown in FIG. 12, first, it is determined whether or not the person in the image data determined by the person determination unit 342 includes a care receiver (S11).
  • the cared person is included (S11: YES)
  • the joint point of the cared person or each body part (eye, ear, nose, etc.) of the cared person is acquired from the imaging data acquired by the imaging data acquisition unit 341.
  • Each coordinate is detected and stored in the storage means 33 (S12).
  • the discriminating coordinate data is read from the state discriminating data storage unit 333 (S13). Then, each detected coordinate is compared with the read determination coordinate data to determine the state type of the care receiver (S14).
  • the person in the imaging data determined by the person determination unit 342 does not include the care recipient (S11: NO)
  • the person is outside the room and is in the active state (“activity (out of bed)”). (S15).
  • the care-received state determination unit 343 causes the care history storage unit 337 to store the determined state types of the care-receiver in chronological order as shown in FIG. 5 (S16).
  • the state learning determination mode 343b is selected, as shown in FIG. 13, it is determined whether or not the person in the image data determined by the person determination unit 342 includes the care receiver (S21), When the cared person is included (S21: YES), the image feature amount representing the image area of the cared person is calculated from the captured data (S22). Further, the state-learned data stored in the state determination data storage unit 333 is read (S23). Next, the degree of similarity between the calculated image feature amount and each state-learned data is calculated (S24). Then, it is determined whether or not the calculated degree of similarity of the state-learned data is equal to or more than a predetermined threshold value (S25).
  • the type of the state-learned data is determined as the type of state of the cared person (S26). If there is no item equal to or greater than the predetermined threshold value (S25: NO), the process returns to S1 and an attempt is made to determine the state type of the cared person based on other image data.
  • the determined state type of the care receiver is stored in the care history storage unit 337 in chronological order (S28).
  • the body part area determination mode 343c it is determined whether or not the person in the imaging data determined by the person determination unit 342 includes a care receiver (S31). .. If the cared person is included (S31: YES), the joint point of the cared person or each body part (face, ear, nose, etc.) of the cared person is acquired from the imaging data acquired by the imaging data acquisition unit 341. Each coordinate is detected, and the body part of the cared person is specified based on the arrangement of the detected coordinate and the like (S32). Next, the area data stored as the body part area determination data and the body part data are acquired from the state determination data storage unit 333 (S33).
  • the coordinates of the set body part stored as body part data are acquired (S34).
  • the coordinates of the set body part are outside the coordinate range of the area data (S35: YES)
  • the abnormal state determination unit 346 determines whether the area is a caution area or a dangerous area. Yes (S37).
  • the state classification of the care-receiver is determined to be "state requiring attention” (S38).
  • the state classification of the care receiver is determined to be "dangerous" (S39).
  • the person in the photographing data determined by the person determination unit 342 does not include the care receiver (S31: NO), the person is outside the room and is in the active state (“activity (exit)”). (S40).
  • the determined state type of the care receiver is stored in the care history storage unit 337 in chronological order (S41).
  • the care receiver state determination unit 343 causes the care history storage unit 337 to store the care history information in which the date and time are associated with the state type. As a result, it is not necessary to store the photographing data itself, and thus it is possible to record the care history while protecting the privacy of the cared person.
  • the assistance action determination unit 344 determines the assistance action by the caregiver (assistance exercise determination step: S4).
  • the determination is made in one mode appropriately selected from the gesture determination mode 344a, the finger determination mode 344b, or the assistance action learning determination mode 344c.
  • the mode to be selected is not limited to one, and a plurality of modes may be selected and determined.
  • the gesture determination mode 344a is selected, as shown in FIG. 15, first, it is determined whether the person in the image data determined by the person determination unit 342 includes a caregiver (S51). Then, when the person in the imaging data includes the caregiver (S51: YES), the assistance act determination unit 344 determines the movement or shape of the characteristic part such as the hand area or arm area of the caregiver from the imaging data. Is extracted (S52). In addition, the gesture data is read from the assistance action determination data storage unit 334 (S53). Next, the movement or shape of the characteristic part is compared with the gesture data to calculate the degree of similarity of each pattern (S54).
  • a gesture whose degree of similarity is equal to or higher than a predetermined threshold value S55. Thereby, it is detected whether or not the photographing data includes a predetermined gesture by the caregiver. If there is a gesture of a predetermined threshold value or more (S55: YES), the type of assistance action associated with the gesture pattern is determined as the type of assistance action performed by the caregiver (S56). Then, as shown in FIG. 5, the determined type of caregiver action of the caregiver is stored in the caregiving history storage unit 337 together with the state type of the cared person (S57). Then, the determination of the assistance action ends.
  • the finger determination mode 344b it is determined whether the person in the photographing data determined by the person determination unit 342 includes a caregiver (S61), and the caregiver is included. If it is (S61: YES), the caregiver's hand region is extracted from the image data (S62). Then, the number of fingers standing up from the extracted hand region is determined (S63). For example, in the present embodiment, the hand region and other regions are binarized, the number of protruding parts in the hand region is detected, and the number is determined as the number of fingers of the caregiver. Next, the finger data stored in the assistance action determination data storage unit 334 is read (S64).
  • the assistance action associated with the number of fingers determined in S63 is extracted from the finger data, and the assistance action is determined as the type of assistance action performed by the caregiver (S65). Then, as shown in FIG. 5, the determined type of assistance action of the caregiver is stored in the care history storage unit 337 together with the state type of the care recipient (S66), and the determination of the assistance action is completed.
  • the assistance action learning determination mode 344c When the assistance action learning determination mode 344c is selected, as shown in FIG. 17, it is determined whether or not the person in the photographing data determined by the person determination unit 342 includes a caregiver (S71), and the caregiver If is included (S71: YES), the image feature amount is calculated from the captured data (S72). Next, the assistance action learned data is read from the assistance action determination data storage unit 334 (S73). Then, the degree of similarity is calculated on the basis of the calculated image feature amount and each assisting action learned data (S74). In addition, it is determined whether the calculated degree of similarity is greater than or equal to a predetermined threshold (S75).
  • the type of the assisted activity learning completed data is determined as a caregiver's assisted activity (S76). Then, as shown in FIG. 5, the determined type of caregiver action of the caregiver is stored in the caregiving history storage unit 337 together with the state type of the cared person (S77), and the determination of the assistance action is completed.
  • the care act learning determination mode 344c eliminates the need for the caregiver's gesture or the action of pointing a finger. Therefore, it is possible to reduce the occurrence of record omission due to the caregiver forgetting to record.
  • the abnormal state determination unit 346 determines whether the cared person is normal or abnormal based on the physical evaluation level of the cared person and the type of state of the cared person determined from the imaging data. (Abnormal state determination step: S5).
  • the state of the care receiver is determined by the posture determination mode 343a and the state learning determination mode 343b
  • the physical evaluation level and the care receiver's stored in the abnormal state determination data storage unit 336 are stored.
  • the state is Information on whether the area is a caution area or a dangerous area is acquired from the determination data storage unit 333, and when the area is a caution area, it is determined that the care recipient needs attention, and the area is dangerous. In the case of the area, the care receiver is judged to be in a dangerous state.
  • the abnormal state notification unit 347 determines that the state of the care receiver is in an abnormal state, or the determination result by the body part area determination mode 343c is “state requiring attention” and “dangerous state”.
  • the abnormality is transmitted to the display input means 32 and the external communication terminal 4 via the communication means 31 (abnormal state notification step: S6).
  • information on an abnormality, information on a state requiring caution and a dangerous state, and imaging data of a cared person at the time of an abnormality are transmitted.
  • the display input means 32 and the external communication terminal 4 which have received the information, as shown in FIG. 10, the received abnormal condition and the image data of the care-receiver at the abnormal time are displayed on the display screen and notified from the speaker. Make a sound.
  • a caregiver working near the display input means 32 or a caregiver carrying the external communication terminal 4 can be promptly notified of the abnormal state of the care receiver.
  • the care record image generation unit 345 when the care input image 32 is instructed from the display input unit 32 or the external communication terminal 4, the care record image generation unit 345 generates a care record image using the care history information as shown in FIG. Then, it is displayed on the display input means 32 or is transmitted to the external communication terminal 4 via the communication means 31.
  • the state type of the cared person and the type of care act are displayed in parallel on the same screen, so it is possible to display the state of the cared person's daily life in an easy-to-understand manner at a glance. Become.
  • the type of state and the type of assistance action are centrally managed in the care history table, there is no need to read and integrate a plurality of databases, and it is possible to display easily and efficiently.
  • an abnormality record image is generated using the care history information and displayed on the display input means 32, or externally via the communication means 31. It is transmitted to the communication terminal 4.
  • the abnormal recording image the date and time when the abnormal state is entered and the shooting data at that time are displayed, so that it is possible to confirm what state (orientation) the actual state is.
  • the nursing-care recording device 3 the nursing-care recording system 1, the nursing-care recording program 3a, and the nursing-care recording method as described above, the following effects can be obtained.
  • the care recording camera 2 Since the care recording camera 2 has both the function of inputting the state of the cared person and the function of inputting the caregiver's assistance action, it is not necessary to install a large number of sensors or terminal devices, and the cost is low. Care history can be recorded with a simple system configuration. 2. Since the type of state is recorded as a care record instead of recording the imaging data (image or moving image) captured by the care recording camera 2, the privacy of the care recipient can be maintained. 3. Since the caregiver does not need a direct input operation through the operation terminal or the like, the burden on the recording work can be reduced. 4.
  • the nursing care recording device, the nursing care recording system, the nursing care recording program, and the nursing care recording method according to the present invention are not limited to the present embodiment described above, and can be changed as appropriate.
  • the care recording device 3 has the care recording image generation unit 345, but it is not always necessary to provide the care recording image generation unit 345.
  • the care history information storage unit 337 may be transmitted to an external data server or the like and stored therein.
  • the person data and the body evaluation level may be integrated and stored in the same storage unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Alarm Systems (AREA)
  • Accommodation For Nursing Or Treatment Tables (AREA)

Abstract

【課題】　安価でシンプルなシステム構成でありながら、被介護者の生活の状態に関する記録と介護者の介助行為に関する記録とを同時にかつ簡単に行うことで、介護業務の効率化を図ることができる介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法を提供する。 【解決手段】　被介護者を撮影しているカメラから撮影データを取得する撮影データ取得部３４１と、映っている人物を検出するとともに、当該人物が被介護者であるか介護者であるかを判定する人物判定部３４２と、被介護者の状態種別を判定して、当該状態種別に日時を対応付けた介護履歴情報を介護履歴記憶部３３７に記憶させる被介護者状態判定部３４３と、介護者が含まれている場合、当該介護者の介助行為の種別を判定して、当該介助行為の種別を介護履歴情報に対応付けて介護履歴記憶部３３７に記憶させる介助行為判定部３４４とを有する。

Description

介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法
　本発明は、介護に関する記録を行うための介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法に関するものである。
　近年、高齢化社会による要介護者の増加と、生産年齢人口の減少に伴い、介護業界では慢性的な人手不足に陥っており、介護者一人当たりの業務量が増加している。そこで、介護者の業務負担を少しでも軽減するための技術が開発されている。
　例えば、巡回業務にかかる負担を軽減させ、被介護者に対して適切なケアを行うために、被介護者が生活する各部屋に監視カメラを設置して、被介護者の生活動作を動画等で監視し、記録する見守りシステムが開発されている。しかし、このような監視カメラを利用した見守りシステムでは、監視カメラの映像がそのまま記録されるため、被介護者のプライバシーが守られないという問題がある。また、監視カメラで撮影されている映像は、監視モニターなどにリアルタイムに表示させることで、被介護者に危険がないかを監視できるようになっている。しかし、通常、介護者は介護業務に追われてモニターによる監視は困難であり、被介護者の危険な状態に気づくのが遅れるという問題もある。
　そこで、これまでに上記監視カメラの代わりに、各種のセンサを利用した見守りシステムが開発されている。例えば、特開２０１７－１７４０１２号公報では、睡眠センサ、人感センサ、トイレセンサ等から被介護者の睡眠や活動等の状態を記録した時系列データを取得して表示する情報処理装置が開示されている（特許文献１）。
　また、介護者間での情報共有や家族への情報提供等のために、介護者が被介護者に対して行った介助行為等を自ら記録している。しかしながら、介護者にとっては、介助行為等の日々の忙しい業務に加えて記録行為を行わなければならず、大きな負担となっている。そこで、これまでに介護者により介助行為等の記録業務を支援するための技術が開発されている。例えば、特開２０１６－８５６７３号公報には、介護対象者の介護を行う介護スタッフが携行し、介護スタッフがこの介護対象者に対して行った介護実績を所定のフォーマットに記録する介護記録用携帯端末のためのプログラムが開示されている（特許文献２）。
特開２０１７－１７４０１２号公報 特開２０１６－８５６７３号公報
　しかしながら、特許文献１に記載されている各種センサを用いる見守りシステムでは、被介護者の生活動作を記録し、その後に確認することはできても、被介護者に対して行われた食事介助、トイレ介助、入浴介助などの介助行為まで記録することはできていない。仮に、上述のような各種のセンサを利用して介助行為を記録する場合には、介助行為の種別ごとに専用のセンサを設置する必要があり、システムとして極めて複雑でコスト高になるという問題がある。
　また、特許文献２に記載されている介護記録用携帯端末を用いる介護記録方法では、介護者が介助行為を行うたびに介護記録用携帯端末に表示される画面を操作して所定の入力を行わなければならず、非常に煩わしいという問題がある。また、介護者が介護記録用携帯端末の操作に不慣れな場合には、操作が複雑で新たな負担になるという問題もある。
　本発明は、このような問題点を解決するためになされたものであって、安価でシンプルなシステム構成でありながら、被介護者の生活状態に関する記録と介護者の介助行為に関する記録とを同時にかつ簡単に行うことで、介護業務の効率化を図ることができる介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法を提供することを目的としている。
　本発明に係る介護記録装置は、安価でシンプルなシステム構成でありながら、被介護者の生活に関する記録と介護者の介助行為に関する記録とを同時にかつ簡単に行うことで、介護業務の効率化を図るという課題を解決するために、被介護者の状態と前記被介護者に対して介護者が行う介助行為とを記録するための介護記録装置であって、前記被介護者を撮影しているカメラから撮影データを取得する撮影データ取得部と、前記撮影データに基づいて映っている人物を検出するとともに、当該人物が前記被介護者であるか前記介護者であるかを判定する人物判定部と、前記撮影データに基づいて前記被介護者の状態種別を判定して、当該状態種別に日時を対応付けた介護履歴情報を介護履歴記憶部に記憶させる被介護者状態判定部と、前記人物判定部によって判定された前記人物に前記介護者が含まれている場合、前記撮影データに基づいて当該介護者の前記介助行為の種別を判定して、当該介助行為の種別を前記介護履歴情報に対応付けて前記介護履歴記憶部に記憶させる介助行為判定部と、を有する。
　また、本発明の一態様として、被介護者を撮影した撮影データから被介護者の状態種別を判定し、被介護者における生活状態の記録の効率化を図るという課題を解決するために、前記被介護者状態判定部は、前記撮影データから前記被介護者の姿勢を表す体部位の各座標を検出するとともに、前記体部位の各座標に基づいて前記被介護者の前記状態種別を判定する姿勢判定モードを有してもよい。
　さらに、本発明の一態様として、被介護者を撮影した撮影データから被介護者の状態種別を判定し、被介護者における生活状態の記録の効率化を図るという課題を解決するために、前記被介護者状態判定部は、前記被介護者の状態ごとに予め撮影した前記撮影データを学習することにより得られた状態学習済データと、取得した前記撮影データとに基づいて前記状態種別を判定する状態学習判定モードを有してもよい。
　また、本発明の一態様として、被介護者を撮影した撮影データから被介護者の状態種別を判定し、被介護者における生活状態の記録の効率化や被介護者の危険な状態発見の迅速化を図るという課題を解決するために、前記撮影データの撮影範囲内に当該撮影範囲よりも小さいエリアを設定するエリア設定部と、このエリア設定部で設定されたエリアに対応づけて前記被介護者の体部位を設定する体部位設定部とを有し、前記被介護者状態判定部は、前記撮影データから前記被介護者の各体部位を表す撮影範囲内の位置を検出するとともに、これらの各体部位の位置のうち前記体部位設定部により設定された体部位の位置が前記エリア設定部により設定されたエリア内にあるか否かに基づいて前記被介護者の前記状態種別を判定する体部位エリア判定モードを有してもよい。
　また、本発明の一態様として、介助行為の記録を行う介護者にかかる負荷を軽減させるという課題を解決するために、前記介助行為判定部は、前記撮影データから前記介護者が所定のジェスチャーを行ったか否かを検出し、前記ジェスチャーを検出した場合に、当該ジェスチャーに対応付けられる前記介助行為の種別を判定するジェスチャー判定モードを有してもよい。
　さらに、本発明の一態様として、介助行為の記録を行う介護者にかかる負荷を軽減させるという課題を解決するために、前記介助行為判定部は、前記撮影データから前記介護者が指を立てる動作を行ったか否かを検出し、指を立てる動作を検出した場合に、立てた指の本数に対応付けられる前記介助行為の種別を判定するフィンガー判定モードを有してもよい。
　また、本発明の一態様として、介助行為の種別が自動的に記録されることで、介護者にかかる負荷をさらに軽減させるとともに、記録忘れによる記録漏れの発生を抑制するという課題を解決するために、前記介助行為判定部は、前記介助行為の種別ごとに予め撮影した前記撮影データを学習することにより得られた介助行為学習済データと、取得した前記撮影データとに基づいて前記介助行為の種別を判定する介助行為学習判定モードを有してもよい。
　さらに、本発明の一態様として、被介護者の１日の生活の様子を簡単かつ効率的に表示するという課題を解決するために、前記介護履歴記憶部に記憶される前記介護履歴情報を用いて、前記被介護者の状態種別および前記介助行為の種別を同一画面に並記して前記被介護者ごとに表示するための介護記録画像を生成する介護記録画像生成部を有してもよい。
　また、本発明の一態様として、被介護者毎に定められた身体評価レベルに基づき前記被介護者の異常を検出しその異常状態を通知するという課題を解決するために、前記被介護者毎に定められた身体評価レベルを記憶する身体評価レベル記憶部と、前記被介護者状態判定部により判定された対象となる被介護者の状態種別が当該被介護者の前記身体評価レベルに対応する異常状態か否かを判別する異常状態判別部と、前記被介護者が異常状態と判別された場合はその旨を通知する異常状態通知部とを有してもよい。
　本発明に係る介護記録システムは、安価でシンプルなシステム構成でありながら、被介護者の生活に関する記録と介護者の介助行為に関する記録とを同時にかつ簡単に行うことで、介護業務の効率化を図るという課題を解決するために、前記介護記録装置と、前記被介護者の居室に設置されて前記居室内を撮影しその撮影データを前記介護記録装置に送信する介護記録用カメラとを有する。
　本発明に係る介護記録プログラムは、安価でシンプルなシステム構成でありながら、被介護者の生活に関する記録と介護者の介助行為に関する記録とを同時にかつ簡単に行うことで、介護業務の効率化を図るという課題を解決するために、被介護者の状態と前記被介護者に対して介護者が行う介助行為とを記録するための介護記録プログラムであって、前記被介護者を撮影しているカメラから撮影データを取得する撮影データ取得部と、前記撮影データに基づいて映っている人物を検出するとともに、当該人物が前記被介護者であるか前記介護者であるかを判定する人物判定部と、前記撮影データに基づいて前記被介護者の状態種別を判定して、当該状態種別に日時を対応付けた介護履歴情報を介護履歴記憶部に記憶させる被介護者状態判定部と、前記人物判定部によって判定された前記人物に前記介護者が含まれている場合、前記撮影データに基づいて当該介護者の前記介助行為の種別を判定して、当該介助行為の種別を前記介護履歴情報に対応付けて前記介護履歴記憶部に記憶させる介助行為判定部としてコンピュータを機能させる。
　本発明に係る介護記録方法は、安価でシンプルなシステム構成でありながら、被介護者の生活に関する記録と介護者の介助行為に関する記録とを同時にかつ簡単に行うことで、介護業務の効率化を図るという課題を解決するために、被介護者の状態と前記被介護者に対して介護者が行う介助行為とを記録するための介護記録方法であって、前記被介護者を撮影しているカメラから撮影データを取得する撮影データ取得ステップと、前記撮影データに基づいて映っている人物を検出するとともに、当該人物が前記被介護者であるか前記介護者であるかを判定する人物判定ステップと、前記撮影データに基づいて前記被介護者の状態種別を判定して、当該状態種別に日時を対応付けた介護履歴情報を介護履歴記憶部に記憶させる被介護者状態判定ステップと、前記人物判定ステップによって判定された前記人物に前記介護者が含まれている場合、前記撮影データに基づいて当該介護者の前記介助行為の種別を判定して、当該介助行為の種別を前記介護履歴情報に対応付けて前記介護履歴記憶部に記憶させる介助行為判定ステップと、を有する。
　本発明によれば、安価でシンプルなシステム構成でありながら、被介護者の生活に関する記録と介護者の介助行為に関する記録とを同時にかつ簡単に行うことで、介護業務の効率化を図ることができる。
本発明に係る介護記録システムの一実施形態を示すブロック図である。 本実施形態における被介護者の状態種別のうち姿勢状態の一例を示す図である。 本実施形態におけるエリア設定部により撮影データの撮影範囲内に設定されたエリアを示す図である。 本実施形態における身体評価レベルを簡易的に設定する場合の一例を示す図である。 本実施形態の介護履歴記憶部に記憶される介護履歴テーブルの一例を示す図である。 本実施形態における被介護者状態判定部の姿勢判定モードにおいて撮影データから各体部位の各座標を検出した結果を示す図である。 本実施形態における被介護者状態判定部の体部位エリア判定モードにおいてエリア設定を行った撮影データから各体部位の各座標を検出した結果を示す図である。 本実施形態における介護記録画像生成部が生成する介護記録画像の一例を示す図である。 本実施形態における介護記録画像生成部が生成する異常記録画像の一例を示す図である。 本実施形態における異常状態通知部により通知された異常情報の表示例を示す図である 本実施形態の介護記録システムによる作用を示すフローチャートである。 本実施形態における被介護者状態判定部の姿勢判定モードの作用を示すフローチャートである。 本実施形態における被介護者状態判定部の状態学習判定モードの作用を示すフローチャートである。 本実施形態における被介護者状態判定部の体部位エリア判定モードの作用を示すフローチャートである。 本実施形態における介助行為判定部のジェスチャー判定モードの作用を示すフローチャートである。 本実施形態における介助行為判定部のフィンガー判定モードの作用を示すフローチャートである。 本実施形態における介助行為判定部の介助行為学習判定モードの作用を示すフローチャートである。
　以下、本発明に係る介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法の一実施形態について図面を用いて説明する。
　本実施形態の介護記録システム１は、被介護者の生活の状態と被介護者に対して介護者が行う介助行為とを記録するためのものであり、本実施形態では、被介護者の居室内を撮影する介護記録用カメラ２と、この介護記録用カメラ２から送信される撮影データに基づき介護履歴を記録する介護記録装置３とを有する。以下、各構成について説明する。
　介護記録用カメラ２は、被介護者の居室や廊下、エレベータ前などに設置されて、前記居室内等の静止画像または動画像を撮影するものである。本実施形態における介護記録用カメラ２は、介護記録装置３の通信手段３１と有線／無線ＬＡＮ、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等で通信接続可能に構成されており、撮影した画像を撮影データとして介護記録装置３へリアルタイムで送信するようになっている。居室内における介護記録用カメラ２の設置場所や設置個数などは被介護者の居室内での主な姿勢などに基づいて決定される。例えば、被介護者が寝たきりの状態であれば、寝たきりの状態からの変化が認識しやすい角度から撮影可能な場所に設置する。
　介護記録装置３は、被介護者の状態（状態種別）と被介護者に対して介護者が行う介助行為とを記録するためのものである。本実施形態において、状態種別とは、被介護者の生活を行う上での種々の状態であって、被介護者の睡眠を含む生活状態に関して記録可能な種々の状態を含むものである。具体的には、図２に示すように、臥位（寝ている）、寝返り（動作）中、起き上がり（動作）中、（端）座位、立ち上がり（動作）中、立位、転倒／転落など被介護者の姿勢に基づく状態や、後述する被介護者の身体的な評価に基づく注意の必要な状態や危険な状態などが例示される。また、介助行為とは、被介護者に対して行う身体的な介助全般に関する行為であり、ナースコールに対する駆けつけ、起床介助、食事介助、トイレ介助、おむつ交換、入浴介助、更衣介助、就寝介助などが例示される。
　本実施形態の介護記録装置３は、データベースサーバ等のコンピュータによって構成されており、図１に示すように、主として、介護記録用カメラ２や外部通信端末４等との間で通信を行う通信手段３１と、各種の表示画面を表示するとともに各種のデータを入力する表示入力手段３２と、各種のデータを記憶するとともに演算処理手段３４が演算処理を行う際のワーキングエリアとして機能する記憶手段３３と、記憶手段３３にインストールされた介護記録プログラム３ａを実行することにより、各種の演算処理を実行し後述する各構成部として機能する演算処理手段３４とを有する。
　通信手段３１は、通信モジュール等から構成されており、介護記録装置３に通信機能を実装するためのものである。本実施形態における通信手段３１は、介護記録用カメラ２から撮影データを受信したり、外部携帯端末４等に、図８乃至図１０に示すような介護記録画像や異常記録画像、異常通知などを送信するようになっている。通信方式は特に限定されるものではなく、有線／無線ＬＡＮ、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等が例示される。
　表示入力手段３２は、入力機能と表示機能とを有するユーザインターフェースである。本実施形態における表示入力手段３２は、タッチパネル機能を備えたディスプレイによって構成されており、主に、各種情報を表示するモニターや後述するエリア設定部３２１および体部位設定部３２２として機能する入力手段として用いられる。なお、表示入力手段３２の構成は、タッチパネル式のディスプレイによるものに限定されるものではなく、表示機能のみを備えた表示手段、およびキーボードなどの入力機能のみを備えた入力手段をそれぞれ別個に有していてもよい。
　記憶手段３３は、ハードディスク、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等で構成されており、図１に示すように、介護記録プログラム３ａを記憶するプログラム記憶部３３１と、人物データを記憶する人物データ記憶部３３２と、被介護者の状態判定に使用される状態判定用データを記憶する状態判定用データ記憶部３３３と、介護者の介助行為判定に使用される介助行為判定用データを記憶する介助行為判定用データ記憶部３３４と、被介護者毎の身体評価レベルを記憶する身体評価レベル記憶部３３５と、被介護者の異常状態判定に使用される異常状態判定用データを記憶する異常状態判定用データ記憶部３３６と、被介護者の状態種別および介護者の介助行為種別を時系列で記憶する介護履歴記憶部３３７とを有している。
　プログラム記憶部３３１には、本実施形態の介護記録装置３を制御するための介護記録プログラム３ａがインストールされている。そして、演算処理手段３４が、当該介護記録プログラム３ａを実行することにより、コンピュータを介護記録装置３における各構成部として機能させるようになっている。
　なお、介護記録プログラム３ａの利用形態は、上記構成に限られるものではない。例えば、ＣＤ－ＲＯＭやＵＳＢメモリ等のように、コンピュータで読み取り可能な非一時的な記録媒体に介護記録プログラム３ａを記憶させておき、当該記録媒体から直接読み出して実行してもよい。また、外部サーバ等からクラウドコンピューティング方式やＡＳＰ（Application Service Provider）方式等で利用してもよい。
　人物データ記憶部３３２は、人物判定に使用される人物データを記憶するデータベースである。本実施形態では、人物判定部３４２による顔認証処理に用いられる対象人物の顔を撮影した顔認証用データ、前記人物が被介護者かまたは介護者かなどの個人情報およびそれらを識別するＩＤ番号等が記憶されている。なお、人物データは、顔画像データ等に限定されるものではなく、撮影データと対比することで人物判定処理することのできるデータから適宜選択してもよい。
　状態判定用データ記憶部３３３は、被介護者の状態判定に使用される状態判定用データを記憶するものである。本実施形態における状態判定用データ記憶部３３３は、後述する姿勢判定モード３４３ａによる被介護者の状態種別の判定に用いられる体部位の座標に対応した判別用座標データと、後述する状態学習判定モード３４３ｂによる被介護者の状態種別の判定に用いられる状態学習済データと、後述する体部位エリア判定モード３４３ｃによる被介護者の状態種別の判定に用いられる体部位エリア判定データを記憶している。
　判別用座標データは、体部位毎の座標値や各体部位同士の相対的な座標値等が例示される。体部位は、頭部、胴部、腕部、脚部や各体部位を繋ぐ関節などからなり、本実施形態では、被介護者の座位姿勢、立位姿勢等を判別可能な体部位に対応した座標データが記憶されている。判別用座標データとして記憶される座標データは、座位姿勢などを撮影した画像からを後述する姿勢判定モード３４３ａで使用する姿勢推定アルゴリズム等を用いて抽出した各体部位の座標を学習させて得られる座標データである。このとき学習させる画像は、後述する被介護者の身体評価レベルや居室内に設置される介護記録用カメラ２の設置位置などを考慮して撮影するのが好ましい。なお、撮影データが一方向から撮影された画像のみを用いる場合は、座標値は撮影データにより得られる二次元座標に基づく。また、多方向から撮影された画像を用いる場合は、二次元座標のみならず三次元座標を用いることもできる。
　状態学習済データは、被介護者の状態毎に予め撮影して得られた前記撮影データを学習することにより得られるものである。本実施形態では、被介護者の座位姿勢、立位姿勢等を撮影した撮影データを学習させた状態学習済データが記憶されている。
　体部位エリア判定データは、体部位エリア判定モード３４３ｃによる判定の際に用いられるエリア設定部３２１により設定されたエリアデータと、体部位設定部３２２により設定された体部位データとからなる。
　エリア設定部３２１は、主に、被介護者の身体評価レベル等に応じて撮影データの撮影範囲内にエリアを設定するものであり、本実施形態では、表示入力手段３２を入力手段として機能させることで構成される。設定されるエリアは、図３に示すように、前記撮影範囲よりも狭い面積を有しており、本実施形態では、撮影データの撮影範囲内における特定の範囲を示す座標データとして記憶している。また、本実施形態におけるエリア設定部３２１は、１つの撮影範囲に対して複数のエリアを設定できるようになっている。具体的には、注意の必要な状態か否かを判定するために設定される注意エリアと、危険な状態か否かを判定するために設定される危険エリアとを適宜選択して設定できる。これにより、エリアごとに判定結果を分けることができるようになっている。
　体部位設定部３２２は、エリア設定部３２１により設定されたエリアに対応づけて被介護者の体部位を設定するものであり、本実施形態では、表示入力手段３２を入力手段として機能させることで構成される。設定される体部位は、頭部、胴部、腕部、脚部や各体部位を繋ぐ関節などからなり、表示入力手段３２によりキーボード入力される体部位名や表示される複数の体部位名から選択入力される体部位名をテキストデータなどによって記憶するようになっている。
　介助行為判定用データ記憶部３３４は、介護者により被介護者に対して行われた介助行為の判定に使用される介助行為判定用データを記憶するものである。本実施形態における介助行為判定用データ記憶部３３４は、後述するジェスチャー判定モード３４４ａによる介護者の介助行為種別の判定に用いられるジェスチャーデータと、後述するフィンガー判定モード３４４ｂによる介護者の介助行為種別の判定に用いられるフィンガーデータと、後述する介助行為学習判定モード３４４ｃによる介護者の介助行為種別の判定に用いられる介助行為学習済データとを記憶している。
　ジェスチャーデータは、介護者の行うジェスチャーと、介助行為とを対応付けたデータである。前記ジェスチャーは、介護者の特徴的な部位の動きや形状であって、手の先や腕等で描く、三角形や四角形、星形等の幾何学模様などの動きを伴う動的なジェスチャーや、グー、チョキ、パーといった動きを伴わない静的なジェスチャーが例示される。ジェスチャーデータでは、これらのジェスチャー毎にナースコールに対する駆けつけ、起床介助、食事介助、トイレ介助、おむつ交換、入浴介助、更衣介助、就寝介助等の介助行為の種別を対応付けて記憶している。
　フィンガーデータは、介護者が掲げた手において突出されている指の本数と、介助行為とを対応付けたデータである。例えば、指の本数が１本の場合はナースコールに対する駆けつけ、２本の場合は起床介助のように、指の本数と各介助行為の種別とを対応付けて記憶している。
　介助行為学習済データは、介護者の介助行為の種別ごとに予め撮影して得られた前記撮影データを学習することにより得られるものである。本実施形態では、介助行為の種別毎の状態を撮影した撮影データを学習させた介助行為学習済データが記憶されている。例えば、図１に示すように、食事介助を行った状態を撮影した撮影データを学習させることで、食事介助に対応した介助行為学習済データを作成し、そのデータを記憶している。
　身体評価レベル記憶部３３５は、被介護者毎の身体評価レベルを記憶させたデータベースである。本実施形態における身体評価レベルとは、被介護者毎の日常生活の動作や徒手筋力測定結果に基づき定められるレベルである。本実施形態では、姿勢判定モード３４３ａおよび状態学習判定モード３４３ｂによって判定される被介護者の姿勢に応じて正常および異常を判定するためのものであって、図４に示すように、座位姿勢および立位姿勢においてそれぞれ、許可、介助必要、不許可と定めている。具体的には、座位姿勢において許可とは座位姿勢が常に認められるレベル、介助必要とは介助者などの付き添いや補助器具と一緒等の条件下で座位姿勢が認められるレベル、不許可とは座位姿勢が認められないレベルとして定められる。または、立位姿勢において許可とは立位姿勢が常に認められるレベル、介助必要とは介助者などの付き添いや補助器具と一緒等の条件下で立位姿勢が認められるレベル、不許可とは立位姿勢が認められないレベルとして定められている。図４に示す評価レベルは、座位姿勢は自由にできるが、立位姿勢の場合は介助が必要なレベルを示している。
　その他、身体評価レベルとしては、日常生活動作（ＡＤＬ）の国際的な評価方法であるＦＩＭ（Functional Independence Measure）や全身の筋力を評価する際に臨床で主に用いられる徒手筋力測定ＭＭＴ（manual muscle test）などを用いる方法が例示される。
　ＦＩＭは、主に機能レベルに基づく評価方法であり、「０．完全自立」、「１．特殊環境で自立」、「２．軽介助」、「３．中等度介助」、「４．重介助」、「５．全介助」の６段階で評価する。
　また、ＭＭＴでは、強い抵抗を加えても完全に動かせる筋力レベルを「５．ｎｏｒｍａｌ」、かなりの抵抗を加えても完全に動かせる筋力レベルを「４．ｇｏｏｄ」、重力に打ちかって完全に動かせる筋力レベルを「３．ｆａｉｒ」、重力を除けば完全に動かせる筋力レベルを「２．ｐｏｏｒ」、関節は動かない筋収縮のみの筋力レベルを「１．ｔｒａｃｅ」、筋収縮も全く見られない筋力レベルを「０．ｚｅｒｏ」として６段階で評価する。
　その他に、食事、トイレ、整容の認知能力に基づき「０．完璧」、「１．部分的」、「２．わずか」、「３．なし」といった４段階の評価や、運動の最良応答として、「０．命令に従う」、「１．痛部位に動かす」、「３．逃避四肢屈曲」、「４．異常四肢屈曲」、「４．四肢伸展」、「５．全く動かさず」といった評価を用いることもできる。
　そして、身体評価レベル記憶部３３５では、被介護者毎に、少なくともいずれかの評価方法で評価されたレベルを記憶している。
　異常状態判定用データ記憶部３３６は、身体評価レベルや被介護者の状態種別に基づき被介護者の正常・異常をデータベース化したものである。本実施形態では、身体評価レベルと、被介護者の姿勢との組み合わせ毎に正常か異常かを記憶している。
　例えば、図４に示すように、座位姿勢は自由にできるが、立位姿勢の場合は介助が必要なレベルの場合、状態種別が「座位姿勢」の場合は「正常」として記憶しており、座位姿勢から単独で立ち上がろうとしている場合や立ち上がった場合は「異常」であると記憶している。同様に、ＭＭＴに基づく身体評価レベルが筋肉を問題なく動かすことのできる「５．ｎｏｒｍａｌ」レベルであった場合、状態種別が「座位姿勢」の場合は「正常」として記憶している。一方、ＭＭＴに基づく身体評価レベルが筋肉を全く動かすことのできない「０．ｚｅｒｏ」レベルであった場合、状態種別が同じ「座位姿勢」であってもこの被介護者においては座位姿勢をとることもままならないため「異常」として記憶している。このように、状態種別に対する正常・異常は、身体評価レベルに応じて異なる。よって、異常状態判定用データ記憶部３３６では、身体評価レベル毎の状態種別に対する正常や異常を記憶している。なお、正常および異常の区分は特に限定されるものではないが、正常、やや異常、異常、とても異常など、異常についてはその異常レベルに応じた区分を設定してもよい。ここで前記異常レベルの区分数や対応する名称等は適宜選択してもよい。
　介護履歴記憶部３３７は、被介護者毎（被介護者ＩＤ毎）に当該被介護者の状態や介助行為の情報が時系列で蓄積され介護履歴情報を記憶するものである。本実施形態における介護履歴記憶部３３７は、図５に示すように、後述する被介護者状態判定部３４３によって判定された状態種別、例えば、姿勢判定モード３４３ａや状態学習判定モード３４３ｂにより判定された姿勢の状態や体部位エリア判定モード３４３ｃにより判定された注意が必要な状態および危険な状態に、日時を対応付けた介護履歴情報が所定の時間間隔で記憶されているとともに、介助行為判定部３４４により判定された介助行為の種別、およびその介助行為を行った人物の介護者ＩＤが対応付けられて記憶できるようになっている。また、本実施形態では、体部位エリア判定モード３４３ｃによる判定結果が注意が必要な状態および危険な状態であった場合には、そのとき撮影された撮影データを記憶できるようになっている。
　なお、介護履歴記憶部３３７に記憶される介護履歴情報の項目は、図５に示すものに限定されるものではなく、必要に応じて増減させてもよい。また、被介護者の状態に対する介護者の介助行為等について、相互の対応付けが可能であれば、被介護者の介護履歴情報と、介護者の介護履歴情報とを別の記憶部で管理するようにしてもよい。また、正常や異常、注意が必要な状態、危険な状態など状態種別とは別項目として記憶させてもよい。
　つぎに、演算処理手段３４について説明する。演算処理手段３４は、ＣＰＵ（Central Processing Unit）等によって構成されており、記憶手段３３にインストールされた介護記録プログラム３ａを実行することにより、図１に示すように、撮影データ取得部３４１、人物判定部３４２、被介護者状態判定部３４３、介助行為判定部３４４、介助記録画像生成部３４５、異常状態判別部３４６および異常状態通知部３４７として機能するようになっている。
　撮影データ取得部３４１は、介護記録用カメラ２から送信される撮影データを取得するものである。本実施形態において、撮影データ取得部３４１は、所定の時間間隔で通信手段３１を介して介護記録用カメラ２から送信される撮影データを取得する。
　人物判定部３４２は、撮影データ取得部３４１により取得された撮影データに映っている人物を検出するとともに、当該人物が被介護者であるか介護者であるかを判定するものである。具体的には、一般的な人物検出アルゴリズムを用いて、撮影データ内に人物領域が抽出されるか否かを判定する。人物領域が抽出された場合は、人物データ記憶部３３２から顔認証用データを読み出して、顔認証用データとして記憶されている顔画像と抽出された人物領域における顔領域とを照合することで、当該人物が被介護者であるか、または介護者であるかを判定する。
　なお、本実施形態では、顔認証で被介護者であるか介護者であるかが判定されるようになっているが、被介護者であるか介護者であるかを判定する方法は顔認証による方法に限られず、例えば、検出された人物の位置がベッド領域の内側である場合に当該人物が被介護者であると判定し、ベッド領域の外側における所定の位置である場合に当該人物が介護者であると判定するようにしてもよい。
　被介護者状態判定部３４３は、被介護者の状態種別を判定するものである。本実施形態において、体部位の各座標に基づいて前記被介護者の前記状態種別を判定する姿勢判定モード３４３ａと、状態学習済データおよび取得した前記撮影データに基づいて前記状態種別を判定する状態学習判定モード３４３ｂと、設定されたエリアに特定の体部位があるか否かに基づいて注意の必要な状態かまたは危険な状態かを判定する体部位エリア判定モード３４３ｃとを有する。
　姿勢判定モード３４３ａは、姿勢推定アルゴリズムを用いて、図６に示すように、撮影データ取得部３４１により取得された撮影データから被介護者の関節点や顔の各体部位（目、耳、鼻等）の各座標を検出し、この検出した各座標と状態判定用データ記憶部３３３に記憶されている判別用座標データとを比較し、判別用座標データとの類似度合や姿勢を表す特徴量を得ることで、被介護者の座位姿勢や立位姿勢などの種別を判定する。姿勢推定アルゴリズムは、適宜選択することができ、DeepLearningを使用したOpenPose（tf-pose-estimationなど）やPoseNet、BodyPixなどが例示される。この姿勢推定アルゴリズムは、介護記録装置３の演算処理手段３４で実行処理を行ってもよく、画像処理手段を備えた別装置やGoogleがオープンソースとして公開している機械学習ライブラリTensorFlow等を用いたWebブラウザにより実行処理を行ってもよい。
　なお、姿勢判定モード３４３ａにおける座標とは、撮影データの撮影範囲内における位置を特定するものであり、上述のとおり、画像の撮影方向や撮影方向の数に応じて二次元座標または三次元座標から適宜選択することができる。
　状態学習判定モード３４３ｂは、状態学習済データと撮影データとに基づいて状態の種別を判定する。具体的には、撮影データから被介護者の画像領域を表す画像特徴量を算出する。そして、状態判定用データ記憶部３３３に記憶されている状態学習済データを読み出して、算出した画像特徴量と各状態学習済データとの類似度合を算出する。状態学習済データに算出された類似度合が所定の閾値以上のものがあった場合、当該状態学習済データの種別を被介護者の状態の種別として判定する。類似度合が所定の閾値以上のものが複数あった場合は類似度合の大きいものを被介護者の状態種別を判定するようにしてもよい。
　体部位エリア判定モード３４３ｃは、撮影データの撮影範囲内にエリアを設定し、このエリア内に設定された被介護者の体部位の有無に基づいて状態の種別を判定するものであり、本実施形態では、状態判定用データ記憶部３３３に体部位エリア判定データとして記憶されたエリア設定部３２１により設定されたエリアおよび体部位設定部３２２により設定された体部位に基づき正常な状態か、注意の必要な状態か、危険な状態かを判定する。
　本実施形態における体部位エリア判定モード３４３ｃでは、姿勢判定モード３４３ａと同様な姿勢推定アルゴリズムを用いて、図７に示すように、撮影データ取得部３４１により取得された撮影データから被介護者の関節点や顔の各体部位（目、耳、鼻等）の座標を検出し、この検出した座標の配置などから被介護者の体部位を特定する。そして、その体部位のうち体部位設定部３２２により設定された体部位と一致する体部位の位置（座標）が、エリア設定部３２１により設定されたエリア内かエリア外かを判別する。本実施形態では、設定された体部位が前記エリア外と判別された場合は正常な状態と判定し、設定された体部位が前記エリア内と判別された場合は注意が必要な状態または危険な状態であると判定する。なお、この判定基準は、本実施例とは逆に、体部位がエリア外と判別された場合に注意が必要な状態や危険な状態と判定する基準に設定してもよい。
　なお、撮影データから前記被介護者の各体部位を表す撮影範囲内の位置の検出は、姿勢推定アルゴリズムで得られる座標に基づく方法に限定されるものではなく、例えば、状態学習判定モード３４３ｂのように各体部位の画像を学習させた状態学習済データと、撮影データとを比較して、その類似度合から検出するようにしてもよい。
　本実施形態における被介護者状態判定部３４３では、姿勢判定モード３４３ａ、状態学習判定モード３４３ｂおよび体部位エリア判定モード３４３ｃのいずれのモードにおいても、人物判定部３４２によって人物が検出されなかった場合、および検出された人物が被介護者以外の場合には、居室内に被介護者がいないものとして、被介護者の状態種別を「活動（離床）」と判定する。
　そして、被介護者状態判定部３４３は、判定された状態種別を、図５に示すように、被介護者毎に時系列に並べて作成される介護履歴情報として介護履歴記憶部３３７に記憶させる。
　介助行為判定部３４４は、介助行為の種別を判定するものであり、人物判定部３４２により判別された撮影データ内の人物に介護者が含まれるか否かを判定し、その中に介護者が含まれる場合には、前記撮影データに基づいて前記介護者による介助行為の種別を判定する。本実施形態における介助行為判定部３４４は、介護者が行ったジェスチャーに基づき介助行為の種別を判別するジェスチャー判定モード３４４ａと、介護者が立てた指の本数に基づき介助行為の種別を判別するフィンガー判定モード３４４ｂと、介助行為学習済データおよび取得した撮影データとに基づいて介助行為の種別を判定する介助行為学習判定モード３４４ｃとを有する。
　ジェスチャー判定モード３４４ａでは、撮影データから介護者が所定のジェスチャーを行ったか否かを検出し、ジェスチャーを検出した場合に、当該ジェスチャーに対応付けられる介助行為の種別を判定する。具体的には、まず、撮影データから介護者の手領域や腕領域などの特徴的な部位を抽出する。そして、介助行為判定用データ記憶部３３４からジェスチャーデータを読み出して、抽出した特徴的な部位の動きや形状とジェスチャーデータと比較して、各パターンの類似度をそれぞれ算出し、類似度が所定の閾値以上のジェスチャーがあるか否かを判定する。所定の閾値以上のジェスチャーがあった場合には、当該ジェスチャーパターンに対応付けられる介助行為の種別を介護者が行った介助行為の種別として判定する。類似度合が所定の閾値以上のものが複数あった場合は類似度合の大きいものを介助行為の種別として判定するようにしてもよい。
　フィンガー判定モード３４４ｂでは、撮影データから介護者が指を立てる動作を行ったか否かを検出し、指を立てる動作を検出した場合には、立てた指の本数を抽出し、その本数に対応付けられる介助行為を介護者の介助行為の種別として判定する。例えば、撮影データから介護者の手領域とその他の領域とに二値化する。手領域において突出された部位の数を検出する。そして検出された数を介護者の立てた指の本数とする。そして、介助行為判定用データ記憶部３３４に記憶されたフィンガーデータから、指の本数に対応付けられた介助行為を抽出し、その介助行為を介護者が行った介助行為の種別として判定する。
　なお、立てた指の本数の検出方法は、介護者の手領域とその他の領域とを二値化して実行する手法に限定されるものではなく、立てた指の本数を抽出可能な他のアルゴリズムなどから適宜選択してもよい。
　介助行為学習判定モード３４４ｃでは、介助行為学習済データと撮影データとに基づいて介助行為の種別を判定する。具体的には、撮影データから画像特徴量を算出する。このとき算出する画像の特徴量は介護者、被介護者またはその両方でもよい。そして、介助行為判定用データ記憶部３３４に記憶されている介助行為学習済データを読み出して、算出した画像特徴量と各介助行為学習済データとの類似度合を算出する。介助行為学習済データに算出された類似度合が所定の閾値以上のものがあった場合、当該介助行為学習済データの種別を介護者の介助行為として判定する。類似度合が所定の閾値以上のものが複数あった場合は類似度合の大きいものを介護者の介助行為の種別として判定するようにしてもよい。
　また、介助行為学習判定モード３４４ｃでは、機械学習アルゴリズムを用いて判定することもできる。つまり、介助行為判定用データ記憶部３３４には、機械学習アルゴリズムに設定する学習パラメータとして介助行為学習済データが記憶されており、当該介助行為学習済データを学習済モデルに設定し、当該学習済モデルに対して撮影データを入力することにより得られる出力結果が所定の閾値以上であるか否かを判定してもよい。その場合、出力結果が所定の閾値以上である場合に、当該出力結果となる介助行為の種別を判定する。
　また、本実施形態では、複数の介護者で介助行為を行う場合にも対応させるために、単独の介護者で介助行為を行う撮影データだけでなく、複数の介護者で介助行為を行う撮影データを使用して学習してもよい。なお、機械学習アルゴリズムは、姿勢推定アルゴリズムと同様に、介護記録装置３の演算処理手段３４で実行処理を行ってもよく、画像処理手段を備えた別装置やWebブラウザにより実行処理を行ってもよい。
　そして、介助行為判定部３４４は、介助行為の種別を被介護者の介護履歴情報に対応付けて介護履歴記憶部３３７に記憶させる。本実施形態では、図５に示すように、介助行為の種別とともに当該介助行為を行った介護者の介護者ＩＤを記憶させる。複数人の介護者により介助行為が行われた場合は、それぞれの介護者ＩＤを記憶させる。
　介護記録画像生成部３４５は、介護記録を表示するための介護記録画像や被介護者の異常状態と記録された情報を表示するための異常記録画像を生成するためのものである。本実施形態における介護記録画像生成部３４５は、表示入力手段３２や外部通信端末４から介護記録の表示が指示された場合、介護履歴記憶部３３７から介護履歴情報を読み出して、介護記録画像を生成し、表示入力手段３２に送信する。この介護記録画像には、被介護者の状態種別および介助行為の種別を同一画面に並記して被介護者ごとに表示される。
　例えば、図８に示すように、被介護者の１日の生活の様子を一目で視認可能なように、２４時間を各時間で区切られた横軸に対して、各状態種別（「睡眠」、「活動」、「活動（離床）」）に応じた項目が縦方向に配置された状態種別表示欄が設けられている。この状態種別表示欄には、各状態種別の時間範囲に対応付けて、項目ごとに帯状に色付けされて表示されている。さらに、状態種別表示欄の下側には、介助行為が行われた時間に対応させて、介助行為の種別を表示する介助行為表示欄が設けられている。
　また、表示入力手段３２や外部通信端末４から異常状態の表示が指示された場合、介護履歴記憶部３３７から介護履歴情報を読み出して、異常状態の表示として必要な情報の一覧からなる異常記録画像を生成する。具体的には、図９に示すように、注意が必要な状態や危険な状態などの異常状態の判定結果、異常判定された日時、およびそのとき撮影された撮影データからなる異常記録画像を生成する。そして、生成した異常記録画像を表示入力手段３２に送信する。
　なお、介護記録画像を表示させるのは表示入力手段３２に限定されるものではなく、図１に示すように、通信手段を介して通信可能に接続された外部通信端末４に前記画像を送信して表示させるようにしてもよい。
　異常状態判別部３４６は、被介護者の身体評価レベルと、撮影データから判別された被介護者の状態の種別とに基づき、前記被介護者が正常か、それとも異常かを判別するものである。具体的には、被介護者状態判定部３４３における姿勢判定モード３４３ａおよび状態学習判定モード３４３ｂにより判定された被介護者の状態の種別（姿勢状態）を取得すると伴に、身体評価レベル記憶部３３５から被介護者に付与されている身体評価レベルを読み出す。そして、異常状態判定用データ記憶部３３６に記憶されたデータベースから、被介護者の身体評価レベルと状態の種別との組合せにより定められた、正常や異常、またはやや異常、異常、とても異常などの異常レベルを抽出し、それに基づき被介護者の正常および異常を判別する。
　また、異常状態判別部３４６は、体部位エリア判定モード３４３ｃにより体部位設定部３２２により設定された体部位と一致する体部位の位置が、エリア設定部３２１により設定されたエリア内にあると判別された場合には、状態判定用データ記憶部３３３から当該エリアが注意エリアか危険エリアかの情報を取得する。そして、当該エリアが注意エリアの場合には被介護者が注意が必要な状態であると判別し、当該エリアが危険エリアの場合には被介護者が危険な状態であると判別する。
　異常状態通知部３４７は、異常状態判別部３４６により被介護者の状態が異常状態であると判別された場合および体部位エリア判定モード３４３ｃにより体部位設定部３２２により設定された体部位と一致する体部位の位置が、エリア設定部３２１により設定されたエリア内にあると判別された場合に、その旨を通知するものである。本実施形態では、通信手段３１を介して異常状態および異常時の被介護者の撮影データを表示入力手段３２または外部通信端末４に送信するようになっている。これにより、図１０に示すように、表示入力手段３２や外部通信端末４の表示画面上に被介護者の撮影データや異常状態を通知するポップアップウインドウを表示させたり、スピーカー（図示しない）から通知音を発したりすることができるようになっている。なお、異常状態を介護者等に通知する機器は、特に限定されるものではなく、例えば、異常状態の判別結果に応じて点灯、点滅、消灯および変色することのできる非常灯（ランプ）等から適宜選択してもよい。
　つぎに、本実施形態の介護記録装置３、介護記録システム１、介護記録プログラム３ａにおける各構成の作用および介護記録方法について説明する。
　本実施形態では、介護記録用カメラ２が被介護者の居室内を撮影する。そして、図１１に示すように、介護記録装置３の撮影データ取得部３４１が前記介護記録用カメラ２により撮影された被介護者の居室内の撮影データを通信手段３１を介して取得する（撮影データ取得ステップ：Ｓ１）。
　人物判定部３４２は、撮影データに映り込んでいる人物を検出するとともに、この人物が被介護者であるか介護者であるかを判定する(人物判定ステップ：Ｓ２）。これにより、被介護者と介護者とを区別して、それぞれに対して適切な判定処理を実行することが可能になる。
　つづいて、被介護者状態判定部３４３が、撮影データに基づいて被介護者の状態種別を判定する（被介護者状態判定ステップ：Ｓ３）。本実施形態では、姿勢判定モード３４３ａ、状態学習判定モード３４３ｂおよび体部位エリア判定モード３４３ｃから適宜選択された一つのモードにより判定する。なお、選択するモードは一つに限定されるものではなく複数のモードを選択して判定するようにしてもよい。
　姿勢判定モード３４３ａを選択した場合は、図１２に示すように、まず、人物判定部３４２により判定された撮影データ内の人物に被介護者が含まれるか否かを判定する（Ｓ１１）。被介護者が含まれている場合には（Ｓ１１：ＹＥＳ）、撮影データ取得部３４１により取得された撮影データから被介護者の関節点や顔の各体部位（目、耳、鼻等）の各座標を検出し、記憶手段３３に記憶する（Ｓ１２）。また、状態判定用データ記憶部３３３から判別用座標データを読み出す（Ｓ１３）。そして、検出した各座標と読み出した判別用座標データとを比較し、被介護者の状態種別を判定する（Ｓ１４）。
　一方、人物判定部３４２により判定された撮影データ内の人物に被介護者が含まれていなかった場合には（Ｓ１１：ＮＯ）、居室外にいるものとして活動状態（「活動（離床）」）であると判定する（Ｓ１５）。
　そして、被介護状態判定部３４３は、判定された被介護者の状態種別を、図５に示すように、時系列にまとめて介護履歴記憶部３３７に記憶させる（Ｓ１６）。
　また、状態学習判定モード３４３ｂを選択した場合は、図１３に示すように、人物判定部３４２により判定された撮影データ内の人物に被介護者が含まれるか否かを判定し（Ｓ２１）、被介護者が含まれている場合には（Ｓ２１：ＹＥＳ）、撮影データから被介護者の画像領域を表す画像特徴量を算出する（Ｓ２２）。また、状態判定用データ記憶部３３３に記憶されている状態学習済データを読み出す（Ｓ２３）。つぎに、算出した画像特徴量と各状態学習済データとの類似度合を算出する（Ｓ２４）。そして、状態学習済データに算出された類似度合が所定の閾値以上のものがあるか否かを判別する（Ｓ２５）。ここで、所定の閾値以上のものがあった場合には（Ｓ２５：ＹＥＳ）、当該状態学習済データの種別を被介護者の状態の種別として判定する（Ｓ２６）。所定の閾値以上のものがなかった場合は（Ｓ２５：ＮＯ）、Ｓ１にもどり、他の撮影データに基づき被介護者の状態種別の判定を試みる。
　一方、人物判定部３４２により判定された撮影データ内の人物に被介護者が含まれていなかった場合には（Ｓ２１：ＮＯ）、居室外にいるものとして活動状態（「活動（離床）」）であると判定する（Ｓ２７）。
　そして、判定された被介護者の状態種別を、図５に示すように、時系列にまとめて介護履歴記憶部３３７に記憶させる（Ｓ２８）。
　さらに、体部位エリア判定モード３４３ｃを選択した場合は、図１４に示すように、人物判定部３４２により判定された撮影データ内の人物に被介護者が含まれるか否かを判定する（Ｓ３１）。被介護者が含まれている場合には（Ｓ３１：ＹＥＳ）、撮影データ取得部３４１により取得された撮影データから被介護者の関節点や顔の各体部位（目、耳、鼻等）の各座標を検出し、この検出した座標の配置などから被介護者の体部位を特定する（Ｓ３２）。つぎに、状態判定用データ記憶部３３３から体部位エリア判定データとして記憶されたエリアデータと、体部位データとを取得する（Ｓ３３）。そして、Ｓ３２において特定された被介護者の体部位に基づき、体部位データとして記憶されている設定された体部位の座標を取得する（Ｓ３４）。つぎに、この体部位の座標位置がエリアデータの座標範囲外か否かを判別する（Ｓ３５）。ここで、設定された体部位の座標がエリアデータの座標範囲外の場合には（Ｓ３５：ＹＥＳ）、注意が必要な状態や危険な状態ではない正常な状態と判定する（Ｓ３６）。一方、設定された体部位の座標がエリアデータの座標範囲外ではない（範囲内にある）場合には（Ｓ３５：ＮＯ）、異常状態判別部３４６が当該エリアが注意エリアか危険エリアかを判別する（Ｓ３７）。ここで注意エリアに設定されている場合には（Ｓ３７：注意エリア）、被介護者の状態種別を「注意が必要な状態」と判定する（Ｓ３８）。一方、危険エリアに設定されている場合には（Ｓ３７：危険エリア）、被介護者の状態種別を「危険な状態」と判定する（Ｓ３９）。
　一方、人物判定部３４２により判定された撮影データ内の人物に被介護者が含まれていなかった場合には（Ｓ３１：ＮＯ）、居室外にいるものとして活動状態（「活動（離床）」）であると判定する（Ｓ４０）。
　そして、判定された被介護者の状態種別を、図５に示すように、時系列にまとめて介護履歴記憶部３３７に記憶させる（Ｓ４１）。
　このように、被介護者状態判定部３４３は、状態種別に日時を対応付けた介護履歴情報を介護履歴記憶部３３７に記憶させる。これにより、撮影データそのものを記憶させること必要がなくなるため、被介護者のプライバシーを保護しつつ、介護履歴を記録することができる。
　つぎに、介助行為判定部３４４は、介護者による介助行為の判定を行う（介助行使判定ステップ：Ｓ４）。本実施形態では、ジェスチャー判定モード３４４ａ、フィンガー判定モード３４４ｂまたは介助行為学習判定モード３４４ｃから適宜選択された一つのモードにより判定する。なお、選択するモードは一つに限定されるものではなく複数のモードを選択して判定するようにしてもよい。
　ジェスチャー判定モード３４４ａを選択した場合は、図１５に示すように、まず、人物判定部３４２により判定された撮影データ内の人物に介護者が含まれるか否かを判定する（Ｓ５１）。そして、介助行為判定部３４４は、撮影データ内の人物に介護者が含まれる場合には（Ｓ５１：ＹＥＳ）、撮影データから介護者の手領域や腕領域等の特徴的な部位の動きまたは形状を抽出する（Ｓ５２）。また、介助行為判定用データ記憶部３３４からジェスチャーデータを読み出す（Ｓ５３）。つぎに、前記特徴的な部位の動きまたは形状とジェスチャーデータと比較して、各パターンの類似度をそれぞれ算出する（Ｓ５４）。そして、類似度が所定の閾値以上のジェスチャーがあるか否かを判定する（Ｓ５５）。これにより、撮影データに介護者による所定ジェスチャーが含まれていたか否かを検出する。ここで所定の閾値以上のジェスチャーがあった場合には（Ｓ５５：ＹＥＳ）、当該ジェスチャーパターンに対応付けられる介助行為の種別を介護者が行った介助行為の種別として判定する（Ｓ５６）。そして、判定された介護者の介助行為の種別を、図５に示すように、被介護者の状態種別と合わせて介護履歴記憶部３３７に記憶する（Ｓ５７）。そして、介助行為の判定を終了する。
　一方、所定の閾値以上のジェスチャーが無かった場合（Ｓ５５：ＮＯ）および撮影データ内の人物に介護者が含まれていない場合（Ｓ５１：ＮＯ）は、介護者は介助行為を行われていないものとして、介助行為の判定を終了する。
　フィンガー判定モード３４４ｂを選択した場合は、図１６に示すように、人物判定部３４２により判定された撮影データ内の人物に介護者が含まれるか否かを判定し（Ｓ６１）、介護者が含まれる場合には（Ｓ６１：ＹＥＳ）、撮影データから介護者の手領域を抽出する（Ｓ６２）。そして、抽出された手の領域から立てられている指の本数を判定する（Ｓ６３）。例えば、本実施形態では、手領域とその他の領域とに二値化し、手領域において突出された部位の数を検出し、その数を介護者の立てた指の本数として判定する。つぎに、介助行為判定用データ記憶部３３４に記憶されたフィンガーデータを読み出す（Ｓ６４）。そして、フィンガーデータからＳ６３において判定された指の本数に対応付けられた介助行為を抽出し、その介助行為を介護者が行った介助行為の種別として判定する（Ｓ６５）。そして、判定された介護者の介助行為の種別を、図５に示すように、被介護者の状態種別と合わせて介護履歴記憶部３３７に記憶し（Ｓ６６）、介助行為の判定を終了する。
　介助行為学習判定モード３４４ｃを選択した場合は、図１７に示すように、人物判定部３４２により判定された撮影データ内の人物に介護者が含まれるか否かを判定し（Ｓ７１）、介護者が含まれる場合には（Ｓ７１：ＹＥＳ）、撮影データから画像特徴量を算出する（Ｓ７２）。つぎに、介助行為判定用データ記憶部３３４から介助行為学習済データを読み出す（Ｓ７３）。そして、算出した画像特徴量と各介助行為学習済データとに基づき類似度合を算出する（Ｓ７４）。また、算出された類似度合が所定の閾値以上か否かを判定する（Ｓ７５）。ここで類似度合が所定の閾値以上のものであった場合には（Ｓ７５：ＹＥＳ）、当該介助行為学習済データの種別を介護者の介助行為として判定する（Ｓ７６）。そして、判定された介護者の介助行為の種別を、図５に示すように、被介護者の状態種別と合わせて介護履歴記憶部３３７に記憶し（Ｓ７７）、介助行為の判定を終了する。
　このように、介助行為学習判定モード３４４ｃでは、介護者のジェスチャーや指を立てる行為が不要になる。よって、介護者の記録忘れによる記録漏れの発生を低減させることができる。
　つぎに、異常状態判別部３４６は、被介護者の身体評価レベルと、撮影データから判別された被介護者の状態の種別とに基づき、前記被介護者が正常か、それとも異常かを判別する（異常状態判別ステップ：Ｓ５）。本実施形態において被介護者の状態が姿勢判定モード３４３ａおよび状態学習判定モード３４３ｂにより判定された場合には、異常状態判定用データ記憶部３３６に記憶されている、身体評価レベルと被介護者の状態種別との組み合わせに応じて予め定められている正常または異常のいずれに該当するかを判別する。また、体部位エリア判定モード３４３ｃにより体部位設定部３２２により設定された体部位と一致する体部位の位置が、エリア設定部３２１により設定されたエリア内にあると判別された場合には、状態判定用データ記憶部３３３から当該エリアが注意エリアか危険エリアかの情報を取得し、当該エリアが注意エリアの場合には被介護者が注意が必要な状態であると判別し、当該エリアが危険エリアの場合には被介護者が危険な状態であると判別する。
　そして、異常状態通知部３４７が、被介護者の状態が異常状態であると判別された場合、または、体部位エリア判定モード３４３ｃによる判定結果が「注意が必要な状態」および「危険な状態」のときには、通信手段３１を介して異常を表示入力手段３２や外部通信端末４に送信する（異常状態通知ステップ：Ｓ６）。本実施形態では、異常の情報、または、注意が必要な状態および危険な状態の情報や異常時の被介護者の撮影データを送信する。これらの情報を受信した表示入力手段３２や外部通信端末４では、図１０に示すように、受信した異常状態および異常時の被介護者の撮影データを表示画面上に表示するとともに、スピーカーから通知音を発する。これにより表示入力手段３２の近傍で作業している介護者や外部通信端末４を携帯している介護者に被介護者の異常状態を迅速に知らせることができる。
　以上のＳ１～Ｓ６までは、介護履歴を記録する間繰り返し処理される。
　また、介護記録画像生成部３４５は、表示入力手段３２や外部通信端末４から介護記録の表示が指示された場合には、図８に示すように、介護履歴情報を用いて介護記録画像を生成し、表示入力手段３２に表示させるか、通信手段３１を介して外部通信端末４に送信する。前記介護記録画像には、被介護者の状態種別および介助行為の種別が同一画面に並記されているため、被介護者の１日の生活の様子を一目でわかりやすく表示させることが可能になる。また、状態種別と介助行為の種別とが介護履歴テーブルで一元管理されているため、複数のデータベースを読み出して統合させる手間が不要になり、簡単かつ効率的に表示させることが可能になる。また、異常記録の表示が指示された場合には、図９に示すように、介護履歴情報を用いて異常記録画像を生成し、表示入力手段３２に表示させるか、通信手段３１を介して外部通信端末４に送信する。異常記録画像には、異常な状態になった日時とともに、そのときの撮影データが表示されるので、実際にどのような状態（姿勢）になったかを確認することができる。
　以上のような本実施形態の介護記録装置３、介護記録システム１、介護記録プログラム３ａおよび介護記録方法によれば、以下のような効果を奏する。
１．介護記録用カメラ２が、被介護者の状態を入力する機能と、介護者の介助行為を入力する機能とを兼ね備えているため、多数のセンサや端末装置等を設置する必要がなく、安価でシンプルなシステム構成により、介護履歴を記録することができる。
２．介護記録用カメラ２により撮影した撮像データ（画像や動画）を記録するのではなく、状態の種別を介護記録として記録するため、被介護者のプライバシーを保つことができる。
３．介護者の介助行為を操作端末などによる直接的な入力操作を必要としないため、記録業務にかかる負荷を軽減させることができる。
４．介護者の状態種別と介助行為の種別とを同一画面に並記した介護記録画像を生成することができるため、被介護者の１日の生活の様子を一目でわかりやすく、また介護者が介助行為を行ったか否かを一目瞭然で確認することができる。
５．被介護者の身体評価レベルに応じた正常・異常を判別することができるため、被介護者毎に迅速かつきめ細かい介助行為を行うことができる。
　なお、本発明に係る介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法は、上述した本実施形態に限定されるものではなく、適宜変更することができる。例えば、上述した本実施形態では、介護記録装置３が、介護記録画像生成部３４５を有しているが、必ずしも設ける必要はない。また、介護履歴情報記憶部３３７は、外部のデータサーバ等に送信して記憶させるようにしてもよい。さらに、人物データと身体評価レベルとを統合して、同じ記憶部に記憶させてもよい。
　１　介護記録システム
　２　介護記録用カメラ
　３　介護記録装置
　３ａ　介護記録プログラム
　４　外部通信端末
　３１　通信手段
　３２　表示入力手段
　３３　記憶手段
　３４　演算処理手段
　３２１　エリア設定部
　３２２　体部位設定部
　３３１　プログラム記憶部
　３３２　人物データ記憶部
　３３３　状態判定用データ記憶部
　３３４　介助行為判定用データ記憶部
　３３５　身体評価レベル記憶部
　３３６　異常状態判定用データ記憶部
　３３７　介護履歴記憶部
　３４１　撮影データ取得部
　３４２　人物判定部
　３４３　被介護者状態判定部
　３４３ａ　姿勢判定モード
　３４３ｂ　状態学習判定モード
　３４３ｃ　体部位エリア判定モード
　３４４　介助行為判定部
　３４４ａ　ジェスチャー判定モード
　３４４ｂ　フィンガー判定モード
　３４４ｃ　介助行為学習判定モード
　３４５　介護記録画像生成部
　３４６　異常状態判別部
　３４７　異常状態通知部

Claims (12)

  1. 　被介護者の状態と前記被介護者に対して介護者が行う介助行為とを記録するための介護記録装置であって、
    　前記被介護者を撮影しているカメラから撮影データを取得する撮影データ取得部と、
    　前記撮影データに基づいて映っている人物を検出するとともに、当該人物が前記被介護者であるか前記介護者であるかを判定する人物判定部と、
    　前記撮影データに基づいて前記被介護者の状態種別を判定して、当該状態種別に日時を対応付けた介護履歴情報を介護履歴記憶部に記憶させる被介護者状態判定部と、
    　前記人物判定部によって判定された前記人物に前記介護者が含まれている場合、前記撮影データに基づいて当該介護者の前記介助行為の種別を判定して、当該介助行為の種別を前記介護履歴情報に対応付けて前記介護履歴記憶部に記憶させる介助行為判定部と、
    　を有する、介護記録装置。
  2. 　前記被介護者状態判定部は、前記撮影データから前記被介護者の姿勢を表す体部位の各座標を検出するとともに、前記体部位の各座標に基づいて前記被介護者の前記状態種別を判定する姿勢判定モードを有する、請求項１に記載の介護記録装置。
  3. 　前記被介護者状態判定部は、前記被介護者の状態ごとに予め撮影した前記撮影データを学習することにより得られた状態学習済データと、取得した前記撮影データとに基づいて前記状態種別を判定する状態学習判定モードを有する、請求項１または請求項２に記載の介護記録装置。
  4. 　前記撮影データの撮影範囲内に当該撮影範囲よりも小さいエリアを設定するエリア設定部と、
    　このエリア設定部で設定されたエリアに対応づけて前記被介護者の体部位を設定する体部位設定部とを有し、
    　前記被介護者状態判定部は、前記撮影データから前記被介護者の各体部位を表す撮影範囲内の位置を検出するとともに、これらの各体部位の位置のうち前記体部位設定部により設定された体部位の位置が前記エリア設定部により設定されたエリア内にあるか否かに基づいて前記被介護者の前記状態種別を判定する体部位エリア判定モードを有する、請求項１から請求項３のいずれかに記載の介護記録装置。
  5. 　前記介助行為判定部は、前記撮影データから前記介護者が所定のジェスチャーを行ったか否かを検出し、前記ジェスチャーを検出した場合に、当該ジェスチャーに対応付けられる前記介助行為の種別を判定するジェスチャー判定モードを有する、請求項１から請求項４のいずれかに記載の介護記録装置。　
  6. 　前記介助行為判定部は、前記撮影データから前記介護者が指を立てる動作を行ったか否かを検出し、指を立てる動作を検出した場合に、立てた指の本数に対応付けられる前記介助行為の種別を判定するフィンガー判定モードを有する、請求項１から請求項５のいずれか記載の介護記録装置。
  7. 　前記介助行為判定部は、前記介助行為の種別ごとに予め撮影した前記撮影データを学習することにより得られた介助行為学習済データと、取得した前記撮影データとに基づいて前記介助行為の種別を判定する介助行為学習判定モードを有する、請求項１から請求項６のいずれかに記載の介護記録装置。
  8. 　前記介護履歴記憶部に記憶される前記介護履歴情報を用いて、前記被介護者の状態種別および前記介助行為の種別を同一画面に並記して前記被介護者ごとに表示するための介護記録画像を生成する介護記録画像生成部を有する、請求項１から請求項７のいずれかに記載の介護記録装置。
  9. 　前記被介護者毎に定められた身体評価レベルを記憶する身体評価レベル記憶部と、
    　前記被介護者状態判定部により判定された対象となる被介護者の状態種別が当該被介護者の前記身体評価レベルに対応する異常状態か否かを判別する異常状態判別部と、
    　前記被介護者が異常状態と判別された場合はその旨を通知する異常状態通知部と
    を有する、請求項１から請求項８のいずれかに記載の介護記録装置。
  10. 　請求項１から請求項９のいずれかに記載の介護記録装置と、前記被介護者の居室に設置されて前記居室内を撮影しその撮影データを前記介護記録装置に送信する介護記録用カメラとを有する、介護記録システム。
  11. 　被介護者の状態と前記被介護者に対して介護者が行う介助行為とを記録するための介護記録プログラムであって、
    　前記被介護者を撮影しているカメラから撮影データを取得する撮影データ取得部と、
    　前記撮影データに基づいて映っている人物を検出するとともに、当該人物が前記被介護者であるか前記介護者であるかを判定する人物判定部と、
    　前記撮影データに基づいて前記被介護者の状態種別を判定して、当該状態種別に日時を対応付けた介護履歴情報を介護履歴記憶部に記憶させる被介護者状態判定部と、
    　前記人物判定部によって判定された前記人物に前記介護者が含まれている場合、前記撮影データに基づいて当該介護者の前記介助行為の種別を判定して、当該介助行為の種別を前記介護履歴情報に対応付けて前記介護履歴記憶部に記憶させる介助行為判定部
    　としてコンピュータを機能させる、介護記録プログラム。
  12. 　被介護者の状態と前記被介護者に対して介護者が行う介助行為とを記録するための介護記録方法であって、
    　前記被介護者を撮影しているカメラから撮影データを取得する撮影データ取得ステップと、
    　前記撮影データに基づいて映っている人物を検出するとともに、当該人物が前記被介護者であるか前記介護者であるかを判定する人物判定ステップと、
    　前記撮影データに基づいて前記被介護者の状態種別を判定して、当該状態種別に日時を対応付けた介護履歴情報を介護履歴記憶部に記憶させる被介護者状態判定ステップと、
    　前記人物判定ステップによって判定された前記人物に前記介護者が含まれている場合、前記撮影データに基づいて当該介護者の前記介助行為の種別を判定して、当該介助行為の種別を前記介護履歴情報に対応付けて前記介護履歴記憶部に記憶させる介助行為判定ステップと、
    　を有する、介護記録方法。
PCT/JP2020/000636 2019-01-11 2020-01-10 介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法 WO2020145380A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080008632.6A CN113366529A (zh) 2019-01-11 2020-01-10 护理记录装置、护理记录系统、护理记录程序及护理记录方法
US17/421,513 US20220084657A1 (en) 2019-01-11 2020-01-10 Care recording device, care recording system, care recording program, and care recording method
JP2020565220A JP7403132B2 (ja) 2019-01-11 2020-01-10 介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019003873 2019-01-11
JP2019-003873 2019-01-11

Publications (1)

Publication Number Publication Date
WO2020145380A1 true WO2020145380A1 (ja) 2020-07-16

Family

ID=71520986

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/000636 WO2020145380A1 (ja) 2019-01-11 2020-01-10 介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法

Country Status (4)

Country Link
US (1) US20220084657A1 (ja)
JP (1) JP7403132B2 (ja)
CN (1) CN113366529A (ja)
WO (1) WO2020145380A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7237382B1 (ja) 2021-12-24 2023-03-13 知能技術株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN116959694A (zh) * 2023-05-30 2023-10-27 厦门大学附属中山医院 一种便携式移动护理记录系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117542498B (zh) * 2024-01-08 2024-04-16 安徽医科大学第一附属医院 一种基于大数据分析的妇科护理管理系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001325363A (ja) * 2000-05-15 2001-11-22 Hitachi Plant Eng & Constr Co Ltd 介護業務支援装置及び携帯通信端末
JP2015097004A (ja) * 2013-11-15 2015-05-21 株式会社東芝 診察支援装置及び診察支援方法
WO2016186160A1 (ja) * 2015-05-21 2016-11-24 コニカミノルタ株式会社 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4332649B2 (ja) * 1999-06-08 2009-09-16 独立行政法人情報通信研究機構 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
JP2001188859A (ja) * 2000-05-19 2001-07-10 Nissetsu Engineering Co Ltd 要介護度認定方法、要介護度認定システム、記録媒体及び、携帯端末制御機器
US10524722B2 (en) * 2014-12-26 2020-01-07 Cerner Innovation, Inc. Method and system for determining whether a caregiver takes appropriate measures to prevent patient bedsores
US20160210429A1 (en) * 2015-01-05 2016-07-21 Luis M. Ortiz Systems and methods for medical patient treatment tracking, provider-patient association, and record integration
WO2016120820A2 (en) * 2015-01-28 2016-08-04 Os - New Horizons Personal Computing Solutions Ltd. An integrated mobile personal electronic device and a system to securely store, measure and manage user's health data
WO2017158160A1 (en) * 2016-03-17 2017-09-21 Koninklijke Philips N.V. Home visit assessment and decision support system
WO2018096805A1 (ja) * 2016-11-24 2018-05-31 コニカミノルタ株式会社 被監視者監視装置用設定装置および該方法ならびに被監視者監視システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001325363A (ja) * 2000-05-15 2001-11-22 Hitachi Plant Eng & Constr Co Ltd 介護業務支援装置及び携帯通信端末
JP2015097004A (ja) * 2013-11-15 2015-05-21 株式会社東芝 診察支援装置及び診察支援方法
WO2016186160A1 (ja) * 2015-05-21 2016-11-24 コニカミノルタ株式会社 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7237382B1 (ja) 2021-12-24 2023-03-13 知能技術株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN116959694A (zh) * 2023-05-30 2023-10-27 厦门大学附属中山医院 一种便携式移动护理记录系统
CN116959694B (zh) * 2023-05-30 2024-04-30 厦门大学附属中山医院 一种便携式移动护理记录系统

Also Published As

Publication number Publication date
US20220084657A1 (en) 2022-03-17
JPWO2020145380A1 (ja) 2020-07-16
CN113366529A (zh) 2021-09-07
JP7403132B2 (ja) 2023-12-22

Similar Documents

Publication Publication Date Title
JP6137425B2 (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
WO2020145380A1 (ja) 介護記録装置、介護記録システム、介護記録プログラムおよび介護記録方法
JP6717235B2 (ja) 見守り支援システム及びその制御方法
KR102052883B1 (ko) 열화상 카메라를 이용한 낙상 예측 시스템 및 열화상 카메라를 이용한 낙상 예측 방법
CN111507176B (zh) 姿势估计装置、行动估计装置、记录介质、姿势估计方法
JP6822328B2 (ja) 見守り支援システム及びその制御方法
JP6915421B2 (ja) 見守り支援システム及びその制御方法
JP6086468B2 (ja) 被写体見守りシステム
KR102205964B1 (ko) 듀얼 카메라와 적외선 카메라를 이용한 낙상 예방 시스템 및 낙상 예방 방법
US20210219873A1 (en) Machine vision to predict clinical patient parameters
WO2016199495A1 (ja) 行動検知装置、該方法および該プログラム、ならびに、被監視者監視装置
JP6822326B2 (ja) 見守り支援システム及びその制御方法
JP6729510B2 (ja) 見守り支援システム及びその制御方法
JP3767898B2 (ja) 人物行動理解システム
JP7347577B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
US11694571B2 (en) Information processing system, information processing apparatus, and non-transitory storage medium
WO2021033453A1 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP2022010581A (ja) 検知装置、検知方法、画像処理方法、およびプログラム
JP7481843B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7489248B2 (ja) 情報処理システム、情報処理方法、及び、情報処理プログラム
WO2021024691A1 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP2023025761A (ja) 見守りシステム、見守り装置、見守り方法、および見守りプログラム
JP6729512B2 (ja) 見守り支援システム及びその制御方法
JP2023000589A (ja) 情報処理システム、情報処理装置、制御方法、および制御プログラム
WO2020008995A1 (ja) 画像認識プログラム、画像認識装置、学習プログラム、および学習装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20738306

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2020565220

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20738306

Country of ref document: EP

Kind code of ref document: A1