WO2022019093A1 - 日常生活動作状態判定システム、日常生活動作状態判定方法、プログラム、日常生活動作状態判定装置、及び、日常生活動作状態判定デバイス - Google Patents

日常生活動作状態判定システム、日常生活動作状態判定方法、プログラム、日常生活動作状態判定装置、及び、日常生活動作状態判定デバイス Download PDF

Info

Publication number
WO2022019093A1
WO2022019093A1 PCT/JP2021/025162 JP2021025162W WO2022019093A1 WO 2022019093 A1 WO2022019093 A1 WO 2022019093A1 JP 2021025162 W JP2021025162 W JP 2021025162W WO 2022019093 A1 WO2022019093 A1 WO 2022019093A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
subject
daily living
activities
determination
Prior art date
Application number
PCT/JP2021/025162
Other languages
English (en)
French (fr)
Inventor
貴拓 相原
健吾 和田
太一 濱塚
吉浩 松村
貴洋 樋山
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2022538675A priority Critical patent/JP7382581B2/ja
Publication of WO2022019093A1 publication Critical patent/WO2022019093A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb

Definitions

  • the present invention relates to an activity of daily living determination system, an activity of daily living determination method, a program, an activity of daily living determination device, and an activity of daily living determination device.
  • rehabilitation in long-term care facilities, there is a service that provides training (so-called rehabilitation) so that elderly people can live independently.
  • a long-term care facility staff member who is qualified to create a training plan visits the elderly's home to determine the physical function and activities of daily living (ADL) of the elderly, and determines the status of activities of daily living (ADL).
  • ADL daily living
  • ADL daily living
  • rehabilitation is performed according to the prepared training plan.
  • Patent Document 1 in rehabilitation training, motion information of a subject who executes a predetermined motion is acquired, the acquired motion information is analyzed, and display information based on an analysis value regarding the motion of a designated portion is displayed.
  • An operation information processing device for displaying is disclosed.
  • the present invention relates to an activity of daily living determination system, a method for determining an activity of daily living, a program, a device for determining an activity of daily living, and an apparatus for determining an activity of daily living, which can easily and accurately determine the state of the activity of daily living of a subject. , Provides an activity of daily living determination device.
  • the activities of daily living determination system includes an instruction unit that instructs the target person to perform a specific operation, and the target person who performs the specific operation according to the instruction by the instruction unit as a subject.
  • the estimation unit that estimates the skeleton model of the subject in the image based on the image acquired by the acquisition unit, and the skeleton model estimated by the estimation unit.
  • the method for determining a daily life operation state includes an instruction step for instructing a subject to perform a specific action, and the subject who performs the specific action according to the instruction by the instruction step as a subject.
  • the estimation step of estimating the skeleton model of the subject in the image based on the image acquired by the acquisition step, and the skeleton model estimated by the estimation step.
  • a derivation step for deriving a feature amount indicating the characteristics of the movement of the skeleton of the subject in the specific movement, and a physical movement of the subject based on the feature amount derived by the derivation step. It includes an evaluation step for evaluating a physical function which is an ability, and a determination step for determining a state of daily life movement of the subject based on the physical function evaluated by the evaluation step.
  • the program according to one aspect of the present invention is a program for causing a computer to execute the control method.
  • the activities of daily living determination device is based on an acquisition unit that acquires an image including a target person performing a specific operation as a subject and the image acquired by the acquisition unit.
  • An estimation unit that estimates the skeleton model of the subject, and a derivation unit that derives a feature amount that indicates the characteristics of the movement of the skeleton of the subject in the specific motion based on the skeleton model estimated by the estimation unit.
  • Based on the evaluation unit that evaluates the physical function that is the ability to perform the physical movement of the subject based on the feature amount derived by the derivation unit, and the physical function evaluated by the evaluation unit.
  • the subject is provided with a determination unit for determining the state of activities of daily living of the subject.
  • the activities of daily living determination device includes an instruction unit that instructs the target person to perform a specific operation, and the target person who performs the specific operation according to the instruction by the instruction unit as a subject.
  • the acquisition unit that acquires an image and the image acquired by the acquisition unit by communication are output to an activity of daily living determination device that determines the state of the activity of daily living of the subject, and the activity of daily living is determined.
  • a communication unit for acquiring information on the state of activities of daily living of the subject from the state determination device is provided.
  • the instruction unit that displays an image of an instruction to perform a specific action to the target person and the target person who performs the specific operation according to the image of the instruction are captured by a camera.
  • the estimation unit that estimates the three-dimensional skeleton model of the subject in the specific motion, and the joint angle related to the movement of the joint of the subject is derived based on the three-dimensional skeleton model.
  • the evaluation unit that evaluates the physical function, which is the ability to perform the above, and the physical function evaluated by the evaluation unit, whether or not the subject can perform daily life movements related to the physical function. It is based on an information processing apparatus provided with a determination unit that determines and outputs the state of the subject's daily life by determining whether or not.
  • an activity of daily living determination system a method of determining an activity of daily living, a program, and an activity of daily living determination device capable of easily and accurately determining the state of an activity of daily living of a subject. , And an activity of daily living determination device is realized.
  • FIG. 1 is a diagram showing an outline of an activity of daily living determination system according to an embodiment.
  • FIG. 2A is a diagram showing an example of a specific operation.
  • FIG. 2B is a diagram showing an example of a specific operation.
  • FIG. 2C is a diagram showing an example of a specific operation.
  • FIG. 3 is a block diagram showing an example of the functional configuration of the activities of daily living determination system according to the embodiment.
  • FIG. 4 is a diagram conceptually showing the estimation of the two-dimensional skeleton model of the subject.
  • FIG. 5 is a diagram conceptually showing the estimation of the three-dimensional skeleton model.
  • FIG. 6 is a diagram showing an example of a joint angle related to flexion of the knee joint in a stepping motion.
  • FIG. 1 is a diagram showing an outline of an activity of daily living determination system according to an embodiment.
  • FIG. 2A is a diagram showing an example of a specific operation.
  • FIG. 2B is a diagram showing an example of a specific
  • FIG. 7 is a diagram showing an example of a two-dimensional skeleton model of a subject performing a forward bending motion.
  • FIG. 8 is a diagram showing an example of evaluation of physical function in stepping motion.
  • FIG. 9 is a diagram showing an example of evaluation of physical function in forward bending motion.
  • FIG. 10 is a diagram showing an example of determination of a state of activities of daily living in a stepping motion.
  • FIG. 11 is a diagram showing an example of determination of the state of activities of daily living in the forward bending motion.
  • FIG. 12 is a flowchart showing a first example of the operation of the activities of daily living determination system according to the embodiment.
  • FIG. 13 is a flowchart showing a second example of the operation of the activities of daily living determination system according to the embodiment.
  • FIG. 1 is a diagram showing an outline of the activities of daily living determination system 10 according to the embodiment.
  • the activities of daily living determination system 10 derives a feature amount showing the characteristics of the movement of the skeleton from the skeleton model estimated based on the image of the subject 1 performing a specific movement, and uses the feature amount as the feature amount. It is a system for determining the state of activities of daily living of the subject 1 based on the physical function of the subject 1 evaluated based on the above. For example, the activities of daily living determination system 10 is used when the user 2 collects information for grasping the situation of the target person 1, that is, performs an assessment.
  • Subject 1 is a person whose physical function, which is the ability to move the body, has deteriorated due to, for example, a disease, trauma, aging, or a disability.
  • User 2 is, for example, a physical therapist, an occupational therapist, a nurse, or a rehabilitation specialist.
  • the user 2 of the activities of daily living determination system 10 visits the home of the subject 1 and makes an assessment by using the activities of daily living determination device 30 of the subject 1.
  • the activities of daily living determination device 30 is, for example, a tablet terminal.
  • the activities of daily living determination device 30 includes the camera 20, the activities of daily living determination device 30 may be installed at a position where the subject 1 performing a specific operation can be photographed, for example, on a desk.
  • the camera 20 exists independently of the activities of daily living determination device 30, the camera 20 is installed at a position where the subject 1 can be photographed.
  • the user 2 may accompany the target person 1 while the target person 1 performs a specific operation, watch over the target person 1 so that the target person 1 can perform the operation safely, and assist the target person 1 as necessary.
  • the specific movement is a series of movements including a plurality of types of movements, and includes all joint and skeletal movements related to movements using the upper and lower limbs.
  • 2A, 2B and 2C are diagrams showing an example of a specific operation.
  • specific movements include, for example, (a) sitting, (b) standing up and holding, (c) stepping, (d) holding both hands on the back, (e). Includes (f) palms face down, (f) palms face up, (g) forward bending, (h) AIO, (i) gooper, (j) fold hands at the back of the head, (k) batch goo movements. ..
  • the sitting position (a) may be visually determined by the user 2.
  • the subject 1 stands up from (a) a sitting position and (b) stands up and holds a standing position according to the instructions of the activities of daily living determination system 10. At this time, the subject 1 stands up with both hands folded in front of the chest.
  • the subject 1 is evaluated by the activities of daily living determination system 10 whether or not he / she can stand up only by the force of his / her legs.
  • the activities of daily living determination system 10 may instruct the next operation after performing one operation in the instruction of a specific operation.
  • the subject 1 may perform (c) a stepping motion, then turn 180 degrees on the spot, turn his / her back toward the camera 20, and (d) connect both hands with his / her back.
  • the motion of turning between the motion of (c) and the motion of (d) may also be used to determine the activity of daily living of the subject 1.
  • Activities of daily living also include so-called instrumental activities of daily living (IADL: Instrumental Activities of Daily Living).
  • activities of daily living include meal, excretion, bathing, dressing, dressing, and transfer movements, as well as indoor movement, outdoor movement, stair climbing, cooking, washing, and cleaning movements.
  • the activities of daily living determination system 10 determines whether or not the target person 1 can perform the above-mentioned activities of daily living by himself / herself based on the image of the target person 1 performing a specific movement. To determine the state of activities of daily living of the subject 1. Specific activities of daily living and activities of daily living related to the activities of daily living will be described later.
  • FIG. 3 is a block diagram showing an example of the functional configuration of the activities of daily living determination system according to the embodiment.
  • the activity of daily living determination system 10 includes a camera 20, an activity of daily living determination device 30, and an activity of daily living determination device 40.
  • the camera 20 captures an image including the target person 1 who performs a specific operation as a subject.
  • the camera 20 may be a camera using a CMOS (Complementary Metal Oxide Sensor) image sensor, or may be a camera using a CCD (Charge Coupled Device) image sensor.
  • CMOS Complementary Metal Oxide Sensor
  • CCD Charge Coupled Device
  • the camera 20 may be, for example, a camera mounted on a portable information terminal such as a smartphone or a tablet terminal, or may be a camera mounted on a stationary information terminal such as a personal computer. ..
  • the camera 20 may be provided in the activities of daily living determination device 30.
  • the activities of daily living determination device 30 instructs the target person 1 to perform a specific operation, acquires an image including the target person 1 who performs a specific operation according to the instruction, and obtains the acquired image as an activity of daily living state. Output to the determination device 40.
  • the activities of daily living determination device 30 may include a camera 20.
  • the activities of daily living determination device 30 may be a smartphone, a tablet terminal, a personal computer, or the like.
  • the activities of daily living determination device 30 includes an instruction unit 31, an acquisition unit 32, and a communication unit 35.
  • the activities of daily living determination device 30 may further include an information processing unit 33, a storage unit 34, and a reception unit 36.
  • the instruction unit 31 instructs the target person 1 to perform a specific operation.
  • the instruction unit 31 may instruct the subject 1 by at least one of voice, characters, and video.
  • the indicator 31 is, for example, at least one of a display panel such as a liquid crystal panel or an organic EL (Electroluminescence) panel, a speaker, and earphones.
  • the presentation unit 37 may be a display panel and a speaker or earphones, or may be a display panel, a speaker and earphones.
  • the instruction unit 31 may function as a presentation unit 37, which will be described later, depending on the mode of instruction, and the presentation unit 37 may function as the instruction unit 31 depending on the presentation mode of the presentation unit 37.
  • the acquisition unit 32 acquires image data of an image taken by the camera 20.
  • the image data is image data including the target person 1 who performs a specific operation according to the instruction by the instruction unit 31 as a subject.
  • the acquisition unit 32 is a communication module that communicates with the camera 20.
  • the communication performed by the acquisition unit 32 may be wired communication or wireless communication.
  • the acquisition unit 32 may be capable of communicating with the camera 20, and the communication standard is not particularly limited.
  • the communication unit 35 is a communication module (communication circuit) for the activities of daily living determination device 30 to communicate with the activities of daily living determination device 40 via a wide area communication network 50 such as the Internet.
  • the communication performed by the communication unit 35 may be wireless communication or wired communication.
  • the communication standard used for communication is also not particularly limited.
  • the communication unit 35 outputs the image acquired by the acquisition unit 32 to the activities of daily living determination device 40 for determining the state of activities of daily living of the subject 1, and also outputs the image acquired by the acquisition unit 32 to the activities of daily living determination device 40, and also causes the subject person from the activities of daily living determination device 40. Acquire information on the state of activities of daily living in 1.
  • the information processing unit 33 performs information processing for controlling the operation of the activities of daily living determination device 30, and stores image data in the storage unit 34.
  • Information processing for controlling the operation of the activities of daily living determination device 30 performs image display control on the reception unit 36, voice recognition processing of the voice input by the user 2, and the like.
  • the information processing unit 33 is realized by a processor, a microcomputer, or a dedicated circuit.
  • the information processing unit 33 may be realized by a combination of two or more of a processor, a microcomputer, or a dedicated circuit.
  • the storage unit 34 is a storage device that stores image data acquired by the acquisition unit 32.
  • the storage unit 34 also stores a computer program or the like for execution by the information processing unit 33.
  • the storage unit 34 is realized by a semiconductor memory, an HDD (Hard Disk Drive), or the like.
  • the reception unit 36 receives instructions regarding the operation of the user 2. For example, the reception unit 36 transmits to the activities of daily living determination device 40 conditions such as a weighting condition in the determination by the determination unit 48, an extraction condition of the determination result, or a presentation method to the presentation unit 37. Accepts input operations to perform.
  • the reception unit 36 may be realized by, for example, a touch panel, a display panel, a hardware button, a microphone, a camera, or the like.
  • the touch panel may be, for example, a capacitance type touch panel or a resistance film type touch panel.
  • the display panel has an image display function and a function of accepting manual input by the user, and accepts an input operation to a numeric keypad image displayed on a display panel such as a liquid crystal panel or an organic EL panel.
  • the microphone accepts the user's voice input.
  • the camera accepts user gesture input.
  • reception unit 36 is a component of the activity of daily living determination device 30, but the reception unit 36 is integrated with at least one of the other components of the activity of daily living determination system 10. May be.
  • the presentation unit 37 presents to the user 2 the state of activities of daily living of the subject 1 determined by the determination unit 48, which will be described later. Further, the presentation unit 37 presents to the user 2 information regarding the state of activities of daily living of the target person 1 extracted by the determination unit 48 based on the instruction of the user 2.
  • the presentation unit 37 is, for example, at least one of a liquid crystal panel, a display panel such as an organic EL panel, a speaker, and earphones. As described above, the presentation unit 37 may function as the instruction unit 31. That is, the presentation unit 37 may be integrated with the instruction unit 31.
  • the activities of daily living determination device 40 acquires an image including the subject 1 performing a specific motion as a subject, evaluates the physical function of the subject 1 based on the acquired image, and is based on the physical function. , Determine the state of activities of daily living of the subject 1.
  • the activities of daily living determination device 40 is, for example, a device installed on a server.
  • the activities of daily living determination device 40 includes, for example, a communication unit 43, an information processing unit 44, and a storage unit 49.
  • the communication unit 43 has an acquisition unit 41 for acquiring an image including the target person 1 performing a specific operation as a subject, and an output unit 42 for outputting information regarding the state of activities of daily living of the target person 1.
  • the acquisition unit 41 may acquire a moving image composed of a plurality of images and output the acquired moving image to the information processing unit 44. At this time, the moving image acquired by the acquisition unit 41 is stored in the storage unit 49.
  • the communication unit 43 is a communication module for the activities of daily living determination device 40 to communicate with the activities of daily living determination device 30 via a wide area communication network 50 such as the Internet.
  • the information processing unit 44 has an estimation unit 45, a derivation unit 46, an evaluation unit 47, and a determination unit 48.
  • the information processing unit 44 performs information processing for determining the state of activities of daily living of the subject 1 and stores data in the storage unit 49.
  • the estimation unit 45 estimates the skeleton model of the subject 1 in the image based on the image acquired by the acquisition unit 41.
  • the skeleton model may be a two-dimensional skeleton model or a three-dimensional skeleton model.
  • the estimation unit 45 estimates the two-dimensional skeleton model of the subject 1 based on the image, and estimates the three-dimensional skeleton model of the subject 1 using the machine learning model based on the estimated two-dimensional skeleton model. do.
  • an example of estimation of the two-dimensional skeleton model and the three-dimensional skeleton model will be described with reference to FIGS. 4 and 5.
  • FIG. 4 is a diagram conceptually showing the estimation of the two-dimensional skeleton model of the subject.
  • the two-dimensional skeleton model is a model in which the joint positions (circles in the figure) of the subject 1 shown in the image are connected by links (lines in the figure).
  • Existing attitude and skeleton estimation algorithms are used to estimate the 2D skeleton model.
  • the estimation unit 45 may estimate the three-dimensional skeleton model from the estimated two-dimensional skeleton model.
  • FIG. 5 is a diagram conceptually showing the estimation of the three-dimensional skeleton model.
  • This machine learning model is a classifier constructed in advance by machine learning using a two-dimensional skeleton model in which three-dimensional coordinate data of each joint is known as training data and the above-mentioned three-dimensional coordinate data as teacher data.
  • Such a machine learning model can take a two-dimensional skeleton model as an input and output its three-dimensional coordinate data, that is, a three-dimensional skeleton model.
  • the estimation unit 45 estimates a skeleton model for each of the plurality of images constituting the moving image.
  • the derivation unit 46 derives a feature amount indicating the characteristics of the movement of the skeleton of the subject 1 in a specific motion based on the skeleton model estimated by the estimation unit 45.
  • the derivation unit 46 derives the feature amount based on at least one of the joint, non-joint part, and terminal part of the subject 1 in the skeletal model.
  • the feature amount is the joint angle of a predetermined joint.
  • FIG. 6 is a diagram showing an example of a joint angle related to flexion of the knee joint in a stepping motion.
  • the derivation unit 46 is different from the position of the first site 101, which is connected via a predetermined joint 100 and is a non-joint site or a terminal site in the subject 1, and the first site 101.
  • the position of the second site 102 is derived, and based on the straight line connecting the derived position of the first site 101 and the position of the second site 102, the features are flexion, extension, abduction, and adduction of a predetermined joint.
  • the joint angle ⁇ related to at least one of rolling, external rotation, and internal rotation is derived.
  • At least one of the first site 101 and the second site 102 may be included in the upper limbs or lower limbs of the subject 1.
  • the derivation unit 46 determines the flexion of the knee joint of the subject 1 based on the skeletal model in the image of the subject 1 performing the stepping motion among the moving images showing the subject 1 performing the specific motion. Derive the joint angle ⁇ involved. As described above, since the three-dimensional skeleton model is, in other words, the three-dimensional coordinate data of each joint, it is possible to derive the joint angle ⁇ related to the flexion of the knee joint.
  • the derivation unit 46 may derive the overlap or distance between the terminal site and another terminal site or a predetermined joint as a feature amount based on the two-dimensional skeleton model. More specifically, the derivation unit 46 may derive the overlap between the end parts as a feature amount by the two-dimensional skeleton model, or may derive the distance between the end parts as the feature amount by the three-dimensional skeleton model. ..
  • FIG. 7 is a diagram showing an example of a two-dimensional skeleton model of the subject 1 who performs a forward bending motion. For example, in the forward bending motion shown in FIG. 7, the derivation unit 46 may derive the distance between the end portions such as the fingertips and toes of the hand or the distance between the fingertips of the hand and the knee as a feature amount. ..
  • the derivation unit 46 may derive the fluctuation and the fluctuation range of the position of the joint or the terminal portion as a feature amount. As a result, it is possible to see the wobbling of the body of the subject 1 when performing a specific movement.
  • the evaluation unit 47 evaluates the physical function, which is the ability of the subject 1 to perform the physical movement, based on the feature amount derived by the out-licensing unit 46. For example, the evaluation unit 47 may evaluate the physical function of the subject 1 based on the joint angle derived by the out-licensing unit 46. Further, the evaluation unit 47 may evaluate the upper limb function or the lower limb function, which is the ability to operate using the upper limb or the lower limb of the subject 1, as the physical function. The evaluation unit 47 may evaluate the physical function of the subject 1 based on, for example, the evaluation table of the physical function corresponding to each motion included in the specific motion. The evaluation standard is a threshold value or a range of each feature amount in a predetermined operation.
  • the evaluation table may be stored in the storage unit 49.
  • FIG. 8 is a diagram showing an example of evaluation of physical function in stepping motion.
  • FIG. 9 is a diagram showing an example of evaluation of physical function in forward bending motion.
  • the evaluation unit 47 evaluates the physical function based on the evaluation table in which the evaluation criteria in the stepping motion and the forward bending motion and the evaluation are linked.
  • the evaluation unit 47 determines whether or not, for example, the joint angle ⁇ related to the flexion of the knee joint, the distance of the tip of the foot from the floor surface, the fluctuation range of the knee joint position, and the like are equal to or more than the threshold value. Or, it is determined whether or not it is within a predetermined range.
  • the determination unit 48 also determines whether or not the subject 1 is assisted by another person.
  • the evaluation unit 47 determines whether or not the distance between the end parts such as the fingertips and the toes of the hand or the distance between the fingertips of the hand and the knee is equal to or more than the threshold value. Is determined. Then, the evaluation unit 47 determines which evaluation standard in the evaluation table the determination result applies to. As shown in FIGS. 8 and 9, the evaluation may be expressed in the order of superiority or inferiority, or may be expressed as a score or a percentage.
  • the determination unit 48 determines the state of activities of daily living of the subject 1 based on the physical function evaluated by the evaluation unit 47. More specifically, the determination unit 48 evaluates the state of activities of daily living based on the evaluation of the physical function in each movement included in the specific movement. For example, the determination unit 48 may determine the state of activities of daily living performed using the upper limbs or the lower limbs based on the upper limb function or the lower limb function evaluated by the evaluation unit 47.
  • FIG. 10 is a diagram showing an example of determination of a state of activities of daily living in a stepping motion.
  • FIG. 11 is a diagram showing an example of determination of the state of activities of daily living in the forward bending motion.
  • the determination unit 48 independently performs the activities of daily living related to the predetermined activities of daily living by the subject 1 based on the evaluation of the physical functions in the stepping motion and the forward bending motion. By determining whether or not the subject 1 can perform activities of daily living, the state of activities of daily living of the subject 1 is determined. For example, when it is determined that the evaluation of the physical function of the subject 1 is level 1 in the stepping motion, the determination unit 48 performs all the activities of daily living shown in FIGS. 10 and 11 by the subject 1 alone. Is determined to be possible.
  • the determination unit 48 may perform predetermined activities of daily living such as excretion, bathing, indoor movement, step up / down, transfer, indoor / outdoor movement, washing and cleaning, based on the evaluation of physical functions in stepping motion and forward bending motion. , And, for example, it is determined that the conditions of predetermined activities of daily living such as excretion, changing clothes, and dressing are all good. Further, when it is determined that the evaluation of the physical function of the subject 1 is level 2 or lower in the stepping motion and the forward bending motion, the determination unit 48 is based on the determination criteria (not shown) according to each evaluation level. Determine which activities of daily living can be performed alone.
  • the determination unit 48 may determine the state of activities of daily living according to the degree of independence of the subject 1, such as independence, watching, partial assistance, and total assistance.
  • the determination unit 48 may extract information regarding the state of activities of daily living of the subject 1 to be output to the presentation unit 37, for example, based on the instruction of the user 2 received by the reception unit 36.
  • the storage unit 49 is a storage device that stores image data acquired by the acquisition unit 41.
  • the storage unit 49 also stores a computer program or the like for execution by the information processing unit 44.
  • the storage unit 49 is realized by a semiconductor memory, an HDD, or the like.
  • FIG. 12 is a flowchart showing a first example of the operation of the activities of daily living determination system 10 according to the embodiment.
  • the activities of daily living determination system 10 acquires an image taken by the camera 20 when the reception unit 36 receives an instruction to start the operation, and identifies the target person 1 in the acquired image. ..
  • the identification of the target person 1 in the image may be performed by the information processing unit 33 or may be performed by the information processing unit 44.
  • a known image analysis technique is used to identify the subject 1 in the image.
  • the instruction unit 31 performs a specific motion on the subject 1. (S11).
  • the instruction unit 31 may instruct the target person 1 to perform the sitting position movement, or may not instruct the subject person 1 to perform the sitting position movement, and recognizes that the target person 1 performs the sitting position movement. May instruct subject 1 to stand up and maintain a standing position (see (b) in FIG. 2A).
  • the acquisition unit 41 acquires an image (hereinafter, also referred to as image data) including the target person 1 who performs a specific operation according to the instruction of the instruction unit 31 as a subject (S12).
  • image data an image
  • the acquisition unit 41 of the activities of daily living determination device 40 acquires the image acquired by the acquisition unit 32 of the activities of daily living determination device 30.
  • the image data output from the activities of daily living determination device 30 may be concealed by the information processing unit 33.
  • the acquisition unit 32 may acquire a moving image composed of a plurality of images. In this case, the acquisition unit 41 acquires the moving image acquired by the acquisition unit 32.
  • the estimation unit 45 estimates the skeleton model of the subject 1 in the image based on the image acquired by the acquisition unit 41 (S13). For example, in step S13, the estimation unit 45 estimates the two-dimensional skeleton model of the subject 1 in the image, uses the estimated two-dimensional skeleton model as an input, and uses the machine learning model to obtain three-dimensional coordinate data (so-called three-dimensional skeleton model). ) May be estimated. Further, in step S13, the estimation unit 45 may estimate the three-dimensional coordinate data based on the image acquired by the acquisition unit 41.
  • the derivation unit 46 derives a feature amount indicating the characteristics of the movement of the skeleton of the subject 1 in a specific motion based on the skeleton model estimated by the estimation unit 45 (S14). More specifically, in step S14, the derivation unit 46 derives the feature amount based on at least one position of the joint, the non-joint site, and the terminal site of the subject 1 in the skeletal model. For example, referring again to FIG. 6, the derivation unit 46 is connected via a predetermined joint 100 based on the skeletal model, and is the position of the first site 101, which is a non-joint site or a terminal site in the subject 1.
  • the joint angle ⁇ involved in at least one of flexion, extension, abduction, adduction, external rotation, and internal rotation is derived.
  • the evaluation unit 47 evaluates the physical function, which is the ability of the subject 1 to perform the physical movement, based on the feature amount derived by the out-licensing unit 46 (S15). For example, the evaluation unit 47 may evaluate the physical function of the subject 1 based on the joint angle ⁇ derived by the out-licensing unit 46 in step S14.
  • the evaluation method of the physical function a specific example has been described with reference to FIGS. 8 and 9, and the description thereof is omitted here.
  • the determination unit 48 determines the state of activities of daily living of the subject 1 based on the physical function evaluated by the evaluation unit 47 (S16). More specifically, the determination unit 48 determines the state of activities of daily living based on the evaluation of the physical function in each movement included in the specific movement. As for the determination method, a specific example has been described with reference to FIGS. 10 and 11, and the description thereof will be omitted here.
  • the activities of daily living determination system 10 may execute the processes of steps S11 to S16 as one loop process each time the target person 1 performs each operation of a specific operation, or may execute the process of step S11. It may be executed based on the image of each operation, and the processing of steps S12 to S16 may be performed after the target person 1 finishes the specific operation.
  • the target person 1 is made to perform all the specific movements, but even if a specific movement is selected according to the physical function of the target person 1 and the target person 1 is instructed to perform the movement. good.
  • the subject 1 when the subject 1 cannot perform the standing posture of (b) from the sitting posture of FIG. 2A even with assistance, for example, (b), (c) and (d) of FIG. 2A, etc.
  • the subject 1 may be instructed to perform the operation performed in the sitting position shown in FIGS. 2B and 2C without instructing the operation to be performed in the standing position.
  • the activities of daily living determination system 10 may determine that the target person 1 cannot stand up based on the image in which the target person 1 appears, or may determine by the instruction of the user 2. The determination may be made by the determination unit 48. At this time, the user 2 may give an instruction by a gesture such as waving one hand to the left or right, taking the shape of a cross with both arms, or giving an instruction by voice such as saying a short word such as "no". Alternatively, the instruction may be given by operating a touch panel or a button on the remote controller. The instruction of the user 2 is received by the reception unit 36 and output to the activity of daily living determination device 40.
  • FIG. 13 is a flowchart showing a second example of the operation of the activities of daily living determination system 10 according to the embodiment.
  • an example of presenting information on the state of activities of daily living extracted based on the instruction of the user 2 from the state of activities of daily living of the subject 1 determined in the first example will be described.
  • the determination unit 48 outputs the state of activities of daily living of the subject 1 (hereinafter, also referred to as a determination result) to the output unit 42.
  • the output unit 42 outputs the acquired determination result to the activities of daily living determination device 30.
  • the output determination result may be concealed by the information processing unit 44.
  • the communication unit 35 of the activities of daily living determination device 30 acquires the determination result.
  • the presentation unit 37 presents to the user 2 the determination result of the state of activities of daily living of the subject 1 determined by the determination unit 48 in step S16 (S21).
  • the presenting unit 37 may present only the result of the determination in each operation of the specific operation that is determined to be inoperable by itself.
  • the reception unit 36 receives an instruction from the user 2 (S22).
  • the instruction of the user 2 may be a designation of an extraction condition to be extracted from the determination result under predetermined conditions, a designation of a method of presenting the determination result, or a designation of the extraction condition and the presentation method. ..
  • the determination unit 48 extracts information regarding the state of activities of daily living based on the instruction of the user 2 (S23).
  • the extraction condition for example, the activities of daily living related to transfer may be weighted and the priority to be extracted may be set high.
  • the presentation unit 37 presents the information regarding the state of activities of daily living extracted by the determination unit 48 in step S23 to the user 2 (S24).
  • the instruction unit 31 instructing the target person 1 to perform a specific operation and the target person 1 performing a specific operation in accordance with the instruction by the instruction unit 31 are used as subjects.
  • the estimation unit 45 that estimates the skeleton model of the subject 1 in the image based on the image acquired by the acquisition unit 32, and the skeleton model estimated by the estimation unit 45.
  • the derivation unit 46 that derives the feature amount indicating the characteristics of the movement of the skeleton of the subject 1 in a specific movement, and the ability to perform the physical movement of the subject 1 based on the feature amount derived by the derivation unit 46. It is provided with an evaluation unit 47 for evaluating the physical function, and a determination unit 48 for determining the state of activities of daily living of the subject 1 based on the physical function evaluated by the evaluation unit 47.
  • Such an activity of daily living determination system 10 can easily evaluate the physical function of the subject 1 based on a feature amount indicating the characteristics of the movement of the skeleton of the subject 1 in a specific motion. Moreover, it is possible to accurately evaluate the state of activities of daily living of the subject 1.
  • the derivation unit 46 is characterized by the movement of the skeleton based on at least one position of the joint, the non-joint portion, and the terminal portion of the subject 1 in the skeletal model. Derivation of the feature quantity indicating.
  • Such an activity of daily living determination system 10 is based on the position of a part of the joint, the non-joint part, and the terminal part of the subject 1 in the skeletal model that can be more reliably recognized in the movement performed by the subject 1.
  • the characteristics of the movement of the skeleton can be derived.
  • the acquisition unit 32 acquires a moving image composed of a plurality of images
  • the estimation unit 45 obtains a moving image based on the moving image acquired by the acquisition unit 32. Estimate the skeleton model for each of the multiple images that make up the image.
  • Such an activity of daily living determination system 10 derives a feature amount indicating the characteristics of the movement of the skeleton of the subject 1 based on the skeleton model in the moving image of the subject 1 performing a specific movement. It is possible to accurately determine the state of activities of daily living of the subject 1.
  • the estimation unit 45 estimates the two-dimensional skeleton model of the subject 1 based on the image, and uses the machine learning model based on the estimated two-dimensional skeleton model.
  • the three-dimensional skeleton model of the subject 1 is estimated, and the derivation unit 46 is a feature quantity indicating the characteristics of the movement of the skeleton of the subject 1 in a specific motion based on the three-dimensional skeleton model estimated by the estimation unit 45. Is derived.
  • Such an activity of daily living determination system 10 can determine the activity of daily living of the subject 1 based on an image obtained from one camera 20.
  • the evaluation unit 47 evaluates the upper limb function or the lower limb function, which is the ability to operate using the upper limb or the lower limb of the subject 1, as the physical function, and the determination unit 47. 48 determines the state of activities of daily living performed using the upper limbs or lower limbs based on the upper limb function or lower limb function evaluated by the evaluation unit 47.
  • the activity of daily living determination system 10 can evaluate the physical function separately for the upper limb function and the lower limb function, it is possible to more accurately determine the state of the activity of daily living of the subject 1.
  • the derivation unit 46 is connected via a predetermined joint based on the skeletal model, and is a first portion which is a non-joint portion or a terminal portion in the subject 1. And the position of the second part different from the first part are derived, and based on the straight line connecting the derived position of the first part and the position of the second part, the flexion of a predetermined joint is performed as a feature amount. , Extension, abduction, adduction, external rotation, and at least one of the internal rotations are derived, and the evaluation unit 47 evaluates the physical function of the subject 1 based on the derived joint angles. do.
  • Such an activity of daily living determination system 10 can derive the joint angle accompanying the movement of a predetermined joint based on the positions of two parts connected to the predetermined joint, so that the movement of the skeleton can be performed more accurately. It is possible to derive a feature quantity that indicates a feature.
  • the evaluation unit 47 is the subject as a physical function. 1 evaluates the upper limb function or the lower limb function which is the ability to move using the upper limb or the lower limb, and the determination unit 48 evaluates the upper limb function or the lower limb function evaluated by the evaluation unit 47, and the upper limb function of the subject 1 is evaluated. Or, determine the state of daily life movements performed using the lower limbs.
  • Such an activity of daily living determination system 10 can derive a joint angle associated with a predetermined joint movement in a movement using the upper limb or the lower limb, and thus is performed more accurately in daily life using the upper limb or the lower limb. It is possible to determine the state of activities of daily living.
  • the activities of daily living determination system 10 further receives an instruction regarding the operation of the presenting unit 37 that presents the state of the activities of daily living of the target person 1 determined by the determination unit 48 to the user 2.
  • the reception unit 36 is provided, and the determination unit 48 extracts and presents information regarding the state of activities of daily living of the subject 1 to be output to the presentation unit 37 based on the instruction of the user 2 received by the reception unit 36.
  • the unit 37 presents the information extracted by the determination unit 48 to the user 2.
  • Such an activity of daily living determination system 10 can extract and present information necessary for the user 2 from the information regarding the state of the activities of daily living of the target person 1 based on the instruction of the user 2.
  • the activities of daily living determination method executed by a computer such as the activities of daily living determination system 10 are specific according to the instruction step S11 for instructing the target person 1 to perform a specific operation and the instruction according to the instruction step S11.
  • An acquisition step S12 for acquiring an image including the target person 1 to perform an operation as a subject
  • an estimation step S13 for estimating a skeleton model of the target person 1 in the image based on the image acquired by the acquisition step S12
  • an estimation step S13 for estimating a skeleton model of the target person 1 in the image based on the image acquired by the acquisition step S12.
  • the derivation step S14 for deriving the feature amount indicating the characteristics of the skeleton movement of the subject 1 in a specific motion, and the derivation step S14 based on the feature amount derived by the derivation step S14, the subject.
  • the evaluation step S15 for evaluating the physical function which is the ability to perform the physical movement of 1 and the determination step S16 for determining the state of the activities of daily living of the subject 1 based on the physical function evaluated by the evaluation step S15. , including.
  • Such an activity of daily living determination method can easily and easily evaluate the physical function of the subject 1 based on the feature amount indicating the characteristics of the movement of the skeleton of the subject 1 in a specific motion. , It is possible to accurately evaluate the state of activities of daily living of the subject 1.
  • the activities of daily living determination device 40 includes an acquisition unit 41 for acquiring an image including the target person 1 performing a specific operation as a subject, and the target person 1 in the image based on the image acquired by the acquisition unit 41.
  • An estimation unit 45 that estimates the skeleton model
  • a derivation unit 46 that derives a feature amount that indicates the characteristics of the movement of the skeleton of the subject 1 in a specific motion based on the skeleton model estimated by the estimation unit 45
  • a derivation unit Based on the feature amount derived by 46, the evaluation unit 47 that evaluates the physical function that is the ability of the subject 1 to perform the physical movement, and the subject 1 based on the physical function evaluated by the evaluation unit 47. It is provided with a determination unit 48 for determining the state of activities of daily living.
  • Such an activity of daily living determination device 40 can easily evaluate the physical function of the subject 1 based on a feature amount indicating the characteristics of the movement of the skeleton of the subject 1 in a specific motion. Moreover, it is possible to accurately evaluate the state of activities of daily living of the subject 1.
  • the activities of daily living determination device 30 acquires an image including the instruction unit 31 instructing the target person 1 to perform a specific operation and the target person 1 performing a specific operation according to the instruction by the instruction unit 31 as a subject.
  • the image acquired by the acquisition unit 32 and the acquisition unit 32 by communication is output to the activity of daily living determination device 40 for determining the state of the activity of daily living of the subject 1, and the activity of daily living determination device is determined.
  • a communication unit 35 for acquiring information on the state of activities of daily living of the subject 1 from 40 is provided.
  • Such an activity of daily living determination device 30 outputs an image of the object 1 performing a specific operation to the activity of daily living determination device 40, so that the object is determined by the activity of daily living determination device 40. Information on the state of activities of daily living of 1 can be acquired.
  • another processing unit may execute the processing executed by the specific processing unit. Further, the order of the plurality of processes may be changed, or the plurality of processes may be executed in parallel.
  • each component may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • each component may be realized by hardware.
  • Each component may be a circuit (or an integrated circuit). These circuits may form one circuit as a whole, or may be separate circuits from each other. Further, each of these circuits may be a general-purpose circuit or a dedicated circuit.
  • a recording medium such as a system, an apparatus, a method, an integrated circuit, a computer program, or a computer-readable CD-ROM. Further, it may be realized by any combination of a system, an apparatus, a method, an integrated circuit, a computer program and a recording medium.
  • the present invention may be realized as a method for determining an activity of daily living, or may be realized as a program for causing a computer to execute the method for determining an activity of daily living, and such a program is recorded. It may be realized as a non-temporary recording medium that can be read by a computer.
  • the activities of daily living determination system may be realized as a single device (for example, an information processing device) such as an information terminal, or may be realized by a plurality of devices.
  • the activities of daily living determination system may be realized as a client-server system.
  • the components included in the activities of daily living determination system described in the above embodiment may be distributed to the plurality of devices.
  • Target person User 10 Activities of daily living determination system 30 Activities of daily living determination device 31 Instruction unit 32 Acquisition unit 35 Communication unit 36 Reception unit 37 Presentation unit 40 Activities of daily living determination device 41 Acquisition unit 45 Estimating unit 46 Derivation unit 47 Evaluation unit 48 Judgment unit

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

日常生活動作状態判定システム（１０）は、対象者（１）に特定の動作を行うように指示する指示部（３１）と、指示部（３１）による指示に従って特定の動作を行う対象者（１）を被写体として含む画像を取得する取得部（３２）と、取得部（３２）により取得された画像に基づいて、画像における対象者（１）の骨格モデルを推定する推定部（４５）と、推定部（４５）により推定された骨格モデルに基づいて、特定の動作における対象者（１）の骨格の動きの特徴を示す特徴量を導出する導出部（４６）と、導出部（４６）により導出された特徴量に基づいて対象者（１）の身体動作を行うための能力である身体機能を評価する評価部（４７）と、評価部（４７）により評価された身体機能に基づいて、対象者（１）の日常生活動作の状態を判定する判定部（４８）と、を備える。

Description

日常生活動作状態判定システム、日常生活動作状態判定方法、プログラム、日常生活動作状態判定装置、及び、日常生活動作状態判定デバイス
　本発明は、日常生活動作状態判定システム、日常生活動作状態判定方法、プログラム、日常生活動作状態判定装置、及び、日常生活動作状態判定デバイスに関する。
　従来、介護施設では、高齢者が自立して生活できるように訓練（いわゆる、リハビリテーション）を行うサービスがある。リハビリテーションでは、訓練計画を作成する資格を有する介護施設の職員が高齢者の居宅を訪問して、高齢者の身体機能及び日常生活動作（ＡＤＬ：Ａｃｔｉｖｉｔｉｅｓ　ｏｆ　Ｄａｉｌｙ　Ｌｉｖｉｎｇ）の状態を判定し、ＡＤＬの状態に応じた訓練計画を作成する。リハビリテーションは、作成された訓練計画に従って行われる。
　例えば、特許文献１には、リハビリ訓練において、所定の動作を実行する対象者の動作情報を取得し、取得された動作情報を解析して、指定された部位の動きに関する解析値に基づく表示情報を表示する動作情報処理装置が開示されている。
特開２０１５－０６１５７９号公報
　しかしながら、特許文献１に記載の技術では、リハビリ訓練の計画を作成するにあたり、対象者の身体機能及び日常生活動作の状態が正確に判定されていないと、対象者のリハビリテーションを正確に評価することができない。
　本発明は、対象者の日常生活動作の状態を、簡便に、かつ、正確に判定することができる日常生活動作状態判定システム、日常生活動作状態判定方法、プログラム、日常生活動作状態判定装置、及び、日常生活動作状態判定デバイスを提供する。
　本発明の一態様に係る日常生活動作状態判定システムは、対象者に特定の動作を行うように指示する指示部と、前記指示部による指示に従って前記特定の動作を行う前記対象者を被写体として含む画像を取得する取得部と、前記取得部により取得された前記画像に基づいて、前記画像における前記対象者の骨格モデルを推定する推定部と、前記推定部により推定された前記骨格モデルに基づいて、前記特定の動作における前記対象者の骨格の動きの特徴を示す特徴量を導出する導出部と、前記導出部により導出された前記特徴量に基づいて、前記対象者の身体動作を行うための能力である身体機能を評価する評価部と、前記評価部により評価された前記身体機能に基づいて、前記対象者の日常生活動作の状態を判定する判定部と、を備える。
　本発明の一態様に係る日常生活動作状態判定方法は、対象者に特定の動作を行うように指示する指示ステップと、前記指示ステップによる指示に従って前記特定の動作を行う前記対象者を被写体として含む画像を取得する取得ステップと、前記取得ステップにより取得された前記画像に基づいて、前記画像における前記対象者の骨格モデルを推定する推定ステップと、前記推定ステップにより推定された前記骨格モデルに基づいて、前記特定の動作における前記対象者の骨格の動きの特徴を示す特徴量を導出する導出ステップと、前記導出ステップにより導出された前記特徴量に基づいて、前記対象者の身体動作を行うための能力である身体機能を評価する評価ステップと、前記評価ステップにより評価された前記身体機能に基づいて、前記対象者の日常生活動作の状態を判定する判定ステップと、を含む。
　本発明の一態様に係るプログラムは、前記制御方法をコンピュータに実行させるためのプログラムである。
　本発明の一態様に係る日常生活動作状態判定装置は、特定の動作を行う対象者を被写体として含む画像を取得する取得部と、前記取得部により取得された前記画像に基づいて、前記画像における前記対象者の骨格モデルを推定する推定部と、前記推定部により推定された前記骨格モデルに基づいて、前記特定の動作における前記対象者の骨格の動きの特徴を示す特徴量を導出する導出部と、前記導出部により導出された前記特徴量に基づいて、前記対象者の身体動作を行うための能力である身体機能を評価する評価部と、前記評価部により評価された前記身体機能に基づいて、前記対象者の日常生活動作の状態を判定する判定部と、を備える。
　本発明の一態様に係る日常生活動作状態判定デバイスは、対象者に特定の動作を行うように指示する指示部と、前記指示部による指示に従って前記特定の動作を行う前記対象者を被写体として含む画像を取得する取得部と、通信により、前記取得部により取得された前記画像を、前記対象者の日常生活動作の状態を判定する日常生活動作状態判定装置に出力し、かつ、前記日常生活動作状態判定装置から前記対象者の日常生活動作の状態に関する情報を取得する通信部と、を備える。
　本発明の一態様に係る日常生活動作状態判定システムは、対象者に特定の動作を行う指示の映像を表示する指示部と、前記指示の映像に従って前記特定の動作を行う前記対象者を、カメラにより撮影した画像に基づいて、前記特定の動作における前記対象者の３次元骨格モデルを推定する推定部と、前記３次元骨格モデルに基づいて、前記対象者の関節の動きに関わる関節角度を導出する導出部と、前記特定の動作における前記３次元骨格モデルの位置と、前記関節角度とが、身体機能を表す評価テーブルの条件を満たすか否かを判断することにより、前記対象者の身体動作を行うための能力である身体機能を評価する評価部と、前記評価部により評価された前記身体機能に基づいて、前記身体機能に関連した日常生活動作が前記対象者により行うことができるか否かを判定することにより、前記対象者の日常生活の状態を判定して出力する判定部とを備えた情報処理装置による。
　本発明によれば、対象者の日常生活動作の状態を、簡便に、かつ、正確に判定することができる日常生活動作状態判定システム、日常生活動作状態判定方法、プログラム、日常生活動作状態判定装置、及び、日常生活動作状態判定デバイスが実現される。
図１は、実施の形態に係る日常生活動作状態判定システムの概要を示す図である。 図２Ａは、特定の動作の一例を示す図である。 図２Ｂは、特定の動作の一例を示す図である。 図２Ｃは、特定の動作の一例を示す図である。 図３は、実施の形態に係る日常生活動作状態判定システムの機能構成の一例を示すブロック図である。 図４は、対象者の２次元骨格モデルの推定を概念的に示す図である。 図５は、３次元骨格モデルの推定を概念的に示す図である。 図６は、足踏み動作における膝関節の屈曲に関わる関節角度の一例を示す図である。 図７は、前屈動作を行う対象者の２次元骨格モデルの一例を示す図である。 図８は、足踏み動作における身体機能の評価の一例を示す図である。 図９は、前屈動作における身体機能の評価の一例を示す図である。 図１０は、足踏み動作における日常生活動作の状態の判定の一例を示す図である。 図１１は、前屈動作における日常生活動作の状態の判定の一例を示す図である。 図１２は、実施の形態に係る日常生活動作状態判定システムの動作の第１の例を示すフローチャートである。 図１３は、実施の形態に係る日常生活動作状態判定システムの動作の第２の例を示すフローチャートである。
　以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。
　（実施の形態）
　［１．概要］
　まず、実施の形態に係る日常生活動作状態判定システムの概要について説明する。図１は、実施の形態に係る日常生活動作状態判定システム１０の概要を示す図である。
　実施の形態に係る日常生活動作状態判定システム１０は、特定の動作を行う対象者１の画像に基づいて推定された骨格モデルから骨格の動きの特徴を示す特徴量を導出し、当該特徴量に基づいて評価された対象者１の身体機能に基づいて、対象者１の日常生活動作の状態を判定するシステムである。例えば、日常生活動作状態判定システム１０は、ユーザ２が対象者１の状況を把握するための情報収集、つまり、アセスメントを行う際に使用される。
　対象者１は、例えば、疾患、外傷、高齢化、又は、障害により身体を動かすための能力である身体機能が低下した人である。ユーザ２は、例えば、理学療法士、作業療法士、看護師、又は、リハビリ専門職員である。
　図１に示されるように、日常生活動作状態判定システム１０のユーザ２は、対象者１の居宅を訪問してアセスメントを行う際に、日常生活動作状態判定デバイス３０を用いて、対象者１の日常生活動作の状態を判定する。日常生活動作状態判定デバイス３０は、例えば、タブレット端末である。日常生活動作状態判定デバイス３０がカメラ２０を備える場合、日常生活動作状態判定デバイス３０は、例えば、机の上など、特定の動作を行う対象者１を撮影できる位置に設置されてもよい。同様に、カメラ２０が日常生活動作状態判定デバイス３０と独立して存在する場合、対象者１を撮影できる位置にカメラ２０を設置する。
　ユーザ２は、対象者１が特定の動作を行う間、対象者１の傍に付き添い、対象者１が安全に動作を行えるように見守り、必要に応じて対象者１を補助してもよい。
　特定の動作は、複数種類の動作を含む一連の動作であり、上肢及び下肢を用いた動作に関わる全ての関節及び骨格の動きを含む。図２Ａ、図２Ｂ及び図２Ｃは、特定の動作の一例を示す図である。
　図２Ａ～図２Ｃに示されるように、特定の動作は、例えば、（ａ）座位、（ｂ）立ち上がって立位を保持する、（ｃ）足踏み、（ｄ）背中で両手を繋ぐ、（ｅ）手のひらを裏向きにする、（ｆ）手のひらを表向きにする、（ｇ）前屈、（ｈ）エイエイオー、（ｉ）グーパー、（ｊ）後頭部で両手を組む、（ｋ）バッチグーの動作を含む。なお、（ａ）座位は、ユーザ２により目視で判断されてもよい。
　例えば、対象者１は、（ａ）座位から、日常生活動作状態判定システム１０の指示に従って、（ｂ）立ち上がり、立位保持する。このとき、対象者１は、両手を胸の前で組んで、立ち上がる。（ａ）から（ｂ）の動作では、対象者１は、脚の力だけで立ち上がれるか否かを日常生活動作状態判定システム１０により評価される。日常生活動作状態判定システム１０は、特定の動作の指示において、１つの動作を行った後に、次の動作の指示を行ってもよい。また、対象者１は、例えば、（ｃ）足踏み動作の後に、その場で１８０度方向転換し、カメラ２０に背中を向けて、（ｄ）背中で両手を繋ぐ動作を行ってもよい。この場合、（ｃ）の動作と（ｄ）の動作との間の方向転換の動作も、対象者１の日常生活動作状態の判定に用いられてもよい。
　日常生活動作（ＡＤＬ）には、いわゆる手段的日常生活動作（ＩＡＤＬ：Ｉｎｓｔｒｕｍｅｎｔａｌ　Ａｃｔｉｖｉｔｉｅｓ　ｏｆ　Ｄａｉｌｙ　Ｌｉｖｉｎｇ）も含まれる。このような日常生活動作は、食事、排泄、入浴、更衣、整容、及び移乗の動作に加え、屋内移動、屋外移動、階段昇降、調理、洗濯及び掃除の動作も含む。日常生活動作状態判定システム１０は、特定の動作を行う対象者１が映る画像に基づいて、上記の日常生活動作に関する生活動作を対象者１が独りで行うことができるか否かを判定することにより、対象者１の日常生活動作の状態を判定する。具体的な日常生活動作及び当該日常生活動作に関する生活動作については、後述する。
　［２．機能構成］
　次に、日常生活動作状態判定システム１０の機能構成について、図３を参照しながら説明する。図３は、実施の形態に係る日常生活動作状態判定システムの機能構成の一例を示すブロック図である。
　図３に示されるように、実施の形態に係る日常生活動作状態判定システム１０は、カメラ２０と、日常生活動作状態判定デバイス３０と、日常生活動作状態判定装置４０と、を備える。
　［カメラ］
　カメラ２０は、特定の動作を行う対象者１を被写体として含む画像を撮影する。カメラ２０は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを用いたカメラであってもよいし、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサを用いたカメラであってもよい。
　カメラ２０には、例えば、スマートフォン、又は、タブレット端末などの携帯型の情報端末に搭載されたカメラであってもよく、パーソナルコンピュータなどの据え置き型の情報端末に搭載されたカメラであってもよい。
　また、例えば、図１に示されるように、カメラ２０は、日常生活動作状態判定デバイス３０に備えられてもよい。
　［日常生活動作状態判定デバイス］
　日常生活動作状態判定デバイス３０は、対象者１に特定の動作を行うように指示し、指示に従って特定の動作を行う対象者１を被写体として含む画像を取得し、取得した画像を日常生活動作状態判定装置４０に出力する。例えば、図１に示されるように、日常生活動作状態判定デバイス３０は、カメラ２０を備えてもよい。
　日常生活動作状態判定デバイス３０は、スマートフォン、タブレット端末、又は、パーソナルコンピュータなどであってもよい。日常生活動作状態判定デバイス３０は、指示部３１と、取得部３２と、通信部３５と、を備える。日常生活動作状態判定デバイス３０は、さらに、情報処理部３３と、記憶部３４と、受付部３６と、を備えてもよい。
　指示部３１は、対象者１に特定の動作を行うように指示する。指示部３１は、音声、文字及び映像の少なくとも１つにより対象者１に指示してもよい。指示部３１は、例えば、液晶パネル又は有機ＥＬ（Ｅｌｅｃｔｒｏ　Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルなどの表示パネル、スピーカ、及び、イヤフォンの少なくともいずれかである。例えば、音声と映像とで指示が行われる場合、提示部３７は、表示パネルとスピーカ又はイヤフォンであってもよいし、表示パネル、スピーカ及びイヤフォンであってもよい。
　なお、指示部３１は、指示の態様によっては、後述する提示部３７として機能してもよく、提示部３７の提示態様によっては、提示部３７が指示部３１として機能してもよい。
　取得部３２は、カメラ２０によって撮影された画像の画像データを取得する。画像データは、指示部３１による指示に従って特定の動作を行う対象者１を被写体として含む画像のデータである。取得部３２は、具体的には、カメラ２０と通信を行う通信モジュールである。取得部３２によって行われる通信は、有線通信であってもよいし、無線通信であってもよい。取得部３２は、カメラ２０と通信可能であればよく、通信規格は、特に限定されない。
　通信部３５は、日常生活動作状態判定デバイス３０がインターネットなどの広域通信ネットワーク５０を介して、日常生活動作状態判定装置４０と通信を行うための通信モジュール（通信回路）である。通信部３５によって行われる通信は、無線通信であってもよいし、有線通信であってもよい。通信に用いられる通信規格についても特に限定されない。通信部３５は、取得部３２により取得された画像を、対象者１の日常生活動作の状態を判定する日常生活動作状態判定装置４０に出力し、かつ、日常生活動作状態判定装置４０から対象者１の日常生活動作の状態に関する情報を取得する。
　情報処理部３３は、日常生活動作状態判定デバイス３０の動作を制御するための情報処理、及び、記憶部３４への画像データの記憶などを行う。日常生活動作状態判定デバイス３０の動作を制御するための情報処理は、受付部３６への画像の表示制御、及び、ユーザ２により入力された音声の音声認識処理などを行う。情報処理部３３は、具体的には、プロセッサ、マイクロコンピュータ、または専用回路によって実現される。情報処理部３３は、プロセッサ、マイクロコンピュータ、または専用回路のうちの２つ以上の組み合わせによって実現されてもよい。
　記憶部３４は、取得部３２によって取得された画像データが蓄積される記憶装置である。記憶部３４には、情報処理部３３が実行するためのコンピュータプログラムなども記憶されている。記憶部３４は、具体的には、半導体メモリまたはＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などによって実現される。
　受付部３６は、ユーザ２の操作に関する指示を受け付ける。例えば、受付部３６は、ユーザ２が判定部４８による判定における重み付けの条件、判定結果の抽出条件、又は、提示部３７への提示方法などの条件を日常生活動作状態判定装置４０に送信するために行うための入力操作を受け付ける。受付部３６は、例えば、タッチパネル、表示パネル、ハードウェアボタン、マイクロフォン、又は、カメラなどによって実現されてもよい。タッチパネルは、例えば、静電容量方式のタッチパネルであってもよく、抵抗膜方式のタッチパネルであってもよい。表示パネルは、画像の表示機能、及び、ユーザの手動入力を受け付ける機能を有し、液晶パネル又は有機ＥＬパネルなどの表示パネルに表示されるテンキー画像などへの入力操作を受け付ける。マイクロフォンは、ユーザの音声入力を受け付ける。カメラは、ユーザのジェスチャーによる入力を受け付ける。
　ここでは、受付部３６が日常生活動作状態判定デバイス３０の構成要素である例を示しているが、受付部３６は、日常生活動作状態判定システム１０の他の構成要素の少なくとも１つと一体化されていてもよい。
　提示部３７は、後述する判定部４８により判定された対象者１の日常生活動作の状態をユーザ２に提示する。また、提示部３７は、ユーザ２の指示に基づいて判定部４８により抽出された対象者１の日常生活動作の状態に関する情報をユーザ２に提示する。提示部３７は、例えば、液晶パネル、又は、有機ＥＬパネルなどの表示パネル、スピーカ、及び、イヤフォンの少なくともいずれかである。なお、上述したように、提示部３７は、指示部３１として機能してもよい。つまり、提示部３７は、指示部３１と一体化されてもよい。
　［日常生活動作状態判定装置］
　日常生活動作状態判定装置４０は、特定の動作を行う対象者１を被写体として含む画像を取得して、取得した画像に基づいて、対象者１の身体機能を評価し、当該身体機能に基づいて、対象者１の日常生活動作の状態を判定する。図１に示されるように、日常生活動作状態判定装置４０は、例えば、サーバ上に設置された装置である。
　日常生活動作状態判定装置４０は、例えば、通信部４３と、情報処理部４４と、記憶部４９とを備える。
　通信部４３は、特定の動作を行う対象者１を被写体として含む画像を取得する取得部４１と、対象者１の日常生活動作の状態に関する情報を出力する出力部４２とを有する。取得部４１は、複数の画像から構成される動画像を取得し、取得した動画像を情報処理部４４に出力してもよい。このとき、取得部４１により取得された動画像は、記憶部４９に記憶される。通信部４３は、日常生活動作状態判定装置４０がインターネットなどの広域通信ネットワーク５０を介して、日常生活動作状態判定デバイス３０と通信を行うための通信モジュールである。
　情報処理部４４は、推定部４５と、導出部４６と、評価部４７と、判定部４８とを有する。情報処理部４４は、対象者１の日常生活動作の状態を判定するための情報処理、及び、記憶部４９へのデータの記憶などを行う。
　推定部４５は、取得部４１により取得された画像に基づいて、当該画像における対象者１の骨格モデルを推定する。骨格モデルは、２次元骨格モデルであってもよく、３次元骨格モデルであってもよい。例えば、推定部４５は、画像に基づいて、対象者１の２次元骨格モデルを推定し、推定した２次元骨格モデルに基づいて、機械学習モデルを用いて対象者１の３次元骨格モデルを推定する。ここでは、２次元骨格モデル及び３次元骨格モデルの推定の一例について、図４及び図５を参照しながら説明する。
　図４は、対象者の２次元骨格モデルの推定を概念的に示す図である。図４に示されるように、２次元骨格モデルは、画像に映る対象者１の関節の位置（図中の丸）をリンク（図中の線）で結んだモデルである。２次元骨格モデルの推定には、既存の姿勢及び骨格の推定アルゴリズムが用いられる。
　さらに、推定部４５は、推定された２次元骨格モデルから３次元骨格モデルを推定してもよい。図５は、３次元骨格モデルの推定を概念的に示す図である。この機械学習モデルは、各関節の３次元座標データが既知である２次元骨格モデルを学習データとし、上記３次元座標データを教師データとする機械学習によって予め構築された識別器である。このような機械学習モデルは、２次元骨格モデルを入力として、その３次元座標データ、つまり、３次元骨格モデルを出力することができる。
　なお、推定部４５は、取得部４１により特定の動作を行う対象者１が映る動画像が取得されると、動画像を構成する複数の画像のそれぞれにおける骨格モデルを推定する。
　導出部４６は、推定部４５により推定された骨格モデルに基づいて、特定の動作における対象者１の骨格の動きの特徴を示す特徴量を導出する。導出部４６は、骨格モデルにおける対象者１の関節、非関節部位、及び、末端部位の少なくともいずれかの位置に基づいて、特徴量を導出する。例えば、特徴量は、所定の関節の関節角度である。ここでは、特徴量について図面を参照しながら説明する。図６は、足踏み動作における膝関節の屈曲に関わる関節角度の一例を示す図である。
　導出部４６は、骨格モデルに基づいて、所定の関節１００を介して繋がり、かつ、対象者１における非関節部位又は末端部位である、第１部位１０１の位置と、第１部位１０１とは異なる第２部位１０２の位置とを導出し、導出した第１部位１０１の位置と第２部位１０２の位置とを結ぶ直線に基づいて、特徴量として、所定の関節の屈曲、伸展、外転、内転、外旋、及び、内旋の少なくともいずれかに関わる関節角度θを導出する。第１部位１０１及び第２部位１０２の少なくともいずれかは、対象者１の上肢又は下肢に含まれてもよい。
　例えば、図６に示されるように、導出部４６は、特定の動作を行う対象者１が映る動画像のうち足踏み動作を行う画像における骨格モデルに基づいて、対象者１の膝関節の屈曲に関わる関節角度θを導出する。上述のように、３次元骨格モデルは、言い換えれば、各関節の３次元座標データであるため、このような膝関節の屈曲に関わる関節角度θを導出することができる。
　また、導出部４６は、２次元骨格モデルに基づいて末端部位と他の末端部位又は所定の関節との重なり又は距離を特徴量として導出してもよい。より具体的には、導出部４６は、２次元骨格モデルにより末端部位同士の重なりを特徴量として導出してもよく、３次元骨格モデルにより末端部位同士の距離を特徴量として導出してもよい。図７は、前屈動作を行う対象者１の２次元骨格モデルの一例を示す図である。例えば、図７に示される前屈動作では、導出部４６は、手の指先及び足先などの末端部位同士の距離、又は、手の指先と膝との距離を特徴量として導出してもよい。
　また、導出部４６は、特徴量として、関節又は末端部位の位置の変動及び変動幅を導出してもよい。これにより、特定の動作を行う際の対象者１の身体のふらつきを見ることができる。
　評価部４７は、導出部４６により導出された特徴量に基づいて、対象者１の身体動作を行うための能力である身体機能を評価する。例えば、評価部４７は、導出部４６により導出された関節角度に基づいて、対象者１の身体機能を評価してもよい。また、評価部４７は、身体機能として、対象者１の上肢又は下肢を使って動作するための能力である上肢機能又は下肢機能を評価してもよい。評価部４７は、例えば、特定の動作に含まれる各動作に対応した身体機能の評価テーブルに基づいて、対象者１の身体機能を評価してもよい。評価基準は、所定の動作における各特徴量の閾値又は範囲である。評価テーブルは、記憶部４９に記憶されてもよい。ここでは、身体機能の評価について図面を参照しながら説明する。図８は、足踏み動作における身体機能の評価の一例を示す図である。図９は、前屈動作における身体機能の評価の一例を示す図である。
　例えば、図８及び図９に示されるように、評価部４７は、足踏み動作及び前屈動作における評価基準と、評価とが紐づけられた評価テーブルに基づいて、身体機能の評価を行う。足踏み動作による身体機能の評価において、評価部４７は、例えば、膝関節の屈曲に関する関節角度θ、床面からの足先の距離、及び、膝関節位置の変動幅などが閾値以上であるか否か、又は、所定の範囲内であるか否かを判定する。このとき、判定部４８は、対象者１が他人の補助を受けているか否かも判定する。また、前屈動作による身体機能の評価において、評価部４７は、例えば、手の指先及び足先などの末端部位同士の距離、又は、手の指先と膝との距離が閾値以上であるか否かを判定する。そして、評価部４７は、判定結果が評価テーブルのどの評価基準に当てはまるかを判定する。図８及び図９に示されるように、評価は、優劣の順番で表されてもよいし、点数又は百分率で表されてもよい。
　判定部４８は、評価部４７により評価された身体機能に基づいて、対象者１の日常生活動作の状態を判定する。より具体的には、判定部４８は、特定の動作に含まれる各動作における身体機能の評価に基づいて、日常生活動作の状態を評価する。例えば、判定部４８は、評価部４７により評価された上肢機能又は下肢機能に基づいて、上肢又は下肢を使ってなされる日常生活動作の状態を判定してもよい。ここでは、日常生活動作状態の判定について、図面を参照しながら説明する。図１０は、足踏み動作における日常生活動作の状態の判定の一例を示す図である。図１１は、前屈動作における日常生活動作の状態の判定の一例を示す図である。
　例えば、図１０及び図１１に示されるように、判定部４８は、足踏み動作及び前屈動作における身体機能の評価に基づいて、対象者１が所定の日常生活動作に関する生活動作を独りで行うことができるか否かを判定することにより、対象者１の日常生活動作の状態を判定する。例えば、足踏み動作において対象者１の身体機能の評価がレベル１であると判定された場合、判定部４８は、図１０及び図１１に示される全ての生活動作を対象者１が独りで行うことができると判定する。例えば、判定部４８は、足踏み動作及び前屈動作における身体機能の評価に基づいて、例えば排泄、入浴、屋内移動、段差昇降、移乗、屋内・屋外移動、洗濯及び掃除などの所定の日常生活動作、並びに、例えば排泄、更衣、及び整容などの所定の日常生活動作の状態が全て良好であると判定する。また、足踏み動作及び前屈動作において対象者１の身体機能の評価がレベル２以下であると判定された場合、判定部４８は、各評価レベルに応じた判定基準（不図示）に基づいて、どの生活動作を独りで行うことができるか否かを判定する。
　図１０及び図１１では、対象者１が所定の生活動作を独りで行うことができるか否かを判定し、独りで出来る動作を丸、独りで出来ない動作、つまり、補助が必要である動作をバツで表しているが、判定基準及び提示方法は、これに限られない。例えば、判定部４８は、自立、見守り、一部介助、全介助などのように、日常生活動作の状態を対象者１の自立度に応じて判定してもよい。
　また、判定部４８は、例えば、受付部３６により受け付けられたユーザ２の指示に基づいて、提示部３７に出力する対象者１の日常生活動作の状態に関する情報を抽出してもよい。
　記憶部４９は、取得部４１によって取得された画像データが蓄積される記憶装置である。記憶部４９には、情報処理部４４が実行するためのコンピュータプログラムなども記憶されている。記憶部４９は、具体的には、半導体メモリまたはＨＤＤなどによって実現される。
　［３．動作］
　次に、日常生活動作状態判定システム１０の動作について図面を参照しながら具体的に説明する。
　［第１の例］
　まず、動作の第１の例について図１２を参照しながら説明する。図１２は、実施の形態に係る日常生活動作状態判定システム１０の動作の第１の例を示すフローチャートである。
　図示していないが、日常生活動作状態判定システム１０は、受付部３６により動作を開始する指示が受け付けられると、カメラ２０により撮影された画像を取得し、取得した画像における対象者１を識別する。画像における対象者１の識別は、情報処理部３３で行われてもよく、情報処理部４４で行われてもよい。画像における対象者１の識別には、公知の画像解析技術が用いられる。
　次に、日常生活動作状態判定システム１０は、対象者１が座位（図２Ａの（ａ）を参照）の姿勢であることを識別すると、指示部３１は、対象者１に特定の動作を行うように指示する（Ｓ１１）。ステップＳ１１では、指示部３１は、対象者１に座位の動作を行うように指示してもよいし、座位の動作の指示を行わず、対象者１が座位の動作を行うのを認識した場合に、対象者１に立ち上がって立位を保持する（図２Ａの（ｂ）を参照）ように指示してもよい。
　取得部４１は、指示部３１の指示に従って特定の動作を行う対象者１を被写体として含む画像（以下、画像データともいう。）を取得する（Ｓ１２）。ステップＳ１２では、日常生活動作状態判定装置４０の取得部４１は、日常生活動作状態判定デバイス３０の取得部３２により取得された画像を取得する。このとき、日常生活動作状態判定デバイス３０から出力される画像データは、情報処理部３３において秘匿化されてもよい。これにより、対象者１のプライバシーデータが保護される。なお、取得部３２は、複数の画像から構成される動画像を取得してもよい。この場合、取得部４１は、取得部３２により取得された動画像を取得する。
　推定部４５は、取得部４１により取得された画像に基づいて、画像における対象者１の骨格モデルを推定する（Ｓ１３）。例えば、ステップＳ１３では、推定部４５は、画像における対象者１の２次元骨格モデルを推定し、推定した２次元骨格モデルを入力として機械学習モデルを用いて３次元座標データ（いわゆる３次元骨格モデル）を推定してもよい。また、ステップＳ１３では、推定部４５は、取得部４１により取得された画像に基づいて３次元座標データを推定してもよい。
　導出部４６は、推定部４５により推定された骨格モデルに基づいて、特定の動作における対象者１の骨格の動きの特徴を示す特徴量を導出する（Ｓ１４）。より具体的には、ステップＳ１４では、導出部４６は、骨格モデルにおける対象者１の関節、非関節部位、及び、末端部位の少なくともいずれかの位置に基づいて、特徴量を導出する。例えば、図６を再び参照すると、導出部４６は、骨格モデルに基づいて、所定の関節１００を介して繋がり、かつ、対象者１における非関節部位又は末端部位である、第１部位１０１の位置と、第１部位１０１とは異なる第２部位１０２の位置とを導出し、導出した第１部位１０１の位置と第２部位１０２の位置とを結ぶ直線に基づいて、特徴量として、所定の関節の屈曲、伸展、外転、内転、外旋、及び、内旋の少なくともいずれかに関わる関節角度θを導出する。
　評価部４７は、導出部４６により導出された特徴量に基づいて、対象者１の身体動作を行うための能力である身体機能を評価する（Ｓ１５）。例えば、評価部４７は、ステップＳ１４において導出部４６により導出された関節角度θに基づいて、対象者１の身体機能を評価してもよい。身体機能の評価方法については、図８及び図９を参照して具体例を説明したので、ここでの説明を省略する。
　判定部４８は、評価部４７により評価された身体機能に基づいて、対象者１の日常生活動作の状態を判定する（Ｓ１６）。より具体的には、判定部４８は、特定の動作に含まれる各動作における身体機能の評価に基づいて、日常生活動作の状態を判定する。判定方法については、図１０及び図１１を参照して具体例を説明したので、ここでの説明を省略する。
　なお、日常生活動作状態判定システム１０は、ステップＳ１１～ステップＳ１６の処理を１ループ処理として、対象者１が特定の動作の各動作を行う度に実行してもよいし、ステップＳ１１の処理を各動作の画像に基づいて実行し、特定の動作を対象者１が終了してからステップＳ１２～ステップＳ１６の処理を行ってもよい。
　［第１の例の変形例］
　なお、第１の例では、対象者１に特定の動作の全てを行わせるが、対象者１の身体機能に応じて特定の動作を選定して対象者１に行わせる動作を指示してもよい。
　例えば、対象者１が、図２Ａの（ａ）の座位の姿勢から、（ｂ）の立ち上がる動作を補助があってもできない場合、例えば図２Ａの（ｂ）、（ｃ）及び（ｄ）などの立位の状態で行う動作の指示をせず、例えば図２Ｂ及び図２Ｃに示される座位の状態で行う動作を行うように対象者１に指示してもよい。
　なお、日常生活動作状態判定システム１０は、対象者１が立ち上がる動作ができないことを対象者１が映る画像に基づいて判定してもよいし、ユーザ２の指示により判定してもよい。当該判定は、判定部４８により行われてもよい。このとき、ユーザ２は、例えば、片手を左右に振る、両腕でバツの形を取るなどのジェスチャーで指示をしてもよいし、「ノー」など短い言葉を発するなどの音声で指示をしてもよいし、タッチパネル又はリモコンのボタンなどの操作により指示をしてもよい。ユーザ２の指示は、受付部３６により受け付けられ、日常生活動作状態判定装置４０に出力される。
　［第２の例］
　次に、動作の第２の例について図１３を参照しながら説明する。図１３は、実施の形態に係る日常生活動作状態判定システム１０の動作の第２の例を示すフローチャートである。第２の例では、第１の例で判定された対象者１の日常生活動作の状態から、ユーザ２の指示に基づいて抽出された日常生活動作の状態に関する情報を提示する例について説明する。
　図示していないが、図１２に示される処理フローが終了すると、判定部４８は、対象者１の日常生活動作の状態（以下、判定結果ともいう）を出力部４２に出力する。出力部４２は、取得した判定結果を日常生活動作状態判定デバイス３０に出力する。このとき、出力される判定結果は、情報処理部４４において秘匿化されてもよい。日常生活動作状態判定デバイス３０の通信部３５が判定結果を取得する。
　次に、提示部３７は、ステップＳ１６において判定部４８により判定された対象者１の日常生活動作の状態の判定結果をユーザ２に提示する（Ｓ２１）。このとき、提示部３７は、例えば図１０及び図１１に示されるように、特定の動作の各動作における判定結果のうち独りで動作できないと判定された結果のみを提示してもよい。
　次に、受付部３６は、ユーザ２からの指示を受け付ける（Ｓ２２）。ユーザ２の指示は、判定結果から所定の条件で抽出する抽出条件の指定であってもよく、判定結果の提示方法の指定であってもよく、抽出条件及び提示方法の指定であってもよい。
　次に、判定部４８は、ユーザ２の指示に基づいて、日常生活動作の状態に関する情報を抽出する（Ｓ２３）。このとき、抽出条件として、例えば、移乗に関する生活動作に重み付けをして、抽出される優先度を高く設定されてもよい。
　次に、提示部３７は、ステップＳ２３において判定部４８により抽出された日常生活動作の状態に関する情報をユーザ２に提示する（Ｓ２４）。
　［第２の例の変形例］
　なお、第２の例では、対象者１の日常生活動作の状態の判定結果が提示されてから、ユーザ２の指示により判定結果から所定の条件で抽出された日常生活動作状態に関する情報を提示するが、ユーザ２は判定結果の提示を行う前に、抽出条件などの指示を入力してもよい。
　［４．効果等］
　以上説明したように、日常生活動作状態判定システム１０は、対象者１に特定の動作を行うように指示する指示部３１と、指示部３１による指示に従って特定の動作を行う対象者１を被写体として含む画像を取得する取得部３２と、取得部３２により取得された画像に基づいて、画像における対象者１の骨格モデルを推定する推定部４５と、推定部４５により推定された骨格モデルに基づいて、特定の動作における対象者１の骨格の動きの特徴を示す特徴量を導出する導出部４６と、導出部４６により導出された特徴量に基づいて、対象者１の身体動作を行うための能力である身体機能を評価する評価部４７と、評価部４７により評価された身体機能に基づいて、対象者１の日常生活動作の状態を判定する判定部４８と、を備える。
　このような日常生活動作状態判定システム１０は、特定の動作における対象者１の骨格の動きの特徴を示す特徴量に基づいて、対象者１の身体機能を評価することができるため、簡便に、かつ、正確に、対象者１の日常生活動作の状態の評価を行うことができる。
　また、例えば、日常生活動作状態判定システム１０では、導出部４６は、骨格モデルにおける対象者１の関節、非関節部位、及び、末端部位の少なくともいずれかの位置に基づいて、骨格の動きの特徴を示す特徴量を導出する。
　このような日常生活動作状態判定システム１０は、骨格モデルにおける対象者１の関節、非関節部位、及び、末端部位のうち、対象者１が行う動作において、より確実に認識できる部位の位置に基づいて骨格の動きの特徴を導出することができる。
　また、例えば、日常生活動作状態判定システム１０では、取得部３２は、複数の画像から構成される動画像を取得し、推定部４５は、取得部３２により取得された動画像に基づいて、動画像を構成する複数の画像のそれぞれにおける骨格モデルを推定する。
　このような日常生活動作状態判定システム１０は、特定の動作を行う対象者１が映る動画像における骨格モデルに基づいて、対象者１の骨格の動きの特徴を示す特徴量を導出するため、より正確に対象者１の日常生活動作の状態を判定することができる。
　また、例えば、日常生活動作状態判定システム１０では、推定部４５は、画像に基づいて、対象者１の２次元骨格モデルを推定し、推定した２次元骨格モデルに基づいて、機械学習モデルを用いて対象者１の３次元骨格モデルを推定し、導出部４６は、推定部４５により推定された３次元骨格モデルに基づいて、特定の動作における対象者１の骨格の動きの特徴を示す特徴量を導出する。
　このような日常生活動作状態判定システム１０は、１台のカメラ２０から得られる画像に基づいて、対象者１の日常生活動作の状態を判定することができる。
　また、例えば、日常生活動作状態判定システム１０では、評価部４７は、身体機能として、対象者１の上肢又は下肢を使って動作するための能力である上肢機能又は下肢機能を評価し、判定部４８は、評価部４７により評価された上肢機能又は下肢機能に基づいて、上肢又は下肢を使ってなされる日常生活動作の状態を判定する。
　このような日常生活動作状態判定システム１０は、上肢機能及び下肢機能に分けて身体機能を評価することができるため、より精度良く対象者１の日常生活動作の状態を判定することができる。
　また、例えば、日常生活動作状態判定システム１０では、導出部４６は、骨格モデルに基づいて、所定の関節を介して繋がり、かつ、対象者１における非関節部位又は末端部位である、第１部位の位置と、第１部位とは異なる第２部位の位置とを導出し、導出した第１部位の位置と第２部位の位置とを結ぶ直線に基づいて、特徴量として、所定の関節の屈曲、伸展、外転、内転、外旋、及び、内旋の少なくともいずれかに関わる関節角度を導出し、評価部４７は、導出された関節角度に基づいて、対象者１の身体機能を評価する。
　このような日常生活動作状態判定システム１０は、所定の関節と繋がる２つの部位の位置に基づいて、所定の関節の動きに伴う関節角度を導出することができるため、より精度良く骨格の動きの特徴を示す特徴量を導出することができる。
　また、例えば、日常生活動作状態判定システム１０では、第１部位及び第２部位の少なくともいずれかは、対象者１の上肢又は下肢に含まれており、評価部４７は、身体機能として、対象者１が上肢又は下肢を使って動作するための能力である上肢機能又は下肢機能を評価し、判定部４８は、評価部４７により評価された上肢機能又は下肢機能に基づいて、対象者１の上肢又は下肢を使ってなされる日常生活動作の状態を判定する。
　このような日常生活動作状態判定システム１０は、上肢又は下肢を使った動きにおいて、所定の関節の動きに伴う関節角度を導出することができるため、より正確に上肢又は下肢を使ってなされる日常生活動作の状態を判定することができる。
　また、例えば、日常生活動作状態判定システム１０は、さらに、判定部４８により判定された対象者１の日常生活動作の状態をユーザ２に提示する提示部３７と、ユーザ２の操作に関する指示を受け付ける受付部３６と、を備え、判定部４８は、受付部３６により受け付けられたユーザ２の指示に基づいて、提示部３７に出力する対象者１の日常生活動作の状態に関する情報を抽出し、提示部３７は、判定部４８により抽出された情報をユーザ２に提示する。
　このような日常生活動作状態判定システム１０は、ユーザ２の指示に基づいて、対象者１の日常生活動作の状態に関する情報のうちユーザ２に必要な情報を抽出して提示することができる。
　また、日常生活動作状態判定システム１０などのコンピュータによって実行される日常生活動作状態判定方法は、対象者１に特定の動作を行うように指示する指示ステップＳ１１と、指示ステップＳ１１による指示に従って特定の動作を行う対象者１を被写体として含む画像を取得する取得ステップＳ１２と、取得ステップＳ１２により取得された画像に基づいて、画像における対象者１の骨格モデルを推定する推定ステップＳ１３と、推定ステップＳ１３により推定された骨格モデルに基づいて、特定の動作における対象者１の骨格の動きの特徴を示す特徴量を導出する導出ステップＳ１４と、導出ステップＳ１４により導出された特徴量に基づいて、対象者１の身体動作を行うための能力である身体機能を評価する評価ステップＳ１５と、評価ステップＳ１５により評価された身体機能に基づいて、対象者１の日常生活動作の状態を判定する判定ステップＳ１６と、を含む。
　このような日常生活動作状態判定方法は、特定の動作における対象者１の骨格の動きの特徴を示す特徴量に基づいて、対象者１の身体機能を評価することができるため、簡便に、かつ、正確に、対象者１の日常生活動作の状態の評価を行うことができる。
　また、日常生活動作状態判定装置４０は、特定の動作を行う対象者１を被写体として含む画像を取得する取得部４１と、取得部４１により取得された画像に基づいて、画像における対象者１の骨格モデルを推定する推定部４５と、推定部４５により推定された骨格モデルに基づいて、特定の動作における対象者１の骨格の動きの特徴を示す特徴量を導出する導出部４６と、導出部４６により導出された特徴量に基づいて、対象者１の身体動作を行うための能力である身体機能を評価する評価部４７と、評価部４７により評価された身体機能に基づいて、対象者１の日常生活動作の状態を判定する判定部４８と、を備える。
　このような日常生活動作状態判定装置４０は、特定の動作における対象者１の骨格の動きの特徴を示す特徴量に基づいて、対象者１の身体機能を評価することができるため、簡便に、かつ、正確に、対象者１の日常生活動作の状態の評価を行うことができる。
　また、日常生活動作状態判定デバイス３０は、対象者１に特定の動作を行うように指示する指示部３１と、指示部３１による指示に従って特定の動作を行う対象者１を被写体として含む画像を取得する取得部３２と、通信により、取得部３２により取得された画像を、対象者１の日常生活動作の状態を判定する日常生活動作状態判定装置４０に出力し、かつ、日常生活動作状態判定装置４０から対象者１の日常生活動作の状態に関する情報を取得する通信部３５と、を備える。
　このような日常生活動作状態判定デバイス３０は、特定の動作を行う対象者１が映る画像を日常生活動作状態判定装置４０に出力することで、日常生活動作状態判定装置４０で判定された対象者１の日常生活動作の状態に関する情報を取得することができる。
　（その他の実施の形態）
　以上、実施の形態について説明したが、本発明は、上記実施の形態に限定されるものではない。
　また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
　また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、各構成要素は、ハードウェアによって実現されてもよい。各構成要素は、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
　また、本発明の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　例えば、本発明は、日常生活動作状態判定方法として実現されてもよいし、日常生活動作状態判定方法をコンピュータに実行させるためのプログラムとして実現されてもよいし、このようなプログラムが記録されたコンピュータで読み取り可能な非一時的な記録媒体として実現されてもよい。
　また、上記実施の形態では、日常生活動作状態判定システムは、情報端末などの単一の装置（例えば、情報処理装置）として実現されてもよいし、複数の装置によって実現されてもよい。例えば、日常生活動作状態判定システムは、クライアントサーバシステムとして実現されてもよい。日常生活動作状態判定システムが複数の装置によって実現される場合、上記実施の形態で説明された日常生活動作状態判定システムが備える構成要素は、複数の装置にどのように振り分けられてもよい。
　その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。
　１　対象者
　２　ユーザ
　１０　日常生活動作状態判定システム
　３０　日常生活動作状態判定デバイス
　３１　指示部
　３２　取得部
　３５　通信部
　３６　受付部
　３７　提示部
　４０　日常生活動作状態判定装置
　４１　取得部
　４５　推定部
　４６　導出部
　４７　評価部
　４８　判定部

Claims (13)

  1. 　対象者に特定の動作を行うように指示する指示部と、
    　前記指示部による指示に従って前記特定の動作を行う前記対象者を被写体として含む画像を取得する取得部と、
    　前記取得部により取得された前記画像に基づいて、前記画像における前記対象者の骨格モデルを推定する推定部と、
    　前記推定部により推定された前記骨格モデルに基づいて、前記特定の動作における前記対象者の骨格の動きの特徴を示す特徴量を導出する導出部と、
    　前記導出部により導出された前記特徴量に基づいて、前記対象者の身体動作を行うための能力である身体機能を評価する評価部と、
    　前記評価部により評価された前記身体機能に基づいて、前記対象者の日常生活動作の状態を判定して出力する判定部と、
    　を備える、
    　日常生活動作状態判定システム。
  2. 　前記導出部は、前記骨格モデルにおける前記対象者の関節、非関節部位、及び、末端部位の少なくともいずれかの位置に基づいて、前記特徴量を導出する、
    　請求項１に記載の日常生活動作状態判定システム。
  3. 　前記取得部は、複数の前記画像から構成される動画像を取得し、
    　前記推定部は、前記取得部により取得された前記動画像に基づいて、前記動画像を構成する複数の前記画像のそれぞれにおける前記骨格モデルを推定する、
    　請求項１又は２に記載の日常生活動作状態判定システム。
  4. 　前記推定部は、前記画像に基づいて、前記対象者の２次元骨格モデルを推定し、推定した前記２次元骨格モデルに基づいて、機械学習モデルを用いて前記対象者の３次元骨格モデルを推定し、
    　前記導出部は、前記推定部により推定された前記３次元骨格モデルに基づいて、前記特定の動作における前記特徴量を導出する、
    　請求項１～３のいずれか１項に記載の日常生活動作状態判定システム。
  5. 　前記評価部は、前記身体機能として、前記対象者の上肢又は下肢を使って動作するための能力である上肢機能又は下肢機能を評価し、
    　前記判定部は、前記評価部により評価された前記上肢機能又は下肢機能に基づいて、上肢又は下肢を使ってなされる日常生活動作の状態を判定する、
    　請求項１～４のいずれか１項に記載の日常生活動作状態判定システム。
  6. 　前記導出部は、
    　前記骨格モデルに基づいて、所定の関節を介して繋がり、かつ、前記対象者における非関節部位又は末端部位である、第１部位の位置と、前記第１部位とは異なる第２部位の位置とを導出し、
    　導出した前記第１部位の位置と前記第２部位の位置とを結ぶ直線に基づいて、前記特徴量として、前記所定の関節の屈曲、伸展、外転、内転、外旋、及び、内旋の少なくともいずれかに関わる関節角度を導出し、
    　前記評価部は、導出された前記関節角度に基づいて、前記対象者の身体機能を評価する、
    　請求項１～５のいずれか１項に記載の日常生活動作状態判定システム。
  7. 　前記第１部位及び前記第２部位の少なくともいずれかは、前記対象者の上肢又は下肢に含まれており、
    　前記評価部は、前記身体機能として、前記対象者が上肢又は下肢を使って動作するための能力である上肢機能又は下肢機能を評価し、
    　前記判定部は、前記評価部により評価された前記上肢機能又は下肢機能に基づいて、前記対象者の上肢又は下肢を使ってなされる日常生活動作の状態を判定する、
    　請求項６に記載の日常生活動作状態判定システム。
  8. 　さらに、
    　前記判定部により判定された前記対象者の日常生活動作の状態をユーザに提示する提示部と、
    　前記ユーザの操作に関する指示を受け付ける受付部と、
    　を備え、
    　前記判定部は、前記受付部により受け付けられた前記ユーザの指示に基づいて、前記対象者の日常生活動作の状態に関する情報を抽出し、
    　前記提示部は、前記判定部により抽出された前記情報を前記ユーザに提示する、
    　請求項１～７のいずれか１項に記載の日常生活動作状態判定システム。
  9. 　対象者に特定の動作を行うように指示する指示ステップと、
    　前記指示ステップによる指示に従って前記特定の動作を行う前記対象者を被写体として含む画像を取得する取得ステップと、
    　前記取得ステップにより取得された前記画像に基づいて、前記画像における前記対象者の骨格モデルを推定する推定ステップと、
    　前記推定ステップにより推定された前記骨格モデルに基づいて、前記特定の動作における前記対象者の骨格の動きの特徴を示す特徴量を導出する導出ステップと、
    　前記導出ステップにより導出された前記特徴量に基づいて、前記対象者の身体動作を行うための能力である身体機能を評価する評価ステップと、
    　前記評価ステップにより評価された前記身体機能に基づいて、前記対象者の日常生活動作の状態を判定する判定ステップと、
    　を含む、
    　日常生活動作状態判定方法。
  10. 　請求項９に記載の日常生活動作状態判定方法をコンピュータに実行させるための、
    　プログラム。
  11. 　特定の動作を行う対象者を被写体として含む画像を取得する取得部と、
    　前記取得部により取得された前記画像に基づいて、前記画像における前記対象者の骨格モデルを推定する推定部と、
    　前記推定部により推定された前記骨格モデルに基づいて、前記特定の動作における前記対象者の骨格の動きの特徴を示す特徴量を導出する導出部と、
    　前記導出部により導出された前記特徴量に基づいて、前記対象者の身体動作を行うための能力である身体機能を評価する評価部と、
    　前記評価部により評価された前記身体機能に基づいて、前記対象者の日常生活動作の状態を判定する判定部と、
    　を備える、
    　日常生活動作状態判定装置。
  12. 　対象者に特定の動作を行うように指示する指示部と、
    　前記指示部による指示に従って前記特定の動作を行う前記対象者を被写体として含む画像を取得する取得部と、
    　通信により、前記取得部により取得された前記画像を、前記対象者の日常生活動作の状態を判定する日常生活動作状態判定装置に出力し、かつ、前記日常生活動作状態判定装置から前記対象者の日常生活動作の状態に関する情報を取得する通信部と、
    　を備える、
    　日常生活動作状態判定デバイス。
  13. 　対象者に特定の動作を行う指示の映像を表示する指示部と、
    　前記指示の映像に従って前記特定の動作を行う前記対象者を、カメラにより撮影した画像に基づいて、前記特定の動作における前記対象者の３次元骨格モデルを推定する推定部と、
    　前記３次元骨格モデルに基づいて、前記対象者の関節の動きに関わる関節角度を導出する導出部と、
    　前記特定の動作における前記３次元骨格モデルの位置と、前記関節角度とが、身体機能を表す評価テーブルの条件を満たすか否かを判断することにより、前記対象者の身体動作を行うための能力である身体機能を評価する評価部と、
    　前記評価部により評価された前記身体機能に基づいて、前記身体機能に関連した日常生活動作が前記対象者により行うことができるか否かを判定することにより、前記対象者の日常生活の状態を判定して出力する判定部と
    　を備えた情報処理装置による、
    　日常生活動作状態判定システム。
PCT/JP2021/025162 2020-07-22 2021-07-02 日常生活動作状態判定システム、日常生活動作状態判定方法、プログラム、日常生活動作状態判定装置、及び、日常生活動作状態判定デバイス WO2022019093A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022538675A JP7382581B2 (ja) 2020-07-22 2021-07-02 日常生活動作状態判定システム、日常生活動作状態判定方法、プログラム、日常生活動作状態判定装置、及び、日常生活動作状態判定デバイス

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020125180 2020-07-22
JP2020-125180 2020-07-22

Publications (1)

Publication Number Publication Date
WO2022019093A1 true WO2022019093A1 (ja) 2022-01-27

Family

ID=79729305

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/025162 WO2022019093A1 (ja) 2020-07-22 2021-07-02 日常生活動作状態判定システム、日常生活動作状態判定方法、プログラム、日常生活動作状態判定装置、及び、日常生活動作状態判定デバイス

Country Status (2)

Country Link
JP (1) JP7382581B2 (ja)
WO (1) WO2022019093A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130271458A1 (en) * 2012-04-11 2013-10-17 Disney Enterprises, Inc. Modeling human-human interactions for monocular 3d pose estimation
JP2015159935A (ja) * 2014-02-27 2015-09-07 株式会社東芝 リハビリテーション支援装置
JP2017176432A (ja) * 2016-03-30 2017-10-05 株式会社日立ハイテクノロジーズ 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
JP2019154489A (ja) * 2018-03-07 2019-09-19 社会福祉法人兵庫県社会福祉事業団 運動能力評価システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130271458A1 (en) * 2012-04-11 2013-10-17 Disney Enterprises, Inc. Modeling human-human interactions for monocular 3d pose estimation
JP2015159935A (ja) * 2014-02-27 2015-09-07 株式会社東芝 リハビリテーション支援装置
JP2017176432A (ja) * 2016-03-30 2017-10-05 株式会社日立ハイテクノロジーズ 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
JP2019154489A (ja) * 2018-03-07 2019-09-19 社会福祉法人兵庫県社会福祉事業団 運動能力評価システム

Also Published As

Publication number Publication date
JP7382581B2 (ja) 2023-11-17
JPWO2022019093A1 (ja) 2022-01-27

Similar Documents

Publication Publication Date Title
US11633659B2 (en) Systems and methods for assessing balance and form during body movement
JP7373788B2 (ja) リハビリ支援装置、リハビリ支援システム及びリハビリ支援方法
JP2021049319A (ja) リハビリ動作評価方法及びリハビリ動作評価装置
JP2021049208A (ja) 運動評価システム
Gauthier et al. Human movement quantification using Kinect for in-home physical exercise monitoring
JP2024016153A (ja) プログラム、装置、及び方法
Zaher et al. A framework for assessing physical rehabilitation exercises
WO2022019093A1 (ja) 日常生活動作状態判定システム、日常生活動作状態判定方法、プログラム、日常生活動作状態判定装置、及び、日常生活動作状態判定デバイス
Alex et al. A review of sensor devices in stroke rehabilitation
JP6577150B2 (ja) 人体モデル表示システム、人体モデル表示方法、通信端末装置、及びコンピュータプログラム
Durve et al. Machine learning approach for physiotherapy assessment
JP2020092944A (ja) ユーザー動作の評価システム及びコンピュータプログラム
JP2022187952A (ja) プログラム、方法、情報処理装置
CN113842622A (zh) 一种运动教学方法、装置、系统、电子设备及存储介质
Kuchinke et al. Technical view on requirements for future development of hand-held rehabilitation devices
JP7561357B2 (ja) 判定方法、判定装置、及び、判定システム
WO2023100679A1 (ja) 判定方法、判定装置、及び、判定システム
Jiménez et al. Monitoring of motor function in the rehabilitation room
Venugopalan et al. MotionTalk: personalized home rehabilitation system for assisting patients with impaired mobility
Wagnerberger et al. Inverse kinematics for full-body self representation in vr-based cognitive rehabilitation
Benetazzo et al. Low cost rgb-d vision based system for on-line performance evaluation of motor disabilities rehabilitation at home
JP2023066549A (ja) リハビリ支援装置、リハビリ支援方法及びリハビリ支援システム
CN113144524B (zh) 一种基于深度传感器的康复训练方法
US20240046510A1 (en) Approaches to independently detecting presence and estimating pose of body parts in digital images and systems for implementing the same
Ponnusamy et al. Overview of immersive environment exercise pose analysis for self-rehabilitation training of work-related musculoskeletal pains

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21844615

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022538675

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21844615

Country of ref document: EP

Kind code of ref document: A1