WO2025041230A1 - 転倒リスク抽出装置、転倒リスク抽出方法、及び転倒リスク抽出プログラム - Google Patents

転倒リスク抽出装置、転倒リスク抽出方法、及び転倒リスク抽出プログラム Download PDF

Info

Publication number
WO2025041230A1
WO2025041230A1 PCT/JP2023/030025 JP2023030025W WO2025041230A1 WO 2025041230 A1 WO2025041230 A1 WO 2025041230A1 JP 2023030025 W JP2023030025 W JP 2023030025W WO 2025041230 A1 WO2025041230 A1 WO 2025041230A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
subject
fall risk
risk
gait
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2023/030025
Other languages
English (en)
French (fr)
Inventor
貴志 山本
浩平 望月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to PCT/JP2023/030025 priority Critical patent/WO2025041230A1/ja
Priority to JP2024558135A priority patent/JP7668970B1/ja
Publication of WO2025041230A1 publication Critical patent/WO2025041230A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb

Definitions

  • This disclosure relates to a fall risk extraction device, a fall risk extraction method, and a fall risk extraction program.
  • Patent Document 1 describes a factor estimation system that acquires walking data from a subject, detects walking characteristics such as changes in the position or angle of the subject's joints, and analyzes the walking characteristics for each joint individually to extract the subject's risk of falling.
  • Patent Document 2 also describes a hemiplegia testing device that performs frequency analysis on the walking characteristics for each joint and uses the frequency analysis results to extract walking characteristics for hemiplegia, etc.
  • Patent Documents 1 and 2 extract the risk of falling without considering the correlation between movements in multiple parts of the body. This means that, for example, it is not possible to evaluate the risk of falling related to the interrelationship between movements in multiple parts of the body, such as the movement of the left and right legs, and there is a problem in that it is not possible to carry out appropriate follow-up observations during rehabilitation, etc.
  • the present disclosure aims to provide a fall risk extraction device, a fall risk extraction method, and a fall risk extraction program that extract a subject's risk of falling by considering the correlation between movements in multiple parts of the subject's body.
  • the fall risk extraction device disclosed herein is characterized by comprising a skeletal information extraction unit that extracts skeletal information of a subject from a video of the subject walking, a joint information extraction unit that extracts information from the skeletal information including each of the time-series position changes, angle changes, speed changes, and angular velocity changes in each joint while the subject is walking, a gait feature calculation unit that calculates gait features including correlations between the movements of multiple joints based on the information extracted by the joint information extraction unit, and a fall risk extraction unit that determines the risk of the subject falling based on the gait features including correlations between the movements of the multiple joints.
  • the device disclosed herein extracts the risk of falling by considering the correlation of joint features in walking movements, making it possible to easily and accurately monitor the progress of the coordination of movements of multiple body parts during rehabilitation of subjects at risk of falling.
  • FIG. 13A is an example of time series data of initial gait characteristics of a subject who is not at risk of falling
  • FIG. 13B is an example of time series data of initial gait characteristics of a subject who is at risk of falling.
  • 13A is an example of time series data of gait features after additive processing of a subject who is not at risk of falling
  • FIG. 13B is an example of time series data of gait features after additive processing of a subject who is at risk of falling.
  • FIG. 13A is an example of the result of frequency analysis of data from a subject who is not at risk of falling
  • FIG. 13B is an example of the result of frequency analysis of data from a subject who is at risk of falling
  • FIG. 11 is a functional configuration diagram showing a fall risk extraction device according to a second embodiment.
  • 13 is a flowchart showing an example of the operation of the fall risk extraction device according to the second embodiment.
  • 13A is an example of calculation of the double leg support period for a subject who is not at risk of falling
  • FIG. 13B is an example of calculation of the double leg support period for a subject who is at risk of falling.
  • First Embodiment 1 is a functional configuration diagram showing a fall risk extraction device 20 according to embodiment 1.
  • the fall risk extraction device 20 is connected to a camera 10 that captures an image of a walking subject, and a display unit 30 that displays the value of the fall risk extracted by the fall risk extraction device 20 to the subject, etc.
  • the camera 10 is an imaging device that captures video (moving images) of the subject.
  • the video captured by the camera 10 is input to the skeletal information extraction unit 22 via the video input unit 21 of the fall risk extraction device 20.
  • the video input unit 21 is an input/output interface 230, which will be described later, and is specifically a Universal Serial Bus (USB) terminal, an IEEE 1394 terminal, a Thunderbolt terminal, or the like.
  • USB Universal Serial Bus
  • the skeletal information extraction unit 22 extracts skeletal information of the subject's body from the input video.
  • software capable of detecting the joints of the human body from video such as "Openpose,” is used.
  • the skeletal information extraction unit 22 extracts the three-axis coordinates of the joints of the human body from the input video as skeletal information.
  • Examples of the joints extracted by the skeletal information extraction unit 22 include the skeletal joints of the head and neck, the skeletal joints of the chest, abdomen, and waist, the skeletal joints of the left and right shoulders, the skeletal joints of the left and right elbows, the skeletal joints of the left and right wrists, the skeletal joints of the left and right hands, the skeletal joints of the left and right hip joints, the skeletal joints of the left and right knees, the skeletal joints of the left and right ankles, and the skeletal joints of the left and right feet.
  • the multiple joint information preprocessing unit 23 performs preprocessing on the skeletal information extracted by the skeletal information extraction unit 22. Specifically, it calculates the walking features of multiple joints (hereinafter referred to as "initial walking features") from the skeletal information extracted by the skeletal information extraction unit 22.
  • the initial walking features are, for example, time series data of the position or angle of the skeletal joints, and data obtained by differentiating the time series data of the position or angle of the skeletal joints.
  • the differential value of the position data of the skeletal joints is velocity
  • the differential value of the angle of the skeletal joints is angular velocity.
  • the time series data of the position of the skeletal joints is the coordinate value of one axis, two axes, or three axes of the skeletal joints when time has passed during walking.
  • three axes as an example, a point in the shooting environment or a fixed point in the screen of the image is set as the origin, and the x-axis and y-axis are set horizontally from the origin, and the z-axis is set vertically.
  • the x-axis is set in the east-west direction
  • the y-axis is set in the north-south direction.
  • the angle of a skeletal joint is a quantity that represents the distance between two line segments with the same endpoint when there are line segments connecting a joint to any two other joints.
  • the time series data for the angle represents the angle value over time during walking.
  • the multiple joint information preprocessing unit 23 adds or complex-expresses the calculated multiple initial gait features between joints.
  • Adding means adding the values of the initial gait features of multiple joints at the same time in the initial gait features that are the time series data of multiple joints, and extracting time series data consisting of the added values at each time (hereinafter referred to as "gait features after addition processing").
  • Complex expression means expressing the initial gait features that are the time series data of two different joints as a complex number with the value of the initial gait feature of one joint as the real part and the value of the initial gait feature of the other joint as the imaginary part at each time, and extracting time series data consisting of complex numbers at each time (hereinafter referred to as "gait features after complex expression").
  • the time series data consisting of complex numbers at each time is displayed in a coordinate system (complex plane) of imaginary and real parts, and the complex plane can be considered to be a collection of vectors that rotate at an angular frequency related to the passage of time.
  • the post-addition processing gait features and the post-complex expression gait features are collectively referred to as "post-calculation processing gait features.”
  • the post-calculation processing gait features extracted by adding or complex expressing the initial gait features are time-series data of the subject's walking.
  • both the initial gait features and the post-calculation processing gait features are walking features, and are one of the features of the walking movement.
  • FIG. 4(a) is an example of time series data of initial gait features at the positions of both ankles of a subject who is not at risk of falling.
  • FIG. 4(b) is an example of time series data of initial gait features at the positions of both ankles of a subject who is at risk of falling.
  • FIG. 5(a) is an example of time series data of gait features after additive processing extracted by adding together the time series data of the positions of both ankles shown in FIG. 4(a) of a subject who is not at risk of falling.
  • FIG. 5(b) is an example of time series data of gait features after additive processing extracted by adding together the time series data of the positions of both ankles shown in FIG. 4(b) of a subject who is at risk of falling.
  • the changes in angle, speed, or angular velocity of both ankles may be additively processed or expressed in complex terms.
  • the frequency analysis unit 24 outputs the result of frequency analysis of the post-arithmetic processing gait features, which are information preprocessed by the multiple joint information preprocessing unit 23 (hereinafter referred to as "post-frequency analysis gait features"). Specifically, the frequency analysis unit 24 performs a Fourier transform on the post-addition processing gait features. The frequency analysis unit 24 also performs an inverse Fourier transform on the complex representation gait features. As described above, the time series data consisting of complex numbers at each time represents a collection of vectors that rotate on the complex plane at an angular frequency that changes in time, and can therefore be considered as a function of angular frequency.
  • the real time series data calculated by the inverse Fourier transform corresponds to a frequency analysis of a trajectory in complex space, and as a result, it is possible to calculate the frequency characteristics of the movements of the two joints.
  • Figure 6(a) is an example of gait features after frequency analysis, which is the result of frequency analysis of gait features after additive processing, which is time series data extracted by adding together time series data of the joint positions of a subject who is at risk of falling.
  • Figure 6(b) is an example of gait features after frequency analysis, which is the result of frequency analysis of gait features after additive processing, which is time series data extracted by adding together time series data of the joint positions of a subject who is at risk of falling. Comparing Figure 6(a) and Figure 6(b), it can be seen that there are differences in the frequency analysis results. For example, as shown in Figure 6(a), the amplitude of the subject who is not at risk of falling is larger than the amplitude of the subject who is at risk of falling, as shown in Figure 6(b).
  • the fall risk assessment unit 27 extracts the subject's risk of falling based on the post-frequency analysis gait features output from the frequency analysis unit 24 and the data stored in the memory unit 26.
  • the subject's risk of falling is an index whose value ranges from a minimum of 0 to a maximum of 100, with larger values indicating a higher risk of falling and smaller values indicating a lower risk of falling.
  • the memory unit 26 stores parameters of a calculation formula for extracting the risk of falling from the post-frequency analysis gait features.
  • the display unit 30 also displays the value of the risk of falling extracted by the fall risk assessment unit 27 to the subject, etc. The value of the risk of falling can be displayed, for example, on a display for a few seconds after the subject walks.
  • FIG. 2 is a hardware configuration diagram showing a fall risk extraction device 20 relating to embodiment 1.
  • the fall risk extraction device 20 is composed of a computer including a processor 210, a storage device 220, and an input/output interface 230.
  • the fall risk extraction device 20 may be composed of multiple computers.
  • the processor 210 is an integrated circuit (IC) that performs arithmetic processing. Specific examples of the processor 210 include a central processing unit (CPU), a digital signal processor (DSP), and a graphics processing unit (GPU).
  • the processor 210 functions as a skeletal information extraction unit 22 by running software capable of detecting joints of the human body from the aforementioned "Open pose" video, and as a multiple joint information preprocessing unit 23 by running software that adds or expresses initial walking features in complex form between joints, as a frequency analysis unit 24 by running software that performs Fourier transform and inverse Fourier transform, and as a fall risk determination unit 27 by running software that extracts the subject's fall risk.
  • the storage device 220 corresponds to the storage unit 26 shown in FIG. 1, and is composed of a volatile storage device such as a RAM (Random Access Memory), a ROM (Read Only Memory), a HDD (Hard Disk Drive), or a non-volatile storage device such as a flash memory.
  • a volatile storage device such as a RAM (Random Access Memory), a ROM (Read Only Memory), a HDD (Hard Disk Drive), or a non-volatile storage device such as a flash memory.
  • the input/output interface 230 includes the video input unit 21 shown in FIG. 1 and is a port to which an input device and an output device are connected.
  • a specific example of the input/output interface 230 is a USB terminal or the like.
  • the input device is the camera 10, as well as a touch panel, a keyboard, a mouse, etc.
  • the output device is the display 300, as well as a light, a speaker, a vibrator, etc.
  • FIG. 3 is a flowchart showing an example of the operation of the fall risk extraction device 20 according to embodiment 1.
  • the process shown in FIG. 3 is started, for example, when the subject starts walking.
  • step S101 an image of the subject captured by the camera 10 is input to the image input unit 21.
  • step S102 the skeletal information extraction unit 22 extracts skeletal information of the subject's body from the image input to the image input unit 21.
  • the multiple joint information preprocessing unit 23 calculates time series data of the positions or angles of the skeletal joints and data obtained by differentiating the time series data of the positions or angles of the skeletal joints as initial walking characteristics of the multiple joints from the skeletal information extracted by the skeletal information extraction unit 22.
  • the differentiated data is, for example, time series data of velocity or angular velocity.
  • the time series data of the positions of the skeletal joints is set to the coordinate values of one axis, two axes, or three axes of the skeletal joints as time passes during walking. Note that the coordinate values are values that have a point in the shooting environment or a fixed point on the screen of the image as the origin.
  • the angle of a skeletal joint is set to the amount that represents the distance between two line segments that have the same endpoints when there are line segments connecting one joint to any two other joints.
  • the time series data of the angle is set to the angle value as time passes during walking.
  • step S104 the multiple joint information preprocessing unit 23 adds or complex-expresses the initial gait features of the multiple joints extracted in step S103 between the joints.
  • the multiple joint information preprocessing unit 23 extracts the gait features after addition processing by adding the values of the initial gait features of all the joints at each time, which is the time series data of the multiple joints.
  • the initial gait features are used.
  • the multiple joint information preprocessing unit 23 extracts the gait features after complex expression by expressing the initial gait features, which are the time series data of the two joints, as a complex number in which the value of the initial gait feature of one joint is the real part and the value of the initial gait feature of the other joint is the imaginary part at each time.
  • the initial gait features in complex terms, the initial gait features of two or more even number of joints are used.
  • the gait features after addition processing and the gait features after complex expression are collectively referred to as the gait features after calculation processing, which is the time series data of walking.
  • the frequency analysis unit 24 performs frequency analysis on the post-calculation processing gait features obtained in the preprocessing in the multiple joint information preprocessing unit 23 to extract post-frequency analysis gait features. Specifically, a Fourier transform is performed as the frequency analysis of the post-addition processing gait features. Furthermore, an inverse Fourier transform is performed in the frequency analysis of the complex representation gait features. As described above, when a complex number is subjected to an inverse Fourier transform, real time series data can be calculated. The process of obtaining real time series data calculated by the inverse Fourier transform corresponds to a frequency analysis of a trajectory in complex space, and as a result, it becomes possible to calculate the frequency characteristics of the movements of two joints.
  • the post-frequency analysis gait features in embodiment 1 indicate an intensity distribution obtained by decomposing the post-calculation processing gait features into each frequency component contained in the gait features.
  • the fall risk assessment unit 27 refers to the parameters stored in the memory unit 26, and runs a program that reproduces a formula for assessing the fall risk described below, and assesses the fall risk from the frequency analysis results output from the frequency analysis unit 24.
  • the specific method of configuring this program is to configure a program in a programming language such as C++ or Python that performs processing similar to the formula for assessing the fall risk, and incorporate it into the software.
  • the formula for calculating the risk of falling is, for example, the following formulas (1), (2), and (3).
  • Formula (1) is a definition formula for the risk assessment gait feature V(i,n) used for fall risk assessment.
  • the risk assessment gait feature V(i,n) is the negative value of the maximum amplitude of the frequency analysis gait feature. If the multiple joint information preprocessing unit 23 outputs multiple arithmetic processing gait features, there will also be multiple frequency analysis gait features.
  • the i in the risk assessment gait feature V(i,n) is a risk assessment gait feature number that identifies each of the total number I of frequency analysis gait features.
  • all frequency analysis gait features are output when the combination of joints to be added or expressed in complex is changed, and the total number of joint combinations is I. Also, the n in the risk assessment gait feature V(i,n) is a subject number that identifies each of the total number N of subjects.
  • each time the risk assessment gait feature number i and subject number n change the negative value of the maximum amplitude of the gait feature after frequency analysis is extracted as the risk assessment gait feature V(i,n).
  • the risk assessment gait feature V(i,n) is not time-series data, but rather corresponds to one value for each variable i or n.
  • the risk of a subject falling is judged based on the magnitude of the maximum amplitude of the frequency analysis results.
  • the amplitude is large, it can be estimated that the subject has a healthy gait with no shaky gait and has a low risk of falling, whereas if the amplitude is small, it can be estimated that the subject has a weak gait with shaky gait and has a high risk of falling.
  • Equation (2) is a formula for calculating the normalized risk assessment gait feature S(i,n), which has a value between 0 and 100, by normalizing the i-th risk assessment gait feature V(i,n) across all subjects among the risk assessment gait features calculated by equation (1).
  • the normalization process using formula (2) normalizes the risk assessment gait characteristics so that, among all subjects, N in total, the maximum risk assessment gait characteristic is 100 and the minimum risk assessment gait characteristic is 0. Note that the risk assessment gait characteristic S(i,n) after normalization is not a time series, but rather corresponds to one value for each of the variables i and n.
  • Equation (3) is a formula for calculating the fall risk F(n), which is the weighted average of the normalized gait features for risk assessment S(i,n) by weighting and adding the normalized gait features for risk assessment S(i,n) extracted by equation (2) to all the normalized gait features for risk assessment S(i,n) of the total number I for each subject.
  • the weight w(i) in equation (3) is stored as a parameter in the storage unit 26.
  • a parameter capable of determining the risk of falling with higher accuracy is calculated and stored in the storage unit 26.
  • the parameters capable of determining the risk of falling with higher accuracy and stored in the storage unit 26 are created by outputting the result of the fall risk F(n) determination for all possible values of the parameter, and obtaining the parameter for which the error from the true value of the risk of falling is smaller. Note that the method for determining whether the risk of falling has been determined with high accuracy uses data from several hundred or more subjects, and uses the F value (F1 score) described later as an accuracy evaluation index.
  • TUG test is a test that comprehensively assesses walking ability, dynamic balance, agility, etc., and can determine the risk of falling from the length of the measurement time.
  • the true value f(n) of the risk of falling can also be estimated from the diagnosis by a medical therapist, but in the first embodiment, the result obtained by the TUG test, which provides a more objective numerical value, is taken as the true value f(n).
  • the fall risk F(n) used for error evaluation is calculated for all subjects numbering several hundred or more using the above formulas (1) to (3) with the initial value of weight w(i) pre-stored as a parameter in the memory unit 26.
  • the true value f(n) used for error evaluation is calculated for all subjects numbering several hundred or more using the above TUG test. In the first embodiment, if the error between the true value f(n) and the fall risk F(n) is small, it is determined as TRUE, and if it is large, it is determined as FALSE, and TRUE/FALSE is determined for all subjects.
  • TRUE/FALSE judgment whether the error is small or not is judged as follows: for each subject, if the difference between the true value f(n) and the fall risk F(n) is equal to or less than the standard error SE described below, then it is TRUE (detection correct); if it is greater than the standard error SE, then it is FALSE (detection incorrect).
  • the standard error SE is calculated as follows.
  • the fall risk detected by the fall risk extraction device 20 for the first subject is F(1)
  • the average Ea of F(1) through F(N) is calculated using the following formula (4).
  • the variance Sa2 of F(1) through F(N) is calculated by dividing the sum of squares of the deviations between F(1) through F(N) and the average Ea by the total number of subjects N using the following formula (5).
  • the standard deviation Sa of F(1) to F(N), which is the square root of the variance Sa2 is calculated, and the standard error SE is obtained by dividing the standard deviation Sa by the square root of the total number of subjects N, as shown in formula (7).
  • an F-value is calculated, which is the harmonic mean of the recall and precision rates obtained based on the binary classification of the TRUE/FALSE judgment results for all subjects using the standard error SE calculated by formula (7). Then, the accuracy of the fall risk F(n) is evaluated based on the magnitude of the calculated F-value.
  • the root mean squared error (RMSE) of the errors of all subjects shown in the following formula (8) may be calculated.
  • a machine-learned model capable of determining the similarity of data distribution may be used to evaluate the error based on the similarity of the distributions of the fall risk F(n) and the true fall risk value f(n).
  • step S107 the calculated risk of falling F(n) is displayed to the subject.
  • a numerical value F(n) for the risk of falling is displayed on the display 300.
  • the display color of the display 300 may be changed according to the value of the risk of falling F(n) to allow the subject to intuitively recognize the risk of falling.
  • a video of walking is acquired, the human skeleton is extracted from the video, the initial walking characteristics of the skeleton are extracted, and the initial walking characteristics of multiple joints are added or complex-expressed and frequency-analyzed to extract the risk of falling F(n) taking into account the correlation between the movements of multiple parts.
  • the extracted risk of falling F(n) makes it possible to evaluate the risk of falling in relation to the interlocking of the movements of multiple parts, and as a result, a more detailed diagnosis of the risk of falling can be made during medical examinations or follow-up observations of rehabilitation.
  • the negative value of the maximum amplitude of the gait feature after frequency analysis is applied to the gait feature for risk assessment V(i,n), but this is not limited to this.
  • the positive value of the maximum amplitude of the gait feature after frequency analysis may be applied to the gait feature for risk assessment V(i,n), and in such a case, the lower the value of the fall risk F(n), the higher the risk of falling.
  • the fall risk F(n) of a subject is calculated based on the gait characteristics of a plurality of joints of the subject.
  • the double support period which is the time when both feet of the subject are in contact with the ground, in addition to the gait characteristics of the plurality of joints of the subject.
  • FIG. 7 is a functional configuration diagram showing a fall risk extraction device 200 according to the second embodiment.
  • the fall risk extraction device 200 further includes a double leg support phase detection unit 25 that detects the double leg support phase of the subject from the initial gait characteristics of the joints of both legs obtained from the skeletal information extracted by the skeletal information extraction unit 22, and the fall risk determination unit 28 differs from the fall risk extraction device 20 according to the first embodiment in that it determines the risk of falling from the frequency analysis results output by the frequency analysis unit 24 and the double leg support phase output by the double leg support phase detection unit 25.
  • the other configuration is the same as that of the fall risk extraction device 20 according to the first embodiment, the same reference numerals as those of the fall risk extraction device 20 are used for the same configuration as that of the fall risk extraction device 20, and detailed description thereof will be omitted.
  • the hardware configuration of the second embodiment is the same as that of the first embodiment, detailed description thereof will be omitted.
  • the skeletal information extraction unit 22 extracts the three-axis coordinates of the joints of the human body as skeletal information from the video input via the video input unit 21, as in the first embodiment, and outputs the extracted skeletal information to the multiple joint information preprocessing unit 23 and the double-leg support period detection unit 25.
  • the double leg support phase detection unit 25 calculates the initial walking characteristics of both ankles of the subject from the skeletal information extracted by the skeletal information extraction unit 22.
  • the initial walking characteristics are, for example, time series data of the position or angle of each of the left and right ankles, and data obtained by differentiating the time series data of the position or angle of each of the left and right ankles.
  • the differential value of the ankle position data is velocity
  • the differential value of the ankle angle is angular velocity.
  • the time series data of the position of each of the left and right ankles is the coordinate values of one axis, two axes, or three axes of each of the left and right ankles as time passes during walking.
  • a point in the shooting environment or a fixed point on the screen of the image is set as the origin, and the x-axis and y-axis are set horizontally from the origin, and the z-axis is set vertically.
  • the x-axis is set in the east-west direction
  • the y-axis is set in the north-south direction.
  • the ankle angle is a quantity that represents the distance between two line segments with the same endpoint when there is a line segment connecting the left or right ankle to any two joints other than the ankle in question.
  • the time series data of the angle is the angle value over time during walking.
  • the double leg support phase of the subject is detected based on the speed of each of the left and right ankles among the initial gait characteristics of both ankles of the subject.
  • FIG. 9(a) is an example of calculating the double leg support period 50 of a subject who is not at risk of falling.
  • FIG. 9(b) is an example of calculating the double leg support period 52 of a subject who is at risk of falling.
  • the speed change of each of the right ankle and the left ankle in the direction of progress during walking is output.
  • the double leg support period 50, 52 is the time when the speed of each of the right ankle and the left ankle is equal to or less than a certain threshold value T.
  • the threshold value T is specifically determined, for example, by comparing and weighing the actual walking state of the subject and the speed of each of the right ankle and the left ankle of the subject. Comparing FIG. 9(a) and FIG. 9(b), the double leg support period 52 in FIG. 9(b) is longer than the double leg support period 50 in FIG. 9(a), suggesting that the risk of falling increases when the double leg support period is longer.
  • the initial gait features used to detect the double support phase are the ankle velocity changes in the direction of travel during walking, but time series data of the left and right directions during walking, the position of any joint in the vertical direction, acceleration, or time series data of the angle or angular velocity of the ankle joints on each side may also be used.
  • the fall risk assessment unit 28 extracts the subject's risk of falling based on the frequency analysis results output by the frequency analysis unit 24, the double support period output by the double support period detection unit 25, and the data stored in the memory unit 26.
  • the subject's risk of falling is an index whose value ranges from a minimum of 0 to a maximum of 100, with a higher value indicating an increased risk of falling and a lower value indicating a decreased risk of falling.
  • the memory unit 26 stores parameters of a calculation formula for extracting the risk of falling from gait characteristics after frequency analysis.
  • the display unit 30 also notifies the subject of the value of the fall risk extracted by the fall risk assessment unit 28 by displaying it on the display 300 or the like. For example, the display 300 may display characters such as "Fine" to indicate a low risk of falling, or "Frail" to indicate a high risk of falling.
  • FIG. 8 is a flowchart showing an example of the operation of the fall risk extraction device 200 according to embodiment 2. Steps S201, S202, S203, S204, and S205 in FIG. 8 are the same as steps S101, S102, S103, S104, and S105 in the flowchart of embodiment 1 shown in FIG. 3, and therefore detailed explanations will be omitted.
  • step S206 the double-leg supporting phase detection unit 25 extracts the initial gait characteristics of both ankles from the skeletal information extracted by the skeletal information extraction unit 22.
  • the initial gait characteristics of both ankles extracted by the double-leg supporting phase detection unit 25 are, for example, the speed of each of the left and right ankles.
  • the double-leg support phase detection unit 25 detects the double-leg support phase from the initial walking characteristics of the joints of both legs extracted in step S206.
  • the double-leg support phases 50 and 52 are defined as the times when the speeds of the right and left ankles are equal to or less than a certain threshold value T, as shown in Figures 9(a) and 9(b).
  • the fall risk assessment unit 28 refers to the parameters stored in the memory unit 26, and runs a program that reproduces a formula for assessing the fall risk, which will be described later, and assesses the fall risk from the frequency analysis results output from the frequency analysis unit 24.
  • the specific method of configuring this program is to configure a program in a programming language such as C++ or Python that performs processing similar to the formula for assessing the fall risk, and incorporate the program into the software.
  • the formulas for determining the risk of falling are, for example, the above formulas (2) and (3) and the following formula (9).
  • Formula (9) is a definition formula for the risk determination gait feature V(i,n) used in determining the risk of falling.
  • the risk determination gait feature V(i,n) is the negative value of the maximum amplitude of the gait feature after frequency analysis or the double leg support period.
  • the i in the risk determination gait feature V(i,n) is a risk determination gait feature number that identifies each of the total number I of the gait features after frequency analysis.
  • the n in the risk determination gait feature V(i,n) is a subject number that identifies each of the total number N of subjects.
  • the maximum amplitude of the frequency analysis result is used to determine the risk of falling. If the amplitude is large, the patient is able to walk normally without any gait fluctuations and the risk of falling is low. If the amplitude is small, the patient is able to walk weakly and the risk of falling is high. The risk of falling is also determined based on the magnitude of the value of the double leg support period. If the double leg support period is small, the patient is able to walk normally with smooth switching between the stance and swing legs of the left and right legs and the risk of falling is low. If the double leg support period is large, the patient is able to walk weakly and the risk of falling is high.
  • formula (2) is a formula for calculating the normalized risk assessment gait feature S(i,n) indicating a value between 0 and 100 by normalizing the i-th risk assessment gait feature V(i,n) across all subjects.
  • the risk assessment gait feature V(i,n) calculated using the above formula (9) is applied to formula (2).
  • the normalization process using formula (2) normalizes the risk assessment gait features so that, among all subjects, the total number N, the maximum risk assessment gait feature is 100 and the minimum risk assessment gait feature is 0.
  • the normalized risk assessment gait feature S(i,n) is not a set of multiple values such as a time series, but rather corresponds to one value for each of the variables i or n.
  • formula (3) calculates the fall risk F(n) by weighting and adding the normalized gait features for risk assessment S(i,n) extracted by formula (2) for each subject to all the normalized gait features for risk assessment S(i,n) of the total number I.
  • the weight w(i) in formula (3) is stored as a parameter in the storage unit 26.
  • a parameter that can determine the risk of falling with higher accuracy is calculated and stored in the storage unit 26.
  • the parameters that can determine the risk of falling with higher accuracy and are stored in the memory unit 26 are created in the same way as in the first embodiment by outputting the fall risk F(n) determination results for all possible values of the parameters and obtaining the parameters for which the error from the true value of the risk of falling is smaller.
  • the error between the fall risk F(n), which is the fall risk determination result, and the true value of the risk of falling f(n) is evaluated in the same way as in the first embodiment by calculating the root mean square error RMSE of the errors of all subjects, with the F value being the accuracy evaluation index, or by using a machine learning model that can determine the similarity of the distribution of data.
  • step S209 the calculated risk of falling F(n) is displayed to the subject. Specifically, a numerical value F(n) for the risk of falling is displayed on the display 300.
  • the display color of the display 300 may be changed according to the value of the risk of falling F(n) to allow the subject to intuitively recognize the risk of falling.
  • the risk of falling F(n) can be calculated based on the walking characteristics of the subject's multiple joints and the double support phase.
  • the calculated risk of falling F(n) makes it possible to evaluate the risk of falling while taking into account the interlocking of the movements of multiple parts of the body and the smoothness of switching between the stance leg and the swing leg of the left and right legs. As a result, a more detailed diagnosis of the risk of falling can be made during medical examinations or follow-up observations of rehabilitation.
  • the double-leg support phase detection unit 25 extracts the gait characteristics of both ankles, but this is not limited to this.
  • the multiple joint information preprocessing unit 23 may also extract the gait characteristics of both ankles.
  • the walking features including the correlation between the movements of a plurality of joints are frequency analyzed, and the weighted average of the normalized maximum amplitude of the obtained frequency characteristics is calculated to determine the risk of falling of the subject, but in the third embodiment, the risk of falling is calculated using the "correlation coefficient of features between joints.”
  • the configuration of the fall risk extraction device according to the third embodiment is the same as that of the fall risk extraction device 20 according to the first embodiment, and therefore a detailed description thereof will be omitted.
  • the hardware configuration of the second embodiment is the same as that of the first embodiment, and therefore a detailed description thereof will be omitted.
  • Joint features refers to, for example, time series data of joint displacement extracted by the multiple joint information preprocessing unit 23, or frequency spectrum data of frequency characteristics.
  • the correlation coefficient is calculated by the following procedure.
  • For feature A calculate the average Ea of A1 to An, and calculate the deviation between each of A1 to An and the average Ea. Divide the sum of the squares of each of the calculated deviations by n to calculate the variance Sa2 of A1 to An, and then calculate the standard deviation Sa, which is the square root of variance Sa2.
  • For feature B calculate the average Eb of B1 to Bn, the deviation between each of B1 to Bn and the average Eb, the variance Sb2 of B1 to Bn, and the standard deviation Sb.
  • the correlation coefficient r is obtained by dividing the covariance Sab by the product of the standard deviation Sa and the standard deviation Sb, as shown in the following formula (10).
  • one correlation coefficient r value can be calculated for each combination of two features, such as features A and B, for each subject.
  • each joint has multiple gait characteristics, such as vertical displacement, forward speed, and angular displacement around the vertical axis, multiple correlation coefficients r can be calculated using these multiple gait characteristics.
  • the correlation coefficient r has a value of -1 ⁇ r ⁇ 1, and the closer r is to 1, the more positive the correlation between features A and B is, and the closer it is to -1, the more negative the correlation between features A and B is. Furthermore, when r is close to 0, there is no correlation between features A and B.
  • the calculated correlation coefficient r is used for fall risk detection in the same way as the maximum amplitude of the frequency characteristics or the double support period. For example, assume that feature A is time series data of the displacement amount of the position of the subject's right ankle joint that is equal to or greater than a predetermined threshold, and feature B is time series data of the displacement amount of the position of the subject's left ankle joint that is equal to or greater than a predetermined threshold. If there is a difference in the displacement amount of the position of the left and right ankle joints of the subject, it can be estimated that the subject's gait is unstable.
  • the correlation coefficient r calculated for features A and B is a negative value close to -1, indicating that there is a negative correlation between the displacement amounts of the left and right ankle joints of the subject. Conversely, if there is no difference in the displacement amounts of the left and right ankle joints of the subject, it can be estimated that the subject's gait is stable. In such a case, the correlation coefficient r calculated for features A and B is a negative value close to 1, indicating that there is a positive correlation between the displacement amounts of the left and right ankle joints of the subject.
  • the "skeletal information extraction unit” in the claims corresponds to the "skeletal information extraction unit 22" described in the detailed description of the invention
  • the "joint information extraction unit” and “gait feature calculation unit” in the claims correspond to the “multiple joint information preprocessing unit 23" described in the detailed description of the invention
  • the "frequency analysis unit” in the claims corresponds to the “frequency analysis unit 24" described in the detailed description of the invention
  • the “fall risk extraction unit” in the claims corresponds to the “fall risk determination units 27, 28" described in the detailed description of the invention
  • the “double legs supporting period detection unit” in the claims corresponds to the “double legs supporting period detection unit 25" described in the detailed description of the invention.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

転倒リスク抽出装置（２０）は、被験者の歩行の映像から、当該被験者の骨格情報を抽出する骨格情報抽出部（２２）と、骨格情報から、当該被験者の歩行時の各関節における時系列での位置変化、角度変化、速度変化、及び角速度変化の各々を含む情報を抽出すると共に、抽出した情報に基づいて、複数の関節の動作の相関を含む歩行特徴を算出する複数関節情報前処理部（２３）と、複数の関節の動作の相関を含む歩行特徴に基づいて当該被験者の転倒リスクを抽出する転倒リスク判定部（２７）と、を備える。

Description

転倒リスク抽出装置、転倒リスク抽出方法、及び転倒リスク抽出プログラム
　本開示は、転倒リスク抽出装置、転倒リスク抽出方法、及び転倒リスク抽出プログラムに関する。
　被験者の歩行データを取得し、被験者の関節の位置又は角度の変化等の歩行特徴を検出し、関節ごとに個別に歩行特徴を分析することで被験者の転倒リスクを抽出する要因推定システムが特許文献１に記載されている。また、歩行特徴を関節ごとに周波数解析して、周波数解析結果を用いて片麻痺等の歩行特性を抽出する片麻痺検査装置が特許文献２に記載されている。
特開２０２１－０３００５１号公報 特開２０２０－０４８６８３号公報
　しかしながら、特許文献１及び特許文献２に記載の装置では、複数部位における動作の相関を考慮せずに転倒リスクを抽出していたため、例えば、左右の脚の運び等の複数部位の動作の連動性に関する転倒リスクの評価ができず、リハビリ等において適切な経過観察ができないという問題点があった。
　本開示は、被験者の複数部位における動作の相関を考慮して被験者の転倒リスクを抽出する転倒リスク抽出装置、転倒リスク抽出方法、及び転倒リスク抽出プログラムを提供することを目的とする。
　本開示の転倒リスク抽出装置は、被験者の歩行の映像から、前記被験者の骨格情報を抽出する骨格情報抽出部と、前記骨格情報から、前記被験者の歩行時の各関節における時系列での位置変化、角度変化、速度変化、及び角速度変化の各々を含む情報を抽出する関節情報抽出部と、前記関節情報抽出部で抽出した情報に基づいて、複数の関節の動作の相関を含む歩行特徴を算出する歩行特徴算出部と、前記複数の関節の動作の相関を含む歩行特徴に基づいて前記被験者の転倒リスクを判定する転倒リスク抽出部と、を備えることを特徴とする。
　本開示の装置によれば、歩行動作における関節特徴の相関を考慮して、転倒リスクを抽出することで、転倒リスクがある被験者のリハビリにおいて、複数部位の動作の連動性に関する経過観察を容易、且つ高い精度で行うことが可能となる。
実施の形態１に係る転倒リスク抽出装置を示す機能構成図である。 実施の形態１に係る転倒リスク抽出装置を示すハードウェア構成図である。 実施の形態１に係る転倒リスク抽出装置の動作の一例を示したフローチャートである。 （ａ）は、転倒リスクがない被験者の初期歩行特徴の時系列データの例であり、（ｂ）は、転倒リスクがある被験者の初期歩行特徴の時系列データの例である。 （ａ）は転倒リスクがない被験者の加算処理後歩行特徴の時系列データの例であり、（ｂ）は、転倒リスクがある被験者の加算処理後歩行特徴の時系列データの例である。 （ａ）は、転倒リスクがない被験者のデータを周波数解析した結果の例であり、（ｂ）は、転倒リスクがある被験者のデータを周波数解析した結果の例である。 実施の形態２に係る転倒リスク抽出装置を示す機能構成図である。 実施の形態２に係る転倒リスク抽出装置の動作の一例を示したフローチャートである。 （ａ）は、転倒リスクがない被験者の両脚支持期を算出した例であり、（ｂ）は、転倒リスクがある被験者の両脚支持期を算出した例である。
　以下に、実施の形態に係る転倒リスク抽出装置を、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、実施の形態を適宜組み合わせること及び各実施の形態を適宜変更することが可能である。
《実施の形態１》
　図1は、実施の形態１に係る転倒リスク抽出装置２０を示す機能構成図である。転倒リスク抽出装置２０には、歩行する被験者を撮影するカメラ１０、及び転倒リスク抽出装置２０で抽出した転倒リスクの値を被験者等に表示する表示部３０の各々が接続されている。
　カメラ１０は、被験者の映像（動画像）を撮影する撮像装置である。カメラ１０で取得した映像は、転倒リスク抽出装置２０の映像入力部２１を介して骨格情報抽出部２２に入力される。映像入力部２１は、後述する入出力インタフェース２３０であり、具体的には、ＵＳＢ(Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ)端子、ＩＥＥＥ　１３９４端子、又はＴｈｕｎｄｅｒｂｏｌｔ端子等である。
　骨格情報抽出部２２は、入力された映像から被験者の人体の骨格情報を抽出する。映像から骨格情報の抽出には、例えば、「Ｏｐｅｎｐｏｓｅ」等の映像から人体の関節等を検出可能なソフトウェアを用いる。骨格情報抽出部２２は、入力された映像から人体の関節の３軸座標を骨格情報として抽出する。骨格情報抽出部２２で抽出する関節は、一例として、頭部と首の骨格関節、胸部と腹部と腰部の骨格関節、左右の肩の骨格関節、左右の肘の骨格関節、左右の手首の骨格関節、左右の手の骨格関節、左右の股関節の骨格関節、左右の膝の骨格関節、左右の足首の骨格関節、及び左右の足の骨格関節である。
　複数関節情報前処理部２３は、骨格情報抽出部２２で抽出した骨格情報に前処理を行う。具体的には、骨格情報抽出部２２で抽出した骨格情報から複数関節の歩行特徴（以降、「初期歩行特徴」と称する）を算出する。初期歩行特徴は、例えば、骨格関節の位置又は角度の時系列データ、及び骨格関節の位置又は角度の時系列データを微分したデータである。骨格関節の位置データの微分値は速度であり、骨格関節の角度の微分値は角速度である。実施の形態１において、骨格関節の位置の時系列データは、歩行における時間が経過したときの骨格関節の１軸、２軸又は３軸の座標の値である。座標は、３軸の場合であれば一例として、撮影環境の１つの地点又は映像の画面内の１つの定点を原点に設定し、当該原点から水平方向にｘ軸及びｙ軸を設定すると共に、垂直方向にｚ軸を設定する。また、一例として、ｘ軸は東西方向、ｙ軸は南北方向に設定する。骨格関節の角度は、１つの関節について、他の任意の２つの関節と結ぶ線分がある場合に、同じ端点を持つ２つの線分の間の隔たりを表す量である。角度の時系列データは歩行における時間が経過したときの角度の値とする。
　さらに、複数関節情報前処理部２３は、算出した複数の初期歩行特徴を関節間で加算又は複素表現する。加算するとは、複数の関節の時系列データである初期歩行特徴において各々同時刻の複数の関節の初期歩行特徴の値を加算し、結果として各時刻で加算された値からなる時系列データ（以降、「加算処理後歩行特徴」と称する）を抽出することである。複素表現するとは、２つの異なる関節の時系列データである初期歩行特徴において各時刻で１つの関節の初期歩行特徴の値を実部、もう１つの関節の初期歩行特徴の値を虚部とした複素数として表現し、結果として各時刻の複素数からなる時系列データ（以降、「複素表現後歩行特徴」と称する）を抽出することである。各時刻の複素数からなる時系列データは、虚部と実部の座標系（複素平面）に表示され、当該複素平面を時間経過に係る角周波数で回転するベクトルの集合体であるとみなすことができる。以降、加算処理後歩行特徴及び複素表現後歩行特徴の各々は、一括して「演算処理後歩行特徴」と呼称する。ここで、初期歩行特徴を加算又は複素表現して抽出された演算処理後歩行特徴は、被験者の歩行における時系列のデータである。また、初期歩行特徴及び演算処理後歩行特徴は、いずれも歩行特徴であり、歩行における動作の特徴の1つである。
　図４（ａ）は、転倒リスクがない被験者の両足首の位置における初期歩行特徴の時系列データの例である。図４（ｂ）は、転倒リスクがある被験者の両足首の位置における初期歩行特徴の時系列データの例である。図５（ａ）は転倒リスクがない被験者の図４（ａ）で示した両足首の位置の時系列データを加算して抽出した加算処理後歩行特徴の時系列データの例である。図５（ｂ）は、転倒リスクがある被験者の図４（ｂ）で示した両足首の位置の時系列データを加算して抽出した加算処理後歩行特徴の時系列データの例である。両足首の位置変化のほかに、両足首の角度変化、速度変化、又は角速度変化について加算処置、又は複素表現をしてもよい。
　周波数解析部２４は、複数関節情報前処理部２３で前処理した情報である演算処理後歩行特徴を周波数解析した結果（以降、「周波数解析後歩行特徴」と称する）を出力する。具体的には、周波数解析部２４は、加算処理後歩行特徴に対してフーリエ変換を行う。また、周波数解析部２４は、複素表現後歩行特徴に対して逆フーリエ変換を行う。前述のように、各時刻の複素数からなる時系列データは、複素平面を時系列で変化する角周波数で回転するベクトルの集合体を示すので、角周波数の関数とみなせる。従って、各時刻の複素数からなる時系列データを逆フーリエ変換することにより、実数の時系列データを計算することができる。逆フーリエ変換によって算出された実数の時系列データは、複素空間での軌跡に対する周波数解析に相当し、結果として、２つの関節の動作の周波数特性を計算することができる。
　図６（ａ）は、転倒リスクがない被験者の関節の位置の時系列データを加算した時系列データである加算処理後歩行特徴を周波数解析した結果である周波数解析後歩行特徴の例である。図６（ｂ）は、転倒リスクがある被験者の関節の位置の時系列データを加算して抽出した時系列データである加算処理後歩行特徴を周波数解析した結果である周波数解析後歩行特徴の例である。図６（ａ）と図６（ｂ）とを比較すると、周波数解析結果に違いがあることがわかる。例えば、図６（ａ）が示すように、転倒リスクがない被験者の振幅は、図６（ｂ）が示す転倒リスクがある被験者の振幅よりも大きくなっている。
　転倒リスク判定部２７は、周波数解析部２４から出力された周波数解析後歩行特徴と記憶部２６に格納されたデータとに基づいて、被験者の転倒リスクを抽出する。被験者の転倒リスクは、最小０最大１００の値で、より大きい値であれば転倒リスクが増大し、より小さい値であれば転倒リスクが少なくなる指標である。記憶部２６は、周波数解析後歩行特徴から転倒リスクを抽出するための計算式のパラメータを格納する。また、表示部３０は、転倒リスク判定部２７で抽出した転倒リスクの値を被験者等に表示する。転倒リスクの値の表示方法は、例えば、被験者が歩いた後、数秒間の間、ディスプレイに表示する方法等である。
　図２は、実施の形態１に係る転倒リスク抽出装置２０を示すハードウェア構成図である。転倒リスク抽出装置２０は、プロセッサ２１０、記憶装置２２０、及び入出力インタフェース２３０を含むコンピュータから成る。転倒リスク抽出装置２０は複数のコンピュータから成っていてもよい。
　プロセッサ２１０は、演算処理を行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）である。プロセッサ２１０は、具体例として、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、又はＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等である。プロセッサ２１０は、前述の「Ｏｐｅｎｐｏｓｅ」等の映像から人体の関節等を検出可能なソフトウェア等を動作させることにより、骨格情報抽出部２２として機能すると共に、初期歩行特徴を関節間で加算又は複素表現するソフトウェア等を動作させることにより、複数関節情報前処理部２３として、フーリエ変換及び逆フーリエ変換を行うソフトウェア等を動作させることにより、周波数解析部２４として、被験者の転倒リスクを抽出するソフトウェア等を動作させることにより、転倒リスク判定部２７として各々機能する。
　記憶装置２２０は、図１に示した記憶部２６に相当し、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の揮発性の記憶装置、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、又はフラッシュメモリなどの不揮発性の記憶装置により構成される。
　入出力インタフェース２３０は、図１に示した映像入力部２１を含み、入力装置及び出力装置が接続されるポートである。入出力インタフェース２３０は、具体例として、ＵＳＢ端子等である。入力装置は、カメラ１０のほかに、タッチパネル、キーボード、マウス等である。出力装置は、ディスプレイ３００のほかに、ライト、スピーカー、又はバイブレータ等である。
　以下、実施の形態１に係る転倒リスク抽出装置２０の動作の一例について説明する。図３は、実施の形態１に係る転倒リスク抽出装置２０の動作の一例を示したフローチャートである。図３に示した処理は、例えば、被験者の歩行開始と共に開始される。ステップＳ１０１では、カメラ１０によって取得した被験者の映像が映像入力部２１に入力される。
　ステップＳ１０２では、骨格情報抽出部２２において、映像入力部２１に入力された映像から被験者の人体の骨格情報を抽出する。
　ステップＳ１０３では、複数関節情報前処理部２３において、骨格情報抽出部２２で抽出した骨格情報から、複数関節の初期歩行特徴として、骨格関節の位置又は角度の時系列データ、及び骨格関節の位置又は角度の時系列データを微分したデータを算出する。微分したデータは、例えば、速度又は角速度の時系列データとなる。また、ステップＳ１０３では、骨格関節の位置の時系列データは、歩行における時間が経過したときの骨格関節の１軸、２軸又は３軸の座標の値とする。なお、座標値は、撮影環境の１つの地点又は映像の画面内の１つの定点を原点とする値である。骨格関節の角度は、１つの関節について、他の任意の２つの関節と結ぶ線分がある場合に、同じ端点を持つ２つの線分の間の隔たりを表す量のこととする。また、角度の時系列データは歩行における時間が経過したときの角度の値とする。
　ステップＳ１０４では、複数関節情報前処理部２３において、ステップＳ１０３で抽出した複数関節の初期歩行特徴を関節間で加算又は複素表現する。複数関節情報前処理部２３は、複数の関節の時系列データである各時刻でのすべての関節の初期歩行特徴の値を加算することにより、加算処理後歩行特徴を抽出する。初期歩行特徴を加算する場合には、２つ以上の関節の初期歩行特徴を用いる。また、複数関節情報前処理部２３は、２つの関節の時系列データである初期歩行特徴において各時刻で１つの関節の初期歩行特徴の値を実部、もう１つの関節の初期歩行特徴の値を虚部とした複素数として表現することにより、複素表現後歩行特徴を抽出する。初期歩行特徴を複素表現する場合には、２つ以上の偶数個の関節の初期歩行特徴を用いる。前述のように、加算処理後歩行特徴と複素表現後歩行特徴とをまとめて、歩行における時系列のデータである演算処理後歩行特徴と呼称する。実施の形態１では、初期歩行特徴の加算を何度も、例えば２以上の各々異なる任意の数の関節の初期歩行特徴の各々を加算してもよい。さらに、加算を行った後に複素表現の処理を行ってもよい。具体的には、適当な組み合わせの複数の関節の初期歩行特徴を選択すると共に選択した初期歩行特徴の各々を加算して抽出した第１の加算値である加算処理後歩行特徴Ａと、加算処理後歩行特徴Ａとは別の組み合わせの複数の関節の初期歩行特徴の各々を加算して抽出した第２の加算値である加算処理後歩行特徴Ｂとを用意し、加算処理後歩行特徴Ａを実部、加算処理後歩行特徴Ｂを虚部とした複素数を作成する。
　ステップＳ１０５では、周波数解析部２４は、複数関節情報前処理部２３での前処理で得た演算処理後歩行特徴を周波数解析して、周波数解析後歩行特徴を抽出する。具体的に、加算処理後歩行特徴に対する周波数解析としてフーリエ変換を行う。また、複素表現後歩行特徴に対する周波数解析では逆フーリエ変換を行う。前述のように、複素数を逆フーリエ変換した場合、実数の時系列データを計算することができる。逆フーリエ変換によって算出された実数の時系列データを得る工程は、複素空間での軌跡に対する周波数解析に該当し、結果として、２つの関節の動作の周波数特性を計算することが可能となる。実施の形態１における周波数解析後歩行特徴は、演算処理後の歩行特徴を、当該歩行特徴に含まれる周波数成分毎に分解した強度分布を示す。
　ステップＳ１０６では、転倒リスク判定部２７は、記憶部２６に格納されているパラメータを参照すると共に、後述する転倒リスクを判定するための計算式を再現するプログラムを動作させ、周波数解析部２４から出力された周波数解析結果から転倒リスクを判定する。当該プログラムの構成の具体的な方法は、Ｃ＋＋又はＰｙｔｈｏｎ等のプログラミング言語にて転倒リスクを判定するための計算式と同様の処理を実施するプログラムを構成しソフトウェアに組み込む。
　転倒リスクを判定するための計算式は、一例として下記の式（１）、（２）、（３）である。式（１）は、転倒リスク判定に使用するリスク判定用歩行特徴Ｖ（ｉ，ｎ）の定義式である。リスク判定用歩行特徴Ｖ（ｉ，ｎ）は、周波数解析後歩行特徴の最大振幅の負の値である。複数関節情報前処理部２３が複数個の演算処理後歩行特徴を出力したのであれば、周波数解析後歩行特徴も複数個存在する。リスク判定用歩行特徴Ｖ（ｉ，ｎ）におけるｉは、総数Ｉ個存在する周波数解析後歩行特徴の各々を識別するリスク判定用歩行特徴番号である。実施の形態１では、加算又は複素表現する関節の組み合わせを変化させたときの周波数解析後歩行特徴をすべて出力することとし、関節の組み合わせの総数をＩとする。また、リスク判定用歩行特徴Ｖ（ｉ，ｎ）におけるｎは、総数Ｎ人存在する被験者の各々を識別する被験者番号である。
Figure JPOXMLDOC01-appb-M000001
 　
　実施の形態１では、リスク判定用歩行特徴番号ｉと被験者番号ｎとが変化する毎に周波数解析後歩行特徴の最大振幅の負の値を、リスク判定用歩行特徴Ｖ（ｉ，ｎ）として抽出する。なお、リスク判定用歩行特徴Ｖ（ｉ，ｎ）は、時系列のデータではなく、変数ｉ又はｎの各々について1つの値が対応する。実施の形態１では、周波数解析結果の最大振幅の大きさに基づいて被験者の転倒リスクを判定する。例えば、振幅が大きければ歩行にぶれがない健常的な歩行ができていて転倒リスクが小さく、振幅が小さければ歩行にぶれがある虚弱的な歩行であり転倒リスクが大きいことが推定できる。
　式（２）は、式（１）で計算したリスク判定用歩行特徴のうち、ｉ番目のリスク判定用歩行特徴Ｖ（ｉ，ｎ）について、すべての被験者全体で正規化することにより、０から１００までの値を示す正規化後リスク判定用歩行特徴Ｓ（ｉ，ｎ）を算出する計算式である。
Figure JPOXMLDOC01-appb-M000002
　式（２）による正規化処理は、総数Ｎのすべての被験者のうち、最大のリスク判定用歩行特徴が１００、最小のリスク判定用歩行特徴が０となるように正規化するものである。なお、正規化後リスク判定用歩行特徴Ｓ（ｉ，ｎ）は、時系列ではなく、変数ｉ又はｎの各々について1つの値が対応する。
　式（３）は、式（２）で抽出した正規化後リスク判定用歩行特徴Ｓ（ｉ，ｎ）を、被験者ごとに、総数Ｉのすべての正規化後リスク判定用歩行特徴Ｓ（ｉ，ｎ）に重み付けをして加算することにより、正規化後リスク判定用歩行特徴Ｓ（ｉ，ｎ）の加重平均である転倒リスクＦ（ｎ）を算出する計算式である。
Figure JPOXMLDOC01-appb-M000003
　式（３）の重みｗ（ｉ）は、パラメータとして記憶部２６に格納されている。実施の形態１では、より高精度に転倒リスクを判定できるパラメータを算出して記憶部２６に格納する。記憶部２６に格納する、より高精度に転倒リスクを判定できるパラメータの作成は、パラメータの取り得るすべての値について、転倒リスクＦ（ｎ）の判定結果を出力し、転倒リスクの真値との誤差がより小さい場合のパラメータを取得するという方法を用いる。なお、高精度に転倒リスクを判定できているかを判定する方法は、数百人以上の被験者データを用い、後述するＦ値（Ｆ１スコア）を精度評価指標として用いることとする。
　高精度に転倒リスクを判定できているかのチェックは、数百人以上の被験者データについて，「各被験者についてＴＵＧ（Ｔｉｍｅｄ　Ｕｐ　＆　Ｇｏ　Ｔｅｓｔ）テストにより算出した転倒リスクの真値ｆ（ｎ）」と、「各被験者について転倒リスク抽出装置２０により検知した転倒リスクＦ（ｎ）」との誤差が小さいかどうかを問う。ＴＵＧテストは、歩行能力、動的バランス、及び敏捷性等を総合的に判断するテストで、測定時間の大きさから転倒リスクを判定することができる。転倒リスクの真値ｆ（ｎ）は、医学療法士による診断からも推定できるが、実施の形態１では、より客観的な数値が得られるＴＵＧテストによって得られた結果を真値ｆ（ｎ）とする。
　誤差の評価に供する転倒リスクＦ（ｎ）は、パラメータとして記憶部２６に予め格納されている重みｗ（ｉ）の初期値を用いて上記の式（１）～（３）により数百人以上のすべての被験者について算出する。また、誤差の評価に供する真値ｆ（ｎ）は、上述のＴＵＧテストによって数百人以上のすべての被験者について算出する。実施の形態１では、真値ｆ（ｎ）と転倒リスクＦ（ｎ）との誤差が小さければＴＲＵＥ、大きければＦＡＬＳＥとして、すべての被験者でＴＲＵＥ／ＦＡＬＳＥを判定する。
　上述のＴＲＵＥ／ＦＡＬＳＥの判定において、誤差が小さいかどうかの判断は、各被験者において、真値ｆ（ｎ）と転倒リスクＦ（ｎ）との差が、後述する標準誤差ＳＥ以下であれば、ＴＲＵＥ（検知　正解）、標準誤差ＳＥより大きければ、ＦＡＬＳＥ（検知　不正解）とするものである。
　標準誤差ＳＥは、下記のように算出する。１人目の被験者における転倒リスク抽出装置２０で検知した転倒リスクＦ（１）とし、Ｎ人の全被験者について転倒リスク抽出装置２０で検知した転倒リスクＦ（ｎ）（ｎ＝１，…，Ｎ）を、Ｆ（１）～Ｆ（Ｎ）とする。
　下記の式（４）を用いてＦ（１）～Ｆ（Ｎ）の平均Ｅａを算出する。そして、下記の式（５）によって、Ｆ（１）～Ｆ（Ｎ）と平均Ｅａとの偏差の二乗和を全被験者数Ｎで除算することにより、Ｆ（１）～Ｆ（Ｎ）の分散Ｓａ２を算出する。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
  
　下記の式（６）に示したように、分散Ｓａ２の平方根であるＦ（１）～Ｆ（Ｎ）の標準偏差Ｓａを算出し、式（７）に示したように、標準偏差Ｓａを全被験者数Ｎの平方根で除算することにより、標準誤差ＳＥを得る。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
　実施の形態１では、式（７）で算出した標準誤差ＳＥを用いた全被験者のＴＲＵＥ／ＦＡＬＳＥの判定結果の二項分類に基づいて各々得た再現率と適合率との調和平均であるF値を1つ算出する。そして、算出したＦ値の大きさで転倒リスクＦ（ｎ）の精度を評価する。
　転倒リスク判定結果である転倒リスクＦ（ｎ）と転倒リスク真値ｆ（ｎ）との誤差の評価には、下記の式（８）で示したすべての被験者の誤差の２乗平均平方根誤差ＲＭＳＥ（Ｒｏｏｔ　Ｍｅａｎ　Ｓｑｕａｒｅｄ　Ｅｒｒｏｒ）を算出してもよい。又は、データの分布の類似性を判定可能な機械学習済みモデルを用い、転倒リスクＦ（ｎ）及び転倒リスク真値ｆ（ｎ）の各々の分布の類似度に基づいて誤差の評価を行ってもよい。
Figure JPOXMLDOC01-appb-M000008
　ステップＳ１０７では、算出した転倒リスクＦ（ｎ）を被験者に表示する。具体的には、ディスプレイ３００に転倒リスクについての数値Ｆ（ｎ）を表示する。転倒リスクＦ（ｎ）の値に応じてディスプレイ３００の表示色を変化させることにより、被験者に転倒のリスクを直感的に認識させるようにしてもよい。
　以上説明したように、実施の形態1によれば、歩行の映像を取得し、映像から人体骨格を抽出し、骨格における初期歩行特徴を抽出し、複数の関節の初期歩行特徴を加算又は複素表現したデータを周波数解析することで、複数部位の動作の相関を考慮して転倒リスクＦ（ｎ）を抽出することができる。抽出した転倒リスクＦ（ｎ）により、複数部位の動作の連動性に関する転倒リスクの評価が可能なので、結果として、診察又はリハビリの経過観察において、より詳細な転倒リスクの診断ができる。
　実施の形態１では、リスク判定用歩行特徴Ｖ（ｉ，ｎ）に周波数解析後歩行特徴の最大振幅の負の値を適用したが、これに限定されない。リスク判定用歩行特徴Ｖ（ｉ，ｎ）に周波数解析後歩行特徴の最大振幅の正の値を適用してもよく、かかる場合には、転倒リスクＦ（ｎ）の値が低いほど転倒リスクが大きいことを示す。
《実施の形態２》
　実施の形態１では、被験者の複数の関節の歩行特徴に基づいて、当該被験者の転倒リスクＦ（ｎ）を算出する例について説明した。被験者の歩行状態を判定するには、当該被験者の複数の関節の歩行特徴に加えて、当該被験者の両足が地面に接している時間である両脚支持期も考慮することが望ましい。
　図７は、実施の形態２に係る転倒リスク抽出装置２００を示す機能構成図である。転倒リスク抽出装置２００は、骨格情報抽出部２２で抽出した骨格情報から得た両脚の関節の初期歩行特徴から被験者の両脚支持期を検出する両脚支持期検出部２５をさらに備え、転倒リスク判定部２８は、周波数解析部２４で出力される周波数解析結果と、両脚支持期検出部２５で出力される両脚支持期とから転倒リスクを判定する点で実施の形態１に係る転倒リスク抽出装置２０と相違する。しかしながら、その他の構成は実施の形態１に係る転倒リスク抽出装置２０と同じなので、転倒リスク抽出装置２０と同一の構成については、転倒リスク抽出装置２０と同一の符号を付して詳細な説明は省略する。また、実施の形態２のハードウェア構成は、実施の形態１のハードウェア構成と同じなので、詳細な説明は省略する。
　図７において、骨格情報抽出部２２は、実施の形態１と同様に、映像入力部２１を介して入力された映像から人体の関節の３軸座標を骨格情報として抽出し、抽出した骨格情報を複数関節情報前処理部２３と両脚支持期検出部２５とに出力する。
　両脚支持期検出部２５は、骨格情報抽出部２２で抽出した骨格情報から被験者の両足首の初期歩行特徴を算出する。初期歩行特徴は、例えば、左右各々の足首の位置又は角度の時系列データ、及び左右各々の足首の位置又は角度の時系列データを微分したデータである。足首の位置データの微分値は速度であり、足首の角度の微分値は角速度である。実施の形態２において、左右各々の足首の位置の時系列データは、歩行における時間が経過したときの左右各々の足首の１軸、２軸又は３軸の座標の値である。座標は、３軸の場合であれば一例として、撮影環境の１つの地点又は映像の画面内の１つの定点を原点に設定し、当該原点から水平方向にｘ軸及びｙ軸を設定すると共に、垂直方向にｚ軸を設定する。また、一例として、ｘ軸は東西方向、ｙ軸は南北方向に設定する。足首の角度は、左右いずれかの足首について、当該足首以外の任意の２つの関節と結ぶ線分がある場合に、同じ端点を持つ２つの線分の間の隔たりを表す量である。角度の時系列データは歩行における時間が経過したときの角度の値とする。実施の形態２では、被験者の両足首の初期歩行特徴のうち、左右各々の足首の速度に基づいて被験者の両脚支持期を検出する。
　図９（ａ）は、転倒リスクがない被験者の両脚支持期５０を算出した例である。図９（ｂ）は、転倒リスクがある被験者の両脚支持期５２を算出した例である。図９（ａ）及び図９（ｂ）では、歩行における進行方向についての右足首と左足首の各々の速度変化を出力している。実施の形態２では、図９（ａ）及び図９（ｂ）に示したように、右足首と左足首の各々の速度が一定の閾値Ｔ以下になっている時間を両脚支持期５０、５２とする。閾値Ｔは、例えば、被験者の実際の歩行状態と、当該被験者の右足首と左足首の各々の速度とを比較衡量して具体的に決定する。図９（ａ）と図９（ｂ）とを比較すると、図９（ｂ）の両脚支持期５２が、図９（ａ）の両脚支持期５０よりも長く、両脚支持期が長い場合、転倒リスクが大きくなることを示唆している。両脚支持期を検出するために用いる初期歩行特徴は、図９（ａ）及び図９（ｂ）では歩行における進行方向の足首の速度変化を用いているが、歩行における左右の方向、鉛直方向の任意の関節の位置、加速度の時系列データ、又は左右各々の足首の関節の角度又は角速度の時系列データを用いてもよい。
　転倒リスク判定部２８は、周波数解析部２４が出力した周波数解析結果と、両脚支持期検出部２５が出力した両脚支持期と、記憶部２６に格納されたデータに基づいて被験者の転倒リスクを抽出する。被験者の転倒リスクは、最小０最大１００の値で、より大きい値であれば転倒リスクが増大し、より小さい値であれば転倒リスクが少なくなる指標である。記憶部２６は、周波数解析後歩行特徴から転倒リスクを抽出するための計算式のパラメータを格納する。また、表示部３０は、転倒リスク判定部２８で抽出した転倒リスクの値をディスプレイ３００等に表示して被験者に報知する。例えば、ディスプレイ３００に、「Ｆｉｎｅ」等の文字を表示して転倒リスクが少ないことを示す、又は「Ｆｒａｉｌ」等の文字を表示して転倒リスクが高いことを示してもよい。
　以下、実施の形態２に係る転倒リスク抽出装置２００の動作の一例について説明する。図８は、実施の形態２に係る転倒リスク抽出装置２００の動作の一例を示したフローチャートである。図８のステップＳ２０１、Ｓ２０２、Ｓ２０３、Ｓ２０４、Ｓ２０５の各々は、図３に示した実施の形態１のフローチャートにおけるステップＳ１０１、Ｓ１０２、Ｓ１０３、Ｓ１０４、Ｓ１０５と同じなので、詳細な説明は省略する。
　ステップＳ２０６では、両脚支持期検出部２５は、骨格情報抽出部２２で抽出した骨格情報から、両足首の初期歩行特徴を抽出する。両脚支持期検出部２５が抽出する両足首の初期歩行特徴は、前述のように、例えば、左右各々の足首の速度等である。
　ステップＳ２０７では、両脚支持期検出部２５は、ステップＳ２０６で抽出した両脚の関節の初期歩行特徴から両脚支持期を検出する。前述のように、実施の形態２では、図９（ａ）及び図９（ｂ）に示したように、右足首と左足首の各々の速度が一定の閾値Ｔ以下になっている時間を両脚支持期５０、５２とする。
　ステップＳ２０８では、転倒リスク判定部２８は、記憶部２６に格納されているパラメータを参照すると共に、後述する転倒リスクを判定するための計算式を再現するプログラムを動作させ、周波数解析部２４から出力された周波数解析結果から転倒リスクを判定する。当該プログラムの構成の具体的な方法は、Ｃ＋＋又はＰｙｔｈｏｎ等のプログラミング言語にて転倒リスクを判定するための計算式と同様の処理を実施するプログラムを構成しソフトウェアに組み込む。
　転倒リスクを判定するための計算式は、一例として上述の式（２）、（３）、及び下記の式（９）である。式（９）は、転倒リスク判定に使用するリスク判定用歩行特徴Ｖ（ｉ，ｎ）の定義式である。リスク判定用歩行特徴Ｖ（ｉ，ｎ）は、周波数解析後歩行特徴の最大振幅の負の値又は両脚支持期である。リスク判定用歩行特徴Ｖ（ｉ，ｎ）におけるｉは、総数Ｉ個存在する周波数解析後歩行特徴の各々を識別するリスク判定用歩行特徴番号である。実施の形態２では、式（９）の番号ｉの総数Ｉについて、加算若しくは複素表現する関節の組み合わせを変化させたときの周波数解析結果又は両脚支持期をすべて出力し、関節の組み合わせの総数（Ｉ－１）と両脚支持期の数の１とを合計した値をＩとする。また、リスク判定用歩行特徴Ｖ（ｉ，ｎ）におけるｎは、総数Ｎ人存在する被験者の各々を識別する被験者番号である。
Figure JPOXMLDOC01-appb-M000009
　実施の形態２では、実施の形態１と同様に、周波数解析結果の最大振幅について、この振幅の大きさを用いて転倒リスクを判定することで、振幅が大きければ歩行にぶれがなく健常的な歩行ができており転倒リスクが小さく、振幅が小さければ歩行にぶれがあり虚弱的な歩行であり転倒リスクが大きいと判定する。また、両脚支持期の値の大きさに基づいても転倒リスクを判定する。両脚支持期が小さければ、左右の脚の立脚と遊脚との切り替えをスムーズに行う健常的な歩行ができており転倒リスクが小さく、両脚支持期が大きければ、左右の脚の立脚と遊脚との切り替えがスムーズに行えていない虚弱的な歩行であり転倒リスクが大きいと推定できる。具体的には両脚支持期が大きい場合、両足が地面に接しており両足とも前に動かせていない状態であり、この状態の時間が長く続くことにより、歩行の連動的な動作が滞っていることが伺える。従って、両脚支持期が大きい場合は転倒リスクが大きく、逆に両脚支持期が小さい場合は転倒リスクが小さいと判定できる。
　上述のように、式（２）は、ｉ番目のリスク判定用歩行特徴Ｖ（ｉ，ｎ）について、すべての被験者全体で正規化することにより、０から１００までの値を示す正規化後リスク判定用歩行特徴Ｓ（ｉ，ｎ）を算出する計算式である。実施の形態２では、上述の式（９）を用いて算出したリスク判定用歩行特徴Ｖ（ｉ，ｎ）を、式（２）に適用する。
　実施の形態１で説明したように、式（２）による正規化処理は、総数Ｎのすべての被験者のうち、最大のリスク判定用歩行特徴が１００、最小のリスク判定用歩行特徴が０となるように正規化するものである。なお、正規化後リスク判定用歩行特徴Ｓ（ｉ，ｎ）は、時系列等の複数の値の集合ではなく、変数ｉ又はｎの各々について1つの値が対応する。
　実施の形態１で説明したように、式（３）は、式（２）で抽出した正規化後リスク判定用歩行特徴Ｓ（ｉ，ｎ）を、被験者ごとに、総数Ｉのすべての正規化後リスク判定用歩行特徴Ｓ（ｉ，ｎ）に重み付けをして加算することにより、転倒リスクＦ（ｎ）を算出する。式（３）の重みｗ（ｉ）は、パラメータとして記憶部２６に格納されている。実施の形態２では、実施の形態１と同様に、より高精度に転倒リスクを判定できるパラメータを算出して記憶部２６に格納する。
　記憶部２６に格納する、より高精度に転倒リスクを判定できるパラメータの作成は、実施の形態１と同様に、パラメータの取り得るすべての値について、転倒リスクＦ（ｎ）の判定結果を出力し、転倒リスクの真値との誤差がより小さい場合のパラメータを取得するという方法を用いる。転倒リスク判定結果である転倒リスクＦ（ｎ）と転倒リスク真値ｆ（ｎ）との誤差の評価は、実施の形態1と同様に、Ｆ値を精度評価指標とする、すべての被験者の誤差の２乗平均平方根誤差ＲＭＳＥを算出する、又はデータの分布の類似性を判定可能な機械学習済みモデルを用いて行う。
　ステップＳ２０９では、算出した転倒リスクＦ（ｎ）を被験者に表示する。具体的には、ディスプレイ３００に転倒リスクについての数値Ｆ（ｎ）を表示する。転倒リスクＦ（ｎ）の値に応じてディスプレイ３００の表示色を変化させることにより、被験者に転倒のリスクを直感的に認識させるようにしてもよい。
　以上説明したように、実施の形態２によれば、被験者の複数の関節の歩行特徴と、両脚支持期とに基づいて転倒リスクＦ（ｎ）を算出することができる。算出した転倒リスクＦ（ｎ）により、複数部位の動作の連動性と、左右の脚の立脚または遊脚の切り替えのスムーズさとを考慮した転倒リスクの評価が可能なので、結果として、診察又はリハビリの経過観察において、より詳細な転倒リスクの診断ができる。
　実施の形態２では、両脚支持期検出部２５で両足首の歩行特徴を抽出したが、これに限定されない。複数関節情報前処理部２３で両足首の歩行特徴を抽出してもよい。
《実施の形態３》
　実施の形態１では、複数の関節の動作の相関を含む歩行特徴を周波数解析し、得られた周波数特性の最大振幅を正規化した値の加重平均を算出して前記被験者の転倒リスクを判定したが、実施の形態３では、「関節間の特徴の相関係数」を用いて転倒リスクを算出する。実施の形態３に係る転倒リスク抽出装置の構成は実施の形態１に係る転倒リスク抽出装置２０と同じなので、詳細な説明は省略する。また、実施の形態２のハードウェア構成は、実施の形態１のハードウェア構成と同じなので、詳細な説明は省略する。
　「関節の特徴」とは、例えば、複数関節情報前処理部２３で抽出した関節の変位の時系列データ、または周波数特性の周波数スペクトルのデータである。実施の形態３では、１人の被験者について、関節の特徴Ａ、Ｂがある場合を想定する。第１群である特徴ＡはＡ１からＡｎまであり、第２群である特徴ＢはＢ１からＢｎまであり、特徴Ａ、Ｂの各々はｎ個のデータで構成されている場合、相関係数は以下の手順で算出される。
　特徴Ａについて、Ａ１～Ａｎの平均Ｅａを算出し、Ａ１～Ａｎの各々と平均Ｅａとの偏差を算出。算出した偏差の各々の二乗和をｎで除算してＡ１～Ａｎの分散Ｓａ２を算出し、さらに分散Ｓａ２の平方根である標準偏差Ｓａを算出する。特徴Ｂについても同様に、Ｂ１～Ｂｎの平均Ｅｂ、Ｂ１～Ｂｎの各々と平均Ｅｂとの偏差、Ｂ１～Ｂｎの分散Ｓｂ２、及び標準偏差Ｓｂを算出する。
　Ａ１～Ａｎの各々とＥａとの偏差の各々の値と、Ｂ１～Ｂｎの各々とＥｂとの偏差の各々の値との積の平均である特徴Ａと特徴Ｂの共分散Ｓａｂを算出する。
　相関係数ｒは、下記の式（１０）に示したように、共分散Ｓａｂを標準偏差Ｓａと標準偏差Ｓｂとの積で除算することで得られる。
Figure JPOXMLDOC01-appb-M000010
　相関係数ｒは、各々の被験者で、特徴Ａ、Ｂのような２つの特徴の組み合わせ毎に原則として１つの値を算出できる。しかしながら、各々の関節には、鉛直方向の変位、進行方向の速度、鉛直方向を軸とした角度の変位等の複数の歩行特徴が認められるので、これら複数の歩行特徴を用いて、複数の相関係数ｒを算出できる。相関係数ｒは、－１≦ｒ≦１の値を示し、ｒが１に近いほど特徴Ａ、Ｂには正の相関があり、－１に近いほど特徴Ａ、Ｂには負の相関がある。また、ｒ＝０に近い場合、特徴Ａ、Ｂに相関はない。
　実施の形態３では、算出した相関係数ｒを、周波数特性の最大振幅又は両脚支持期と同様に転倒リスク検知に利用する。例えば、特徴Ａが被験者の右足首関節の位置の変位量のうち所定の閾値以上となった変位量の時系列データであり、特徴Ｂが当該被験者の左足首関節の位置の変位量のうち所定の閾値以上となった変位量の時系列データであるとする。当該被験者の左右の足首の関節の位置の変位量に差がある場合、当該被験者の歩行は不安定であることが推定できる。かかる場合に、特徴Ａ、Ｂについて算出された相関係数ｒは－１に近い負の値となり、当該被験者の左右の足首の関節の変位量に負の相関があることを示す。逆に、当該被験者の左右の足首の関節の変位量に差がない場合、当該被験者の歩行は安定であることが推定できる。かかる場合に、特徴Ａ、Ｂについて算出された相関係数ｒは１に近い負の値となり、当該被験者の左右の足首の関節の変位量に正の相関があることを示す。
　なお、請求の範囲における「骨格情報抽出部」は、発明の詳細な説明に記載の「骨格情報抽出部２２」に、請求の範囲における「関節情報抽出部」及び「歩行特徴算出部」は、発明の詳細な説明に記載の「複数関節情報前処理部２３」に、請求の範囲における「周波数解析部」は、発明の詳細な説明に記載の「周波数解析部２４」に、請求の範囲における「転倒リスク抽出部」は、発明の詳細な説明に記載の「転倒リスク判定部２７、２８」に、請求の範囲における「両脚支持期検出部」は、発明の詳細な説明に記載の「両脚支持期検出部２５」に各々相当する。
　１０　カメラ、２０　転倒リスク抽出装置、２１　映像入力部、２２　骨格情報抽出部、２３　複数関節情報前処理部、２４　周波数解析部、２５　両脚支持期検出部、２６　記憶部、２７、２８　転倒リスク判定部、２００　転倒リスク抽出装置

Claims (8)

  1. 　被験者の歩行の映像から、前記被験者の骨格情報を抽出する骨格情報抽出部と、
    　前記骨格情報から、前記被験者の歩行時の各関節における時系列での位置変化、角度変化、速度変化、及び角速度変化の各々を含む情報を抽出する関節情報抽出部と、
    　前記関節情報抽出部で抽出した情報に基づいて、複数の関節の動作の相関を含む歩行特徴を算出する歩行特徴算出部と、
    　前記複数の関節の動作の相関を含む歩行特徴に基づいて前記被験者の転倒リスクを抽出する転倒リスク抽出部と、
    　を備えた転倒リスク抽出装置。
  2. 　前記歩行特徴算出部は、前記関節情報抽出部で抽出した情報のうち、異なる複数の関節の各々同時刻の情報の値の加算、及び２つの異なる関節における各々同時刻の情報について、１つの関節の情報の値を実部、もう１つの関節の情報の値を虚部とした複素表現のいずれかによって前記複数の関節の動作の相関を含む歩行特徴を算出し、
    　前記複数の関節の動作の相関を含む歩行特徴を周波数解析して、前記歩行特徴の周波数特性を算出する周波数解析部を含み、
    　前記転倒リスク抽出部は、前記被験者の前記周波数特性の最大振幅の値を、前記被験者を含む複数の被験者の周波数特性の最大振幅の値で正規化した値の加重平均を算出して得た転倒リスク値により、前記被験者の転倒リスクを判定する請求項１に記載の転倒リスク抽出装置。
  3. 　前記歩行特徴算出部は、前記関節情報抽出部で抽出した情報から、同時刻の２以上の各々異なる関節に係る情報を任意の数で選択して加算する請求項２に記載の転倒リスク抽出装置。
  4. 　前記歩行特徴算出部は、同時刻の２以上の各々異なる関節に係る情報について、任意の数で選択した前記情報の組み合わせの各々を加算して得た第１の加算値を実部とし、前記第１の加算値の算出に供した前記情報の組み合わせと異なる組み合わせの情報の各々を加算して得た第２の加算値を虚部とした複素表現によって前記複数の関節の動作の相関を含む歩行特徴を算出する請求項３に記載の転倒リスク抽出装置。
  5. 　前記関節情報抽出部で抽出した情報から、前記被験者の両足が地面に接している時間である両脚支持期を検出する両脚支持期検出部を含み、
    　前記転倒リスク抽出部は、前記周波数特性と前記両脚支持期とに基づいて前記被験者の転倒リスクを判定する請求項２～４のいずれか１項に記載の転倒リスク抽出装置。
  6. 　前記転倒リスク抽出部は、関節情報抽出部で抽出した情報から、複数のデータを含む第１群と、前記第１群と異なる複数のデータを含む第２群とを抽出すると共に、前記第１群と前記第２群の共分散を、前記第１群の標準偏差と前記第２群の標準偏差との積で除算して得た相関係数によって前記被験者の転倒リスクを判定する請求項１に記載の転倒リスク抽出装置。
  7. 　被験者の転倒リスクを抽出する転倒リスク抽出装置が、
    　前記被験者の歩行の映像から、前記被験者の骨格情報を抽出し、
    　前記骨格情報から、前記被験者の歩行時の各関節における時系列での位置変化、角度変化、速度変化、及び角速度変化の各々を含む情報を抽出し、
    　前記抽出した情報に基づいて、複数の関節の動作の相関を含む歩行特徴を算出し、
    　前記複数の関節の動作の相関を含む歩行特徴に基づいて前記被験者の転倒リスクを抽出する、
    　転倒リスク抽出方法。
  8. 　被験者の転倒リスクを抽出する転倒リスク抽出装置に、
    　前記被験者の歩行の映像から、前記被験者の骨格情報を抽出し、
    　前記骨格情報から、前記被験者の歩行時の各関節における時系列での位置変化、角度変化、速度変化、及び角速度変化の各々を含む情報を抽出し、
    　前記抽出した情報に基づいて、複数の関節の動作の相関を含む歩行特徴を算出し、
    　前記複数の関節の動作の相関を含む歩行特徴に基づいて前記被験者の転倒リスクを抽出する、
    　処理を実行させる転倒リスク抽出プログラム。
PCT/JP2023/030025 2023-08-21 2023-08-21 転倒リスク抽出装置、転倒リスク抽出方法、及び転倒リスク抽出プログラム Pending WO2025041230A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2023/030025 WO2025041230A1 (ja) 2023-08-21 2023-08-21 転倒リスク抽出装置、転倒リスク抽出方法、及び転倒リスク抽出プログラム
JP2024558135A JP7668970B1 (ja) 2023-08-21 2023-08-21 転倒リスク抽出装置、転倒リスク抽出方法、及び転倒リスク抽出プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/030025 WO2025041230A1 (ja) 2023-08-21 2023-08-21 転倒リスク抽出装置、転倒リスク抽出方法、及び転倒リスク抽出プログラム

Publications (1)

Publication Number Publication Date
WO2025041230A1 true WO2025041230A1 (ja) 2025-02-27

Family

ID=94731829

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/030025 Pending WO2025041230A1 (ja) 2023-08-21 2023-08-21 転倒リスク抽出装置、転倒リスク抽出方法、及び転倒リスク抽出プログラム

Country Status (2)

Country Link
JP (1) JP7668970B1 (ja)
WO (1) WO2025041230A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN121662357A (zh) * 2026-02-06 2026-03-13 中国人民解放军空军军医大学 一种基于患者实时远程监护及康复监测系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010172481A (ja) * 2009-01-29 2010-08-12 Wakayama Prefecture 下肢協調性評価システム
JP2015062654A (ja) * 2013-08-28 2015-04-09 日本電信電話株式会社 歩容推定装置とそのプログラム、転倒危険度算出装置とそのプログラム
JP2020048683A (ja) * 2018-09-25 2020-04-02 公立大学法人大阪 片麻痺の検査装置
JP2020077388A (ja) * 2018-09-28 2020-05-21 医療法人社団皓有会 運動解析装置
JP2021030051A (ja) * 2019-08-29 2021-03-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 転倒リスク評価方法、転倒リスク評価装置及び転倒リスク評価プログラム
WO2022249746A1 (ja) * 2021-05-27 2022-12-01 パナソニックＩｐマネジメント株式会社 身体機能推定システム、身体機能推定方法、及び、プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022092940A (ja) * 2020-12-11 2022-06-23 トヨタ紡織株式会社 推定装置、推定方法および推定プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010172481A (ja) * 2009-01-29 2010-08-12 Wakayama Prefecture 下肢協調性評価システム
JP2015062654A (ja) * 2013-08-28 2015-04-09 日本電信電話株式会社 歩容推定装置とそのプログラム、転倒危険度算出装置とそのプログラム
JP2020048683A (ja) * 2018-09-25 2020-04-02 公立大学法人大阪 片麻痺の検査装置
JP2020077388A (ja) * 2018-09-28 2020-05-21 医療法人社団皓有会 運動解析装置
JP2021030051A (ja) * 2019-08-29 2021-03-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 転倒リスク評価方法、転倒リスク評価装置及び転倒リスク評価プログラム
WO2022249746A1 (ja) * 2021-05-27 2022-12-01 パナソニックＩｐマネジメント株式会社 身体機能推定システム、身体機能推定方法、及び、プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN121662357A (zh) * 2026-02-06 2026-03-13 中国人民解放军空军军医大学 一种基于患者实时远程监护及康复监测系统

Also Published As

Publication number Publication date
JPWO2025041230A1 (ja) 2025-02-27
JP7668970B1 (ja) 2025-04-25

Similar Documents

Publication Publication Date Title
JP7184398B2 (ja) 自動診断装置
US20220189211A1 (en) Physical activity quantification and monitoring
US12279882B2 (en) Movement disorder diagnostics from video data using body landmark tracking
Nieto-Hidalgo et al. A vision based proposal for classification of normal and abnormal gait using RGB camera
Smeragliuolo et al. Validation of the Leap Motion Controller using markered motion capture technology
US11826140B2 (en) System and method for human motion detection and tracking
Bonnet et al. Monitoring of hip and knee joint angles using a single inertial measurement unit during lower limb rehabilitation
Vun et al. Vision-based motion capture for the gait analysis of neurodegenerative diseases: A review
US20200372245A1 (en) Scoring metric for physical activity performance and tracking
Guffanti et al. Non-invasive multi-camera gait analysis system and its application to gender classification
CA2821590A1 (en) A method for assessing cognitive function and predicting cognitive decline through quantitative assessment of the tug test
CN114514559A (zh) 运动识别方法、运动识别程序及信息处理装置
JP7668970B1 (ja) 転倒リスク抽出装置、転倒リスク抽出方法、及び転倒リスク抽出プログラム
Qian et al. Combining deep learning and model-based method using Bayesian Inference for walking speed estimation
Kobsar et al. Validity of a novel method to measure vertical oscillation during running using a depth camera
CN116665895A (zh) 一种帕金森运动障碍量化分析实现系统
Jia Influence of wearable biometric sensors on performance indicators of volleyball players
US20240152666A1 (en) Simulation of accelerometer data
Fazeli et al. Estimation of spatial-temporal hand motion parameters in rehabilitation using a low-cost noncontact measurement system
JP2018038752A (ja) 歩行分析方法及び歩行分析装置
WO2023280723A1 (en) System and method for whole-body balance assessment
Šprdlík et al. Tremor analysis by decomposition of acceleration into gravity and inertial acceleration using inertial measurement unit
Cordero-Sánchez et al. Comparison of ground reaction forces and net joint moment predictions: Skeletal model versus artificial neural network-based approach
EP4053793A1 (en) System and method for human motion detection and tracking
Zhao et al. Early detection of Parkinson’s disease based on IMU and machine learning

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2024558135

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2024558135

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23949691

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE