WO2022260046A1 - 被験者の状態を推定するためのコンピュータシステム、方法、およびプログラム - Google Patents

被験者の状態を推定するためのコンピュータシステム、方法、およびプログラム Download PDF

Info

Publication number
WO2022260046A1
WO2022260046A1 PCT/JP2022/022989 JP2022022989W WO2022260046A1 WO 2022260046 A1 WO2022260046 A1 WO 2022260046A1 JP 2022022989 W JP2022022989 W JP 2022022989W WO 2022260046 A1 WO2022260046 A1 WO 2022260046A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
disease
images
computer system
estimating
Prior art date
Application number
PCT/JP2022/022989
Other languages
English (en)
French (fr)
Inventor
紀子 池本
一 長原
智 多田
悠 森口
Original Assignee
国立大学法人大阪大学
独立行政法人国立病院機構
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人大阪大学, 独立行政法人国立病院機構 filed Critical 国立大学法人大阪大学
Priority to JP2022566687A priority Critical patent/JP7357872B2/ja
Publication of WO2022260046A1 publication Critical patent/WO2022260046A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb

Definitions

  • the present disclosure relates to a computer system, method, and program for estimating the condition of a subject.
  • Non-Patent Document 1 A wide variety of studies have been conducted on the close relationship between walking and health conditions (for example, Non-Patent Document 1).
  • the present disclosure provides a computer system, method, and program for estimating the state of a subject from a plurality of images of the subject walking.
  • the present disclosure provides, for example, the following.
  • a computer system for estimating the condition of a subject comprising: a receiving means for receiving a plurality of images of the subject walking; generating means for generating at least one silhouette image of the subject from the plurality of images; and estimating means for estimating the health-related state of the subject based on at least the at least one silhouette image.
  • the estimating means estimates a condition including a condition related to at least one disease of the subject.
  • the estimating means estimates the state by using a learned model that has learned the relationship between the learning silhouette image and the state related to the at least one disease of the target appearing in the learning silhouette image.
  • (Item 4) further comprising extracting means for extracting skeletal features of the subject from the plurality of images; the estimating means estimates the state further based on the skeletal features; A computer system according to any one of items 1-3.
  • the estimation means is obtaining a first score indicative of the condition based on the at least one silhouette image; obtaining a second score indicative of the condition based on the skeletal features; estimating the state based on the first score and the second score; A computer system according to item 4.
  • the generating means is extracting a plurality of silhouette regions from the plurality of images; normalizing each of the extracted plurality of silhouette regions; 6.
  • the computer system according to any one of items 1 to 8, wherein the health-related condition comprises at least one disease-related condition of the subject, and the at least one disease comprises a disease that causes gait disturbance.
  • the at least one disease includes at least one selected from the group consisting of locomotory diseases resulting in gait impairment, neuromuscular diseases resulting in gait impairment, cardiovascular diseases resulting in gait impairment, and respiratory diseases resulting in gait impairment. 10.
  • the computer system of claim 9. (Item 11) 10.
  • estimating the state of at least one disease includes determining which organ disease the gait disorder is associated with. (Item 12) 12.
  • the determining includes determining whether the disease causing the gait disturbance is a locomotory disease, a neuromuscular disease, a cardiovascular disease, or a respiratory disease. computer system.
  • the at least one disease is cervical spondylotic myelopathy (CSM), lumbar spinal stenosis (LCS), osteoarthritis (OA), neuropathy, disc herniation, posterior longitudinal ligament ossification (OPLL) ), rheumatoid arthritis (RA), heart failure, hydrocephalus, peripheral arterial disease (PAD), myositis, myopathy, Parkinson's disease, amyotrophic lateral sclerosis (ALS), spinocerebellar degeneration , multiple system atrophy, brain tumor, dementia with Lewy bodies, occult fracture, drug poisoning, meniscus injury, ligament injury, spinal cord infarction, myelitis, myelopathy, suppurative spondylitis, intervertebral discitis, hallux val
  • the subject's health-related condition is represented by the severity of at least one disease; 13.
  • the disease is cervical spondylotic myelopathy, 15.
  • the receiving means receives a plurality of images of walking of the subject determined to have a cervical spine JOA score of 10 or higher.
  • the estimation means estimates the walking ability of the subject. (Item 18) 18.
  • a method for estimating the condition of a subject comprising: receiving a plurality of images of the subject walking; generating at least one silhouette image of the subject from the plurality of images; estimating the health-related status of the subject based on at least the at least one silhouette image.
  • the method of item 20 including the features of one or more of the above items.
  • (Item 21) A program for estimating the state of a subject, said program being executed on a computer comprising a processor, said program comprising: receiving a plurality of images of the subject walking; generating at least one silhouette image of the subject from the plurality of images; and estimating the health-related state of the subject based on at least the at least one silhouette image. (Item 21A) 22. Program according to item 21, including features according to one or more of the above items.
  • (Item 21B) A storage medium storing a program for estimating the state of a subject, the program being executed by a computer comprising a processor, the program comprising: receiving a plurality of images of the subject walking; generating at least one silhouette image of the subject from the plurality of images; estimating a health-related condition of the subject based on at least the at least one silhouette image.
  • (Item 21C) A storage medium according to item 21B, comprising features according to one or more of the above items.
  • (Item 22) A method of creating a model for estimating a condition of a subject, comprising: for each subject of the plurality of subjects, receiving a plurality of images of the subject walking; generating at least one silhouette image of the object from the plurality of images; training a machine learning model using the at least one silhouette image as input training data and the subject's health-related condition as output training data. (Item 22A) 23.
  • a system for creating a model for estimating a subject's condition comprising: a receiving means for receiving a plurality of images photographed of a subject walking; generating means for generating at least one silhouette image of the object from the plurality of images; and learning means for causing a machine learning model to learn using the at least one silhouette image as input training data and the state of the at least one disease of the target as output training data.
  • the system of item 22B including the features of one or more of the above items.
  • (Item 22D) A program for creating a model for estimating the state of a subject, said program being executed on a computer comprising a processor, said program comprising: for each subject of the plurality of subjects, receiving a plurality of images of the subject walking; generating at least one silhouette image of the object from the plurality of images; Using the at least one silhouette image as input teacher data and the state of at least one disease of the target as output teacher data, and having the machine learning model learn a program.
  • the program of item 22D including the features of one or more of the above items.
  • a storage medium storing a program for creating a model for estimating the state of a subject, the program being executed by a computer comprising a processor, the program comprising: for each subject of the plurality of subjects, receiving a plurality of images of the subject walking; generating at least one silhouette image of the object from the plurality of images; a machine learning model using the at least one silhouette image as input teacher data and the state of at least one disease of the target as output teacher data.
  • a storage medium according to item 22F comprising features according to one or more of the above items.
  • a method of treating, preventing, or ameliorating a health condition, disorder, or disease in a subject comprising: (A) receiving a plurality of images of the subject walking; (B) generating at least one silhouette image of the subject from the plurality of images; (C) estimating a health-related condition of the subject based on at least the at least one silhouette image; and (D) determining a treatment, prevention, or amelioration to be administered to the subject based on the health-related condition of the subject. calculating a method for (E) administering to said subject said method for treatment, prevention, or amelioration; (F) repeating (A) through (E) as necessary; method including.
  • a system for treating, preventing, or ameliorating a health condition, disorder, or disease in a subject comprising: (A) receiving means for receiving a plurality of images of the subject walking; (B) generating means for generating at least one silhouette image of the subject from the plurality of images; (C) estimating means for estimating the health-related state of the subject based on at least the at least one silhouette image; and (D) treatment, prevention, or improvement to be administered to the subject based on the health-related state of the subject. a calculating means for calculating a method for (E) means for administering to said subject said method for treatment, prevention or amelioration.
  • (Item 23B) A program for treating, preventing, or ameliorating a health condition, disorder, or disease in a subject, said program being run on a computer comprising a processor, said program comprising: (A) receiving a plurality of images of the subject walking; (B) generating at least one silhouette image of the subject from the plurality of images; (C) estimating a health-related condition of the subject based on at least the at least one silhouette image; and (D) determining a treatment, prevention, or amelioration to be administered to the subject based on the health-related condition of the subject.
  • a program that causes the processor to perform a process comprising: (Item 23C) A storage medium storing a program for treating, preventing, or ameliorating a health condition, disorder, or disease of a subject, said program being executed by a computer comprising a processor, said program comprising: (A) receiving a plurality of images of the subject walking; (B) generating at least one silhouette image of the subject from the plurality of images; (C) estimating a health-related condition of the subject based on at least the at least one silhouette image; and (D) determining a treatment, prevention, or amelioration to be administered to the subject based on the health-related condition of the subject. calculating a method for (E) administering to said subject said method for treatment, prevention, or amelioration; (F) repeating (A) through (E) as necessary; A storage medium that causes the processor to perform a
  • a computer system, method, and method for estimating the condition of a subject capable of estimating the condition of at least one medical condition, such as a disease, disorder, syndrome, symptom, etc., of the subject with high accuracy. program can be provided.
  • a medical condition such as a disease, disorder, syndrome, symptom, etc.
  • even diseases that cannot be identified by a doctor's examination alone may be identified.
  • FIG. 10 is a diagram showing an example of a flow 10 for estimating a subject's condition from a walking video of the subject using an embodiment of the present disclosure; A diagram showing an example of a configuration of a computer system 100 for estimating a subject's condition.
  • FIG. 4 is a diagram showing an example of the configuration of the processor unit 120 in one embodiment; A diagram showing an example of the configuration of a processor unit 120' according to another embodiment. A diagram showing an example of a configuration of a processor unit 120'' according to another embodiment.
  • FIG. 4 is a diagram showing an example of the configuration of the processor unit 140 in one embodiment; A diagram showing an example of a configuration of a processor unit 140' according to another embodiment.
  • FIG. 4 is a diagram schematically illustrating an example of a flow for generating one silhouette image 43 from one image 41 by the generating means 122;
  • FIG. 4 is a diagram schematically illustrating an example of a flow for generating one silhouette image from a plurality of silhouette images 43A to 43C by generating means 122;
  • FIG. 4 is a diagram schematically illustrating an example of a flow for generating one silhouette image from a plurality of silhouette images 43A to 43C by generating means 122;
  • FIG. 4 is a diagram schematically illustrating an example of a flow for extracting a skeleton feature 52 from a single image 51 by an extracting means 124; A diagram showing an example of the grounds for judgment specified by the analysis means 125 Flowchart showing an example of processing (processing 600) by the computer system 100 for estimating the subject's condition Flowchart showing another example of processing (processing 610) by the computer system 100 for estimating the subject's condition Flowchart showing an example of processing (process 700) by the computer system 100 for estimating the subject's condition Flowchart showing another example of processing (processing 710) by the computer system 100 for estimating the subject's condition Figure showing the results of Example 1 The figure which shows the result of Example 2. The figure which shows the result of Example 3 The results of Example 4 are shown. The results of Example 5 are shown.
  • the term “subject” refers to any person or animal targeted by the technology of the present disclosure. “Subject” may be used synonymously with “object” or patient.
  • the "state” of the "subject” refers to the state of the subject's body or mind.
  • walking refers to arbitrary movement (exercise) by limbs (eg, feet (legs), arms, etc.) performed by an animal.
  • limbs eg, feet (legs), arms, etc.
  • running i.e., movement in which all feet leave the ground at the same time
  • crawling Includes movement on all fours (so-called crawling).
  • gait disorder refers to any disorder in walking, characterized by abnormalities in the movement of the subject's body during walking (i.e., displacement of the entire body) or displacement of each part of the body. be done.
  • the term “disease” refers to a condition in which a subject is unwell or inconvenient. “Disease” is synonymous with terms such as “disorder” (a condition that interferes with normal functioning), “symptom” (an abnormal condition in a subject), “syndrome” (a condition in which several symptoms occur), etc. It is sometimes used as a target.
  • a disease that causes an abnormality in the movement of the subject's body or the displacement of each part of the body during walking is referred to as a “disease that causes gait disturbance”
  • a disease that causes gait disturbance is called a "locomotorium disease that causes gait disturbance”.
  • neutral disease causing gait disturbance "cardiovascular disease causing gait disturbance”
  • respiratory disease causing gait disturbance etc.
  • locomotorium disease causing gait disturbance refers to diseases related to bone and joint functions that cause gait disturbance, such as osteoarthritis (OA), rheumatoid arthritis, Including but not limited to meniscal injury, ligament injury, locomotive syndrome, cervical spondylotic myelopathy (CSM), lumbar spinal stenosis (LCS), posterior longitudinal ligament ossification (OPLL), disc herniation, discitis .
  • OA osteoarthritis
  • CSM cervical spondylotic myelopathy
  • LCS cervical spondylotic myelopathy
  • OPLL posterior longitudinal ligament ossification
  • disc herniation discitis .
  • Cervical spondylotic myelopathy CSM
  • lumbar spinal stenosis LCS
  • posterior longitudinal ligament ossification OPLL
  • intervertebral disc herniation OPLL
  • intervertebral discitis can also be “disabling neuromuscular diseases” described below.
  • the term "neuromuscular disease that causes gait disturbance” refers to diseases related to nerve and muscle functions that cause gait disturbance, such as cervical spondylotic myelopathy (CSM), lumbar spinal canal stenosis. (LCS), disc herniation, spinocerebellar degeneration, multiple system atrophy, neuropathy, hydrocephalus, myositis, myopathy, amyotrophic lateral sclerosis (ALS), brain tumors, Including but not limited to spinal cord infarction, myelitis, myelopathy, posterior longitudinal ligament ossification (OPLL), intervertebral discitis, Parkinson's disease, cerebral infarction, hereditary spastic paraplegia.
  • CSM cervical spondylotic myelopathy
  • LCS lumbar spinal canal stenosis.
  • ALS amyotrophic lateral sclerosis
  • brain tumors Including but not limited to spinal cord infarction, myelitis, myelopathy, posterior longitudinal ligament o
  • Cervical spondylotic myelopathy CSM
  • lumbar spinal stenosis LCS
  • posterior longitudinal ligament ossification OPLL
  • intervertebral disc herniation OPLL
  • intervertebral discitis can also be the aforementioned "locomotor disorders causing gait disturbance”.
  • cardiac disease that causes gait disturbance refers to diseases related to heart and blood vessel function that cause gait disturbance, and includes, for example, heart failure, peripheral arterial disease (PAD), and frailty. is not limited to
  • the term "respiratory disease that causes gait disturbance” refers to diseases related to lung function that cause gait disturbance, including, but not limited to, chronic obstructive pulmonary disease (COPD).
  • COPD chronic obstructive pulmonary disease
  • the "silhouette image” of a subject or the like means an image that represents an area of the subject or the like by representing pixels belonging to the subject or the like and pixels not belonging to the subject or the like in the image with different pixel values.
  • the "silhouette image of the subject” may be a binary image in which all pixels belonging to the subject in the image have the same value and all pixels not belonging to the subject have the same value.
  • the subject in the image is divided into a plurality of parts (for example, by parts), all pixels belonging to the same part have the same value, and all pixels not belonging to the subject etc. have the same value. It can be a multivalued image.
  • the subject in the image is divided into a plurality of parts (for example, by parts), all the pixels belonging to the same part have the same value, and the parts that do not belong to the subject are divided into a plurality of parts. It is a multivalued image in which all the pixels belonging to the same part are divided into the same value, and each pixel value is a value that can distinguish between the part belonging to the subject and the part not belonging to the subject. obtain.
  • Skeletal features of a subject refer to features that can represent the skeleton of a subject. Skeletal features include, for example, the positions and angles of multiple joints of the subject.
  • the skeletal features can be represented by a graph structure in which multiple joints of a subject are represented by keypoints and the points are connected. COCO with 18 keypoints and Body 25 with 25 keypoints are known as such graph structures. In general, the more Keypoints, the more accurately the subject's skeleton is represented.
  • estimating the state may be a concept that includes estimating the future state in addition to estimating the current state.
  • treatment includes conservative treatment and surgical treatment.
  • Conservative treatment includes drug therapy and rehabilitation therapy
  • rehabilitation includes physical therapy and occupational therapy.
  • Rehabilitation treatment includes face-to-face instructional rehabilitation treatment and remote instructional rehabilitation treatment.
  • FIG. 1 shows an example of a flow 10 for estimating a subject's state from a walking video of the subject using an embodiment of the present disclosure.
  • the state of the disease of the subject S is estimated only by photographing the state of the subject S walking with the terminal device 300, and the estimated result is provided to the doctor or the subject S.
  • the subject S can easily know whether he or she has the disease.
  • the doctor can use the estimated result for the diagnosis of the subject S, and can improve the accuracy of the diagnosis.
  • the subject S uses the terminal device 300 (for example, a smartphone, tablet, etc.) to capture a video of himself/herself walking. Since a moving image can be regarded as a plurality of continuous images (still images), the term “moving image” is used synonymously with “a plurality of images” or “a plurality of continuous images” in this specification. It should be noted that the state in which the subject S is walking may be photographed not by the terminal device 300 but by photographing means such as a digital camera or a video camera.
  • the subject S walking straight on a flat ground is photographed from the side, specifically from a direction substantially perpendicular to the walking direction.
  • the terminal device 300 or the imaging means is installed so that the figure walking about 4 m in the middle excluding the first about 3 m and the last about 3 m can be appropriately photographed. preferably.
  • step S1 the captured video is provided to the server device 100.
  • the manner in which the moving images are provided to the server device 100 does not matter.
  • moving images can be provided to server device 100 via a network (eg, Internet, LAN, etc.).
  • moving images can be provided to server device 100 via a storage medium (eg, removable media).
  • the moving image provided in step S1 is processed.
  • Server device 100 processes each of a plurality of frames in a moving image.
  • the state of the disease of the subject S is estimated by the processing by the server device 100 .
  • it can be estimated whether the subject S has a certain disease or does not have a certain disease.
  • the level of a disease that the subject S has for example, mild, moderate, severe can be estimated.
  • the disease is typically a disease that causes gait disturbance, for example, locomotor disease that causes gait disturbance, neuromuscular disease that causes gait disturbance, cardiovascular disease that causes gait disturbance, respiratory disease that causes gait disturbance
  • diseases include, for example, cervical spondylotic myelopathy (CSM), lumbar spinal stenosis (LCS), osteoarthritis (OA), neuropathy, disc herniation, posterior longitudinal ligament bone complication (OPLL), rheumatoid arthritis (RA), heart failure, hydrocephalus, peripheral arterial disease (PAD), myositis, myopathy, Parkinson's disease, amyotrophic lateral sclerosis (ALS), Spinocerebellar degeneration, multiple system atrophy, brain tumor, dementia with Lewy bodies, occult fracture, drug poisoning, meniscus injury, ligament injury, spinal cord infarction, myelitis, myelopathy, suppurative spondylitis, intervertebral discitis, Hallux valgus
  • the disease is at least one of neuropathy, myositis, osteoarthritis (OA), rheumatoid arthritis (RA), heart failure, chronic obstructive pulmonary disease (COPD), Parkinson's disease can be one.
  • Such inference may also include determining which organ disease the disorder causing the gait disturbance is associated with, such as locomotory disease, neurological disease, or locomotor disease. It may include determining whether it is a muscular disease, a cardiovascular disease, or a respiratory disease.
  • step S2 the subject S is provided with the results estimated by the server device 100.
  • the manner in which the estimated result is provided does not matter.
  • the estimated result may be provided from the server device 100 to the terminal device 300 via a network, may be provided to the subject S via a storage medium, or may be provided to the subject S via a paper medium. may be provided.
  • subject S can easily know whether he/she has a disease or what the level of his/her disease is.
  • treatment or intervention according to the state of the disease of the subject S may be provided to the subject S, or information according to the state of the disease of the subject S (for example, information that encourages behavioral change, rehabilitation (information to support ) may be provided to the subject S.
  • step S3 the results estimated by the server device 100 are provided to the doctor.
  • the manner in which the estimated results are provided does not fit.
  • the estimated result may be provided from the server device 100 to the terminal device of the hospital H via the network, may be provided to the doctor via a storage medium, or may be provided to the doctor via a paper medium. may be provided.
  • the doctor can use the estimated results to diagnose whether or not the subject S has a disease, or to diagnose the level of the disease that the subject has. For example, even a disease that is difficult to diagnose or requires experience or knowledge for diagnosis can be diagnosed with high accuracy using the estimated result.
  • the doctor may be provided with information according to the disease state of the subject S (for example, information on recommended treatment or intervention, information on recommended rehabilitation).
  • flow 10 has been described in which the subject S can receive the estimation result of the disease state of the subject S only by shooting a moving image of himself/herself walking. is not limited to For example, a doctor simply shoots a video of the subject S walking using a camera, or the subject uses the terminal device 300 for another person to show himself/herself walking.
  • the server device 100 described above can be implemented as a server device that provides cloud services.
  • the subject S or a doctor can access the server device 100 from a terminal device (for example, a smart phone or a personal computer) and receive cloud services for receiving the results of estimating the disease state of the subject S.
  • the subject S or the doctor may access the server device 100 via an application installed in the terminal device, or may access the server device 100 via a WEB application.
  • Such cloud services can be provided to domestic and foreign medical institutions or subjects.
  • Applications for receiving provision of such cloud services can be provided, for example, as medical equipment or healthcare products to domestic and overseas medical institutions or subjects.
  • the accuracy of the process of estimating the disease state of the subject S can be improved as more information about the subject is collected and learned. Processing programs may require frequent updates.
  • Implementing the server device 100 as a server device that provides a cloud service has the advantage of facilitating updating of a program for processing for estimating the disease state of the subject S.
  • the terminal device 300 may perform the processing by the server device 100 described above.
  • the server device 100 can be omitted and the terminal device 300 can operate standalone.
  • the terminal device 300 may be installed with software that causes a processor to perform processing for estimating the disease state of the subject S.
  • Such software can be provided to the subject S as a medical device or as a healthcare product.
  • the estimated result of the state related to the disease of the subject S is provided to a doctor, a physical therapist, a caregiver, or a family member of the subject S. , an estimation result can be provided.
  • the processing by the server device 100 described above can also be performed by a terminal device of a medical institution.
  • the server device 100 can be omitted and the terminal device can operate standalone. If the terminal device has a camera, the terminal device 300 may also be omitted.
  • the terminal device may be installed with software that causes the processor to perform the process of estimating the disease state of the subject S. Such software can be provided to domestic and foreign medical institutions as medical equipment.
  • the estimation result may be provided from the terminal device to the terminal device of the doctor S or the terminal device 300 of the subject S, for example.
  • the processing by the server device 100 described above can be performed by a dedicated device.
  • the server device 100 and the terminal device 300 can be omitted, and the dedicated device can work standalone.
  • the dedicated device may comprise, for example, a camera, a processing unit, and a memory storing software that causes the processing unit to perform a process of estimating the state of the subject S's disease.
  • a dedicated device can be provided as a medical device to domestic and foreign medical institutions.
  • the estimation result can be provided to the terminal device of the doctor S or the terminal device 300 of the subject S from a dedicated device.
  • the present disclosure is not limited to this.
  • a condition related to disease it may be estimated whether or not the person has some kind of disease, that is, whether or not the person is healthy.
  • the present disclosure can estimate not only the subject's disease-related state, but also the subject's health-related state.
  • the present disclosure indicates whether the subject is in a healthy condition, whether the subject is not sick but has signs of disease (i.e., pre-disease), what level of health the subject is, and what kind of condition the subject is.
  • the flow 10 described above can be implemented using the computer system 100 of the present invention, which will be described later.
  • FIG. 2 shows an example of the configuration of a computer system 100 for estimating the state of a subject.
  • the computer system 100 is connected to the database unit 200.
  • Computer system 100 is also connected to at least one terminal device 300 via network 400 .
  • Network 400 can be any type of network.
  • Network 400 may be, for example, the Internet or a LAN.
  • Network 400 may be a wired network or a wireless network.
  • the computer system 100 is a server device, but is not limited to this.
  • the computer system 100 is a terminal device (e.g., a terminal device held by a subject, a terminal device installed in a hospital, a terminal device installed in a public place (e.g., public hall, government office, library, etc.)) or a dedicated device.
  • An example of the terminal device 300 is a terminal device held by a subject, a terminal device installed in a hospital, or a terminal device installed in a public place (for example, a public hall, a government office, a library, etc.).
  • the server device and the terminal device can be any type of computer.
  • the terminal device can be any type of terminal device such as smart phones, tablets, personal computers, smart glasses, and the like. It is preferable that the terminal device 300 include a photographing means such as a camera, for example.
  • the computer system 100 includes an interface unit 110, a processor unit 120, and a memory 130 unit.
  • the interface unit 110 exchanges information with the outside of the computer system 100 .
  • the processor unit 120 of the computer system 100 can receive information from the outside of the computer system 100 via the interface unit 110 and can send information to the outside of the computer system 100 .
  • the interface unit 110 can exchange information in any format.
  • the interface unit 110 includes, for example, an input unit that allows information to be input to the computer system 100 . It does not matter in what manner the input unit allows information to be entered into the computer system 100 .
  • the input unit is a receiver, the receiver may receive information from outside the computer system 100 via the network 400 for input.
  • the input unit is a data reader, information may be input by reading information from a storage medium connected to computer system 100 .
  • the input unit is a touch panel
  • the user may input information by touching the touch panel.
  • the input unit is a mouse
  • the user may input information by operating the mouse.
  • the input unit is a keyboard
  • the user may input information by pressing keys on the keyboard.
  • the input unit is a microphone, the user may input information by inputting voice into the microphone.
  • the input unit is a camera, information captured by the camera may be input.
  • the input unit makes it possible to input to the computer system 100 a moving image of the subject walking.
  • the interface unit 110 includes an output unit that enables information to be output from the computer system 100, for example. It does not matter in what manner the output unit enables information to be output from the computer system 100 .
  • the output unit is a transmitter, the transmitter may output information by transmitting it to the outside of computer system 100 via network 400 .
  • the output unit is a data writing device, information may be output by writing information to a storage medium connected to computer system 100 .
  • the output unit is a display screen, the information may be output to the display screen.
  • the output unit is a speaker
  • the information may be output by sound from the speaker.
  • the output unit can output the subject's state estimated by the computer system 100 to the outside of the computer system 100 .
  • the processor unit 120 executes the processing of the computer system 100 and controls the operation of the computer system 100 as a whole.
  • the processor unit 120 reads a program stored in the memory unit 130 and executes the program. This allows the computer system 100 to function as a system that executes desired steps.
  • the processor unit 120 may be implemented by a single processor or multiple processors.
  • the memory unit 130 stores programs required for executing the processing of the computer system 100 and data required for executing the programs.
  • the memory unit 130 stores a program for processing for estimating the state of the subject (for example, a program for realizing the processing shown in FIG. 6A or 6B described later) and/or a model for estimating the state of the subject.
  • a program for processing for creating (for example, a program for realizing processing shown in FIG. 7A or 7B, which will be described later) may be stored.
  • the program may be pre-installed in memory unit 130 .
  • the program may be installed in memory unit 130 by being downloaded via a network.
  • the program may be stored in a computer-readable storage medium.
  • the database unit 200 can store a plurality of images of each of a plurality of objects taken while walking.
  • the plurality of images may have been transmitted from each target terminal device 300 to the database unit 200 (via the computer system 100), or may have been captured by a camera that the computer system 100 may have. can be anything.
  • a plurality of images obtained by photographing the states of walking of each of a plurality of subjects can be stored, for example, in association with the disease state of each subject.
  • the data stored in database unit 200 can be used, for example, to create a model for estimating the subject's condition.
  • the database unit 200 may store a plurality of images of the subjects to be predicted walking.
  • the plurality of images may be, for example, those transmitted from the terminal device 300 of the subject to be predicted to the database unit 200 (via the computer system 100), or may be captured by a camera that may be included in the computer system 100. may have been
  • the database unit 200 can store, for example, the results of estimating the state of the subject output by the computer system 100 .
  • the database unit 200 is provided outside the computer system 100, but the present invention is not limited to this. It is also possible to provide at least part of the database unit 200 inside the computer system 100 . At this time, at least part of the database section 200 may be implemented by the same storage means as the storage means implementing the memory section 130, or may be implemented by a storage means different from the storage means implementing the memory section 130. may In any event, at least a portion of database unit 200 is configured as a storage unit for computer system 100 .
  • the configuration of database unit 200 is not limited to a specific hardware configuration. For example, the database unit 200 may be configured with a single hardware component, or may be configured with a plurality of hardware components. For example, the database unit 200 may be configured as an external hard disk device of the computer system 100, or configured as a cloud storage connected via a network.
  • FIG. 3A shows an example of the configuration of the processor unit 120 in one embodiment.
  • the processor unit 120 includes receiving means 121 , generating means 122 and estimating means 123 .
  • the receiving means 121 is configured to receive a plurality of images of the subject walking.
  • the receiving means 121 can receive a plurality of images from outside the computer system 100 via the interface section 110 .
  • a plurality of images may be those transmitted from the terminal device 300 of the subject to the computer system 100, those stored in the database unit 200, and transmitted from the database unit 200 to the computer system 100 It can be anything.
  • the plurality of images may be, for example, a plurality of images shot by continuously shooting still images, or may be a plurality of frames forming a moving image.
  • the multiple images may have any frame rate, but the frame rate is preferably 20 fps to 60 fps, more preferably 30 fps.
  • a plurality of images received by the receiving means 121 are provided to the generating means 122 .
  • the generating means 122 is configured to generate a silhouette image of the subject from an image of the subject.
  • the generating means 122 can generate at least one silhouette image from a plurality of images received by the receiving means 121, for example.
  • the generator 122 can generate the silhouette image using techniques known in the art.
  • the generating means 122 can generate a silhouette image using, for example, a technique called graph transfer learning or semantic segmentation.
  • a specific example of a method for generating a silhouette image by graph transfer learning is a method using Graphonomy (https://arxiv.org/abs/1904.04536), but is not limited to this.
  • the generation means 122 may generate a silhouette image as a binary image in which all pixels belonging to the subject in the image have the same value and all pixels not belonging to the subject have the same value.
  • a multivalued image in which the subject in the image is divided into multiple parts (for example, by parts), and all pixels belonging to the same part have the same value, and all pixels not belonging to the subject have the same value.
  • You may make it generate
  • a silhouette image can be generated as a multivalued image in which each part of the subject is represented by different pixel values.
  • a silhouette image as a binary image can be generated by representing all parts with the same pixel value.
  • the generating means 122 may generate N silhouette images from N images, or may generate M silhouette images from N images (N ⁇ 2, N>M or N ⁇ M). In a particular example, the generating means 122 can generate one silhouette image from N images.
  • the generating means 122 can generate M silhouette images from N images (N>M). At this time, the generating means 122 generates M average silhouette images by generating a silhouette image from each of the N images and averaging at least some of the generated N silhouette images. be able to. Preferably, one average silhouette image can be generated by averaging all N silhouette images.
  • the generating means 122 extracts N silhouette regions from N images, normalizes the extracted N silhouette regions, and averages the normalized N silhouette regions. , M, preferably one silhouette image can be generated.
  • the normalization process can be performed, for example, based on the height of the subject in the image. Normalization is performed, for example, by extracting a subject's silhouette region from each of a plurality of silhouette images and resizing (i.e., enlarging or reducing) the plurality of extracted silhouette regions based on the height of the subject. In one example, the normalization resizes the subject's silhouette region such that the vertical length of the subject's silhouette region is about 32 pixels, about 64 pixels, about 128 pixels, about 256 pixels, about 512 pixels, etc.
  • the horizontal length may be determined so as to maintain the aspect ratio, or may be a fixed value such as about 22 pixels, about 44 pixels, about 88 pixels, about 176 pixels, about 352 pixels, etc. There may be.
  • the aspect ratio is maintained.
  • smoothing may be additionally performed so that the movement of the center of gravity of the silhouette becomes smooth.
  • the averaging process can be performed, for example, by averaging pixel values of pixels in N silhouette regions.
  • the value of N can be any integer equal to or greater than 2, preferably a value within the range of 20-60, more preferably 40.
  • the value of N can preferably be the number of frames for one gait cycle (for example, about 25-30 frames for about 30 fps), more preferably frames that can also cover one gait cycle for a subject with a gait disorder. number (eg, about 40 frames at about 30 fps).
  • the value of N may be changed, for example, according to the disease to be predicted.
  • FIG. 4A schematically illustrates an example of a flow for generating one silhouette image 43 from one image 41 by the generating means 122.
  • FIG. 4A schematically illustrates an example of a flow for generating one silhouette image 43 from one image 41 by the generating means 122.
  • the generating means 122 is provided with one image 41 from the receiving means 121 .
  • the generating means 122 generates a silhouette image 42 from the image 41.
  • the silhouette image 42 is a multivalued image in which each part of the subject is represented by different pixel values.
  • the face, head, torso, legs, and feet are represented by different pixel values.
  • the generating means 122 generates the silhouette image 43 from the silhouette image 42.
  • the silhouette image 43 is a binary image in which the entire subject is represented by the same pixel values.
  • the generating means 122 can generate the silhouette image 43 by expressing different pixel values of the subject's silhouette in the silhouette image 42 with the same pixel value.
  • the generation means 122 can generate a plurality of silhouette images from a plurality of images by performing such processing on each of the plurality of images.
  • the flow shown in FIG. 4B may be performed.
  • the silhouette image 43 which is a binary image, is generated, but a silhouette image, which is a multi-value image, may be generated. In this case, step S402 may be omitted.
  • FIG. 4B schematically illustrates an example of a flow for generating one silhouette image from a plurality of silhouette images 43A to 43C by the generation means 122.
  • FIG. it is assumed that a plurality of silhouette images 43A, 43B, 43C, . . . are generated according to the flow shown in FIG. 4A.
  • step S403 the generating means 122 extracts a silhouette region of the subject from each of the plurality of silhouette images 43A, 43B, 43C, . , aligning the sizes) to generate a plurality of normalized silhouette regions 44A, 44B, 44C, . . .
  • normalization is performed with reference to the height of the subject in the image. That is, each of the plurality of silhouette regions extracted from each of the plurality of silhouette images 43A, 43B, 43C, . , a plurality of normalized silhouette regions 44A, 44B, 44C, . . . are generated.
  • normalization is performed so that the silhouette area is 128 pixels long by 88 pixels wide.
  • the generating means 122 generates one silhouette image 45 by averaging the plurality of normalized silhouette regions 44A, 44B, 44C, .
  • Averaging may be performed by averaging the pixel values of each pixel for a plurality of normalized silhouette regions 44A, 44B, 44C, . . .
  • the pixel value P ij of the ij-th pixel of the silhouette image 45 is can be calculated with
  • n is the number of the plurality of silhouette regions 44
  • p ijk is the pixel value of the ij-th pixel in the k-th silhouette region, and 0 ⁇ i ⁇ the number of vertical pixels (128 in this example).
  • the generating means 122 can generate one silhouette image from a plurality of images through the processing shown in FIGS. 4A and 4B.
  • a silhouette image generated by the generating means 122 is provided to the estimating means 123 .
  • the estimating means 123 is configured to estimate at least one disease-related state of the subject based on at least one silhouette image.
  • the estimating means 123 can estimate, for example, whether the subject has a certain disease or does not have a certain disease as the state of a certain disease. Alternatively, the estimating means 123 additionally or alternatively estimates the level of a certain disease that the subject has as a state of a certain disease (e.g., mild, moderate, or severe, or severity). can do. The severity can be expressed, for example, by the Japanese Orthopedic Association cervical spine score (cervical spine JOA score), which represents the severity of cervical spondylosis myelopathy. Alternatively, in addition to or instead of the above, the estimating means 123 can estimate which of the multiple diseases the subject has as the multiple disease states.
  • cervical spine JOA score Japanese Orthopedic Association cervical spine score
  • the estimating means 123 can estimate which of the multiple diseases the subject has as the multiple disease states.
  • Diseases whose state can be estimated by the estimating means 123 are typically diseases that cause gait disturbance, for example, locomotory diseases that cause gait disturbance, neuromuscular diseases that cause gait disturbance, cardiovascular diseases that cause gait disturbance, May include respiratory disease that causes gait disturbance.
  • diseases include, for example, cervical spondylotic myelopathy (CSM), lumbar spinal stenosis (LCS), osteoarthritis (OA), neuropathy, disc herniation, posterior longitudinal ligament bone complication (OPLL), rheumatoid arthritis (RA), heart failure, hydrocephalus, peripheral arterial disease (PAD), myositis, myopathy, Parkinson's disease, amyotrophic lateral sclerosis (ALS), Spinocerebellar degeneration, multiple system atrophy, brain tumor, dementia with Lewy bodies, occult fracture, drug poisoning, meniscus injury, ligament injury, spinal cord infarction, myelitis, myelopathy, suppurative spondylitis, intervertebral discitis, Including but not limited to hallux valgus, chronic obstructive pulmonary disease (COPD), obesity, stroke, locomotive syndrome, frailty, hereditary spastic paraplegia.
  • CSM cervical spondylotic myel
  • the estimating means 123 accurately estimates the state of cervical spondylotic myelopathy (CSM), lumbar spinal canal stenosis (LCS), osteoarthritis (OA), Parkinson's disease, rheumatoid arthritis (RA), and cerebral infarction. It is possible to estimate The estimating means 123 may also be configured to determine which organ disease the disease causing the gait disturbance is related to, such determination may be a motor organ disease or a neuromuscular disease. It may include determining whether it is a disease, a cardiovascular disease, or a respiratory disease.
  • the estimating means 123 can use any algorithm to estimate the state of at least one disease of the subject.
  • the estimating means 123 can, for example, use a trained model to estimate the state of at least one disease of the subject.
  • a learned model is a model that has learned the relationship between the learning silhouette image and the state of at least one disease of the subject appearing in the learning silhouette image.
  • the estimating means 123 for example, based on the feature amount (for example, the contour shape of the subject when walking (for example, how the back bends, how the legs bend, how the arm swings, etc.)) obtained from at least one silhouette image , a rule-based estimate of the subject's status with respect to at least one disease.
  • a trained model can be any type of machine learning model.
  • the machine learning model can be, for example, a neural network, more specifically a convolutional neural network. More specifically, examples of machine learning models utilized include, but are not limited to, ResNet50 (https://arxiv.org/abs/1512.03385).
  • the trained model can be a model created by the processor unit 140 described below or by the process 700 shown in FIG. 7A.
  • the silhouette image generated by the generating means 122 is used as the trained model.
  • the trained model can output the state of at least one disease of the subject in the silhouette image.
  • the output can be, for example, one or both of a score indicating the presence of a particular disease and a score indicating the absence of that particular disease.
  • the output can be a score that indicates the level of a particular disease, for example.
  • the result estimated by the estimation means 123 can be output to the outside of the computer system 100 via the interface section 110 .
  • the estimated result can be transmitted to the subject's terminal device 300 via the interface unit 110 .
  • the providing means that can be provided in the computer system 100 may provide the subject with treatment or intervention according to the condition of the subject, or information according to the condition of the subject (for example, information that encourages behavioral change, information for assisting rehabilitation) may be provided to the subject.
  • the estimated result can be transmitted to the doctor's terminal device 300 via the interface unit 110 . This allows the doctor to use the estimated results for diagnosing the subject.
  • the providing means may provide the doctor with information according to the condition of the subject (for example, information on recommended treatment or intervention, information on recommended rehabilitation).
  • the estimated result can be transmitted to the database unit 200 via the interface unit 110 and stored. Thereby, the estimated results can be referenced later or used later to update the trained model or generate a new trained model.
  • the estimation means 123 can estimate the subject's health-related condition based on at least one silhouette image.
  • the disease-related conditions described above are examples of health-related conditions.
  • Health-related conditions include, for example, general health-related conditions, specific site-related conditions (e.g., lower limbs, upper limbs, internal organs), specific function-related conditions (e.g., walking function, respiratory function) state).
  • Health-related conditions may be represented by two values, good or bad, or may be represented by degrees such as level or degree of health.
  • the health related condition may typically be the ability to walk. Walking ability can be represented, for example, as walking age, which is a numerical value that indicates at what age level the walking condition is.
  • the estimating means 123 can use any algorithm to estimate the health condition of the subject.
  • the estimating means 123 can, for example, use the learned model in the same manner as described above to estimate the health-related state of the subject.
  • the learned model is a model that has learned the relationship between the learning silhouette image and the health-related state of the subject appearing in the learning silhouette image.
  • the estimating means 123 for example, based on the feature amount (for example, the contour shape of the subject when walking (for example, how the back bends, how the legs bend, how the arm swings, etc.)) obtained from at least one silhouette image , can estimate the health condition of the subject on a rule basis.
  • FIG. 3B shows an example of the configuration of the processor unit 120' in another embodiment.
  • the processor unit 120 ′ may have the same configuration as the processor unit 120 except that it includes an extraction means 124 .
  • FIG. 3B the same reference numerals are given to the components having the same configuration as the components described above with reference to FIG. 3A, and detailed description thereof is omitted here.
  • the processor unit 120 ′ includes receiving means 121 , generating means 122 , estimating means 123 ′, and extracting means 124 .
  • the receiving means 121 is configured to receive a plurality of images of the subject walking. A plurality of images received by the receiving means 121 are provided to the generating means 122 and the extracting means 124 .
  • the generating means 122 is configured to generate a silhouette image of the subject from an image of the subject.
  • the silhouette image generated by the generating means 122 is provided to the estimating means 123'.
  • the extraction means 124 is configured to extract the skeletal features of the subject from a plurality of images of the subject.
  • the extracting means 124 is configured, for example, to extract the skeletal features of the subject from the plurality of images received by the receiving means 121 .
  • the extraction means 124 can generate time-series data of skeleton features by extracting skeleton features from each of the plurality of images.
  • the extraction means 124 can extract skeletal features using techniques known in the art.
  • the extracting means 124 can extract skeleton features using, for example, a technique called Part Affinity Fields.
  • a specific example of a skeleton extraction technique using Part Affinity Fields is a technique using Openpose (https://arxiv.org/abs/1812.08008), but is not limited to this.
  • the extraction means 124 can represent a plurality of joints of the subject by points (keypoints) and extract the skeletal features as a graph structure connecting the points.
  • a graph structure can have any number of Keypoints.
  • FIG. 5A schematically illustrates an example of a flow for extracting the skeletal features 52 from one image 51 by the extraction means 124.
  • FIG. 5A schematically illustrates an example of a flow for extracting the skeletal features 52 from one image 51 by the extraction means 124.
  • the extracting means 124 is provided with one image 51 from the receiving means 121 .
  • the extracting means 124 extracts the skeletal features 52 of the subject from the image 51. Skeletal features 52 are shown superimposed on image 51 . Since the background information can become noise if left as it is, the background information can be removed.
  • step S502 background information is removed and an image 53 having only skeleton features 52 is generated.
  • the generating means 122 can generate a plurality of skeletal features (or a plurality of images having skeletal features) from the plurality of images by performing such processing on each of the plurality of images.
  • a plurality of skeletal features (or a plurality of images having skeletal features) are provided to the estimation means 123' as time-series skeletal feature data.
  • the estimation means 123' can estimate at least one disease of the subject based on the silhouette image and the skeletal features.
  • the estimating means 123' can, for example, estimate whether the subject has a certain disease or does not have a certain disease as a certain disease state.
  • the estimating means 123′ additionally or alternatively uses the level of a certain disease that the subject has (for example, mild, moderate, or severe, or severity) as the state of a certain disease. can be estimated.
  • the severity can be expressed, for example, by the Japanese Orthopedic Association cervical spine score (cervical spine JOA score), which represents the severity of cervical spondylosis myelopathy.
  • Diseases whose state can be estimated by the estimating means 123′ are typically diseases that cause gait disturbance, such as locomotory diseases that cause gait disturbance, neuromuscular diseases that cause gait disturbance, cardiovascular diseases that cause gait disturbance, May include respiratory disease that causes gait disturbance.
  • diseases that cause gait disturbance such as locomotory diseases that cause gait disturbance, neuromuscular diseases that cause gait disturbance, cardiovascular diseases that cause gait disturbance, May include respiratory disease that causes gait disturbance.
  • diseases include, for example, cervical spondylotic myelopathy (CSM), lumbar spinal stenosis (LCS), osteoarthritis (OA), neuropathy, disc herniation, posterior longitudinal ligament bone complication (OPLL), rheumatoid arthritis (RA), heart failure, hydrocephalus, peripheral arterial disease (PAD), myositis, myopathy, Parkinson's disease, amyotrophic lateral sclerosis (ALS), Spinocerebellar degeneration, multiple system atrophy, brain tumor, dementia with Lewy bodies, occult fracture, drug poisoning, meniscus injury, ligament injury, spinal cord infarction, myelitis, myelopathy, suppurative spondylitis, intervertebral discitis, Including but not limited to hallux valgus, chronic obstructive pulmonary disease (COPD), obesity, stroke, locomotive syndrome, frailty, hereditary spastic paraplegia.
  • CSM cervical spondylotic myel
  • the estimation means 123' may be configured to determine which organ disease the disease causing gait disturbance is related to. It may include determining whether it is a neuromuscular disease, a cardiovascular disease, or a respiratory disease.
  • the estimating means 123′ can perform lumbar spinal stenosis (LCS), cervical spondylotic myelopathy (CSM) in the neck, cervical posterior longitudinal ligament ossification (OPLL) based on silhouette images and skeletal features. ), the state of intervertebral disc herniation can be estimated with high accuracy.
  • LCS lumbar spinal stenosis
  • CSM cervical spondylotic myelopathy
  • OPLL cervical posterior longitudinal ligament ossification
  • the estimating means 123′ may combine the result of estimating the state of at least one disease of the subject based on the silhouette image and the result of estimating the state of at least one disease of the subject based on the skeletal features. Based on this, the state of at least one disease of the subject can be estimated.
  • the estimating means 123′ obtains, for example, a first score indicative of the at least one disease state of the subject based on the silhouette image, and a second score indicative of the at least one disease state of the subject based on the skeletal features. and estimate the subject's status with respect to at least one disease based on the first score and the second score.
  • the estimating means 123′ selects the first score indicating the presence or absence of the particular disease.
  • the added value of the score and the second score indicating the presence of the specific disease, and the added value of the second score indicating the absence of the specific disease and the second score indicating the absence of the specific disease It is possible to determine whether a particular disease is present or absent by comparing the .
  • the first score and/or the second score may be added after being converted to a value within the range of 0 to 1 by applying a predetermined function such as the softmax function.
  • the first score obtained based on skeletal features is diseased: 3.0, undiseased: 2.0, by applying the softmax function, diseased: 0.73, undiseased: : 0.27.
  • the first score and/or the second score may be weighted before adding.
  • the degree of weighting may be, for example, a fixed value or a variable value. In the case of a variable value, the degree of weighting may be changed, for example, by the attributes of the subject, may be changed by the disease to be estimated, or may be changed by the difference between the first score and the second score. It may change accordingly, or it may change depending on any other factor.
  • the optimal weighting degree may be identified by machine learning.
  • the score output from the estimating means 123' can have a correlation with, for example, an existing disease index and can be converted into the existing disease index.
  • the inventors of the present application have found, as an example, that a score output based on a silhouette image of a subject with cervical spondylosis myelopathy may be correlated with the cervical spine JOA score. This score was more pronounced in subjects with a cervical spine JOA score of 10 or greater. By using this correlation, it is also possible to express the output from the trained model as a cervical spine JOA score. Using a known index makes it easier to understand the meaning of the output from the estimator 123'.
  • the receiving means 121 may receive images of subjects with a cervical spine JOA score of 10 or higher, and only images of subjects with a cervical spine JOA score of 10 or higher may be processed.
  • images of subjects with a cervical spine JOA score of 10 or higher may be extracted from the images received by the receiving means 121, and only images of subjects with a cervical spine JOA score of 10 or higher may be processed.
  • the estimating means 123' uses the first trained model for estimation based on silhouette images and the second trained model for estimation based on skeletal features. can be done.
  • the estimating means 123' can, for example, use the first learned model to estimate the state of at least one disease of the subject.
  • the first learned model is a model that has learned the relationship between the learning silhouette image and the state of at least one disease of the subject appearing in the learning silhouette image.
  • the first trained model can be any type of machine learning model.
  • the machine learning model can be, for example, a neural network, more specifically a convolutional neural network. More specifically, examples of machine learning models utilized include, but are not limited to, ResNet50 (https://arxiv.org/abs/1512.03385).
  • the first trained model can be a model created by processor unit 140 or processor unit 140', which will be described later, or by process 700 or process 710 shown in FIG. 7A or 7B.
  • the silhouette image generated by the generating means 122 is When input to a trained model, the trained model can output a condition related to at least one disease of the subject in the silhouette image.
  • the output can be, for example, one or both of a score indicating the presence of a particular disease and a score indicating the absence of that particular disease (eg, the first score described above).
  • the output can be a score that indicates the level of a particular disease, for example.
  • the estimating means 123' can, for example, use the second learned model to estimate the state of at least one disease of the subject.
  • the second trained model is a model that has learned the relationship between the skeletal features for learning and the state of at least one disease of the target from which the skeletal features for learning have been acquired.
  • the second trained model can be any type of machine learning model.
  • the machine learning model can be, for example, a neural network, more specifically a convolutional neural network. More specifically, examples of machine learning models used include Spatial Temporal Graph Convolutional Network (ST-GCN), MS-G3D (https://arxiv.org/pdf/2003.14111.pdf), etc. , but not limited to.
  • the second trained model can be a model created by the processor unit 140' described below or by the process 710 shown in FIG. 7B.
  • the trained model can output the status of at least one disease of the subject from which the skeletal features were extracted.
  • the output can be, for example, one or both of a score indicating the presence of a particular disease and a score indicating the absence of that particular disease (eg, the second score described above).
  • the output can be a score that indicates the level of a particular disease, for example.
  • the silhouette image and the skeletal features are independently used to estimate the state of at least one disease of the subject, but the present disclosure is not limited to this. It is also within the scope of this disclosure to estimate the subject's status with respect to at least one disease by correlating and processing the .
  • a trained model that has learned the relationship between a learning silhouette image, a learning skeletal feature, and a state related to at least one disease of a target that appears in the learning silhouette image and from which the learning skeletal feature is extracted is used. to estimate the subject's status with respect to at least one disease. For example, if a subject's silhouette image and skeletal features are input to such a trained model, the state of at least one disease of the subject can be estimated and output.
  • a subject's silhouette image is preprocessed based on the subject's skeletal features or a score obtained from the skeletal features, and the preprocessed silhouette image is input to the trained model. You may do so.
  • Pretreatment can be any treatment.
  • the skeletal features of the subject are preprocessed based on the silhouette image of the subject or the score obtained from the silhouette image, and the preprocessed silhouette image is input to the trained model. You may do so.
  • Pretreatment can be any treatment.
  • the estimating means 123' can estimate the state of health of the subject by similar processing.
  • the disease-related conditions described above are examples of health-related conditions.
  • Health-related conditions include, for example, general health-related conditions, specific site-related conditions (e.g., lower limbs, upper limbs, internal organs), specific function-related conditions (e.g., walking function, respiratory function) state).
  • Health-related conditions may be represented by two values, good or bad, or may be represented by degrees such as level or degree of health.
  • a health-related condition can typically be walking ability, which can be expressed as walking age.
  • the result estimated by the estimation means 123 ′ can be output to the outside of the computer system 100 via the interface section 110 .
  • the estimated result can be transmitted to the subject's terminal device 300 via the interface unit 110 .
  • the estimated result can be transmitted to the doctor's terminal device 300 via the interface unit 110 .
  • the estimated results can be transmitted to the database unit 200 via the interface unit 110 and stored. Thereby, the estimated results can be referenced later or used later to update the trained model or generate a new trained model.
  • FIG. 3C shows an example of the configuration of the processor unit 120'' in another embodiment.
  • the processor unit 120 ′′ may have the same configuration as the processor unit 120 except that it includes analysis means 125 and correction means 126 .
  • FIG. 3C components having the same configurations as those described above with reference to FIG. 3A are given the same reference numerals, and detailed descriptions thereof are omitted here.
  • the processor unit 120 ′′ may have the same configuration as the processor unit 120 ′ except that the processor unit 120 ′′ includes analysis means 125 and correction means 126 .
  • the processor unit 120 ′′ includes receiving means 121 , generating means 122 , estimating means 123 , analyzing means 125 and correcting means 126 .
  • the receiving means 121 is configured to receive a plurality of images of the subject walking. A plurality of images received by the receiving means 121 are provided to the generating means 122 and the extracting means 124 .
  • the generating means 122 is configured to generate a silhouette image of the subject from an image of the subject.
  • the silhouette image generated by the generating means 122 is provided to the estimating means 123'.
  • the estimating means 123 is configured to estimate the state of at least one disease of the subject based on at least one silhouette image. An estimation result by the estimation means 123 can be passed to the analysis means 125 .
  • the analysis means 125 is configured to analyze the result of estimation by the estimation means 123. For example, the analysis means 125 can identify the basis for determining which region in the silhouette image generated by the generation means 122 the estimation means 123 focused on in the estimation. That is, it is possible to specify a region of interest that contributes relatively significantly to the result of estimation by the estimation means 123 .
  • the analysis means 125 can identify the grounds for the estimation using a method known in the art.
  • the analysis means 125 can specify the grounds for estimation, using algorithms such as Grad-CAM, Grad-CAM++, and Score-CAM, for example.
  • the analysis means 125 can preferably use Score-CAM to identify the basis for the inference.
  • Score-CAM is an algorithm that can visualize which region was focused on in the image used for estimation. can be specifically identified. In Score-CAM, for example, differences in attention levels in estimation are output as a heat map.
  • the estimation means Based on the decision basis identified by the analysis means 125, the estimation means such that regions of high interest (regions of interest) contribute more to the estimation and/or regions of low interest contribute less to the estimation.
  • the algorithm of 123 By modifying the algorithm of 123, there is a possibility that the accuracy of the estimation of the estimation means 123 can be improved.
  • the modifying means 126 is configured to modify the algorithm of the estimating means 123 based on the judgment grounds specified by the analyzing means 125. For example, the modifying means 126 modifies the algorithm of the estimating means 123 such that regions of high interest (regions of interest) contribute more to the estimation and/or regions of low interest contribute less to the estimation. be able to. For example, if the estimating means 123 utilizes a trained model, the modifying means 126 can modify the trained model so that the region of interest contributes more to the estimation. For example, the modifying means 126 can modify the learned model by modifying the structure of the trained model, or by modifying the weighting of the trained model. For example, if the estimator 123 makes a rule-based estimation, the modifier 126 can modify the rules so that the region of interest contributes more to the estimation.
  • the analysis unit 125 provides a basis for determining which part of the extraction unit extracted by the extraction unit the estimation unit 123 focused on. can be specified. In other words, it is possible to specify a region of interest (range of motion of the joint) that relatively greatly contributes to the result of estimation by the estimation means 123 .
  • FIG. 5B shows an example of the grounds for judgment specified by the analysis means 125.
  • a heat map shows the degree of interest in the estimation.
  • the contours of the average silhouette image are shown superimposed on the heatmap.
  • the analysis means 125 analyzes the result of the estimation means 123 estimating the state of at least one disease based on the silhouette image of a healthy person
  • a heat map as shown in FIG. 5B(a) is obtained. obtain. From this heat map, it can be seen that when the estimating means 123 makes an estimation based on the silhouette image of the healthy person, the entire body, centering on the legs and upper body, is vaguely focused.
  • the heat map shown in FIG. can be obtained. From this heat map, it can be seen that when the estimating means 123 performs estimation based on the silhouette image of the subject with cervical spine disease, it focuses on the lower body and also on the hands.
  • the analysis means 125 analyzes the result when the estimation means 123 estimates the state of at least one disease based on the silhouette image of a subject with a lumbar spine disease
  • the heat map shown in FIG. can be obtained. From this heat map, it can be seen that when the estimating means 123 performs estimation based on the silhouette image of the subject with lumbar spine disease, it focuses on the lower half of the body and the back.
  • the accuracy of the estimating means 123 can be expected to improve. For example, when estimating the presence or absence of a cervical spine disease, the accuracy of the estimating means 123 can be expected to be improved by modifying the algorithm so as to focus on the lower body and also on the hands. For example, when estimating the presence or absence of a cervical spine disease, the accuracy of the estimating means 123 can be expected to be improved by modifying the algorithm so as to focus on the back from the lower half of the body.
  • the estimation means 123 can estimate using a modified algorithm.
  • a result estimated by the estimation means 123 can be output to the outside of the computer system 100 via the interface section 110 .
  • Computer system 100 includes processor unit 140 or processor unit in addition to processor unit 120 or processor unit 120′ or processor unit 120′′ described above, or instead of processor unit 120 or processor unit 120′ or processor unit 120′′. 140'.
  • the processor unit 140 or the processor unit 140' can perform processing for creating a trained model used in the above-described estimation means 123 or 123'.
  • processor unit 140 or processor unit 140′ may be processor unit 120 or processor unit 120′ or It may be implemented as the same component as the processor unit 120'', or may be implemented as a separate component.
  • FIG. 3D shows an example of the configuration of the processor unit 140 in one embodiment.
  • the processor unit 140 includes receiving means 141 , generating means 142 and learning means 143 .
  • the receiving means 141 is configured to receive a plurality of images of each object out of the plurality of objects, in which the object walks.
  • the receiving means 141 can receive a plurality of images from outside the computer system 100 via the interface section 110 .
  • a plurality of images for each target among the plurality of targets may be, for example, those transmitted from the terminal device of each target to the computer system 100, or stored in the database unit 200, It may have been sent from the database unit 200 to the computer system 100 .
  • the plurality of images may be, for example, a plurality of images shot by continuously shooting still images, or may be a plurality of frames forming a moving image.
  • the multiple images may have any frame rate, but the frame rate is preferably 20 fps to 60 fps, more preferably 30 fps.
  • the receiving means 141 can further receive information indicative of at least one disease-related condition for each subject of the plurality of subjects.
  • a plurality of images received by the receiving means 141 are provided to the generating means 142 .
  • the information indicating the state of at least one disease received by the receiving means 141 is provided to the learning means 143 .
  • the generating means 142 is configured to generate a silhouette image of the target from an image of the target. It has the same configuration as the generating means 122 and can perform the same processing. Description is omitted here.
  • the silhouette image generated by the generating means 142 is provided to the learning means 143.
  • the learning means 143 is configured to make the machine learning model learn by using at least one silhouette image of the target as input training data and at least one disease state of the target as output training data.
  • the training data for output may be a value indicating the presence or absence of a disease or a score indicating the degree of the disease.
  • the value indicating the presence or absence of disease may be, for example, a one-dimensional value (e.g., 0 means no disease, 1 means presence of disease) or a two-dimensional value (e.g., (1,0) means with disease (0,1) means with first disease and with second disease (1,1) means without first disease and without second disease (0, 0, etc.), or a value of three or more dimensions.
  • a set of input teacher data and output teacher data includes (at least one silhouette image of the first subject, a value indicating the presence or absence of a specific disease of the first subject), (of the second subject At least one silhouette image, a value indicating the presence or absence of a specific disease in the second subject), ... (At least one silhouette image of the n-th subject, a value indicating the presence or absence of a specific disease in the n-th subject) can be When a silhouette image is input, a trained model trained using such a set can output a value indicating the presence or absence of a specific disease of the subject depicted in the silhouette image.
  • a set of input training data and output training data is (at least one silhouette image of the first subject, a score indicating the degree of a specific disease of the first subject), (second (At least one silhouette image of the subject, a score indicating the degree of a particular disease of a second subject), ... (At least one silhouette image of the nth subject, indicating the degree of a particular disease of the nth subject score).
  • a trained model trained using such a set can output a score indicating the degree of a specific disease of the subject depicted in the silhouette image.
  • a trained model created in this way can be used by the processor unit 120 or the processor unit 120'. Also, the parameters of the trained model created in this way can be stored in the database unit 200 or another storage medium.
  • FIG. 3E shows an example of the configuration of the processor unit 140' in another embodiment.
  • the processor section 140 ′ may have the same configuration as the processor section 140 except that it includes an extraction means 144 .
  • FIG. 3E components having the same configurations as those described above with reference to FIG. 3D are denoted by the same reference numerals, and detailed descriptions thereof are omitted.
  • the processor unit 140 ′ includes receiving means 141 , generating means 142 , learning means 143 ′, and extracting means 144 .
  • the receiving means 141 is configured to receive a plurality of images of each object out of the plurality of objects, in which the object walks.
  • the receiving means 141 can also receive information indicative of at least one disease-related condition for each subject of the plurality of subjects.
  • a plurality of images received by the receiving means 141 are provided to the generating means 142 and the extracting means 144 .
  • Information indicative of a condition relating to at least one disease is provided to learning means 143'.
  • the generating means 142 is configured to generate a silhouette image of the target from an image of the target.
  • the silhouette image generated by the generating means 142 is provided to the learning means 143'.
  • the extraction means 144 is configured to extract the skeletal features of the target from a plurality of images of the target.
  • the extraction means 144 has the same configuration as the extraction means 124 and can perform the same processing. Description is omitted here.
  • the skeleton features extracted by the extraction means 144 are provided to the learning means 143'.
  • the learning means 143 is configured to make the machine learning model learn at least one silhouette image and skeletal features of the target.
  • the learning means 143 uses at least one silhouette image of the target as input training data and at least one disease-related state of the target as output training data, and causes the first machine learning model to learn and obtain the skeletal features of the target. can be used as input training data, and the state of at least one target disease as output training data, and the second machine learning model can be made to learn.
  • the learning means 143 uses at least one silhouette image and skeletal features of the target as input training data, and at least one disease-related condition of the target as output training data, and allows the machine learning model to learn. .
  • the training data for output can be a value indicating the presence or absence of disease or a score indicating the degree of disease.
  • the value indicating the presence or absence of disease may be, for example, a one-dimensional value (e.g., 0 means no disease, 1 means presence of disease) or a two-dimensional value (e.g., (1,0) means with disease (0,1) means with first disease and with second disease (1,1) means without first disease and without second disease (0, 0, etc.), or a value of three or more dimensions.
  • a set of data is (at least one silhouette image of the first subject, a value indicating the presence or absence of a specific disease of the first subject), (at least one silhouette image of the second subject, of the second subject (at least one silhouette image of the n-th subject, a value indicating the presence or absence of a particular disease of the n-th subject).
  • the first trained model trained using such a set can output a value indicating the presence or absence of a specific disease of the subject depicted in the silhouette image.
  • a set of input training data and output training data is (at least one silhouette image of the first subject, a score indicating the degree of a specific disease of the first subject), (second (At least one silhouette image of the subject, a score indicating the degree of a particular disease of a second subject), ... (At least one silhouette image of the nth subject, indicating the degree of a particular disease of the nth subject score).
  • a silhouette image is input to the first trained model trained using such a set, it is possible to output a score indicating the degree of a specific disease of the subject depicted in the silhouette image.
  • a set of input teacher data and output teacher data includes (at least one silhouette image of the first subject, (a value indicating the presence or absence of the first disease of the first subject, the first A value indicating the presence or absence of the second disease in the subject, ... a value indicating the presence or absence of the m-th disease in the first subject)), (at least one silhouette image of the second subject, (of the second subject A value indicating the presence or absence of the first disease, a value indicating the presence or absence of the second disease in the second subject, ... a value indicating the presence or absence of the mth disease in the second subject)), ...
  • the At least one silhouette image of the n subject (a value indicating the presence or absence of the first disease of the n-th subject, a value indicating the presence or absence of the second disease of the n-th subject, ... It can be a value indicating the presence or absence of m disease)).
  • a silhouette image is input to the first trained model trained using such a set, the value indicating the presence or absence of the first disease of the subject in the silhouette image, the presence or absence of the second disease . . , values indicating the presence or absence of the m-th disease can be output. This makes it possible to estimate which of the multiple diseases the subject has.
  • the input teacher data and the output teacher data is (skeletal characteristics of the first subject, a value indicating the presence or absence of a specific disease in the first subject), (skeletal characteristics of the second subject, a value indicating the presence or absence of a specific disease in the second subject) , .
  • the second trained model trained using such a set can output a value indicating the presence or absence of a specific disease of the subject from whom the skeletal feature was acquired, when the skeletal feature is input.
  • a set of input training data and output training data is composed of (first subject's skeletal features, first subject's specific disease severity score), (second subject's skeletal characteristics, a score indicating the extent of a particular disease of the second subject), ... (skeletal characteristics of the nth subject, a score indicating the extent of a particular disease of the nth subject).
  • the second trained model trained using such a set can output a score indicating the degree of a specific disease of the subject from whom the skeletal features are obtained, when the skeletal features are input.
  • a set of input training data and output training data is composed of (skeletal features of the first subject, (value indicating the presence or absence of the first disease of the first subject, the first disease of the first subject, 2 value indicating presence or absence of disease, ... value indicating presence or absence of m-th disease in first subject)), (skeletal features of second subject, (presence or absence of first disease in second subject value indicating the presence or absence of the second disease in the second subject, ... value indicating the presence or absence of the m-th disease in the second subject)), ...
  • the second trained model trained using such a set when skeletal features are input, has a value indicating the presence or absence of the first disease of the subject from whom the skeletal features are acquired, a value indicating the presence or absence of the second disease A value indicating the presence or absence of the disease, . . . , a value indicating the presence or absence of the m-th disease can be output.
  • input training data and output training (At least one silhouette image and skeletal features of the first subject, a value indicating the presence or absence of a specific disease in the first subject), (At least one silhouette image and skeletal features of the second subject , a value indicating the presence or absence of a specific disease in the second subject), ... (at least one silhouette image and skeletal features of the nth subject, a value indicating the presence or absence of a particular disease in the nth subject) obtain.
  • a silhouette image and skeletal features are input to a trained model trained using such a set, a value indicating the presence or absence of a specific disease in the subject whose skeletal features are captured in the silhouette image can be output.
  • a set of input training data and output training data is (at least one silhouette image and skeletal features of the first subject, a score indicating the degree of a specific disease of the first subject), ( (At least one silhouette image and skeletal features of the second subject, a score indicating the extent of a particular disease of the second subject), ... (at least one silhouette image and skeletal features of the nth subject, the nth score) that indicates the extent of the subject's particular disease.
  • a silhouette image and skeletal features are input to a trained model trained using such a set, a score indicating the degree of a specific disease of the subject whose skeletal features are captured in the silhouette image is obtained. can be output.
  • a set of input teacher data and output teacher data includes (at least one silhouette image and skeletal feature of the first subject, (a value indicating the presence or absence of the first disease of the first subject, A value indicating the presence or absence of the second disease in the first subject, ... a value indicating the presence or absence of the m-th disease in the first subject)), (at least one silhouette image and skeletal features of the second subject, (value indicating the presence or absence of the first disease in the second subject, value indicating the presence or absence of the second disease in the second subject, ... value indicating the presence or absence of the mth disease in the second subject)) , . . . . a value indicating the presence or absence of the mth disease in the nth subject)).
  • a trained model trained using such a set indicates the presence or absence of the first disease in the subject whose skeletal features are captured in the silhouette image.
  • a value indicating the presence or absence of the second disease . . . a value indicating the presence or absence of the m-th disease.
  • This makes it possible to estimate which of the multiple diseases the subject has. This can help determine which organ disease the disease that causes gait disturbance is related to, for example, whether the subject may have a locomotory disease, a neuromuscular disease, a circulatory It is useful in distinguishing whether it is an organic disease or a respiratory disease, and for example, it can be useful in determining which clinical department the subject should visit first.
  • the trained model created in this way can be used in the processor unit 120'. Also, the parameters of the trained model created in this way can be stored in the database unit 200 .
  • Each component of the computer system 100 described above may be composed of a single hardware component, or may be composed of a plurality of hardware components. When configured with a plurality of hardware components, it does not matter how the hardware components are connected. Each hardware component may be connected wirelessly or by wire.
  • Computer system 100 of the present invention is not limited to any particular hardware configuration. It is also within the scope of the present invention for the processor portions 120, 120', 140, 140' to be implemented with analog circuitry rather than digital circuitry. The configuration of the computer system 100 of the present invention is not limited to the above as long as the functions can be realized.
  • FIG. 6A is a flow chart showing an example of processing (process 600) by computer system 100 for estimating the state of a subject.
  • Process 600 is performed by processor portion 120 of computer system 100 .
  • Processing 600 is processing for estimating the condition of the subject based on a silhouette image generated from a plurality of images of the subject walking.
  • the condition of the subject can be a health-related condition, where the health-related condition includes at least one disease-related condition.
  • an example of estimating a disease-related state will be described, but the following processing can also be used to estimate other health-related states (for example, to estimate walking ability and to estimate health level). It is understood that it applies.
  • a disease-related state includes a state in which the subject does not actually have the disease (also referred to as "pre-disease”). may include only conditions suffering from Accordingly, health-related conditions include disease-related conditions and non-disease-related conditions, and may include either or both.
  • the receiving means 121 of the processor unit 120 receives a plurality of images of the subject walking.
  • a plurality of images received by the receiving means 121 are provided to the generating means 122
  • the generating means 122 of the processor unit 120 generates at least one silhouette image of the subject from the plurality of images received at step S601.
  • the generator 122 can generate the silhouette image using techniques known in the art.
  • the generation means 122 can generate a plurality of silhouette images from a plurality of images, and preferably can generate one silhouette image from a plurality of images.
  • the generating means 122 generates at least one silhouette image by, for example, extracting a plurality of silhouette regions from a plurality of images, normalizing the plurality of extracted silhouette regions, and averaging the plurality of normalized silhouette regions. can be generated. By averaging multiple silhouette images, the amount of data can be reduced without significantly impairing the amount of information in the silhouette images that are used.
  • the estimating means 123 of the processor unit 120 estimates the disease state of the subject based on at least one silhouette image generated at step S602.
  • the estimating means 123 can, for example, use a trained model to estimate the state of at least one disease of the subject.
  • a trained model may be a model created by processor unit 140 or by process 700 shown in FIG. 7A.
  • the result estimated by the processing 600 can be output to the outside of the computer system 100 via the interface section 110.
  • the estimated result can be transmitted to the subject's terminal device 300 via the interface unit 110 .
  • This allows the subject to check his/her condition through his/her own terminal device 300 .
  • treatment or intervention according to the condition of the subject may be provided to the subject, or information according to the condition of the subject (for example, information that encourages behavioral change, information that supports rehabilitation) to the subject may be provided to
  • the estimated result can be transmitted to the doctor's terminal device 300 via the interface unit 110 . This allows the doctor to use the estimated results for diagnosing the subject.
  • the doctor may be provided with information according to the condition of the subject (for example, information on recommended treatment or intervention, information on recommended rehabilitation).
  • the estimated result can be transmitted to the database unit 200 via the interface unit 110 and stored. Thereby, the estimated results can be referenced later or used later to update the trained model or generate a new trained model.
  • the present disclosure provides methods, etc. for treating, preventing, or ameliorating a health condition, disorder, or disease in a subject by estimating the health condition, disorder, or disease state of the subject.
  • the present disclosure provides a method of treating, preventing, or ameliorating a health condition, disorder, or disease in a subject, the method comprising (A) capturing a plurality of images of the subject walking; (B) generating at least one silhouette image of the subject from the plurality of images; and (C) estimating a health-related condition of the subject based at least on the at least one silhouette image. (D) calculating a method for treatment, prevention, or improvement to be administered to the subject based on the health-related condition of the subject; and (E) providing the subject with the treatment, prevention, or (F) repeating (A) through (E) as necessary.
  • Such preventive or ameliorative methods may be performed at existing medical facilities such as clinics, may be realized by home medical care, may be performed by telemedicine, or may be performed in the case of pre-disease. may be performed, for example, at a gym or shopping center, or may be implemented in a mobile terminal such as a smartphone application or a wearable device.
  • methods for treatment, intervention, prevention, or amelioration can include, for example, at least one of the following: ⁇ Conservative treatment/medication ⁇ Patient education and lifestyle guidance: For example, self-management program guidance including exercise, diet guidance, exercise guidance, patient education in lectures or discussions, exercise class, knee diary (with or without exercise) , degree of pain), lifestyle guidance ⁇ Weight loss therapy ⁇ Exercise therapy: For example, muscle strengthening exercise (isokinetic muscle strengthening exercise, static stretching + isokinetic exercise, proprioceptor neuromuscular facilitation (PNF) stretching +, etc.) aerobic exercise, stretching and range-of-motion exercise, coordinated exercise (foot dexterity training, balance exercise, kinesthetic training using sling suspension, computer-assisted foot dexterity training ( target-matching foot-stepping exercise)), vibration stimulation therapy ⁇ Manual therapy (Macquire injury management group knee protocol) - Sole plate therapy - Orthotic therapy - Taping: e.g.
  • TENS therapy transcutaneous electrical nerve stimulation: TENS
  • FES functional electrical stimulation
  • hydrotherapy hot pack
  • biomagnetic therapy diathermy
  • interferential current therapy electrical stimulation therapy (pulsed electrical stimulator)
  • noninvasive interactive neurostimulation periosteal stimulation therapy
  • laser treatment combined use of physical therapy and exercise therapy, physical therapy after invasive treatment
  • Therapeutic intervention Total knee arthroplasty (TKA) e.g., continue passive movement (CPM) apparatus, range of motion and slider board exercises, incremental strengthening exercises, functional exercise therapy and balance exercises, vibration Exercise therapy by stimulation, improvement of muscle activity by percutaneous electrical stimulation, preoperative physical therapy and patient education unicompartmental knee arthroplasty (UKA)
  • the process 600 may be performed by the processor unit 120 ′′, in which case the results estimated by the process 600 are used to be analyzed by the analysis means 125 . Based on the analysis, the algorithm of the estimating means 123 can be modified by the modifying means 126 . Process 600 can be repeated with a modified algorithm.
  • FIG. 6B is a flowchart showing another example of processing (processing 610) by computer system 100 for estimating the state of a subject.
  • Process 610 is performed by processor portion 120 ′ of computer system 100 .
  • Processing 610 is processing for estimating the state of the subject based on a silhouette image generated from a plurality of images of the subject walking and the skeletal features extracted from the plurality of images.
  • the condition of the subject can be a health-related condition, where the health-related condition includes at least one disease-related condition.
  • the health-related condition includes at least one disease-related condition.
  • an example of estimating a disease-related state will be described, but the following processing can also be used to estimate other health-related states (for example, to estimate walking ability and to estimate health level). It is understood that it applies.
  • Step S611 the receiving means 121 of the processor unit 120' receives a plurality of images of the subject walking.
  • Step S611 is similar to step S601.
  • a plurality of images received by the receiving means 121 are provided to the generating means 122
  • Step S612 the generating means 122 of the processor unit 120' generates at least one silhouette image of the subject from the plurality of images received at step S611.
  • Step S612 is similar to step S602.
  • the extraction means 124 of the processor unit 120' extracts the skeletal features of the subject from the plurality of images received at step S611.
  • the extraction means 124 can generate the silhouette image using techniques known in the art.
  • the extraction means 124 can generate time-series data of skeleton features by extracting skeleton features from each of the plurality of images.
  • the estimating means 123' of the processor unit 120' estimates the disease state of the subject based on at least one silhouette image generated in step S612 and the skeletal features extracted in step S613.
  • the estimator 123' can, for example, use a trained model to estimate the subject's state of at least one disease.
  • a trained model may be a model created by processor portion 140 or processor portion 140' or by process 710 shown in FIG. 7A or 7B.
  • the estimating means 123′ may combine the result of estimating the state of at least one disease of the subject based on the silhouette image and the result of estimating the state of at least one disease of the subject based on the skeletal features. Based on this, the state of at least one disease of the subject can be estimated.
  • the estimating means 123′ obtains, for example, a first score indicative of the at least one disease state of the subject based on the silhouette image, and a second score indicative of the at least one disease state of the subject based on the skeletal features. and estimate the subject's status with respect to at least one disease based on the first score and the second score.
  • the estimating means 123′ selects the first score indicating the presence or absence of the particular disease.
  • the added value of the score and the second score indicating the presence of the specific disease, and the added value of the second score indicating the absence of the specific disease and the second score indicating the absence of the specific disease It is possible to determine whether a particular disease is present or absent by comparing the .
  • the first score and/or the second score may be added after being converted to a value within the range of 0 to 1 by applying a predetermined function such as the softmax function.
  • the scores output from the estimator 123' can be converted into existing disease indicators, for example, based on existing disease indicators and correlations. For example, the score output from the estimator 123' can be converted to a cervical spine JOA score.
  • the result estimated by the process 610 can be output to the outside of the computer system 100 via the interface unit 110.
  • the estimated result can be transmitted to the subject's terminal device 300 via the interface unit 110 .
  • the subject may be provided with treatment or intervention according to the condition of the subject, or information according to the condition of the subject (for example, information that encourages behavioral change, rehabilitation, etc.) supporting information) may be provided to the subject.
  • the estimated result can be transmitted to the doctor's terminal device 300 via the interface unit 110 . This allows the doctor to use the estimated results for diagnosing the subject.
  • the doctor may be provided with information according to the condition of the subject (for example, information on recommended treatment or intervention, information on recommended rehabilitation).
  • the estimated result can be transmitted to the database unit 200 via the interface unit 110 and stored. Thereby, the estimated results can be referenced later or used later to update the trained model or generate a new trained model.
  • the process 700 may be performed by the processor unit 120 ′′, in which case the results estimated by the process 700 are used to be analyzed by the analysis means 125 . Based on the analysis, the algorithm of the estimating means 123 can be modified by the modifying means 126 . Process 700 can be repeated with a modified algorithm.
  • FIG. 7A is a flow chart showing an example of processing (processing 700) by the computer system 100 for estimating the subject's condition.
  • Process 700 is performed by processor portion 140 of computer system 100 .
  • Process 700 is a process for creating a model for estimating the subject's condition.
  • Process 700 may be performed for each object of a plurality of objects. That is, learning is performed for one object by executing the process 700 once. Learning may be performed on multiple objects by performing process 700 on multiple objects.
  • the condition of the subject can be a health-related condition, where the health-related condition includes at least one disease-related condition. In the following, an example of estimating a state related to at least one disease will be described. is understood to apply as well.
  • step S701 the receiving means 141 of the processor unit 140 receives a plurality of images of the subject walking. A plurality of images received by the receiving means 141 are provided to the generating means 142 . Receiving means 141 further receives information indicative of a condition relating to at least one disease of the subject. The information indicating the state of at least one disease received by the receiving means 141 is provided to the learning means 143 .
  • the generating means 142 of the processor unit 140 generates at least one silhouette image of the object from the plurality of images received at step S701.
  • the generator 142 can generate the silhouette image using techniques known in the art.
  • the generating means 142 can generate a plurality of silhouette images from a plurality of images, and preferably can generate one silhouette image from a plurality of images.
  • the generating means 142 generates at least one silhouette image by, for example, extracting a plurality of silhouette regions from a plurality of images, normalizing the plurality of extracted silhouette regions, and averaging the plurality of normalized silhouette regions. can be generated. By averaging multiple silhouette images, the amount of data can be reduced without significantly impairing the amount of information in the silhouette images that are used.
  • step S703 the learning means 143 of the processor unit 140 uses the at least one silhouette image generated in step S702 as input teacher data, and the state of at least one disease of interest as output teacher data, to the machine learning model. let them learn
  • processing 700 learning is completed for one target.
  • multiple targets may be learned and the accuracy of the model may be improved.
  • the model created by process 700 can be used by processor unit 120 or processor unit 120'. Also, the parameters of the trained model created in this way can be stored in the database unit 200 or another storage medium.
  • FIG. 7B is a flowchart showing another example of processing (process 710) by computer system 100 for estimating the state of a subject.
  • Process 710 is performed by processor portion 140 ′ of computer system 100 .
  • Processing 710 is processing for creating a model for estimating the state of the subject.
  • Process 710 may be performed for each object of the plurality of objects. That is, learning is performed for one target by executing the process 710 once. Learning may be performed on multiple objects by performing process 710 on multiple objects.
  • the condition of the subject can be a health-related condition, where the health-related condition includes at least one disease-related condition. In the following, an example of estimating a state related to at least one disease will be described. is understood to apply as well.
  • a disease-related state includes a state in which the subject does not actually have the disease (also referred to as "pre-disease”). may include only conditions suffering from Accordingly, health-related conditions include disease-related conditions and non-disease-related conditions, and may include either or both.
  • step S711 the receiving means 141 of the processor unit 140' receives a plurality of images of the subject walking.
  • Step S711 is the same as step S701.
  • a plurality of images received by the receiving means 141 are provided to the generating means 142 .
  • Receiving means 141 further receives information indicative of a condition relating to at least one disease of the subject.
  • the information indicative of the at least one disease status received by the receiving means 141 is provided to the learning means 143'.
  • Step S712 the generating means 142 of the processor unit 140' generates at least one silhouette image of the object from the plurality of images received at step S711. Step S712 is similar to step S702.
  • the extraction means 144 of the processor unit 140' extracts the skeleton features of the target from the plurality of images received at step S711.
  • the extraction means 144 can generate the silhouette image using techniques known in the art.
  • the extraction means 144 can generate time-series data of skeleton features by extracting skeleton features from each of the plurality of images.
  • the learning means 143 of the processor unit 140′ processes the at least one silhouette image generated in step S712, the skeletal features extracted in step S713, and the information indicating the state of at least one disease of the target.
  • Train a learning model For example, the learning means 143 uses at least one silhouette image of the target as input training data and at least one disease-related state of the target as output training data, and causes the first machine learning model to learn and obtain the skeletal features of the target. can be used as input training data, and the state of at least one target disease as output training data, and the second machine learning model can be made to learn.
  • the learning means 143 uses at least one silhouette image and skeletal features of the target as input training data, and at least one disease-related condition of the target as output training data, and allows the machine learning model to learn. .
  • processing 710 By processing 710, learning is completed for one target. By performing process 710 on multiple targets, learning can be performed on multiple targets and the accuracy of the model can be improved.
  • the model created by process 710 can be used by processor unit 120 or processor unit 120'. Also, the parameters of the trained model created in this way can be stored in the database unit 200 or another storage medium.
  • step S613 can be performed before step S612.
  • step S613 can be performed before step S712.
  • FIGS. 6A, 6B, 7A, and 7B the processing of each step shown in FIGS. Although it has been described that it is implemented by the unit 140 or the processor unit 140' and the program stored in the memory unit 130, the present invention is not limited to this. At least one of the processing of each step shown in FIGS. 6A, 6B, 7A, and 7B may be implemented by a hardware configuration such as a control circuit.
  • Example 1 A trained model was constructed using videos of subjects with spinal canal stenosis and subjects without spinal canal stenosis walking. Using the built trained model, we evaluated its performance.
  • Lumbar pathology is a state in which the waist (lumbar vertebrae) is narrowed in the spinal canal, resulting in gait disturbance, and is synonymous with LCS.
  • Cervical pathology is a state in which the neck (cervical vertebrae) of the spinal canal becomes narrowed and walking disorder occurs, and is synonymous with CSM.
  • MS-G3D was utilized to predict the presence or absence of spinal stenosis disease based on skeletal characteristics.
  • ResNet50 was utilized to predict the presence or absence of spinal stenosis disease based on silhouette images.
  • Fig. 8A(a) shows the result.
  • CV1 shows the results of the first trial.
  • CV2 shows the results of the second trial and
  • CV3 shows the results of the third trial.
  • Total indicates the average value of CV1 to CV3.
  • the results of predicting the presence or absence of spinal canal stenosis based on skeletal features were, on average, an accuracy of 0.974, a sensitivity of 0.981, and a specificity of 0.880. Also, the false positive was 0.019 and the false negative was 0.12. It is considered that the presence or absence of spinal canal stenosis can be predicted with a certain degree of accuracy.
  • Fig. 8A(b) shows the result.
  • CV1 shows the results of the first trial.
  • CV2 shows the results of the second trial and
  • CV3 shows the results of the third trial.
  • Total indicates the average value of CV1 to CV3.
  • MS-G3D was trained on the skeletal features of the first and third groups of subjects, and RESNET50 was trained on silhouette images of the first and third groups of subjects.
  • the skeletal features of each of the second group of subjects were input into the trained MS-G3D and the first score was obtained as output.
  • the corresponding subject silhouette images of the second group of subjects were then input into the trained RESNET 50 and a second score was obtained as output.
  • the identification result was obtained by summing the first score and the second score. The accuracy, sensitivity and specificity of the discrimination results were calculated.
  • MS-G3D was trained on skeletal features of the first and second groups of subjects, and RESNET50 was trained on silhouette images of the first and second groups of subjects.
  • the skeletal features of each of the third group of subjects were input into the trained MS-G3D and the first score was obtained as output.
  • the corresponding subject silhouette images of the third group of subjects were then input into the trained RESNET 50 and a second score was obtained as output.
  • the identification result was obtained by summing the first score and the second score. The accuracy, sensitivity and specificity of the discrimination results were calculated.
  • Fig. 8A(c) shows the result.
  • CV1 shows the results of the first trial.
  • CV2 shows the results of the second trial and
  • CV3 shows the results of the third trial.
  • Total indicates the average value of CV1 to CV3.
  • the results of predicting the presence or absence of spinal canal stenosis based on skeletal features and silhouette images were, on average, an accuracy of 0.995, a sensitivity of 0.999, and a specificity of 0.942. Met. Also, the false positive was 0.001 and the false negative was 0.058. Since the skeletal features and the silhouette image capture different features, the accuracy is greatly improved by complementary integration. Thus, it was unexpected that the presence or absence of spinal canal stenosis could be predicted with extremely high accuracy from the skeletal features and the silhouette image.
  • Example 2 A trained model was constructed using videos of subjects with lumbar spinal canal stenosis and subjects without lumbar spinal canal stenosis walking. Using the built trained model, we evaluated its performance.
  • Lumbar spinal canal stenosis refers to a condition in which the lumbar region is narrowed among spinal canal stenosis.
  • each model was evaluated by the same evaluation method.
  • the second row of the table in FIG. 8B shows the average value of the results of each trial.
  • the third row of the table in FIG. 8B shows the average value of the results of each trial.
  • the results of predicting the presence or absence of lumbar spinal canal stenosis based on the silhouette image were, on average, an accuracy of 0.968, a sensitivity of 0.976, and a specificity of 0.873. . Also, the false positive was 0.024 and the false negative was 0.127. It was unexpected that the presence or absence of the disease could be predicted with a certain degree of accuracy from only the silhouette image, even for the disease in the pinpoint region of the waist.
  • the fourth row of the table in FIG. 8B shows the average value of the results of each trial.
  • Example 3 A trained model was constructed using videos of subjects with cervical spinal canal stenosis and subjects without cervical spinal canal stenosis walking. Using the built trained model, we evaluated its performance. Cervical spinal canal stenosis refers to a condition in which there is stenosis in the cervical vertebrae among spinal canal stenosis.
  • each model was evaluated by the same evaluation method.
  • the second row of the table in FIG. 8C shows the average value of the results of each trial.
  • the third row of the table in FIG. 8C shows the average value of the results of each trial.
  • the fourth row of the table in FIG. 8C shows the average value of the results of each trial.
  • Example 4 The severity of 29 patients with cervical spondylosis myelopathy was expressed by the Japanese Orthopedic Association cervical spine score (JOA Score: 17 points maximum, 0 points for the most severe), and output by this score and the trained model of the present disclosure Correlation between estimated scores (referred to as “disease index”.
  • the disease index is a variable between 0 and 1, and a score of 0.5 or higher can be determined as having a cervical spine disease) was verified.
  • FIG. 9 shows the results of Example 4.
  • FIG. 9(a) is a graph showing the correlation between the disease index of 29 people and their respective JOA scores.
  • the reasons for the relatively low coefficient of determination are thought to be that the disease index is around 1 and the distribution of the JOA Score is large. Patients with a JOA Score of 12 or less are candidates for surgery, and patients with a JOA Score of 9 or less are the most severe, and many of them have strong subjective symptoms and are easy to diagnose. We thought that estimating the JOA Score of patients with a JOA Score of 10 or more would be more useful than estimating the patient's JOA Score. This is because it is not easy to diagnose patients with a JOA score of 10 or more, and it is highly important to monitor whether the disease progresses or recovers.
  • FIG. 9(b) is a graph showing the correlation between the disease index of patients with a JOA Score of 10 or higher and each JOA Score.
  • Example 5 For one patient with cervical spondylotic myelopathy (CSM), the "NEC walking posture measurement system" (https://www.nec-solutioninnovators.co.jp/sl/walkingform/index.html) was used to measure walking age. Measurements were taken over time from before surgery for treatment of disease in CSM to 4 months after surgery (1 point preoperatively, 5 points postoperatively).
  • the movie taken at each measurement was input to the trained model of the present invention, and the disease index was output. Then, the relationship between walking age and disease index was verified. Verification was performed by drawing an approximate curve using Excel.
  • FIG. 10 shows the results of Example 5.
  • the disease index output from the trained model of the present disclosure can be correlated with the index for evaluating walking ability. It can also be seen that the disease index can be used to monitor changes in an individual's ability to walk over time.
  • Walking age is known to be highly accurate in adults, especially subjects in their 40s or older, preferably in their 50s or older, and such monitoring of walking ability over time is effective for adults or 40s or older or 50s or older. subjects.
  • a silhouette image which is a multivalued image, is generated using a moving image of a walking subject with a disease and a subject without a disease, and a trained model is constructed using the silhouette image.
  • a plurality of subjects with disease and a plurality of subjects without disease are each asked to walk straight for 10 m, and the state of walking is photographed with a camera.
  • a moving image of walking for about 4 m in the middle except about 3 m at the beginning and about 3 m at the end is used.
  • Multiple frames are extracted from the video and analyzed as multiple images.
  • a plurality of multivalued silhouette images or one multivalued silhouette image is generated from a plurality of images.
  • each part of the subject is represented by different pixels.
  • ResNet50 is used to predict the presence or absence of disease based on silhouette images.
  • the multi-valued silhouette images of the second group and the third group of subjects are learned by the RESNET 50, the multi-valued silhouette images of the first group of subjects are input to the learned RESNET 50, and the accuracy of the output is Calculate accuracy, sensitivity and specificity.
  • the multi-valued silhouette images of the first and third group subjects were learned by the RESNET 50, the multi-valued silhouette images of the second group of subjects were input to the learned RESNET 50, and the output accuracy Calculate accuracy, sensitivity and specificity.
  • the multi-valued silhouette images of the subjects in the first group and the second group were learned by the RESNET 50, the multi-valued silhouette images of the subjects in the third group were input to the learned RESNET 50, and the output accuracy Calculate accuracy, sensitivity and specificity.
  • Using a multivalued silhouette image is expected to improve prediction accuracy compared to using a binary silhouette image. This is because the amount of information about the gait increases by using the silhouette feature of each part included in the multi-valued silhouette image (information about the part is added in addition to the silhouette shape). It should be noted that when multi-valued silhouette images are input to the model, the input becomes complicated and the model can be difficult to learn, and that errors in generating the multi-valued silhouette images can have adverse effects. be.
  • the system of the present disclosure having the trained model constructed in the above embodiment is used for rehabilitation guidance in clinics.
  • a patient is made to walk, and a moving image is taken at that time.
  • a disease index is output.
  • a doctor or therapist can determine a rehabilitation menu based on this disease index.
  • a doctor or therapist may determine a rehabilitation menu based on the disease index at that time, may determine a rehabilitation menu based on the rate of change in the disease index, or may determine the rehabilitation menu based on the change in the disease index over time. You may determine a rehabilitation menu based on.
  • a doctor or therapist presents a rehabilitation menu to the patient and makes the patient do it.
  • the walking video is captured again at the clinic and analyzed using the system of the present disclosure.
  • a doctor or therapist can change or adjust the rehabilitation menu based on the disease index at this time. In this way, it is possible to provide the patient with a rehabilitation menu that matches the patient's current condition.
  • the system of the present disclosure having the trained model constructed in the above embodiment is used for rehabilitation guidance in home medical care.
  • the patient is allowed to walk, and the patient is allowed to take a moving image at that time with the patient's terminal device. At this time, it is preferable to appropriately instruct the imaging conditions.
  • the captured moving image is transmitted from the terminal device to the medical facility.
  • the moving images may be sent directly to the medical facility through the network, or may be sent to the medical facility via storage on the cloud, for example.
  • a disease index is output. A doctor or therapist can determine a rehabilitation menu based on this disease index.
  • a doctor or therapist may determine a rehabilitation menu based on the disease index at that time, may determine a rehabilitation menu based on the rate of change in the disease index, or may determine the rehabilitation menu based on the change in the disease index over time. You may determine a rehabilitation menu based on.
  • the doctor or therapist presents the determined rehabilitation menu to the patient and makes the patient carry out this.
  • the determined rehabilitation menu may be directly transmitted to the patient's terminal device via the network, or may be transmitted to the patient's terminal device via storage on the cloud, for example.
  • the patient is made to perform a rehabilitation menu for a predetermined period. At the patient's home, the patient is made to take a walking video again.
  • the patient automatically or manually records the performed rehabilitation action items along with the video recording.
  • the captured moving image is transmitted from the terminal device to the medical facility together with the recording.
  • a disease index is output.
  • a doctor or therapist can change or adjust the rehabilitation menu based on the disease index and records at this time. In this way, it is possible to provide the patient with a rehabilitation menu that matches the patient's current condition. By doing this every day, the doctor or therapist can determine the next day's rehabilitation menu and provide a rehabilitation menu that matches the patient's current condition.
  • Example 8 the system of the present disclosure having a trained model built in the above examples is used for telemedicine.
  • the patient is allowed to walk in a remote location (for example, home, remote island, or overseas) from the medical facility, and the patient is allowed to take a moving image of that time with the patient's terminal device.
  • a remote location for example, home, remote island, or overseas
  • the captured moving image is transmitted from the terminal device to the medical facility.
  • the moving images may be sent directly to the medical facility through the network, or may be sent to the medical facility via storage on the cloud, for example.
  • a disease index is output.
  • a doctor or therapist can determine a rehabilitation menu based on this disease index. For example, a doctor or therapist may determine a rehabilitation menu based on the disease index at that time, may determine a rehabilitation menu based on the rate of change in the disease index, or may determine the rehabilitation menu based on the change in the disease index over time. You may determine a rehabilitation menu based on. The doctor or therapist presents the determined rehabilitation menu to the patient and makes the patient carry out this. The determined rehabilitation menu may be directly transmitted to the patient's terminal device via the network, or may be transmitted to the patient's terminal device via storage on the cloud, for example. The patient is made to perform a rehabilitation menu for a predetermined period. Have the patient take a walking video again.
  • the patient automatically or manually records the performed rehabilitation action items along with the video recording.
  • the captured moving image is transmitted from the terminal device to the medical facility together with the recording.
  • a disease index is output.
  • a doctor or therapist can change or adjust the rehabilitation menu based on the disease index and records at this time. In this way, it is possible to provide the patient with a rehabilitation menu that matches the patient's current condition. By doing this every day, the doctor or therapist can determine the next day's rehabilitation menu and provide a rehabilitation menu that matches the patient's current condition. Furthermore, even patients who are remote from medical facilities can receive appropriate treatment or guidance without missing treatment opportunities.
  • the system of the present disclosure having the trained model constructed in the above embodiment is used for health guidance in shopping malls.
  • a disease index is output.
  • a physician or public health nurse can determine the subject's health status based on this disease index.
  • a health condition can be, for example, walking age.
  • the doctor or public health nurse can provide the subject with the determined health condition and information (for example, information that encourages behavioral change) that matches the health condition. In this way, subjects can be easily motivated to improve their health in their daily lives.
  • the system of the present disclosure having the trained model built in the above embodiments is used for smartphone information sharing applications.
  • the subject walks at the site of remote rehabilitation, and the video of that time is taken. Based on the video information, parameters such as disease diagnosis name, appropriate rehabilitation prescription, target load, target number of steps, target walking distance, and ideal body weight are presented according to the doctor's instructions (or automatically from the video information).
  • a disease index is also output.
  • the subject shares the determined health condition and information (e.g., information that encourages behavioral change) to match the health condition with a smartphone app and presents it to a group of like-minded people. This will give you a sense of unity towards achieving your goals. In this way, subjects can be easily motivated to improve their health in their daily lives.
  • the present disclosure is useful as providing a computer system, method, and program for estimating the condition of a subject.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本開示は、被験者の状態を推定するためのコンピュータシステム等を提供する。本開示は、一実施形態において、被験者の状態を推定するためのコンピュータシステムを提供し、前記コンピュータシステムは、被験者が歩行する様子を撮影した複数の画像を受信する受信手段と、前記複数の画像から前記被験者の少なくとも１つのシルエット画像を生成する生成手段と、少なくとも前記少なくとも１つのシルエット画像に基づいて、前記被験者の少なくとも１つの疾患に関する状態を推定する推定手段とを備える。

Description

被験者の状態を推定するためのコンピュータシステム、方法、およびプログラム
　本開示は、被験者の状態を推定するためのコンピュータシステム、方法、およびプログラムに関する。
　歩行と健康状態との密接な関わりについて、従来から多岐にわたる研究がなされてきた（例えば、非特許文献１）。
Ｓｔｕｄｅｎｓｋｉ　Ｓ．ｅｔ．ａｌ．，"Ｇａｉｔ　Ｓｐｅｅｄ　ａｎｄ　Ｓｕｒｖｉｖａｌ　ｉｎ　Ｏｌｄｅｒ　Ａｄｕｌｔｓ"，ＪＡＭＡ．　２０１１；３０５（１）：５０－５８，Ｊｏｕｒｎａｌ　ｏｆ　Ａｍｅｒｉｃａｎ　Ｍｅｄｉｃａｌ　Ａｓｓｏｃｉａｔｉｏｎ
　一つの局面において、本開示は、被験者が歩行する様子を撮影した複数の画像から、被験者の状態を推定するためのコンピュータシステム、方法、およびプログラムを提供する。
　この局面において、本開示は、例えば、以下を提供する。
（項目１）
　被験者の状態を推定するためのコンピュータシステムであって、
　被験者が歩行する様子を撮影した複数の画像を受信する受信手段と、
　前記複数の画像から前記被験者の少なくとも１つのシルエット画像を生成する生成手段と、
　少なくとも前記少なくとも１つのシルエット画像に基づいて、前記被験者の健康に関する状態を推定する推定手段と
　を備えるコンピュータシステム。
（項目２）
　前記推定手段は、前記被験者の少なくとも１つの疾患に関する状態を含む状態を推定する、項目１に記載のコンピュータシステム。
（項目３）
　前記推定手段は、学習用シルエット画像と、前記学習用シルエット画像に写る対象の前記少なくとも１つの疾患に関する状態との関係を学習した学習済モデルを利用して、前記状態を推定する、項目１または２に記載のコンピュータシステム。
（項目４）
　前記複数の画像から前記被験者の骨格特徴を抽出する抽出手段をさらに備え、
　前記推定手段は、前記骨格特徴にさらに基づいて、前記状態を推定する、
　項目１～３のいずれか一項に記載のコンピュータシステム。
（項目５）
　前記推定手段は、
　前記少なくとも１つのシルエット画像に基づいて、前記状態を示す第１のスコアを取得し、
　前記骨格特徴に基づいて、前記状態を示す第２のスコアを取得し、
　前記第１のスコアと前記第２のスコアとに基づいて、前記状態を推定する、
　項目４に記載のコンピュータシステム。
（項目６）
　前記生成手段は、
　　前記複数の画像から複数のシルエット領域を抽出することと、
　　前記抽出された複数のシルエット領域の各々を正規化することと、
　　前記正規化された複数のシルエット領域を平均することと
　によって前記少なくとも１つのシルエット画像を生成する、項目１～５のいずれか一項に記載のコンピュータシステム。
（項目７）
　前記複数の画像は、前記被験者が歩行する方向に対して略直交する方向から前記被験者が歩行する様子を撮影した動画中の複数のフレームである、項目１～６のいずれか一項に記載のコンピュータシステム。
（項目８）
　前記推定手段による推定の結果を分析する分析手段であって、前記分析手段は、前記少なくとも１つのシルエット画像において、前記推定の結果に相対的に大きく寄与する関心領域を特定する、分析手段と、
　前記関心領域に基づいて、前記推定手段のアルゴリズムを修正する修正手段と
　さらに備える、項目１～７のいずれか一項に記載のコンピュータシステム。
（項目９）
　前記健康に関する状態は、前記被験者の少なくとも１つの疾患に関する状態を含み、前記少なくとも１つの疾患は、歩行障害を生じる疾患を含む、項目１～８のいずれか一項に記載のコンピュータシステム。
（項目１０）
　前記少なくとも１つの疾患は、歩行障害を生じる運動器疾患、歩行障害を生じる神経筋疾患、歩行障害を生じる循環器疾患、歩行障害を生じる呼吸器疾患からなる群から選択される少なくとも１つを含む、項目９に記載のコンピュータシステム。
（項目１１）
　前記少なくとも１つの疾患に関する状態の推定は、前記歩行障害を生じる疾患が、どの臓器の疾患に関するものであるかを判別することを含む、項目９に記載のコンピュータシステム。
（項目１２）
　前記判別は、前記歩行障害を生じる疾患が、運動器疾患であるか、神経筋疾患であるか、循環器疾患であるか、呼吸器疾患であるかを判別することを含む、項目１１に記載のコンピュータシステム。
（項目１３）
　前記少なくとも１つの疾患は、頚椎症性脊髄症（ＣＳＭ）、腰部脊柱管狭窄症（ＬＣＳ）、変形性関節症（ＯＡ）、神経炎（ｎｅｕｒｏｐａｔｈｙ）、椎間板ヘルニア、後縦靭帯骨化症（ＯＰＬＬ）、慢性関節リウマチ（ＲＡ）、心不全，水頭症，末梢動脈疾患（ＰＡＤ）、筋炎（ｍｙｏｓｉｔｉｓ）、筋症（ｍｙｏｐａｔｈｙ）、パーキンソン病、筋萎縮性側索硬化症（ＡＬＳ）、脊髄小脳変性症、多系統萎縮症、脳腫瘍、レビー小体型認知症、不顕性骨折、薬物中毒、半月板損傷、靭帯損傷、脊髄梗塞、脊髄炎、脊髄症，化膿性脊椎炎、椎間板炎、外反母趾、慢性閉塞性肺疾患（ＣＯＰＤ）、肥満症、脳梗塞、ロコモティブシンドローム、フレイル、遺伝性痙性対麻痺からなる群から選択される少なくとも１つを含む、項目９～１２のいずれか一項に記載のコンピュータシステム。
（項目１４）
　前記被験者の健康に関する状態は、少なくとも１つの疾患の重症度によって表され、
　前記推定手段は、前記重症度を推定する、項目１～１２のいずれか一項に記載のコンピュータシステム。
（項目１５）
　前記疾患は、頚椎症性脊髄症であり、
　前記推定手段は、前記重症度として頚椎ＪＯＡスコアを推定する、項目１４に記載のコンピュータシステム。
（項目１６）
　前記受信手段は、頚椎ＪＯＡスコアが１０以上であると判定された被験者が歩行する様子を撮影した複数の画像を受信する、項目１５に記載のコンピュータシステム。
（項目１７）
　前記推定手段は、前記被験者の歩行能力を推定する、項目１に記載のコンピュータシステム。
（項目１８）
　前記被験者の歩行の状態がどの年齢の水準にあるかを示す数値によって表される、項目１７に記載のコンピュータシステム。
（項目１９）
　前記推定された状態に応じた治療もしくは介入または情報を提供する提供手段をさらに含む、項目１～１８のいずれか一項に記載のコンピュータシステム。
（項目２０）
　被験者の状態を推定するための方法であって、
　被験者が歩行する様子を撮影した複数の画像を受信することと、
　前記複数の画像から前記被験者の少なくとも１つのシルエット画像を生成することと、
　少なくとも前記少なくとも１つのシルエット画像に基づいて、前記被験者の健康に関する状態を推定することと
　を含む方法。
（項目２０Ａ）
　上記項目の１つまたは複数に記載の特徴を含む、項目２０に記載の方法。
（項目２１）
　被験者の状態を推定するためのプログラムであって、前記プログラムは、プロセッサを備えるコンピュータにおいて実行され、前記プログラムは、
　被験者が歩行する様子を撮影した複数の画像を受信することと、
　前記複数の画像から前記被験者の少なくとも１つのシルエット画像を生成することと、
　少なくとも前記少なくとも１つのシルエット画像に基づいて、前記被験者の健康に関する状態を推定することと
　を含む処理を前記プロセッサに行わせる、プログラム。
（項目２１Ａ）
　上記項目の１つまたは複数に記載の特徴を含む、項目２１に記載のプログラム。
（項目２１Ｂ）
　被験者の状態を推定するためのプログラムを記憶する記憶媒体であって、前記プログラムは、プロセッサを備えるコンピュータにおいて実行され、前記プログラムは、
　被験者が歩行する様子を撮影した複数の画像を受信することと、
　前記複数の画像から前記被験者の少なくとも１つのシルエット画像を生成することと、
　少なくとも前記少なくとも１つのシルエット画像に基づいて、前記被験者の健康に関する状態を推定することと
　を含む処理を前記プロセッサに行わせる、記憶媒体。
（項目２１Ｃ）
　上記項目の１つまたは複数に記載の特徴を含む、項目２１Ｂに記載の記憶媒体。
（項目２２）
　被験者の状態を推定するためのモデルを作成する方法であって、
　複数の対象のうちの各対象について、
　　前記対象が歩行する様子を撮影した複数の画像を受信することと、
　　前記複数の画像から前記対象の少なくとも１つのシルエット画像を生成することと、
　　前記少なくとも１つのシルエット画像を入力用教師データとし、前記対象の健康に関する状態を出力用教師データとして、機械学習モデルに学習させることと
　を含む方法。
（項目２２Ａ）
　上記項目の１つまたは複数に記載の特徴を含む、項目２２に記載の方法。
（項目２２Ｂ）
　被験者の状態を推定するためのモデルを作成するためのシステムであって、
　対象が歩行する様子を撮影した複数の画像を受信する受信手段と、
　前記複数の画像から前記対象の少なくとも１つのシルエット画像を生成する生成手段と、
　前記少なくとも１つのシルエット画像を入力用教師データとし、前記対象の少なくとも１つの疾患に関する状態を出力用教師データとして、機械学習モデルに学習させる学習手段と
　を備えるシステム。
（項目２２Ｃ）
　上記項目の１つまたは複数に記載の特徴を含む、項目２２Ｂに記載のシステム。
（項目２２Ｄ）
　被験者の状態を推定するためのモデルを作成するためのプログラムであって、前記プログラムは、プロセッサを備えるコンピュータにおいて実行され、前記プログラムは、
　複数の対象のうちの各対象について、
　　前記対象が歩行する様子を撮影した複数の画像を受信することと、
　　前記複数の画像から前記対象の少なくとも１つのシルエット画像を生成することと、
　　前記少なくとも１つのシルエット画像を入力用教師データとし、前記対象の少なくとも１つの疾患に関する状態を出力用教師データとして、機械学習モデルに学習させることと
　を含む処理を前記プロセッサに行わせる、プログラム。
（項目２２Ｅ）
　上記項目の１つまたは複数に記載の特徴を含む、項目２２Ｄに記載のプログラム。
（項目２２Ｆ）
　被験者の状態を推定するためのモデルを作成するためのプログラムを記憶する記憶媒体であって、前記プログラムは、プロセッサを備えるコンピュータにおいて実行され、前記プログラムは、
　複数の対象のうちの各対象について、
　　前記対象が歩行する様子を撮影した複数の画像を受信することと、
　　前記複数の画像から前記対象の少なくとも１つのシルエット画像を生成することと、
　　前記少なくとも１つのシルエット画像を入力用教師データとし、前記対象の少なくとも１つの疾患に関する状態を出力用教師データとして、機械学習モデルに学習させることと
　を含む処理を前記プロセッサに行わせる、記憶媒体。
（項目２２Ｇ）
　上記項目の１つまたは複数に記載の特徴を含む、項目２２Ｆに記載の記憶媒体。
（項目２３）
　被験者の健康状態、障害または疾患を治療、予防、または改善する方法であって、
　（Ａ）被験者が歩行する様子を撮影した複数の画像を受信することと、
　（Ｂ）前記複数の画像から前記被験者の少なくとも１つのシルエット画像を生成することと、
　（Ｃ）少なくとも前記少なくとも１つのシルエット画像に基づいて、前記被験者の健康に関する状態を推定することと
　（Ｄ）前記被験者の健康に関する状態に基づいて、前記被験者に施すべき治療、予防、または改善のための方法を算出することと、
　（Ｅ）前記被験者に、前記治療、予防、または改善のための方法を施すことと、
　（Ｆ）必要に応じて（Ａ）から（Ｅ）を繰り返すことと、
を含む方法。
（項目２３Ａ）
　被験者の健康状態、障害または疾患を治療、予防、または改善するシステムであって、
　（Ａ）被験者が歩行する様子を撮影した複数の画像を受信する受信手段と、
　（Ｂ）前記複数の画像から前記被験者の少なくとも１つのシルエット画像を生成する生成手段と、
　（Ｃ）少なくとも前記少なくとも１つのシルエット画像に基づいて、前記被験者の健康に関する状態を推定する推定手段と
　（Ｄ）前記被験者の健康に関する状態に基づいて、前記被験者に施すべき治療、予防、または改善のための方法を算出する算出手段と、
　（Ｅ）前記被験者に、前記治療、予防、または改善のための方法を施す手段と
　を備えるシステム。
（項目２３Ｂ）
　被験者の健康状態、障害または疾患を治療、予防、または改善するプログラムであって、前記プログラムは、プロセッサを備えるコンピュータにおいて実行され、前記プログラムは、
　（Ａ）被験者が歩行する様子を撮影した複数の画像を受信することと、
　（Ｂ）前記複数の画像から前記被験者の少なくとも１つのシルエット画像を生成することと、
　（Ｃ）少なくとも前記少なくとも１つのシルエット画像に基づいて、前記被験者の健康に関する状態を推定することと
　（Ｄ）前記被験者の健康に関する状態に基づいて、前記被験者に施すべき治療、予防、または改善のための方法を算出することと、
　（Ｅ）前記被験者に、前記治療、予防、または改善のための方法を施すことと、
　（Ｆ）必要に応じて（Ａ）から（Ｅ）を繰り返すことと、
を含む処理を前記プロセッサに行わせる、プログラム。
（項目２３Ｃ）
　被験者の健康状態、障害または疾患を治療、予防、または改善するプログラムを記憶する記憶媒体であって、前記プログラムは、プロセッサを備えるコンピュータにおいて実行され、前記プログラムは、
　（Ａ）被験者が歩行する様子を撮影した複数の画像を受信することと、
　（Ｂ）前記複数の画像から前記被験者の少なくとも１つのシルエット画像を生成することと、
　（Ｃ）少なくとも前記少なくとも１つのシルエット画像に基づいて、前記被験者の健康に関する状態を推定することと
　（Ｄ）前記被験者の健康に関する状態に基づいて、前記被験者に施すべき治療、予防、または改善のための方法を算出することと、
　（Ｅ）前記被験者に、前記治療、予防、または改善のための方法を施すことと、
　（Ｆ）必要に応じて（Ａ）から（Ｅ）を繰り返すことと、
を含む処理を前記プロセッサに行わせる、記憶媒体。
　本開示によれば、高い精度で被験者の少なくとも１つの疾患、障害、症候群、症状等の医学的状態に関する状態を推定することが可能な、被験者の状態を推定するためのコンピュータシステム、方法、およびプログラムを提供することができる。また、本開示によれば、歩行する様子を医師が診ただけでは識別することができない疾患でさえも識別することができる可能性がある。
本開示の一実施形態を用いて、被験者の歩行動画から被験者の状態を推定するためのフロー１０の一例を示す図 被験者の状態を推定するためのコンピュータシステム１００の構成の一例を示す図 一実施形態におけるプロセッサ部１２０の構成の一例を示す図 別の実施形態におけるプロセッサ部１２０’の構成の一例を示す図 別の実施形態におけるプロセッサ部１２０’’の構成の一例を示す図 一実施形態におけるプロセッサ部１４０の構成の一例を示す図 別の実施形態におけるプロセッサ部１４０’の構成の一例を示す図 生成手段１２２によって、１枚の画像４１から１枚のシルエット画像４３を生成するフローの一例を概略的に図示する図 生成手段１２２によって、複数のシルエット画像４３Ａ～４３Ｃから１枚のシルエット画像を生成するフローの一例を概略的に図示する図 抽出手段１２４によって、１枚の画像５１から骨格特徴５２を抽出するフローの一例を概略的に図示する図 分析手段１２５によって特定された判断根拠の一例を示す図 被験者の状態を推定するためのコンピュータシステム１００による処理の一例（処理６００）を示すフローチャート 被験者の状態を推定するためのコンピュータシステム１００による処理の別の一例（処理６１０）を示すフローチャート 被験者の状態を推定するためのコンピュータシステム１００による処理の一例（処理７００）を示すフローチャート 被験者の状態を推定するためのコンピュータシステム１００による処理の別の一例（処理７１０）を示すフローチャート 実施例１の結果を示す図 実施例２の結果を示す図 実施例３の結果を示す図 実施例４の結果を示す。 実施例５の結果を示す。
　以下、本開示を説明する。本明細書の全体にわたり、単数形の表現は、特に言及しない限り、その複数形の概念をも含むことが理解されるべきである。従って、単数形の冠詞（例えば、英語の場合は「ａ」、「ａｎ」、「ｔｈｅ」など）は、特に言及しない限り、その複数形の概念をも含むことが理解されるべきである。また、本明細書において使用される用語は、特に言及しない限り、当該分野で通常用いられる意味で用いられることが理解されるべきである。したがって、他に定義されない限り、本明細書中で使用されるすべての専門用語および科学技術用語は、本発明の属する分野の当業者によって一般的に理解されるのと同じ意味を有する。矛盾する場合、本明細書（定義を含めて）が優先する。
　（定義）
　本明細書において、「被験者」（ｓｕｂｊｅｃｔ）とは、本開示の技術が対象とする任意の人物または動物をいう。「被験者」は、「対象」（ｏｂｊｅｃｔ）または患者（ｐａｔｉｅｎｔ）と同義に用いられ得る。
　本明細書において、「被験者」の「状態」とは、被験者の身体または精神の様子のことをいう。
　本明細書において、「歩行」とは、肢（例えば、足（脚）、腕等）を持つ動物が行う、肢による任意の移動(運動）をいう。「歩行」は、狭義の意味での歩行（すなわち、すべての足が同時に地面から離れる瞬間を持たない動作）に加えて、走行（すなわち、すべての足が同時に地面から離れる瞬間を持つ動作）、四つん這いでの移動（いわゆる、ハイハイ）等を含む。
　本明細書において「歩行障害」とは、歩行における任意の障害をいい、歩行中の被験者の体の動き方（すなわち、体全体の変位）または体の各部の変位に異常をきたすことで特徴づけられる。
　本明細書において、「疾患」とは、対象の状態に不調または不都合が生じている状態をいう。「疾患」は、「障害」（正常な機能を妨げている状態）、「症状」（対象の異常な状態）、「症候群」（いくつかの症状が発生している状態）等の用語と同義的に用いられることがある。特に、歩行中の被験者の体の動き方または体の各部の変位に異常をきたす疾患は、「歩行障害を生じる疾患」といい、歩行障害を生じる疾患は、「歩行障害を生じる運動器疾患」、「歩行障害を生じる神経筋疾患」、「歩行障害を生じる循環器疾患」、「歩行障害を生じる呼吸器疾患」等、臓器ごとに分類して表現される疾患を含む。
　本明細書において、「歩行障害を生じる運動器疾患」とは、骨および関節の機能に関する疾患のうち歩行障害を生じるものをいい、例えば、変形性関節症（Ｏｓｔｅｏａｒｔｈｒｉｔｉｓ：ＯＡ）、慢性関節リウマチ、半月板損傷、靭帯損傷、ロコモティブシンドローム、頚椎症性脊髄症（ＣＳＭ）、腰部脊柱管狭窄症（ＬＣＳ）、後縦靭帯骨化症（ＯＰＬＬ）、椎間板ヘルニア、椎間板炎を含むがこれらに限定されない。頚椎症性脊髄症（ＣＳＭ）、腰部脊柱管狭窄症（ＬＣＳ）、後縦靭帯骨化症（ＯＰＬＬ）、椎間板ヘルニア、椎間板炎は、後述する「歩行障害を生じる神経筋疾患」でもあり得る。
　本明細書において、「歩行障害を生じる神経筋疾患」とは、神経および筋肉の機能に関する疾患のうち歩行障害を生じるものをいい、例えば、頚椎症性脊髄症（ＣＳＭ）、腰部脊柱管狭窄症（ＬＣＳ）、椎間板ヘルニア、脊髄小脳変性症、多系統萎縮症、神経炎（ｎｅｕｒｏｐａｔｈｙ）、水頭症、筋炎（ｍｙｏｓｉｔｉｓ）、筋症（ｍｙｏｐａｔｈｙ）、筋萎縮性側索硬化症（ＡＬＳ）、脳腫瘍、脊髄梗塞、脊髄炎、脊髄症、後縦靭帯骨化症（ＯＰＬＬ）、椎間板炎、パーキンソン病、脳梗塞、遺伝性痙性対麻痺を含むがこれらに限定されない。頚椎症性脊髄症（ＣＳＭ）、腰部脊柱管狭窄症（ＬＣＳ）、後縦靭帯骨化症（ＯＰＬＬ）、椎間板ヘルニア、椎間板炎は、前述した「歩行障害を生じる運動器疾患」でもあり得る。
　本明細書において、「歩行障害を生じる循環器疾患」とは、心臓および血管の機能に関する疾患のうち歩行障害を生じるものをいい、例えば、心不全、末梢動脈疾患（ＰＡＤ）、フレイルを含むがこれらに限定されない。
　本明細書において、「歩行障害を生じる呼吸器疾患」とは、肺の機能に関する疾患のうち歩行障害を生じるものをいい、例えば、慢性閉塞性肺疾患（ＣＯＰＤ）を含むがこれらに限定されない。
　本明細書において、被験者等の「シルエット画像」とは、画像中の被験者等に属する画素と被験者等に属さない画素とを異なる画素値で表すことにより、被験者等の領域を表した画像のことをいう。典型的には、「被験者等のシルエット画像」は、画像中の被験者等に属する画素のすべてを同一の値とし、被験者等に属さない画素のすべてを同一の値とした２値画像であり得る。別の例では、画像中の被験者等を複数の部分に（例えば、部位毎に）分割し、同一の部分に属する画素のすべてを同一の値とし、被験者等に属さない画素のすべてを同一の値とした多値画像であり得る。別の例では、画像中の被験者等を複数の部分に（例えば、部位毎に）分割し、同一の部分に属する画素のすべてを同一の値とし、被験者等に属さない部分を複数の部分に分割し、同一の部分に属する画素のすべてを同一の値とし、それぞれの画素値を、被験者等に属する部分と被検者等に属しない部分とを識別可能な値とした多値画像であり得る。
　本明細書において、「被験者の骨格特徴」とは、被験者の骨格を表すことができる特徴のことをいう。骨格特徴は、例えば、被験者の複数の関節の位置および角度を含む。一例において、骨格特徴は、被験者の複数の関節を点（ｋｅｙｐｏｉｎｔ）で表し、点間を接続したグラフ構造によって表され得る。このようなグラフ構造として、１８個のｋｅｙｐｏｉｎｔを有するＣＯＣＯ、２５個のＫｅｙｐｏｉｎｔを有するＢｏｄｙ２５が知られている。概して、Ｋｅｙｐｏｉｎｔが多いほど、被験者の骨格を表す精度が高い。
　本明細書において、「状態を推定する」とは、現在の状態を推定することに加えて、未来の状態を推定することも含む概念であり得る。
　本明細書において、「治療」とは、保存治療および手術治療を含む。保存治療は、薬物治療およびリハビリテーション治療を含み、リハビリテーションは、理学療法および作業療法を含む。リハビリテーション治療は、対面で指導を行うリハビリテーション治療および遠隔で指導を行うリハビリテーション治療を含む。
　本明細書において、「約」とは、後に続く数値の±１０％を意味する。
　（好ましい実施形態）
　以下に本開示の好ましい実施形態を説明する。以下に提供される実施形態は、本開示のよりよい理解のために提供されるものであり、本開示の範囲は以下の記載に限定されるべきでないことが理解される。従って、当業者は、本明細書中の記載を参酌して、本開示の範囲内で適宜改変を行うことができることは明らかである。また、以下の実施形態は単独でも使用されあるいはそれらを組み合わせて使用することができることが理解される。
　以下、図面を参照しながら、本開示の好ましい実施の形態を説明する。
　１．被験者の歩行動画から被験者の状態を推定するためのフロー
　図１は、本開示の一実施形態を用いて、被験者の歩行動画から被験者の状態を推定するためのフロー１０の一例を示す。フロー１０は、被験者Ｓが歩行している様子を端末装置３００で撮影するだけで、被験者Ｓの疾患に関する状態が推定され、推定された結果が医師または被験者Ｓに提供されるというものである。これにより、被験者Ｓは、自身が疾患を有しているかどうかを簡易的に知ることができる。また、医師は、推定された結果を、被験者Ｓの診断に役立てることができ、診断の精度向上につなげることができる。
　はじめに、被験者Ｓは、端末装置３００（例えば、スマートフォン、タブレット等）を用いて、自身が歩行している様子を動画で撮影する。なお、動画は、連続した複数の画像（静止画）であるとみなせるため、本明細書では、「動画」は、「複数の画像」または「連続した複数の画像」と同義的に用いられる。なお、被験者Ｓが歩行している様子は、端末装置３００ではなく、デジタルカメラ、ビデオカメラ等の撮影手段によって撮影してもよい。
　例えば、被験者Ｓが平地を直線的に歩行する姿を側面から、具体的には、歩行する方向に対して略直交する方向から撮影する。このとき、例えば、被験者Ｓの定常歩行を撮影することができるように、被験者Ｓの歩き初めではなく、数ｍ歩いた後の様子を撮影することが好ましい。例えば、被験者Ｓに約１０ｍ歩行させるとき、最初の約３ｍと最後の約３ｍを除いた中間の約４ｍを歩行する姿を適切に撮影することができるように、端末装置３００または撮影手段を設置することが好ましい。
　ステップＳ１では、撮影された動画が、サーバ装置１００に提供される。動画がサーバ装置１００に提供される態様は問わない。例えば、動画は、ネットワーク（例えば、インターネット、ＬＡＮ等）を介してサーバ装置１００に提供され得る。例えば、動画は、記憶媒体（例えば、リムーバブルメディア）を介してサーバ装置１００に提供され得る。
　次いで、サーバ装置１００において、ステップＳ１で提供された動画に対する処理が行われる。サーバ装置１００は、動画中の複数のフレームの各々を処理する。サーバ装置１００による処理により、被験者Ｓの疾患の状態が推定される。例えば、サーバ装置１００による処理により、被験者Ｓが或る疾患を有している状態であるか、或る疾患を有していない状態であるかが推定され得る。例えば、サーバ装置１００による処理により、被験者Ｓが有する或る疾患のレベル（例えば、軽度、中等度、重度）が推定され得る。ここで、疾患は、代表的に歩行障害を生じる疾患であり、例えば、歩行障害を生じる運動器疾患、歩行障害を生じる神経筋疾患、歩行障害を生じる循環器疾患、歩行障害を生じる呼吸器疾患であり得る。より具体的には、疾患は、例えば、頚椎症性脊髄症（ＣＳＭ）、腰部脊柱管狭窄症（ＬＣＳ）、変形性関節症（ＯＡ）、神経炎（ｎｅｕｒｏｐａｔｈｙ）、椎間板ヘルニア、後縦靭帯骨化症（ＯＰＬＬ）、慢性関節リウマチ（ＲＡ）、心不全，水頭症，末梢動脈疾患（ＰＡＤ）、筋炎（ｍｙｏｓｉｔｉｓ）、筋症（ｍｙｏｐａｔｈｙ）、パーキンソン病、筋萎縮性側索硬化症（ＡＬＳ）、脊髄小脳変性症、多系統萎縮症、脳腫瘍、レビー小体型認知症、不顕性骨折、薬物中毒、半月板損傷、靭帯損傷、脊髄梗塞、脊髄炎、脊髄症，化膿性脊椎炎、椎間板炎、外反母趾、慢性閉塞性肺疾患（ＣＯＰＤ）、肥満症（肥満症は、肥満が、脂肪組織が過剰に蓄積した状態であって、ＢＭＩ　２５ｋｇ／ｍ２以上の状態のことをいう一方で、肥満症は、肥満に起因ないし関連する健康障害を合併するか、その合併が予測される場合であって、医学的に減量を必要とする疾患であるという点で、肥満とは区別される。）、脳梗塞、ロコモティブシンドローム、フレイル、遺伝性痙性対麻痺を含むがこれらに限定されない。より好ましくは、疾患は、神経炎（ｎｅｕｒｏｐａｔｈｙ）、筋炎（ｍｙｏｓｉｔｉｓ）、変形性関節症（ＯＡ）、慢性関節リウマチ（ＲＡ）、心不全、慢性閉塞性肺疾患（ＣＯＰＤ）、パーキンソン病のうちの少なくとも１つであり得る。また、このような推定は、歩行障害を生じる疾患が、どの臓器の疾患に関するものであるかを判別することを含んでいてもよく、そのような判別としては、運動器疾患であるか、神経筋疾患であるか、循環器疾患であるか、呼吸器疾患であるかを判別することを含んでいてもよい。
　ステップＳ２では、サーバ装置１００によって推定された結果が、被験者Ｓに提供される。推定された結果が提供される態様は問わない。例えば、推定された結果は、ネットワークを介してサーバ装置１００から端末装置３００に提供されてもよいし、記憶媒体を介して被験者Ｓに提供されてもよいし、紙媒体を介して被験者Ｓに提供されてもよい。
　これにより、被験者Ｓは、自身が疾患を有しているかどうか、あるいは、自身の疾患のレベルがどの程度であるかを簡易的に知ることができる。このとき、例えば、被験者Ｓの疾患の状態に応じた治療または介入を被験者Ｓに提供するようにしてもよいし、被験者Ｓの疾患の状態に応じた情報（例えば、行動変容を促す情報、リハビリテーションを支援する情報）を被験者Ｓに提供するようにしてもよい。
　ステップＳ２に加えて、または、ステップＳ２に代えて、ステップＳ３では、サーバ装置１００によって推定された結果が、医師に提供される。推定された結果が提供される態様はと合わない。例えば、推定された結果は、ネットワークを介してサーバ装置１００から病院Ｈの端末装置に提供されてもよいし、記憶媒体を介して医師に提供されてもよいし、紙媒体を介して医師に提供されてもよい。
　これにより、医師は、被験者Ｓが疾患を有しているか否かの診断、あるいは、被験者が有している疾患のレベルの診断に、推定された結果を役立てることができる。例えば、診断が難しいまたは診断に経験もしくは知識が必要な疾患であっても、推定された結果を利用して、精度よく診断をすることが可能になり得る。このとき、例えば、被験者Ｓの疾患の状態に応じた情報（例えば、推奨される治療または介入の情報、推奨されるリハビリテーションの情報）を医師に提供するようにしてもよい。
　上述した例では、被験者Ｓが、自身が歩行している様子の動画を撮影するだけで、被験者Ｓの疾患の状態の推定結果を受けることができるフロー１０を説明したが、本発明は、これに限定されない。例えば、医師が、カメラを用いて、被験者Ｓが歩行している様子を動画で撮影するだけで、あるいは、被験者が、別の人に、端末装置３００を用いて、自身が歩行している様子を動画で撮影してもらうだけで、被験者Ｓの疾患の状態の推定結果が、医師、理学療法士、介護者、または被験者Ｓの家族等に提供されるというフローも可能である。
　例えば、上述したサーバ装置１００は、クラウドサービスを提供するサーバ装置として実装され得る。被験者Ｓまたは医師は、端末装置（例えば、スマートフォン、パーソナルコンピュータ）からサーバ装置１００にアクセスし、被験者Ｓの疾患の状態の推定結果を受けるというクラウドサービスを受けることができる。被験者Ｓまたは医師は、例えば、端末装置にインストールされたアプリケーションを介してサーバ装置１００にアクセスするようにしてもよいし、ＷＥＢアプリケーションを介してサーバ装置１００にアクセスするようにしてもよい。このようなクラウドサービスは、国内外の医療機関または被験者に提供されることができる。このようなクラウドサービスの提供を受けるためのアプリケーションは、例えば、医療機器としてあるいはヘルスケア製品として、国内外の医療機関または被験者に提供されることができる。被験者Ｓの疾患の状態を推定する処理は、多くの被験者の情報が収集されて学習されるほど精度が向上し得るため、処理の精度を向上させるために、被験者Ｓの疾患の状態を推定する処理のプログラムは頻繁なアップデートが必要とされ得る。サーバ装置１００がクラウドサービスを提供するサーバ装置として実装されることで、被験者Ｓの疾患の状態を推定する処理のプログラムをアップデートが容易となるという利点がある。
　なお、上述したサーバ装置１００による処理を端末装置３００で行うことも可能である。この場合は、サーバ装置１００が省略され得、端末装置３００は、スタンドアローンで動くことができる。端末装置３００には、被験者Ｓの疾患の状態を推定する処理をプロセッサに行わせるソフトウェアがインストールされ得る。このようなソフトウェアは、医療機器としてあるいはヘルスケア製品として、被験者Ｓに提供されることができる。本例では、被験者Ｓの疾患に関する状態の推定結果が、医師、理学療法士、介護者、または被験者Ｓの家族等に提供される上述した例では、端末装置３００からサーバ装置１００を介することなく、推定結果が提供され得る。
　例えば、上述したサーバ装置１００による処理を医療機関の端末装置で行うことも可能である。この場合は、サーバ装置１００が省略され得、端末装置は、スタンドアローンで動くことができる。端末装置がカメラを備える場合には、端末装置３００も省略されるようにしてもよい。端末装置には、被験者Ｓの疾患の状態を推定する処理をプロセッサに行わせるソフトウェアがインストールされ得る。このようなソフトウェアは、医療機器として国内外の医療機関に提供されることができる。本例では、例えば、推定結果は、端末装置から医師Ｓの端末装置または被験者Ｓの端末装置３００に提供され得る。
　例えば、上述したサーバ装置１００による処理を専用装置で行うことも可能である。この場合は、サーバ装置１００および端末装置３００が省略され得、専用装置は、スタンドアローンで動くことができる。専用装置は、例えば、カメラと、処理部と、被験者Ｓの疾患の状態を推定する処理を処理部に行わせるソフトウェアを記憶するメモリとを備え得る。このような専用機器は、医療機器として、国内外の医療機関に提供されることができる。本例では、例えば、推定結果は、専用装置から医師Ｓの端末装置または被験者Ｓの端末装置３００に提供されることができる。
　なお、上述した例では、特定の疾患に関する状態を推定することを説明したが、本開示はこれに限定されない。例えば、疾患に関する状態として、何らかの疾患を有しているか、すなわち、健常者であるか否かを推定するようにしてもよい。さらには、本開示は、被験者の疾患に関する状態に限らず、被験者の健康に関する状態を推定することができる。例えば、本開示は、被験者が健康状態であるか、被験者が疾患ではないものの疾患の予兆がある状態（すなわち、未病）であるか、被験者がどの程度の健康レベルであるか、被験者がどの程度の歩行能力を有するか等も同様に推定することができる。
　上述したフロー１０は、後述する本発明のコンピュータシステム１００を利用して実現され得る。
　２．被験者の状態を推定するためのコンピュータシステムの構成
　図２は、被験者の状態を推定するためのコンピュータシステム１００の構成の一例を示す。
　本例では、コンピュータシステム１００は、データベース部２００に接続されている。また、コンピュータシステム１００は、少なくとも１つの端末装置３００にネットワーク４００を介して接続されている。
　ネットワーク４００は、任意の種類のネットワークであり得る。ネットワーク４００は、例えば、インターネットであってもよいし、ＬＡＮであってもよい。ネットワーク４００は、有線ネットワークであってもよいし、無線ネットワークであってもよい。
　コンピュータシステム１００の一例は、サーバ装置であるが、これに限定されない。コンピュータシステム１００は、端末装置（例えば、被験者が保持する端末装置、病院に設置されている端末装置、公共の場所（例えば、公民館、役所、図書館等）に設置されている端末装置）であってもよいし、専用機器であってもよい。端末装置３００の一例は、被験者が保持する端末装置、または、病院に設置されている端末装置、または、公共の場所（例えば、公民館、役所、図書館等）に設置されている端末装置であるが、これに限定されない。ここで、サーバ装置および端末装置は、任意のタイプのコンピュータであり得る。例えば、端末装置は、スマートフォン、タブレット、パーソナルコンピュータ、スマートグラス等の任意のタイプの端末装置であり得る。端末装置３００は、例えば、カメラ等の撮影手段を備えることが好ましい。
　コンピュータシステム１００は、インターフェース部１１０と、プロセッサ部１２０と、メモリ１３０部とを備える。
　インターフェース部１１０は、コンピュータシステム１００の外部と情報のやり取りを行う。コンピュータシステム１００のプロセッサ部１２０は、インターフェース部１１０を介して、コンピュータシステム１００の外部から情報を受信することが可能であり、コンピュータシステム１００の外部に情報を送信することが可能である。インターフェース部１１０は、任意の形式で情報のやり取りを行うことができる。
　インターフェース部１１０は、例えば、コンピュータシステム１００に情報を入力することを可能にする入力部を備える。入力部が、どのような態様でコンピュータシステム１００に情報を入力することを可能にするかは問わない。例えば、入力部が受信器である場合、受信器がネットワーク４００を介してコンピュータシステム１００の外部から情報を受信することにより入力してもよい。あるいは、入力部がデータ読み取り装置である場合には、コンピュータシステム１００に接続された記憶媒体から情報を読み取ることによって情報を入力するようにしてもよい。あるいは、例えば、入力部がタッチパネルである場合には、ユーザがタッチパネルにタッチすることによって情報を入力するようにしてもよい。あるいは、入力部がマウスである場合には、ユーザがマウスを操作することによって情報を入力するようにしてもよい。あるいは、入力部がキーボードである場合には、ユーザがキーボードのキーを押下することによって情報を入力するようにしてもよい。あるいは、入力部がマイクである場合には、ユーザがマイクに音声を入力することによって情報を入力するようにしてもよい。あるいは、入力部がカメラである場合には、カメラが撮像した情報を入力するようにしてもよい。
　例えば、入力部は、被験者が歩行している様子を撮影した動画をコンピュータシステム１００に入力することを可能にする。
　インターフェース部１１０は、例えば、コンピュータシステム１００から情報を出力することを可能にする出力部を備える。出力部が、どのような態様でコンピュータシステム１００から情報を出力することを可能にするかは問わない。例えば、出力部が送信器である場合、送信器がネットワーク４００を介してコンピュータシステム１００の外部に情報を送信することにより出力してもよい。あるいは、例えば、出力部がデータ書き込み装置である場合、コンピュータシステム１００に接続された記憶媒体に情報を書き込むことによって情報を出力するようにしてもよい。あるいは、出力部が表示画面である場合、表示画面に情報を出力するようにしてもよい。あるいは、出力部がスピーカである場合には、スピーカからの音声によって情報を出力するようにしてもよい。
　例えば、出力部は、コンピュータシステム１００によって推定された被験者の状態をコンピュータシステム１００の外部に出力することができる。
　プロセッサ部１２０は、コンピュータシステム１００の処理を実行し、かつ、コンピュータシステム１００全体の動作を制御する。プロセッサ部１２０は、メモリ部１３０に格納されているプログラムを読み出し、そのプログラムを実行する。これにより、コンピュータシステム１００を所望のステップを実行するシステムとして機能させることが可能である。プロセッサ部１２０は、単一のプロセッサによって実装されてもよいし、複数のプロセッサによって実装されてもよい。
　メモリ部１３０は、コンピュータシステム１００の処理を実行するために必要とされるプログラムやそのプログラムの実行に必要とされるデータ等を格納する。メモリ部１３０は、被験者の状態を推定するための処理のためのプログラム（例えば、後述する図６Ａまたは図６Ｂに示される処理を実現するプログラム）および／または被験者の状態を推定するためのモデルを作成するための処理のためのプログラム（例えば、後述する図７Ａまたは図７Ｂに示される処理を実現するプログラム）を格納してもよい。ここで、プログラムをどのようにしてメモリ部１３０に格納するかは問わない。例えば、プログラムは、メモリ部１３０にプリインストールされていてもよい。あるいは、プログラムは、ネットワークを経由してダウンロードされることによってメモリ部１３０にインストールされるようにしてもよい。あるいは、プログラムは、コンピュータ読み取り可能な記憶媒体に格納されていてもよい。
　データベース部２００には、例えば、複数の対象のそれぞれについて、歩行している様子を撮影した複数の画像が格納され得る。複数の画像は、例えば、各対象の端末装置３００からデータベース部２００に（コンピュータシステム１００を介して）送信されたものであってもよいし、例えば、コンピュータシステム１００が備え得るカメラによって撮影されたものであってもよい。複数の対象のそれぞれの歩行している様子を撮影した複数の画像は、例えば、それぞれの対象の疾患の状態と関連付けられて格納され得る。データベース部２００に格納されたデータは、例えば、被験者の状態を推定するためのモデルを作成するために利用され得る。
　データベース部２００には、予測対象の被験者が歩行している様子を撮影した複数の画像が格納されるようにしてもよい。複数の画像は、例えば、予測対象の被験者の端末装置３００からデータベース部２００に（コンピュータシステム１００を介して）送信されたものであってもよいし、例えば、コンピュータシステム１００が備え得るカメラによって撮影されたものであってもよい。
　また、データベース部２００には、例えば、コンピュータシステム１００によって出力された、被験者の状態の推定結果が格納され得る。
　図２に示される例では、データベース部２００は、コンピュータシステム１００の外部に設けられているが、本発明はこれに限定されない。データベース部２００の少なくとも一部をコンピュータシステム１００の内部に設けることも可能である。このとき、データベース部２００の少なくとも一部は、メモリ部１３０を実装する記憶手段と同一の記憶手段によって実装されてもよいし、メモリ部１３０を実装する記憶手段とは別の記憶手段によって実装されてもよい。いずれにせよ、データベース部２００の少なくとも一部は、コンピュータシステム１００のための格納部として構成される。データベース部２００の構成は、特定のハードウェア構成に限定されない。例えば、データベース部２００は、単一のハードウェア部品で構成されてもよいし、複数のハードウェア部品で構成されてもよい。例えば、データベース部２００は、コンピュータシステム１００の外付けハードディスク装置として構成されてもよいし、ネットワークを介して接続されるクラウド上のストレージとして構成されてもよい。
　図３Ａは、一実施形態におけるプロセッサ部１２０の構成の一例を示す。
　プロセッサ部１２０は、受信手段１２１と、生成手段１２２と、推定手段１２３とを備える。
　受信手段１２１は、被験者が歩行している様子を撮影した複数の画像を受信するように構成されている。受信手段１２１は、コンピュータシステム１００の外部からインターフェース部１１０を介して複数の画像を受信することができる。複数の画像は、例えば、被験者の端末装置３００からコンピュータシステム１００に送信されたものであってもよいし、データベース部２００に格納されたものであって、データベース部２００からコンピュータシステム１００に送信されたものであってもよい。
　複数の画像は、例えば、静止画を連写することによって撮影された複数の画像であってもよいし、動画を構成する複数のフレームであってもよい。複数の画像は、任意のフレームレートを有し得るが、フレームレートは、好ましくは、２０ｆｐｓ～６０ｆｐｓ、より好ましくは、３０ｆｐｓであり得る。
　受信手段１２１が受信した複数の画像は、生成手段１２２に提供される。
　生成手段１２２は、被験者が写った画像から被験者のシルエット画像を生成するように構成されている。生成手段１２２は、例えば、受信手段１２１が受信した複数の画像から、少なくとも１つのシルエット画像を生成することができる。生成手段１２２は、当該技術分野において公知の技術を用いて、シルエット画像を生成することができる。生成手段１２２は、例えば、グラフ転移学習またはセマンティックセグメンテーションと呼ばれる手法を用いて、シルエット画像を生成することができる。グラフ転移学習によるシルエット画像生成の手法の具体例として、Ｇｒａｐｈｏｎｏｍｙ（https://arxiv.org/abs/1904.04536）を用いた手法が挙げられるが、これに限定されない。
　生成手段１２２は、例えば、画像中の被験者に属する画素のすべてを同一の値とし、被験者に属さない画素のすべてを同一の値とした２値画像としてシルエット画像を生成するようにしてもよいし、画像中の被験者を複数の部分に（例えば、部位毎に）分割し、同一の部分に属する画素のすべてを同一の値とし、被験者に属さない画素のすべてを同一の値とした多値画像としてシルエット画像を生成するようにしてもよい。例えば、上述したＧｒａｐｈｏｎｏｍｙによると、被験者の各部位が異なる画素値で表された多値画像としてシルエット画像が生成され得る。この多値画像としてのシルエット画像において、すべての部位を同じ画素値で表すことによって、２値画像としてのシルエット画像を生成することができる。
　一例において、生成手段１２２は、例えば、Ｎ枚の画像からＮ枚のシルエット画像を生成するようにしてもよいし、Ｎ枚の画像からＭ枚のシルエット画像を生成するようにしてもよい（Ｎ≧２、Ｎ＞ＭまたはＮ＜Ｍ）。特定の例において、生成手段１２２は、Ｎ枚の画像から１枚のシルエット画像を生成することができる。
　例えば、生成手段１２２は、Ｎ枚の画像からＭ枚のシルエット画像を生成することができる（Ｎ＞Ｍ）。このとき、生成手段１２２は、Ｎ枚の画像のそれぞれからシルエット画像を生成し、生成されたＮ枚のシルエット画像のうちの少なくともいくつかを平均することによって、Ｍ枚の平均シルエット画像を生成することができる。好ましくは、Ｎ枚のシルエット画像のすべてを平均することによって、１枚の平均シルエット画像を生成し得る。
　このとき、例えば、生成手段１２２は、Ｎ枚の画像からＮ枚のシルエット領域を抽出し、抽出されたＮ枚のシルエット領域を正規化し、正規化されたＮ枚のシルエット領域を平均することによって、Ｍ枚、好ましくは１枚のシルエット画像を生成することができる。
　ここで、正規化処理は、例えば、画像に写っている被験者の身長を基準として行われ得る。正規化は、例えば、複数のシルエット画像のそれぞれから被験者のシルエット領域を抽出し、抽出された複数のシルエット領域を被験者の身長を基準としてリサイズ（すなわち、拡大または縮小）することによって行われる。一例において、正規化は、被験者のシルエット領域の縦方向の長さが約３２ピクセル、約６４ピクセル、約１２８ピクセル、約２５６ピクセル、約５１２ピクセル等の長さになるようにシルエット領域をリサイズすることによって行われる。このとき、横方向の長さは、縦横比を維持するように決定されてもよいし、固定値、例えば、約２２ピクセル、約４４ピクセル、約８８ピクセル、約１７６ピクセル、約３５２ピクセル等であってもよい。好ましくは、縦横比を維持することである。シルエット画像のサイズが大きくなるほど計算コストが高くなり、シルエット画像のサイズが小さくなるほど特徴量が失われるため、このトレードオフを考慮して正規化後のシルエット画像のサイズを決定することが好ましい。正規化後のシルエット画像のサイズは、好ましくは、縦×横＝１２８×８８であり得る。縦×横＝１２８×８８であれば、比較的に低い計算コストで、十分な精度が得られるからである。正規化は、好ましくは、縦横比が維持されるように、シルエット領域を被験者の身長を基準として縦方向に正規化し、縦×横＝１２８×８８のシルエット画像を生成することであり得る。
　正規化処理において、例えば、ノイズ等の影響を低減するために、シルエットの重心の動きが滑らかになるようにスムージング処理を付加的に行うようにしてもよい。
　平均化処理は、例えば、シルエット領域Ｎ枚分の各画素の画素値の平均を取ることによって行われ得る。
　上述した例において、Ｎの値は、２以上の任意の整数であり得るが、好ましくは、２０～６０の範囲内の値、より好ましくは、４０であり得る。Ｎの値は、好ましくは、１歩行周期分のフレーム数（例えば、約３０ｆｐｓの場合約２５～３０フレーム）であり得、より好ましくは、歩行障害を有する被験者の１歩行周期分もカバーできるフレーム数（例えば、約３０ｆｐｓの場合約４０フレーム）であり得る。Ｎの値は、例えば、予測対象の疾患に応じて、変更されるようにしてもよい。
　図４Ａは、生成手段１２２によって、１枚の画像４１から１枚のシルエット画像４３を生成するフローの一例を概略的に図示する。
　まず、生成手段１２２は、受信手段１２１から１枚の画像４１を提供される。
　ステップＳ４０１では、生成手段１２２は、画像４１からシルエット画像４２を生成する。シルエット画像４２は、被験者の各部位が異なる画素値で表された多値画像である。図４Ａに示される例では、シルエット画像４２は、被験者のシルエットにおいて、顔と、頭と、胴体と、脚部と、足先とがそれぞれ異なる画素値で表されている。
　ステップＳ４０２では、生成手段１２２は、シルエット画像４２からシルエット画像４３を生成する。シルエット画像４３は、被験者の全体が同一の画素値で表された２値画像である。生成手段１２２は、シルエット画像４２の被験者のシルエットの異なる画素値を同じ画素値で表すことによって、シルエット画像４３を生成することができる。
　生成手段１２２は、このような処理を複数の画像のそれぞれに対して行うことにより、複数の画像から複数のシルエット画像を生成することができる。複数のシルエット画像が生成されると、例えば、図４Ｂに示されるフローが行われてもよい。
　なお、上述した例では、２値画像であるシルエット画像４３を生成することを説明したが、多値画像であるシルエット画像を生成するようにしてもよい。この場合、ステップＳ４０２が省略され得る。
　図４Ｂは、生成手段１２２によって、複数のシルエット画像４３Ａ～４３Ｃから１枚のシルエット画像を生成するフローの一例を概略的に図示する。ここでは、図４Ａに示されるフローにより、複数のシルエット画像４３Ａ、４３Ｂ、４３Ｃ・・・が生成されているものとする。
　ステップＳ４０３では、生成手段１２２が、複数のシルエット画像４３Ａ、４３Ｂ、４３Ｃ・・・の各々から、被検者のシルエット領域を抽出し、抽出された複数のシルエット領域の各々を正規化する（すなわち、サイズを揃える）ことによって、正規化された複数のシルエット領域４４Ａ、４４Ｂ、４４Ｃ・・・を生成する。本例では、画像中の被験者の身長を基準として正規化が行われている。すなわち、複数のシルエット画像４３Ａ、４３Ｂ、４３Ｃ・・・の各々から抽出された複数のシルエット領域のそれぞれにおいて被験者の身長が同一となるように、抽出された複数のシルエット領域のそれぞれがリサイズされて、正規化された複数のシルエット領域４４Ａ、４４Ｂ、４４Ｃ・・・が生成されている。本例では、縦１２８ピクセル×横８８ピクセルのシルエット領域となるように正規化されている。
　ステップＳ４０４では、生成手段１２２が、正規化された複数のシルエット領域４４Ａ、４４Ｂ、４４Ｃ・・・を平均することによって、１枚のシルエット画像４５を生成する。平均は、正規化された複数のシルエット領域４４Ａ、４４Ｂ、４４Ｃ・・・について、各画素の画素値の平均を取ることによって行われ得る。例えば、シルエット画像４５の第ｉｊの画素の画素値Ｐｉｊは、
Figure JPOXMLDOC01-appb-M000001
 で計算され得る。ここで、ｎは、複数のシルエット領域４４の数であり、ｐｉｊｋは、第ｋのシルエット領域の第ｉｊの画素の画素値であり、０＜ｉ≦縦ピクセル数（本例では、１２８）、０＜ｊ≦横ピクセル数（本例では、８８）である。
　このように、図４Ａおよび図４Ｂに示されるような処理によって、生成手段１２２は、複数の画像から１枚のシルエット画像を生成することができる。生成手段１２２によって生成されたシルエット画像は、推定手段１２３に提供される。
　再び図３Ａを参照して、推定手段１２３は、少なくとも１つのシルエット画像に基づいて、被験者の少なくとも１つの疾患に関する状態を推定するように構成されている。
　推定手段１２３は、例えば、或る疾患の状態として、被験者が或る疾患を有している状態であるか、或る疾患を有していない状態であるかを推定することができる。あるいは、推定手段１２３は、上記に加えてまたは上記に代えて、或る疾患の状態として、被験者が有する或る疾患のレベル（例えば、軽度、中等度、もしくは重度、または、重症度）を推定することができる。重症度は、一例として、頸椎症脊髄症の重症度を表す日本整形外科学会頸椎スコア（頸椎ＪＯＡスコア）で表現され得る。あるいは、推定手段１２３は、上記に加えてまたは上記に代えて、複数の疾患の状態として、被験者が複数の疾患のうちどの疾患を有している状態であるかを推定することができる。
　推定手段１２３によって状態を推定可能な疾患は、代表的に、歩行障害を生じる疾患であり、例えば、歩行障害を生じる運動器疾患、歩行障害を生じる神経筋疾患、歩行障害を生じる循環器疾患、歩行障害を生じる呼吸器疾患を含み得る。より具体的には、疾患は、例えば、頚椎症性脊髄症（ＣＳＭ）、腰部脊柱管狭窄症（ＬＣＳ）、変形性関節症（ＯＡ）、神経炎（ｎｅｕｒｏｐａｔｈｙ）、椎間板ヘルニア、後縦靭帯骨化症（ＯＰＬＬ）、慢性関節リウマチ（ＲＡ）、心不全，水頭症，末梢動脈疾患（ＰＡＤ）、筋炎（ｍｙｏｓｉｔｉｓ）、筋症（ｍｙｏｐａｔｈｙ）、パーキンソン病、筋萎縮性側索硬化症（ＡＬＳ）、脊髄小脳変性症、多系統萎縮症、脳腫瘍、レビー小体型認知症、不顕性骨折、薬物中毒、半月板損傷、靭帯損傷、脊髄梗塞、脊髄炎、脊髄症，化膿性脊椎炎、椎間板炎、外反母趾、慢性閉塞性肺疾患（ＣＯＰＤ）、肥満症、脳梗塞、ロコモティブシンドローム、フレイル、遺伝性痙性対麻痺を含むがこれらに限定されない。特に、推定手段１２３は、頚椎症性脊髄症（ＣＳＭ）、腰部脊柱管狭窄症（ＬＣＳ）、変形性関節症（ＯＡ）、パーキンソン病、慢性関節リウマチ（ＲＡ）、脳梗塞の状態を精度よく推定することが可能である。推定手段１２３はまた、歩行障害を生じる疾患が、どの臓器の疾患に関するものであるかを判別するように構成されていてもよく、そのような判別としては、運動器疾患であるか、神経筋疾患であるか、循環器疾患であるか、呼吸器疾患であるかを判別することを含んでいてもよい。
　推定手段１２３は、任意のアルゴリズムを用いて、被験者の少なくとも１つの疾患に関する状態を推定することができる。推定手段１２３は、例えば、学習済モデルを利用して、被験者の少なくとも１つの疾患に関する状態を推定することができる。学習済モデルは、学習用シルエット画像と、学習用シルエット画像に写る対象の少なくとも１つの疾患に関する状態との関係を学習したモデルである。推定手段１２３は、例えば、少なくとも１つのシルエット画像から取得される特徴量（例えば、被験者の歩行時の輪郭形状（例えば、背中の曲がり方、脚の曲がり方、腕の振り方等）に基づいて、ルールベースで被験者の少なくとも１つの疾患に関する状態を推定することができる。
　学習済モデルは、任意のタイプの機械学習モデルであり得る。機械学習モデルは、例えば、ニューラルネットワークであり得、より具体的には、畳み込みニューラルネットワークであり得る。さらに具体的には、利用される機械学習モデルの例として、ＲｅｓＮｅｔ５０（https://arxiv.org/abs/1512.03385）が挙げられるが、これに限定されない。
　一例において、学習済モデルは、後述するプロセッサ部１４０によって、または図７Ａに示される処理７００によって作成されるモデルであり得る。
　例えば、学習済モデルは、学習用シルエット画像と、学習用シルエット画像に写る対象の少なくとも１つの疾患に関する状態との関係を学習しているので、生成手段１２２によって生成されたシルエット画像を学習済モデルに入力すると、学習済モデルは、シルエット画像に写る被験者の少なくとも１つの疾患に関する状態を出力することができる。出力は、例えば、特定の疾患があることを示すスコアおよびその特定の疾患がないことを示すスコアのうちの一方または両方であり得る。あるいは、出力は、例えば、特定の疾患のレベルを示すスコアであり得る。
　推定手段１２３によって推定された結果は、インターフェース部１１０を介してコンピュータシステム１００の外部に出力され得る。例えば、推定された結果は、インターフェース部１１０を介して被験者の端末装置３００に送信され得る。これにより、被験者は自身の状態を自身の端末装置３００を介して確認することができる。このとき、コンピュータシステム１００が備え得る提供手段が、被験者の状態に応じた治療または介入を被験者に提供するようにしてもよいし、被験者の状態に応じた情報（例えば、行動変容を促す情報、リハビリテーションを支援する情報）を被験者に提供するようにしてもよい。例えば、推定された結果は、インターフェース部１１０を介して医師の端末装置３００に送信され得る。これにより、医師は、推定された結果を被験者の診断に役立てることができる。このとき、例えば、提供手段が、被験者の状態に応じた情報（例えば、推奨される治療または介入の情報、推奨されるリハビリテーションの情報）を医師に提供するようにしてもよい。例えば、推定された結果は、インターフェース部１１０を介してデータベース部２００に送信されて格納され得る。これにより、推定された結果は、後で参照されることができ、あるいは、後で、学習済モデルを更新するためまたは新たな学習済モデルを生成するために利用されることができる。
　一実施形態において、推定手段１２３は、少なくとも１つのシルエット画像に基づいて、被験者の健康に関する状態を推定することができる。上述した疾患に関する状態は、健康に関する状態の一例である。健康に関する状態は、例えば、全身の健康に関する状態、特定の部位に関する状態（例えば、下肢の状態、上肢の状態、内臓の状態）、特定の機能に関する状態（例えば、歩行機能の状態、呼吸機能の状態）を含み得る。健康に関する状態は、良い悪いの２値で表されるようにしてもよいし、レベルまたは健康度等の程度で表されるようにしてもよい。健康に関する状態は、典型的には、歩行能力であり得る。歩行能力は、例えば、歩行年齢として表され得、これは、歩行の状態がどの年齢の水準にあるかを示す数値である。
　推定手段１２３は、任意のアルゴリズムを用いて、被験者の健康に関する状態を推定することができる。推定手段１２３は、例えば、上記と同様に、学習済モデルを利用して、被験者の健康に関する状態を推定することができる。学習済モデルは、学習用シルエット画像と、学習用シルエット画像に写る対象の健康に関する状態との関係を学習したモデルである。推定手段１２３は、例えば、少なくとも１つのシルエット画像から取得される特徴量（例えば、被験者の歩行時の輪郭形状（例えば、背中の曲がり方、脚の曲がり方、腕の振り方等）に基づいて、ルールベースで被験者の健康に関する状態を推定することができる。
　図３Ｂは、別の実施形態におけるプロセッサ部１２０’の構成の一例を示す。
　プロセッサ部１２０’は、抽出手段１２４を備える点を除いて、プロセッサ部１２０と同様の構成を有し得る。図３Ｂでは、図３Ａを参照して上述した構成要素と同様の構成を有する構成要素には同じ参照番号を付し、ここでは詳細な説明を省略する。
　プロセッサ部１２０’は、受信手段１２１と、生成手段１２２と、推定手段１２３’と、抽出手段１２４とを備える。
　受信手段１２１は、被験者が歩行している様子を撮影した複数の画像を受信するように構成されている。受信手段１２１が受信した複数の画像は、生成手段１２２と抽出手段１２４とに提供される。
　生成手段１２２は、被験者が写った画像から被験者のシルエット画像を生成するように構成されている。生成手段１２２によって生成されたシルエット画像は、推定手段１２３’に提供される。
　抽出手段１２４は、被験者が写った複数の画像から、被験者の骨格特徴を抽出するように構成されている。抽出手段１２４は、例えば、受信手段１２１が受信した複数の画像から、被験者の骨格特徴を抽出するように構成されている。抽出手段１２４は、複数の画像のそれぞれから骨格特徴を抽出することにより、骨格特徴の時系列データを生成することができる。抽出手段１２４は、当該技術分野において公知の技術を用いて、骨格特徴を抽出することができる。抽出手段１２４は、例えば、Ｐａｒｔ　Ａｆｆｉｎｉｔｙ　Ｆｉｅｌｄｓと呼ばれる手法を用いて、骨格特徴を抽出することができる。Ｐａｒｔ　Ａｆｆｉｎｉｔｙ　Ｆｉｅｌｄｓによる骨格抽出の手法の具体例として、Ｏｐｅｎｐｏｓｅ（https://arxiv.org/abs/1812.08008）を用いた手法が挙げられるが、これに限定されない。
　抽出手段１２４は、被験者の複数の関節を点（ｋｅｙｐｏｉｎｔ）で表し、点間を接続したグラフ構造として骨格特徴を抽出することができる。グラフ構造は、任意の個数のＫｅｙｐｏｉｎｔを有することができる。
　図５Ａは、抽出手段１２４によって、１枚の画像５１から骨格特徴５２を抽出するフローの一例を概略的に図示する。
　まず、抽出手段１２４は、受信手段１２１から１枚の画像５１を提供される。
　ステップＳ５０１では、抽出手段１２４は、画像５１から、被験者の骨格特徴５２を抽出する。骨格特徴５２は、画像５１に重ね合わせて示されている。このままでは背景情報がノイズとなり得るため、背景情報が除去され得る。
　ステップＳ５０２では、背景情報が除去され、骨格特徴５２のみを有する画像５３が生成される。
　生成手段１２２は、このような処理を複数の画像のそれぞれに対して行うことにより、複数の画像から複数の骨格特徴（または骨格特徴を有する複数の画像）を生成することができる。複数の骨格特徴（または骨格特徴を有する複数の画像）は、時系列骨格特徴データとして、推定手段１２３’に提供される。
　再び図３Ｂを参照して、推定手段１２３’は、シルエット画像と、骨格特徴とに基づいて、被験者の少なくとも１つの疾患を推定することができる。
　推定手段１２３’は、例えば、或る疾患の状態として、被験者が或る疾患を有している状態であるか、或る疾患を有していない状態であるかを推定することができる。あるいは、推定手段１２３’は、上記に加えてまたは上記に代えて、或る疾患の状態として、被験者が有する或る疾患のレベル（例えば、軽度、中等度、もしくは重度、または、重症度）を推定することができる。重症度は、一例として、頸椎症脊髄症の重症度を表す日本整形外科学会頸椎スコア（頸椎ＪＯＡスコア）で表現され得る。
　推定手段１２３’によって状態を推定可能な疾患は、代表的に歩行障害を生じる疾患であり、例えば、歩行障害を生じる運動器疾患、歩行障害を生じる神経筋疾患、歩行障害を生じる循環器疾患、歩行障害を生じる呼吸器疾患を含み得る。より具体的には、疾患は、例えば、頚椎症性脊髄症（ＣＳＭ）、腰部脊柱管狭窄症（ＬＣＳ）、変形性関節症（ＯＡ）、神経炎（ｎｅｕｒｏｐａｔｈｙ）、椎間板ヘルニア、後縦靭帯骨化症（ＯＰＬＬ）、慢性関節リウマチ（ＲＡ）、心不全，水頭症，末梢動脈疾患（ＰＡＤ）、筋炎（ｍｙｏｓｉｔｉｓ）、筋症（ｍｙｏｐａｔｈｙ）、パーキンソン病、筋萎縮性側索硬化症（ＡＬＳ）、脊髄小脳変性症、多系統萎縮症、脳腫瘍、レビー小体型認知症、不顕性骨折、薬物中毒、半月板損傷、靭帯損傷、脊髄梗塞、脊髄炎、脊髄症，化膿性脊椎炎、椎間板炎、外反母趾、慢性閉塞性肺疾患（ＣＯＰＤ）、肥満症、脳梗塞、ロコモティブシンドローム、フレイル、遺伝性痙性対麻痺を含むがこれらに限定されない。また、推定手段１２３’は、歩行障害を生じる疾患が、どの臓器の疾患に関するものであるかを判別するように構成されていてもよく、そのような判別としては、運動器疾患であるか、神経筋疾患であるか、循環器疾患であるか、呼吸器疾患であるかを判別することを含んでいてもよい。特に、推定手段１２３’は、シルエット画像と、骨格特徴とに基づくことにより、腰部脊柱管狭窄症（ＬＣＳ）、頸部における頚椎症性脊髄症（ＣＳＭ）、頚椎後縦靭帯骨化症（ＯＰＬＬ）、椎間板ヘルニアの状態を精度よく推定することができる。
　例えば、推定手段１２３’は、シルエット画像に基づいて被験者の少なくとも１つの疾患に関する状態を推定することの結果と、骨格特徴に基づいて被験者の少なくとも１つの疾患に関する状態を推定することの結果とに基づいて、被験者の少なくとも１つの疾患に関する状態を推定するようにすることができる。推定手段１２３’は、例えば、シルエット画像に基づいて被験者の少なくとも１つの疾患に関する状態を示す第１のスコアを取得し、骨格特徴に基づいて被験者の少なくとも１つの疾患に関する状態を示す第２のスコアを取得し、第１のスコアと第２のスコアとに基づいて、被験者の少なくとも１つの疾患に関する状態を推定するようにすることができる。例えば、第１のスコアが特定の疾患の有無のそれぞれを示し、第２のスコアがその特定の疾患の有無のそれぞれを示す場合、推定手段１２３’は、特定の疾患が有ることを示す第１のスコアと特定の疾患が有ることを示す第２のスコアとの加算値と、特定の疾患が無いことを示す第２のスコアと特定の疾患が無いことを示す第２のスコアとの加算値とを比較することにより、特定の疾患が有るか特定の疾患が無いかを決定することができる。第１のスコアおよび／または第２のスコアは、ｓｏｆｔｍａｘ関数等の所定の関数を適用することによって、０～１の範囲内の値に変換したうえで加算されるようにしてもよい。
　例えば、骨格特徴に基づいて取得される第１のスコアが、疾患有り：３．０、疾患無し：２．０となる場合、ｓｏｆｔｍａｘ関数を適用することによって、疾患有り：０．７３、疾患無し：０．２７となる。シルエット画像に基づいて取得される第２のスコアが、疾患有り：０．４５、疾患無し：０．５５となる場合、第１のスコアと第２のスコアとを加算すると、加算値は、疾患有り：０．７３＋０．４５＝１．１８、疾患無し：０．２７＋０．５５＝０．８２となる。疾患有りのスコアの方が大きいため、被験者の状態は、「疾患有り」であると決定され得る。
　なお、第１のスコアと第２のスコアとを加算するとき、第１のスコアおよび／または第２のスコアに重み付けをしたうえで加算するようにしてもよい。重み付けの程度は、例えば、固定値であってもよいし、変動値であってもよい。変動値である場合には、重み付けの程度は、例えば、被験者の属性によって変更してもよいし、推定する疾患によって変更してもよいし、第１のスコアと第２のスコアとの差に応じて変更してもよいし、他の任意の要因によって変更してもよい。最適な重み付けの程度は、機械学習によって特定されてもよい。
　推定手段１２３’から出力されるスコアは、例えば、既存の疾患指標と相関を有し得、既存の疾患指標に変換されることが可能である。本願の発明者は、一例として、頸椎症脊髄症の被験者のシルエット画像に基づいて出力されるスコアが、頚椎ＪＯＡスコアと相関があり得ることを見出した。このスコアは、頚椎ＪＯＡスコアが１０以上である被験者でより顕著であった。この相関を利用することで、学習済モデルからの出力を頚椎ＪＯＡスコアで表すことも可能である。既知の指標を用いることで、推定手段１２３’からの出力の意味を理解しやすくなる。例えば、受信手段１２１が頚椎ＪＯＡスコアが１０以上である被験者の画像を受信するようにし、頚椎ＪＯＡスコアが１０以上である被験者の画像のみについて処理するようにしてもよい。あるいは、受信手段１２１によって受信された画像から、頚椎ＪＯＡスコアが１０以上である被験者の画像を抽出し、頚椎ＪＯＡスコアが１０以上である被験者の画像のみについて処理するようにしてもよい。
　推定手段１２３’がシルエット画像に基づいて被験者の少なくとも１つの疾患に関する状態を推定することの結果と、骨格特徴に基づいて被験者の少なくとも１つの疾患に関する状態を推定することの結果とに基づいて、被験者の状態を推定する場合、推定手段１２３’は、シルエット画像に基づいた推定のために第１の学習済モデルを用い、骨格特徴に基づいた推定のために第２の学習済モデルを用いることができる。
　推定手段１２３’は、例えば、第１の学習済モデルを利用して、被験者の少なくとも１つの疾患に関する状態を推定することができる。第１の学習済モデルは、学習用シルエット画像と、学習用シルエット画像に写る対象の少なくとも１つの疾患に関する状態との関係を学習したモデルである。
　第１の学習済モデルは、任意のタイプの機械学習モデルであり得る。機械学習モデルは、例えば、ニューラルネットワークであり得、より具体的には、畳み込みニューラルネットワークであり得る。さらに具体的には、利用される機械学習モデルの例として、ＲｅｓＮｅｔ５０（https://arxiv.org/abs/1512.03385）が挙げられるが、これに限定されない。
　一例において、第１の学習済モデルは、後述するプロセッサ部１４０もしくはプロセッサ部１４０’によって、または図７Ａもしくは図７Ｂに示される処理７００もしくは処理７１０によって作成されるモデルであり得る。
　例えば、第１の学習済モデルは、学習用シルエット画像と、学習用シルエット画像に写る対象の少なくとも１つの疾患に関する状態との関係を学習しているので、生成手段１２２によって生成されたシルエット画像を学習済モデルに入力すると、学習済モデルは、シルエット画像に写る被験者の少なくとも１つの疾患に関する状態を出力することができる。出力は、例えば、特定の疾患があることを示すスコアおよびその特定の疾患がないことを示すスコアのうちの一方または両方（例えば、上述した第１のスコア）であり得る。あるいは、出力は、例えば、特定の疾患のレベルを示すスコアであり得る。
　推定手段１２３’は、例えば、第２の学習済モデルを利用して、被験者の少なくとも１つの疾患に関する状態を推定することができる。第２の学習済モデルは、学習用骨格特徴と、学習用骨格特徴が取得された対象の少なくとも１つの疾患に関する状態との関係を学習したモデルである。
　第２の学習済モデルは、任意のタイプの機械学習モデルであり得る。機械学習モデルは、例えば、ニューラルネットワークであり得、より具体的には、畳み込みニューラルネットワークであり得る。さらに具体的には、利用される機械学習モデルの例として、Ｓｐａｔｉａｌ　Ｔｅｍｐｏｒａｌ　Ｇｒａｐｈ　Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｔｗｏｒｋ（ＳＴ－ＧＣＮ）、ＭＳ－Ｇ３Ｄ（https://arxiv.org/pdf/2003.14111.pdf）等が挙げられるが、これに限定されない。
　一例において、第２の学習済モデルは、後述するプロセッサ部１４０’によってまたは図７Ｂに示される処理７１０によって作成されるモデルであり得る。
　例えば、第２の学習済モデルは、学習用骨格特徴と、学習用骨格特徴が取得された対象の少なくとも１つの疾患に関する状態との関係を学習しているので、抽出手段１２２によって抽出された骨格特徴を学習済モデルに入力すると、学習済モデルは、骨格特徴が抽出された被験者の少なくとも１つの疾患に関する状態を出力することができる。出力は、例えば、特定の疾患があることを示すスコアおよびその特定の疾患がないことを示すスコアのうちの一方または両方（例えば、上述した第２のスコア）であり得る。あるいは、出力は、例えば、特定の疾患のレベルを示すスコアであり得る。
　なお、上述した例では、シルエット画像と骨格特徴とを独立して用いて被験者の少なくとも１つの疾患に関する状態を推定することを説明したが、本開示はこれに限定されない、シルエット画像と骨格特徴とを相互に関連させて処理することにより、被験者の少なくとも１つの疾患に関する状態を推定することも本開示の範囲内である。
　一例において、学習用シルエット画像と、学習用骨格特徴と、学習用シルエット画像に写り、かつ学習用骨格特徴が抽出された対象の少なくとも１つの疾患に関する状態との関係を学習した学習済モデルを利用して、被験者の少なくとも１つの疾患に関する状態を推定することができる。例えば、このような学習済モデルに被験者のシルエット画像と骨格特徴とを入力すると、被験者の少なくとも１つの疾患に関する状態が推定されて出力され得る。
　別の例において、被験者のシルエット画像に対して、その被験者の骨格特徴または骨格特徴から取得されるスコアに基づいた前処理を行ったうえで、前処理されたシルエット画像を学習済モデルに入力するようにしてもよい。前処理は、任意の処理であり得る。
　別の例において、被験者の骨格特徴に対して、その被験者のシルエット画像またはシルエット画像から取得されるスコアに基づいた前処理を行ったうえで、前処理されたシルエット画像を学習済モデルに入力するようにしてもよい。前処理は、任意の処理であり得る。
　推定手段１２３’は同様の処理により、被験者の健康に関する状態を推定することができる。上述した疾患に関する状態は、健康に関する状態の一例である。健康に関する状態は、例えば、全身の健康に関する状態、特定の部位に関する状態（例えば、下肢の状態、上肢の状態、内臓の状態）、特定の機能に関する状態（例えば、歩行機能の状態、呼吸機能の状態）を含み得る。健康に関する状態は、良い悪いの２値で表されるようにしてもよいし、レベルまたは健康度等の程度で表されるようにしてもよい。健康に関する状態は、典型的には、歩行年齢として表され得る歩行能力であり得る。
　推定手段１２３’によって推定された結果は、インターフェース部１１０を介してコンピュータシステム１００の外部に出力され得る。例えば、推定された結果は、インターフェース部１１０を介して被験者の端末装置３００に送信され得る。これにより、被験者は自身の状態を自身の端末装置３００を介して確認することができる。例えば、推定された結果は、インターフェース部１１０を介して医師の端末装置３００に送信され得る。これにより、医師は、推定された結果を被験者の診断に役立てることができる。例えば、推定された結果は、インターフェース部１１０を介してデータベース部２００に送信されて格納され得る。これにより、推定された結果は、後で参照されることができ、あるいは、後で、学習済モデルを更新するためまたは新たな学習済モデルを生成するために利用されることができる。
　図３Ｃは、別の実施形態におけるプロセッサ部１２０’’の構成の一例を示す。
　プロセッサ部１２０’’は、分析手段１２５と、修正手段１２６とを備える点を除いて、プロセッサ部１２０と同様の構成を有し得る。図３Ｃでは、図３Ａを参照して上述した構成要素と同様の構成を有する構成要素には同じ参照番号を付し、ここでは詳細な説明を省略する。なお、プロセッサ部１２０’’プロセッサ部１２０’’は、分析手段１２５と、修正手段１２６とを備える点を除いて、プロセッサ部１２０’と同様の構成を有するようにしてもよい。
　プロセッサ部１２０’’は、受信手段１２１と、生成手段１２２と、推定手段１２３と、分析手段１２５と、修正手段１２６とを備える。
　受信手段１２１は、被験者が歩行している様子を撮影した複数の画像を受信するように構成されている。受信手段１２１が受信した複数の画像は、生成手段１２２と抽出手段１２４とに提供される。
　生成手段１２２は、被験者が写った画像から被験者のシルエット画像を生成するように構成されている。生成手段１２２によって生成されたシルエット画像は、推定手段１２３’に提供される。
　推定手段１２３は、少なくとも１つのシルエット画像に基づいて、被験者の少なくとも１つの疾患に関する状態を推定するように構成されている。推定手段１２３による推定結果は、分析手段１２５に渡されることができる。
　分析手段１２５は、推定手段１２３による推定の結果を分析するように構成されている。例えば、分析手段１２５は、推定手段１２３が、生成手段１２２によって生成されたシルエット画像中のどの領域に注目して推定を行ったかの判断根拠を特定することができる。すなわち、推定手段１２３による推定の結果に相対的に大きく寄与する関心領域を特定することができる。
　分析手段１２５は、当該技術分野で公知の手法を用いて、推定の判断根拠を特定することができる。分析手段１２５は、例えば、Ｇｒａｄ－ＣＡＭ、Ｇｒａｄ－ＣＡＭ＋＋、Ｓｃｏｒｅ－ＣＡＭ等のアルゴリズムを用いて、推定の判断根拠を特定することができる。分析手段１２５は、好ましくは、Ｓｃｏｒｅ－ＣＡＭを用いて、推定の判断根拠を特定することができる。Ｓｃｏｒｅ－ＣＡＭでは、推定に用いられた画像において、どの領域に注目して推定がなされたかを可視化することができるアルゴリズムであり、これにより、推定の結果に相対的に大きく寄与する関心領域を可視的に特定することができる。Ｓｃｏｒｅ－ＣＡＭでは、例えば、推定における注目度の違いがヒートマップで出力される。
　分析手段１２５によって特定された判断根拠に基づいて、注目度が高い領域（関心領域）が推定により寄与するように、および／または、注目度が低い領域が推定にあまり寄与しないように、推定手段１２３のアルゴリズムを修正することにより、推定手段１２３の推定の精度を高めることができる可能性がある。また、通常医師が行っている診断では注目していない部位に注目することができる可能性があり、推定精度の向上が期待できる。
　修正手段１２６は、分析手段１２５によって特定された判断根拠に基づいて、推定手段１２３のアルゴリズムを修正するように構成されている。例えば、修正手段１２６は、注目度が高い領域（関心領域）が推定により寄与するように、および／または、注目度が低い領域が推定にあまり寄与しないように、推定手段１２３のアルゴリズムを修正することができる。例えば、推定手段１２３が学習済モデルを利用する場合、修正手段１２６は、関心領域が推定により寄与するように、学習済モデルを修正することができる。例えば、修正手段１２６は、学習済モデルの構造を修正する、または、学習済モデルの重み付けを修正する等によって学習済モデルを修正することができる。例えば、推定手段１２３がルールベースの推定を行う場合、修正手段１２６は、関心領域が推定により寄与するように、ルールを修正することができる。
　例えば、プロセッサ部１２０’’がプロセッサ部１２０’と同様の構成を有する場合、分析手段１２５は、推定手段１２３が、抽出手段によって抽出された中のどの部位に注目して推定を行ったかの判断根拠を特定することができる。すなわち、推定手段１２３による推定の結果に相対的に大きく寄与する関心部位（関節可動域）を特定することができる。
　図５Ｂは、分析手段１２５によって特定された判断根拠の一例を示す。推定における注目度がヒートマップで示されている。図５Ｂに示されるヒートマップでは、平均シルエット画像の輪郭がヒートマップ上に重ねて示されている。
　例えば、健常者のシルエット画像に基づいて、推定手段１２３が少なくとも１つの疾患に関する状態を推定した場合の結果を分析手段１２５が分析すると、図５Ｂ（ａ）に示されるようなヒートマップが得られ得る。このヒートマップから、推定手段１２３が健常者のシルエット画像に基づいて推定を行う場合、脚や上半身を中心に、全体をぼんやり注目していることが分かる。
　例えば、頸椎疾患を有する被験者のシルエット画像に基づいて、推定手段１２３が少なくとも１つの疾患に関する状態を推定した場合の結果を分析手段１２５が分析すると、図５Ｂ（ｂ）に示されるようなヒートマップが得られ得る。このヒートマップから、推定手段１２３が頸椎疾患を有する被験者のシルエット画像に基づいて推定を行う場合、下半身に重点的に注目し、手にも注目していることが分かる。
　例えば、腰椎疾患を有する被験者のシルエット画像に基づいて、推定手段１２３が少なくとも１つの疾患に関する状態を推定した場合の結果を分析手段１２５が分析すると、図５Ｂ（ｃ）に示されるようなヒートマップが得られ得る。このヒートマップから、推定手段１２３が腰椎疾患を有する被験者のシルエット画像に基づいて推定を行う場合、下半身から背中に重点的に注目していることが分かる。
　これらの結果に基づいて、推定手段１２３のアルゴリズムを修正することで、推定手段１２３の精度の向上が期待できる。例えば、頸椎疾患の有無を推定する場合、下半身に重点的に注目し、手にも注目するように、アルゴリズムを修正することで、推定手段１２３の精度の向上が期待できる。例えば、頸椎疾患の有無を推定する場合、下半身から背中に注目するように、アルゴリズムを修正することで、推定手段１２３の精度の向上が期待できる。
　推定手段１２３は、修正されたアルゴリズムを用いて、推定を行うことができる。推定手段１２３によって推定された結果は、インターフェース部１１０を介してコンピュータシステム１００の外部に出力され得る。
　コンピュータシステム１００は、上述したプロセッサ部１２０またはプロセッサ部１２０’またはプロセッサ部１２０’’に加えて、またはプロセッサ部１２０またはプロセッサ部１２０’またはプロセッサ部１２０’’に代えて、プロセッサ部１４０またはプロセッサ部１４０’を備えることができる。プロセッサ部１４０またはプロセッサ部１４０’は、上述した推定手段１２３または推定手段１２３’において利用される学習済モデルを作成するための処理を行うことができる。コンピュータシステム１００が上述したプロセッサ部１２０またはプロセッサ部１２０’に加えてプロセッサ部１４０またはプロセッサ部１４０’を備える場合には、プロセッサ部１４０またはプロセッサ部１４０’は、プロセッサ部１２０またはプロセッサ部１２０’またはプロセッサ部１２０’’と同じ構成要素として実装されてもよいし、別の構成要素として実装されてもよい。
　図３Ｄは、一実施形態におけるプロセッサ部１４０の構成の一例を示す。
　プロセッサ部１４０は、受信手段１４１と、生成手段１４２と、学習手段１４３とを備える。
　受信手段１４１は、複数の対象のうちの各対象について、その対象が歩行する様子を撮影した複数の画像を受信するように構成されている。受信手段１４１は、コンピュータシステム１００の外部からインターフェース部１１０を介して複数の画像を受信することができる。複数の対象のうちの各対象についての複数の画像は、例えば、各対象の端末装置からコンピュータシステム１００に送信されたものであってもよいし、データベース部２００に格納されたものであって、データベース部２００からコンピュータシステム１００に送信されたものであってもよい。
　複数の画像は、例えば、静止画を連写することによって撮影された複数の画像であってもよいし、動画を構成する複数のフレームであってもよい。複数の画像は、任意のフレームレートを有し得るが、フレームレートは、好ましくは、２０ｆｐｓ～６０ｆｐｓ、より好ましくは、３０ｆｐｓであり得る。
　受信手段１４１はさらに、複数の対象のうちの各対象について、少なくとも１つの疾患に関する状態を示す情報を受信することができる。
　受信手段１４１が受信した複数の画像は、生成手段１４２に提供される。受信手段１４１が受信した少なくとも１つの疾患に関する状態を示す情報は、学習手段１４３に提供される。
　生成手段１４２は、対象が写った画像から対象のシルエット画像を生成するように構成されている。生成手段１２２と同一の構成を有し、同一の処理を行うことができる。ここでは、説明を省略する。
　生成手段１４２によって生成されたシルエット画像は、学習手段１４３に提供される。
　学習手段１４３は、対象の少なくとも１つのシルエット画像を入力用教師データとし、対象の少なくとも１つの疾患に関する状態を出力用教師データとして、機械学習モデルに学習させるように構成されている。出力用教師データは、疾患の有無を示す値、または、疾患の程度を示すスコアであり得る。疾患の有無を示す値は、例えば、１次元の値（例えば、疾患無しを意味する０、疾患有りを意味する１）であってもよいし、２次元の値（例えば、疾患無しを意味する（１，０）、疾患有りを意味する（０，１）、第１の疾患有りかつ第２の疾患有りを意味する（１，１）、第１の疾患無しかつ第２の疾患無しを意味する（０，０）等）であってもよいし、３次元以上の値であってもよい。
　一例において、入力用教師データと出力用教師データとの組は、（第１の対象の少なくとも１つのシルエット画像，第１の対象の特定の疾患の有無を示す値）、（第２の対象の少なくとも１つのシルエット画像，第２の対象の特定の疾患の有無を示す値）、・・・（第ｎの対象の少なくとも１つのシルエット画像，第ｎの対象の特定の疾患の有無を示す値）であり得る。このような組を用いて学習させた学習済モデルは、シルエット画像を入力されると、そのシルエット画像に写る被験者の特定の疾患の有無を示す値を出力することができる。
　別の例において、入力用教師データと出力用教師データとの組は、（第１の対象の少なくとも１つのシルエット画像，第１の対象の特定の疾患の程度を示すスコア）、（第２の対象の少なくとも１つのシルエット画像，第２の対象の特定の疾患の程度を示すスコア）、・・・（第ｎの対象の少なくとも１つのシルエット画像，第ｎの対象の特定の疾患の程度を示すスコア）であり得る。このような組を用いて学習させた学習済モデルは、シルエット画像を入力されると、そのシルエット画像に写る被験者の特定の疾患の程度を示すスコアを出力することができる。
　このようにして作成された学習済モデルは、プロセッサ部１２０またはプロセッサ部１２０’で利用され得る。また、このようにして作成された学習済モデルのパラメータは、データベース部２００または他の記憶媒体に格納されることができる。
　図３Ｅは、別の実施形態におけるプロセッサ部１４０’の構成の一例を示す。
　プロセッサ部１４０’は、抽出手段１４４を備える点を除いて、プロセッサ部１４０と同様の構成を有し得る。図３Ｅでは、図３Ｄを参照して上述した構成要素と同様の構成を有する構成要素には同じ参照番号を付し、個々では詳細な説明を省略する。
　プロセッサ部１４０’は、受信手段１４１と、生成手段１４２と、学習手段１４３’と、抽出手段１４４とを備える。
　受信手段１４１は、複数の対象のうちの各対象について、その対象が歩行する様子を撮影した複数の画像を受信するように構成されている。また、受信手段１４１はさらに、複数の対象のうちの各対象について、少なくとも１つの疾患に関する状態を示す情報を受信することができる。受信手段１４１が受信した複数の画像は、生成手段１４２と抽出手段１４４とに提供される。少なくとも１つの疾患に関する状態を示す情報は、学習手段１４３’に提供される。
　生成手段１４２は、対象が写った画像から対象のシルエット画像を生成するように構成されている。生成手段１４２によって生成されたシルエット画像は、学習手段１４３’に提供される。
　抽出手段１４４は、対象が写った複数の画像から、対象の骨格特徴を抽出するように構成されている。抽出手段１４４は、抽出手段１２４と同一の構成を有し、同一の処理を行うことができる。ここでは、説明を省略する。抽出手段１４４によって抽出された骨格特徴は、学習手段１４３’に提供される。
　学習手段１４３は、対象の少なくとも１つのシルエット画像および骨格特徴を機械学習モデルに学習させるように構成されている。例えば、学習手段１４３は、対象の少なくとも１つのシルエット画像を入力用教師データとし、対象の少なくとも１つの疾患に関する状態を出力用教師データとして、第１の機械学習モデルに学習させ、対象の骨格特徴を入力用教師データとし、対象の少なくとも１つの疾患に関する状態を出力用教師データとして、第２の機械学習モデルに学習させるようにすることができる。あるいは、例えば、学習手段１４３は、対象の少なくとも１つのシルエット画像および骨格特徴を入力用教師データとし、対象の少なくとも１つの疾患に関する状態を出力用教師データとして、機械学習モデルに学習させることができる。
　出力用教師データは、疾患の有無を示す値、または、疾患の程度を示すスコアであり得る。疾患の有無を示す値は、例えば、１次元の値（例えば、疾患無しを意味する０、疾患有りを意味する１）であってもよいし、２次元の値（例えば、疾患無しを意味する（１，０）、疾患有りを意味する（０，１）、第１の疾患有りかつ第２の疾患有りを意味する（１，１）、第１の疾患無しかつ第２の疾患無しを意味する（０，０）等）であってもよいし、３次元以上の値であってもよい。
　例えば、対象の少なくとも１つのシルエット画像を入力用教師データとし、対象の少なくとも１つの疾患に関する状態を出力用教師データとして、第１の機械学習モデルに学習させる場合、入力用教師データと出力用教師データとの組は、（第１の対象の少なくとも１つのシルエット画像，第１の対象の特定の疾患の有無を示す値）、（第２の対象の少なくとも１つのシルエット画像，第２の対象の特定の疾患の有無を示す値）、・・・（第ｎの対象の少なくとも１つのシルエット画像，第ｎの対象の特定の疾患の有無を示す値）であり得る。このような組を用いて学習させた第１の学習済モデルは、シルエット画像を入力されると、そのシルエット画像に写る被験者の特定の疾患の有無を示す値を出力することができる。
　別の例において、入力用教師データと出力用教師データとの組は、（第１の対象の少なくとも１つのシルエット画像，第１の対象の特定の疾患の程度を示すスコア）、（第２の対象の少なくとも１つのシルエット画像，第２の対象の特定の疾患の程度を示すスコア）、・・・（第ｎの対象の少なくとも１つのシルエット画像，第ｎの対象の特定の疾患の程度を示すスコア）であり得る。このような組を用いて学習させた第１の学習済モデルは、シルエット画像を入力されると、そのシルエット画像に写る被験者の特定の疾患の程度を示すスコアを出力することができる。
　別の例において、入力用教師データと出力用教師データとの組は、（第１の対象の少なくとも１つのシルエット画像，（第１の対象の第１の疾患の有無を示す値，第１の対象の第２の疾患の有無を示す値，・・・第１の対象の第ｍの疾患の有無を示す値））、（第２の対象の少なくとも１つのシルエット画像，（第２の対象の第１の疾患の有無を示す値，第２の対象の第２の疾患の有無を示す値，・・・第２の対象の第ｍの疾患の有無を示す値））、・・・（第ｎの対象の少なくとも１つのシルエット画像，（第ｎの対象の第１の疾患の有無を示す値，第ｎの対象の第２の疾患の有無を示す値，・・・第ｎの対象の第ｍの疾患の有無を示す値））であり得る。このような組を用いて学習させた第１の学習済モデルは、シルエット画像を入力されると、そのシルエット画像に写る被験者の第１の疾患の有無を示す値、第２の疾患の有無を示す値、・・・第ｍの疾患の有無を示す値のそれぞれを出力することができる。これにより、被験者が、複数の疾患のうちのどの疾患を有しているかを推定することができる。これは、歩行障害を生じる疾患が、どの臓器の疾患に関するものであるかの判別に役立ち得、例えば、被験者が有し得る疾患が、運動器疾患であるか、神経筋疾患であるか、循環器疾患であるか、呼吸器疾患であるかを判別することに役立ち、例えば、被験者が最初に受診すべき診療科の判断に役立ち得る。
　例えば、対象の骨格特徴を入力用教師データとし、対象の少なくとも１つの疾患に関する状態を出力用教師データとして、第２の機械学習モデルに学習させる場合、入力用教師データと出力用教師データとの組は、（第１の対象の骨格特徴，第１の対象の特定の疾患の有無を示す値）、（第２の対象の骨格特徴，第２の対象の特定の疾患の有無を示す値）、・・・（第ｎの対象の骨格特徴，第ｎの対象の特定の疾患の有無を示す値）であり得る。このような組を用いて学習させた第２の学習済モデルは、骨格特徴を入力されると、その骨格特徴が取得された被験者の特定の疾患の有無を示す値を出力することができる。
　別の例において、入力用教師データと出力用教師データとの組は、（第１の対象の骨格特徴，第１の対象の特定の疾患の程度を示すスコア）、（第２の対象の骨格特徴，第２の対象の特定の疾患の程度を示すスコア）、・・・（第ｎの対象の骨格特徴，第ｎの対象の特定の疾患の程度を示すスコア）であり得る。このような組を用いて学習させた第２の学習済モデルは、骨格特徴を入力されると、その骨格特徴が取得された被験者の特定の疾患の程度を示すスコアを出力することができる。
　別の例において、入力用教師データと出力用教師データとの組は、（第１の対象の骨格特徴，（第１の対象の第１の疾患の有無を示す値，第１の対象の第２の疾患の有無を示す値，・・・第１の対象の第ｍの疾患の有無を示す値））、（第２の対象の骨格特徴，（第２の対象の第１の疾患の有無を示す値，第２の対象の第２の疾患の有無を示す値，・・・第２の対象の第ｍの疾患の有無を示す値））、・・・（第ｎの対象の骨格特徴，（第ｎの対象の第１の疾患の有無を示す値，第ｎの対象の第２の疾患の有無を示す値，・・・第ｎの対象の第ｍの疾患の有無を示す値））であり得る。このような組を用いて学習させた第２の学習済モデルは、骨格特徴を入力されると、その骨格特徴が取得された被験者の第１の疾患の有無を示す値、第２の疾患の有無を示す値、・・・第ｍの疾患の有無を示す値のそれぞれを出力することができる。これにより、被験者が、複数の疾患のうちのどの疾患を有しているかを推定することができる。これは、歩行障害を生じる疾患が、どの臓器の疾患に関するものであるかの判別に役立ち得、例えば、被験者が有し得る疾患が、運動器疾患であるか、神経筋疾患であるか、循環器疾患であるか、呼吸器疾患であるかを判別することに役立ち、例えば、被験者が最初に受診すべき診療科の判断に役立ち得る。
　例えば、対象の少なくとも１つのシルエット画像および骨格特徴を入力用教師データとし、対象の少なくとも１つの疾患に関する状態を出力用教師データとして、機械学習モデルに学習させる場合、入力用教師データと出力用教師データとの組は、（第１の対象の少なくとも１つのシルエット画像および骨格特徴，第１の対象の特定の疾患の有無を示す値）、（第２の対象の少なくとも１つのシルエット画像および骨格特徴，第２の対象の特定の疾患の有無を示す値）、・・・（第ｎの対象の少なくとも１つのシルエット画像および骨格特徴，第ｎの対象の特定の疾患の有無を示す値）であり得る。このような組を用いて学習させた学習済モデルは、シルエット画像および骨格特徴を入力されると、そのシルエット画像に写り、かつその骨格特徴が取得された被験者の特定の疾患の有無を示す値を出力することができる。
　別の例において、入力用教師データと出力用教師データとの組は、（第１の対象の少なくとも１つのシルエット画像および骨格特徴，第１の対象の特定の疾患の程度を示すスコア）、（第２の対象の少なくとも１つのシルエット画像および骨格特徴，第２の対象の特定の疾患の程度を示すスコア）、・・・（第ｎの対象の少なくとも１つのシルエット画像および骨格特徴，第ｎの対象の特定の疾患の程度を示すスコア）であり得る。このような組を用いて学習させた学習済モデルは、シルエット画像および骨格特徴を入力されると、そのシルエット画像に写り、かつその骨格特徴が取得された被験者の特定の疾患の程度を示すスコアを出力することができる。
　別の例において、入力用教師データと出力用教師データとの組は、（第１の対象の少なくとも１つのシルエット画像および骨格特徴，（第１の対象の第１の疾患の有無を示す値，第１の対象の第２の疾患の有無を示す値，・・・第１の対象の第ｍの疾患の有無を示す値））、（第２の対象の少なくとも１つのシルエット画像および骨格特徴，（第２の対象の第１の疾患の有無を示す値，第２の対象の第２の疾患の有無を示す値，・・・第２の対象の第ｍの疾患の有無を示す値））、・・・（第ｎの対象の少なくとも１つのシルエット画像および骨格特徴，（第ｎの対象の第１の疾患の有無を示す値，第ｎの対象の第２の疾患の有無を示す値，・・・第ｎの対象の第ｍの疾患の有無を示す値））であり得る。このような組を用いて学習させた学習済モデルは、シルエット画像および骨格特徴を入力されると、そのシルエット画像に写り、かつその骨格特徴が取得された被験者の第１の疾患の有無を示す値、第２の疾患の有無を示す値、・・・第ｍの疾患の有無を示す値のそれぞれを出力することができる。これにより、被験者が、複数の疾患のうちのどの疾患を有しているかを推定することができる。これは、歩行障害を生じる疾患が、どの臓器の疾患に関するものであるかの判別に役立ち得、例えば、被験者が有し得る疾患が、運動器疾患であるか、神経筋疾患であるか、循環器疾患であるか、呼吸器疾患であるかを判別することに役立ち、例えば、被験者が最初に受診すべき診療科の判断に役立ち得る。
　このようにして作成された学習済モデルは、プロセッサ部１２０’で利用され得る。また、このようにして作成された学習済モデルのパラメータは、データベース部２００に格納されることができる。
　なお、上述したコンピュータシステム１００の各構成要素は、単一のハードウェア部品で構成されていてもよいし、複数のハードウェア部品で構成されていてもよい。複数のハードウェア部品で構成される場合は、各ハードウェア部品が接続される態様は問わない。各ハードウェア部品は、無線で接続されてもよいし、有線で接続されてもよい。本発明のコンピュータシステム１００は、特定のハードウェア構成には限定されない。プロセッサ部１２０、１２０’、１４０、１４０’をデジタル回路ではなくアナログ回路によって構成することも本発明の範囲内である。本発明のコンピュータシステム１００の構成は、その機能を実現できる限りにおいて上述したものに限定されない。
　３．被験者の状態を推定するためのコンピュータシステムによる処理
　図６Ａは、被験者の状態を推定するためのコンピュータシステム１００による処理の一例（処理６００）を示すフローチャートである。処理６００は、コンピュータシステム１００のプロセッサ部１２０によって実行される。処理６００は、被験者が歩行する様子を撮影した複数の画像から生成されたシルエット画像に基づいて、被験者の状態を推定するための処理である。被験者の状態は、健康に関する状態であり得、健康に関する状態は、少なくとも１つの疾患に関する状態を含む。以下では、疾患に関する状態を推定することを例に説明するが、以下の処理は、他の健康に関する状態を推定する（例えば、歩行能力を推定する、健康度を推定する）ためにも同様に適用されることが理解される。本明細書において、疾患に関する状態は、対象が実際に疾患に罹患していない場合の状態も含み（「未病」ともいう。）、１つの実施例では疾患に関する状態は、対象が実際に疾患に罹患している状態のみを含んでいてもよい。したがって、健康に関する状態は、疾患に関する状態および疾患に関する状態以外の状態を含み、そのいずれかまたは両方を含んでいてもよい。
　ステップＳ６０１では、プロセッサ部１２０の受信手段１２１が、被験者が歩行している様子を撮影した複数の画像を受信する。受信手段１２１が受信した複数の画像は、生成手段１２２に提供される
　ステップＳ６０２では、プロセッサ部１２０の生成手段１２２が、ステップＳ６０１で受信された複数の画像から、被験者の少なくとも１つのシルエット画像を生成する。生成手段１２２は、当該技術分野において公知の技術を用いて、シルエット画像を生成することができる。生成手段１２２は、複数の画像から複数のシルエット画像を生成することができ、好ましくは、複数の画像から１つのシルエット画像を生成することができる。
　生成手段１２２は、例えば、複数の画像から複数のシルエット領域を抽出し、抽出された複数のシルエット領域を正規化し、正規化された複数のシルエット領域を平均することによって、少なくとも１つのシルエット画像を生成することができる。複数のシルエット画像を平均することによって、利用されるシルエット画像の情報量を有意に損なうことなく、データ量を削減することができる。
　ステップＳ６０３では、プロセッサ部１２０の推定手段１２３が、ステップＳ６０２で生成された少なくとも１つのシルエット画像に基づいて、被験者の疾患に関する状態を推定する。推定手段１２３は、例えば、学習済モデルを利用して、被験者の少なくとも１つの疾患に関する状態を推定することができる。学習済モデルは、プロセッサ部１４０によって、または図７Ａに示される処理７００によって作成されるモデルであり得る。
　処理６００によって推定された結果は、インターフェース部１１０を介してコンピュータシステム１００の外部に出力され得る。例えば、推定された結果は、インターフェース部１１０を介して被験者の端末装置３００に送信され得る。これにより、被験者は自身の状態を自身の端末装置３００を介して確認することができる。このとき、例えば、被験者の状態に応じた治療または介入を被験者に提供するようにしてもよいし、被験者の状態に応じた情報（例えば、行動変容を促す情報、リハビリテーションを支援する情報）を被験者に提供するようにしてもよい。例えば、推定された結果は、インターフェース部１１０を介して医師の端末装置３００に送信され得る。これにより、医師は、推定された結果を被験者の診断に役立てることができる。このとき、例えば、被験者の状態に応じた情報（例えば、推奨される治療または介入の情報、推奨されるリハビリテーションの情報）を医師に提供するようにしてもよい。例えば、推定された結果は、インターフェース部１１０を介してデータベース部２００に送信されて格納され得る。これにより、推定された結果は、後で参照されることができ、あるいは、後で、学習済モデルを更新するためまたは新たな学習済モデルを生成するために利用されることができる。
　（コンパニオン医療）
　本開示は、ある局面で、被験者の健康状態、障害または疾患の状態を推定することによって、その被験者の健康状態、障害または疾患を治療、予防、または改善する方法等を提供する。この局面の一つでは、本開示は、被験者の健康状態、障害または疾患を治療、予防、または改善する方法を提供し、この方法は（Ａ）被験者が歩行する様子を撮影した複数の画像を受信することと、（Ｂ）前記複数の画像から前記被験者の少なくとも１つのシルエット画像を生成することと、（Ｃ）少なくとも前記少なくとも１つのシルエット画像に基づいて、前記被験者の健康に関する状態を推定することと、（Ｄ）前記被験者の健康に関する状態に基づいて、前記被験者に施すべき治療、予防、または改善のための方法を算出することと、（Ｅ）前記被験者に、前記治療、予防、または改善のための方法を施すことと、（Ｆ）必要に応じて（Ａ）から（Ｅ）を繰り返すことと、を含む。
　このような予防、または改善のための方法は、クリニックなどの既存の医療施設でなされてもよく、在宅医療で実現されてもよく、遠隔医療でおこなわれてもよいし、未病状態の場合は、例えばスポーツジム、ショッピングセンターなどでなされてもよく、スマートフォンアプリなどの携帯端末やウェアラブルデバイスに実装されてもよい。
　本明細書において、治療、介入、予防、または改善のための方法は、例えば、以下のうちの少なくとも１つを含むことができる。
・保存的治療
・投薬医療
　・患者教育および生活指導：例えば、運動を含んだ自己管理プログラムの指導、食事指導、運動指導、講義または討議形式での患者教育、運動教室、膝日記（運動の有無、痛みの程度）、生活指導
　・減量療法
　・運動療法：例えば、筋力増強運動（等速性筋力増強運動、静的ストレッチ＋等速性運動、固有受容器神経筋促通（ＰＮＦ）ストレッチ＋等速性運動）、有酸素運動、ストレチングおよび関節可動域運動、協調性運動（足部巧緻動作向上トレーニング、バランス運動、スリングサスペンションを用いた運動感覚トレーニング、コンピュータを使用した足部巧緻動作向上トレーニング（ｔａｒｇｅｔ－ｍａｔｃｈｉｎｇ　ｆｏｏｔ－ｓｔｅｐｐｉｎｇ　ｅｘｅｒｃｉｓｅ））、振動刺激療法（ｖｉｂｒａｔｉｏｎ　ｅｘｅｒｃｉｓｅ）
　・徒手療法（Ｍａｃｑｕａｉｒｅ　ｉｎｊｕｒｙ　ｍａｎａｇｅｍｅｎｔ　ｇｒｏｕｐ　ｋｎｅｅ　ｐｒｏｔｏｃｏｌ）
　・足底挿板療法
　・装具療法
　・テーピング：例えば、疼痛に関するテーピング、機能障害に関するテーピング
　・物理療法：例えば、超音波療法（ｕｌｔｒａｓｏｕｎｄ）、温泉療法（ｓｐａ　ｔｈｅｒａｐｙ）、ＴＥＮＳ　療法（ｔｒａｎｓｃｕｔａｎｅｏｕｓ　ｅｌｅｃｔｒｉｃａｌ　ｎｅｒｖｅ　ｓｔｉｍｕｌａｔｉｏｎ：　ＴＥＮＳ）、ｆｕｎｃｔｉｏｎａｌ　ｅｌｅｃｔｏｒｉｃａｌ　ｓｔｉｍｕｌａｔｉｏｎ（ＦＥＳ）、水治療法（ｈｙｄｒｏｔｈｅｒａｐｙ）、ホットパック（ｈｏｔ　ｐａｃｋ）、磁気刺激療法（ｂｉｏｍａｇｎｅｔｉｃ　ｔｈｅｒａｐｙ）、ジアテルミー（ｓｈｏｒｔｗａｖｅ　ｄｉａｔｈｅｒｍｙ）、干渉波治療（ｉｎｔｅｒｆｅｒｅｎｔｉａｌ　ｃｕｒｒｅｎｔ　ｔｈｅｒａｐｙ）、電気刺激療法（ｐｕｌｓｅｄ　ｅｌｅｃｔｒｉｃａｌ　ｓｔｉｍｕｌａｔｏｒ）、非侵襲的神経電気刺激療法（ｎｏｎｉｎｖａｓｉｖｅ　ｉｎｔｅｒａｃｔｉｖｅ　ｎｅｕｒｏｓｔｉｍｕｌａｔｉｏｎ）、骨膜刺激療法（ｐｅｒｉｏｓｔｅａｌ　ｓｔｉｍｕｌａｔｉｏｎ　ｔｈｅｒａｐｙ）、レーザー治療、物理療法の複合使用と運動療法との併用
・観血的治療後の理学療法介入
　・人工膝関節置換術（ｔｏｔａｌ　ｋｎｅｅ　ａｒｔｈｒｏｐｌａｓｔｙ：ＴＫＡ）：例えば、ｃｏｎｔｉｎｕｅ　ｐａｓｓｉｖｅ　ｍｏｖｅｍｅｎｔ（ＣＰＭ）装置、関節可動域運動およびスライダーボード運動、漸増的筋力増強運動、機能的運動療法およびバランス運動、振動刺激による運動療法、経皮的電気刺激による筋活動向上、術前の理学療法および患者教育、術前の理学療法と患者教育
　・高位脛骨骨切り術（ｈｉｇｈ　ｔｉｂｉａｌ　ｏｓｔｅｏｔｏｍｙ：ＨＴＯ）、片側単顆人工膝関節置換術（ｕｎｉｃｏｍｐａｒｔｍｅｎｔａｌ　ｋｎｅｅ　ａｒｔｈｒｏｐｌａｓｔｙ：ＵＫＡ）
　処理６００は、プロセッサ部１２０’’によって実行されてもよく、この場合、処理６００によって推定された結果は、分析手段１２５によって分析されるために用いられる。その分析に基づいて、修正手段１２６によって、推定手段１２３のアルゴリズムが修正されることができる。処理６００は、修正されたアルゴリズムを用いて繰り返されることができる。
　図６Ｂは、被験者の状態を推定するためのコンピュータシステム１００による処理の別の一例（処理６１０）を示すフローチャートである。処理６１０は、コンピュータシステム１００のプロセッサ部１２０’によって実行される。処理６１０は、被験者が歩行する様子を撮影した複数の画像から生成されたシルエット画像と、複数の画像から抽出された骨格特徴とに基づいて、被験者の状態を推定するための処理である。被験者の状態は、健康に関する状態であり得、健康に関する状態は、少なくとも１つの疾患に関する状態を含む。以下では、疾患に関する状態を推定することを例に説明するが、以下の処理は、他の健康に関する状態を推定する（例えば、歩行能力を推定する、健康度を推定する）ためにも同様に適用されることが理解される。
　ステップＳ６１１では、プロセッサ部１２０’の受信手段１２１が、被験者が歩行している様子を撮影した複数の画像を受信する。ステップＳ６１１は、ステップＳ６０１と同様である。受信手段１２１が受信した複数の画像は、生成手段１２２に提供される
　ステップＳ６１２では、プロセッサ部１２０’の生成手段１２２が、ステップＳ６１１で受信された複数の画像から、被験者の少なくとも１つのシルエット画像を生成する。ステップＳ６１２は、ステップＳ６０２と同様である。
　ステップＳ６１３では、プロセッサ部１２０’の抽出手段１２４が、テップＳ６１１で受信された複数の画像から、被験者の骨格特徴を抽出する。抽出手段１２４は、当該技術分野において公知の技術を用いて、シルエット画像を生成することができる。抽出手段１２４は、複数の画像のそれぞれから骨格特徴を抽出することにより、骨格特徴の時系列データを生成することができる。
　ステップＳ６１４では、プロセッサ部１２０’の推定手段１２３’が、ステップＳ６１２で生成された少なくとも１つのシルエット画像と、ステップＳ６１３で抽出された骨格特徴とに基づいて、被験者の疾患に関する状態を推定する。推定手段１２３’は、例えば、学習済モデルを利用して、被験者の少なくとも１つの疾患に関する状態を推定することができる。学習済モデルは、プロセッサ部１４０またはプロセッサ部１４０’によって、または図７Ａまたは図７Ｂに示される処理７１０によって作成されるモデルであり得る。
　例えば、推定手段１２３’は、シルエット画像に基づいて被験者の少なくとも１つの疾患に関する状態を推定することの結果と、骨格特徴に基づいて被験者の少なくとも１つの疾患に関する状態を推定することの結果とに基づいて、被験者の少なくとも１つの疾患に関する状態を推定するようにすることができる。推定手段１２３’は、例えば、シルエット画像に基づいて被験者の少なくとも１つの疾患に関する状態を示す第１のスコアを取得し、骨格特徴に基づいて被験者の少なくとも１つの疾患に関する状態を示す第２のスコアを取得し、第１のスコアと第２のスコアとに基づいて、被験者の少なくとも１つの疾患に関する状態を推定するようにすることができる。例えば、第１のスコアが特定の疾患の有無のそれぞれを示し、第２のスコアがその特定の疾患の有無のそれぞれを示す場合、推定手段１２３’は、特定の疾患が有ることを示す第１のスコアと特定の疾患が有ることを示す第２のスコアとの加算値と、特定の疾患が無いことを示す第２のスコアと特定の疾患が無いことを示す第２のスコアとの加算値とを比較することにより、特定の疾患が有るか特定の疾患が無いかを決定することができる。第１のスコアおよび／または第２のスコアは、ｓｏｆｔｍａｘ関数等の所定の関数を適用することによって、０～１の範囲内の値に変換したうえで加算されるようにしてもよい。推定手段１２３’から出力されるスコアは、例えば、既存の疾患指標と相関に基づいて、既存の疾患指標に変換されることができる。例えば、推定手段１２３’から出力されるスコアは、頚椎ＪＯＡスコアに変換されることができる。
　処理６１０によって推定された結果は、インターフェース部１１０を介してコンピュータシステム１００の外部に出力され得る。例えば、推定された結果は、インターフェース部１１０を介して被験者の端末装置３００に送信され得る。これにより、被験者は自身の状態を自身の端末装置３００を介して確認することができる。このとき、処理６００と同様に、例えば、被験者の状態に応じた治療または介入を被験者に提供するようにしてもよいし、被験者の状態に応じた情報（例えば、行動変容を促す情報、リハビリテーションを支援する情報）を被験者に提供するようにしてもよい。例えば、推定された結果は、インターフェース部１１０を介して医師の端末装置３００に送信され得る。これにより、医師は、推定された結果を被験者の診断に役立てることができる。このとき、処理６００と同様に、例えば、被験者の状態に応じた情報（例えば、推奨される治療または介入の情報、推奨されるリハビリテーションの情報）を医師に提供するようにしてもよい。例えば、推定された結果は、インターフェース部１１０を介してデータベース部２００に送信されて格納され得る。これにより、推定された結果は、後で参照されることができ、あるいは、後で、学習済モデルを更新するためまたは新たな学習済モデルを生成するために利用されることができる。
　処理７００は、プロセッサ部１２０’’によって実行されてもよく、この場合、処理７００によって推定された結果は、分析手段１２５によって分析されるために用いられる。その分析に基づいて、修正手段１２６によって、推定手段１２３のアルゴリズムが修正されることができる。処理７００は、修正されたアルゴリズムを用いて繰り返されることができる。
　図７Ａは、被験者の状態を推定するためのコンピュータシステム１００による処理の一例（処理７００）を示すフローチャートである。処理７００は、コンピュータシステム１００のプロセッサ部１４０によって実行される。処理７００は、被験者の状態を推定するためのモデルを作成するための処理である。処理７００は、複数の対象のうちの各対象について実行されることができる。すなわち、処理７００が１度実行されることにより、１つの対象について学習が行われることになる。処理７００を複数の対象について実行することにより、複数の対象について学習が行われ得る。被験者の状態は、健康に関する状態であり得、健康に関する状態は、少なくとも１つの疾患に関する状態を含む。以下では、少なくとも１つの疾患に関する状態を推定することを例に説明するが、以下の処理は、他の健康に関する状態を推定する（例えば、歩行能力を推定する、健康度を推定する）ためにも同様に適用されることが理解される。
　ステップＳ７０１では、プロセッサ部１４０の受信手段１４１が、対象が歩行している様子を撮影した複数の画像を受信する。受信手段１４１が受信した複数の画像は、生成手段１４２に提供される。受信手段１４１は、さらに、対象の少なくとも１つの疾患に関する状態を示す情報を受信する。受信手段１４１が受信した少なくとも１つの疾患に関する状態を示す情報は、学習手段１４３に提供される。
　ステップＳ７０２では、プロセッサ部１４０の生成手段１４２が、ステップＳ７０１で受信された複数の画像から、対象の少なくとも１つのシルエット画像を生成する。生成手段１４２は、当該技術分野において公知の技術を用いて、シルエット画像を生成することができる。生成手段１４２は、複数の画像から複数のシルエット画像を生成することができ、好ましくは、複数の画像から１つのシルエット画像を生成することができる。
　生成手段１４２は、例えば、複数の画像から複数のシルエット領域を抽出し、抽出された複数のシルエット領域を正規化し、正規化された複数のシルエット領域を平均することによって、少なくとも１つのシルエット画像を生成することができる。複数のシルエット画像を平均することによって、利用されるシルエット画像の情報量を有意に損なうことなく、データ量を削減することができる。
　ステップＳ７０３では、プロセッサ部１４０の学習手段１４３が、ステップＳ７０２で生成された少なくとも１つのシルエット画像を入力用教師データとし、対象の少なくとも１つの疾患に関する状態を出力用教師データとして、機械学習モデルに学習させる。
　処理７００により、１つの対象について、学習が完了する。処理７００を複数の対象について実行することにより、複数の対象について学習が行われ、モデルの精度が向上し得る。
　処理７００によって作成されたモデルは、プロセッサ部１２０またはプロセッサ部１２０’で利用されることができる。また、このようにして作成された学習済モデルのパラメータは、データベース部２００または他の記憶媒体に格納されることができる。
　図７Ｂは、被験者の状態を推定するためのコンピュータシステム１００による処理の別の一例（処理７１０）を示すフローチャートである。処理７１０は、コンピュータシステム１００のプロセッサ部１４０’によって実行される。処理７１０は、被験者の状態を推定するためのモデルを作成するための処理である。処理７１０は、複数の対象のうちの各対象について実行されることができる。すなわち、処理７１０が１度実行されることにより、１つの対象について学習が行われることになる。処理７１０を複数の対象について実行することにより、複数の対象について学習が行われ得る。被験者の状態は、健康に関する状態であり得、健康に関する状態は、少なくとも１つの疾患に関する状態を含む。以下では、少なくとも１つの疾患に関する状態を推定することを例に説明するが、以下の処理は、他の健康に関する状態を推定する（例えば、歩行能力を推定する、健康度を推定する）ためにも同様に適用されることが理解される。本明細書において、疾患に関する状態は、対象が実際に疾患に罹患していない場合の状態も含み（「未病」ともいう。）、一つの実施例では疾患に関する状態は、対象が実際に疾患に罹患している状態のみを含んでいてもよい。したがって、健康に関する状態は、疾患に関する状態および疾患に関する状態以外の状態を含み、そのいずれかまたは両方を含んでいてもよい。
　ステップＳ７１１では、プロセッサ部１４０’の受信手段１４１が、対象が歩行している様子を撮影した複数の画像を受信する。ステップＳ７１１は、ステップＳ７０１と同様である。受信手段１４１が受信した複数の画像は、生成手段１４２に提供される。受信手段１４１は、さらに、対象の少なくとも１つの疾患に関する状態を示す情報を受信する。受信手段１４１が受信した少なくとも１つの疾患に関する状態を示す情報は、学習手段１４３’に提供される。
　ステップＳ７１２では、プロセッサ部１４０’の生成手段１４２が、ステップＳ７１１で受信された複数の画像から、対象の少なくとも１つのシルエット画像を生成する。ステップＳ７１２は、ステップＳ７０２と同様である。
　ステップＳ７１３では、プロセッサ部１４０’の抽出手段１４４が、ステップＳ７１１で受信された複数の画像から、対象の骨格特徴を抽出する。抽出手段１４４は、当該技術分野において公知の技術を用いて、シルエット画像を生成することができる。抽出手段１４４は、複数の画像のそれぞれから骨格特徴を抽出することにより、骨格特徴の時系列データを生成することができる。
　ステップＳ７１４では、プロセッサ部１４０’の学習手段１４３が、ステップＳ７１２で生成された少なくとも１つのシルエット画像およびステップＳ７１３で抽出された骨格特徴、ならびに、対象の少なくとも１つの疾患に関する状態を示す情報を機械学習モデルに学習させる。例えば、学習手段１４３は、対象の少なくとも１つのシルエット画像を入力用教師データとし、対象の少なくとも１つの疾患に関する状態を出力用教師データとして、第１の機械学習モデルに学習させ、対象の骨格特徴を入力用教師データとし、対象の少なくとも１つの疾患に関する状態を出力用教師データとして、第２の機械学習モデルに学習させるようにすることができる。あるいは、例えば、学習手段１４３は、対象の少なくとも１つのシルエット画像および骨格特徴を入力用教師データとし、対象の少なくとも１つの疾患に関する状態を出力用教師データとして、機械学習モデルに学習させることができる。
　処理７１０により、１つの対象について、学習が完了する。処理７１０を複数の対象について実行することにより、複数の対象について学習が行われ、モデルの精度が向上し得る。
　処理７１０によって作成されたモデルは、プロセッサ部１２０またはプロセッサ部１２０’で利用されることができる。また、このようにして作成された学習済モデルのパラメータは、データベース部２００または他の記憶媒体に格納されることができる。
　図６Ａ、図６Ｂ、図７Ａ、図７Ｂを参照して上述した例では、特定の順序で各ステップが実行されることを説明したが、示される順序は一例であり、各ステップが実行される順序は、これに限定されない。論理的に可能な任意の順序で各ステップが実行されることができる。例えば、ステップＳ６１２の前にステップＳ６１３を行うことができる。例えば、ステップＳ７１２の前にステップＳ６１３を行うことができる。
　図６Ａ、図６Ｂ、図７Ａ、図７Ｂを参照して上述した例では、図６Ａ、図６Ｂ、図７Ａ、図７Ｂに示される各ステップの処理は、プロセッサ部１２０またはプロセッサ部１２０’またはプロセッサ部１４０またはプロセッサ部１４０’とメモリ部１３０に格納されたプログラムとによって実現することが説明されたが、本発明はこれに限定されない。図６Ａ、図６Ｂ、図７Ａ、図７Ｂに示される各ステップの処理のうちの少なくとも１つは、制御回路などのハードウェア構成によって実現されてもよい。
 
　（実施例１）
　脊柱管狭窄症の疾患を有する被験者および脊柱管狭窄症の疾患を有しない被験者が歩行する様子を撮影した動画を用いて、学習済モデルを構築した。構築された学習済モデルを利用して、その性能を評価した。
　（使用したデータ）
　脊柱管狭窄症の疾患有りの被験者４９名分、および脊柱管狭窄症の疾患無しの被験者１２名分の計６１名分のデータを使用した。脊柱管狭窄症の疾患有りの被験者４９名は、脊椎のどこかに狭窄がある状態にあり、脊柱管狭窄症の疾患有りの被験者４９名のうち、４２名がＬｕｍｂａｒ　Ｐａｔｈｏｌｏｇｙ（腰椎疾患）を有しており、７名がＣｅｒｖｉｃａｌ　Ｐａｔｈｏｌｏｇｙ（頸椎疾患）を有していた。
　ここで、Ｌｕｍｂａｒ　ｐａｔｈｏｌｏｇｙは脊柱管のうち腰（腰椎）が狭くなっていて、その結果歩行障害が起きている状態のことであり、ＬＣＳと同義である。Ｃｅｒｖｉｃａｌ　ｐａｔｈｏｌｏｇｙは、脊柱管のうち頸部（頚椎）が狭くなって歩行障害が起きている状態のことであり、ＣＳＭと同義である。
　４９名の被験者に真っすぐ１０ｍ歩行してもらい、歩行している様子をカメラ（ＵＳＢ３．０カメラ　ＦＬＩＲ　ＢＦＬＹ－Ｕ３－１３Ｓ２カラーまたはＵＳＢ３．０カメラ　ＦＬＩＲ　ＣＭ３－Ｕ３－１１３Ｓ２　カラー）で撮影した。撮影した動画のうち、最初の約３ｍと最後の約３ｍを除いた中間の約４ｍを歩行する様子を撮影した動画を用いた。
　動画から複数のフレームを抽出し、複数の画像として解析した。
　（使用したモデル）
　骨格特徴に基づいて脊柱管狭窄症の疾患の有無を予測するために、ＭＳ－Ｇ３Ｄを利用した。
　シルエット画像に基づいて脊柱管狭窄症の疾患の有無を予測するために、ＲｅｓＮｅｔ５０を利用した。
　（評価手法）
　３－ｆｏｌｄ　ｃｒｏｓｓ　ｖａｌｉｄａｔｉｏｎ
　６１名（脊柱管狭窄症の疾患有り４９名＋脊柱管狭窄症の疾患無し１２名）を３グループに分け、１つのグループのデータを評価用に用い、残りの２つのグループのデータを学習用に用いた。評価するグループを変えて３回試行を行った。
　（骨格特徴に基づいて疾患の有無を予測するモデルの評価）
　第１の試行において、第２のグループおよび第３のグループの被験者の骨格特徴をＭＳ－Ｇ３Ｄに学習させ、第１のグループの被験者の骨格特徴を学習済ＭＳ－Ｇ３Ｄに入力し、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。
　第２の試行において、第１のグループおよび第３のグループの被験者の骨格特徴をＭＳ－Ｇ３Ｄに学習させ、第２のグループの被験者の骨格特徴を学習済ＭＳ－Ｇ３Ｄに入力し、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。
　第３の試行において、第１のグループおよび第２のグループの被験者の骨格特徴をＭＳ－Ｇ３Ｄに学習させ、第３のグループの被験者の骨格特徴を学習済ＭＳ－Ｇ３Ｄに入力し、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。
　図８Ａ（ａ）はその結果を示す。ＣＶ１は、第１の試行の結果を示し。ＣＶ２は、第２の試行の結果を示し、ＣＶ３は、第３の試行の結果を示している。Ｔｏｔａｌは、ＣＶ１～ＣＶ３の平均値を示している。
　骨格特徴に基づいて脊柱管狭窄症の疾患の有無を予測した結果は、平均で、精度（accuracy）０．９７４、感度（sensitivity）０．９８１、特異度（specificity）０．８８０であった。また、偽陽性は０．０１９であり、偽陰性は、０．１２であった。ある程度高い精度で、脊柱管狭窄症の疾患の有無を予測することができていると考えられる。
　（シルエット画像に基づいて疾患の有無を予測するモデルの評価）
　第１の試行において、第２のグループおよび第３のグループの被験者のシルエット画像をＲＥＳＮＥＴ５０に学習させ、第１のグループの被験者のシルエット画像を学習済ＲＥＳＮＥＴ５０に入力し、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。
　第２の試行において、第１のグループおよび第３のグループの被験者のシルエット画像をＲＥＳＮＥＴ５０に学習させ、第２のグループの被験者のシルエット画像を学習済ＲＥＳＮＥＴ５０に入力し、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。
　第３の試行において、第１のグループおよび第２のグループの被験者のシルエット画像をＲＥＳＮＥＴ５０に学習させ、第３のグループの被験者のシルエット画像を学習済ＲＥＳＮＥＴ５０に入力し、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。
　図８Ａ（ｂ）はその結果を示す。ＣＶ１は、第１の試行の結果を示し。ＣＶ２は、第２の試行の結果を示し、ＣＶ３は、第３の試行の結果を示している。Ｔｏｔａｌは、ＣＶ１～ＣＶ３の平均値を示している。
　シルエット画像に基づいて脊柱管狭窄症の疾患の有無を予測した結果は、平均で、精度（accuracy）０．９７５、感度（sensitivity）０．９７９、特異度（specificity）０．９２７であった。また、偽陽性は０．０２１であり、偽陰性は、０．０７３であった。シルエット画像のみから、ある程度高い精度で、脊柱管狭窄症の疾患の有無を予測することができたことは予想外であった。
　（骨格特徴に基づいて疾患の有無を予測するモデルとシルエット画像に基づいて疾患の有無を予測するモデルとの融合）
　第１の試行において、第２のグループおよび第３のグループの被験者の骨格特徴をＭＳ－Ｇ３Ｄに学習させ、第２のグループおよび第３のグループの被験者のシルエット画像をＲＥＳＮＥＴ５０に学習させた。第１のグループの被験者のそれぞれの骨格特徴を学習済ＭＳ－Ｇ３Ｄに入力し、第１のスコアを出力として得た。次いで、第１のグループの被験者の対応する被験者のシルエット画像を学習済ＲＥＳＮＥＴ５０に入力し、第２のスコアを出力として得た。第１のスコアと第２のスコアとを合算して識別結果を得た。識別結果の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。
　第２の試行において、第１のグループおよび第３のグループの被験者の骨格特徴をＭＳ－Ｇ３Ｄに学習させ、第１のグループおよび第３のグループの被験者のシルエット画像をＲＥＳＮＥＴ５０に学習させた。第２のグループの被験者のそれぞれの骨格特徴を学習済ＭＳ－Ｇ３Ｄに入力し、第１のスコアを出力として得た。次いで、第２のグループの被験者の対応する被験者のシルエット画像を学習済ＲＥＳＮＥＴ５０に入力し、第２のスコアを出力として得た。第１のスコアと第２のスコアとを合算して識別結果を得た。識別結果の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。
　第３の試行において、第１のグループおよび第２のグループの被験者の骨格特徴をＭＳ－Ｇ３Ｄに学習させ、第１のグループおよび第２のグループの被験者のシルエット画像をＲＥＳＮＥＴ５０に学習させた。第３のグループの被験者のそれぞれの骨格特徴を学習済ＭＳ－Ｇ３Ｄに入力し、第１のスコアを出力として得た。次いで、第３のグループの被験者の対応する被験者のシルエット画像を学習済ＲＥＳＮＥＴ５０に入力し、第２のスコアを出力として得た。第１のスコアと第２のスコアとを合算して識別結果を得た。識別結果の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。
　図８Ａ（ｃ）はその結果を示す。ＣＶ１は、第１の試行の結果を示し。ＣＶ２は、第２の試行の結果を示し、ＣＶ３は、第３の試行の結果を示している。Ｔｏｔａｌは、ＣＶ１～ＣＶ３の平均値を示している。
　骨格特徴とシルエット画像とに基づいて脊柱管狭窄症の疾患の有無を予測した結果は、平均で、精度（accuracy）０．９９５、感度（sensitivity）０．９９９、特異度（specificity）０．９４２であった。また、偽陽性は０．００１であり、偽陰性は、０．０５８であった。骨格特徴とシルエット画像とでは捉えている特徴が異なるため、相補的に統合することで精度が大幅に向上している。このように、骨格特徴とシルエット画像とから、非常に高い精度で、脊柱管狭窄症の疾患の有無を予測することができたことは予想外であった。
　（実施例２）
　腰部脊柱管狭窄症の疾患を有する被験者および腰部脊柱管狭窄症の疾患を有しない被験者が歩行する様子を撮影した動画を用いて、学習済モデルを構築した。構築された学習済モデルを利用して、その性能を評価した。腰部脊柱管狭窄症は、脊柱管狭窄症のうち、腰部に狭窄がある状態のことをいう。
　（使用したデータ）
　腰部脊柱管狭窄症の疾患有りの被験者４２名分、および腰部脊柱管狭窄症の疾患無しの被験者１９名分の計６１名分のデータを使用した。腰部脊柱管狭窄症の疾患無しの被験者１９名のうち７名がＣｅｒｖｉｃａｌ　Ｐａｔｈｏｌｏｇｙ（頸椎疾患）を有しており、１２名は、脊柱管狭窄症を何ら有していなかった。
　（手法）
　実施例１と同様の手法で歩行する様子を撮影した動画を用い、動画から複数のフレームを抽出し、複数の画像として解析した。
　実施例１と同様のモデルを用い、同様の評価手法で各モデルを評価した。
　（骨格特徴に基づいて疾患の有無を予測するモデルの評価）
　実施例１と同様に３回の試行を行い、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。
　図８Ｂの表の第２行目は、各試行の結果の平均値を示す。
　骨格特徴に基づいて腰部脊柱管狭窄症の疾患の有無を予測した結果は、平均で、精度（accuracy）０．９６８、感度（sensitivity）０．９７６、特異度（specificity）０．８６９であった。また、偽陽性は０．０２４であり、偽陰性は、０．１３１であった。腰部というピンポイントの部位の疾患でさえも、ある程度高い精度で、疾患の有無を予測することができていると考えられる。
　（シルエット画像に基づいて疾患の有無を予測するモデルの評価）
　実施例１と同様に３回の試行を行い、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。
　図８Ｂの表の第３行目は、各試行の結果の平均値を示す。
　シルエット画像に基づいて腰部脊柱管狭窄症の疾患の有無を予測した結果は、平均で、精度（accuracy）０．９６８、感度（sensitivity）０．９７６、特異度（specificity）０．８７３であった。また、偽陽性は０．０２４であり、偽陰性は、０．１２７であった。腰部というピンポイントの部位の疾患でさえも、シルエット画像のみから、ある程度高い精度で、疾患の有無を予測することができたことは予想外であった。
　（骨格特徴に基づいて疾患の有無を予測するモデルとシルエット画像に基づいて疾患の有無を予測するモデルとの融合）
　実施例１と同様に３回の試行を行い、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。
　図８Ｂの表の第４行目は、各試行の結果の平均値を示す。
　骨格特徴とシルエット画像とに基づいて腰部脊柱管狭窄症の疾患の有無を予測した結果は、平均で、精度（accuracy）０．９８６、感度（sensitivity）０．９９４、特異度（specificity）０．８９５であった。また、偽陽性は０．００６であり、偽陰性は、０．１０５であった。骨格特徴とシルエット画像とでは捉えている特徴が異なるため、相補的に統合することで精度が大幅に向上している。このように、頸部の疾患を有する被験者のデータもある中で、骨格特徴とシルエット画像とから、非常に高い精度で、腰部の疾患の有無を予測することができたことは予想外であった。
　（実施例３）
　頸椎脊柱管狭窄症の疾患を有する被験者および頸椎脊柱管狭窄症の疾患を有しない被験者が歩行する様子を撮影した動画を用いて、学習済モデルを構築した。構築された学習済モデルを利用して、その性能を評価した。頸椎脊柱管狭窄症は、脊柱管狭窄症のうち、頸椎に狭窄がある状態のことをいう。
　（使用したデータ）
　頸椎脊柱管狭窄症の疾患有りの被験者７名分、および頸椎脊柱管狭窄症の疾患無しの被験者５４名分の計６１名分のデータを使用した。頸椎脊柱管狭窄症の疾患無しの被験者５４名の４２名がＬｕｍｂａｒ　Ｐａｔｈｏｌｏｇｙ（腰椎疾患）を有しており、１２名は、脊柱管狭窄症を何ら有していなかった。
　（手法）
　実施例１と同様の手法で歩行する様子を撮影した動画を用い、動画から複数のフレームを抽出し、複数の画像として解析した。
　実施例１と同様のモデルを用い、同様の評価手法で各モデルを評価した。
　（骨格特徴に基づいて疾患の有無を予測するモデルの評価）
　実施例１と同様に３回の試行を行い、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。
　図８Ｃの表の第２行目は、各試行の結果の平均値を示す。
　骨格特徴に基づいて頸椎脊柱管狭窄症の疾患の有無を予測した結果は、平均で、精度（accuracy）０．８２３、感度（sensitivity）０．７８１、特異度（specificity）０．８８８であった。また、偽陽性は０．２１９であり、偽陰性は、０．１１２であった。頸椎というピンポイントの部位の疾患でさえも、ある程度高い精度で、疾患の有無を予測することができていると考えられる。
　（シルエット画像に基づいて疾患の有無を予測するモデルの評価）
　実施例１と同様に３回の試行を行い、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。
　図８Ｃの表の第３行目は、各試行の結果の平均値を示す。
　シルエット画像に基づいて頸椎脊柱管狭窄症の疾患の有無を予測した結果は、平均で、精度（accuracy）０．８１８、感度（sensitivity）０．７７６、特異度（specificity）０．８８３であった。また、偽陽性は０．２２４であり、偽陰性は、０．１１７であった。頸椎というピンポイントの部位の疾患でさえも、シルエット画像のみから、ある程度高い精度で、疾患の有無を予測することができたことは予想外であった。
　（骨格特徴に基づいて疾患の有無を予測するモデルとシルエット画像に基づいて疾患の有無を予測するモデルとの融合）
　実施例１と同様に３回の試行を行い、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出した。
　図８Ｃの表の第４行目は、各試行の結果の平均値を示す。
　骨格特徴とシルエット画像とに基づいて頸椎脊柱管狭窄症の疾患の有無を予測した結果は、平均で、精度（accuracy）０．８５４、感度（sensitivity）０．７７５、特異度（specificity）０．９７６であった。また、偽陽性は０．２２５であり、偽陰性は、０．０２４であった。骨格特徴とシルエット画像とでは捉えている特徴が異なるため、相補的に統合することで精度が大幅に向上している。このように、腰部の疾患を有する被験者のデータもある中で、骨格特徴とシルエット画像とから、ある程度高い精度で、疾患の有無を予測することができたことは予想外であった。
　（実施例４）
　頸椎症脊髄症を有する患者２９人の重症度を日本整形外科学会頸椎スコア（ＪＯＡ　Ｓｃｏｒｅ：１７点満点で最重症が０点）で表現し、このスコアと本開示の学習済モデルによって出力された推定スコア（「疾患指数」と呼ぶ。疾患指数は、０～１の変数であり、０．５以上であれば頸椎疾患ありと判定することができる。）の相関性について検証した。
　検証は、Ｅｘｃｅｌを用いて、近似曲線を描いて行った。
　図９は、実施例４の結果を示す。図９（ａ）は、２９人の疾患指数と、それぞれのＪＯＡ　Ｓｃｏｒｅとの相関関係を示すグラフである。
　図９（ａ）に示されるように、すべてのＪＯＡ　Ｓｃｏｒｅ（軽症～重症）の患者を対象とすると、疾患指数とＪＯＡ　Ｓｃｏｒｅとは有意な相関が認められた。線形近似では、決定係数は、Ｒ２＝０．３９であり、やや低かった。２次多項式近似（図示せず）では、決定係数は、Ｒ２＝０．４５であった。
　決定係数がやや低い要因は、疾患指数が１近傍で、ＪＯＡ　Ｓｃｏｒｅの分布が大きいことであると考えられる。ＪＯＡ　Ｓｃｏｒｅが１２以下の患者は手術適応であり、ＪＯＡ　Ｓｃｏｒｅが９以下の患者は最重症であり、多くは自覚症状が強く診断が容易であることから、本発明者は、これらのＪＯＡ　Ｓｃｏｒｅの患者のＪＯＡ　Ｓｃｏｒｅを推定することよりは、ＪＯＡ　Ｓｃｏｒｅが１０以上患者のＪＯＡ　Ｓｃｏｒｅを推定する方が有用であると考えた。なぜなら、ＪＯＡ　Ｓｃｏｒｅが１０以上患者では、診断が容易ではなく、かつ、病気が進行するか回復するかをモニタリングする重要性が高いからである。
　そこで、ＪＯＡ　Ｓｃｏｒｅが１０以上患者について、相関係数を検証した。図９（ｂ）は、ＪＯＡ　Ｓｃｏｒｅが１０以上の患者の疾患指数と、それぞれのＪＯＡ　Ｓｃｏｒｅとの相関関係を示すグラフである。
　図９（ｂ）に示されるように、ＪＯＡ　Ｓｃｏｒｅが１０以上患者を対象とすると、図９（ａ）に示される結果よりも高い相関が認められた。線形近似では、決定係数は、Ｒ２＝０．５１であり、０．５を超えた。２次多項式近似（図示せず）では、決定係数は、Ｒ２＝０．５５であった。４次多項式近似（図示せず）では、決定係数は、Ｒ２＝０．５７であった。
　この結果から、ＪＯＡ　Ｓｃｏｒｅが１０以上患者を対象とした場合に、疾患指数とＪＯＡ　Ｓｃｏｒｅとには有意に高い相関があるため、本開示のシステムによる出力から、ＪＯＡ　Ｓｃｏｒｅを評価することができることが示唆された。すなわち、本開示の学習済モデルによる出力を、ＪＯＡ　Ｓｃｏｒｅが１０以上患者のモニタリング指標として利用することができる可能性が見出された。
　また、軽症（ＪＯＡ　Ｓｃｏｒｅが１７に近い患者）でも、ＪＯＡ　Ｓｃｏｒｅと疾患指数との相関が見られたことから、軽症の患者～健康な被験者においても、疾患指数とＪＯＡ　Ｓｃｏｒｅまたは他の類似するスコアとの相関が見られることが示唆された。
　（実施例５）
　頚椎症性脊髄症（ＣＳＭ）の疾患を有する患者１名に対して、「ＮＥＣ歩行姿勢測定システム」（https://www.nec-solutioninnovators.co.jp/sl/walkingform/index.html）を用いて歩行年齢を測定した。測定は、ＣＳＭの疾患の治療のための手術前から手術後の４カ月にわたって経時的に行った（術前１ポイント、術後５ポイント）。
　各測定のときに撮影された動画を本発明の学習済モデルに入力し、疾患指数を出力した。そして、歩行年齢と疾患指数との関係を検証した。検証は、Ｅｘｃｅｌを用いて、近似曲線を描いて行った。
　図１０は、実施例５の結果を示す。
　図１０に示されるように、歩行年齢と疾患指数との間には高い相関が認められた。線形近似では、決定係数は、Ｒ２＝０．７０であった。
　このことから、本開示の学習済モデルから出力される疾患指数が、歩行能力を評価する指数とも相関し得ることが分かる。また、疾患指数は、個人の歩行能力の経時的変化をモニタリングするために利用され得ることも分かる。
　歩行年齢は、成人、特に４０代以上、好ましくは５０代以上の被験者において精度がよいことが知られており、このような歩行能力の経時的なモニタリングは、成人または４０代以上または５０代以上の被験者において好ましい。
　（仮想実施例）
　疾患を有する被験者および疾患を有しない被験者が歩行する様子を撮影した動画を用いて、多値画像であるシルエット画像を生成し、そのシルエット画像を利用して学習済モデルを構築する。
　（使用するデータ）
　疾患有りの被験者複数名、疾患無しの被験者複数名それぞれに真っすぐ１０ｍ歩行してもらい、歩行している様子をカメラで撮影する。得られる動画のうち、最初の約３ｍと最後の約３ｍを除いた中間の約４ｍを歩行する様子を撮影した動画を用いる。
　動画から複数のフレームを抽出し、複数の画像として解析する。
　各被験者について、複数の画像から、複数枚の多値シルエット画像または１枚の多値シルエット画像を生成する。多値シルエット画像では、被験者の各部位が異なる画素で表されている。
　（使用するモデル）
　シルエット画像に基づいて疾患の有無を予測するために、ＲｅｓＮｅｔ５０を利用する。
　（評価手法）
　３－ｆｏｌｄ　ｃｒｏｓｓ　ｖａｌｉｄａｔｉｏｎ
　疾患有りの被験者複数名、疾患無しの被験者複数名を３グループに分け、１つのグループのデータを評価用に用い、残りの２つのグループのデータを学習用に用いる。評価するグループを変えて３回試行を行う。
　（シルエット画像に基づいて疾患の有無を予測するモデルの評価）
　第１の試行において、第２のグループおよび第３のグループの被験者の多値シルエット画像をＲＥＳＮＥＴ５０に学習させ、第１のグループの被験者の多値シルエット画像を学習済ＲＥＳＮＥＴ５０に入力し、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出する。
　第２の試行において、第１のグループおよび第３のグループの被験者の多値シルエット画像をＲＥＳＮＥＴ５０に学習させ、第２のグループの被験者の多値シルエット画像を学習済ＲＥＳＮＥＴ５０に入力し、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出する。
　第３の試行において、第１のグループおよび第２のグループの被験者の多値シルエット画像をＲＥＳＮＥＴ５０に学習させ、第３のグループの被験者の多値シルエット画像を学習済ＲＥＳＮＥＴ５０に入力し、出力の精度（accuracy）、感度（sensitivity）、特異度（specificity）を算出する。
　多値シルエット画像を用いると、２値シルエット画像を用いる場合よりも、予測精度が向上することが予期される。多値シルエット画像に含まれる部位毎のシルエット特徴を用いることで、歩容に関する情報量が増える（シルエット形状に加えて、部位の情報が付加される）からである。多値シルエット画像がモデルの入力となると、入力が複雑になり、モデルの学習が困難になり得ること、および、多値シルエット画像を生成する際のエラーが悪影響を及ぼし得ることに留意すべきである。
　（実施例６）
　例えば、上記実施例で構築された学習済モデルを有する本開示のシステムは、クリニックにおけるリハビリ指導に利用される。
　まず、クリニックにおいて、患者に歩行を行わせ、そのときの動画を撮影する。
　撮影された動画を本開示のシステムに投入すると、疾患指数が出力される。
　医師またはセラピストは、この疾患指数に基づいて、リハビリメニューを決定することができる。例えば、医師またはセラピストは、そのときの疾患指数に基づいてリハビリメニューを決定してもよいし、疾患指数の変化率に基づいてリハビリメニューを決定してもよいし、疾患指数の経時的な変化に基づいてリハビリメニューを決定してもよい。医師またはセラピストは、患者にリハビリメニューを提示し、これを行わせる。
　所定期間の間、患者にリハビリメニューを行わせた後、クリニックにおいて、再度歩行動画を撮影し、本開示のシステムを用いて解析する。医師またはセラピストは、このときの疾患指数に基づいて、リハビリメニューを変更または調整することができる。このようにして、現在の患者の状態に合わせたリハビリメニューを患者に提供することができる。
　（実施例７）
　例えば、上記実施例で構築された学習済モデルを有する本開示のシステムは、在宅医療におけるリハビリ指導に利用される。
　まず、自宅において、患者に歩行を行わせ、患者に、そのときの動画を患者の端末装置で撮影させる。このとき、撮影条件を適切に指示することが好ましい。
　動画が撮影されると、撮影された動画は端末装置から医療施設に送信される。動画は、例えば、ネットワークを通じて医療施設に直接送信されてもよいし、クラウド上のストレージを介して医療施設に送信されてもよい。医療施設では、撮影された動画を本開示のシステムに投入すると、疾患指数が出力される。
　医師またはセラピストは、この疾患指数に基づいて、リハビリメニューを決定することができる。例えば、医師またはセラピストは、そのときの疾患指数に基づいてリハビリメニューを決定してもよいし、疾患指数の変化率に基づいてリハビリメニューを決定してもよいし、疾患指数の経時的な変化に基づいてリハビリメニューを決定してもよい。医師またはセラピストは、決定されたリハビリメニューを患者に提示し、これを行わせる。決定されたリハビリメニューは、例えば、ネットワークを通じて患者の端末装置に直接送信されてもよいし、クラウド上のストレージを介して患者の端末装置に送信されてもよい。
　所定期間の間、患者にリハビリメニューを行わせる。患者の自宅において、患者に、再度歩行動画を撮影させる。患者は、動画撮影と共に、実施したリハビリの実施項目を自動的にまたは手動で記録する。動画が撮影されると、撮影された動画は記録ともに端末装置から医療施設に送信される。医療施設では、撮影された動画を本開示のシステムに投入すると、疾患指数が出力される。医師またはセラピストは、このときの疾患指数と記録とに基づいて、リハビリメニューを変更または調整することができる。このようにして、現在の患者の状態に合わせたリハビリメニューを患者に提供することができる。これは、毎日行われることにより、医師またはセラピストは、翌日のリハビリメニュー決定することができ、患者の現在の状態に合ったリハビリメニューを提供することができる。
　（実施例８）
　例えば、上記実施例で構築された学習済モデルを有する本開示のシステムは、テレメディシンに利用される。
　まず、医療施設から遠隔地（例えば、自宅、離島、海外）において、患者に歩行を行わせ、患者に、そのときの動画を患者の端末装置で撮影させる。このとき、撮影条件を適切に指示することが好ましい。
　動画が撮影されると、撮影された動画は端末装置から医療施設に送信される。動画は、例えば、ネットワークを通じて医療施設に直接送信されてもよいし、クラウド上のストレージを介して医療施設に送信されてもよい。医療施設では、撮影された動画を本開示のシステムに投入すると、疾患指数が出力される。
　医師またはセラピストは、この疾患指数に基づいて、リハビリメニューを決定することができる。例えば、医師またはセラピストは、そのときの疾患指数に基づいてリハビリメニューを決定してもよいし、疾患指数の変化率に基づいてリハビリメニューを決定してもよいし、疾患指数の経時的な変化に基づいてリハビリメニューを決定してもよい。医師またはセラピストは、決定されたリハビリメニューを患者に提示し、これを行わせる。決定されたリハビリメニューは、例えば、ネットワークを通じて患者の端末装置に直接送信されてもよいし、クラウド上のストレージを介して患者の端末装置に送信されてもよい。
　所定期間の間、患者にリハビリメニューを行わせる。患者に、再度歩行動画を撮影させる。患者は、動画撮影と共に、実施したリハビリの実施項目を自動的にまたは手動で記録する。動画が撮影されると、撮影された動画は記録ともに端末装置から医療施設に送信される。医療施設では、撮影された動画を本開示のシステムに投入すると、疾患指数が出力される。医師またはセラピストは、このときの疾患指数と記録とに基づいて、リハビリメニューを変更または調整することができる。このようにして、現在の患者の状態に合わせたリハビリメニューを患者に提供することができる。これは、毎日行われることにより、医師またはセラピストは、翌日のリハビリメニュー決定することができ、患者の現在の状態に合ったリハビリメニューを提供することができる。さらには、医療施設から遠隔地にある患者であっても、治療機会を逸することなく、適切な治療または指導を受けることができる。
　（実施例９）
　例えば、上記実施例で構築された学習済モデルを有する本開示のシステムは、ショッピングモールにおける保健指導に利用される。
　まず、ショッピングモールの特設会場において、被験者に歩行を行わせ、そのときの動画を撮影する。
　撮影された動画を本開示のシステムに投入すると、疾患指数が出力される。
　医師または保健師は、この疾患指数に基づいて、被験者の健康状態を決定することができる。健康状態は、例えば、歩行年齢であり得る。
　医師または保健師は、決定された健康状態と、その健康状態に合わせた情報（例えば、行動変容を促す情報）を被験者に提供することができる。
　このように被験者は、日常生活の中で、簡易に、自己の健康を改善するための動機を与えられ得る。
　（実施例１０）
　例えば、上記実施例で構築された学習済モデルを有する本開示のシステムは、スマートフォン情報共有アプリに利用される。
　まず、遠隔リハビリの現場で被験者に歩行を行わせ、そのときの動画を撮影する。動画の情報に基づき、疾患診断名や適切なリハビリの処方例、目標荷重、目標歩行歩数、目標歩行距離、理想体重などのパラメータが医師の指示により（または動画情報から自動的に）提示される。
　撮影された動画を本開示のシステムに投入すると、疾患指数も出力される。
　被検者は、決定された健康状態と、その健康状態に合わせた情報（例えば、行動変容を促す情報）をスマートフォンアプリにより、被験者の友人などと共有し、同じ志を持つグループ内で提示する事により、目標達成に向けた一体感を得られる。
　このように被験者は、日常生活の中で、簡易に、自己の健康を改善するための動機を与えられ得る。
　本開示は、上述した実施形態に限定されるものではない。本開示は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本開示の具体的な好ましい実施形態の記載から、本開示の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
　本開示は、被験者の状態を推定するためのコンピュータシステム、方法、およびプログラムを提供するものとして有用である。
　１００　コンピュータシステム
　１１０　インターフェース部
　１２０、１２０’　プロセッサ部
　１２１　受信手段
　１２２　生成手段
　１２３、１２３’　推定手段
　１２４　抽出手段
　１３０　メモリ部
　１４０、１４０’　プロセッサ部
　１４１　受信手段
　１４２　生成手段
　１４３、１４３’　学習手段
　１４４　抽出手段
　２００　データベース部
　３００　端末装置
　４００　ネットワーク

Claims (23)

  1. 　被験者の状態を推定するためのコンピュータシステムであって、
    　被験者が歩行する様子を撮影した複数の画像を受信する受信手段と、
    　前記複数の画像から前記被験者の少なくとも１つのシルエット画像を生成する生成手段と、
    　少なくとも前記少なくとも１つのシルエット画像に基づいて、前記被験者の健康に関する状態を推定する推定手段と
    　を備えるコンピュータシステム。
  2. 　前記推定手段は、前記被験者の少なくとも１つの疾患に関する状態を含む状態を推定する、請求項１に記載のコンピュータシステム。
  3. 　前記推定手段は、学習用シルエット画像と、前記学習用シルエット画像に写る対象の前記少なくとも１つの疾患に関する状態との関係を学習した学習済モデルを利用して、前記状態を推定する、請求項１または２に記載のコンピュータシステム。
  4. 　前記複数の画像から前記被験者の骨格特徴を抽出する抽出手段をさらに備え、
    　前記推定手段は、前記骨格特徴にさらに基づいて、前記状態を推定する、
    　請求項１～３のいずれか一項に記載のコンピュータシステム。
  5. 　前記推定手段は、
    　前記少なくとも１つのシルエット画像に基づいて、前記状態を示す第１のスコアを取得し、
    　前記骨格特徴に基づいて、前記状態を示す第２のスコアを取得し、
    　前記第１のスコアと前記第２のスコアとに基づいて、前記状態を推定する、
    　請求項４に記載のコンピュータシステム。
  6. 　前記生成手段は、
    　　前記複数の画像から複数のシルエット領域を抽出することと、
    　　前記抽出された複数のシルエット領域の各々を正規化することと、
    　　前記正規化された複数のシルエット領域を平均することと
    　によって前記少なくとも１つのシルエット画像を生成する、請求項１～５のいずれか一項に記載のコンピュータシステム。
  7. 　前記複数の画像は、前記被験者が歩行する方向に対して略直交する方向から前記被験者が歩行する様子を撮影した動画中の複数のフレームである、請求項１～６のいずれか一項に記載のコンピュータシステム。
  8. 　前記推定手段による推定の結果を分析する分析手段であって、前記分析手段は、前記少なくとも１つのシルエット画像において、前記推定の結果に相対的に大きく寄与する関心領域を特定する、分析手段と、
    　前記関心領域に基づいて、前記推定手段のアルゴリズムを修正する修正手段と
    　さらに備える、請求項１～７のいずれか一項に記載のコンピュータシステム。
  9. 　前記健康に関する状態は、前記被験者の少なくとも１つの疾患に関する状態を含み、前記少なくとも１つの疾患は、歩行障害を生じる疾患を含む、請求項１～８のいずれか一項に記載のコンピュータシステム。
  10. 　前記少なくとも１つの疾患は、歩行障害を生じる運動器疾患、歩行障害を生じる神経筋疾患、歩行障害を生じる循環器疾患、歩行障害を生じる呼吸器疾患からなる群から選択される少なくとも１つを含む、請求項９に記載のコンピュータシステム。
  11. 　前記少なくとも１つの疾患に関する状態の推定は、前記歩行障害を生じる疾患が、どの臓器の疾患に関するものであるかを判別することを含む、請求項９に記載のコンピュータシステム。
  12. 　前記判別は、前記歩行障害を生じる疾患が、運動器疾患であるか、神経筋疾患であるか、循環器疾患であるか、呼吸器疾患であるかを判別することを含む、請求項１１に記載のコンピュータシステム。
  13. 　前記少なくとも１つの疾患は、頚椎症性脊髄症（ＣＳＭ）、腰部脊柱管狭窄症（ＬＣＳ）、変形性関節症（ＯＡ）、神経炎（ｎｅｕｒｏｐａｔｈｙ）、椎間板ヘルニア、後縦靭帯骨化症（ＯＰＬＬ）、慢性関節リウマチ（ＲＡ）、心不全，水頭症，末梢動脈疾患（ＰＡＤ）、筋炎（ｍｙｏｓｉｔｉｓ）、筋症（ｍｙｏｐａｔｈｙ）、パーキンソン病、筋萎縮性側索硬化症（ＡＬＳ）、脊髄小脳変性症、多系統萎縮症、脳腫瘍、レビー小体型認知症、不顕性骨折、薬物中毒、半月板損傷、靭帯損傷、脊髄梗塞、脊髄炎、脊髄症，化膿性脊椎炎、椎間板炎、外反母趾、慢性閉塞性肺疾患（ＣＯＰＤ）、肥満症、脳梗塞、ロコモティブシンドローム、フレイル、遺伝性痙性対麻痺からなる群から選択される少なくとも１つを含む、請求項９～１２のいずれか一項に記載のコンピュータシステム。
  14. 　前記被験者の健康に関する状態は、少なくとも１つの疾患の重症度によって表され、
    　前記推定手段は、前記重症度を推定する、請求項１～１２のいずれか一項に記載のコンピュータシステム。
  15. 　前記疾患は、頚椎症性脊髄症であり、
    　前記推定手段は、前記重症度として頚椎ＪＯＡスコアを推定する、請求項１４に記載のコンピュータシステム。
  16. 　前記受信手段は、頚椎ＪＯＡスコアが１０以上であると判定された被験者が歩行する様子を撮影した複数の画像を受信する、請求項１５に記載のコンピュータシステム。
  17. 　前記推定手段は、前記被験者の歩行能力を推定する、請求項１に記載のコンピュータシステム。
  18. 　前記被験者の歩行の状態がどの年齢の水準にあるかを示す数値によって表される、請求項１７に記載のコンピュータシステム。
  19. 　前記推定された状態に応じた治療もしくは介入または情報を提供する提供手段をさらに含む、請求項１～１８のいずれか一項に記載のコンピュータシステム。
  20. 　被験者の状態を推定するための方法であって、
    　被験者が歩行する様子を撮影した複数の画像を受信することと、
    　前記複数の画像から前記被験者の少なくとも１つのシルエット画像を生成することと、
    　少なくとも前記少なくとも１つのシルエット画像に基づいて、前記被験者の健康に関する状態を推定することと
    　を含む方法。
  21. 　被験者の状態を推定するためのプログラムであって、前記プログラムは、プロセッサを備えるコンピュータにおいて実行され、前記プログラムは、
    　被験者が歩行する様子を撮影した複数の画像を受信することと、
    　前記複数の画像から前記被験者の少なくとも１つのシルエット画像を生成することと、
    　少なくとも前記少なくとも１つのシルエット画像に基づいて、前記被験者の健康に関する状態を推定することと
    　を含む処理を前記プロセッサに行わせる、プログラム。
  22. 　被験者の状態を推定するためのモデルを作成する方法であって、
    　複数の対象のうちの各対象について、
    　　前記対象が歩行する様子を撮影した複数の画像を受信することと、
    　　前記複数の画像から前記対象の少なくとも１つのシルエット画像を生成することと、
    　　前記少なくとも１つのシルエット画像を入力用教師データとし、前記対象の健康に関する状態を出力用教師データとして、機械学習モデルに学習させることと
    　を含む方法。
  23. 　被験者の健康状態、障害または疾患を治療、予防、または改善する方法であって、
    　（Ａ）被験者が歩行する様子を撮影した複数の画像を受信することと、
    　（Ｂ）前記複数の画像から前記被験者の少なくとも１つのシルエット画像を生成することと、
    　（Ｃ）少なくとも前記少なくとも１つのシルエット画像に基づいて、前記被験者の健康に関する状態を推定することと
    　（Ｄ）前記被験者の健康に関する状態に基づいて、前記被験者に施すべき治療、予防、または改善のための方法を算出することと、
    　（Ｅ）前記被験者に、前記治療、予防、または改善のための方法を施すことと、
    　（Ｆ）必要に応じて（Ａ）から（Ｅ）を繰り返すことと、
    を含む方法。
PCT/JP2022/022989 2021-06-07 2022-06-07 被験者の状態を推定するためのコンピュータシステム、方法、およびプログラム WO2022260046A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022566687A JP7357872B2 (ja) 2021-06-07 2022-06-07 被験者の状態を推定するためのコンピュータシステム、方法、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021095390 2021-06-07
JP2021-095390 2021-06-07

Publications (1)

Publication Number Publication Date
WO2022260046A1 true WO2022260046A1 (ja) 2022-12-15

Family

ID=84425102

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/022989 WO2022260046A1 (ja) 2021-06-07 2022-06-07 被験者の状態を推定するためのコンピュータシステム、方法、およびプログラム

Country Status (2)

Country Link
JP (1) JP7357872B2 (ja)
WO (1) WO2022260046A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005160747A (ja) * 2003-12-03 2005-06-23 Research Institute Of Application Technologies For Chaos & Complex Systems Co Ltd 歩行障害の評価支援装置および評価支援方法
JP2010017447A (ja) * 2008-07-14 2010-01-28 Nippon Telegr & Teleph Corp <Ntt> 歩行動作分析装置、歩行動作分析方法、歩行動作分析プログラムおよびその記録媒体
JP2016144598A (ja) * 2015-02-09 2016-08-12 国立大学法人鳥取大学 運動機能診断装置及び方法、並びにプログラム
WO2017142082A1 (ja) * 2016-02-19 2017-08-24 Cyberdyne株式会社 装着式歩容検知装置、歩行能力改善システム及び装着式歩容検知システム
JP2018069035A (ja) * 2016-10-27 2018-05-10 株式会社アシックス 歩行解析システム及び方法
JP2021030051A (ja) * 2019-08-29 2021-03-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 転倒リスク評価方法、転倒リスク評価装置及び転倒リスク評価プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110477925B (zh) 2019-08-23 2022-05-24 广东省智能制造研究所 一种针对敬老院老人的跌倒检测与预警方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005160747A (ja) * 2003-12-03 2005-06-23 Research Institute Of Application Technologies For Chaos & Complex Systems Co Ltd 歩行障害の評価支援装置および評価支援方法
JP2010017447A (ja) * 2008-07-14 2010-01-28 Nippon Telegr & Teleph Corp <Ntt> 歩行動作分析装置、歩行動作分析方法、歩行動作分析プログラムおよびその記録媒体
JP2016144598A (ja) * 2015-02-09 2016-08-12 国立大学法人鳥取大学 運動機能診断装置及び方法、並びにプログラム
WO2017142082A1 (ja) * 2016-02-19 2017-08-24 Cyberdyne株式会社 装着式歩容検知装置、歩行能力改善システム及び装着式歩容検知システム
JP2018069035A (ja) * 2016-10-27 2018-05-10 株式会社アシックス 歩行解析システム及び方法
JP2021030051A (ja) * 2019-08-29 2021-03-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 転倒リスク評価方法、転倒リスク評価装置及び転倒リスク評価プログラム

Also Published As

Publication number Publication date
JP7357872B2 (ja) 2023-10-10
JPWO2022260046A1 (ja) 2022-12-15

Similar Documents

Publication Publication Date Title
Karatsidis et al. Validation of wearable visual feedback for retraining foot progression angle using inertial sensors and an augmented reality headset
Giggins et al. Rehabilitation exercise assessment using inertial sensors: a cross-sectional analytical study
Ng et al. Altered walking and muscle patterns reduce hip contact forces in individuals with symptomatic cam femoroacetabular impingement
Murphy et al. Kinematic variables quantifying upper-extremity performance after stroke during reaching and drinking from a glass
Bustrén et al. Movement kinematics of the ipsilesional upper extremity in persons with moderate or mild stroke
Fritz et al. The impact of dynamic balance measures on walking performance in multiple sclerosis
JP7057589B2 (ja) 医療情報処理システム、歩行状態定量化方法およびプログラム
JP2011520207A (ja) 治療計画の立案を支援するシステム及び方法
Feng et al. Teaching training method of a lower limb rehabilitation robot
Lin et al. Investigating the feasibility and acceptability of real-time visual feedback in reducing compensatory motions during self-administered stroke rehabilitation exercises: A pilot study with chronic stroke survivors
Haddas et al. Functional balance testing in cervical spondylotic myelopathy patients
Vyas et al. Case study on state-of-the-art wellness and health tracker devices
Nasrabadi et al. A new scheme for the development of IMU-based activity recognition systems for telerehabilitation
Bleser et al. Development of an inertial motion capture system for clinical application: Potentials and challenges from the technology and application perspectives
Chesebrough et al. The treadport: natural gait on a treadmill
CN115410707B (zh) 一种膝关节骨性关节炎的远程诊疗及康复系统
WO2022260046A1 (ja) 被験者の状態を推定するためのコンピュータシステム、方法、およびプログラム
US12009083B2 (en) Remote physical therapy and assessment of patients
Wai et al. Development of holistic physical therapy management system using multimodal sensor network
Sprint et al. Designing wearable sensor-based analytics for quantitative mobility assessment
Gegenbauer An interdisciplinary clinically-oriented evaluation framework for gait analysis after stroke
WO2022201418A1 (ja) 運動支援装置、運動支援方法及び記録媒体
Talebi et al. A machine learning-based model to evaluate multiple sclerosis predictor factors with emphasis on neurophysiological indices of physical activity
Scott Dynamic stability monitoring of complex human motion sequences via precision computer vision
US20240149115A1 (en) Method and system for providing digitally-based musculoskeletal rehabilitation therapy

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2022566687

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22820225

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22820225

Country of ref document: EP

Kind code of ref document: A1