WO2022158490A1 - 予測システム、制御方法、および制御プログラム - Google Patents

予測システム、制御方法、および制御プログラム Download PDF

Info

Publication number
WO2022158490A1
WO2022158490A1 PCT/JP2022/001798 JP2022001798W WO2022158490A1 WO 2022158490 A1 WO2022158490 A1 WO 2022158490A1 JP 2022001798 W JP2022001798 W JP 2022001798W WO 2022158490 A1 WO2022158490 A1 WO 2022158490A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction
information
image
subject
intervention
Prior art date
Application number
PCT/JP2022/001798
Other languages
English (en)
French (fr)
Inventor
健一 渡辺
政之 京本
昌彦 橋田
信太郎 本多
直哉 和田
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to AU2022209591A priority Critical patent/AU2022209591A1/en
Priority to CN202280010250.6A priority patent/CN116724360A/zh
Priority to JP2022576720A priority patent/JPWO2022158490A1/ja
Priority to EP22742612.9A priority patent/EP4283631A1/en
Priority to US18/273,192 priority patent/US20240119587A1/en
Publication of WO2022158490A1 publication Critical patent/WO2022158490A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present disclosure relates to a prediction system, control method, and control program for predicting the state of a target part of the human body.
  • Patent Document 1 As described in Patent Document 1, it has been devised to support the diagnosis of osteoporosis using a neural network.
  • a prediction system includes (a) a subject image showing a target part of a subject at a first time point, and (b) the a prediction information acquiring unit that acquires first prediction information about a target part; and generates and outputs a prediction image that predicts the state of the target part at the second point in time from the first prediction information and the subject image. and a predicted image generator.
  • a control method is a control method of a prediction system, comprising: (a) a subject image showing a target part of a subject at a first time point; and (b) the first time point a prediction information acquiring step of acquiring first prediction information about the target part at a second time point after a predetermined period has elapsed since the state of the target part at the second time point from the first prediction information and the subject image and a predicted image generation step of generating and outputting a predicted image predicted by the prediction system, a predicted image generation model capable of generating the predicted image using the subject image and the first prediction information have.
  • the prediction system according to each aspect of the present disclosure may be realized by a computer.
  • the prediction system is operated by the computer by operating the computer as each part (software element) provided in the prediction system.
  • a control program for a prediction system to be realized and a computer-readable recording medium recording it are also included in the scope of the present disclosure.
  • the prediction system When the prediction system is realized by a plurality of computers, the prediction system may be realized by a computer by operating each computer as each part (software element) provided in each of the plurality of computers that make up the prediction system. good.
  • FIG. 1 is a block diagram illustrating a configuration example of a prediction system according to one aspect of the present disclosure
  • FIG. FIG. 11 is a block diagram showing a configuration example of a prediction system according to another aspect of the present disclosure
  • 1 is a block diagram illustrating an example configuration of a prediction system according to one aspect of the present disclosure
  • FIG. It is a figure which shows an example of a structure of the neural network which a prediction image production
  • 4 is a flow chart showing an example of the flow of processing performed by the prediction system according to the first embodiment
  • FIG. 4 is a block diagram showing an example of a configuration of a prediction system according to another aspect of the present disclosure
  • FIG. 9 is a flow chart showing an example of the flow of processing performed by the prediction system according to the second embodiment
  • FIG. 4 is a block diagram showing an example of a configuration of a prediction system according to another aspect of the present disclosure
  • FIG. 4 is a flow chart showing an example of the flow of learning processing of a neural network of a prediction information generation unit
  • 9 is a flow chart showing another example of the flow of processing performed by the prediction system according to the second embodiment
  • FIG. 4 is a block diagram showing an example of a configuration of a prediction system according to another aspect of the present disclosure
  • FIG. 4 is a flow chart showing an example of the flow of learning processing of a neural network of an intervention effect prediction unit; 14 is a flow chart showing an example of the flow of processing performed by the prediction system according to the third embodiment;
  • a prediction system is a system that generates and outputs a prediction image that predicts a state change of a target part of a subject's body.
  • the target part may be any part of the subject's body, for example, the whole body, head, eyes, oral cavity, neck, arms, hands, torso, waist, buttocks, legs. It may be either the part, the foot part, or the like.
  • the predicted image may be an image obtained by predicting a state change of any one of skin, hair, eyeballs, teeth, gums, muscles, fat, bones, cartilage, joints, intervertebral discs, etc. of the target site.
  • the predicted image may be an image that predicts the changes that will occur in the target part of the subject affected by the disease.
  • the predicted image is the shape of the target part of the subject (e.g., waist circumference, chest circumference, height, swelling, atrophy, joint angle and curvature, etc.) and appearance (e.g., posture, wrinkles, spots, redness, turbidity, darkening, yellowing etc.).
  • the subject may have a disease in his/her target area.
  • the predicted image may be an image obtained by predicting a change in symptoms at the target site of the subject due to the influence of the disease.
  • a prediction system that generates and outputs a prediction image that predicts a change in symptoms at a target site of a subject will be described as an example.
  • the predicted image is an image showing the effect of the subject's disease on the target site.
  • an image showing the effect on the target site is any image that shows changes in the shape of the target site affected by the disease, qualitative or quantitative changes that occur in the tissue of the target site due to the disease, etc. may be an image of
  • the disease may comprise at least one of obesity, alopecia, cataracts, periodontal disease, rheumatoid arthritis, Heberden's nodes, hallux valgus, osteoarthritis, spondylosis osteoarthritis, compression fractures and sarcopenia.
  • Diseases may include (i) syndromes such as metabolic syndrome, locomotive syndrome, etc., which exhibit a coherent pathological condition formed by a group of various symptoms, and (ii) physical changes such as aging and tooth alignment.
  • the prediction system generates a predicted image that predicts the symptoms at the target site at the second time point after a predetermined period from the first time point, based on the subject image showing the subject's target site at the first time point.
  • subject image may mean image data representing the subject image.
  • the first point in time may be, for example, the point in time at which the subject's image of the subject's target region is acquired.
  • the first point in time may typically be the point in time at which a subject image of the subject's current target site condition is acquired. That is, the first point in time may substantially mean the present point in time.
  • the predetermined period may be any period that has passed since the first time point, and may be half a year, one year, five years, or ten years. It may be 50 years. That is, the second point in time may be intended to be substantially any point in time in the future.
  • the predetermined period is not limited to one period, and may include multiple periods. That is, the predicted image is an image generated by predicting the symptoms of the target part of the subject at a plurality of time points such as half a year, one year, five years, ten years, and fifty years after the first time point. may contain.
  • a subject image is an image showing the target part of the subject at the first time point.
  • the subject image may be an external image of any one of the subject's whole body, head, upper body, lower body, upper limbs, and lower limbs.
  • the subject image may be a medical image of a target portion of the subject for examination of the subject. Medical images include at least one of X-ray images of the subject, CT (Computed Tomography) images, MRI (Magnetic Resonance Imaging) images, PET (Positron Emission Tomography) images and ultrasound images good.
  • the subject image includes the shape (e.g., waist circumference, chest circumference, height, swelling, atrophy, joint angle and curvature, etc.) and appearance (e.g., posture, wrinkles, blotches, redness, turbidity, etc.) of the subject's target part. , darkening, yellowing, etc.).
  • shape e.g., waist circumference, chest circumference, height, swelling, atrophy, joint angle and curvature, etc.
  • appearance e.g., posture, wrinkles, blotches, redness, turbidity, etc.
  • the prediction system uses the first prediction information about the target part at the second time point in addition to the subject image to generate the prediction image.
  • the first prediction information may be information about the symptoms of the target part of the subject at the second time point.
  • the first prediction information includes information indicating the symptoms of the target site of the subject at a plurality of time points such as half a year, one year, five years, ten years, and fifty years after the first time point.
  • the first prediction information is, for example, information that includes predictions about symptoms that are likely to occur in the target region of the subject, when the symptoms will occur, and the degree of progress of the symptoms in the target region of the subject.
  • the first prediction information may be information about at least one of the shape and appearance of the target part of the subject at the second time point.
  • the shape of the subject's target part e.g., waist circumference, chest circumference, height, etc.
  • it may be information indicating at least one of appearance (eg, posture, wrinkles, blemishes, etc.).
  • the first prediction information may be information related to at least one of the shape and appearance of the target site, which is related to the disease of the target site.
  • the first prediction information may include the following information as information with a high possibility that the target part of the subject will change.
  • the first prediction information is, for example, (i) information related to obesity, such as body weight, body mass index (BMI), abdominal circumference, visceral fat amount, blood pressure, blood sugar level, lipid, uric acid level, liver function value, etc.
  • (ii) as information related to alopecia it may contain information related to the number of hairs, sex hormone values, Norwood classification, Ludwig classification, etc.; (iii) as information related to cataract , visual acuity, field of vision, degree of turbidity, Emery-Little classification, etc., and (iv) information related to periodontal disease, such as degree of pain / swelling, number of remaining teeth, gingivitis (v) information related to rheumatoid arthritis, such as pain level, swelling level, joint angle, joint range of motion, Larsen classification, Stein blocker classification, etc.
  • information related to Hebaden's node may contain information related to the degree of pain, degree of swelling, joint range of motion, etc.
  • information related to hallux valgus may include information on the degree of pain, degree of swelling, joint range of motion, HV angle, M1-M2 angle, etc.
  • information related to osteoarthritis such as the degree of pain and swelling degree, joint angle, joint range of motion, degree of stiffness, thickness of joint cartilage, Kellgren-Laurence (KL) classification, presence or absence of lameness, etc.
  • (ix) degenerative spondylosis In the case, it may include information on the degree of pain, the degree of curvature of the spine, the range of motion of the spine, the KL classification, etc.
  • Information related to sarcopenia may include information related to muscle mass, walking speed, grip strength, and the like.
  • the prediction system is based on the subject image showing the target part of the subject at the first time point and the first prediction information regarding the target part at the second time point after the predetermined period has elapsed from the first time point. Then, a prediction image that predicts the state of the target part at the second time is generated and output.
  • the prediction system can output the state of the target part at the second time point as a visually easy-to-understand predicted image.
  • the predicted image is generated from the target person image, which is the image of the target person, the predicted image is a realistic image that is persuasive to the target person. Therefore, for example, if a doctor in charge of the subject presents it to the subject, the subject can recognize the state of the target site at the second time point, and the subject can easily understand the necessity of intervention. can be done.
  • the predicted image may be an image simulating an exterior image of any one of the subject's whole body, head, upper body, lower body, upper limbs, and lower limbs.
  • the predicted image may be an image simulating a medical image of the subject's target region obtained in the process of examining the subject.
  • the predicted image is the shape (e.g., waist circumference, chest circumference, height, swelling, atrophy, joint angle and curvature, etc.) and appearance (e.g., posture, wrinkles, spots, redness, turbidity, It may be an image showing at least one of blackening, yellowing, etc.).
  • the subject image is an appearance image showing the current appearance of the subject's skin (for example, wrinkles, spots, redness, turbidity, darkening, yellowing, etc.), and the first prediction information is the subject's future skin If the information is about the degree of wrinkles, the degree of blemishes, the degree of redness, the degree of turbidity, the degree of darkening or the degree of yellowing, based on the subject image and the first prediction information, the prediction system predicts the subject's An image showing the future skin appearance can be output as a predicted image.
  • the prediction system may generate the following two images: Output as predicted images: (1) A medical image indicating the current joint angles of the subject and a medical image indicating the future joint angles of the subject based on the first prediction information are output as predicted images. (2) An appearance image showing the current joint appearance of the subject and an image showing the future joint appearance of the subject based on the first prediction information can be output as predicted images.
  • FIG. 1 shows the configuration of a prediction system 100 including a prediction device 1 that acquires a target person image and first prediction information, and generates and outputs a prediction image from the target person image based on the first prediction information.
  • the prediction device 1 of the prediction system 100 can function alone as the prediction system described above.
  • FIG. 1 is a block diagram showing a configuration example of a prediction system 100 in a medical facility 5 into which a prediction device 1 has been introduced.
  • the prediction system 100 includes a prediction device 1 and one or more terminal devices 2 communicatively connected to the prediction device 1.
  • the prediction system 100 may include the prediction device 1 and a device (for example, the terminal device 2) capable of presenting the prediction image output from the prediction device 1.
  • FIG. 1 the prediction device 1 and a device (for example, the terminal device 2) capable of presenting the prediction image output from the prediction device 1.
  • the prediction device 1 is a computer that acquires a target person image and first prediction information, generates a predicted image from the target person image based on the first prediction information, outputs the predicted image, and transmits the predicted image to the terminal device 2.
  • the prediction device 1 may be connected to the LAN of the medical facility 5 as shown in FIG. The configuration of the prediction device 1 will be described later.
  • the terminal device 2 receives the predicted image from the prediction device 1 and presents the predicted image.
  • the terminal device 2 may be a computer or the like used by medical personnel such as doctors belonging to the medical facility 5 .
  • the terminal device 2 may be connected to the LAN of the medical facility 5 as shown in FIG.
  • the terminal device 2 may be, for example, a personal computer, a tablet terminal, a smart phone, or the like.
  • the terminal device 2 has a communication section for transmitting and receiving data with other devices, an input section such as a keyboard and a microphone, a display section capable of displaying a predicted image, and the like.
  • the prediction device 1 and the terminal device 2 are provided separately, but the prediction device 1 and the terminal device 2 may be integrated.
  • the prediction device 1 may have the functions of the terminal device 2 by having a display unit capable of displaying a prediction image.
  • the prediction system 100 may further include a first prediction information management device 3, a subject image management device 4, and an electronic medical record management device 9.
  • the first prediction information management device 3 is a computer that functions as a server for managing first prediction information.
  • the first predictive information management device 3 may be connected to the LAN of the medical facility 5, as shown in FIG. In this case, the prediction device 1 may acquire the first prediction information of the subject from the first prediction information management device 3 .
  • the subject image management device 4 is a computer that functions as a server for managing subject images.
  • the subject image management device 4 may capture an image of a subject who has undergone a medical examination regarding the state of the target site at the medical facility 5 .
  • the subject image may be a medical image captured within the medical facility 5 .
  • the subject image management device 4 may be communicably connected to an imaging device such as an X-ray imaging device in the medical facility 5, for example.
  • the image captured by the image capturing device may be recorded in the subject image management device 4 via, for example, a LAN.
  • the subject image management device 4 may be connected to the LAN of the medical facility 5 as shown in FIG.
  • the prediction device 1 may acquire the target person image from the target person image management device 4 .
  • the electronic medical record management device 9 is a computer that functions as a server for managing electronic medical record information of subjects who have been examined at the medical facility 5 .
  • the electronic medical record management device 9 may be connected to the LAN of the medical facility 5 as shown in FIG.
  • the prediction device 1 may acquire basic information related to the subject from the electronic medical record management device 9 .
  • the basic information is information included in the electronic medical record information, and is at least one of the subject's sex, age, height, weight, and information indicating the state of the subject's target part at the first point in time. may contain
  • a LAN local area network
  • a prediction device 1 is arranged in a medical facility 5, a prediction device 1, a terminal device 2, a first prediction information management device 3, a subject image management device 4, and an electronic medical record management device.
  • the network within the medical facility 5 may employ the Internet, a telephone communication network, an optical fiber communication network, a cable communication network, a satellite communication network, or the like.
  • the LAN within the medical facility 5 may be communicably connected to an external communication network.
  • the terminal device 2 may be a computer or the like used by the patient.
  • the prediction device 1 and at least one of the terminal device 2, the first prediction information management device 3, the subject image management device 4, and the electronic medical record management device 9 are directly connected without via a LAN.
  • the number of terminal devices 2, first prediction information management device 3, subject image management device 4, and electronic medical record management device 9 that can communicate with prediction device 1 may be plural.
  • multiple prediction devices 1 may be introduced.
  • the prediction device 1 may be communicably connected to a LAN installed in each of a plurality of medical facilities 5 via a communication network 6 instead of a computer installed in a predetermined medical facility 5 .
  • FIG. 2 is a block diagram showing a configuration example of a prediction system 100a according to another aspect of the present disclosure.
  • the medical facility 5a includes a terminal device 2a, a subject image management device 4a, and an electronic medical record management device 9a, which are communicably connected.
  • the medical facility 5b includes a terminal device 2b, a subject image management device 4b, and an electronic medical record management device 9b, which are communicably connected.
  • terminal device 2 terminal device 2
  • medical facility 5" medical facility 5"
  • FIG. 2 shows an example in which the LANs of the medical facility 5a and the medical facility 5b are connected to the communication network 6.
  • the prediction device 1 is not limited to the configuration shown in FIG.
  • the prediction device 1 and the first prediction information management device 3 may be installed in the medical facility 5a or the medical facility 5b.
  • the prediction system 100a adopting such a configuration may have a first prediction information management device 3a installed in the medical facility 5a and a first prediction information management device 3b installed in the medical facility 5b.
  • the prediction device 1 can acquire the first prediction information and the subject image of the subject Pa from the first prediction information management device 3a and the subject image management device 4a of the medical facility 5a, respectively.
  • the prediction device 1 can transmit a prediction image that predicts the state of the target part of the subject Pa to the terminal device 2a installed in the medical facility 5a.
  • the prediction device 1 can acquire the first prediction information and the subject image of the subject Pb from the first prediction information management device 3b and the subject image management device 4b of the medical facility 5b, respectively.
  • the prediction device 1 can transmit a prediction image that predicts the state of the target part of the subject Pb to the terminal device 2b installed in the medical facility 5b.
  • the first prediction information of each subject and the subject image include identification information unique to each medical facility 5 given to each medical facility 5 that examines each subject, and It suffices if the identification information unique to each given subject is included.
  • the identification information unique to each medical facility 5 may be, for example, a facility ID. Further, the identification information unique to each subject may be, for example, a patient ID. Based on these pieces of identification information, the prediction device 1 can correctly transmit a predicted image that predicts the state of the target part of the subject to the terminal device 2 of each medical facility 5 where the subject has been examined. .
  • FIG. 3 is a block diagram illustrating an example configuration of a prediction system 100, 100a according to one aspect of the present disclosure.
  • members having the same functions as the members already explained are denoted by the same reference numerals, and the explanation thereof will not be repeated.
  • the prediction systems 100 and 100a shown in FIG. 3 include a prediction device 1, one or more terminal devices 2 communicably connected to the prediction device 1, a first prediction information management device 3, and a subject image management device 4, It has
  • the prediction device 1 includes a control unit 7 that controls each unit of the prediction device 1 and a storage unit 8 that stores various data used by the control unit 7 .
  • the control unit 7 includes a prediction information acquisition unit 71 , a prediction image generation unit 72 and an output control unit 73 .
  • the storage unit 8 stores a control program 81 that is a program for performing various controls of the prediction device 1 .
  • the prediction information acquisition unit 71 acquires the target person image from the target person image management device 4 and acquires the first prediction information from the first prediction information management device 3 .
  • the target person image and the first prediction information are input data input to the prediction image generator 72 .
  • the subject image and the first prediction information will be explained using several diseases as examples.
  • the subject image may be an image showing the current subject's whole body or abdomen
  • the first prediction information is the subject's weight, BMI, waist circumference, and visceral fat amount.
  • blood pressure blood sugar level, lipid, uric acid level or liver function value.
  • the subject image is an image showing the current subject's whole body or head
  • the first prediction information is the subject's hair count, sex hormone value, Norwood classification, or Ludwig It may be information about classification.
  • the subject image is an image showing the subject's current head (face) or eyes
  • the first prediction information is the subject's visual acuity, visual field, and eye lens. It may be information about the degree of turbidity or the Emery-Little classification.
  • the subject image is an image showing the subject's current head (face) or oral cavity
  • the first prediction information is the pain of the subject's teeth or gums. It may be information about extent, extent of tooth or gum swelling, number of remaining teeth, gingivitis index or periodontal pocket depth. If the disease is periodontal disease, the subject image may be an image showing an open mouth or an image showing a closed mouth.
  • the subject image is an image showing the subject's current whole body, upper limbs, or lower limbs
  • the first prediction information is the degree of pain in the subject's whole body, upper limbs, or lower limbs.
  • degree of swelling, joint angle, joint range of motion Larsen classification or Stein blocker classification.
  • the subject image is an image showing the subject's current hand
  • the first predictive information is the degree of pain, degree of swelling, or degree of joint of the subject's hand.
  • Information about the movable range may be used.
  • the subject image is an image showing the current foot of the subject
  • the first prediction information is the degree of pain, the degree of swelling, and the degree of joint mobility of the subject's foot. It may be information about range, HV angle or M1-M2 angle.
  • the subject image is an image showing the subject's current whole body, upper limbs, or lower limbs
  • the first predictive information is the pain of the subject's whole body, upper limbs, or lower limbs. degree of swelling, joint angle, joint range of motion or KL classification.
  • the subject image is an image showing the subject's current whole body, neck, chest, or waist
  • the first prediction information is the degree of curvature of the subject's spine
  • the first prediction information is the degree of curvature of the subject's spine
  • the first prediction information is the degree of curvature of the subject's spine, the range of motion of the spine, or K It may be information about the -L classification.
  • the subject image may be an image showing the subject's current whole body, upper limbs, or lower limbs
  • the first prediction information may be information about the subject's muscle mass.
  • the subject image may be a medical image taken during diagnosis of each disease.
  • the disease is knee osteoarthritis
  • the subject image is an X-ray image showing the current subject's knee joint
  • the first prediction information is the subject's tibia and femur two years later. It may be information about an angle formed by and.
  • the predicted image generation unit 72 Based on the first prediction information, the predicted image generation unit 72 generates and outputs a predicted image that predicts the state of the target part at the second point in time from the subject image.
  • the predicted image generation unit 72 may generate an image simulating at least part of the subject image used to generate the predicted image.
  • the predicted image generated by the predicted image generation unit 72 may be an image showing the effect of a disease occurring in a target region on the target region.
  • the generated predicted images may include images associated with parts of the subject that have not changed from the first time point at the second time point. That is, the predicted image may include an image associated with a part that changed from the first time point to the second time point and an image associated with a part that did not change from the first time point to the second time point.
  • the predicted image generation unit 72 may have any known image editing function and video editing function.
  • the predicted image generator 72 converts the subject image into an editable file format, and then modifies the subject image based on the first prediction information to generate the predicted image.
  • the first prediction information is information about the angle formed by the subject's tibia and femur two years later
  • the predicted image generation unit 72 converts the subject image into a predetermined file format.
  • the predicted image generator 72 may generate a predicted image by changing the angle formed by the tibia and the femur appearing in the subject image after converting the file format based on the first prediction information.
  • the predicted image generation unit 72 may have a predicted image generation model that can generate a predicted image using the subject image and the first prediction information.
  • the predictive image generation model may be a neural network trained using a plurality of image data showing target parts as training data.
  • a convolutional neural network (CNN), a generative adversarial network (GAN), an autoencoder, or the like may be applied as a predictive image generation model.
  • the predicted image generation unit 72 inputs the subject image and the first prediction information to the predicted image generation model and outputs the predicted image.
  • the predicted image generation unit 72 outputs the predicted image output from the predicted image generation model (that is, generated by the predicted image generation unit 72).
  • a predicted image generation model is a calculation model used when the predicted image generation unit 72 performs calculations based on input data.
  • a predicted image generation model is generated by executing machine learning, which will be described later, on the neural network of the predicted image generation unit 72 .
  • the output control unit 73 transmits the predicted image output from the predicted image generation unit 72 to the terminal device 2 .
  • the output control unit 73 may transmit at least one of the target person image and the first prediction information used to generate the predicted image to the terminal device 2 together with the predicted image.
  • the prediction device 1 may be configured to include a display unit (not shown).
  • the output control section 73 may cause the display section to display the predicted image.
  • the output control unit 73 may cause the display unit to display at least one of the target person image and the first prediction information used to generate the predicted image together with the predicted image.
  • the prediction system 100, 100a By providing the predicted image generation unit 72 having the predicted image generation model, the prediction system 100, 100a generates and outputs a realistic predicted image in which the state of the target part at the second point in time is reflected in the image of the subject. be able to. As a result, the prediction systems 100 and 100a can allow the subject to clearly recognize the state of the target part at the second time point.
  • a trained prediction image generation model may be installed in the prediction device 1 in advance.
  • the prediction device 1 may further include a first learning section 74 that performs learning processing for the predicted image generation section 72 .
  • the first learning section 74 controls learning processing for the neural network of the predicted image generating section 72 .
  • FIG. 4 is a diagram showing an example of the configuration of a neural network included in the predicted image generation unit 72. As shown in FIG.
  • the predictive image generation model applying the adversarial generation network has two networks: a generator network (hereinafter referred to as generator 721) and a discriminator network (hereinafter referred to as discriminator 722). have.
  • the generator 721 can generate an image that looks like a real image as a predicted image from the first predicted information and the subject image.
  • the discriminator 722 can discriminate between the image data (fake image) from the generator 721 and the real image from the first training data set 82, which will be described later.
  • the first learning unit 74 acquires the subject image and the first prediction information from the storage unit 8 and inputs them to the generator 721 .
  • a generator 721 generates a predicted image candidate (fake image) from the subject image and the first prediction information.
  • the generator 721 may refer to real images included in the first training data set 82 to generate predicted image candidates.
  • the first learning data set 82 is data used for machine learning to generate a predictive image generation model.
  • the first training data set 82 may contain any real image that the generator 721 aims to reproduce as faithfully as possible.
  • the first training data set 82 may contain real medical images captured in the past.
  • the medical image includes, for example, at least one of X-ray image data, CT image data, MRI image data, PET image data, and ultrasound image data obtained by imaging target regions of each of a plurality of patients. You can
  • the first learning data set 82 may include first learning data and first teacher data.
  • the first learning data is, for example, data of the same type as the subject image and data of the same type as the first prediction information.
  • Data of the same type as the subject's image is image data of the same target part as the target part shown in the subject's image from the same angle, and image data of the same type, such as medical images or external images.
  • Data of the same kind as the first predictive information means that, when the first predictive information is information related to the shape and appearance of the target part related to the disease, it is related to the shape and appearance of the same target part related to the same disease. Information to be intended.
  • the first training data is data of the same type as the predicted image, and is data of the same person whose time has passed since the first learning data.
  • the first teacher data is data related to "data of the same kind as the first prediction information", which is the first learning data.
  • Data of the same type as the predicted image means image data of the same target region as the target region shown in the predicted image from the same angle, and image data of the same type, such as medical images or external images. do.
  • the first learning unit 74 inputs the predicted image candidate generated by the generator 721 and the real image included in the first training data set 82 to the classifier 722 .
  • the discriminator 722 takes as inputs the real images from the first training data set 82 and the predicted image candidates generated by the generator 721 and outputs for each image the probability that it is the real image. .
  • the first learning unit 74 calculates a classification error that indicates how accurate the probability output by the discriminator 722 is.
  • the first learning unit 74 iteratively improves the discriminator 722 and the generator 721 using the error backpropagation method.
  • the weights and biases of classifier 722 are updated to minimize classification error (ie, to maximize classification performance).
  • the generator 721 weights and biases are updated to maximize the classification error (ie, maximize the probability that the classifier 722 mistakes a predicted image candidate for the real image).
  • the first learning unit 74 updates the weight and bias of the classifier 722 and the weight and bias of the generator 721 until the probability output by the classifier 722 satisfies a predetermined criterion.
  • the predicted image generator 72 can generate a predicted image that is indistinguishable from the real thing.
  • FIG. 5 is a flowchart showing an example of the flow of processing performed by the prediction systems 100 and 100a according to this embodiment.
  • step S1 the prediction information acquisition unit 71 acquires a subject image and first prediction information (input data) (prediction information acquisition step).
  • the predicted image generation unit 72 generates a predicted image and outputs the predicted image in step S2 (predicted image generation step).
  • the prediction systems 100 and 100a include the prediction device 1 that acquires the first prediction information from the first prediction information management device 3, but are not limited to this.
  • the configuration may be such that the prediction device 1A generates the first prediction information. Configurations of prediction systems 100 and 100a including such a prediction device 1A will be described with reference to FIG.
  • FIG. 6 is a block diagram illustrating an example configuration of a prediction system 100, 100a according to another aspect of the present disclosure.
  • the prediction device 1A includes a control unit 7A that controls each unit of the prediction device 1A in an integrated manner, and a storage unit 8 that stores various data used by the control unit 7A.
  • the control unit 7A further includes a prediction information generation unit 75 in addition to the prediction information acquisition unit 71, the prediction image generation unit 72, and the output control unit 73. FIG.
  • FIG. 6 shows an example in which the prediction device 1A includes the first learning unit 74, it is not limited to this.
  • a learned predictive image generation model may be pre-installed in the prediction device 1A.
  • the prediction information generation unit 75 generates first prediction information about the target part at the second time point after a predetermined period from the first time point from the subject image showing the target part of the subject at the first time point, The first prediction information is output to the prediction information acquisition unit 71 .
  • the prediction information generation unit 75 may have a prediction information generation model that can estimate the first prediction information from the subject image.
  • the predictive information generation model is a model capable of estimating the first predictive information from the subject's subject image and the subject's basic information.
  • the predictive information generation model may be a neural network trained using patient information regarding a patient having a disease of the target site as training data.
  • a convolutional neural network CNN: convolutional neural network
  • RNN recurrent neural network
  • LSTM Long Short-Term Memory
  • the patient information includes, for example, state information indicating the state of the target part of each patient acquired at a plurality of times in the past, and indicates the state information for each patient and the time when the state information was acquired.
  • Information is information with which information is associated.
  • the prediction information generation unit 75 inputs data related to the subject image to the prediction information generation model and outputs the first prediction information.
  • the prediction information generation unit 75 outputs the first prediction information output from the prediction information generation model (that is, generated by the prediction information generation unit 75).
  • a prediction information generation model is a calculation model used when the prediction information generation unit 75 performs calculations based on input data.
  • a prediction information generation model is generated by executing machine learning, which will be described later, on the neural network of the prediction information generation unit 75 .
  • FIG. 7 is a diagram showing an example of the configuration of a neural network included in the prediction information generation unit.
  • the prediction information generation unit 75 includes an input layer 751 and an output layer 752.
  • the prediction information generation unit 75 performs calculations based on the prediction information generation model on input data input to the input layer 751 and outputs prediction information from the output layer 752 .
  • the prediction information generation unit 75 in FIG. 7 includes a neural network up to an input layer 751 and an output layer 752.
  • the neural network may be any neural network suitable for handling time-series information. For example, LSTM or the like may be used.
  • the neural network may be a neural network suitable for combined handling of time-series information and location information. For example, a ConvLSTM network that combines CNN and LSTM may be used.
  • the input layer 751 is capable of extracting time-varying feature amounts of input data.
  • the output layer 752 can calculate a new feature amount based on the feature amount extracted by the input layer 751, the temporal change of the input data, and the initial value.
  • Input layer 751 and output layer 752 have multiple LSTM layers. Each of input layer 751 and output layer 752 may have three or more LSTM layers.
  • the input data input to the input layer 751 may be, for example, a parameter indicating a feature amount extracted from the subject's image showing the subject's target part at the first time point.
  • the prediction information generating section 75 can output the first prediction information regarding the target part at the second point in time when the predetermined period has elapsed from the first point in time.
  • the prediction information generation unit 75 outputs, as the first prediction information, for example, a prediction result of the degree of onset or progression of the disease related to the target site of the subject at the second time point after a predetermined period has elapsed from the first time point. Specifically, the prediction information generation unit 75 generates, as the first prediction information, for example, the degree of symptoms of each disease at the second time point of the subject, the classification of each disease, and the target site requiring invasive treatment. Output information such as the time.
  • the first prediction information shown here is an example, and is not limited to these.
  • the prediction information generation unit 75 may output information indicating the subject's QOL as the third prediction information based on the above-described first prediction information. Specifically, the prediction information generation unit 75 generates, as the third prediction information, information about the pain occurring in the target site of the subject, information about the subject's catastrophic thinking, information about the exercise ability of the subject, At least one of information indicating the subject's degree of life satisfaction and information such as the degree of stiffness of the target site of the subject is output.
  • the information indicating the subject's QOL is information including at least one of the following. ⁇ Information about the subject's catastrophic thinking ⁇ Information about the subject's exercise ability ⁇ Information indicating the subject's life satisfaction level.
  • the information indicating the subject's QOL includes the subject's (1) physical function, (2) daily role function (body), (3) body pain, (4) overall health, (5) vitality, ( It may include information on 6) social functioning, (7) daily role functioning (mental), and (8) mental health.
  • SF-36 36-Item. Short-Form Health Survey
  • VAS Visual analog scale
  • NEI VFQ-25 The 25-item National Eye Institute Visual Function Questionnaire
  • GOHAI General Oral Health Assessment Index
  • WOMAC Western Ontario and McMaster Universities Osteoarthritis Index
  • RDQ Raland-Morris Disability Questionnaire
  • the prediction information generation unit 75 should generate at least part of the first prediction information used by the prediction image generation unit 72 to generate the prediction image. In that case, the remaining first prediction information may be obtained from the first prediction information management device 3 by the prediction information acquisition unit 71 .
  • FIG. 8 is a flow chart showing an example of the flow of processing performed by the prediction systems 100 and 100a of the second embodiment.
  • step S11 the prediction information generation unit 75 acquires the subject image (input data) (image acquisition step).
  • the prediction information generation unit 75 generates first prediction information in step S12 and outputs the first prediction information to the prediction information acquisition unit 71 (first prediction step).
  • the prediction information acquisition unit 71 obtains (a) the first prediction information acquired from the prediction information generation unit 75, and (b) whether the first prediction information was acquired from the subject image management device 4 before acquisition of the first prediction information. , or a target person image (input data) acquired simultaneously with or after acquisition of the first prediction information is input to the prediction image generation unit 72 (not shown).
  • the predicted image generation unit 72 generates a predicted image and outputs the predicted image in step S13 (predicted image generation step).
  • the prediction information generation unit 75 generates the first prediction information based on the subject image.
  • the prediction information generation unit 75B generates the first prediction information based on the basic information in addition to the subject image.
  • Configurations of prediction systems 100 and 100a including such a prediction device 1B will be described with reference to FIG.
  • FIG. 9 is a block diagram illustrating a variation of the configuration of prediction systems 100, 100a according to another aspect of the present disclosure.
  • the prediction device 1B further has a prediction information generation section 75B in the control section 7B.
  • the prediction device 1B includes a control unit 7B that controls each unit of the prediction device 1B, and a storage unit 8B that stores various data used by the control unit 7B.
  • the control unit 7B further includes a prediction information generation unit 75B and a basic information acquisition unit 76 in addition to the prediction information acquisition unit 71, the prediction image generation unit 72, and the output control unit 73.
  • the prediction device 1B obtains information about a symptom that can occur in the target site at the second time point or is closer to the symptom that has occurred, that is, more accurate first prediction information, from the image of the subject captured at the first time point. can be generated based on As a result, the prediction device 1B can generate an image showing a symptom that can occur in the target region at the second time point or that is closer to the symptom that has occurred, that is, a prediction image showing more accurate prediction information.
  • the basic information acquisition unit 76 acquires basic information, which is information related to the subject, from the electronic medical record management device 9 .
  • the electronic medical record management device 9 is a computer that functions as a server for managing electronic medical record information of subjects who have been examined at the medical facility 5 or medical facilities other than the medical facility 5 .
  • the electronic medical record information may include the subject's basic information and interview information.
  • the basic information is input data input to the prediction information generation unit 75B in addition to the subject image.
  • the basic information is information including at least one of the subject's sex, age, height, weight, and information indicating the state of the target part of the subject at the first time point.
  • the basic information includes at least one of the subject's BMI, race, occupational history, exercise history, disease history related to the target site, information regarding the shape and appearance of the target site, biomarker information, and genetic information. It may contain further.
  • the basic information may also include, for example, information such as the degree of disease symptoms related to the subject's target site.
  • the basic information may include, for example, information included in the subject's electronic medical record information.
  • the basic information may be interview information obtained from the subject by interview conducted at the medical facility 5 or the like, and may include, for example, information related to the subject's QOL at the first time point.
  • the prediction device 1B acquires the subject's basic information from the electronic medical record management device 9 in addition to the subject's image, and stores the target region of the subject Pa in the terminal device 2a installed in the medical facility 5a. It is possible to transmit a predicted image that predicts the state of The prediction device 1B acquires the subject's basic information from the electronic medical record management device 9 in addition to the subject's image, and predicts the state of the target part of the subject Pb to the terminal device 2b installed in the medical facility 5b. Images can be sent.
  • a learned prediction information generation model may be pre-installed in the prediction device 1B.
  • the prediction device 1B may further include a second learning section 77 that performs learning processing for the prediction information generating section 75B.
  • the second learning section 77 controls learning processing for the neural network of the prediction information generating section 75B.
  • a second learning data set 83 which will be described later, is used for this learning.
  • a specific example of learning performed by the second learning unit 77 will be described later.
  • FIG. 10 is a flow chart showing an example of the flow of learning processing of the neural network of the prediction information generator 75B.
  • the second learning unit 77 acquires the second learning data included in the second learning data set 83 from the storage unit 8B (step S21).
  • the second learning data includes patient images of multiple patients.
  • the second learning unit 77 determines a certain patient (step S22).
  • the second learning unit 77 inputs the patient image of a certain patient at time point A, which is included in the second learning data, to the input layer 751 (step S23).
  • the input layer 751 may extract parameters representing feature amounts from the input patient image.
  • the second learning unit 77 acquires output data related to the symptom of the target part of the patient from the output layer 752 (step S24).
  • This output data contains the same content as the second teacher data.
  • the second learning unit 77 acquires the second teacher data included in the second learning data set 83. Then, the second learning unit 77 compares the obtained output data with the state information indicating the state of the target part of the patient at time point B, which is included in the second teacher data, and calculates the error (step S25). .
  • the second learning unit 77 adjusts the prediction information generation model so that the error becomes small (step S26).
  • any known method can be applied to adjust the predictive information generation model.
  • an error backpropagation method may be employed as a method of adjusting the prediction information generation model.
  • the adjusted prediction information generation model becomes a new prediction information generation model, and the prediction information generation unit 75B uses the new prediction information generation model in subsequent calculations.
  • the parameters used in the prediction information generation section 75B can be adjusted.
  • the parameters include, for example, parameters used in the input layer 751 and the output layer 752. Specifically, the parameters include weighting factors used in the input layer 751 and the LSTM layers of the output layer 752 . The parameters may also include filter coefficients.
  • Second learning unit 77 determines if the error is not within a predetermined range and if patient images of all patients included in second learning data set 83 have not been input (NO in step S27). , the patient is changed (step S28), and the process returns to step S23 to repeat the learning process. Second learning unit 77 determines if the error is within a predetermined range and if patient images of all patients included in second learning data set 83 have been input (YES in step S27). , terminate the learning process.
  • the second learning data set 83 is data used for machine learning to generate a prediction information generation model.
  • the second training data set 83 may include patient information regarding patients with disease of the target site.
  • the patient information includes state information indicating the state of the target part of each patient acquired at a plurality of times in the past, and the state information for each patient and the time point at which the state information was acquired. may be information associated with information indicating
  • the second learning data set 83 includes second learning data used as input data and second teacher data for calculating the error between the first prediction information output by the prediction information generating section 75B.
  • the second learning data may include, for example, image data showing target regions of each of a plurality of patients.
  • the image data used as the second learning data may be image data obtained by imaging any one of the whole body, upper body, lower body, upper limbs, and lower limbs of each of a plurality of patients.
  • the image data used as the second learning data may be medical image data showing target regions of a plurality of patients.
  • the medical image data includes, for example, at least one of X-ray image data, CT image data, MRI image data, PET image data, and ultrasound image data obtained by imaging target regions of a plurality of subjects. You can
  • the second learning data is data of the same kind as the subject image.
  • the second teacher data is data of the same kind as the first prediction information.
  • the second teacher data may include state information indicating the state of the target region of each patient at the time the patient's image was captured, and symptom information regarding the target region.
  • the state information may include information regarding the progression of symptoms of the target site.
  • the symptom information may include information regarding the onset time of the disease of the target site.
  • the second learning data set 83 may be data in which the second learning data and the second teacher data are integrated. That is, the second learning data set 83 includes patient images obtained from each of a plurality of patients at a plurality of times in the past, and state information indicating the state of the target region at the time when the patient images were captured. It may be associated time-series data.
  • the second learning data set 83 may include parameters indicating feature amounts extracted from the following information at a certain point in time and one year after a certain point in time.
  • the second learning data set 83 may include body weight, BMI, waist circumference, visceral fat amount, blood pressure, blood sugar level, lipid, uric acid level, or liver function value.
  • the second learning data set 83 may include the number of hairs, sex hormone values, Norwood classification, Ludwig classification, and the like.
  • the second training data set 83 may include visual acuity, visual field, recommended degree of opacity of the eye, Emery-Little classification, or the like.
  • the second learning data set 83 includes the degree of tooth or gingival pain, the degree of tooth or gingival swelling, the number of remaining teeth, the gingivitis index, the periodontal pocket depth, and the like. May contain.
  • the second learning data set 83 includes the degree of pain, degree of swelling, joint angle, joint range of motion, Larsen classification, Stein blocker classification, etc. of the subject's whole body, upper limbs or lower limbs. may contain
  • the second learning data set 83 may include the degree of pain, the degree of swelling, the range of motion of the joint, and the like of the subject's hand.
  • the second learning data set 83 may include the degree of pain, the degree of swelling, the joint range of motion, the HV angle or the M1-M2 angle, etc. of the subject's foot.
  • the second learning data set 83 includes the degree of pain, degree of swelling, joint angle, range of joint motion, degree of stiffness, joint cartilage thickness, KL classification or presence or absence of lameness.
  • the second learning data set 83 may include the degree of pain, the degree of curvature of the spine, the range of motion of the spine, or the KL classification.
  • the second learning data set 83 may include the degree of pain or the range of motion of the spine.
  • the disease is sarcopenia, muscle mass, walking speed or grip strength may be included.
  • the second learning data set 83 may include parameters indicating attributes of the subject.
  • the subject's attributes are, for example, each subject's sex, age, height, and weight.
  • the second learning unit 77 uses the target person image at a certain time point as the second learning data, and uses the target person image and the target person image after a predetermined period from a certain time point as the second learning data.
  • Information about the symptoms of the target part and information about the subject at the time when the person image was captured may be used as the second teacher data.
  • the second learning data set 83 may include time-series data containing information about the QOL of each of a plurality of subjects. For example, information such as SF-36 and VAS may be included.
  • the prediction information generation unit 75B having a prediction information generation model generated by machine learning using such a second learning data set 83 obtains information related to the QOL of the subject at the second time point from the subject image of the subject. It is also possible to output information to
  • the input data used during learning by the prediction information generation unit 75B is (a) a subject image showing the subject's target part at a certain point A, which is included in the second learning data.
  • the prediction information generator 75B Based on the above-described input data, the prediction information generator 75B outputs first prediction information regarding the target site at time B after a predetermined period (for example, three years) has passed from time A as output data.
  • the prediction information generation unit 75B outputs data such as the angle around the target site of the subject at time B, the degree of increase and decrease of the target site, the degree of wrinkles and blemishes of the target site, the target site information indicating the timing and degree of onset of pain, and the timing at which invasive treatment is required for the target site.
  • the output data shown here is an example, and is not limited to these.
  • the second learning unit 77 when performing the learning of the prediction information generation unit 75B, obtains an image of the target person at a certain point A in which the target part of the target person is shown.
  • the general subject's symptom information and attribute information may be input to the prediction information generator 75B as second learning data.
  • FIG. 11 is a flow chart showing an example of the flow of processing performed by the prediction systems 100 and 100a according to this embodiment.
  • step S31 the prediction information generation unit 75B acquires a subject image (input data) and basic information (input data) (image and information acquisition step).
  • the prediction information generation unit 75B generates the first prediction information in step S32, and sends the first prediction information to the prediction information acquisition unit 71. output (first prediction step).
  • the prediction information acquisition unit 71 acquires (a) the first prediction information acquired from the prediction information generation unit 75B and (b) from the subject image management device 4 before acquiring the first prediction information. , or a target person image (input data) acquired simultaneously with or after acquisition of the first prediction information is input to the prediction image generation unit 72 (not shown).
  • the predicted image generation unit 72 generates a predicted image and outputs the predicted image in step S33 (predicted image generation step).
  • the prediction system 100, 100a has a function of outputting a prediction image that predicts the state of the target part at the second point in time when the target part is intervened, and the method of intervention for the subject and the effect of the intervention.
  • may be A prediction device 1C having such a function will be described with reference to FIG.
  • FIG. 12 is a block diagram showing an example configuration of a prediction system 100, 100a according to another aspect of the present disclosure.
  • intervention methods may include lifestyle guidance, diet therapy, drug therapy, exercise therapy, surgical therapy (liposuction, gastrectomy, gastric banding, etc.) and the like.
  • intervention methods may include lifestyle guidance, dietary therapy, drug therapy, surgical therapy (hair transplantation), wearing a wig, and the like.
  • intervention methods may include drug therapy, exercise therapy, surgical therapy (cataract extraction, intraocular lens implantation, etc.), and the like.
  • methods of intervention may include oral care instructions, pharmacotherapy, orthodontic therapy, surgical therapy (periodonoplasty, implant therapy, etc.), use of dentures, and the like.
  • methods of intervention may include drug therapy, surgical therapy (osteotomy, joint replacement).
  • methods of intervention may include drug therapy and the like.
  • intervention methods may include shoe instruction, exercise therapy, brace therapy, drug therapy, surgical therapy (osteotomy, fusion, joint replacement, etc.), and the like.
  • intervention methods include exercise therapy, brace therapy, drug therapy, rehabilitation, and surgical therapy (intra-articular injection, arthroscopic surgery, osteotomy, fusion surgery, joint replacement, etc.). ) and so on.
  • methods of intervention may include exercise therapy, brace therapy, drug therapy, surgical therapy (such as spinal instrumentation surgery), and the like.
  • methods of intervention may include brace therapy, drug therapy, surgical therapy (such as spinal instrumentation surgery), and the like.
  • intervention methods may include lifestyle guidance, diet therapy, drug therapy, exercise therapy, and the like.
  • the prediction device 1C includes a control unit 7C that controls each unit of the prediction device 1 and a storage unit 8C that stores various data used by the control unit 7C.
  • the control unit 7C includes a prediction information acquisition unit 71, a prediction image generation unit 72C, an output control unit 73C, a first learning unit 74, a prediction information generation unit 75B, a basic information acquisition unit 76, and a second learning unit 77.
  • An effect prediction unit 78 and a third learning unit 79 are provided.
  • FIG. 12 shows the prediction device 1C including the first learning unit 74, the second learning unit 77, and the third learning unit 79, it is not limited to this.
  • the prediction device 1C may include any (or all) of the first learning unit 74, the second learning unit 77, and the third learning unit 79, or may not include any (or all). good.
  • the prediction device 1C does not have to include the first learning unit 74.
  • a trained prediction image generation model may be installed in the prediction device 1C in advance.
  • the prediction device 1 ⁇ /b>C does not have to include the second learning section 77 .
  • a trained prediction information generation model may be installed in the prediction device 1C in advance.
  • the prediction device 1 ⁇ /b>C does not have to include the third learning section 79 .
  • a learned intervention effect prediction model (described later) may be installed in the prediction device 1C in advance.
  • a control program 81 which is a program for performing various controls of the prediction device 1C
  • a first learning data set 82 and a second learning data set 83
  • third teacher data 84 and Intervention information 85 may be stored.
  • FIG. 12 shows a prediction device 1C in which a control program 81, a first learning data set 82, a second learning data set 83, a third teacher data 84, and intervention information 85 are stored in a storage unit 8C. Yes, but not limited to. Any one (or all) of control program 81, first learning data set 82, second learning data set 83, third teacher data 84, and intervention information 85 is stored in storage unit 8C of prediction device 1C. may be stored, or any (or all) may not be stored.
  • ⁇ Predicted image generator 72C> The predicted image generation unit 72C inputs the subject image, the first prediction information, and the second prediction information to the predicted image generation model, and outputs the predicted image.
  • the predicted image generation unit 72C outputs the predicted image output from the predicted image generation model (that is, generated by the predicted image generation unit 72C).
  • the output controller 73C transmits the predicted image output from the predicted image generator 72C to the terminal device 2 . As shown in FIG. 12, the output control unit 73C outputs at least one of the target person image, the first prediction information, and the second prediction information used to generate the prediction image together with the prediction image to the terminal device 2. may be sent to
  • the intervention effect prediction unit 78 outputs second prediction information indicating the method of intervention for the subject and the effect of the intervention from the first prediction information regarding the target site at the second time point after the predetermined period has elapsed from the first time point. do.
  • the intervention effect prediction unit 78 may have an intervention effect prediction model capable of estimating the second prediction information from the first prediction information.
  • the intervention effect prediction model is a calculation model used when the intervention effect prediction unit 78 performs calculations based on input data.
  • Other configurations of the intervention effect prediction model are not particularly limited as long as it is a computation model that can estimate the second prediction information from the first prediction information.
  • the intervention effect prediction model may be a neural network, for example, a trained neural network with an input layer and an output layer. More specifically, the intervention effect prediction model may be a neural network trained using effect information as teacher data.
  • the effect information includes state information indicating the state of the target part of each patient acquired at a plurality of past points in time, and the state information for each patient and the intervention indicating the intervention applied to each patient Information 85 is associated information.
  • the efficacy information may include time-series data regarding each patient's condition information obtained at multiple points in the past from each of the multiple patients to whom the intervention has been applied in the past.
  • the intervention effect prediction unit 78 performs calculations based on the intervention effect prediction model in response to input of the first prediction information as input data to the input layer. , the second prediction information is output from the output layer as output data.
  • the second prediction information is, for example, information indicating the type of intervention and information indicating the effect of the intervention.
  • the effect of the intervention is information representing the symptoms of the target area of the subject at the second time point when the intervention is applied.
  • the effect of the intervention is the degree to which the application of the intervention improves symptoms or slows down the progression of the disease for the target site of the subject at the second time point compared to not applying the intervention.
  • Information indicating the degree may be used.
  • the second prediction information may include information indicating when intervention should be applied (intervention time).
  • the intervention effect prediction unit 78 may be configured to extract a feature amount from the first prediction information and use it as input data.
  • a known algorithm such as the following can be applied to extract the feature quantity.
  • CNN Convolutional neural network
  • RNN Auto encoder
  • LSTM Long Short-Term Memory
  • the configuration of the intervention effect prediction unit 78 will be further described below using FIG. 7, taking as an example a case where the intervention effect prediction unit 78 is a neural network as an intervention effect prediction model.
  • the configuration shown in FIG. 7 is an example, and the configuration of the intervention effect prediction unit 78 is not limited to this.
  • the intervention effect prediction unit 78 includes an input layer 781 and an output layer 782.
  • the intervention effect prediction unit 78 acquires the first prediction information from the prediction information generation unit 75B and uses it as input data to be input to the input layer 781 .
  • the intervention effect prediction unit 78 may further acquire a subject image and use it as input data.
  • the intervention effect prediction unit 78 may acquire basic information from the basic information acquisition unit 76 and use the basic information as input data to be input to the input layer 781 .
  • the intervention effect prediction unit 78 performs operations based on the intervention effect prediction model on the input data input to the input layer 781 and outputs a predicted image from the output layer 782 .
  • the intervention effect prediction unit 78 includes a neural network up to an input layer 781 and an output layer 782.
  • the neural network may be any neural network suitable for handling time-series information.
  • LSTM or the like may be used.
  • the neural network may be a neural network suitable for combined handling of time-series information and location information.
  • a ConvLSTM network that combines CNN and LSTM may be used.
  • the input layer 781 is capable of extracting time-varying feature amounts of input data.
  • the output layer 782 can calculate a new feature amount based on the feature amount extracted by the input layer 781, the temporal change of the input data, and the initial value.
  • the input layer 781 and the output layer 782 have multiple LSTM layers. Each of input layer 781 and output layer 782 may have three or more LSTM layers.
  • An intervention effect prediction model is generated by executing machine learning, which will be described later, on the neural network of the intervention effect prediction unit 78.
  • the input data to be input to the input layer 781 may be, for example, a parameter indicating the feature amount extracted from the first prediction information regarding the target part at the second point in time when a predetermined period has elapsed from the first point in time.
  • the input data may be information indicating an intervention method included in intervention information 85, which will be described later.
  • the intervention effect prediction unit 78 uses the intervention information 85 as input data, the intervention effect prediction unit 78 selects at least one of the intervention methods included in the intervention information 85 and predicts the effect of the intervention. Second prediction information can be output.
  • the output layer 782 In response to input of the above-described input data to the input layer 781, the output layer 782 outputs the second prediction information indicating the method of intervention for the subject and the effect of the intervention.
  • the second prediction information is, for example, information representing the extent to which the symptoms of the disease related to the target site of the subject when the intervention at the second time is applied or the extent to which the progression of the symptoms is suppressed good. More specifically, the intervention effect prediction unit 78 may output information shown below as the second prediction information. - How close the angle around the target site is to a normal angle. • How close to normal size the target area grows and shrinks. - What percentage of wrinkles and blemishes in the target area are alleviated? ⁇ How long the state of the target part is maintained. • How much walking ability (including the ability to climb stairs) improves.
  • the second prediction information is the same type of data as the first prediction information.
  • the second predictive information may be information regarding the subject's weight, BMI, waist circumference, visceral fat content, blood pressure, blood sugar level, lipids, uric acid level, or liver function value.
  • the second predictive information may be information regarding the subject's hair count, sex hormone level, Norwood classification, or Ludwig classification.
  • the second predictive information may be information about the subject's visual acuity, visual field, degree of opacity of the crystal of the eye, or Emery-Little classification.
  • the second predictive information is information on the degree of tooth or gum pain, degree of tooth or gum swelling, number of remaining teeth, gingivitis index, or periodontal pocket depth of the subject.
  • the second predictive information is information on the degree of pain, degree of swelling, joint angle, joint range of motion, Larsen classification or Stein blocker classification of the subject's whole body, upper limbs or lower limbs.
  • the second predictive information may be information regarding the degree of pain, the degree of swelling, or the joint range of motion of the subject's hand.
  • the second predictive information may be information regarding the degree of pain, degree of swelling, joint range of motion, HV angle or M1-M2 angle of the subject's foot.
  • the second predictive information is information about the degree of pain, degree of swelling, joint angle, joint range of motion, or KL classification of the subject's whole body, upper limbs, or lower limbs.
  • the second predictive information may be information about the degree of curvature of the spine of the subject, the range of motion of the spine, or the KL classification.
  • the second predictive information may be information about the subject's degree of curvature of the spine, range of motion of the spine, or KL classification.
  • the second predictive information may be information about the subject's muscle mass.
  • the intervention information 85 is information about interventions whose effects are estimated by the intervention effect prediction unit 78 .
  • Intervention information 85 whose efficacy is estimated includes, for example, non-invasive treatments such as weight control, hyperthermia therapy, ultrasound therapy, wearing braces, or taking supplements. Also, as the intervention information 85, the effect of invasive treatment such as surgical treatment may be estimated.
  • FIG. 13 is a diagram showing an example of the configuration of a neural network included in the predicted image generation section 72C.
  • the predictive image generation model applying the adversarial generation network has two networks, a generator 721C and a classifier 722C, as shown in FIG.
  • the first learning unit 74 acquires the subject image and the first prediction information from the storage unit 8C and inputs them to the generator 721C.
  • the first learning unit 74 also inputs the second prediction information generated by the intervention effect prediction unit 78 to the generator 721C.
  • the generator 721C generates predicted image candidates (false images) from the subject image, the first prediction information, and the second prediction information.
  • the generator 721C may refer to real images included in the first training data set 82 to generate predicted image candidates.
  • the first learning unit 74 inputs the predicted image candidate generated by the generator 721C and the real image included in the first training data set 82 to the classifier 722C.
  • the classifier 722C takes as inputs the authentic images from the first training data set 82 and the predicted image candidates generated by the generator 721C and outputs for each image the probability that it is the authentic image. .
  • the first learning unit 74 calculates a classification error that indicates how accurate the probability output by the discriminator 722C is.
  • the first learning unit 74 iteratively improves the discriminator 722C and the generator 721C using the error back propagation method.
  • the first learning unit 74 updates the weight and bias of the classifier 722C and the weight and bias of the generator 721C until the probability output by the classifier 722C satisfies a predetermined criterion.
  • the predicted image generation unit 72C can generate a predicted image that is indistinguishable from the real thing.
  • the third learning section 79 controls learning processing for the neural network of the intervention effect prediction section 78 .
  • Third teacher data 84 is used for this learning.
  • the third teacher data 84 is data used for machine learning to generate an intervention effect prediction model.
  • the third teacher data 84 includes third learning input data used as input data and third teacher data for calculating the error between the first prediction information output by the intervention effect prediction unit 78. .
  • the third learning input data for example, for each of a plurality of patients to whom the intervention was applied, information indicating the time when the intervention was applied, a patient image showing the target site of each patient, and each patient's It may also include symptom information regarding the onset or progression of symptoms at the target site at the time the patient image was captured.
  • the third training data is a patient image showing the target region of the patient at a time after the patient image used for the third learning input data was captured (for example, one year later), and It may also include symptom information regarding the onset or progression of symptoms at the target site of the patient.
  • the third training data may include symptom information regarding the target region of each patient at the time when the patient's image was captured.
  • the symptom information may include information regarding the onset time of the patient's disease or the progression of symptoms.
  • the third teacher data 84 includes state information indicating the state of the target part of each patient acquired at a plurality of past points, and indicates the state information for each patient and the intervention applied to each patient. It may be information associated with intervention information, that is, effect information.
  • the third teacher data 84 includes patient images obtained at a plurality of time points from each of a plurality of patients to whom intervention has been applied in the past; may be time-series data associated with .
  • FIG. 14 is a flow chart showing an example of the flow of learning processing of the neural network of the intervention effect prediction unit 78. As shown in FIG.
  • the third learning unit 79 acquires the third learning input data included in the third teacher data 84 from the storage unit 8C (step S41).
  • the third learning input data includes, for example, (a) information indicating the time when the intervention was applied to each of a plurality of patients to whom the intervention was applied, and (b) the patient showing the target site of each patient Image pixel data and (c) symptom information regarding the onset or progression of symptoms at the site of interest at the time the patient image was taken for each patient are included.
  • the third learning unit 79 determines a certain patient (step S42).
  • the third learning unit 79 acquires (a) information indicating the time when the intervention was applied for a certain patient to whom the intervention was applied, (b) the target of the certain patient, and The pixel data of the patient image showing the region and (c) the symptom information regarding the onset or progression of the symptom of the target region at the time the patient image of a certain patient was captured are input to the input layer 781 (step S43).
  • the third learning unit 79 acquires output data, which is information indicating at least one of the method of intervention for a certain patient and the effect of the intervention, from the output layer 782 (step S44).
  • This output data contains the same content as the third teacher data.
  • the third learning unit 79 acquires third teacher data included in the third teacher data 84 . Then, the third learning unit 79 compares the acquired output data with the information indicating the intervention method for a certain patient and the effect of the intervention, which is included in the third teacher data, and calculates the error (step S45).
  • the third learning unit 79 adjusts the intervention effect prediction model so that the error becomes smaller (step S46).
  • any known method can be applied to adjust the intervention effect prediction model.
  • error backpropagation may be employed as a method of adjusting the intervention effect prediction model.
  • the intervention effect prediction model after adjustment becomes a new intervention effect prediction model, and the intervention effect prediction unit 78 uses the new intervention effect prediction model in subsequent calculations.
  • the parameters used in the intervention effect prediction unit 78 may be adjusted.
  • the parameters include, for example, parameters used in the input layer 781 and the output layer 782.
  • the parameters include weighting factors used in the input layer 781 and the LSTM layers of the output layer 782 .
  • the parameters may also include filter coefficients.
  • Third learning unit 79 if the error is not within a predetermined range and if patient images of all patients included in third teacher data 84 have not been input (NO in step S47), the patient is changed (step S48), and the process returns to step S43 to repeat the learning process. Third learning unit 79 learns when the error is within a predetermined range and when patient images of all patients included in third teacher data 84 have been input (YES in step S47). End the process.
  • the third teacher data 84 is data used for machine learning to generate an intervention effect prediction model.
  • the third teacher data 84 includes state information indicating the state of the target part of each patient acquired at a plurality of past points, and indicates the state information for each patient and the intervention applied to each patient. Information associated with intervention information, ie effect information, may be included.
  • the third teacher data 84 includes third learning input data used as input data and third teacher data for calculating the error between the first prediction information output by the intervention effect prediction unit 78. .
  • the third learning input data is, for example, (a) information about a patient to whom the intervention was applied, indicating the time when the intervention was applied, and (b) pixel data of a patient image showing the target region of the patient. and (c) symptom information regarding the onset or progression of symptoms at the site of interest at the time the patient image of a patient was taken.
  • the image data used as the third learning input data may be medical image data showing target regions of a plurality of patients.
  • the medical image data includes, for example, at least one of X-ray image data, CT image data, MRI image data, PET image data, and ultrasound image data obtained by imaging target regions of a plurality of subjects. You can stay.
  • the third training data is a patient image showing the target region of the patient at a time after the patient image used for the third learning input data was captured (for example, one year later), and State information indicating the state of the target site of the patient and symptom information regarding the target site may be included.
  • the third training data is a patient image obtained at a plurality of times from each of a plurality of patients to whom intervention has been applied in the past, and information about joint symptoms at the time when the patient image was captured. It may be associated time-series data.
  • the input data used when the intervention effect prediction unit 78 learns is (a) a subject image showing the subject's target part at a certain point A, which is included in the third learning input data.
  • the intervention effect prediction unit 78 outputs, as output data, first prediction information regarding the target site at time B after a predetermined period (for example, three years) has elapsed from time A based on the above-described input data.
  • the intervention effect prediction unit 78 outputs, for example, the angle around the target site at time B of the subject, the degree of increase and shrinkage of the target site, the degree of wrinkles and blemishes of the target site, the target site information indicating the timing and degree of onset of pain, and the timing at which invasive treatment is required for the target site.
  • the output data shown here is an example, and is not limited to these.
  • the input data used when the intervention effect prediction unit 78 learns is included in the information indicating the degree of onset or progress of the disease regarding the target site of the patient at a certain point B included in the third teacher data 84 and the intervention information. information indicating how interventions should be implemented.
  • the intervention effect prediction unit 78 outputs, as output data, information indicating the method of intervention for the subject and the effect of the intervention.
  • the intervention effect prediction unit 78 outputs as output data, for example, the extent to which the symptoms of the disease related to the target site of the patient are improved or the progression of the symptoms when the intervention at time point B is applied. Outputs information indicating the degree of suppression. More specifically, the intervention effect prediction unit 78 may output the aforementioned second prediction information as the output data.
  • FIG. 15 is a flow chart showing an example of the flow of processing performed by the prediction systems 100 and 100a according to this embodiment.
  • the prediction information acquisition unit 71 acquires a subject image.
  • the basic information acquisition unit 76 acquires basic information (step S51: acquisition step).
  • the prediction information generation unit 75B generates first prediction information in response to the input of the subject image and the basic information, and transmits the first prediction information to the prediction information acquisition unit 71 and the intervention effect prediction unit. 78 (step S52: first information prediction step).
  • the intervention effect prediction unit 78 refers to the intervention information 85 and selects at least one of the intervention methods included in the intervention information 85 (step S53: intervention method selection step).
  • the intervention effect prediction unit 78 generates second prediction information about the selected intervention method in response to the input of the first prediction information, and transmits the second prediction information to the prediction image generation unit 72C and the output control unit 72C. Output to the section 73C (step S54: intervention effect prediction step).
  • the predicted image generation unit 72C generates a predicted image in response to input of the subject image, the first predicted information, and the second predicted information, and outputs the predicted image to the terminal device 2 (step S55: prediction image generation step).
  • the prediction systems 100 and 100a can output as a visually easy-to-understand prediction image that the state of the target part differs depending on the presence or absence of the effect of the intervention at the second time point.
  • the predicted image is generated from the target person image, which is the image of the target person, the predicted image is a realistic image that is persuasive to the target person. Therefore, for example, if a doctor in charge of the subject presents it to the subject, the subject can effectively understand the need for intervention, and the subject's motivation for intervention can be enhanced.
  • control blocks of the prediction devices 1, 1A, 1B, 1C may be realized by logic circuits (hardware) formed in integrated circuits (IC chips) or the like. , may be implemented by software.
  • the prediction devices 1, 1A, 1B, and 1C are equipped with computers that execute program instructions, which are software that implements each function.
  • This computer includes, for example, one or more processors, and a computer-readable recording medium storing the program.
  • the processor reads the program from the recording medium and executes it, thereby achieving the object of the present disclosure.
  • a CPU Central Processing Unit
  • the recording medium a "non-temporary tangible medium" such as a ROM (Read Only Memory), a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • a RAM Random Access Memory
  • the program may be supplied to the computer via any transmission medium (communication network, broadcast wave, etc.) capable of transmitting the program.
  • One aspect of the present disclosure may also be embodied in the form of a data signal embedded in a carrier wave, with the program embodied by electronic transmission.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Selective Calling Equipment (AREA)

Abstract

対象者の対象部位の状態を示す予測画像を生成して出力する。予測システムは、（ａ）第１時点の対象者の対象部位が写っている対象者画像と、（ｂ）第１時点から所定期間が経過した第２時点における対象部位に関する第１予測情報、を取得する予測情報取得部と、第１予測情報に基づいて、対象者画像から、第２時点における対象部位の状態を示す予測画像を生成して出力する予測画像生成部と、を備える。

Description

予測システム、制御方法、および制御プログラム
　本開示は、人体の対象部位の状態を予測する予測システム、制御方法、および制御プログラムに関する。
　特許文献１に記載されているように、ニューラルネットワークを用いて骨粗鬆症診断支援を行なうことが考案されている。
日本国特開２００８－３６０６８号公報
　本開示の一態様に係る予測システムは、（ａ）第１時点の対象者の対象部位が写っている対象者画像と、（ｂ）前記第１時点から所定期間が経過した第２時点における前記対象部位に関する第１予測情報と、を取得する予測情報取得部と、前記第１予測情報および前記対象者画像から、前記第２時点における前記対象部位の状態を予測した予測画像を生成して出力する予測画像生成部と、を備えている。
　また、本開示の一態様に係る制御方法は、予測システムの制御方法であって、（ａ）第１時点の対象者の対象部位が写っている対象者画像と、（ｂ）前記第１時点から所定期間が経過した第２時点における前記対象部位に関する第１予測情報、を取得する予測情報取得ステップと、前記第１予測情報および前記対象者画像から、前記第２時点における前記対象部位の状態を予測した予測画像を生成して出力する予測画像生成ステップと、を含み、前記予測システムは、前記予測画像を、前記対象者画像および前記第１予測情報を用いて生成可能な予測画像生成モデルを有している。
　また、本開示の各態様に係る予測システムは、コンピュータによって実現してもよく、この場合には、コンピュータを前記予測システムが備える各部（ソフトウェア要素）として動作させることにより前記予測システムをコンピュータにて実現させる予測システムの制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本開示の範疇に入る。
　予測システムが複数のコンピュータによって実現されている場合、予測システムを構成する複数のコンピュータのそれぞれが備える各部（ソフトウェア要素）として、各コンピュータを動作させることにより前記予測システムをコンピュータにて実現させてもよい。
本開示の一態様に係る予測システムの構成例を示すブロック図である。 本開示の別の態様に係る予測システムの構成例を示すブロック図である。 本開示の一態様に係る予測システムの構成の一例を示すブロック図である。 予測画像生成部が有するニューラルネットワークの構成の一例を示す図である。 実施形態１に係る予測システムが行う処理の流れの一例を示すフローチャートである。 本開示の別の態様に係る予測システムの構成の一例を示すブロック図である。 予測情報生成部が有するニューラルネットワークの構成の一例を示す図である。 実施形態２に係る予測システムが行う処理の流れの一例を示すフローチャートである。 本開示の別の態様に係る予測システムの構成の一例を示すブロック図である。 予測情報生成部が有するニューラルネットワークの学習処理の流れの一例を示すフローチャートである。 実施形態２に係る予測システムが行う処理の流れの他の一例を示すフローチャートである。 本開示の別の態様に係る予測システムの構成の一例を示すブロック図である。 予測画像生成部が有するニューラルネットワークの構成の一例を示す図である。 介入効果予測部が有するニューラルネットワークの学習処理の流れの一例を示すフローチャートである。 実施形態３に係る予測システムが行う処理の流れの一例を示すフローチャートである。
　対象者の対象部位の状態を改善したり、疾患の発症および進行を鈍化させたりするためには、できるだけ早期に施術および生活指導などの介入を開始することが望ましい。
　介入を早期に開始するためには、対象者の対象部位の状態についての予測結果を該対象者に認識させ、介入の必要性を該対象者に理解させることが重要である。
　〔実施形態１〕
　（予測システムの概要）
　本開示の一態様に係る予測システムは、対象者の身体の対象部位の状態変化を予測した予測画像を生成して出力するシステムである。ここで、対象部位は、対象者の身体の任意の部位であってもよく、例えば、全身、頭部、眼部、口腔部、首部、腕部、手部、胴部、腰部、臀部、脚部、および足部等のうちのいずれかであってもよい。また、予測画像は、対象部位の皮膚、毛髪、眼球、歯、歯肉、筋肉、脂肪、骨、軟骨、関節および椎間板等のうちのいずれかの状態変化を予測した画像であってもよい。
　予測画像は、疾患の影響を受けた対象者の対象部位に生じる変化を予測した画像であってもよい。例えば、予測画像は、対象者の対象部位の形状（例えば、腹囲、胸囲、身長、腫れ、萎縮、関節角度および湾曲など）および外観（例えば、姿勢、皺、しみ、発赤、濁り、黒ずみ、黄ばみ等）のうちの少なくともいずれかを示す画像であってもよい。
　一例において、対象者は、自身の対象部位に疾患を有していてもよい。この場合、予測画像は、疾患の影響によって対象者の対象部位における症状の変化を予測した画像であってもよい。本明細書では、対象者の対象部位における症状の変化を予測した予測画像を生成し出力する予測システムを例に挙げて説明する。この場合、予測画像は、対象者の疾患が、該対象部位に及ぼす影響を示す画像である。ここで、「対象部位に及ぼす影響を示す画像」とは、疾患によって影響を受けた対象部位の形状変化、疾患によって対象部位の組織に生じた質的または量的な変化などが表れている任意の画像であってもよい。
　疾患は、肥満症、脱毛症、白内障、歯周病、関節リウマチ、へバーデン結節、外反母趾、変形性関節症、変形性脊椎症、圧迫骨折およびサルコペニアのうちの少なくとも１つを含んでいてもよい。疾患は、（ｉ）一群の多彩な症候で形成されるまとまった病態を示すメタボリックシンドローム、ロコモティブシンドローム等の症候群、並びに（ｉｉ）老化、歯並びなどの身体的変化を含んでいてもよい。
　予測システムは、第１時点の対象者の対象部位が写っている対象者画像に基づいて、第１時点から所定期間が経過した第２時点における対象部位における症状を予測した予測画像を生成する。本明細書において、「対象者画像」という記載は、対象者画像を示す画像データを意図している場合がある。
　ここで、第１時点は、例えば、対象者の対象部位を撮像した対象者画像が取得された時点であってもよい。第１時点は、典型的には、対象者の現在の対象部位の状態を撮像した対象者画像が取得された時点であってもよい。すなわち、第１時点とは、実質的に現時点を意図していてもよい。また、所定期間は、第１時点から経過した任意の期間であってよく、半年間であってもよいし、１年間であってもよいし、５年間であってもよいし、１０年間であってもよいし、５０年であってもよい。すなわち、第２時点とは、実質的に将来の任意の時点を意図していてもよい。所定期間は、１つの期間に限定されず、複数の期間を含んでいてもよい。すなわち、予測画像は、第１時点から半年後、１年後、５年後、１０年後および５０年後等、複数の時点における対象者の対象部位の症状を予測して生成された画像を含んでいてもよい。
　対象者画像は、第１時点の対象者の対象部位が写っている画像である。一例において、対象者画像は、対象者の全身、頭部、上半身、下半身、上肢、および下肢のうちのいずれかを撮像した外観画像であってもよい。別の例では、対象者画像は、対象者を診察するために、対象者の対象部位を撮像した医用画像であってもよい。医用画像は、対象者を撮像したＸ線画像、ＣＴ（Computed Tomography）画像、ＭＲＩ（Magnetic Resonance Imaging）画像、ＰＥＴ（Positron Emission Tomography）画像および超音波画像のうちの少なくとも１つを含んでいてもよい。別の例では、対象者画像は、対象者の対象部位の形状（例えば、腹囲、胸囲、身長、腫れ、萎縮、関節角度および湾曲など）および外観（例えば、姿勢、皺、しみ、発赤、濁り、黒ずみ、黄ばみ等）のうちの少なくともいずれかを示す画像であってもよい。
　また、予測システムは、予測画像を生成するために、対象者画像に加え、第２時点における対象部位に関する第１予測情報を用いる。
　第１予測情報は、第２時点における、対象者の対象部位の症状に関する情報であってもよい。この場合、第１予測情報は、第１時点から半年後、１年後、５年後、１０年後および５０年後等、複数の時点における対象者の対象部位の症状を示す情報を含んでいてもよい。第１予測情報は、例えば、対象者の対象部位に生じる可能性が高い症状と該症状が発生する時期、および、対象者の対象部位の症状の進行度合い、に関する予測を含む情報である。
　第１予測情報は、第２時点における、対象者の対象部位の形状および外観のうちの少なくともいずれかに関する情報であってもよい。この場合、第１時点から半年後、１年後、５年後、１０年後および５０年後等、複数の時点における対象者の対象部位の形状（例えば、腹囲、胸囲、および身長など）および外観（例えば、姿勢、皺、しみ等）のうちの少なくともいずれかを示す情報であってもよい。
　第１予測情報は、対象部位の疾患に関連した、該対象部位の形状および外見のうちの少なくともいずれかに関連する情報であってもよい。第１予測情報は、対象者の対象部位に変化が生じる可能性の高い情報として、下記のような情報を含んでも良い。第１予測情報は、例えば、（ｉ）肥満症に関連する情報として、体重、体格指数（ＢＭＩ）、腹囲、内臓脂肪量、血圧、血糖値、脂質、尿酸値、肝機能数値などに関連する情報を含んでいても良く、（ｉｉ）脱毛症に関連する情報として、毛髪本数、性ホルモン数値、Norwood分類、Ludwig分類などに関する情報を含んでいても良く、（ｉｉｉ）白内障に関連する情報として、視力、視野の広さ、濁りの程度、Emery-Little分類などに関する情報を含んでいても良く、（ｉｖ）歯周病に関連する情報として、痛み・腫脹の程度、残存歯数、歯肉炎指数、歯周ポケット深さなどに関する情報を含んでいても良く、（ｖ）関節リウマチに関連する情報として、痛みの程度、腫脹の程度、関節角度、関節可動範囲、Larsen分類、Stein blocker分類などに関する情報を含んでいても良く、（ｖｉ）へバーデン結節に関連する情報として、痛みの程度、腫脹の程度、関節可動範囲などに関する情報を含んでいても良く、（ｖｉｉ）外反母趾に関連する情報として、痛みの程度、腫脹の程度、関節可動範囲、HV角、M1-M2角などに関する情報を含んでいても良く、（ｖｉｉｉ）変形性関節症に関連する情報として、痛みの程度、腫脹の程度、関節角度、関節可動範囲、こわばりの程度、関節の軟骨の厚み、Kellgren-Laurence（Ｋ－Ｌ）分類、跛行の有無などに関する情報を含んでいても良く、（ｉｘ）変形性脊椎症の場合、痛みの程度、脊椎の湾曲の程度、脊椎の可動範囲、Ｋ－Ｌ分類などに関する情報を含んでいても良く、（ｘ）圧迫骨折に関連する情報として、痛みの程度、脊椎の可動範囲などに関する情報を含んでいても良く、（ｘｉ）サルコペニアに関連する情報として、筋肉量、歩行速度、握力などに関する情報を含んでいても良い。
　このように、予測システムは、第１時点の対象者の対象部位が写っている対象者画像と、第１時点から所定期間が経過した第２時点における対象部位に関する第１予測情報と、に基づいて、第２時点における対象部位の状態を予測した予測画像を生成して出力する。
　予測システムは、第２時点における対象部位の状態を、視覚的に分かりやすい予測画像として出力することができる。また、予測画像は、対象者本人の画像である対象者画像から生成されたものであるため、該対象者に対して説得力のあるリアルな画像である。それゆえ、例えば、対象者を担当する医師などから対象者に提示すれば、第２時点における対象部位の状態を対象者本人に認識させ、介入の必要性を該対象者に容易に理解させることができる。
　予測画像は、対象者の全身、頭部、上半身、下半身、上肢、および下肢のうちのいずれかを撮像した外観画像を模した画像であってもよい。別の例では、予測画像は、対象者の診察の過程で得られる、対象者の対象部位を撮像した医用画像を模した画像であってもよい。別の例では、予測画像は、対象者の対象部位の形状（例えば、腹囲、胸囲、身長、腫れ、萎縮、関節角度および湾曲など）および外観（例えば、姿勢、皺、しみ、発赤、濁り、黒ずみ、黄ばみ等）のうちの少なくともいずれかを示す画像であってもよい。例えば、対象者画像が対象者の現在の皮膚の外観（例えば、皺、しみ、発赤、濁り、黒ずみ、黄ばみ等）を示す外観画像であり、第１予測情報が該対象者の将来の皮膚の皺の程度、しみの程度、発赤の程度、濁りの程度、黒ずみの程度または黄ばみの程度に関する情報である場合、該対象者画像および第１予測情報に基づいて、予測システムは、該対象者の将来の皮膚の外観を示す画像を予測画像として出力できる。例えば、対象者画像が対象者の現在の関節の角度を示す医用画像であり、第１予測情報が該対象者の将来の関節の角度に関する情報である場合、予測システムは次の２つの画像を予測画像として出力できる：（１）対象者の現在の関節の角度を示す医用画像と、該第１予測情報に基づいて、該対象者の将来の関節の角度を示す医用画像を予測画像として出力できる；（２）対象者の現在の関節の外観を示す外観画像と、該第１予測情報に基づいて、該対象者の将来の関節の外観を示す画像を予測画像として出力できる。
　（予測システム１００の構成）
　次に、対象者画像および第１予測情報を取得し、第１予測情報に基づいて、対象者画像から予測画像を生成して出力する予測装置１を備える予測システム１００の構成について、図１を用いて説明する。本開示の一実施形態において、予測システム１００の予測装置１は、単独で上述の予測システムとして機能することが可能である。図１は、予測装置１を導入した医療施設５における予測システム１００の構成例を示すブロック図である。
　図１に示すように、予測システム１００は、予測装置１と、予測装置１と通信可能に接続された１以上の端末装置２とを備えていている。このように、予測システム１００は、予測装置１と、予測装置１から出力された予測画像を提示可能な装置（例えば、端末装置２）とを備えていてもよい。
　予測装置１は、対象者画像および第１予測情報を取得し、第１予測情報に基づいて、対象者画像から予測画像を生成して出力し、該予測画像を端末装置２に送信するコンピュータである。予測装置１は、図１に示すように、医療施設５のＬＡＮに接続されていてもよい。予測装置１の構成については後に説明する。
　端末装置２は、予測装置１から予測画像を受信し、該予測画像を提示する。端末装置２は、医療施設５に所属する医師などの医療関係者が使用するコンピュータ等であってもよい。端末装置２は、図１に示すように、医療施設５のＬＡＮに接続されていてもよい。端末装置２は、例えば、パーソナルコンピュータ、タブレット端末、スマートフォン等であってもよい。端末装置２は、他装置とのデータ送受信を行う通信部、キーボードおよびマイク等の入力部、予測画像を表示可能な表示部等を有している。
　予測システム１００では、予測装置１と端末装置２とが別体として設けられているが、予測装置１と端末装置２とが一体であってもよい。例えば、予測装置１が、予測画像を表示可能な表示部を有することにより、端末装置２の機能を備えていてもよい。
　予測システム１００は、第１予測情報管理装置３、対象者画像管理装置４、および電子カルテ管理装置９をさらに備えていてもよい。
　第１予測情報管理装置３は、第１予測情報を管理するためのサーバとして機能するコンピュータである。第１予測情報管理装置３は、図１に示すように、医療施設５のＬＡＮに接続されていてもよい。この場合、予測装置１は、第１予測情報管理装置３から対象者の第１予測情報を取得してもよい。
　対象者画像管理装置４は、対象者画像を管理するためのサーバとして機能するコンピュータである。対象者画像管理装置４は、医療施設５にて対象部位の状態に関する診察を受けた対象者を撮像した画像であってもよい。一例において、対象者画像は、医療施設５内にて撮像された医用画像であってもよい。対象者画像管理装置４は、例えば、医療施設５内のＸ線撮像装置などの撮影装置と通信可能に接続されていてもよい。この場合、対象者画像管理装置４には、当該撮影装置で撮影された画像が、例えばＬＡＮを介して記録されてもよい。対象者画像管理装置４は、図１に示すように、医療施設５のＬＡＮに接続されていてもよい。この場合、予測装置１は、対象者画像管理装置４から対象者画像を取得してもよい。
　電子カルテ管理装置９は、医療施設５にて診察を受けた対象者の電子カルテ情報を管理するためのサーバとして機能するコンピュータである。電子カルテ管理装置９は、図１に示すように、医療施設５のＬＡＮに接続されていてもよい。この場合、予測装置１は、電子カルテ管理装置９から、対象者に関連する基礎情報を取得してもよい。基礎情報は、電子カルテ情報に含まれている情報であり、対象者の性別、年齢、身長、体重、および、該対象者の第１時点における対象部位の状態を示す情報のうちの少なくとも１つを含んでいてもよい。
　図１には、医療施設５内にＬＡＮ（local area network）が配設されており、予測装置１、端末装置２、第１予測情報管理装置３、対象者画像管理装置４、および電子カルテ管理装置９がＬＡＮに接続されている例を示しているが、これに限定されない。例えば、医療施設５内のネットワークは、インターネット、電話通信回線ネットワーク、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワークなどが適用されていてもよい。医療施設５内のＬＡＮは、外部の通信ネットワークと通信可能に接続されていてもよい。この場合、例えば、端末装置２は、患者が使用するコンピュータ等であってもよい。
　予測システム１００において、予測装置１と、端末装置２、第１予測情報管理装置３、対象者画像管理装置４、および電子カルテ管理装置９の少なくとも１つとが、ＬＡＮを介さずに直接接続されていてもよい。また、予測装置１と通信可能な、端末装置２、第１予測情報管理装置３、対象者画像管理装置４、および電子カルテ管理装置９の数は、複数であってもよい。さらに、予測システム１００において、予測装置１が複数導入されてもよい。
　（予測システム１００ａの構成）
　予測装置１は、所定の医療施設５に設置されているコンピュータではなく、通信ネットワーク６を介して複数の医療施設５の各々に配設されたＬＡＮと通信可能に接続されていてもよい。図２は、本開示の別の態様に係る予測システム１００ａの構成例を示すブロック図である。
　図２に示す予測システム１００ａは、医療施設５ａと、医療施設５ｂと、通信ネットワーク６を介して医療施設５ａおよび５ｂの各装置と通信可能に接続されている予測装置１と、予測装置１と通信可能に接続されている第１予測情報管理装置３と、を備えている。
　医療施設５ａは、それぞれ通信可能に接続されている端末装置２ａ、対象者画像管理装置４ａ、および電子カルテ管理装置９ａを備えている。一方、医療施設５ｂは、それぞれ通信可能に接続されている端末装置２ｂ、対象者画像管理装置４ｂ、および電子カルテ管理装置９ｂを備えている。以下において、端末装置２ａと２ｂ、および医療施設５ａと５ｂ、を特に区別しない場合、それぞれ、それぞれ「端末装置２」および「医療施設５」と記す。
　図２では、医療施設５ａおよび医療施設５ｂのＬＡＮが、通信ネットワーク６に接続されている例を示している。予測装置１は、通信ネットワーク６を介して、各医療施設内の装置と通信可能に接続されていればよく、図２に示された構成に限定されない。例えば、医療施設５ａ内あるいは医療施設５ｂ内に、予測装置１および第１予測情報管理装置３が設置されていてもよい。
　このような構成を採用した予測システム１００ａは、医療施設５ａに設置された第１予測情報管理装置３ａと、医療施設５ｂに設置された第１予測情報管理装置３ｂとを有していてもよい。この場合、予測装置１は、第１予測情報および対象者Ｐａの対象者画像を、それぞれ、医療施設５ａの第１予測情報管理装置３ａおよび対象者画像管理装置４ａから取得することが可能である。そして、予測装置１は、医療施設５ａに設置された端末装置２ａに対象者Ｐａの対象部位の状態を予測した予測画像を送信することができる。予測装置１は、第１予測情報および対象者Ｐｂの対象者画像を、それぞれ、医療施設５ｂの第１予測情報管理装置３ｂおよび対象者画像管理装置４ｂから取得することが可能である。そして、予測装置１は、医療施設５ｂに設置された端末装置２ｂに対象者Ｐｂの対象部位の状態を予測した予測画像を送信することができる。
　この場合、各対象者の第１予測情報および対象者画像には、それぞれ各対象者を診察している医療施設５毎に付与された各医療施設５に固有の識別情報、および対象者毎に付与された各対象者に固有の識別情報が含まれていればよい。各医療施設５に固有の識別情報は、例えば、施設ＩＤであってもよい。また、各対象者に固有の識別情報としては、例えば、患者ＩＤであってもよい。予測装置１は、これらの識別情報に基づいて、対象者の対象部位の状態を予測した予測画像を、該対象者が診察を受けた各医療施設５の端末装置２に正しく送信することができる。
　（予測システム１００、１００ａの構成）
　次に、予測システム１００、１００ａの構成について、図３を用いて説明する。図３は、本開示の一態様に係る予測システム１００、１００ａの構成の一例を示すブロック図である。説明の便宜上、既に説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
　図３に示す予測システム１００、１００ａは、予測装置１と、予測装置１と通信可能に接続された１以上の端末装置２、第１予測情報管理装置３、および対象者画像管理装置４と、を備えている。
　（予測装置１の構成）
　予測装置１は、予測装置１の各部を統括的に制御する制御部７、および、制御部７が使用する各種データを記憶する記憶部８を備える。制御部７は、予測情報取得部７１、予測画像生成部７２、および出力制御部７３を備えている。記憶部８には、予測装置１の各種制御を行うためのプログラムである制御プログラム８１が格納されている。
　＜予測情報取得部７１＞
　予測情報取得部７１は、対象者画像管理装置４から対象者画像を取得し、第１予測情報管理装置３から第１予測情報を取得する。対象者画像および第１予測情報は、予測画像生成部７２に入力される入力データである。
　対象者画像および第１予測情報について、いくつかの疾患を例に挙げて説明する。例えば、疾患が肥満症の場合、対象者画像は現在の対象者の全身または腹部が写っている画像であってもよく、第１予測情報は該対象者の体重、ＢＭＩ、腹囲、内臓脂肪量、血圧、血糖値、脂質、尿酸値または肝機能数値に関する情報であってもよい。例えば、疾患が脱毛症の場合、対象者画像は現在の対象者の全身または頭部が写っている画像であり、第１予測情報は該対象者の毛髪本数、性ホルモン数値、Norwood分類またはLudwig分類に関する情報であってもよい。例えば、疾患が白内障の場合、対象者画像は現在の対象者の頭部（顔）または眼部が写っている画像であり、第１予測情報は該対象者の視力、視野、眼の水晶体の濁りの程度またはEmery-Little分類に関する情報であってもよい。例えば、疾患が歯周病の場合、対象者画像は現在の対象者の頭部（顔）または口腔部が写っている画像であり、第１予測情報は該対象者の歯もしくは歯肉の痛みの程度、歯もしくは歯肉の腫脹の程度、残存歯数、歯肉炎指数または歯周ポケット深さに関する情報であってもよい。疾患が歯周病の場合、対象者画像は開いている口が写っている画像であってもよく、閉じている口が写っている画像であってもよい。例えば、疾患が関節リウマチの場合、対象者画像は対象者の現在の全身、上肢または下肢が写っている画像であり、第１予測情報は該対象者の全身、上肢または下肢の、痛みの程度、腫脹の程度、関節角度、関節可動範囲、Larsen分類またはStein blocker分類に関する情報であってもよい。例えば、疾患がヘバーデン結節の場合、対象者画像は対象者の現在の手部が写っている画像であり、第１予測情報は該対象者の手部の、痛みの程度、腫脹の程度または関節可動範囲に関する情報であってもよい。例えば、疾患が外反母趾の場合、対象者画像は対象者の現在の足部が写っている画像であり、第１予測情報は該対象者の足部の、痛みの程度、腫脹の程度、関節可動範囲、HV角またはM1-M2角に関する情報であってもよい。例えば、疾患が変形性関節症の場合、対象者画像は対象者の現在の全身、上肢または下肢が写っている画像であり、第１予測情報は該対象者の全身、上肢または下肢の、痛みの程度、腫脹の程度、関節角度、関節可動範囲またはＫ－Ｌ分類に関する情報であってもよい。例えば、疾患が変形性脊椎症の場合、対象者画像は対象者の現在の全身、頚部、胸部または腰部が写っている画像であり、第１予測情報は該対象者の脊椎の湾曲の程度、脊椎の可動範囲またはＫ－Ｌ分類に関する情報であってもよい。例えば、疾患が圧迫骨折の場合、対象者画像は対象者の現在の全身または腰部が写っている画像であり、第１予測情報は該対象者の脊椎の湾曲の程度、脊椎の可動範囲またはＫ－Ｌ分類に関する情報であってもよい。例えば、疾患がサルコペニアの場合、対象者画像は対象者の現在の全身、上肢または下肢が写っている画像であり、第１予測情報は該対象者の筋肉量に関する情報であってもよい。対象者画像は、各疾患の診療において撮影される医用画像であってもよい。例えば、疾患が変形性膝関節症の場合、対象者画像は現在の対象者の膝関節が写っているＸ線画像であり、第１予測情報は２年後の該対象者の脛骨と大腿骨とが成す角度に関する情報であってもよい。
　＜予測画像生成部７２＞
　予測画像生成部７２は、第１予測情報に基づいて、対象者画像から、第２時点における対象部位の状態を予測した予測画像を生成して出力する。予測画像生成部７２は、予測画像の生成に用いた対象者画像の少なくとも一部を模した画像を生成してもよい。また、予測画像生成部７２によって生成される予測画像は、対象部位に生じた疾患が該対象部位に及ぼす影響を示す画像であってもよい。生成された予測画像は、第２時点において第１時点から変化していない対象者の部位に関連する画像を含んでいてもよい。すなわち、予測画像は、第１時点から第２時点までに変化した部位に関連する画像と、第１時点から第２時点までに変化していない部位に関連する画像とを含んでいてもよい。
　予測画像生成部７２は、任意の公知の画像編集機能および動画編集機能を有していてもよい。この場合、予測画像生成部７２は、対象者画像を編集可能なファイル形式に変換した後、第１予測情報に基づく変更を該対象者画像に施すことにより、予測画像を生成する。例えば、対象者画像が現在の対象者の下肢の画像であり、第１予測情報として２年後の該対象者の脛骨と大腿骨とが成す角度に関する情報である場合、まず、予測画像生成部７２は、対象者画像を所定のファイル形式に変換する。予測画像生成部７２は、ファイル形式を変換後の対象者画像に写っている脛骨と大腿骨とが成す角度を、第１予測情報に基づいて変更し、予測画像を生成すればよい。
　予測画像生成部７２は、予測画像を、対象者画像および第１予測情報を用いて生成可能な予測画像生成モデルを有していてもよい。ここで、予測画像生成モデルは、対象部位が写っている複数の画像データを教師データとして用いて学習されたニューラルネットワークであってもよい。例えば、予測画像生成モデルとして、畳み込みニューラルネットワーク（ＣＮＮ：convolutional neural network）、敵対的生成ネットワーク（ＧＡＮ：generative adversarial network）、またはオートエンコーダ等が適用されてもよい。
　予測画像生成部７２は、対象者画像および第１予測情報を予測画像生成モデルに入力し、予測画像を出力させる。予測画像生成部７２は、予測画像生成モデルから出力された（すなわち、予測画像生成部７２によって生成された）予測画像を出力する。
　予測画像生成モデルとは、予測画像生成部７２が入力データに基づいて演算を行う際に用いる演算モデルである。予測画像生成部７２が有するニューラルネットワークに対して、後述する機械学習を実行することによって、予測画像生成モデルが生成される。
　＜出力制御部７３＞
　出力制御部７３は、予測画像生成部７２から出力された予測画像を、端末装置２に送信する。出力制御部７３は、予測画像と共に、該予測画像の生成に用いた対象者画像および第１予測情報のうちの少なくともいずれかを、端末装置２に送信してもよい。
　予測装置１が表示部（図示せず）を備える構成であってもよい。その場合、出力制御部７３は、表示部に予測画像を表示させてもよい。この場合、出力制御部７３は、予測画像と共に、該予測画像の生成に用いた対象者画像および第１予測情報のうちの少なくともいずれかを表示部に表示させてもよい。
　予測画像生成モデルを有する予測画像生成部７２を備えることにより、予測システム１００、１００ａは、第２時点における対象部位の状態を対象者画像に反映させた、リアルな予測画像を生成して出力することができる。これにより、予測システム１００、１００ａは、対象者に自身の第２時点における対象部位の状態を明確に認識させることができる。
　一例において、学習済の予測画像生成モデルが、予測装置１に予めインストールされていてもよい。あるいは、予測装置１が、予測画像生成部７２の学習処理を行う第１学習部７４をさらに備えていてもよい。
　＜第１学習部７４＞
　第１学習部７４は、予測画像生成部７２が有するニューラルネットワークに対する学習処理を制御する。
　（予測画像生成モデルの学習処理）
　以下、敵対的生成ネットワーク（ＧＡＮ）を適用した予測画像生成モデルを生成するための学習処理について、図４を用いて説明する。図４は、予測画像生成部７２が有するニューラルネットワークの構成の一例を示す図である。
　敵対的生成ネットワークを適用した予測画像生成モデルは、図４に示すように、生成器ネットワーク（以下、生成器７２１と記す）と、識別器ネットワーク（以下、識別器７２２と記す）という２つのネットワークを有している。生成器７２１は、第１予測情報および対象者画像から、予測画像として、本物の画像に見える画像を生成することができる。一方、識別器７２２は、生成器７２１からの画像データ（偽の画像）と、後述する第１学習用データセット８２からの本物の画像とを見分けることができる。
　まず、第１学習部７４は、記憶部８から対象者画像および第１予測情報を取得し、これらを生成器７２１に入力する。
　生成器７２１は、対象者画像および第１予測情報から予測画像候補（偽の画像）を生成する。生成器７２１は、第１学習用データセット８２に含まれる本物の画像を参照して、予測画像候補を生成してもよい。
　ここで、第１学習用データセット８２は、予測画像生成モデルを生成するための機械学習に用いられるデータである。第１学習用データセット８２は、生成器７２１ができるだけ忠実に再現する目標にするための、任意の本物の画像を含んでいてもよい。例えば、第１学習用データセット８２は、過去に撮像された本物の医用画像を含んでいてもよい。ここで、医用画像は、例えば、複数の患者の各々の対象部位を撮像したＸ線画像データ、ＣＴ画像データ、ＭＲＩ画像データ、ＰＥＴ画像データおよび超音波画像データのうちの少なくとも１つを含んでいてもよい。
　第１学習用データセット８２は、第１学習データと第１教師データとを含んでいてもよい。第１学習データは、例えば、対象者画像と同種のデータ、および第１予測情報と同種のデータである。「対象者画像と同種のデータ」とは、対象者画像に写っている対象部位と同じ対象部位を同じ角度から写した画像データであり、医用画像または外観画像などの画像の種類が同じ画像データを意味する。「第１予測情報と同種のデータ」とは、第１予測情報が疾患に関連した対象部位の形状および外見に関連する情報である場合、同じ疾患に関連した同じ対象部位の形状および外見に関連する情報、を意図する。第１教師データは、予測画像と同種のデータであり、第１学習データよりも時間が経過した同一人のデータである。第１教師データは、第１学習データである「第１予測情報と同種のデータ」に関連のあるデータである。「予測画像と同種のデータ」とは、予測画像に写っている対象部位と同じ対象部位を同じ角度から写した画像データであり、医用画像または外観画像などの画像の種類が同じ画像データを意味する。
　次に、第１学習部７４は、生成器７２１によって生成された予測画像候補、および第１学習用データセット８２に含まれる本物の画像を識別器７２２に入力する。
　識別器７２２は、第１学習用データセット８２からの本物の画像と、生成器７２１によって生成された予測画像候補を入力にとり、各画像に対して、それが本物の画像である確率を出力する。
　第１学習部７４は、識別器７２２が出力した確率がどの程度正しいかを表す分類誤差を算出する。第１学習部７４は、誤差逆伝搬法を用いて、識別器７２２および生成器７２１を繰り返し改善する。このとき、識別器７２２の重みとバイアスは、分類誤差を最少化するように（すなわち、識別性能を最大化するように）更新される。一方、生成器７２１の重みとバイアスは、分類誤差を最大化するように（すなわち、識別器７２２が予測画像候補を本物の画像と間違う確率を最大化するように）更新される。
　第１学習部７４は、識別器７２２が出力する確率が、所定の基準を満たすようになるまで、識別器７２２の重みとバイアス、および、生成器７２１の重みとバイアスを更新する。これにより、予測画像生成部７２は、本物と見分けがつかない予測画像を生成可能となる。
　（予測システム１００、１００ａが行う処理）
　以下、予測システム１００、１００ａが行う処理の流れについて、図５を用いて説明する。図５は、本実施形態に係る予測システム１００、１００ａが行う処理の流れの一例を示すフローチャートである。
　まず、予測情報取得部７１は、ステップＳ１において、対象者画像と第１予測情報（入力データ）を取得する（予測情報取得ステップ）。
　続いて、対象者画像および第１予測情報が入力されたことに応じて、予測画像生成部７２は、ステップＳ２において、予測画像を生成して、該予測画像を出力する（予測画像生成ステップ）。
　〔実施形態２〕
　本開示の他の実施形態について、以下に説明する。説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
　上述した実施形態に係る予測システム１００、１００ａは、第１予測情報を第１予測情報管理装置３から取得する予測装置１を備えていたが、これに限定されない。例えば、第１予測情報を予測装置１Ａが生成する構成であってもよい。そのような予測装置１Ａを備える予測システム１００、１００ａの構成について、図６を用いて説明する。図６は、本開示の別の態様に係る予測システム１００、１００ａの構成の一例を示すブロック図である。
　（予測装置１Ａの構成）
　予測装置１Ａは、予測装置１Ａ各部を統括的に制御する制御部７Ａ、および、制御部７Ａが使用する各種データを記憶する記憶部８を備える。制御部７Ａは、予測情報取得部７１、予測画像生成部７２、および出力制御部７３に加えて、予測情報生成部７５をさらに備えている。
　図６では、予測装置１Ａが、第１学習部７４を備えている例を示しているが、これに限定されない。一例において、学習済の予測画像生成モデルが、予測装置１Ａに予めインストールされていてもよい。
　＜予測情報生成部７５＞
　予測情報生成部７５は、第１時点の対象者の対象部位が写っている対象者画像から、第１時点から所定期間が経過した第２時点における、対象部位に関する第１予測情報を生成し、予測情報取得部７１に該第１予測情報を出力する。
　予測情報生成部７５は、第１予測情報を、対象者画像から推定可能な予測情報生成モデルを有していてもよい。予測情報生成モデルは、第１予測情報を、対象者の対象者画像と該対象者の基礎情報とから推定することが可能なモデルである。ここで、予測情報生成モデルは、対象部位の疾患を有する患者に関する患者情報を教師データとして用いて学習されたニューラルネットワークであってもよい。例えば、予測情報生成モデルとして、畳み込みニューラルネットワーク（ＣＮＮ：convolutional neural network）、リカレントニューラルネットワーク（ＲＮＮ：recurrent neural network）およびＬＳＴＭ（Long Short-Term Memory）等が適用されてもよい。
　患者情報は、例えば、過去の複数の時点において取得された、各患者の対象部位の状態を示す状態情報を含み、かつ、患者毎の前記状態情報と、該状態情報が取得された時点を示す情報とが関連付けられている情報である。
　予測情報生成部７５は、対象者画像に関するデータを予測情報生成モデルに入力し、第１予測情報を出力させる。予測情報生成部７５は、予測情報生成モデルから出力された（すなわち、予測情報生成部７５によって生成された）第１予測情報を出力する。
　予測情報生成モデルとは、予測情報生成部７５が入力データに基づいて演算を行う際に用いる演算モデルである。予測情報生成部７５が有するニューラルネットワークに対して、後述する機械学習を実行することによって、予測情報生成モデルが生成される。
　以下、予測情報生成モデルとしてニューラルネットワークが適用される場合を例に挙げて、予測情報生成部７５の構成について図７を用いてさらに説明する。図７は、予測情報生成部が有するニューラルネットワークの構成の一例を示す図である。
　図７に示すように予測情報生成部７５は、入力層７５１および出力層７５２を備える。予測情報生成部７５は、入力層７５１に入力される入力データに対して、予測情報生成モデルに基づく演算を行って、出力層７５２から予測情報を出力する。
　図７の予測情報生成部７５は、入力層７５１と出力層７５２までのニューラルネットワークを備える。ニューラルネットワークは、時系列情報を扱うことに適したニューラルネットワークであればよい。例えば、ＬＳＴＭなどであればよい。ニューラルネットワークは、時系列情報と位置情報を複合して扱うことに適したニューラルネットワークであってもよい。例えば、ＣＮＮとＬＳＴＭを組み合わせたＣｏｎｖＬＳＴＭネットワークなどであればよい。入力層７５１は、入力データの時間変化の特徴量を抽出することができる。出力層７５２は、入力層７５１で抽出した特徴量、入力データの時間変化および初期値に基づいて、新たな特徴量を算出することができる。入力層７５１および出力層７５２は、複数のＬＳＴＭ層を有している。入力層７５１および出力層７５２のそれぞれは、３つ以上のＬＳＴＭ層を有していてもよい。
　入力層７５１に入力される入力データは、例えば、第１時点における対象者の対象部位が写っている対象者画像から抽出された特徴量を示すパラメータであってもよい。この場合、予測情報生成部７５は、第１時点から所定期間が経過した第２時点における対象部位に関する第１予測情報を出力することができる。
　予測情報生成部７５は、第１予測情報として、例えば、第１時点から所定期間が経過した第２時点における対象者の対象部位に関する疾患の発症または進行度合いの予測結果を出力する。具体的には、予測情報生成部７５は、第１予測情報として、例えば、対象者の第２時点における各疾患の症状の程度、各疾患における分類、および該対象部位に侵襲治療が必要となる時期を示す情報等を出力する。ここで示す第１予測情報は一例であり、これらに限られるものではない。
　また、予測情報生成部７５は、上述の第１予測情報に基づいて、第３予測情報として、対象者のＱＯＬを示す情報を出力してもよい。具体的には、予測情報生成部７５は、第３予測情報として対象者の対象部位に発症している痛みに関する情報、対象者の破局的思考に関する情報、対象者の運動能力に関する情報、前記対象者の生活満足度を示す情報、および、対象者の対象部位のこわばりの程度などの情報の少なくともいずれか１つを出力する。
　対象者のＱＯＬを示す情報は、下記のうちの少なくとも１つを含む情報である。
・対象者の対象部位に発症している痛みに関する情報
・対象者の破局的思考に関する情報
・対象者の運動能力に関する情報
・前記対象者の生活満足度を示す情報。
　対象者のＱＯＬを示す情報は、当該対象者の（１）身体機能、（２）日常役割機能（身体）、（３）体の痛み、（４）全体的健康感、（５）活力、（６）社会生活機能、（７）日常役割機能（精神）、（８）心の健康、に関する情報を含んでいてもよい。
　ＱＯＬに関連する情報は、例えば、ＳＦ－３６（36-Item. Short-Form Health Survey）、ＶＡＳ（Visual analog scale）、ＮＥＩ ＶＦＱ－２５（The 25-item National Eye Institute Visual Function Questionnaire）、ＧＯＨＡＩ (General Oral Health Assessment Index)、ＷＯＭＡＣ（Western Ontario and McMaster Universities Osteoarthritis Index）、ＲＤＱ（Roland-Morris Disability Questionnaire）などの情報を含んでいても良い。
　予測情報生成部７５は、予測画像生成部７２が予測画像を生成するために使用する第１予測情報の少なくとも一部を生成すればよい。その場合、残りの第１予測情報は、予測情報取得部７１が第１予測情報管理装置３から取得してもよい。
　（予測システム１００、１００ａが行う処理）
　以下、第２実施形態の予測システム１００、１００ａが行う処理の流れについて、図８を用いて説明する。図８は、第２実施形態の予測システム１００、１００ａが行う処理の流れの一例を示すフローチャートである。
　まず、予測情報生成部７５は、ステップＳ１１において、対象者画像（入力データ）を取得する（画像取得ステップ）。
　続いて、対象者画像が入力されたことに応じて、予測情報生成部７５は、ステップＳ１２において、第１予測情報を生成して、該第１予測情報を予測情報取得部７１へ出力する（第１予測ステップ）。
　その後、予測情報取得部７１は、（ａ）予測情報生成部７５から取得した第１予測情報と、（ｂ）対象者画像管理装置４から、第１予測情報の取得より前に取得していたか、または第１予測情報の取得と同時にもしくは取得後に取得する対象者画像（入力データ）と、を予測画像生成部７２に入力する（不図示）。
　続いて、対象者画像および第１予測情報が入力されたことに応じて、予測画像生成部７２は、ステップＳ１３において、予測画像を生成して、該予測画像を出力する（予測画像生成ステップ）。
　〔変形例〕
　予測装置１Ａでは、予測情報生成部７５は、対象者画像に基づき、第１予測情報を生成していた。これに対して、実施形態２の本変形例に係る予測装置１Ｂでは、予測情報生成部７５Ｂは、対象者画像に加えて基礎情報に基づいて、第１予測情報を生成する。そのような予測装置１Ｂを備える予測システム１００、１００ａの構成について、図９を用いて説明する。図９は、本開示の別の態様に係る予測システム１００、１００ａの構成の一変形例を示すブロック図である。予測装置１Ｂは、制御部７Ｂにおいて、予測情報生成部７５Ｂをさらに有する。
　予測装置１Ｂは、予測装置１Ｂ各部を統括的に制御する制御部７Ｂ、および、制御部７Ｂが使用する各種データを記憶する記憶部８Ｂを備える。制御部７Ｂは、予測情報取得部７１、予測画像生成部７２、および出力制御部７３に加えて、予測情報生成部７５Ｂおよび基礎情報取得部７６をさらに備えている。
　上述した構成により、予測装置１Ｂは、第２時点において対象部位に生じ得るまたは生じた症状により近い症状に関する情報、すなわちより精度の高い第１予測情報を、第１時点で撮像された対象者画像に基づき、生成できる。その結果、予測装置１Ｂは、第２時点において対象部位に生じ得るまたは生じた症状により近い症状を示す画像、すなわちより精度の高い予測情報を示す予測画像を生成できる。
　＜基礎情報取得部７６＞
　基礎情報取得部７６は、電子カルテ管理装置９から、対象者に関連する情報である基礎情報を取得する。電子カルテ管理装置９は、医療施設５または医療施設５以外の医療施設にて診察を受けた対象者の電子カルテ情報を管理するためのサーバとして機能するコンピュータである。電子カルテ情報には、対象者の基礎情報、および問診情報が含まれていてもよい。基礎情報は、対象者画像に加えて予測情報生成部７５Ｂに入力される入力データである。
　基礎情報は、対象者の性別、年齢、身長、体重、および、該対象者の前記第１時点における前記対象部位の状態を示す情報のうちの少なくとも１つを含む情報である。基礎情報は、前記対象者のＢＭＩ、人種、職業歴、運動歴、対象部位に関する疾患の既往歴、対象部位の形状および外見に関する情報、バイオマーカー情報、並びに遺伝子情報、のうち少なくとも１つをさらに含んでいてもよい。また、基礎情報は、例えば、対象者の対象部位に関する疾患の症状の程度などの情報を含んでいてもよい。基礎情報は、例えば、対象者の電子カルテ情報などに含まれている情報を含んでいてもよい。基礎情報は、医療施設５などにおいて実施された問診によって、対象者から取得された問診情報であってもよく、例えば、対象者の第１時点におけるＱＯＬに関連する情報を含んでいてもよい。
　以上の構成によると、予測装置１Ｂは、対象者画像に加えて、電子カルテ管理装置９から対象者の基礎情報を取得し、医療施設５ａに設置された端末装置２ａに対象者Ｐａの対象部位の状態を予測した予測画像を送信することができる。予測装置１Ｂは、対象者画像に加えて、電子カルテ管理装置９から対象者の基礎情報を取得し、医療施設５ｂに設置された端末装置２ｂに対象者Ｐｂの対象部位の状態を予測した予測画像を送信することができる。
　一例において、学習済の予測情報生成モデルが、予測装置１Ｂに予めインストールされていてもよい。あるいは、予測装置１Ｂが、予測情報生成部７５Ｂの学習処理を行う第２学習部７７をさらに備えていてもよい。
　＜第２学習部７７＞
　第２学習部７７は、予測情報生成部７５Ｂが有するニューラルネットワークに対する学習処理を制御する。この学習には、後述する第２学習用データセット８３が用いられる。第２学習部７７が行う学習の具体例については後述する。
　（予測情報生成モデルの学習処理）
　以下、ニューラルネットワークを適用した予測情報生成モデルを生成するための学習処理について、図１０を用いて説明する。図１０は、予測情報生成部７５Ｂが有するニューラルネットワークの学習処理の流れの一例を示すフローチャートである。
　まず、第２学習部７７は、記憶部８Ｂから第２学習用データセット８３に含まれる第２学習データを取得する（ステップＳ２１）。第２学習データには、複数の患者の患者画像が含まれている。
　続いて、第２学習部７７は、ある患者を決定する（ステップＳ２２）。
　続いて、第２学習部７７は、第２学習データに含まれる、時点Ａにおけるある患者の患者画像を、入力層７５１に入力する（ステップＳ２３）。入力層７５１は、入力された患者画像から、特徴量を示すパラメータを抽出してもよい。
　次に、第２学習部７７は、出力層７５２からある患者の対象部位の症状に関する出力データを取得する（ステップＳ２４）。この出力データは、第２教師データと同じ内容を含んでいる。
　続いて、第２学習部７７は、第２学習用データセット８３に含まれる第２教師データを取得する。そして、第２学習部７７は、取得した出力データと、第２教師データに含まれる、時点Ｂにおけるある患者の対象部位の状態を示す状態情報とを比較し、誤差を算出する（ステップＳ２５）。
　その後、第２学習部７７は、該誤差が小さくなるように、予測情報生成モデルを調整する（ステップＳ２６）。
　予測情報生成モデルの調整には、任意の公知の方法が適用可能である。例えば、予測情報生成モデルの調整方法として、誤差逆伝播法を採用してもよい。調整後の予測情報生成モデルが新たな予測情報生成モデルとなり、以降の演算では、予測情報生成部７５Ｂは新たな予測情報生成モデルを用いる。予測情報生成モデルの調整段階では、予測情報生成部７５Ｂで使用されるパラメータが調整され得る。
　パラメータには、例えば、入力層７５１、出力層７５２で使用されるパラメータが含まれる。具体的には、パラメータには、入力層７５１と出力層７５２のＬＳＴＭ層とで使用される重み付け係数が含まれる。また、パラメータには、フィルタ係数が含まれていてもよい。
　第２学習部７７は、誤差が所定の範囲内に納まっていない場合、および、第２学習用データセット８３に含まれるすべての患者の患者画像を入力していない場合（ステップＳ２７にてＮＯ）、患者を変更（ステップＳ２８）し、さらにステップＳ２３に戻り、学習処理を繰り返す。第２学習部７７は、誤差が所定の範囲内に納まっている場合、および、第２学習用データセット８３に含まれるすべての患者の患者画像を入力済である場合（ステップＳ２７にてＹＥＳ）、学習処理を終了する。
　＜第２学習用データセット８３＞
　第２学習用データセット８３は、予測情報生成モデルを生成するための機械学習に用いられるデータである。第２学習用データセット８３は、対象部位の疾患を有する患者に関する患者情報を含んでいてもよい。ここで、患者情報とは、過去の複数の時点において取得された、各患者の対象部位の状態を示す状態情報を含み、かつ、患者毎の前記状態情報と、該状態情報が取得された時点を示す情報とが関連付けられている情報であってもよい。第２学習用データセット８３は、入力データとして用いられる第２学習データと、予測情報生成部７５Ｂが出力した第１予測情報との誤差を算出するための第２教師データとを含んでいる。
　第２学習データは、例えば、複数の患者の各々の、対象部位が写っている画像データを含んでいてもよい。第２学習データとして用いる画像データは、複数の患者の各々の、全身、上半身、下半身、上肢および下肢のうちのいずれかを撮像した画像データであってもよい。第２学習データとして用いる画像データは、複数の患者の各々の対象部位が写っている医用画像データであってもよい。当該医用画像データは、例えば、複数の対象者の各々の対象部位を撮像したＸ線画像データ、ＣＴ画像データ、ＭＲＩ画像データ、ＰＥＴ画像データおよび超音波画像データのうちの少なくとも１つを含んでいてもよい。第２学習データは、対象者画像と同種のデータである。第２教師データは、第１予測情報と同種のデータである。
　第２教師データは、患者画像が撮像された時点における各患者の対象部位の状態を示す状態情報、および該対象部位に関する症状情報を含んでいてもよい。ここで、状態情報は、対象部位の症状の進行に関する情報を含んでいてもよい。また、ここで、症状情報は、対象部位の疾患の発症時期に関する情報を含んでいてもよい。
　第２学習用データセット８３は、第２学習データと第２教師データとが一体となったデータであってもよい。つまり、第２学習用データセット８３は、複数の患者の各々から過去に複数の時点において取得された、患者画像と、該患者画像が撮像された時点における対象部位の状態を示す状態情報とが対応付けられている時系列データであってもよい。例えば、第２学習用データセット８３は、ある時点、および、ある時点から１年後の以下のような情報から抽出された特徴量を示すパラメータを含んでいてもよい。
　例えば、疾患が肥満症の場合、第２学習用データセット８３は、体重、ＢＭＩ、腹囲、内臓脂肪量、血圧、血糖値、脂質、尿酸値または肝機能数値などを含んでいても良い。例えば、疾患が脱毛症の場合、第２学習用データセット８３は、毛髪本数、性ホルモン数値、Norwood分類またはLudwig分類などを含んでいても良い。例えば、疾患が白内障の場合、第２学習用データセット８３は、視力、視野、眼の推奨の濁りの程度またはEmery-Little分類などを含んでいても良い。例えば、疾患が歯周病の場合、第２学習用データセット８３は、歯もしくは歯肉の痛みの程度、歯もしくは歯肉の腫脹の程度、残存歯数、歯肉炎指数または歯周ポケット深さなどを含んでいても良い。例えば、疾患が関節リウマチの場合、第２学習用データセット８３は、対象者の全身、上肢または下肢の、痛みの程度、腫脹の程度、関節角度、関節可動範囲、Larsen分類またはStein blocker分類などを含んでいても良い。例えば、疾患がヘバーデン結節の場合、第２学習用データセット８３は、対象者の手部の、痛みの程度、腫脹の程度または関節可動範囲などを含んでいても良い。例えば、疾患が外反母趾の場合、第２学習用データセット８３は、対象者の足部の、痛みの程度、腫脹の程度、関節可動範囲、HV角またはM1-M2角などを含んでいても良い。例えば、疾患が変形性関節症の場合、第２学習用データセット８３は、対象者の全身、上肢または下肢の、痛みの程度、腫脹の程度、関節角度、関節可動範囲、こわばりの程度、関節の軟骨の厚み、Ｋ－Ｌ分類または跛行の有無などを含んでいても良い。例えば、疾患が変形性脊椎症の場合、第２学習用データセット８３は、痛みの程度、脊椎の湾曲の程度、脊椎の可動範囲またはＫ－Ｌ分類などを含んでいても良い。例えば、疾患が圧迫骨折の場合、第２学習用データセット８３は、痛みの程度または脊椎の可動範囲などを含んでいても良い。例えば、疾患がサルコペニアの場合、筋肉量、歩行速度または握力などを含んでいても良い。
　また、第２学習用データセット８３は、該対象者の属性を示すパラメータを含んでもよい。対象者の属性は、例えば、各対象者の性別、年齢、身長、体重である。第２学習用データセット８３が時系列データである場合、第２学習部７７は、ある時点の対象者画像を第２学習データとして用い、ある時点から所定の期間後の対象者画像および該対象者画像が撮像された時点における対象部位の症状に関する情報および対象者に関する情報を第２教師データとして用いてもよい。
　第２学習用データセット８３は、複数の対象者の各々のＱＯＬに関するに関する情報を時系列データに含んでいてもよい。例えば、ＳＦ－３６、ＶＡＳなどの情報を含んでも良い。このような第２学習用データセット８３を用いた機械学習によって生成された予測情報生成モデルを有する予測情報生成部７５Ｂは、対象者の対象者画像から、第２時点における対象者のＱＯＬに関連する情報を出力することも可能である。
　具体的には、予測情報生成部７５Ｂの学習時に用いられる入力データは、第２学習データに含まれる、（ａ）ある時点Ａにおける対象者の対象部位が写っている対象者画像である。予測情報生成部７５Ｂは、上述の入力データに基づいて、出力データとして、時点Ａから所定の期間（例えば３年）が経過した時点Ｂにおける対象部位に関する第１予測情報を出力する。具体的には、予測情報生成部７５Ｂは、出力データとして、例えば、対象者の時点Ｂにおける対象部位周囲の角度、対象部位の増大および縮小の程度、対象部位の皺およびシミの程度、対象部位に痛みが発症する時期および程度、並びに該対象部位に侵襲治療が必要となる時期を示す情報等を出力する。ここで示す出力データは一例であり、これらに限られるものではない。
　予測情報生成部７５Ｂが入力データとして基礎情報を用いる場合、第２学習部７７は、予測情報生成部７５Ｂの学習を行うとき、ある時点Ａにおける対象者の対象部位が写っている対象者画像に加えて概対象者の症状情報および属性情報を第２学習データとして予測情報生成部７５Ｂに入力してもよい。
　（予測システム１００、１００が行う処理）
　以下、予測装置１Ｂを備えている予測システム１００、１００ａが行う処理の流れについて、図１１を用いて説明する。図１１は、本実施形態に係る予測システム１００、１００ａが行う処理の流れの一例を示すフローチャートである。
　まず、予測情報生成部７５Ｂは、ステップＳ３１において、対象者画像（入力データ）および基礎情報（入力データ）を取得する（画像および情報取得ステップ）。
　続いて、対象者画像および基礎情報が入力されたことに応じて、予測情報生成部７５Ｂは、ステップＳ３２において、第１予測情報を生成して、該第１予測情報を予測情報取得部７１へ出力する（第１予測ステップ）。
　その後、予測情報取得部７１は、（ａ）予測情報生成部７５Ｂから取得した第１予測情報と、（ｂ）対象者画像管理装置４から、第１予測情報の取得より前に取得していたか、または第１予測情報の取得と同時にもしくは取得後に取得する対象者画像（入力データ）と、を予測画像生成部７２に入力する（不図示）。
　続いて、対象者画像および第１予測情報が入力されたことに応じて、予測画像生成部７２は、ステップＳ３３において、予測画像を生成して、該予測画像を出力する（予測画像生成ステップ）。
　〔第３実施形態〕
　本開示の他の実施形態について、以下に説明する。説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
　予測システム１００、１００ａにおいて、対象部位に対する介入がある場合の第２時点における対象部位の状態を予測した予測画像、および、対象者への介入の方法および該介入による効果、を出力する機能を備えていてもよい。そのような機能を備える予測装置１Ｃについて、図１２を用いて説明する。図１２は、本開示の別の態様に係る予測システム１００、１００ａの構成の一例を示すブロック図である。
　ここで、介入の方法の具体例について説明する。例えば、疾患が肥満症の場合、介入の方法は、生活指導、食事療法、薬物療法、運動療法、外科的療法（脂肪吸入、胃切除術、胃バンディング術など）などを含んでいても良い。例えば、疾患が脱毛症の場合、介入の方法は、生活指導、食事療法、薬物療法、外科的療法（植毛手術）、かつらの着用などを含んでいても良い。例えば、疾患が白内障の場合、介入の方法は、薬物療法、運動療法、外科的療法（白内障摘出術、眼内レンズ留置術など）などを含んでいても良い。例えば、疾患が歯周病の場合、介入の方法は、口腔ケア指導、薬物療法、矯正療法、外科的療法（歯周形成術、インプラント治療など）、義歯の使用などを含んでいても良い。例えば、疾患が関節リウマチの場合、介入の方法は、薬物療法、外科的療法（骨切り術、関節置換術）含んでいても良い。例えば、疾患がヘバーデン結節の場合、介入の方法は、薬物療法などを含んでいても良い。例えば、疾患が外反母趾の場合、介入の方法は、靴指導、運動療法、装具療法、薬物療法、外科的療法（骨切り術、固定術、関節置換術など）などを含んでいても良い。例えば、疾患が変形性関節症の場合、介入の方法は、運動療法、装具療法、薬物療法、リハビリテーション、外科的療法（関節内注射、関節鏡手術、骨切り術、固定術、関節置換術など）などを含んでいても良い。例えば、疾患が変形性脊椎症の場合、介入の方法は、運動療法、装具療法、薬物療法、外科的療法（脊椎インストゥルメンテーション手術など）などを含んでいても良い。例えば、疾患が圧迫骨折の場合、介入の方法は、装具療法、薬物療法、外科的療法（脊椎インストゥルメンテーション手術など）などを含んでいても良い。例えば、疾患がサルコペニアの場合、介入の方法は、生活指導、食事療法、薬物療法、運動療法などを含んでいても良い。
　（予測装置１Ｃの構成）
　予測装置１Ｃは、予測装置１の各部を統括的に制御する制御部７Ｃ、および制御部７Ｃが使用する各種データを記憶する記憶部８Ｃを備えている。制御部７Ｃは、予測情報取得部７１、予測画像生成部７２Ｃ、出力制御部７３Ｃ、第１学習部７４、予測情報生成部７５Ｂ、基礎情報取得部７６、および第２学習部７７に加え、介入効果予測部７８および第３学習部７９を備えている。
　図１２では、第１学習部７４、第２学習部７７、および第３学習部７９を備える予測装置１Ｃを示しているが、これに限定されない。予測装置１Ｃは、第１学習部７４、第２学習部７７、および第３学習部７９のいずれか（あるいはすべて）を備えていてもよいし、いずれか（あるいはすべて）を備えていなくてもよい。
　例えば、予測装置１Ｃは、第１学習部７４を備えていなくてもよい。この場合、学習済の予測画像生成モデルが、予測装置１Ｃに予めインストールされていればよい。あるいは、予測装置１Ｃは、第２学習部７７を備えていなくてもよい。この場合、学習済の予測情報生成モデルが、予測装置１Ｃに予めインストールされていればよい。あるいは、予測装置１Ｃは、第３学習部７９を備えていなくてもよい。この場合、学習済の介入効果予測モデル（後述）が、予測装置１Ｃに予めインストールされていればよい。
　記憶部８Ｃには、予測装置１Ｃの各種制御を行うためのプログラムである制御プログラム８１、第１学習用データセット８２、および第２学習用データセット８３に加え、後述する第３教師データ８４および介入情報８５が格納されていてもよい。
　図１２では、記憶部８Ｃに、制御プログラム８１、第１学習用データセット８２、第２学習用データセット８３、第３教師データ８４、および介入情報８５が格納されている予測装置１Ｃを示しているが、これに限定されない。予測装置１Ｃの記憶部８Ｃに、制御プログラム８１、第１学習用データセット８２、第２学習用データセット８３、第３教師データ８４、および介入情報８５のいずれか（あるいはすべて）が格納されていてもよいし、いずれか（あるいはすべて）が格納されていなくてもよい。
　＜予測画像生成部７２Ｃ＞
　予測画像生成部７２Ｃは、対象者画像、第１予測情報、および第２予測情報を予測画像生成モデルに入力し、予測画像を出力させる。予測画像生成部７２Ｃは、予測画像生成モデルから出力された（すなわち、予測画像生成部７２Ｃによって生成された）予測画像を出力する。
　＜出力制御部７３Ｃ＞
　出力制御部７３Ｃは、予測画像生成部７２Ｃから出力された予測画像を、端末装置２に送信する。出力制御部７３Ｃは、図１２に示すように、予測画像と共に、該予測画像の生成に用いた対象者画像、第１予測情報、および第２予測情報のうちの少なくともいずれかを、端末装置２に送信してもよい。
　＜介入効果予測部７８＞
　介入効果予測部７８は、第１時点から所定期間が経過した第２時点における、対象部位に関する第１予測情報から、対象者への介入の方法および該介入による効果を示す第２予測情報を出力する。介入効果予測部７８は、第２予測情報を、第１予測情報から推定可能な介入効果予測モデルを有していてもよい。
　介入効果予測モデルとは、介入効果予測部７８が入力データに基づいて演算を行う際に用いる演算モデルである。介入効果予測モデルとしては、第２予測情報を、第１予測情報から推定可能な演算モデルである限り、その他の構成は特に限定されない。
　介入効果予測モデルは、ニューラルネットワークであってもよく、例えば入力層および出力層を備える学習済のニューラルネットワークであってもよい。より具体的に、介入効果予測モデルは、効果情報を教師データとして用いて学習されたニューラルネットワークであってもよい。
　例えば、効果情報は、過去の複数の時点において取得された、各患者の対象部位の状態を示す状態情報を含み、かつ、患者毎の前記状態情報と、各患者に適用された介入を示す介入情報８５とが関連付けられている情報である。効果情報は、過去に介入が適用された複数の患者の各々から過去に複数の時点において取得された、各患者の状態情報に関する時系列データを含んでいてもよい。
　介入効果予測モデルが学習済のニューラルネットワークである場合、介入効果予測部７８は、第１予測情報が入力データとして入力層へ入力されたことに応じて、介入効果予測モデルに基づいて演算を行い、第２予測情報を出力データとして出力層から出力する。
　第２予測情報は、例えば、介入の種類を示す情報および介入による効果を示す情報である。介入による効果とは介入を適用した場合の第２時点における対象者の対象部位の症状を表す情報である。または、介入による効果とは、介入を適用することで、介入を適用しなかった場合よりも第２時点における対象者の対象部位に関する疾患の症状が改善される程度あるいは症状の進行が抑制される程度を表す情報であってもよい。第２予測情報は、介入を適用すべき時期（介入時期）を示す情報を含んでいてもよい。
　介入効果予測部７８は、一例として、第１予測情報から特徴量を抽出し、入力データとして用いる構成であってもよい。該特徴量の抽出には、以下に挙げるような公知のアルゴリズムが適用され得る。
・畳み込みニューラルネットワーク（ＣＮＮ：convolutional neural network）
・オートエンコーダ（auto encoder）
・リカレントニューラルネットワーク（ＲＮＮ：recurrent neural network）
・ＬＳＴＭ（Long Short-Term Memory）。
　以下、介入効果予測部７８が介入効果予測モデルとしてニューラルネットワークである場合を例に挙げて、介入効果予測部７８の構成について、図７を用いてさらに説明する。図７に示す構成は一例であり、介入効果予測部７８の構成はこれに限定されない。
　図７に示すように介入効果予測部７８は、入力層７８１および出力層７８２を備える。介入効果予測部７８は、予測情報生成部７５Ｂから第１予測情報を取得し、入力層７８１に入力する入力データとして用いる。介入効果予測部７８は、対象者画像を更に取得し、入力データとして用いてもよい。介入効果予測部７８は、基礎情報取得部７６から基礎情報を取得して、該基礎情報を入力層７８１に入力する入力データとして用いてもよい。介入効果予測部７８は、入力層７８１に入力される入力データに対して、介入効果予測モデルに基づく演算を行って、出力層７８２から予測画像を出力する。
　図７に示すように、介入効果予測部７８は、入力層７８１と出力層７８２までのニューラルネットワークを備える。ニューラルネットワークは、時系列情報を扱うことに適したニューラルネットワークであればよい。例えば、ＬＳＴＭなどであればよい。ニューラルネットワークは、時系列情報と位置情報を複合して扱うことに適したニューラルネットワークであってもよい。例えば、ＣＮＮとＬＳＴＭを組み合わせたＣｏｎｖＬＳＴＭネットワークなどであればよい。入力層７８１は、入力データの時間変化の特徴量を抽出することができる。出力層７８２は、入力層７８１で抽出した特徴量、入力データの時間変化および初期値に基づいて、新たな特徴量を算出することができる。入力層７８１および出力層７８２は、複数のＬＳＴＭ層を有している。入力層７８１および出力層７８２のそれぞれは、３つ以上のＬＳＴＭ層を有していてもよい。
　介入効果予測部７８が有するニューラルネットワークに対して、後述する機械学習を実行することによって、介入効果予測モデルが生成される。
　入力層７８１に入力される入力データは、例えば、第１時点から所定期間が経過した第２時点における対象部位に関する第１予測情報から抽出された特徴量を示すパラメータであってもよい。あるいは、入力データは、後述する介入情報８５に含まれる介入の方法を示す情報であってもよい。介入効果予測部７８が入力データとして介入情報８５を利用する場合、介入効果予測部７８は介入情報８５に含まれている介入方法の中から少なくとも１つを選択し、該介入の効果を予測した第２予測情報を出力することができる。
　上述の入力データが入力層７８１に入力されたことに応じて、出力層７８２から、対象者への介入の方法および該介入による効果を示す第２予測情報が出力される。
　第２予測情報は、例えば、第２時点における該介入を適用した場合の対象者の対象部位に関する疾患の症状が改善される程度あるいは該症状の進行が抑制される程度を表す情報であってもよい。より具体的には、介入効果予測部７８は、第２予測情報として、下記に示す情報を出力してもよい。
・対象部位周囲の角度がどれだけ正常な角度に近づくか。
・対象部位の増大および縮小がどれだけ正常な大きさに近づくか。
・対象部位の皺およびシミが何％程度緩和されるか。
・対象部位の状態がどれだけ維持されるか。
・どれだけ歩行能力（階段昇降能力を含む）が改善するか。
　第２予測情報は、第１予測情報と同種のデータである。例えば、疾患が肥満症の場合、第２予測情報は該対象者の体重、ＢＭＩ、腹囲、内臓脂肪量、血圧、血糖値、脂質、尿酸値または肝機能数値に関する情報であってもよい。例えば、疾患が脱毛症の場合、第２予測情報は該対象者の毛髪本数、性ホルモン数値、Norwood分類またはLudwig分類に関する情報であってもよい。例えば、疾患が白内障の場合、第２予測情報は該対象者の視力、視野、眼の水晶の濁りの程度またはEmery-Little分類に関する情報であってもよい。例えば、疾患が歯周病の場合、第２予測情報は該対象者の歯もしくは歯肉の痛みの程度、歯もしくは歯肉の腫脹の程度、残存歯数、歯肉炎指数または歯周ポケット深さに関する情報であってもよい。例えば、疾患が関節リウマチの場合、第２予測情報は該対象者の全身、上肢または下肢の、痛みの程度、腫脹の程度、関節角度、関節可動範囲、Larsen分類またはStein blocker分類に関する情報であってもよい。例えば、疾患がヘバーデン結節の場合、第２予測情報は該対象者の手部の、痛みの程度、腫脹の程度または関節可動範囲に関する情報であってもよい。例えば、疾患が外反母趾の場合、第２予測情報は該対象者の足部の、痛みの程度、腫脹の程度、関節可動範囲、HV角またはM1-M2角に関する情報であってもよい。例えば、疾患が変形性関節症の場合、第２予測情報は該対象者の全身、上肢または下肢の、痛みの程度、腫脹の程度、関節角度、関節可動範囲またはＫ－Ｌ分類に関する情報であってもよい。例えば、疾患が変形性脊椎症の場合、第２予測情報は該対象者の脊椎の湾曲の程度、脊椎の可動範囲またはＫ－Ｌ分類に関する情報であってもよい。例えば、疾患が圧迫骨折の場合、第２予測情報は該対象者の脊椎の湾曲の程度、脊椎の可動範囲またはＫ－Ｌ分類に関する情報であってもよい。例えば、疾患がサルコペニアの場合、第２予測情報は該対象者の筋肉量に関する情報であってもよい。
　＜介入情報８５＞
　介入情報８５は、介入効果予測部７８が効果を推定する介入についての情報である。効果が推定される介入情報８５としては、例えば体重制限、温熱治療、超音波療法、装具の着用、またはサプリメントの摂取といった非侵襲性の治療が挙げられる。また、介入情報８５として外科的療法等の侵襲性の治療による効果が推定されてもよい。
　（予測画像生成部７２Ｃが有するニューラルネットワークの学習処理）
　以下、敵対的生成ネットワーク（ＧＡＮ）を適用した予測画像生成モデルを生成するための学習処理について、図１３を用いて説明する。図１３は、予測画像生成部７２Ｃが有するニューラルネットワークの構成の一例を示す図である。敵対的生成ネットワークを適用した予測画像生成モデルは、図１３に示すように、生成器７２１Ｃと、識別器７２２Ｃという２つのネットワークを有している。
　まず、第１学習部７４は、記憶部８Ｃから対象者画像および第１予測情報を取得し、これらを生成器７２１Ｃに入力する。また、第１学習部７４は、介入効果予測部７８によって生成された第２予測情報を生成器７２１Ｃに入力する。
　生成器７２１Ｃは、対象者画像、第１予測情報、および第２予測情報から予測画像候補（偽の画像）を生成する。生成器７２１Ｃは、第１学習用データセット８２に含まれる本物の画像を参照して、予測画像候補を生成してもよい。
　次に、第１学習部７４は、生成器７２１Ｃによって生成された予測画像候補、および第１学習用データセット８２に含まれる本物の画像を識別器７２２Ｃに入力する。
　識別器７２２Ｃは、第１学習用データセット８２からの本物の画像と、生成器７２１Ｃによって生成された予測画像候補を入力にとり、各画像に対して、それが本物の画像である確率を出力する。
　第１学習部７４は、識別器７２２Ｃが出力した確率がどの程度正しいかを表す分類誤差を算出する。第１学習部７４は、誤差逆伝搬法を用いて、識別器７２２Ｃおよび生成器７２１Ｃを繰り返し改善する。
　第１学習部７４は、識別器７２２Ｃが出力する確率が、所定の基準を満たすようになるまで、識別器７２２Ｃの重みとバイアス、および、生成器７２１Ｃの重みとバイアスを更新する。これにより、予測画像生成部７２Ｃは、本物と見分けがつかない予測画像を生成可能となる。
　＜第３学習部７９＞
　第３学習部７９は、介入効果予測部７８が有するニューラルネットワークに対する学習処理を制御する。この学習には、第３教師データ８４が用いられる。
　ここで、第３教師データ８４は、介入効果予測モデルを生成するための機械学習に用いられるデータである。第３教師データ８４は、入力データとして用いられる第３学習用入力データと、介入効果予測部７８が出力した第１予測情報との誤差を算出するための第３教師用データとを含んでいる。
　第３学習用入力データは、例えば、介入が適用された複数の患者の各々の、該介入が適用された時期を示す情報、各患者の対象部位が写っている患者画像、および、各患者の患者画像が撮像された時点における対象部位の症状の発症または進行に関する症状情報を含んでいてもよい。
　第３教師用データは、第３学習用入力データに用いられた患者画像が撮像された時点よりも後（例えば１年後）の時点における該患者の対象部位が写っている患者画像、および、該患者の対象部位の症状の発症または進行に関する症状情報を含んでいてもよい。第３教師用データは、患者画像が撮像された時点における、各患者の対象部位に関する症状情報を含んでいてもよい。ここで、症状情報は、患者の疾患の発症時期、または症状の進行に関する情報を含んでいてもよい。
　第３教師データ８４は、過去の複数の時点において取得された、各患者の対象部位の状態を示す状態情報を含み、かつ、患者毎の前記状態情報と、各患者に適用された介入を示す介入情報とが関連付けられている情報、すなわち効果情報であってもよい。第３教師データ８４は、過去に介入が適用された複数の患者の各々から、複数の時点において取得された、患者画像と、該患者画像が撮像された時点における対象部位の症状に関する情報と、が対応付けられている時系列データであってもよい。
　＜介入効果予測モデルの学習処理＞
　以下、ニューラルネットワークを適用した介入効果予測モデルを生成するための学習処理について、図７を参照しながら、図１４を用いて説明する。図１４は、介入効果予測部７８が有するニューラルネットワークの学習処理の流れの一例を示すフローチャートである。
　　まず、第３学習部７９は、記憶部８Ｃから第３教師データ８４に含まれる第３学習用入力データを取得する（ステップＳ４１）。第３学習用入力データには、例えば、（ａ）介入が適用された複数の患者の各々の、該介入が適用された時期を示す情報、（ｂ）各患者の対象部位が写っている患者画像の画素データ、並びに（ｃ）各患者の患者画像が撮像された時点における対象部位の症状の発症または進行に関する症状情報が含まれている。
　続いて、第３学習部７９は、ある患者を決定する（ステップＳ４２）。
　続いて、第３学習部７９は、第３学習用入力データに含まれる、（ａ）介入が適用されたある患者の、該介入が適用された時期を示す情報、（ｂ）ある患者の対象部位が写っている患者画像の画素データ、並びに（ｃ）ある患者の患者画像が撮像された時点における対象部位の症状の発症または進行に関する症状情報を、入力層７８１に入力する（ステップＳ４３）。
　次に、第３学習部７９は、出力層７８２から、ある患者への介入の方法および該介入による効果の少なくともいずれかを示す情報である出力データを取得する（ステップＳ４４）。この出力データは、第３教師用データと同じ内容を含んでいる。
　続いて、第３学習部７９は、第３教師データ８４に含まれる第３教師用データを取得する。そして、第３学習部７９は、取得した出力データと、第３教師用データに含まれる、ある患者への介入の方法および該介入による効果を示す情報とを比較し、誤差を算出する（ステップＳ４５）。
　その後、第３学習部７９は、該誤差が小さくなるように、介入効果予測モデルを調整する（ステップＳ４６）。
　介入効果予測モデルの調整には、任意の公知の方法が適用可能である。例えば、介入効果予測モデルの調整方法として、誤差逆伝播法を採用してもよい。調整後の介入効果予測モデルが新たな介入効果予測モデルとなり、以降の演算では、介入効果予測部７８は新たな介入効果予測モデルを用いる。介入効果予測モデルの調整段階では、介入効果予測部７８で使用されるパラメータが調整され得る。
　パラメータには、例えば、入力層７８１、出力層７８２で使用されるパラメータが含まれる。具体的には、パラメータには、入力層７８１と出力層７８２のＬＳＴＭ層とで使用される重み付け係数が含まれる。また、パラメータには、フィルタ係数が含まれていてもよい。
　第３学習部７９は、誤差が所定の範囲内に納まっていない場合、および、第３教師データ８４に含まれるすべての患者の患者画像を入力していない場合（ステップＳ４７にてＮＯ）、患者を変更（ステップＳ４８）し、さらにステップＳ４３に戻り、学習処理を繰り返す。第３学習部７９は、誤差が所定の範囲内に納まっている場合、および、第３教師データ８４に含まれるすべての患者の患者画像を入力済である場合（ステップＳ４７にてＹＥＳ）、学習処理を終了する。
　＜第３教師データ８４＞
　第３教師データ８４は、介入効果予測モデルを生成するための機械学習に用いられるデータである。第３教師データ８４は、過去の複数の時点において取得された、各患者の対象部位の状態を示す状態情報を含み、かつ、患者毎の前記状態情報と、各患者に適用された介入を示す介入情報とが関連付けられている情報、すなわち効果情報を含んでいてもよい。第３教師データ８４は、入力データとして用いられる第３学習用入力データと、介入効果予測部７８が出力した第１予測情報との誤差を算出するための第３教師用データとを含んでいる。
　第３学習用入力データは、例えば、（ａ）介入が適用されたある患者の、該介入が適用された時期を示す情報、（ｂ）ある患者の対象部位が写っている患者画像の画素データ、並びに（ｃ）ある患者の患者画像が撮像された時点における対象部位の症状の発症または進行に関する症状情報を含んでいてもよい。第３学習用入力データとして用いる画像データは、複数の患者の各々の対象部位が写っている医用画像データであってもよい。当該医用画像データは、例えば、複数の対象者の各々の対象部位を撮像したＸ線画像データ、ＣＴ画像データ、ＭＲＩ画像データ、ＰＥＴ画像データ、および超音波画像データのうちの少なくとも１つを含んでいてもよい。
　第３教師用データは、第３学習用入力データに用いられた患者画像が撮像された時点よりも後（例えば１年後）の時点における該患者の対象部位が写っている患者画像、および、該患者の対象部位の状態を示す状態情報、および該対象部位に関する症状情報を含んでいてもよい。第３教師用データは、過去に介入が適用された複数の患者の各々から、複数の時点において取得された、患者画像と、該患者画像が撮像された時点における関節の症状に関する情報と、が対応付けられている時系列データであってもよい。
　具体的には、介入効果予測部７８の学習時に用いられる入力データは、第３学習用入力データに含まれる、（ａ）ある時点Ａにおける対象者の対象部位が写っている対象者画像である。介入効果予測部７８は、上述の入力データに基づいて、出力データとして、時点Ａから所定の期間（例えば３年）が経過した時点Ｂにおける対象部位に関する第１予測情報を出力する。具体的には、介入効果予測部７８は、出力データとして、例えば、対象者の時点Ｂにおける対象部位周囲の角度、対象部位の増大および縮小の程度、対象部位の皺およびシミの程度、対象部位に痛みが発症する時期および程度、並びに該対象部位に侵襲治療が必要となる時期を示す情報等を出力する。ここで示す出力データは一例であり、これらに限られるものではない。
　具体的には、介入効果予測部７８の学習時に用いられる入力データは、第３教師データ８４に含まれるある時点Ｂにおける患者の対象部位に関する疾患の発症または進行度合いを示す情報および介入情報に含まれる介入の方法を示す情報である。介入効果予測部７８は、上述の入力データに基づいて、出力データとして、対象者への介入の方法および該介入による効果を示す情報を出力する。介入効果予測部７８は、上述の入力データに基づいて、出力データとして、例えば、時点Ｂにおける該介入を適用した場合の患者の対象部位に関する疾患の症状が改善される程度あるいは該症状の進行が抑制される程度を表す情報を出力する。より具体的には、介入効果予測部７８は、出力データとして、前述の第２予測情報を出力してもよい。
　（予測システム１００、１００ａが行う処理）
　以下、予測システム１００、１００ａが行う処理の流れについて、図１５を用いて説明する。図１５は、本実施形態に係る予測システム１００、１００ａが行う処理の流れの一例を示すフローチャートである。
　まず、予測情報取得部７１は、対象者画像を取得する。一方、基礎情報取得部７６は、基礎情報を取得する（ステップＳ５１：取得ステップ）。
　続いて、予測情報生成部７５Ｂは、対象者画像および基礎情報が入力されたことに応じて、第１予測情報を生成し、該第１予測情報を、予測情報取得部７１および介入効果予測部７８へ出力する（ステップＳ５２：第１情報予測ステップ）。
　次に、介入効果予測部７８は、介入情報８５を参照し、介入情報８５に含まれる介入方法のうち少なくとも１つを選択する（ステップＳ５３：介入方法選択ステップ）。
　さらに、介入効果予測部７８は、第１予測情報が入力されたことに応じて、選択した介入方法についての第２予測情報を生成し、該第２予測情報を予測画像生成部７２Ｃおよび出力制御部７３Ｃへ出力する（ステップＳ５４：介入効果予測ステップ）。
　続いて、予測画像生成部７２Ｃは、対象者画像、第１予測情報および第２予測情報が入力されたことに応じて、予測画像を生成し、該予測画像を端末装置２へ出力する（ステップＳ５５：予測画像生成ステップ）。
　予測システム１００、１００ａは、第２時点における、介入の効果の有無によって対象部位の状態が異なることを、視覚的に分かりやすい予測画像として出力することができる。また、予測画像は、対象者本人の画像である対象者画像から生成されたものであるため、該対象者に対して説得力のあるリアルな画像である。それゆえ、例えば、対象者を担当する医師などから対象者に提示すれば、介入の必要性を対象者に効果的に理解させて、対象者の介入に対するモティベーションを高めることができる。
　〔ソフトウェアによる実現例〕
　予測装置１、１Ａ、１Ｂ、１Ｃの制御ブロック（特に制御部７、７Ａ、７Ｂ、７Ｃ）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
　後者の場合、予測装置１、１Ａ、１Ｂ、１Ｃは、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本開示の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）等をさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。本開示の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　以上、本開示に係る発明について、諸図面および実施例に基づいて説明してきた。しかし、本開示に係る発明は上述した各実施形態に限定されるものではない。すなわち、本開示に係る発明は本開示で示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示に係る発明の技術的範囲に含まれる。つまり、当業者であれば本開示に基づき種々の変形または修正を行うことが容易であることに注意されたい。また、これらの変形または修正は本開示の範囲に含まれることに留意されたい。
１、１Ａ、１Ｂ、１Ｃ　予測装置
２、２ａ、２ｂ　端末装置
３、３ａ、３ｂ　第１予測情報管理装置
４、４ａ、４ｂ　対象者画像管理装置
５、５ａ、５ｂ　医療施設
６　通信ネットワーク
７、７Ａ、７Ｂ、７Ｃ　制御部
８、８Ｂ、８Ｃ　記憶部
９、９ａ、９ｂ　電子カルテ管理装置
７１　予測情報取得部
７２、７２Ｃ　予測画像生成部
７３、７３Ｃ　出力制御部
７４　第１学習部
７５、７５Ｂ　予測情報生成部
７６　基礎情報取得部
７７　第２学習部
７８　介入効果予測部
７９　第３学習部
８１　制御プログラム
８２　第１学習用データセット
８３　第２学習用データセット
８４　第３教師データ
８５　介入情報
１００、１００ａ　予測システム
７２１、７２１Ｃ　生成器
７２２、７２２Ｃ　識別器
７５１、７８１　入力層
７５２、７８２　出力層

Claims (20)

  1. 　（ａ）第１時点の対象者の対象部位が写っている対象者画像と、（ｂ）前記第１時点から所定期間が経過した第２時点における前記対象部位に関する第１予測情報と、を取得する予測情報取得部と、
    　前記第１予測情報および前記対象者画像から、前記第２時点における前記対象部位の状態を予測した予測画像を生成して出力する予測画像生成部と、を備えている、予測システム。
  2. 　前記予測画像生成部は、前記予測画像を、前記対象者画像および前記第１予測情報を用いて生成可能な予測画像生成モデルを有している、請求項１に記載の予測システム。
  3. 　前記予測画像は、前記対象者画像の少なくとも一部を模した画像である、
    請求項１または２に記載の予測システム。
  4. 　前記対象者画像は、前記対象部位が写っている外観画像である、
    請求項１～３のいずれか１項に記載の予測システム。
  5. 　前記対象者画像は、前記対象部位が写っている医用画像である、
    請求項１～４のいずれか１項に記載の予測システム。
  6. 　前記医用画像は、前記対象者を撮像したＸ線画像、ＣＴ画像、ＭＲＩ画像、ＰＥＴ画像および超音波画像のうちの少なくとも１つである、
    請求項５に記載の予測システム。
  7. 　前記対象者画像は、前記対象者の全身、頭部、上半身、下半身、上肢、および下肢のうちのいずれかを撮像した画像である、
    請求項１～６のいずれか１項に記載の予測システム。
  8. 　前記予測画像は、前記対象部位に生じた疾患が、該対象部位に及ぼす影響を予測した画像である、
    請求項１～７のいずれか１項に記載の予測システム。
  9. 　前記疾患は、肥満症、脱毛症、白内障、歯周病、関節リウマチ、へバーデン結節、外反母趾、変形性関節症、変形性脊椎症、圧迫骨折およびサルコペニアのうちの少なくとも１つを含む、
    請求項８に記載の予測システム。
  10. 　前記予測画像生成モデルは、対象部位が写っている複数の画像データを教師データとして用いて学習されたニューラルネットワークである、
    請求項２に記載の予測システム。
  11. 　前記予測画像生成モデルは、敵対的生成ネットワークまたはオートエンコーダである、請求項２または１０に記載の予測システム。
  12. 　前記第１予測情報は、前記対象部位の前記疾患に関連した前記対象部位の形状および外見に関連する情報である、
    請求項８または９に記載の予測システム。
  13. 　前記対象者画像から前記第１予測情報を生成し、前記予測情報取得部に該第１予測情報を出力する予測情報生成部をさらに備え、
    　前記予測情報生成部は、前記第１予測情報を、前記対象者画像から推定可能な予測情報生成モデルを有している、
    請求項１～１２のいずれか１項に記載の予測システム。
  14. 　前記対象者の性別、年齢、身長、体重、および、該対象者の前記第１時点における前記対象部位の状態を示す情報のうちの少なくとも１つを含む基礎情報を取得する基礎情報取得部をさらに備え、
    　前記予測情報生成モデルは、前記第１予測情報を、前記対象者の対象者画像と該対象者の前記基礎情報とから推定可能である、
    請求項１３に記載の予測システム。
  15. 　前記予測情報生成モデルは、対象部位の疾患を有する患者に関する患者情報を教師データとして用いて学習されたニューラルネットワークであり、
    　前記患者情報は、過去の複数の時点において取得された、各患者の対象部位の状態を示す状態情報を含み、かつ、患者毎の前記状態情報と、該状態情報が取得された時点を示す情報とが関連付けられている情報である、
    請求項１３または１４に記載の予測システム。
  16. 　前記第１予測情報を入力として、前記対象者への介入の方法および該介入による効果を示す第２予測情報を出力する介入効果予測部をさらに備える、
    請求項１～１５のいずれか１項に記載の予測システム。
  17. 　前記介入効果予測部は、効果情報を教師データとして用いて学習されたニューラルネットワークを介入効果予測モデルとして有し、
    　前記効果情報は、過去の複数の時点において取得された、各患者の対象部位の状態を示す状態情報を含み、かつ、患者毎の前記状態情報と、各患者に適用された介入を示す介入情報とが関連付けられている情報である、
    請求項１６に記載の予測システム。
  18. 　前記介入の方法は、食事療法、運動療法、薬物療法、装具療法、リハビリテーションおよび外科的療法のうちの少なくとも１つを含む、
    請求項１６または１７に記載の予測システム。
  19. 　予測システムの制御方法であって、
    　（ａ）第１時点の対象者の対象部位が写っている対象者画像と、（ｂ）前記第１時点から所定期間が経過した第２時点における前記対象部位に関する第１予測情報、を取得する予測情報取得ステップと、
    　前記第１予測情報および前記対象者画像から、前記第２時点における前記対象部位の状態を予測した予測画像を生成して出力する予測画像生成ステップと、を含み、
    　前記予測システムは、前記予測画像を、前記対象者画像および前記第１予測情報を用いて生成可能な予測画像生成モデルを有している制御方法。
  20. 　請求項１から１８のいずれか１項に記載の予測システムとしてコンピュータを機能させるための制御プログラムであって、前記予測情報取得部および前記予測画像生成部としてコンピュータを機能させるための制御プログラム。
PCT/JP2022/001798 2021-01-20 2022-01-19 予測システム、制御方法、および制御プログラム WO2022158490A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
AU2022209591A AU2022209591A1 (en) 2021-01-20 2022-01-19 Prediction system, control method, and control program
CN202280010250.6A CN116724360A (zh) 2021-01-20 2022-01-19 预测系统、控制方法以及控制程序
JP2022576720A JPWO2022158490A1 (ja) 2021-01-20 2022-01-19
EP22742612.9A EP4283631A1 (en) 2021-01-20 2022-01-19 Prediction system, control method, and control program
US18/273,192 US20240119587A1 (en) 2021-01-20 2022-01-19 Prediction system, control method, and control program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021007477 2021-01-20
JP2021-007477 2021-01-20

Publications (1)

Publication Number Publication Date
WO2022158490A1 true WO2022158490A1 (ja) 2022-07-28

Family

ID=82549432

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/001798 WO2022158490A1 (ja) 2021-01-20 2022-01-19 予測システム、制御方法、および制御プログラム

Country Status (6)

Country Link
US (1) US20240119587A1 (ja)
EP (1) EP4283631A1 (ja)
JP (1) JPWO2022158490A1 (ja)
CN (1) CN116724360A (ja)
AU (1) AU2022209591A1 (ja)
WO (1) WO2022158490A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008036068A (ja) 2006-08-04 2008-02-21 Hiroshima Univ 骨粗鬆症診断支援装置および方法、骨粗鬆症診断支援プログラム、骨粗鬆症診断支援プログラムを記録したコンピュータ読み取り可能な記録媒体、骨粗鬆症診断支援用ｌｓｉ
WO2017191847A1 (ja) * 2016-05-04 2017-11-09 理香 大熊 将来像予測装置
WO2018008288A1 (ja) * 2016-07-06 2018-01-11 臨床医学研究所株式会社 介入効果推測システム、介入効果推測方法、及び、介入効果推測システムに用いるプログラム
WO2020044824A1 (ja) * 2018-08-31 2020-03-05 日本電信電話株式会社 介入内容推定装置、方法およびプログラム
WO2020138085A1 (ja) * 2018-12-25 2020-07-02 京セラ株式会社 疾患予測システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008036068A (ja) 2006-08-04 2008-02-21 Hiroshima Univ 骨粗鬆症診断支援装置および方法、骨粗鬆症診断支援プログラム、骨粗鬆症診断支援プログラムを記録したコンピュータ読み取り可能な記録媒体、骨粗鬆症診断支援用ｌｓｉ
WO2017191847A1 (ja) * 2016-05-04 2017-11-09 理香 大熊 将来像予測装置
WO2018008288A1 (ja) * 2016-07-06 2018-01-11 臨床医学研究所株式会社 介入効果推測システム、介入効果推測方法、及び、介入効果推測システムに用いるプログラム
WO2020044824A1 (ja) * 2018-08-31 2020-03-05 日本電信電話株式会社 介入内容推定装置、方法およびプログラム
WO2020138085A1 (ja) * 2018-12-25 2020-07-02 京セラ株式会社 疾患予測システム

Also Published As

Publication number Publication date
CN116724360A (zh) 2023-09-08
EP4283631A1 (en) 2023-11-29
US20240119587A1 (en) 2024-04-11
AU2022209591A1 (en) 2023-08-17
JPWO2022158490A1 (ja) 2022-07-28

Similar Documents

Publication Publication Date Title
JP7283673B1 (ja) 推定装置、プログラム及び記録媒体
US20170360578A1 (en) System and method for producing clinical models and prostheses
US20200129237A1 (en) Body engagers and methods of use
JP2023169392A (ja) 予測装置、予測システム、制御方法、および制御プログラム
US20220223255A1 (en) Orthopedic intelligence system
Villamil et al. Simulation of the human TMJ behavior based on interdependent joints topology
WO2022158490A1 (ja) 予測システム、制御方法、および制御プログラム
JP2018535763A (ja) 画像処理方法
JP7357872B2 (ja) 被験者の状態を推定するためのコンピュータシステム、方法、およびプログラム
Orsbon Swallowing Biomechanics of the Macaca mulattaHyolingual Apparatus
US20240087716A1 (en) Computer-assisted recommendation of inpatient or outpatient care for surgery
Kulkarni et al. Artificial intelligence-The robo radiologists
Bellapukonda et al. Digitalization of Pediatric Dentistry: A Review
Dołoszycka et al. Selected aspects of anatomy and biomechanics of the stomatognathic system
TW202405756A (zh) 醫療或美容的外觀重建方法
Zampier et al. EFFECTS OF TRANSCRANIAL DIRECT CURRENT STIMULATION COMBINED WITH ARM SWING ON THE WALKING PERFORMANCE OF PEOPLE WITH PARKINSON’S DISEASE
Liffey Imaging and device biomechanics: Modelling, diagnosis, rehabilitation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22742612

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280010250.6

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 18273192

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2022576720

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2022209591

Country of ref document: AU

Date of ref document: 20220119

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022742612

Country of ref document: EP

Effective date: 20230821