WO2021182595A1 - 予測装置、予測システム、制御方法、および制御プログラム - Google Patents

予測装置、予測システム、制御方法、および制御プログラム Download PDF

Info

Publication number
WO2021182595A1
WO2021182595A1 PCT/JP2021/009963 JP2021009963W WO2021182595A1 WO 2021182595 A1 WO2021182595 A1 WO 2021182595A1 JP 2021009963 W JP2021009963 W JP 2021009963W WO 2021182595 A1 WO2021182595 A1 WO 2021182595A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction
information
joint
intervention
subject
Prior art date
Application number
PCT/JP2021/009963
Other languages
English (en)
French (fr)
Inventor
渡辺 健一
京本 政之
昌彦 橋田
信太郎 本多
駿 佐々木
徹 茂呂
田中 栄
Original Assignee
京セラ株式会社
国立大学法人東京大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社, 国立大学法人東京大学 filed Critical 京セラ株式会社
Priority to AU2021234765A priority Critical patent/AU2021234765B2/en
Priority to EP21767631.1A priority patent/EP4119056A4/en
Priority to US17/911,066 priority patent/US20230111852A1/en
Priority to JP2022507291A priority patent/JP7364200B2/ja
Priority to CN202180020190.1A priority patent/CN115279270A/zh
Publication of WO2021182595A1 publication Critical patent/WO2021182595A1/ja
Priority to JP2023166420A priority patent/JP2023169392A/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/45For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4528Joints
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5294Devices using data or image processing specially adapted for radiation diagnosis involving using additional data, e.g. patient information, image labeling, acquisition parameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image

Definitions

  • the prediction device may be realized by a computer.
  • the prediction device is operated by the computer by operating the computer as each part (software element) included in the prediction device.
  • the control program of the predictor to be realized and the computer-readable recording medium on which the control program is recorded are also included in the scope of the present disclosure.
  • the target is a human
  • the target is not limited to humans.
  • the subject may be, for example, a non-human mammal such as Equine, Felidae, Canidae, Bovidae or Pig.
  • the present disclosure also includes an embodiment in which the "subject” is paraphrased as an "animal” as long as it is an embodiment applicable to these animals among the following embodiments.
  • an electronic medical record management device 5a and a medical image management device 6a may be communicably connected to the LAN in the medical facility 8a.
  • an electronic medical record management device 5b and a medical image management device 6b may be communicably connected to the LAN in the medical facility 8b.
  • medical facilities 8a and 8b are not particularly distinguished, they are referred to as "medical facilities 8".
  • the terminal devices 7a and 7b and the medical image management devices 6a and 6b are also referred to as “terminal device 7" and “medical image management device 6", respectively, unless otherwise specified.
  • the input data 321 for the first learning may include patient images showing bones / joints and soft tissues of each of a plurality of patients.
  • the first teacher data 322 may include symptom information regarding the joints of each patient at the time when the patient image is captured.
  • the symptom information may include information on the onset time of the joint disease or the progression of the symptom.
  • the patient image may include at least one of an X-ray image, a CT image, an MRI image, and an ultrasound image of each joint of a plurality of patients.
  • the second learning data 33 (effect information) is data used for machine learning for generating a second prediction model.
  • the second learning data 33 includes the second learning input data 331 used as the input data and the second teacher data 332 for calculating the error from the first prediction information output by the first prediction unit 23.
  • the second learning input data 331 includes information indicating when the intervention was applied, a patient image showing the joints of each patient, and each of the plurality of patients to which the intervention was applied. It may include symptom information regarding the onset or progression of joint symptoms at the time the patient image of the patient is taken.
  • the first prediction unit 23 and the second prediction unit 25 perform calculations based on the first prediction model on the input data input to the input layer 231 to perform the first prediction from the output layer 232. Output information. Further, the first prediction unit 23 may output the second prediction information in addition to the first prediction information.
  • the prediction device 1 acquires the basic information of the target person from the electronic medical record management device 5 in addition to the medical image, and the terminal device 7a installed in the medical facility 8a is connected to the joint of the target person Pa. 1 Send prediction information. Similarly, the prediction device 1 acquires the medical image and basic information of the subject Pb who has been examined at the medical facility 8b, and first predicts the joint of the subject Pb on the terminal device 7b installed at the medical facility 8b. Information can be sent.
  • the information indicating the life satisfaction of the subject may be the score as a result of diagnosing the subject's QOL.
  • a method for evaluating the score for example, SF-36, WOMAC, IKDC (International Knee Documentation Committee), KOOS (Knee injury and Osteoarthritis Outcome Score), JKOM (Japanese knee osteoarthritis measure) and the like can be used.
  • the gene information may include information on at least one of a gene encoding asporin, a gene encoding GDF5, and a gene encoding DVWA. These are information about genes that are thought to be involved in the progression of KOA.
  • the prediction device 1 can make a prediction based on more input data, so that the accuracy of the first prediction information can be further improved.
  • the history of joint disease may be, for example, acetabular hypoplasia or developmental hip dysplasia. Diagnosis of developmental hip dysplasia may be made by radiography or ultrasound. If X-ray photography or ultrasonic diagnosis is difficult, it may be performed by photographs or moving images.
  • a neural network may be used for diagnosis. The neural network may be learning photographs, moving images, X-ray images or ultrasound images of a plurality of patients with developmental hip dysplasia.
  • ION often develops between the ages of 30 and 40, resulting in a decrease in the labor force. Moreover, when ION develops, long-term treatment is required. Patients with advanced ION symptoms and crushing of the femoral head should undergo hip arthroplasty.
  • the first learning data 32 in the present embodiment is time-series data regarding the symptoms of ION acquired from each of the plurality of patients diagnosed as ION at a plurality of time points in the past. Further, the first learning data 32 includes a patient image showing the hip joint of each of the plurality of patients, symptom information regarding the onset or progression of the hip joint disease at the time when the patient image is taken, and the patient image. Includes information associated with patient-related information related to QOL at the time the image was taken. In addition, the first learning data 32 may include information indicating the time when the crushing of the femoral head occurs.
  • the first learning unit 27 uses the patient image at a certain time point as the input data 321 for the first learning among the data included in the first learning data 32, and the first learning unit 27 uses the patient image at a time point when a predetermined period elapses from the time point.
  • the patient image, symptom information and patient-related information of the patient may be used as the first teacher data 322.
  • the method of intervention included in the intervention information 34 stored in the storage unit 3 is, for example, non-invasive treatment.
  • Methods of intervention include weight restriction, hyperthermia, ultrasound therapy, drug intake, wearing orthoses, and the like.
  • the orthosis may include, for example, a walking aid, a supporter, and the like.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Physiology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Rheumatology (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

予測装置は、第1時点の対象の関節が写った医用画像から、前記第1時点から所定期間が経過した第2時点における、前記関節に関する第1予測情報を出力する第1予測部を備える。第1予測部は、前記第1予測情報を、前記医用画像から推定可能な第1予測モデルを有している。

Description

予測装置、予測システム、制御方法、および制御プログラム
 本開示は、関節の症状等を予測する予測装置、予測システム、制御方法、制御プログラムに関する。
 特許文献1には、骨粗鬆症を判定する技術が開示されている。
日本国特開2008-36068号公報
 本開示の一態様に係る予測装置は、第1時点の対象の関節(骨、軟骨および軟部組織を含む)が写った医用画像を取得する画像取得部と、前記医用画像から、前記第1時点から所定期間が経過した第2時点における、前記関節に関する第1予測情報を出力する第1予測部と、を備え、前記第1予測部は、前記第1予測情報を、前記医用画像から推定可能な第1予測モデルを有している。
 また、本開示の一態様に係る制御方法は、第1時点の対象の関節が写った医用画像を取得する画像取得ステップと、前記医用画像から、前記第1時点から所定期間が経過した第2時点における、前記関節に関する第1予測情報を出力する予測ステップと、をコンピュータに実行させる前記コンピュータの制御方法であって、前記コンピュータは、前記第1予測情報を、前記医用画像から推定可能な第1予測モデルを有している。
 また、本開示の各態様に係る予測装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記予測装置が備える各部(ソフトウェア要素)として動作させることにより前記予測装置をコンピュータにて実現させる予測装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本開示の範疇に入る。
本開示の一態様に係る予測システムの構成例を示す図である。 本開示の別の態様に係る予測システムの構成例を示す図である。 本開示の一態様に係る予測装置の構成の一例を示すブロック図である。 第1予測部、第2予測部、および第3予測部が有するニューラルネットワークの構成の一例を示す図である。 第1学習部による学習処理の流れの一例を示すフローチャートである。 第2学習部による学習処理の流れの一例を示すフローチャートである。 予測装置が行う処理の流れの一例を示すフローチャートである。 予測装置によって実現する医療サービスの一例を示す図である。 本開示の別の態様に係る予測装置の構成の一例を示すブロック図である。
以下、本開示について詳細に説明する。
 対象の関節の疾患は、対象のQOL(quality of life)を著しく低下させ得るが、対対象の関節の疾患によるQOLの低下を低減するためには、できるだけ早期に疾患の発症および症状の進行を発見し、生活指導等の適切な方法での介入を開始することが重要であった。これに対して、本開示の一態様では、対象の関節の疾患の発症または症状の進行度合いに関する信頼性の高い情報を提示することができる。したがって、ひいては、本開示の一態様では、対象のQOLの低下を低減することができる。
 以下、本開示に係る各実施形態について説明する。なお、以下の説明では、対象がヒトである場合について「対象者」として説明するが、対象はヒトには限られない。対象は、例えば、ウマ科、ネコ科、イヌ科、ウシ科またはブタ科等のヒト以外の哺乳動物であってもよい。そして、本開示は、下記の実施形態のうち、これらの動物に対しても適用可能な実施形態であれば、「対象者」を「動物」と言い換えた実施形態も含むものである。
 〔実施形態1〕
 (予測装置1の概要)
 本開示の一態様に係る予測装置1は、第1時点の対象者の関節が写った医用画像から、第1予測モデルを用いて、対象者の関節の将来の症状に関する第1予測情報を出力する装置である。ここで、第1予測モデルとは、前記医用画像から前記第1予測情報を推定可能な予測モデルである。
 第1時点は、例えば、対象者の関節を撮像した医用画像が取得された時点であってもよい。第1時点は、典型的には、対象者の現在の関節の状態を撮像した医用画像が取得された時点であってもよい。すなわち、第1時点とは、実質的に現時点を意図していてもよい。
 また、第1予測情報は、第1時点から所定期間が経過した第2時点における、対象者の関節の症状に関する情報である。所定期間は、第1時点から経過した任意の期間であってよく、半年間であってもよいし、1年間であってもよいし、5年間であってもよいし、10年間であってもよいし、50年であってもよい。すなわち、第2時点とは、実質的に将来の任意の時点を意図していてもよい。所定期間は、1つの期間に限定されず、複数の期間を含んでいてもよい。すなわち、第1予測情報は、第1時点から半年後、1年後、5年後、10年後および50年後等、複数の時点における対象者の関節の症状を示す情報を含んでいてもよい。第1予測情報は、例えば、将来時点の、対象者の関節に生じる可能性が高い症状と該症状が発生する時期、および、対象者の関節の症状の進行度合い、に関する予測を含む情報である。
 より具体的には、第1予測情報は、対象者の関節に生じる可能性の高い症状として、例えば、関節周囲のアライメント、関節軟骨の厚み、関節裂隙、骨棘形成、滑膜炎の有無、Kellgren-Laurence(K-L)分類、関節の可動域、関節のこわばり、跛行の有無、等の情報を含んでも良い。
 予測装置1は、対象者の関節に将来生じる疾患(例えば、変形性関節症、関節リウマチ、骨壊死、および、その他関節特有の疾患等)の症状に関する情報を、該症状が生じていない時点で、対象者および対象者を担当する医師等に提示することができる。
 予測装置1は、対象者の、顎関節、脊椎椎間関節、肩関節、肩鎖関節、肘関節、手関節、手部、手指、股関節、仙腸関節、膝関節、足関節、足部、足趾、のうちいずれか1つを含む関節について、第1予測情報を出力することが可能である。
 予測装置1は、予測対象となる対象者の関節を構成する骨の形状、配置、関節を形成する骨が成す角度、および周囲の軟部組織の状態等が解析可能な任意の医用画像を利用することができる。それゆえ、医用画像は、例えば、単純X線画像、CT(Computed Tomography)画像、MRI(Magnetic Resonance Imaging)画像、および超音波画像のうちの少なくとも1つを含んでいればよい。
 (予測システム100aの構成)
 まず、本開示の一態様に係る予測システム100aの構成について、図1を用いて説明する。図1は、予測装置1を導入した医療施設8における予測システム100aの構成例を示す図である。
 予測システム100aは、予測装置1と、予測装置1と通信可能に接続された1以上の端末装置7とを含んでいる。予測装置1は、対象者の関節が写った医用画像から第1予測情報を出力し、該第1予測情報を端末装置7に送信するコンピュータである。端末装置7は、予測装置1から第1予測情報を受信し、該第1予測情報を提示する。端末装置7は、医療施設8に所属する医師等の医療関係者が使用するコンピュータである。端末装置7は、例えば、パーソナルコンピュータ、タブレット端末、スマートフォン等である。端末装置7は、他装置とのデータ送受信を行う通信部、キーボードおよびマイク等の入力部、第1予測情報に含まれる情報を表示可能な表示部、スピーカ等の出力部等を有している。図1に示す医療施設8内には、LAN(local area network)が配設されており、予測装置1および端末装置7がLANに接続されている例を示しているが、これに限定されない。例えば、医療施設8内のネットワークは、インターネット、電話通信回線ネットワーク、光ファイバ通信ネットワーク、ケーブル通信ネットワークおよび衛星通信ネットワーク等が適用されていてもよい。
 医療施設8内のLANには、予測装置1および端末装置7の他、医用画像管理装置6が通信可能に接続されていてもよい。医用画像管理装置6は、医療施設8にて撮像された医用画像を管理するためのサーバとして機能するコンピュータである。この場合、予測装置1は、医用画像管理装置6から対象者の関節が写った医用画像を取得してもよい。
 医療施設8内のLANは、外部の通信ネットワークと通信可能に接続されていてもよい。医療施設8において、予測装置1と端末装置7とがLANを介さずに直接接続されていてもよい。
 (予測システム100bの構成)
 予測装置1は、所定の医療施設8に設置されているコンピュータではなく、通信ネットワーク9を介して複数の医療施設8の各々に配設されたLANと通信可能に接続されていてもよい。図2は、本開示の別の態様に係る予測システム100bの構成例を示す図である。
 医療施設8a内のLANには、1以上の端末装置7aの他、電子カルテ管理装置5a、医用画像管理装置6aが通信可能に接続されていてもよい。また、医療施設8b内のLANには、端末装置7bの他、電子カルテ管理装置5b、医用画像管理装置6bが通信可能に接続されていてもよい。以下において、医療施設8aと8bとを特に区別しない場合、「医療施設8」と記す。また、端末装置7aと7b、および、医用画像管理装置6aと6bについても、特に区別しない場合、それぞれ「端末装置7」、および「医用画像管理装置6」と記す。
 図2では、医療施設8aおよび医療施設8bのLANが、通信ネットワーク9に接続されている例を示している。予測装置1は、通信ネットワーク9を介して、各医療施設内の装置と通信可能に接続されていればよく、図2に示された構成に限定されない。例えば、医療施設8a内あるいは医療施設8b内に、予測装置1が設置されていてもよい。
 このような構成を採用した予測システム100bにおいて、予測装置1は、医療施設8aにて診察を受けた対象者Paの医用画像を、医療施設8aの医用画像管理装置6aから取得することが可能である。そして、予測装置1は、医療施設8aに設置された端末装置7aに対象者Paの関節に関する第1予測情報を送信する。同様に、予測装置1は、医療施設8bにて診察を受けた対象者Pbの医用画像を取得し、医療施設8bに設置された端末装置7bに対象者Pbの関節に関する第1予測情報を送信することができる。
 この場合、各対象者の医用画像には、各対象者を診察している医療施設8毎に付与された各医療施設8に固有の識別情報(例えば、施設ID)、対象者毎に付与された各対象者に固有の識別情報(例えば、患者ID)が含まれていればよい。予測装置1は、これらの識別情報に基づいて、対象者に関する医療画像から出力した第1予測情報を、該対象者が診察を受けた各医療施設8の端末装置7に正しく送信することができる。
 (予測装置1の構成)
 続いて、図1に示す予測システム100aに適用された予測装置1の構成について、図3を用いて説明する。図3は、予測装置1の構成例の一例を示すブロック図である。
 予測装置1は、予測装置1の各部を統括的に制御する制御部2、および、制御部2が使用する各種データを記憶する記憶部3を備える。制御部2は、画像取得部21、第1予測部23、出力制御部24、第2予測部25、第1学習部27、および第2学習部28を備える。記憶部3には、予測装置1の各種制御を行うためのプログラムである制御プログラム31、第1学習データ32(患者情報)、および第2学習データ33(効果情報)が格納されている。
 <画像取得部21>
 画像取得部21は、医用画像管理装置6から、第1時点の対象者の関節が写った画像である医用画像を取得する。医用画像は、第1予測部23に入力される入力データである。
 <第1予測部23>
 第1予測部23は、対象者の関節が写った医用画像から、第1時点から所定期間が経過した第2時点における、関節に関する第1予測情報を出力する。第1予測部23は、入力層231および出力層232を備える学習済のニューラルネットワークを有している(図4参照)。
 第1予測部23は、複数の患者の各々から過去に複数の時点において取得された、関節の症状に関する時系列データである第1学習データ32を用いて学習済のニューラルネットワークを有している。この学習済のニューラルネットワークが、対象者の医用画像から第1予測情報を出力可能な第1予測モデルとして用いられる。なお、ニューラルネットワークは、人間の脳神経系を模した数理モデルであり、この数理モデルの各パラメータを学習処理によって決定し、この学習済の数理モデルまたは演算式に従って演算を行なうことで予測情報を予測することができる。
 第1予測部23は、対象者の医用画像が、入力層231(図4参照)へ入力されたことに応じて、第1予測モデルに基づいて演算を行い、第1予測情報を出力層232(図4参照)から出力する。第1予測部23は、一例として、医用画像から特徴量を抽出し、入力データとして用いる構成であってもよい。該特徴量の抽出には、以下に挙げるような公知のアルゴリズムが適用され得る。
・畳み込みニューラルネットワーク(CNN:convolutional neural network)
・オートエンコーダ(auto encoder)
・リカレントニューラルネットワーク(RNN:recurrent neural network)
・LSTM(Long Short-Term Memory)。
 第1予測モデルとは、第1予測部23が入力データに基づいて演算を行う際に用いる演算モデルである。第1予測部23が有するニューラルネットワークに対して、後述する第1学習データ32を用いた機械学習を実行することによって、第1予測モデルが生成される。第1学習データ32、第1予測部23の構成、および学習処理の具体例については後述する。
 <第2予測部25>
 第2予測部25は、第1予測部23と同様、入力層251、および出力層252を備える学習済のニューラルネットワークを有している(図4参照)。
 第2予測部25は、過去に介入が適用された複数の患者の各々から過去に複数の時点において取得された、関節の症状に関する時系列データを含む第2学習データ33を用いて学習されたニューラルネットワークを有している。この学習済みニューラルネットワークが、対象者の第1予測情報から、第3予測情報を推定可能な第2予測モデルとして用いられる。ここで、第2予測モデルとは、介入が適用された複数の患者の各々から取得された、関節の症状に関する時系列データに基づいて生成された予測モデルである。
 第3予測情報は、対象者への介入の方法および該介入による効果を示す情報である。より具体的には、介入の種類を示す情報および介入による効果を示す情報である。介入による効果とは介入を適用した場合の第2時点における対象者の関節の症状を表す情報である。または、介入による効果とは、介入を適用することで、介入を適用しなかった場合よりも第2時点における対象者の関節に関する疾患の症状が改善される程度あるいは症状の進行が抑制される程度を表す情報であってもよい。第3予測情報には、介入を適用すべき時期(介入時期)を示す情報を含んでいてもよい。
 第2予測部25は、第1予測情報が、入力層251(図4参照)へ入力されたことに応じて、第2予測モデルに基づいて演算を行い、第3予測情報を出力層252(図4参照)から出力する。第2予測部25は、一例として、第1予測情報から特徴量を抽出し、入力データとして用いる構成であってもよい。該特徴量の抽出には、以下に挙げるような公知のアルゴリズムが適用され得る。
・畳み込みニューラルネットワーク(CNN:convolutional neural network)
・オートエンコーダ(auto encoder)
・リカレントニューラルネットワーク(RNN:recurrent neural network)
・LSTM(Long Short-Term Memory)。
 第2予測モデルとは、第2予測部25が入力データに基づいて演算を行う際に用いる演算モデルである。第2予測部25が有するニューラルネットワークに対して、後述する第2学習データ33を用いた機械学習を実行することによって、第2予測モデルが生成される。第2学習データ33、第2予測部25の構成、および学習処理の具体例については後述する。
 <出力制御部24>
 出力制御部24は、第1予測部23から出力された第1予測情報を、端末装置7に送信する。また、出力制御部24は、第2予測部25から出力された第3予測情報を、端末装置7に送信する。
 予測装置1が表示部(図示せず)を備える構成であってもよい。その場合、出力制御部24は、表示部に第1予測情報を表示させる。
 <第1学習部27>
 第1学習部27は、第1予測部23が有するニューラルネットワークに対する学習処理を制御する。この学習には、第1学習データ32(後述)が用いられる。第1学習部27が行う学習の具体例については後述する。
 <第2学習部28>
 第2学習部28は、第2予測部25が有するニューラルネットワークに対する学習処理を制御する。この学習には、第2学習データ33(後述)が用いられる。第2学習部が行う学習の具体例については後述する。
 (第1学習データ32)
 第1学習データ32は、第1予測モデルを生成するための機械学習に用いられるデータである。第1学習データ32は、入力データとして用いられる第1学習用入力データ321および第1予測部23が出力した第1予測情報との誤差を算出するための第1教師データ322を含んでいる。
 例えば第1学習用入力データ321は、複数の患者の各々の、骨・関節および軟部組織が写った患者画像を含んでいてもよい。また、第1教師データ322は、患者画像が撮像された時点における各患者の関節に関する症状情報を含んでいてもよい。ここで、症状情報は、関節の疾患の発症時期、または症状の進行に関する情報を含んでいてもよい。患者画像は、複数の患者の各々の関節を撮像したX線画像、CT画像、MRI画像、および超音波画像のうちの少なくとも1つを含んでいてもよい。
 第1学習データ32は、第1学習用入力データ321と第1教師データ322とが一体となったデータであってもよい。つまり、第1学習データ32は、複数の患者の各々から過去に複数の時点において取得された、患者画像と、該患者画像が撮像された時点における関節の症状に関する情報とが対応付けられている時系列データであってもよい。例えば、第1学習データ32は、ある時点、およびある時点から1年後の患者の関節周囲のアライメント、関節軟骨の厚み、骨棘形成、滑膜炎の有無、K-L分類、関節の可動域、痛みの程度、関節のこわばりの程度、跛行の有無等の情報から抽出された特徴量を示すパラメータを含んでいてもよい。また、第1学習データ32は、該患者の属性を示すパラメータを含んでもよい。患者の属性は、例えば、各患者の身長、体重、年齢、および性別である。第1学習データが時系列データである場合、第1学習部27は、ある時点の患者画像を第1学習用入力データ321として用い、ある時点から所定の期間後の患者画像および該患者画像が撮像された時点における関節の症状に関する情報および患者に関する情報を第1教師データ322として用いてもよい。
 第1学習データ32は、複数の患者の各々のQOLに関するに関する情報を時系列データに含んでいてもよい。例えば、WOMAC、SF-36、VAS等の情報を含んでも良い。このような第1学習データ32を用いた機械学習によって生成された第1予測モデルを有する第1予測部23は、対象者の医用画像から、第2時点における対象者のQOLに関連する第2予測情報を出力することが可能である。
 (第2学習データ33)
 第2学習データ33(効果情報)は、第2予測モデルを生成するための機械学習に用いられるデータである。第2学習データ33は、入力データとして用いられる第2学習用入力データ331および第1予測部23が出力した第1予測情報との誤差を算出するための第2教師データ332を含んでいる。具体的には、第2学習用入力データ331は、介入が適用された複数の患者の各々の、該介入が適用された時期を示す情報、各患者の関節が写った患者画像、および、各患者の患者画像が撮像された時点における関節の症状の発症または進行に関する症状情報を含んでいてもよい。また、第2教師データ332は、上述の患者画像が撮像された時点よりも後(例えば1年後)の時点における該患者の関節が写った患者画像、および、該患者の関節の症状の発症または進行に関する症状情報を含んでいてもよい。
 第2学習データ33は、過去に介入が適用された複数の患者の各々から、複数の時点において取得された、患者画像と、該患者画像が撮像された時点における関節の症状に関する情報と、が対応付けられている時系列データであってもよい。
 (第1予測部23および第2予測部25の構成)
 以下、第1予測部23および第2予測部25の構成について図4に基づいて説明する。図4に示す構成は一例であり、第1予測部23および第2予測部25の構成はこれに限定されない。第1予測部23および第2予測部25は、同様の構成を有していてもよい。
 <第1予測部23の構成>
 図4に示すように第1予測部23および第2予測部25は、入力層231に入力される入力データに対して、第1予測モデルに基づく演算を行って、出力層232から第1予測情報を出力する。また、第1予測部23は、第1予測情報に加えて第2予測情報を出力してもよい。
 図4の第1予測部23は、入力層231と出力層232までのニューラルネットワークを備える。ニューラルネットワークは、時系列情報を扱うことに適したニューラルネットワークであればよい。例えば、LSTM等であればよい。ニューラルネットワークは、時系列情報と位置情報を複合して扱うことに適したニューラルネットワークであると好ましい。例えば、CNNとLSTMを組み合わせたConvLSTMネットワーク等であればよい。入力層231は、入力データの時間変化の特徴量を抽出することができる。出力層232は、入力層231で抽出した特徴量、入力データの時間変化および初期値に基づいて、新たな特徴量を算出することができる。入力層231および出力層232は、複数のLSTM層を有している。入力層231および出力層232のそれぞれは、3つ以上のLSTM層を有していてもよい。学習のための第1学習用入力データ321は、第1予測部23の学習時に、第1予測部23の入力層231に入力される。第1教師データ322となる関節の症状に関するデータは、第1予測部23の学習時に、第1予測部23の出力層232から出力される出力データと比較される。第1予測部23は、第1学習用入力データ321および第1教師データ322を用いた公知の機械学習により、最適化される。第1予測部23は、入力層231に入力された第1学習用入力データ321から演算されて出力層232から出力された疑似予測結果と、第1教師データ322との差が小さくなるように、第1予測部23内の可変のパラメータを調整する。
 具体的には、入力層231に第1学習用入力データ321を入力する場合には、第1学習用入力データ321を構成する複数の画素データを複数の人工ニューロンにそれぞれ入力する。そして、出力層232から出力される疑似予測結果についての、第1教師データ322に対する誤差が小さくなるように、パラメータを調整する。調整後のパラメータは、学習済みパラメータとなり、第1予測モデルまたは第2予測モデルに記憶される。
 パラメータの調整方法としては、例えば、誤差逆伝播法が採用される。パラメータには、例えば、入力層231、出力層232で使用されるパラメータが含まれる。具体的には、パラメータには、入力層231と出力層232のLSTM層とにおいて使用される重み付け係数が含まれる。その結果、第1予測モデルは、入力層231に入力される医用画像データに対して第1予測モデルに基づく演算を行って、出力層232から第1予測情報を出力する。以上のように、該予測装置では、医用画像データが使用されて、第1予測部23の学習と、第1予測部23での予測とが行われる。したがって、予測装置に医用画像を入力して、将来の関節の症状に関する第1予測情報として出力することができる。
 具体的には、第1予測部23の学習時に用いられる入力データは、第1学習用入力データ321に含まれるある時点Aにおける患者の医用画像である。第1予測部23は、上述の入力データに基づいて、出力データとして、時点Aから所定の期間(例えば3年)が経過した時点Bまでの患者の関節に関する疾患の発症または進行度合いの予測結果を出力する。具体的には、第1予測部23は、例えば患者の時点Bにおける関節を構成する骨同士が成す角度、該軟骨の摩耗具合を示すパラメータ、関節の変形度合いに応じた階級を示す値、該患者の関節に痛みが発症する時期・程度、および、該患者の関節に侵襲治療が必要となる時期を示す情報等を出力する。ここで示す出力データは一例であり、これらに限られるものではない。
 また、第1予測部23が第1予測情報を出力する際に用いる入力データは、例えば第1時点における対象者の医用画像から抽出された特徴量を示すパラメータである。また、第1予測部23は、上述の入力データに基づいて、第1予測情報として、第2時点までの対象者の関節に関する疾患の発症または進行度合いの予測結果を出力する。具体的には、第1予測部23は、第1予測情報として例えば対象者の第2時点における関節を構成する骨同士が成す角度、該軟骨の摩耗具合を示すパラメータ、関節の変形度合いに応じた階級を示す値、該対象者の関節に痛みが発症する時期・程度、および、該患者の関節に侵襲治療が必要となる時期を示す情報等を出力する。ここで示す第1予測情報は一例であり、これらに限られるものではない。
 また、第1予測部23は、上述の第1予測情報に基づいて、第2予測情報として、対象者のQOLを示す情報を出力する。具体的には、第1予測部23は、第2予測情報として対象者の関節に発症している痛みに関する情報、対象者の破局的思考に関する情報、対象者の運動能力に関する情報、前記対象者の生活満足度を示す情報、および、対象者の関節のこわばりの程度等の情報の少なくともいずれか1つを出力する。
 対象者のQOLを示す情報は、下記のうちの少なくとも1つを含む情報である。
・対象者の関節に発症している痛みに関する情報
・対象者の破局的思考に関する情報
・対象者の運動能力に関する情報
・前記対象者の生活満足度を示す情報。
 対象者のQOLを示す情報は、当該対象者の(1)身体機能、(2)日常役割機能(身体)、(3)体の痛み、(4)全体的健康感、(5)活力、(6)社会生活機能、(7)日常役割機能(精神)、(8)心の健康、に関する情報を含んでいてもよい。
 また、基礎情報は、例えば、対象者の関節の可動域、体重支持指数、跛行の有無、K-L分類、こわばりの程度等の情報を含んでいてもよい。QOLに関連する情報は、例えば、WOMAC(Western Ontario and McMaster Universities Osteoarthritis Index)、SF-36(36-Item. Short-Form Health Survey)、VAS(Visual analog scale)等の情報を含んでいても良い。
 <第2予測部25の構成>
 第2予測部25も第1予測部23と同様の構成を備えていてよく、具体的には入力層251、および出力層252を備える。第2予測部25は、第1予測部23から第1予測情報を取得し、入力層251に入力する入力データとして用いる。第2予測部25は、医用画像を更に取得し、入力データとして用いてもよい。第2予測部25は、第1予測情報に基づき、第2予測モデルを用いて演算を行い、第3予測情報を出力する。
 具体的には、第2予測部25の学習時に用いられる入力データは、第2学習データ33に含まれるある時点Bにおける患者の関節に関する疾患の発症または進行度合いを示す情報および介入情報34に含まれる介入の方法を示す情報である。第2予測部25は、上述の入力データに基づいて、時点Bにおける該介入を適用した場合の患者の関節に関する疾患の症状が改善される程度あるいは該症状の進行が抑制される程度を表す情報を出力する。より具体的には、第2予測部25は、例えば患者の関節の変形が何%程度抑制されるか、痛みが生じる時期を何年遅らせることができるか、手術が必要となる時期を何年遅らせることができるか、どれだけ痛みが減少するか、どれだけ歩行能力(階段昇降能力を含む)が改善するか、またはどれだけQOLが改善するか、といった情報を出力してもよい。
 また、第2予測部25は、第1予測情報および介入情報34に含まれる介入の方法を示す情報に基づいて、第3予測情報として、該介入を適用した場合の対象者の関節に関する疾患の症状が改善される程度あるいは該症状の進行が抑制される程度を表す情報を出力する。
 (介入情報34)
 図3に戻り、記憶部3には、第2予測部25が効果を推定する介入についての情報(介入情報34)が予め記憶されている。第2予測部25は、第1予測情報を取得すると、記憶部3を参照し、介入情報34に含まれる介入の方法の中から少なくとも1つを選択し、該介入の効果を推定する。効果が推定される介入情報34としては、例えば体重制限、温熱治療、超音波療法、装具の着用、またはサプリメントの摂取(例:コンドロイチン、またはグルコサミン)といった非侵襲性の治療が挙げられる。また、介入情報34として人工関節置換術等の侵襲性の治療による効果が推定されてもよい。
 (第1学習部27による学習処理)
 以下、第1予測モデルを生成するための学習処理について、図5を用いて説明する。図5は、第1学習部27による学習処理の流れの一例を示すフローチャートである。
 第1学習部27は、記憶部3から第1学習データ32に含まれる第1学習用入力データ321を取得する(ステップS1)。第1学習用入力データ321には、患者A、B、・・・の患者画像が含まれている。
 続いて、第1学習部27は、第1学習用入力データ321に含まれる、時点Aにおける患者Aの患者画像を、入力層231に入力する(ステップS2)。入力層231は、入力された患者画像から、特徴量を示すパラメータを抽出してもよい。
 次に、第1学習部27は、出力層232から患者Aの関節の症状に関する出力データを取得する(ステップS3)。この出力データは、第1教師データ322と同じ内容を含んでいる。
 続いて、第1学習部27は、第1学習データ32に含まれる第1学習用入力データ321を取得する。そして、第1学習部27は、取得した出力データと、第1教師データ322に含まれる、時点Bにおける患者Aの症状情報とを比較し、誤差を算出し(ステップS4)、第1学習部27は、該誤差が小さくなるように、第1予測モデルを調整する(ステップS5)。
 第1予測モデルの調整には、任意の公知の方法が適用可能である。例えば、第1予測モデルの調整方法として、誤差逆伝播法を採用してもよい。調整後の第1予測モデルが新たな第1予測モデルとなり、以降の演算では、第1予測部23は新たな第1予測モデルを用いる。第1予測モデルの調整段階では、第1予測部23で使用されるパラメータ(例えば、フィルタ係数、重み付け係数等)が調整され得る。
 第1学習部27は、誤差が所定の範囲内に納まっていない場合、および、第1学習データ32に含まれるすべての患者の患者画像を入力していない場合(ステップS6にてNO)、ステップS2に戻り、学習処理を繰り返す。第1学習部27は、誤差が所定の範囲内に納まっている場合、および、第1学習データ32に含まれるすべての患者の患者画像を入力済である場合(ステップS6にてYES)、学習処理を終了する。
 (第2学習部28による学習処理)
 次に、第2予測モデルを生成するための学習処理について、図6を用いて説明する。図6は、第2学習部28による学習処理の流れの一例を示すフローチャートである。
 第2学習部28は、記憶部3から第2学習用入力データ331を取得する(ステップS11)。第2学習用入力データ331には、各患者の関節の症状に関する症状情報およびある介入(以下、介入X)が適用された患者(患者A)の症状情報が含まれている。
 続いて、第2学習部28は、第2学習用入力データ331に含まれる、時点Bにおける患者Aの関節の症状に関する症状情報を、入力層231に入力する(ステップS12)。
 次に、第2学習部28は、出力層232から患者Aの関節の症状に関する出力データを取得する(ステップS13)。この出力データは、第2教師データ332と同じ内容を含んでいる。
 続いて、第2学習部28は、第2教師データ332を取得する。そして、第2学習部28は、取得した出力データと、第2教師データ332に含まれる、時点Bにおいて介入Xが適用された患者Aの症状情報とを比較し、誤差を算出し(ステップS14)、学習部27は、該誤差が小さくなるように、第2予測モデルを調整する(ステップS15)。
 第2予測モデルの調整には、任意の公知の方法が適用可能である。例えば、第2予測モデルの調整方法として、誤差逆伝播法を採用してもよい。調整後の第2予測モデルが新たな第2予測モデルとなり、以降の演算では、第2予測部25は新たな第2予測モデルを用いる。第2予測モデルの調整段階では、第1予測部23で使用されるパラメータ(例えば、フィルタ係数、重み付け係数等)が調整され得る。
 第2学習部28は、誤差が所定の範囲内に納まっていない場合、および、第2学習データ33に含まれるすべての患者の症状情報を入力していない場合(ステップS16にてNO)、ステップS12に戻り、学習処理を繰り返す。第2学習部28は、誤差が所定の範囲内に納まっている場合、および、第2学習データ33に含まれるすべての患者の症状情報を入力済である場合(ステップS16にてYES)、学習処理を終了する。
 (予測装置1が行う処理)
 以下、予測装置1が行う処理の流れについて、図7を用いて説明する。図7は、予測装置1が行う処理の流れの一例を示すフローチャートである。
 <第1予測情報の出力>
 まず、画像取得部21は、医用画像管理装置6から医用画像(入力データ)を取得し(ステップS21:画像取得ステップ)、第1予測部23に入力する。
 続いて、第1予測部23は、医用画像が入力されたことに応じて、第1予測情報を出力する(ステップS22:予測ステップ)。
 <第2予測情報の出力>
 基礎情報に、対象者のQOLに関する情報が含まれている場合、ステップS22において、第1予測部23は、医用画像が入力されたことに応じて、第2予測情報をさらに出力してもよい。
 <第3予測情報の出力>
 第2予測部25は、第1予測情報を取得すると、記憶部3の介入情報34を参照し、介入情報34に含まれる介入の方法のうち少なくとも1つを選択する(ステップS23)。また、第2予測部25は、第1予測情報が入力されたことに応じて、選択した介入についての第3予測情報を出力する(ステップS24)。
 (予測装置1によって実現する医療サービス)
 図8は、予測装置1によって実現する医療サービスの一例を示す図である。
 対象者が膝関節の痛み等により医療施設8へ通院し、関節に関係する疾患が疑われる場合、対象者を担当する医師等(ユーザ)は、その時点(第1時点)における該対象者のX線写真(医用画像)を取得する。ユーザが、取得した情報を予測システム1に入力すると、予測システム1は、第2時点における対象者の関節の状態(第1予測情報)を出力する。また、予測システム1は、対象者に生活指導等が適用された場合の該介入による効果を示す情報(第3予測情報)を出力する。ユーザは、予測システム1が出力した各情報を利用することで、対象者により好ましい生活指導等の介入を提示することが可能となる。また、対象者も介入による効果を知ることで、より前向きに介入を受け入れることが考えられる。
 〔変形例〕
 <基礎情報取得部22>
 予測装置1は、上述の構成に加えて、図3に示すように、基礎情報取得部22をさらに備えていてもよい。基礎情報取得部22は、電子カルテ管理装置5から、対象者に関連する情報である基礎情報を取得する。電子カルテ管理装置5は、医療施設8にて診察を受けた対象者の電子カルテ情報を管理するためのサーバとして機能するコンピュータである。医療施設8a内のLANには、1以上の端末装置7aおよび医用画像管理装置6aに加えて電子カルテ管理装置5aが通信可能に接続されていてもよい。電子カルテ情報には、対象者の基礎情報、および問診情報が含まれていてもよい。基礎情報は、医用画像に加えて第1予測部23に入力される入力データである。第1予測部23が有する第1予測モデルは、医用画像に加えて基礎情報に基づいて第1予測情報を推定可能である。
 基礎情報は、対象者の身長、年齢、および性別を含む情報である。基礎情報は、前記対象者の体格指数(BMI)、種別(例えば人種等)、職業歴、運動歴、関節疾患の既往歴、および、骨の形態あるいは関節液・滑膜に関する情報、バイオマーカー情報、および遺伝子情報、のうち少なくとも1つをさらに含んでいてもよい。基礎情報は、例えば、対象者の電子カルテ情報等に含まれている情報を含んでいてもよい。基礎情報は、医療施設8等において実施された問診によって、対象者から取得された問診情報であってもよく、例えば、対象者の第1時点におけるQOLに関連する情報を含んでいてもよい。
 また、第1予測部23が入力データとして基礎情報を用いる場合、第1学習部27は、第1予測部23の学習を行う際、ある時点における患者の医用画像に加えて概患者の症状情報および属性情報を第1学習用入力データ321として第1予測部23に入力してもよい。
 以上の構成によると、予測装置1は、医用画像に加えて、電子カルテ管理装置5から対象者の基礎情報を取得し、医療施設8aに設置された端末装置7aに対象者Paの関節に関する第1予測情報を送信する。同様に、予測装置1は、医療施設8bにて診察を受けた対象者Pbの医用画像および基礎情報を取得し、医療施設8bに設置された端末装置7bに対象者Pbの関節に関する第1予測情報を送信することができる。
 また、予測装置1は、第1予測部23および第2予測部25に加えて、第4予測情報を出力する第3予測部26をさらに備えていてもよい。また、予測装置1は、第3予測部26の学習処理を行う第3学習部29を備えていてもよい。ここで、第4予測情報とは、介入を適用した場合の該介入を適用してから所定の期間が経過した後の時点である第3時点での対象者の臨床成績情報である。第3予測部26は第2予測部25と同じ第2学習データ33を用いた機械学習によって生成可能である。ただし、第3予測部26は第2予測部25とは異なる出力データを出力するニューラルネットワークである。第3予測部26は、第2学習データ33に含まれる、過去にある介入が適用された複数の患者の各々から過去に複数の時点において取得された、介入方法に関する時系列データ(臨床成績情報)に基づいて生成された第3予測モデルを有している。第3予測部26は、第1予測情報と介入情報34に基づき、第3予測モデルを用いた演算を行い、第3時点での対象者の介入後の臨床成績に関する第4予測情報を出力する。
 臨床成績情報は、手術治療を実施した患者の情報であり、例えば、関節鏡視下手術、関節温存術(例:骨切り術)、人工関節置換術が挙げられ、臨床成績情報は、例えば、痛み、関節のこわばり、関節の可動域、歩行能力、関節周囲のアライメントが挙げられる。関節鏡視下手術における臨床成績情報は、特に限定されるものではないが、滑膜炎の有無、篏頓症状等の有無が挙げられ、人工関節置換術における臨床成績情報は、痛み、関節の可動域、歩行能力等が挙げられる。
 第3予測部26も第1予測部23と同様の構成を備えていてよく、具体的には入力層261、および出力層262を備える。第3予測部26は、第4予測情報として、例えば時点Aにおいて適用されたある介入の時点Bにおける臨床成績を出力する。
 また、第3学習部29は、第3予測部26の学習を行う。第3学習部29において行われる学習処理の流れは、第1学習部27および第2学習部28において行われる処理と同様である。ただし、第3学習部29は、第2学習データ33に含まれる、ある患者Aの時点Bにおける症状情報およびある介入Xを示す情報を入力データとして第3予測部26に入力する。第3学習部29は、入力データに基づき、介入Xが適用された場合の時点Bにおける介入Xの臨床成績を出力データとして第3学習部29に出力する。第3学習部29は、該出力データと第2学習データ33に含まれる時点Bにおける介入Xの臨床成績情報とを比較し、第3予測モデルを調整する。
 また、出力制御部24は、第1予測情報、第2予測情報、および第3予測情報に加えて、対象者の撮像時点における情報を出力してもよい。具体的には、出力制御部24は、第1時点における該対象者の医用画像、関節の症状に関する情報、および症状の進行度合いを示す情報等を出力してもよい。
 〔実施形態2〕
 以下、予測装置1が、変形性膝関節症(Knee Osteoarthritis、以下KOAと記す。)に関する情報を予測するために適用される場合について説明する。KOAは、膝関節の形および軟骨に異常が生じ、膝関節が次第に変形する疾患である。日本におけるKOAの患者数は、およそ2400万人と見積もられている。そのうちの約1/3の患者は、膝の痛みを有している。KOAを発症し、症状が悪化した場合、人工膝関節置換術を受ける必要が生じる。
 KOAの発症の予防、および症状の進行の抑制には、できるだけ早期に生活指導等の介入を開始することが重要である。本開示の一態様に係る予測装置1を適用すれば、KOAの発症時期、および症状の推移を予測することができる。
 以下、予測装置1をKOAに関する情報の予測に適用した場合の各データの具体例について説明する。
 この場合、入力層231に入力される入力データは、第1時点における医用画像である。第1時点は、例えば、医療施設8において、対象者の現在の膝の状態が診察された時点である。また、入力層231には、医用画像に加えて第1時点における対象者の基礎情報が入力されてもよい。
 医用画像は、例えば、第1時点において対象者を撮像した下肢X線写真(X線画像)、下肢CT写真(CT画像)、下肢MRI写真(MRI画像)、下肢超音波画像のうち少なくとも1つであってもよい。X線画像は立位正面像、正面像、側面像、Rosenberg View、膝蓋骨軸方向像のうち少なくとも1つであってもよい。撮影の際に、膝を固定するポジショナーを用いてもよい。
 また、基礎情報は、第1時点における対象者の身長、体重、年齢、性別を示す情報が含まれていてもよい。基礎情報は、下記の情報のうちの少なくとも1つをさらに含んでいてもよい。
・種別(例えば人種)、傷病の有無、傷病の種類、職業、職業歴、生活習慣、運動習慣、運動歴、喫煙習慣、骨の形態に関する情報、遺伝子情報、膝関節液の組成、下肢筋量、大腿四頭筋力、歩行補助具の使用頻度、投薬治療の有無、抗炎症薬の使用有無、膝に発生している痛みに関する情報(例:痛みの有無)、膝関節の可動域を示す情報、対象者の運動能力に関する情報(歩行能力)、対象者の生活満足度を示す情報、関節疾患の既往歴、バイオマーカー情報、および膝の関節の変形度合に応じた階級を示す値(例:K-L分類、腰野分類)。
 対象者の生活満足度を示す情報とは、対象者のQOLに関する診断を行った結果の点数であってよい。該点数の評価方法としては、例えばSF-36、WOMAC、IKDC(International Knee Documentation Committee)、KOOS(Knee injury and Osteoarthritis Outcome Score)、JKOM(Japanese knee osteoarthritis measure)等を用いることができる。
 遺伝子情報は、アスポリンをコードする遺伝子、GDF5をコードする遺伝子、DVWAをコードする遺伝子、のうち少なくとも1つに関する情報を含んでいてもよい。これらは、KOAの進行に関連すると考えられる遺伝子に関する情報である。
 傷病は、例えば、半月板損傷、前十字靭帯損傷、後十字靭帯損傷および外傷であってもよい。
 (第1学習データ32)
 本実施形態における第1学習データ32は、複数の膝関節に関わる疾患を持つ患者の各々から過去に複数の時点において取得された、膝関節の症状に関する時系列データである。また、第1学習データ32は、複数の患者の各々の、下記(1)~(3)を含んでいてもよい。
 (1)膝関節が写った患者画像
 (2)該患者画像が撮像された時点における膝関節の疾患の発症または症状の進行に関する症状情報
 (3)該患者画像が撮像された時点におけるQOLに関連する患者関連情報、が対応付けられている情報。
 一例として、第1学習部27は、第1学習データ32に含まれるデータのうち、ある時点における患者画像を第1学習用入力データ321として用い、当該時点から所定の期間が経過した時点における該患者の患者画像、症状情報および患者関連情報を第1教師データ322として用いてもよい。
 (第1予測情報)
 第1予測部23は、上述の入力データが入力されたことに応じて、第1予測情報を出力する。第1予測情報は、以下に挙げる情報のうち少なくとも1つを含んでいてもよい。
・対象者の第2時点における膝の関節の変形度合いに応じた階級(例:K-L分類)を示す値
・対象者の第2時点における膝の可動域
・対象者の第2時点における膝の関節裂隙の幅
・対象者の第2時点における大腿骨と脛骨の成す角度(femoro-tibial angle)
・対象者の膝に痛みが発症する時期および程度
・対象者が歩行困難となる時期
・対象者の膝に侵襲治療が必要となる時期。
 第1予測情報として出力される情報は、第1予測モデルによって予測可能な任意の情報であってもよく、これらに限定されない。
 (第2学習データ33)
 本実施形態に係る第2学習データ33は、介入を適用した場合の医用画像の時系列データである。また、第2学習データ33には、該介入が適用された患者の基礎情報が含まれていてもよい。
 第2予測部25は、それぞれの介入について、第2予測モデルを用いて該介入による効果の推定結果を示す第3予測情報を出力する。ここで、第2予測部25が出力する第3予測情報とは、例えばある介入を適用した場合の第2時点における対象者の膝関節の変形の程度、または痛みの有無・程度等である。また、第2予測部25は、該介入を適用した場合の第2時点における対象者の膝の状態を示す画像を生成し、第3予測情報として出力してもよい。
 また、運動習慣の変更が介入の方法として選択された場合、第2予測部25は、膝の変形を抑制するために必要な下肢の筋肉量、筋力、筋肉バランスも予測し出力してもよい。また、関節鏡視下手術が介入の方法として選択された場合、第2予測部25は、膝の変形を抑制するために必要な骨棘の切除範囲を予測し出力してもよい。また、介入の方法として骨切り術が選択された場合、第2予測部25は、膝の変形を抑制するために必要なアライメント補正を予測し出力してもよい。
 (効果が推定される介入の方法)
 本実施形態において、記憶部3に記憶されている介入情報34に含まれる介入の方法は、例えば非侵襲性の治療である。例えば、介入には、体重制限、温熱療法、超音波療法、運動療法、刺激療法、マニュアルセラピー、高周波療法、薬剤摂取(薬剤投与)、サプリメント摂取、および装具の着用等が挙げられる。装具は、例えば、歩行補助具、サポーター、および足底板等を含んでいてもよい。
 サプリメントは、例えば、コンドロイチン、またはグルコサミン等を含んでいてもよい。また、薬剤は、例えば、非ステロイド性抗炎症薬、アセトアミノフェン、シクロオキシゲナーゼ(COX)-2阻害薬、またはコンドロイチン硫酸ナトリウム等を含んでいてもよい。また、介入の方法は、関節内注射、手術療法、および、侵襲性の治療等を含んでいてもよい。関節内注射としては、例えば、ヒアルロン酸、ステロイド、または再生医療等製品(PRP:plate rich plasma、MSC:mesenchymal stem call、またはMuse細胞:Multi-lineage differentiating Stress Enduring cell等)が挙げられる。また、手術療法としては、例えば、関節鏡視下手術、半月板縫合・切除術、靭帯再建術、骨切り術(HTO:high tibial osteotomy等)、軟骨再生医療または人工膝関節置換術等が挙げられる。
 第2予測部25は、介入の方法の中の少なくとも1つを選択し、該介入による効果を推定する。また、第2予測部25は、該介介入を複数組み合わせて適用した場合による効果を推定してもよい。
 〔変形例〕
 予測装置1の制御部2は、医用画像から新たな基礎情報を抽出してもよい。例えば、制御部2は、医用画像に基づいて、以下に挙げるもののうち少なくとも1つを測定してもよい。
・画像から大腿骨と脛骨の成す角度(femoro-tibial angle)、下肢筋量、関節軟骨の厚み、骨髄異常陰影、下骨嚢胞、陥凹、骨棘形成、半月板損傷、十字靭帯損傷、滑膜炎、骨硬化、靭帯の張力変化、関節の拘縮、大腿骨の内側または外側の軟骨下骨の骨密度、脛骨の内側または外側の軟骨下骨の骨密度、脛骨の内側または外側の軟骨下骨の骨梁構造、脛骨の内側または外側の軟骨下骨の骨密度、脛骨の内側または外側の軟骨下骨の血管の走行。
 制御部2によって測定された結果は、第1予測部23に入力する基礎情報として用いられてもよい。
 また、制御部2は、対象者の下肢X線写真から関節裂隙を計測し、計測結果を第1予測部23に入力する基礎情報として用いてもよい。また、制御部2は、対象者の歩行動画から対象者の外部膝内反モーメントの計測、および、ラテラルスラスト(Lateral thrust)の有無の検出を行い、検出結果を、第1予測部23に入力する基礎情報として用いてもよい。
 該構成によると、予測装置1は、より多くの入力データに基づいて予測を行うことができるため、第1予測情報の精度をより向上させることができる。
 予測装置1は、介入に関する時系列データ(臨床成績情報)に基づいて生成された第3予測モデルを有していてもよい。臨床成績情報は、手術治療を実施した患者の情報であり、例えば、関節鏡視下手術、骨切り術、人工関節置換術が挙げられ、臨床成績情報は、例えば、痛み、関節のこわばり、関節の可動域、歩行能、関節周囲のアライメント(内外反アライメント、回旋アライメント)が挙げられる。関節鏡視下手術における臨床成績情報は、特に限定されるものではないが、滑膜炎の有無、篏頓症状の有無が挙げられ、骨切り術における臨床成績情報は、特に限定されるものではないが、femoro-tibial angle、%MA(ミクリッツ線)、膝蓋大腿関節圧が挙げられ、人工膝関節置換術における臨床成績情報は、痛み、関節の可動域、歩行能力が挙げられる。
 〔実施形態3〕
 以下、予測装置1が、変形性股関節症(Hip Osteoarthritis、以下HOAと記す。)に関する情報を予測するために適用される場合について説明する。説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
 HOAは、股関節の形および軟骨に異常が生じ、股関節が次第に変形する疾患である。日本におけるHOAの有病率は、国民のおよそ1~5%と見積もられている。HOAを発症し、症状が悪化した場合、人工股関節置換術を受ける必要が生じる。
 HOAの発症の予防、および症状の進行の抑制には、できるだけ早期に生活指導等の介入を開始することが重要である。本開示の一態様に係る予測装置1を適用すれば、HOAの発症時期、および症状の推移を予測することができる。
 以下、予測装置1をHOAに関する情報の予測に適用した場合の各データの具体例について説明する。
 この場合、入力層231に入力される入力データは、第1時点における医用画像である。ここでの第1時点とは、対象者の現在の股関節の状態を把握することができる時点である。例えば、第1時点とは、対象者が病院を受診した時点である。また、入力層231には、医用画像に加えて第1時点における対象者の基礎情報が入力されてもよい。
 また、この場合における医用画像は、対象者の股関節の変形についての演算を行うために入力データとして用いられる画像である。医用画像は、例えば第1時点において対象者の股関節周辺を撮像したX線写真(X線画像)、CT写真(CT画像)、MRI写真(MRI画像)、超音波画像のうち少なくとも1つである。
 また、基礎情報は、第1時点における対象者の身長、体重、年齢、性別を示す情報が含まれていてもよい。基礎情報は、下記の情報のうちの少なくとも1つをさらに含んでいてもよい。
・種別(例えば人種)、傷病の有無、傷病の種類、職業、職業歴、生活習慣、運動習慣、運動歴、喫煙習慣、骨の形態に関する情報、遺伝子情報、関節液の組成、下肢筋量、歩行補助具の使用頻度、投薬治療の有無、抗炎症薬の使用有無、股関節に発症している痛みに関する情報(例:痛みの有無)、股関節の可動域を示す情報、対象者の運動能力に関する情報(歩行能力)、対象者の生活満足度を示す情報、関節疾患の既往歴、および、バイオマーカー情報および股関節の変形度合に応じた階級を示す値(例:K-L分類)。
 遺伝子情報は、カルモジュリンをコードする遺伝子であるCALM1、CALM2、およびGDF5、および、アスポリンをコードする遺伝子、のうち少なくとも1つに関する情報を含んでいてもよい。これらは、HOAの進行に関連すると考えられる遺伝子に関する情報である。
 関節疾患の既往歴は、例えば、寛骨臼形成不全、発育性股関節形成不全であってもよい。発育性股関節形成不全の診断は、X線画像もしくは超音波画像によって行われていてもよい。X線撮影や超音波診断が困難な場合には、写真や動画によって行われてもよい。診断にはニューラルネットワークを用いてもよい。ニューラルネットワークは、複数の発育性股関節形成不全患者の写真、動画、X線画像もしくは超音波画像を学習していてもよい。
 (第1学習データ32)
 本実施形態における第1学習データ32は、複数の股関節に関わる疾患を持つ患者の各々から過去に複数の時点において取得された、股関節の症状に関する時系列データである。また、第1学習データ32は、複数の患者の各々の、下記(1)~(3)を含んでいてもよい。
 (1)股関節が写った患者画像
 (2)該患者画像が撮像された時点における股関節の疾患の発症または症状の進行に関する症状情報
 (3)該患者画像が撮像された時点におけるQOLに関連する患者関連情報。
 一例として、第1学習部27は、第1学習データ32に含まれるデータのうち、ある時点における患者画像を第1学習用入力データ321として用い、当該時点から所定の期間が経過した時点における該患者の患者画像、症状情報および患者関連情報を第1教師データ322として用いてもよい。
 (第1予測情報)
 第1予測部23は、上述の入力データが入力されたことに応じて、第1予測情報を出力する。第1予測情報は、以下に挙げる情報のうち少なくとも1つを含んでいてもよい。
・対象者の第2時点における股関節の変形度合いに応じた階級(例:K-L分類)を示す値
・対象者の第2時点における股関節の可動域
・対象者の股関節に痛みが発症する時期・程度
・対象者が歩行困難となる時期
・対象者の股関節に侵襲治療が必要となる時期。
 第1予測情報として出力される情報は、第1予測モデルによって予測可能な任意の情報であってもよく、これらに限定されない。
 (第2学習データ33)
 本実施形態に係る第2学習データ33は、介入を適用した場合の医用画像の時系列データである。また、第2学習データ33には、該介入が適用された患者の基礎情報が含まれていてもよい。
 第2予測部25は、それぞれの介入について、第2予測モデルを用いて該介入による効果の推定結果を示す第3予測情報を出力する。ここで、第2予測部25が出力する第3予測情報とは、例えば介入を適用した場合の第2時点における対象者の股関節の変形の程度、または痛みの有無・程度等である。また、第2予測部25は、介入を適用した場合の第2時点における対象者の股関節の状態を示す画像を生成し、第3予測情報として出力してもよい。
 (効果が推定される介入の方法)
 本実施形態において、記憶部3に記憶されている介入情報34に含まれる介入の方法は、例えば非侵襲性の治療である。例えば、介入の方法には、体重制限、温熱療法、超音波療法、運動療法、刺激療法、マニュアルセラピー、高周波療法、薬剤摂取(薬剤投与)、サプリメント摂取、装具の着用、患者教育等が挙げられる。装具は、例えば、歩行補助具、サポーター等を含んでいてもよい。
 サプリメントは、例えば、コンドロイチン、またはグルコサミン等を含んでいてもよい。薬剤は、例えば非ステロイド性抗炎症薬、アセトアミノフェン、COX-2阻害薬、および、コンドロイチン硫酸ナトリウム等を含んでいてもよい。介入の方法は、関節内注射、手術療法、および、侵襲性の治療等を含んでいてもよい。関節内注射としては、ヒアルロン酸、ステロイド、または再生医療等製品(PRP、MSC、またはMuse細胞等)が挙げられる。また、手術療法としては、関節鏡視下手術、骨切術(RAO:rotational acetabular osteotomy)、または人工股関節置換術等の手法が挙げられる。
 第2予測部25は、該介入の方法の中の少なくとも1つを選択し、該介入による効果を推定する。また、第2予測部25は、該介入の方法を複数組み合わせて適用した場合による効果を推定してもよい。
 〔実施形態4〕
 以下、予測装置1が、特発性大腿骨頭壊死症(Idiopathic Osteonecrosis of Femoral Head、以下「ION」と記す。)に関する情報を予測するために適用される場合について説明する。説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
 IONは、大腿骨頭が阻血性壊死して圧潰し、股関節機能が失われる難治性疾患である。IONは、人工股関節置換術を施す必要のある全疾患の7%を占めている。IONは、日本において、およそ5000人に1人の割合で発症している。ステロイド全身投与、飲酒習慣、および喫煙習慣等がION発症の関連因子として疑われている。
 IONは、30~40歳に発症することが多く、労働力の低下をもたらす。また、IONを発症した場合、長期間の治療を要する。IONの症状が進行し、大腿骨頭の圧潰が生じた患者は、人工股関節置換術を受ける必要がある。
 本開示の一態様に係る予測装置は、IONが発症するまでの期間を予測することができる。
 さらに、本開示の一態様に係る予測装置は、IONの症状の推移、および、大腿骨頭が圧潰するまでの期間を予測することができる。
 この場合、入力層231に入力される入力データは、第1時点における医用画像である。ここでの第1時点とは、対象者の現在の股関節の状態を把握することができる時点である。例えば、第1時点とは、対象者が病院を受診した時点である。また、入力層231には、医用画像に加えて第1時点における対象者の基礎情報が入力されてもよい。
 また、この場合における医用画像は、例えば第1時点において対象者の股関節周辺を撮像したX線写真(X線画像)、CT写真(CT画像)、MRI写真(MRI画像)、超音波画像のうち少なくとも1つであってもよい。
 また、基礎情報は、例えば第1時点における対象者の性別、年齢、身長、体重、種別(例えば人種)、職業、職業歴、生活習慣、運動習慣、運動歴、喫煙習慣、飲酒習慣、ステロイド服用の有無、骨の形態に関する情報、遺伝子情報、股関節に発症している痛みおよびこわばりに関する情報(例:痛み・こわばりの有無または程度)、およびバイオマーカー情報のうち少なくとも1つを含む情報である。
 (第1学習データ32)
 本実施形態における第1学習データ32は、IONであると診断された複数の患者の各々から過去に複数の時点において取得された、IONの症状に関する時系列データである。また、第1学習データ32は、複数の患者の各々の、股関節が写った患者画像、該患者画像が撮像された時点における股関節の疾患の発症または症状の進行に関する症状情報、および、該患者画像が撮像された時点におけるQOLに関連する患者関連情報、が対応付けられている情報を含む。また、第1学習データ32には、大腿骨頭の圧潰が生じた時期を示す情報を含んでいてもよい。
 一例として、第1学習部27は、第1学習データ32に含まれるデータのうち、ある時点における患者画像を第1学習用入力データ321として用い、当該時点から所定の期間が経過した時点における該患者の患者画像、症状情報および患者関連情報を第1教師データ322として用いてもよい。
 (第1予測情報)
 第1予測部23は上述の入力データが入力されたことに応じて、第1予測情報を出力する。第1予測情報は、以下に挙げる情報のうち少なくとも1つを含んでいてもよい。
・第2時点における対象者の股関節の痛みの程度
・対象者の第2時点における股関節の可動域
・対象者の股関節に痛みが発症する時期
・対象者の骨頭が圧潰する時期
・対象者が歩行困難となる時期
・対象者の股関節に侵襲治療が必要となる時期。
 例えば、第1予測部23は、対象者の5年後の股関節の痛みの程度を第1予測情報として出力する。
 第1予測情報として出力される情報は、第1予測モデルによって予測可能な任意の情報であってもよく、これらに限定されない。
 (第2学習データ33)
 本実施形態に係る第2学習データ33は、介入を適用した場合の医用画像の時系列データである。また、第2学習データ33には、該介入が適用された患者の基礎情報が含まれていてもよい。
 第2予測部25は、それぞれの介入について、第2予測モデルを用いて該介入による効果の推定結果を示す第3予測情報を出力する。ここで、第2予測部25が出力する第3予測情報とは、例えば介入を適用した場合の第2時点における対象者の股関節に発症する痛みの有無・程度、またはこわばりの有無・程度等である。また、第2予測部25は、介入を適用した場合の第2時点における対象者の股関節の状態を示す画像を生成し、第3予測情報として出力してもよい。また、第2予測情報は、介入を適用した場合に大腿骨の圧潰が生じる時期を第3予測情報として出力してもよい。
 (効果が推定される介入の方法)
 本実施形態において、記憶部3に記憶されている介入情報34に含まれる介入の方法は、例えば非侵襲性の治療である。介入の方法には、体重制限、温熱療法、超音波療法、薬剤摂取、装具の着用の着用等が挙げられる。装具は、例えば、歩行補助具、サポーター等を含んでいてもよい。
 薬剤は、例えば、スタチン系高脂血症治療薬であってもよい。
 介入の方法は、関節内注射、または手術療法、および、侵襲性の治療等を含んでいてもよい。また、手術療法は、例えば、骨切り術、人工股関節置換術であってもよい。
 第2予測部25は、該介入の方法の中の少なくとも1つを選択し、該介入による効果を推定する。また、第2予測部25は、該介入の方法を複数組み合わせて適用した場合による効果を推定してもよい。
 〔ソフトウェアによる実現例〕
 予測装置1の制御ブロック(特に画像取得部21、基礎情報取得部22、第1予測部23、出力制御部24、第2予測部25、第1学習部27、および第2学習部28)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
 後者の場合、予測装置1は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば1つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本開示の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路等を用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)等をさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。本開示の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
 以上、本開示に係る発明について、諸図面および実施例に基づいて説明してきた。しかし、本開示に係る発明は上述した各実施形態に限定されるものではない。すなわち、本開示に係る発明は本開示で示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示に係る発明の技術的範囲に含まれる。つまり、当業者であれば本開示に基づき種々の変形または修正を行うことが容易であることに注意されたい。また、これらの変形または修正は本開示の範囲に含まれることに留意されたい。
 1 予測装置
 21 画像取得部
 22 基礎情報取得部
 23 第1予測部
 24 出力制御部
 25 第2予測部
 26 第3予測部
 32 第1学習データ(患者情報)
 33 第2学習データ(効果情報)
 100a、100b 予測システム
 S21 画像取得ステップ
 S23 予測ステップ

Claims (25)

  1.  第1時点の対象の関節が写った医用画像を取得する画像取得部と、
     前記医用画像から、前記第1時点から所定期間が経過した第2時点における、前記関節に関する第1予測情報を出力する第1予測部と、を備え、
     前記第1予測部は、前記第1予測情報を、前記医用画像から推定可能な第1予測モデルを有している、
    予測装置。
  2.  前記対象の前記第1時点の基礎情報を取得する基礎情報取得部をさらに備え、
     前記第1予測モデルは、前記第1予測情報を、前記医用画像に加えて前記基礎情報から推定可能である、
    請求項1に記載の予測装置。
  3.  前記基礎情報は、前記対象の身長、体重、年齢、および性別のうち少なくとも1つを含む、請求項2に記載の予測装置。
  4.  前記基礎情報は、前記対象の種別、職業歴、運動歴、関節疾患の既往歴、および、骨の形態に関する情報、バイオマーカー情報、および遺伝子情報、のうち少なくとも1つをさらに含む、
    請求項2または3に記載の予測装置。
  5.  前記基礎情報は、前記第1時点の前記対象のQOLに関連する情報を含む、
    請求項2から4のいずれか1項に記載の予測装置。
  6.  前記QOLに関連する情報は、前記関節に発症している痛みに関する情報、前記対象の運動能力に関する情報、および、前記対象の生活満足度を示す情報、のうち少なくとも1つを含む、
    請求項5に記載の予測装置。
  7.  前記第1予測情報は、前記第2時点までの前記関節に関する疾患の発症または症状の進行度合いを含む情報である、請求項1から6のいずれか1項に記載の予測装置。
  8.  前記第1予測情報は、前記第2時点までの前記関節に関する疾患の症状の進行度合いを含む情報であり、
     前記症状の進行度合いは、関節周囲のアライメント、関節軟骨の厚み、Kellgren-Laurence(K-L)分類、関節の可動域、関節のこわばり、跛行の有無である、
    請求項1から7のいずれか1項に記載の予測装置。
  9.  前記第1予測部は、複数の患者の各々から過去に複数の時点において取得された、前記関節の症状に関する時系列データである患者情報を用いて学習されたニューラルネットワークを前記第1予測モデルとして有する、請求項1から8のいずれか1項に記載の予測装置。
  10.  前記患者情報は、前記複数の患者の各々の、前記関節が写った患者画像、該患者画像が撮像された時点における前記関節に関する症状情報、を含む、
    請求項9に記載の予測装置。
  11.  前記患者画像は、前記複数の患者の各々の関節を撮像したX線画像、CT画像、MRI画像、および超音波画像のうちの少なくとも1つを含む、
    請求項10に記載の予測装置。
  12.  前記第1予測部は、前記医用画像から、前記第2時点における前記対象のQOLに関連する第2予測情報をさらに出力可能であり、
     前記第1予測モデルは、前記第2予測情報を、前記医用画像から推定可能である、
    請求項1から11のいずれか1項に記載の予測装置。
  13.  前記第2予測情報は、関節の痛み、対象の破局的思考に関する情報、対象の運動能力に関する情報、および前記対象の生活満足度を示す情報のうちの少なくとも1つを含む、
    請求項12に記載の予測装置。
  14.  前記第1予測情報から、前記対象への介入の方法および該介入による効果を示す第3予測情報を出力する第2予測部をさらに備え、
     前記第2予測部は、前記第1予測情報から第3予測情報を推定可能な第2予測モデルを有している、
    請求項1から13のいずれか1項に記載の予測装置。
  15.  前記第3予測情報は、前記介入を適用すべき時期に関する情報を含んでいる、
    請求項14に記載の予測装置。
  16.  前記第2予測部は、過去に前記介入が適用された複数の患者の各々から過去に複数の時点において取得された、前記関節の症状に関する時系列データである効果情報を用いて学習されたニューラルネットワークを前記第2予測モデルとして有する、
    請求項14または15に記載の予測装置。
  17.  前記効果情報は、前記介入が適用された複数の患者の各々の、該介入が適用された時期を示す情報、前記関節が写った患者画像、該患者画像が撮像された時点における前記関節の症状の発症または進行に関する症状情報を含む、
    請求項16に記載の予測装置。
  18.  前記介入の方法は、運動療法、刺激療法、マニュアルセラピー、超音波療法、歩行補助具の使用、装具の使用、薬剤投与、関節内注射、関節温存術、および、人工関節置換術のうちの少なくとも1つを含む、
    請求項14から17のいずれか1項に記載の予測装置。
  19.  過去に前記介入が適用された複数の患者の各々から過去に複数の時点において取得された、前記介入に関する時系列データである臨床成績情報に基づいて生成された第3予測モデルを用いて、前記第1予測情報および前記介入から、前記介入が適用された時点から所定の期間が経過した第3時点での前記対象の前記介入が適用された後の臨床成績に関する第4予測情報を出力する第3予測部をさらに備える、
    請求項14から18のいずれか1項に記載の予測装置。
  20.  前記医用画像は、前記対象を撮像したX線画像、CT画像、MRI画像、および超音波画像のうちの少なくとも1つを含む、
    請求項1から19のいずれか1項に記載の予測装置。
  21.  前記関節は、顎関節、脊椎椎間関節、肩関節、肩鎖関節、肘関節、手関節、手部、手指、股関節、仙腸関節、膝関節、足関節、足部、および足趾、のうちいずれか1つを含む、請求項1から20のいずれか1項に記載の予測装置。
  22.  前記疾患は、変形性関節症、関節リウマチ、および骨壊死のうちいずれか1つを含む、請求項7に記載の予測装置。
  23.  請求項1から22のいずれか1項に記載の予測装置と、
     前記予測装置と通信可能に接続された端末装置であって、前記第1予測情報を提示する端末装置と、を含む、
    予測システム。
  24.  第1時点の対象の関節が写った医用画像を取得する画像取得ステップと、
     前記医用画像から、前記第1時点から所定期間が経過した第2時点における、前記関節に関する第1予測情報を出力する予測ステップと、をコンピュータに実行させる前記コンピュータの制御方法であって、
     前記コンピュータは、前記第1予測情報を、前記医用画像から推定可能な第1予測モデルを有している、
    制御方法。
  25.  請求項1から22のいずれか1項に記載の予測装置としてコンピュータを機能させるための制御プログラムであって、前記画像取得部、および前記第1予測部としてコンピュータを機能させるための制御プログラム。
PCT/JP2021/009963 2020-03-13 2021-03-12 予測装置、予測システム、制御方法、および制御プログラム WO2021182595A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
AU2021234765A AU2021234765B2 (en) 2020-03-13 2021-03-12 Predicting device, predicting system, control method, and control program
EP21767631.1A EP4119056A4 (en) 2020-03-13 2021-03-12 PREDICTION DEVICE, PREDICTION SYSTEM, CONTROL METHOD, AND CONTROL PROGRAM
US17/911,066 US20230111852A1 (en) 2020-03-13 2021-03-12 Prediction device, prediction system, control method, and control program
JP2022507291A JP7364200B2 (ja) 2020-03-13 2021-03-12 予測装置、予測システム、制御方法、および制御プログラム
CN202180020190.1A CN115279270A (zh) 2020-03-13 2021-03-12 预测装置、预测系统、控制方法以及控制程序
JP2023166420A JP2023169392A (ja) 2020-03-13 2023-09-27 予測装置、予測システム、制御方法、および制御プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-044699 2020-03-13
JP2020044699 2020-03-13

Publications (1)

Publication Number Publication Date
WO2021182595A1 true WO2021182595A1 (ja) 2021-09-16

Family

ID=77671634

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/009963 WO2021182595A1 (ja) 2020-03-13 2021-03-12 予測装置、予測システム、制御方法、および制御プログラム

Country Status (6)

Country Link
US (1) US20230111852A1 (ja)
EP (1) EP4119056A4 (ja)
JP (2) JP7364200B2 (ja)
CN (1) CN115279270A (ja)
AU (1) AU2021234765B2 (ja)
WO (1) WO2021182595A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023250333A1 (en) * 2022-06-21 2023-12-28 Mako Surgical Corporation Devices, systems, and methods for predicting surgical time and optimizing medical procedures and outcomes
WO2024095942A1 (ja) * 2022-11-01 2024-05-10 国立大学法人東海国立大学機構 情報処理装置、情報処理方法、および、コンピュータプログラム
WO2024181507A1 (ja) * 2023-02-28 2024-09-06 京セラ株式会社 情報処理システム、端末装置、情報処理システムの制御方法、制御プログラム、および記録媒体
KR102707289B1 (ko) * 2022-05-09 2024-09-19 영남대학교 산학협력단 방사선 이미지를 이용한 대퇴골두 무혈성 괴사 판별 장치 및 그 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004105738A (ja) * 2002-09-19 2004-04-08 Ge Medical Systems Global Technology Co Llc 絶対骨折リスクの評価を行う骨密度測定装置
JP2008036068A (ja) 2006-08-04 2008-02-21 Hiroshima Univ 骨粗鬆症診断支援装置および方法、骨粗鬆症診断支援プログラム、骨粗鬆症診断支援プログラムを記録したコンピュータ読み取り可能な記録媒体、骨粗鬆症診断支援用lsi
JP2009515594A (ja) * 2005-11-11 2009-04-16 ホロジック, インコーポレイテッド 三次元骨密度モデルを使用して将来の骨折の危険性の推定
US20130137962A1 (en) * 2011-11-30 2013-05-30 Kenneth L. Urish Method for Detecting Arthritis and Cartilage Damage Using Magnetic Resonance Sequences
US20190336097A1 (en) * 2014-07-21 2019-11-07 Zebra Medical Vision Ltd. Systems and methods for prediction of osteoporotic fracture risk

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2737755A1 (en) * 2008-09-19 2010-03-25 Duke University Systems and methods for generating an osteoarthritis progression predictor and systems and methods for using the predictor
GB201009101D0 (en) * 2010-06-01 2010-07-14 Nordic Bioscience As Computer based analysis of MRI images
AU2016411801A1 (en) * 2016-06-14 2019-02-07 360 Knee Systems Pty Ltd Graphical representation of a dynamic knee score for a knee surgery
US20200075165A1 (en) * 2018-09-05 2020-03-05 Daniel M. Lieberman Machine Learning Systems and Methods For Assessing Medical Outcomes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004105738A (ja) * 2002-09-19 2004-04-08 Ge Medical Systems Global Technology Co Llc 絶対骨折リスクの評価を行う骨密度測定装置
JP2009515594A (ja) * 2005-11-11 2009-04-16 ホロジック, インコーポレイテッド 三次元骨密度モデルを使用して将来の骨折の危険性の推定
JP2008036068A (ja) 2006-08-04 2008-02-21 Hiroshima Univ 骨粗鬆症診断支援装置および方法、骨粗鬆症診断支援プログラム、骨粗鬆症診断支援プログラムを記録したコンピュータ読み取り可能な記録媒体、骨粗鬆症診断支援用lsi
US20130137962A1 (en) * 2011-11-30 2013-05-30 Kenneth L. Urish Method for Detecting Arthritis and Cartilage Damage Using Magnetic Resonance Sequences
US20190336097A1 (en) * 2014-07-21 2019-11-07 Zebra Medical Vision Ltd. Systems and methods for prediction of osteoporotic fracture risk

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4119056A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102707289B1 (ko) * 2022-05-09 2024-09-19 영남대학교 산학협력단 방사선 이미지를 이용한 대퇴골두 무혈성 괴사 판별 장치 및 그 방법
WO2023250333A1 (en) * 2022-06-21 2023-12-28 Mako Surgical Corporation Devices, systems, and methods for predicting surgical time and optimizing medical procedures and outcomes
WO2024095942A1 (ja) * 2022-11-01 2024-05-10 国立大学法人東海国立大学機構 情報処理装置、情報処理方法、および、コンピュータプログラム
WO2024181507A1 (ja) * 2023-02-28 2024-09-06 京セラ株式会社 情報処理システム、端末装置、情報処理システムの制御方法、制御プログラム、および記録媒体

Also Published As

Publication number Publication date
JP2023169392A (ja) 2023-11-29
US20230111852A1 (en) 2023-04-13
JPWO2021182595A1 (ja) 2021-09-16
AU2021234765A1 (en) 2022-10-06
AU2021234765B2 (en) 2024-05-02
EP4119056A4 (en) 2024-04-10
CN115279270A (zh) 2022-11-01
EP4119056A1 (en) 2023-01-18
JP7364200B2 (ja) 2023-10-18

Similar Documents

Publication Publication Date Title
WO2021182595A1 (ja) 予測装置、予測システム、制御方法、および制御プログラム
Heikkinen et al. Soleus atrophy is common after the nonsurgical treatment of acute Achilles tendon ruptures: a randomized clinical trial comparing surgical and nonsurgical functional treatments
Teng et al. Gait characteristics associated with a greater increase in medial knee cartilage T1ρ and T2 relaxation times in patients undergoing anterior cruciate ligament reconstruction
Chang et al. Varus thrust and knee frontal plane dynamic motion in persons with knee osteoarthritis
Wang et al. Transtibial versus anteromedial portal technique in single-bundle anterior cruciate ligament reconstruction: outcomes of knee joint kinematics during walking
Pollo et al. Reduction of medial compartment loads with valgus bracing of the osteoarthritic knee
AU2013210797B2 (en) Method and system for human joint treatment plan and personalized surgery planning using 3-D kinematics, fusion imaging and simulation
Bayomy et al. Arthrodesis of the first metatarsophalangeal joint: a robotic cadaver study of the dorsiflexion angle
EP3467842A1 (en) Method for simulating foot and/or ankle
Herrington et al. Patellofemoral joint loads during running at the time of return to sport in elite athletes with ACL reconstruction
Leszko et al. In vivo kinematics of the Salto total ankle prosthesis
Weber et al. Second metatarsal length is positively correlated with increased pressure and medial deviation of the second toe in a robotic cadaveric simulation of gait
Böhm et al. Effect of floor reaction ankle–foot orthosis on crouch gait in patients with cerebral palsy: What can be expected?
Eitzen et al. Gait characteristics, symptoms, and function in persons with hip osteoarthritis: a longitudinal study with 6 to 7 years of follow-up
KR20240124276A (ko) 근골격계의 치료를 위한 디지털 트윈 시스템, 디바이스, 및 방법
Henry et al. Cadaveric gait simulation of the effect of subtalar arthrodesis on total ankle replacement kinematics
Lu et al. Case study: The influence of Achilles tendon rupture on knee joint stress during counter-movement jump–Combining musculoskeletal modeling and finite element analysis
Rethlefsen et al. Update on the reliability of gait analysis interpretation in cerebral palsy: Inter-institution agreement
Tong et al. Artificial intelligence-based detection of posterior tibial slope on X-ray images of unicompartmental knee arthroplasty patients
WO2022158490A1 (ja) 予測システム、制御方法、および制御プログラム
US20240266053A1 (en) Computer system, method, and program for estimating condition of subject
Cantamessa Evaluating outcome following knee arthroplasty using inertial measurement units
Liukkonen Predicting knee osteoarthritis: development and application of segmentation and finite element modelling methods
Wade et al. Achilles tendon moment arm changes with total ankle arthroplasty
Clouthier The relationship between knee joint shape and function: implications for pathology and treatment

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21767631

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022507291

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2021234765

Country of ref document: AU

Date of ref document: 20210312

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2021767631

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2021767631

Country of ref document: EP

Effective date: 20221013

NENP Non-entry into the national phase

Ref country code: DE