JP2023526241A - 複数の機械学習モデルに基づく臨床予測器 - Google Patents

複数の機械学習モデルに基づく臨床予測器 Download PDF

Info

Publication number
JP2023526241A
JP2023526241A JP2022568777A JP2022568777A JP2023526241A JP 2023526241 A JP2023526241 A JP 2023526241A JP 2022568777 A JP2022568777 A JP 2022568777A JP 2022568777 A JP2022568777 A JP 2022568777A JP 2023526241 A JP2023526241 A JP 2023526241A
Authority
JP
Japan
Prior art keywords
data
patient
machine learning
learning model
subset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022568777A
Other languages
English (en)
Inventor
バロン，ジェイソン
ヒーニー，エム・デニス・ラマルシュ
プライム，マシュー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
F Hoffmann La Roche AG
Original Assignee
F Hoffmann La Roche AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by F Hoffmann La Roche AG filed Critical F Hoffmann La Roche AG
Publication of JP2023526241A publication Critical patent/JP2023526241A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G06N5/025—Extracting rules from data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

方法は、患者の複数のデータ・カテゴリに対応するデータを受け取るステップと、複数の訓練された機械学習モデルから、且つ前記複数のデータ・カテゴリに基づいて、第１機械学習モデルおよび第２機械学習モデルを選択することであって、前記第１機械学習モデルは、前記複数のデータ・カテゴリの第１サブセットの第１データを用いて訓練され且つ第１性能メトリックの値を示す第１重みを有し、第２機械学習モデルは、前記複数のデータ・カテゴリの第２サブセットの第２データを用いて訓練され且つ第２性能メトリックの値を示す第２重みを有するものである、選択するステップと、前記第１モデルおよび前記第２モデルを用いて第１予測結果および第２予測結果をそれぞれ生成するステップと、前記第１予測結果、前記第２予測結果、前記第１重み、および前記第２重みに基づいて合成予測結果を生成するステップと、を含む。【選択図】図３Ａ

Description

関連する特許出願の相互参照
[0001] 本特許出願は、２０２０年５月１１日に出願された米国特許出願第１６／８７１９３３号の優先権の利益を請求するものであり、これを、あらゆる目的のために、この参照によりここに組み込む。
[0002] 実世界の臨床データを用いて訓練された予測機械学習モデルは、患者および患者の臨床医へ、診断、予後、または最適治療コースに関しての患者固有の情報を提供するための大きい可能性を提供する。機械学習モデルは、例えば、患者の生存の可能性を、診断（例えば、悪化した癌）からの時間の関数として予測するように、訓練することができる。生存予測もまた、患者が受ける治療に基づいて階級分けすることができる。患者に対して行おうとする治療などのような臨床判断は、次に、予測に基づいて臨床医により部分的に行われる（例えば、臨床医は、最も長い生存が予測される治療を好むことが多いであろう）。予後情報もまた、例えば、患者が患者の将来を計画する能力を向上させるために、患者へ提供することができ、これは、患者のクオリティ・オブ・ライフを向上させることができる。
[0003] 機械学習モデルは、複数のデータ・カテゴリを含む患者データに基づいて患者に関する予測を行うように、訓練することができる。患者データにおいて特定のデータ・カテゴリが無い場合、予測を行う際の機械学習モデルの適用を制限することができる。１つのデータ・カテゴリ・セットからの予測因子（predictor）データを必要とする機械学習モデルは、必要なカテゴリのサブセットのみを含む実際の患者データを用いて予測を行うことができないかもしれない。例えば、ヘマトロジーおよびラボラトリでの分子テストについての結果に基づいて予測を行うモデルは、ヘマトロジー・データはあるが分子テストの結果がない患者に関する予測を行うことができないかもしれない。
[0004] ここでは、複数の機械学習モデルを含むメタモデルに基づいて臨床予測を行うための技術を開示する。臨床予測は、例えば、病気の診断からの１つの時点での患者の生存率を予測することを、含むことができる。各機械学習モデルは、例えば、個人データ（biographical data）、医療履歴データ、ラボラトリ・テスト結果、バイオマーカーなどを含む異なるデータ・カテゴリ・セットを用いて、訓練することができる。各機械学習モデルはまた、例えば、機械学習モデルの受信者操作特性（ＲＯＣ）曲線のエリア・アンダー・ザ・カーブ（ＡＵＣ）などのような性能メトリック（performance metric）を表す重みと、関連付けることができる。
[0005] 特定の患者に関する臨床予測を行うために、患者のデータに存在するデータ・カテゴリに基づいて、複数の機械学習モデルを特定することができる。特定された機械学習モデルのそれぞれは、患者データ内に存在する特定のデータ・カテゴリ・サブセットと関連付けられる他の患者の臨床データを用いて、訓練することができる。データ・カテゴリ・サブセットと関連付けされる患者データ・サブセットは、抽出して、関連する機械学習モデルへ入力して、予測結果を生成するようにすることができる。機械学習モデルからの予測結果は、機械学習モデルの重みに基づいて組み合わせて、患者についての合成予測結果を生成することができる。
[0006] 本発明のこれら及び他の実施形態を、下記で詳細に説明する。例えば、他の実施形態は、ここで説明する方法と関連するシステム、デバイス、およびコンピュータ読取可能媒体に関するものである。
[0007] 本発明の実施形態の本質および利点は、添付の詳細な説明および添付の図面を参照することにより、より良く理解することができる。
[0008] 添付の図面を参照して詳細な説明を記載する。
図１Ａおよび図１Ｂは、本開示で説明する技術を用いて行うことができる臨床予測の例を示す。 図１Ａおよび図１Ｂは、本開示で説明する技術を用いて行うことができる臨床予測の例を示す。 図２Ａ、図２Ｂ、図２Ｃ、および図２Ｄは、本開示の特定の特徴に従った、機械学習モデルを用いて臨床予測を行うことの例を示す。 図２Ａ、図２Ｂ、図２Ｃ、および図２Ｄは、本開示の特定の特徴に従った、機械学習モデルを用いて臨床予測を行うことの例を示す。 図２Ａ、図２Ｂ、図２Ｃ、および図２Ｄは、本開示の特定の特徴に従った、機械学習モデルを用いて臨床予測を行うことの例を示す。 図２Ａ、図２Ｂ、図２Ｃ、および図２Ｄは、本開示の特定の特徴に従った、機械学習モデルを用いて臨床予測を行うことの例を示す。 図３Ａ、図３Ｂ、図３Ｃ、および図３Ｄは、本開示の特定の特徴に従った、メタモデルを用いて臨床予測を行うことの例を示す。 図３Ａ、図３Ｂ、図３Ｃ、および図３Ｄは、本開示の特定の特徴に従った、メタモデルを用いて臨床予測を行うことの例を示す。 図３Ａ、図３Ｂ、図３Ｃ、および図３Ｄは、本開示の特定の特徴に従った、メタモデルを用いて臨床予測を行うことの例を示す。 図３Ａ、図３Ｂ、図３Ｃ、および図３Ｄは、本開示の特定の特徴に従った、メタモデルを用いて臨床予測を行うことの例を示す。 図４Ａ、図４Ｂ、図４Ｃ、図４Ｄ、および図４Ｅは、本開示の特定の特徴に従った、メタモデルを用いて臨床予測を行うことの実験結果の例を示す。 図４Ａ、図４Ｂ、図４Ｃ、図４Ｄ、および図４Ｅは、本開示の特定の特徴に従った、メタモデルを用いて臨床予測を行うことの実験結果の例を示す。 図４Ａ、図４Ｂ、図４Ｃ、図４Ｄ、および図４Ｅは、本開示の特定の特徴に従った、メタモデルを用いて臨床予測を行うことの実験結果の例を示す。 図４Ａ、図４Ｂ、図４Ｃ、図４Ｄ、および図４Ｅは、本開示の特定の特徴に従った、メタモデルを用いて臨床予測を行うことの実験結果の例を示す。 図４Ａ、図４Ｂ、図４Ｃ、図４Ｄ、および図４Ｅは、本開示の特定の特徴に従った、メタモデルを用いて臨床予測を行うことの実験結果の例を示す。 図５は、本開示の特定の特徴に従った、臨床予測を行う方法を示す。 図６は、ここで開示する技術を実装するために用いることができるコンピュータ・システムの例を示す。
[0015] 本開示の実施形態によると、機械学習モデルはデータ・カテゴリのセットを含む患者データに基づいて患者に関する臨床予測を行うように、訓練することができる。臨床予測は、例えば、診断（例えば、悪化した癌）からの時間の関数として患者の生存率を予測することを、含むことができる。また、生存率の予測は、様々なタイプの治療に関しても行うことができる。本開示の機械学習予測モデルは、臨床予測を行うため、および臨床医が予測結果に基づく臨床判断を行う際に支援するための、非常に強力なツールとすることができるが、それは、このモデルが、予測される臨床パラメータ（例えば、生存率）と、患者データの様々なデータ・カテゴリとの間の、臨床医に考慮されなかったであろう隠れた関係を、あばくことができるからである。機械学習モデルは、患者の非常に大きい集団のデータを用いて訓練することができ、それにより、臨床パラメータと様々なデータ・カテゴリとの間の様々な関係を学習するように、そして、患者データと、このモデルが訓練により学習した関係とに基づいて、患者に関する予測を行うようにする。
[0016] 機械学習予測モデルは、臨床予測を行うこと、および臨床判断をする際に臨床医を支援することに関しては、非常に強力なツールであり得るが、課題は、機械学習ベースの予測モデルを実際の臨床環境（clinical setting）へ導入することに制限があることである。１組の課題は、データ可用性（availability）における患者間の変化性（variability）と関連する。ほとんどの実世界のデータセットでは、多くの患者は、多くのデータ・カテゴリに関しての所見の記録が欠けている。他方、機械学習モデルは、典型的には、大きいデータ・カテゴリ・セットのデータを用いて訓練されて、予測されるパラメータと大きいデータ・カテゴリ・セットとの間の、より多くの隠れたリンクをあばくようにされる。機械学習モデルが、データ・カテゴリ・セットに基づいて予測を行うように訓練されたが、患者データが、そのセットから１以上のカテゴリを欠いているものである場合、機械学習モデルは、その患者データに基づく予測を行うことができないかもしれない。
[0017] 患者グループのデータに含まれるデータ・カテゴリは、様々な理由で、様々な患者の中で様々であり得、そのため、データ不均質性（heterogeneity）が大きくなる。例えば、幾つかの病院は、１０００より多くの独特なオーダー可能なテストを含むラボラトリ・テスト・メニューを有し得る。患者の状況（例えば、臨床環境、臨床的条件および診断、臨床的重症度（clinical severity）、合併症、受ける治療、年齢、性別、経済状態など）に応じて、殆どの患者が受けられたのは、多くとも、それらの可能なテストのうちの僅かなものであり得、また、それらの患者が受けられたのは、それらのテストのうちの異なるものであり得る。別の例では、様々な患者について、他の臨床的研究、患者履歴の要素、バイオプシー・データなどを含む様々な非ラボラトリ臨床データ・カテゴリを欠いていることがあり得る。同様の診断テストまたは身体検査マニューバ（physical exam maneuver）を受けた患者に関しても、それらは、異なる時点に行われたものや、様々な間隔で行われたものであり得、データの不均質性の問題は、時系列データを考慮するときに特に重要となる。これらの全ての場合において、患者データにおける様々なデータ・カテゴリが抜けていることにより、機械学習モデルは、多数の患者に関する予測を行うことができないかもしれず、これは、機械学習モデルの有用性を制限する。
[0018] データ不均質性により機械学習モデルへ提示された難題を克服するための１つのアプローチは、インピュテーション・プロセスによるものであり、その場合、患者の臨床データ・セットは、前処理して、抜けているデータ・カテゴリに関しての追加の臨床データ・エレメンを作り出すようにすることができ、それにより、元の及び代入の（imputed）臨床データ・エレメントを含む患者データは、機械学習モデルへの入力としての完全なデータ・カテゴリ・セットを含むことができる。インピュテーション・プロセスは、元の患者データに基づいて、抜けたデータ・カテゴリの各データ・エレメントの分布または値を概算することができる。しかし、インピュテーション・プロセスは大きい制限を有し得る。具体的には、殆どのインピュテーション・アルゴリズムは、データは「ミシング・アット・ランダム（missing at random）」（ＭＡＲ）であると仮定するが、このＭＡＲ仮定は、典型的には、殆どの臨床データに対して有効ではない。なぜなら、臨床データを作り出す診断研究は、ランダムにではなく臨床環境に応じて選択されオーダーされるからであり、したがって、患者データにおける特定のデータ・カテゴリの存在（または欠落）もまた、ランダムではないからである。更に、インピュテーションは、予測へ追加の不確実性および不正確性をもたらし得、予測されるパラメータとデータ・カテゴリとの間の隠れた関係の幾らかを不明瞭にし得る。
[0019] ここでは、上記の問題の幾つかに対応するために、複数の機械学習モデルを含む合成された学習モデル（以下、「メタモデル」という）を用いて臨床予測を行うための技術が開示される。メタモデルの複数の機械学習モデルのそれぞれは、データ・カテゴリ・セットのデータを用いて個別に訓練され、様々な機械学習モデルは、様々なデータ・カテゴリ・セットのデータを用いて訓練されるが、様々なセットの中では重複するデータ・カテゴリがあり得る。機械学習モデルが、患者の生存率を予測するように訓練される場合、機械学習モデルの訓練は、例えば、患者をグループへと分類することに基づくことができ、グループへの分類は、グループ内の患者の生存統計における類似性が最大になるようにし、グループ間での患者の生存統計における差が最大になるようにする。複数の機械学習モデルのそれぞれは、性能メトリックと関連付けることができ、これは、訓練された機械学習モデルの検証（validation）プロセスから得ることができる。機械学習モデルが、患者の生存率を予測するように訓練された場合、性能メトリックとして、モデルによる出力の真陽性率（true positive rates）と偽陽性率（false positive rates）との関係を測定することができ、これは、受信者操作特性（ＲＯＣ）曲線の形で表すことができる。幾つかの例では、性能メトリックは、モデルのＲＯＣ曲線のエリア・アンダー・ザ・カーブ（ＡＵＣ）に基づくことができる。
[0020] 複数の機械学習モデルのそれぞれは、患者に関する臨床予測を行うために用いることができる。患者データは、複数のデータ・カテゴリを含むことができ、それらは、複数の機械学習モデルの様々なデータ・カテゴリ・セットへマップすることができる。マッピングに基づいて、少なくとも第１機械学習モデルと第２機械学習モデルとを含むメタモデルを選択することができ、機械学習モデルのそれぞれは、患者データにおける様々なデータ・カテゴリ・サブセットのデータを用いて訓練されたものである。例えば、第１機械学習モデルは、複数のデータ・カテゴリの第１サブセットのデータを用いて訓練され、第２機械学習モデルは、複数のデータ・カテゴリの第２サブセットのデータを用いて訓練される。複数のデータ・カテゴリの第１サブセットに対応する第１患者データ・サブセットは、第１機械学習モデルへ入力して第１予測出力を生成するようにでき、複数のデータ・カテゴリの第２サブセットは、第２機械学習モデルへ入力して第２予測出力を生成するようにできる。次に、メタモデルは、第１予測出力、第１性能メトリック、第２予測出力、および第２性能メトリックに基づいて、合成予測出力を生成することができる。次に、臨床予測は、合成予測出力に基づいて行うことができる。
[0021] 幾つかの例では、複数のデータ・カテゴリは、患者の年齢や性別などのような様々な個人データを含むことができ、それらの個々のものは１つのデータカテゴリに対応し得る。また、複数のデータ・カテゴリは、患者の治療履歴（例えば、患者がどのような治療を受けたか）、患者の習慣（患者は喫煙するか）などのような患者の履歴を含むことができる。また、複数のデータ・カテゴリは、患者の様々なラボラトリ・テスト結果カテゴリを含むことができ、それらは、白血球数、ヘモグロビン数、血小板数、ヘマトクリット数、赤血球数、クレアチニン数、リンパ球数、および蛋白質、ビリルビン、カルシウム、ナトリウム、ポタシウム、グルコースなどの測定値などであり、ラボラトリ・テスト結果カテゴリのそれぞれがデータ・カテゴリに対応する。また、複数のデータ・カテゴリは、様々な癌のタイプに関する様々なバイオマーカーの測定値を含むことができ、それらは、エストロゲン・レセプタ（ＥＲ）、プロゲステロン・レセプタ（ＰＲ）、ヒト上皮成長因子受容体２（ＨＥＲ２）、乳癌に関しての上皮成長因子受容体（ＥＧＦＲまたはＨＥＲ１）、肺癌に関してのＡＬＫ（未分化リンパ腫キナーゼ）、肺癌および大腸癌に関してのＫＲＡＳ遺伝子、大腸癌に関してのＢＲＡＦ遺伝子などである。また、それぞれのバイオマーカー測定値は、データ・カテゴリに対応し得る。複数の機械学習モデルの各機械学習モデルは、予測を行うように、複数のデータ・カテゴリの様々なサブセット（例えば、様々な個人情報サブセット、様々なラボラトリ・テスト結果サブセット、様々なバイオマーカー測定値サブセットなど）を用いて訓練することができる。
[0022] 幾つかの例では、複数の機械学習モデルは、時間の関数として患者の生存率を決定するように訓練することができる。生存率により、患者が健康状態（例えば、悪化した癌）を診断された後の所定の時間（例えば、５００日、１０００日、１５００日など）において患者が生きている可能性を、予測することができる。時間に関する生存率は、患者に関しての患者固有カプランマイヤー（patient-specific Kaplan-Meier）・プロットを生成するために用いることができる。機械学習モデルは、ランダム・フォレスト・モデル、回帰（regression）モデルなどのような様々な技術を用いて実装することができる。
[0023] 具体的には、ランダム・フォレスト・モデルは、複数のデシジョン・ツリーを含むことができ、各ツリーは異なるデータ・カテゴリ・セットと関連する。各デシジョン・ツリーは複数の終端ノードを含むことができ、各終端ノードは、累積ハザード関数（ＣＨＦ）の値と関連し、データ・カテゴリ・セットのデータ値範囲の特定の組み合わせを表す。累積ハザード関数は、診断からの特定の時間での患者の生存（または死）の確率として解釈することができるが、この場合、患者が少なくともその特定の時間まで生存することを前提とする。ランダム・フォレスト・モデルの各デシジョン・ツリーは、患者を、患者の対応するデータ・カテゴリの値に基づいて、終端ノードの１つへと分類することができ、患者の累積ハザード関数の値を出力することができる。ランダム・フォレスト・モデルの複数のデシジョン・ツリーからの複数の値は、患者の累積ハザード関数出力として平均することができ、患者の予測される生存率は、累積ハザード関数出力に基づいて計算することができる。
[0024] 他方、比例ハザート回帰モデル（proportional hazards regression model）などのような回帰モデルは、パラメータ・セットを含むことができ、これは、患者のデータ値と組み合わせて、患者の累積ハザード関数を計算するようにすることができる。診断が行われてからの特定の時間とそれぞれが関連する複数のランダム・フォレスト・モデルおよび／または回帰モデルは、累積ハザード関数の様々な値を出力するように提供することができ、これは、時間の関数として患者の予測生存率を生成するために用いることができる。
[0025] 訓練プロセスは、（１）ランダム・フォレスト・モデルにおける各デシジョン・ツリー、（２）各デシジョン・ツリーに割り当てられるデータ・カテゴリ、（３）デシジョン・ツリーの各親ノードでの分類基準、および（４）各終端ノードでの累積ハザード関数の値を、生成することができる。訓練プロセスは、患者の大集団のデータ・カテゴリ・セットの患者データと、生存統計とを用いることができる。具体的には、訓練プロセスは、データ・カテゴリ・サブセットをデシジョン・ツリーのルート・ノードへランダムに割り当てることから開始することができ、様々なデータ・カテゴリ・サブセットを、様々なデシジョン・ツリーのルート・ノードへ割り当てることができる。更に、バギング（bagging）・プロセスでは、各デシジョン・ツリーは、割り当てられたデータ・カテゴリ・サブセットのランダムな患者データのサンプルのセットを、得ることができる。ルート・ノード（およびその後の各親ノード）は、次に、再帰（recursive）ノード分割プロセスにおいて子ノードへと分かれることができる。
[0026] ノード分割プロセスにおいて、患者のセットを表すノードは、２つの子ノードへと分割することができ、各子ノードは、データ・カテゴリ・サブセットに関するスレッショルドに基づいて患者のサブセットを表し、データ・カテゴリ・サブセットおよびスレッショルドは、２つの子ノードの間で生存患者／死の数における差を最大にするように選択される。このプロセスは、次に、追加の子ノードを作り出すように子ノードで反復することができるが、これは、例えば、特定の子ノードで死／非生存患者のスレッショルド最小数に達するまで行うことができ、その子ノードは次に終端ノードとなる。次に、患者を、デシジョン・ツリーにより終端ノードへと、それらのデータ・カテゴリ・サブセットの値に従って、分類することができる。各終端ノードでの累積ハザード関数出力は、その終端ノードへと分類された生存患者のパーセンテージで表すことができる。
[0027] 更に、比例ハザート回帰モデルもまた、予測を行うように訓練することができる。回帰モデルは、患者の様々なデータ・カテゴリを、診断後の所定の時間での生存の確率（例えば、累積ハザード関数）と関連付けする係数を、含むことができる。回帰モデル、および入力としての様々なデータ・カテゴリに関する患者の値に基づいて、所定の時間に患者が生存している確率も、回帰モデルの出力として計算することができる。また、回帰モデルのパラメータは、訓練プロセスにおいて決定することができ、訓練プロセスは、多数の患者の様々なデータ・カテゴリの患者のデータおよび患者の生存統計にわたっての回帰モデルのフィッティングを含む。例えば、生存統計に基づいて、様々な時間でのそのグループの生存患者のパーセンテージを決定して（グループのサイズは死を説明する時間に関して調節される）、目標生存率を表すことができる。次に、回帰モデルのパラメータを、様々な時間での様々なデータ・カテゴリに関する患者の値に基づいて、決定することができ、回帰モデルは、目標生存率を出力するようにされる。
[0028] 上述のように、機械学習モデルのそれぞれは、性能メトリックと関連付けることができ、これは、メタモデルの合成出力を作り出すために用いることができる。性能メトリックは、特定の機械学習モデルが正しい予測を生成することについての信頼度を含むことができる。機械学習モデルの性能メトリックは、機械学習モデルの受信者操作特性（ＲＯＣ）曲線のエリア・アンダー・ザ・カーブを決定することなどのような、様々な技術を用いて決定することができる。ＲＯＣ曲線は、機械学習モデルの対応する真陽性率と偽陽性率との間のプロットを提供することができる。エリア・アンダーＲＯＣについての０．５という値は、真陽性率と偽陽性率とが平均では等しいことを意味するものであり、機械学習モデルが区別を行えなく望ましいものではないことを示し得るものであり、０．５を超える大きいエリア・アンダーＲＯＣは、予測に関して信頼性が高いことを示し得るものである。機械学習モデルのＲＯＣのエリアに基づいて、機械学習モデルへ重みを割り当てることができ、大きいＲＯＣのエリアを持つ機械学習モデルの場合は大きい重みが割り当てられ、逆の場合は割り当ても逆になる。合成予測出力は、機械学習モデルの重み付けされた予測出力の平均に基づいて作り出すことができ、各予測出力は、機械学習モデルのそれぞれの重みにより調整される。
[0029] 機械学習モデルが、患者の生存率を出力するように訓練された場合において、機械学習モデルが、所与の時間においての患者の生存確率が確率スレッショルドを超えたということを出力し、且つその所与の時間に患者が実際に生存していたときに、真陽性となる。その所与の時間に、患者の生存確率は確率スレッショルドを超えているが、患者が生存していないとき、偽陽性となる。患者のグループのデータが機械学習モデルへ入力されて各患者の生存率が計算される検証プロセスを、行うことができる。性能メトリックを決定するために、確率スレッショルドを超える生存率を有し且つ生存している患者のパーセンテージを表す真陽性率と、確率スレッショルドを超える生存率を有するが生存していない患者のパーセンテージを表す対応する偽陽性率とを、確率スレッショルドの範囲に関して得ることができる。次に、様々な確率スレッショルドに関しての真陽性率と偽陽性率との様々な対を決定して、ＲＯＣプロットを作り出すようにでき、機械学習モデルに関してのエリア・アンダーＲＯＣを決定することができる。様々な実装において、真陰性率および／または偽陰性率を、真陽性率および／または偽陽性率に加えて又は真陽性率および／または偽陽性率の代わりに、用いることができる。
[0030] 各機械モデルの訓練および機械モデルの性能メトリックの決定は、交差検証（cross-validation）プロセスにおいて、同じ患者グループの様々な患者データ・サブセットに基づいて行うことができる。具体的には、患者グループからの患者データから、機械学習モデルにより必要とされるデータ・カテゴリを含むデータを有する患者を、識別することができる。識別された患者は、２つのサブセットへと分けることができる。一方のサブセット（例えば、患者の８０％の患者データ）は、機械モデルを訓練するために用いることができ、他方のサブセット（例えば、患者の２０％の患者データ）は、交差検証プロセスの一部として、訓練された機械モデルへ入力して、ＲＯＣプロットを生成し、エリア・アンダーＲＯＣを計算するようにすることができる。幾つかの例では、訓練および交差検証を反復することができ、各回の反復では異なる患者データ・サブセット（例えば、患者の異なる８０％および２０％の部分）を用いるようにし、複数回の反復から得られたＲＯＣエリアを平均することにより、機械学習モデルへ割り当てられる重みを決定することができる。訓練プロセスは、第２機械学習モデルに関して反復することができ、これは、第２機械学習モデルが必要とするデータ・カテゴリを含むデータを有する患者を識別することから開始する。訓練および交差検証をより多く反復すると、正しい予測を生成することに関して、機械学習モデルの信頼レベルを向上させることができる。
[0031] 開示する実施形態では、患者に関する臨床予測を行うために、多数の固定のデータ・カテゴリ・セットを用いて訓練された１つの機械学習モデルを用いるのではなく、患者に関する臨床予測を行うために、複数の機械学習モデルを含むメタモデルを提供することができ、それぞれの機械学習モデルは、小さいが異なるデータ・カテゴリ・セットを用いて訓練される。メタモデルの機械学習モデルは、機械学習モデルのデータ・カテゴリと一致する患者データのデータ・カテゴリに基づいて選択することができ、選択された機械学習モデルに関しては患者データ内に欠落したデータ・カテゴリがないようにする。これは、機械学習モデルに関して患者データからデータ・エレメントを代入する（impute）必要性を、また、代入されたデータが原因となる予測における不確実性を、低減または排除することができる。また、データ・カテゴリの数が低減されて機械学習モデルへ入力されるということは、機械学習モデルへの入力の可能な順列の数を低減できることになり、これは、機械学習モデルの訓練の時間を低減し得る（または、少なくとも、訓練を更に管理しやすくし得る）。更に、選択された機械学習モデルの予測出力は、合成予測出力を作り出すように組み合わされるので、合成予測出力は、患者データの全データ・カテゴリを反映することができ、また、その組み合わせは、各機械学習モデルの信頼レベルを反映する。これらの全ては、メタモデルにより作り出される臨床予測の信頼レベルを向上させることができる。更に、臨床予測が、治療に応じた患者の生存率を予測するために用いられる場合において、予測を、更に正確にし且つペイシェント・ジャーニーにおける早い時期に行えるようにし、また、追加の治療オプションの考慮や可能な臨床治験などのような修正措置を、早い時期に行えるようにする。これらの全ては、患者の回復および生存の可能性を増加させる。
Ｉ． 臨床予測および応用の例
[0032] 図１Ａおよび図１Ｂは、本開示の例により提供することができる臨床予測の例を示す。図１Ａは、癌との診断がなされたときからの時間に関しての患者の生存率を予測するための機構を示し、図１Ｂは、生存率予測の応用の例を示す。図１Ａを参照すると、チャート１００は、カプランマイヤー（Ｋ－Ｍ）・プロットの例を示し、これは、或る型の癌（例えば、肺癌）を持つ患者の中での生存の統計の典型を提供する。患者は、特定の治療を受けることができる。Ｋ－Ｍプロットは、患者が癌を有すると診断されたときからの測定された時間に関して、患者グループの生存率の変化を示す。患者が治療を受ける場合において、Ｋ－Ｍプロットはまた、その治療に応じた患者の生存率を示す。時間が進むと、幾人かの患者は死ぬことがあり、生存率は低下する。幾人かの他の患者は、研究される事象とは関連しない他の事象に起因して、プロットから削除される（落とされる）が、それらの関係していない事象は、Ｋ－Ｍプロットにおいてチェックマーク（tick）により表される。各横線の長さは、その間隔に関しての生存期間を表し、所与の点に対する全ての生存見積もりは、その時間に対しての累積の生存の確率を表す。
[0033] 図１Ａにおいて、チャート１００は、異なる患者のコーホートＡおよびＢの生存率の２つのＫ－Ｍプロットを含む。コーホートＡおよびＢは、例えば、様々な特徴を有する患者、様々な治療を受けている患者などのコーホートを含むことができる。図１Ａでは、メジアン生存率（患者の５０％が生存すると見積もられる）はコーホートＡでは約１１月であるが、コーホートＢでは約６．５月である。更に、生存する患者のパーセンテージは、プロットの横線で示されているが、これはまた、時間に関してのコーホート内の患者の生存率の予測を提供することができる。例えば、診断から４月のところでは、コーホートＡの患者の生存率は約７０％（０．７）であり、コーホートＢの患者の生存率は約３０％（０．３）である。
[0034] 集団ベースの生存統計は、癌のタイプおよび患者の広い範囲にわたって入手可能であるが、患者固有情報を見分けるのは難しいことであり得る。具体的には、全体としてのステージＩＶの大腸癌の患者の５年生存は比較的低いが（例えば、National Cancer Institute (NCI) の Surveillance, Epidemiology, and End Results (SEER) 統計によると１４％）、幾人かの個々の患者は、平均生存時間よりもかなり良い生存時間を有する。したがって、個々の患者を見たときの腫瘍学者に対する臨床的な質問は、集団の生存時間についてではなく、個々の患者の生存率の予測はどうか、ということになる。
[0035] 図１Ｂは、患者に関しての生存率予測の応用例を示す。図１Ｂに示すように、図１ＡのＫ－Ｍプロットなどのような患者の生存率予測を表すデータ１０２は、臨床判断支援ツール１０４へ入力することができる。データ１０２は、治療を受けない患者の生存率予測および／または様々な治療に関しての患者の生存率予測を含むことができる。
[0036] 臨床判断支援ツール１０４は、データ１０２に基づいて、患者の看護／治療を行う際に臨床医を援助するための様々な情報を生成することができる。例えば、患者の看護を容易にするために、臨床判断支援ツール１０４は、患者の予測される生存率と他の患者との比較、患者の平均余命などのような、臨床医が患者の予後をより良く査定することを可能とする情報１０６を、生成することができる。情報１０６は、患者の予後および治療オプションの評価、および患者のライフイベントの計画に関しての、臨床医と患者との話し合いを行い易くすることができる。ここで示す例として、臨床判断支援ツール１０４が、患者は比較的長い余寿命（例えば、５年）を有すと予測した場合、その患者は、肉体的な要求が高く大きい副作用がある積極的な治療を受けると決めるかもしれない。しかし、臨床判断支援ツール１０４が、患者は比較的短い余寿命（例えば、１年未満）を有すると示した場合、その患者は、治療を見合わせるか代替の治療を受けると決めるかもしれず、また、患者の余寿命での介護やライフイベントについて計画するかもしれない。
[0037] 更に、データ１０２が様々な治療に関しての患者の生存率予測を含む場合において、臨床判断支援ツール１０４はまた、患者に対しての最適の治療を選択することを容易にするための情報１０８を出力することができる。例えば、臨床判断支援ツール１０４は、データ１０２に基づいて、様々な治療に関しての患者の様々なＫ－Ｍプロットを表示することができる。次に、臨床医は、例えば、所与の時間における患者の生存率を最大にする治療、想定される患者の余寿命を最大にする治療などを、選択することができる。
ＩＩ．機械学習モデルを用いる臨床予測
[0038] 機械学習予測モデルは、データ・カテゴリのセットを含む患者データに基づいて患者に関しての臨床予測を行うように訓練することができる。機械学習予測モデルは、臨床予測を行うための非常に強力なツールであり得るが、それは、このモデルが、予測される臨床パラメータ（例えば、生存率）と、患者データの様々なデータ・カテゴリとの間の、臨床医に考慮されなかったであろう隠れた関係を、あばくことができるからである。機械学習モデルは、患者の大集団のデータを用いて訓練することができ、それにより、臨床パラメータと様々なデータ・カテゴリとの間の様々な関係を学習するように、そして、患者データと、このモデルが訓練により学習した関係とに基づいて、患者に関する予測を行うようにする。
[0039] 図２Ａは、癌と診断された後の所定の時間における患者の生存率の予測を行うための機械学習モデルの使用の例を示す。図２Ａに示すように、機械学習予測モデル２００は、入力として、例えば、個人データ２０２、医療履歴データ２０４、ラボラトリ・テスト結果２０６、バイオマーカー２０８などを含む患者の様々なタイプのデータを受け取り、入力に基づいて、患者の生存率の予測結果２１０を生成することができる。生存率は、患者が健康状態（例えば、悪化した癌）を診断された後の所定の時間（例えば、５００日、１０００日、１５００日など）に患者が生きている可能性を提供することができる。時間に関しての生存率は、患者に関しての患者固有カプランマイヤー（patient-specific Kaplan-Meier）（Ｋ－Ｍ）・プロットを生成するために用いることができる。
[0040] 図２Ｂは、個人データ２０２、医療履歴データ２０４、ラボラトリ・テスト結果２０６、およびバイオマーカー２０８のカテゴリの例を提供するテーブル２２０を示す。例として、個人データ２０２は、年齢、性別、人種などのような様々な情報カテゴリを含むことができる。例として、履歴データ２０４は、診断結果（例えば、癌のステージ、大腸癌（ＣＲＣ）の部位など）、患者の習慣（例えば、患者は喫煙するか）、患者の治療履歴（例えば、患者が何れの治療を受けたか）などのような様々な情報カテゴリを含むことができる。
[0041] 例として、ラボラトリ・テスト結果２０６は、白血球数、ヘモグロビン数、血小板数、ヘマトクリット数、赤血球数、クレアチニン数、リンパ球数、および蛋白質、ビリルビン、カルシウム、ナトリウム、ポタシウム、アルカリ・フォスファターゼ、二酸化炭素、単球、塩化物、乳酸脱水素酵素、グルコースなどの測定値などのような、患者の様々なラボラトリ・テスト結果のカテゴリを含むことができる。
[0042] 例として、バイオマーカー・データ２０８は、様々な癌のタイプに関する様々なバイオマーカーの測定値を含むことができ、それらは、エストロゲン・レセプタ（ＥＲ）、プロゲステロン・レセプタ（ＰＲ）、ヒト上皮成長因子受容体２（ＨＥＲ２）、乳癌に関しての上皮成長因子受容体（ＥＧＦＲまたはＨＥＲ１）、肺癌に関してのＡＬＫ（未分化リンパ腫キナーゼ）、肺癌および大腸癌に関してのＫＲＡＳ遺伝子、大腸癌に関してのＢＲＡＦ遺伝子などである。バイオプシー・イメージ特徴データなどのような図２Ｂに示されていない他の臨床データのカテゴリもまた、臨床予測を行うために機械学習予測モデル２００へ入力され得ることを、理解すべきである。
Ａ．ランダム・フォレスト
[0043] 機械学習予測モデル２００は、ランダム・フォレスト・ツリー、回帰モデルなどのような様々な技術を用いて、実装することができる。図２Ｃは、機械学習予測モデル２００を実装するために用いることができるランダム・フォレスト・モデル２３０の例を示す。図２Ｃに示すように、ランダム・フォレスト・モデル２３０は、例えば、デシジョン・ツリー２３２および２３４を含む複数のデシジョン・ツリーを含むことができる。各デシジョン・ツリーは複数のノードを含むことができ、複数のノードは、ルート・ノード（例えば、デシジョン・ツリー２３２のルート・ノード２３２ａ、デシジョン・ツリー２３４のルート・ノード２３４ａなど）および子ノード（例えば、デシジョン・ツリー２３２の子ノード２３２ｂ、２３２ｃ、２３２ｄ、および２３２ｅ、デシジョン・ツリー２３４の子ノード２３４ｂおよび２３４ｃなど）を含む。子ノード（例えば、ノード２３２ａ、２３２ｂ、および２３４ａ）を有する各親ノードは、その子ノードの１つへと患者を分類するように、所定の分類基準と関連付けることができる。子ノードを有さない子ノードは終端ノードであり、それらはノード２３２ｄおよび２３２ｅ（デシジョン・ツリー２３２のもの）と、ノード２３４ｂおよび２３４ｃ（デシジョン・ツリー２３４のもの）とを含み、それぞれに累積ハザード関数（ＣＨＦ）の値が割り当てられる。
[0044] ＣＨＦの値は、特定の時間における死亡の危険性（または生存率）を表すことができる。ＣＨＦはハザード関数ｈ（ｔ）の合計を表し、これは特定の時間ｔにおいての即時の死亡の危険性を表し、従って、ＣＨＦ自体もまた時間の関数である。各デシジョン・ツリーは、終端ノードの１つへと患者を分類することができ、ＣＨＦ値を出力するが、ＣＨＦ値は、デシジョン・ツリー２３２からのＣＨＦ値２３６、デシジョン・ツリー２３４からのＣＨＦ値２３８などである。デシジョン・ツリーのそれぞれからの患者に関してのＣＨＦ値を、平均して、患者に関しての全体的ＣＨＦ値２４０（ＣＨＦｃｏｍｂｉｎｅ）を生成して、特定の時間ｔでの患者の生存率を表すようにすることができる。図２Ｃに示すランダム・フォレスト・モデル２３０は、特定の時間に関してのＣＨＦ値を予測するように訓練することができ、複数のランダム・フォレスト・モデル２３０は、様々な時間に関しての患者に関しての全体的ＣＨＦ値２４０を予測するように用いることができる。
[0045] 時間ｔにおける患者の生存率ｍ（ｔ）は、下記の式のように、組み合わせた累積ハザード関数ＣＨＦｃｏｍｂｉｎｅの指数関数（ｅｘｐ）に基づいて計算することができる。
ｍ（ｔ）＝ｅｘｐ（－ＣＨＦｃｏｍｂｉｎｅ（ｔ）） （式１）
[0046] 各デシジョン・ツリーは、患者データの様々なデータ・カテゴリ・サブセットを処理してＣＨＦ値を生成するように、割り当てることができる。例えば、図２Ｃに示すように、患者データ２４２は、データ・カテゴリ・セット｛Ｓ０，Ｓ１，Ｓ２，Ｓ３，Ｓ４，・・・，Ｓｎ｝を含む。デシジョン・ツリー２３２は、データ・カテゴリＳ０およびＳ１を処理するように割り当てられ訓練されることができ、デシジョン・ツリー２３４は、データ・カテゴリＳ２を処理するように割り当てられ訓練されることができ、他のデシジョン・ツリーは、他のデータ・カテゴリ・サブセットを処理するように割り当てられることができる。
[0047] デシジョン・ツリーにおける親ノードは、次に、割り当てられたデータ・カテゴリのうちの１以上のものに対応する患者データ２４２のサブセットを、１以上のスレッショルドと比較して、親ノードの子ノードのうちの１つへと患者を分類することができる。具体的には、デシジョン・ツリー２３２を参照すると、ルート・ノード２３２ａは、データ・カテゴリＳ０の患者データがスレッショルドｘ０を超える場合に、患者を子ノード２３２ｂへと分類することができ、そうでない場合には、終端ノード２３２ｃへと分類することができる。子ノード２３２ｂは、更に、データ・カテゴリＳ１の患者データに基づいて、終端ノード２３２ｄと２３２ｅとの何れかへ患者を分類することができる。データ・カテゴリＳ０およびＳ１に基づいて何れの終端ノードへと患者が分類されたかに応じて、デシジョン・ツリー２３２は、ＣＨＦ０、ＣＨＦ１、またはＣＨＦ２というＣＨＦ値を出力することができる。更に、デシジョン・ツリー２３４もまた、データ・カテゴリＳ２に基づいて何れの終端ノードへと患者が分類されたかに応じて、ＣＨＦ３またはＣＨＦ４というＣＨＦ値を出力することができる。
[0048] ランダム・フォレスト・モデルの各デシジョン・ツリーは、患者の大集団のデータ・カテゴリ・セットの患者データおよび生存統計にわたっての訓練プロセスで生成することができる。さらに、訓練プロセスは、各デシジョン・ツリーへ割り当てられるデータ・カテゴリ・サブセット、デシジョン・ツリーの各親ノードでの分類基準、および各終端ノードでの累積ハザード関数の値を、決定することができる。具体的には、訓練プロセスは、データ・カテゴリのサブセットをデシジョン・ツリーのルート・ノードへランダムに割り当てることから開始することができ、データ・カテゴリの様々なサブセットを様々なデシジョン・ツリーのルート・ノードへ割り当てることができる。ツリーを生成するプロセスは、訓練プロセスのハイパーパラメータにより定められ得るデシジョン・ツリー目標数に到達するまで、反復することができる。更に、バギング・プロセスでは、デシジョン・ツリーのルート・ノードを、訓練を行うように、割り当てられたデータ・カテゴリ・サブセットの患者データのランダムなサンプル・セットへと割り当てることができる。
[0049] 訓練プロセスの一部として、ルート・ノード（およびそのその後の各親ノード）は、ルート・ノードへ割り当てられた患者データのランダム・サンプル・セットに基づいて再帰ノード分割プロセスで子ノードへと分けることができる。ノード分割プロセスでは、データ・カテゴリ・サブセットに関してのスレッショルドに基づいて、患者セットを表すノードを、それぞれが患者サブセットを表す２つの子ノードへと分類することができ、データ・カテゴリ・サブセットおよびスレッショルドは、２つの子ノードの間での生存患者／死亡の数における差を最大にするように選択され、２つの子ノードにおいて表される患者が可能なかぎり似た生存統計を有するようにする。例えば、デシジョン・ツリー２３２を参照すると、訓練プロセスの間に、デシジョン・ツリー２３２へ割り当てられたランダムな患者データ・サンプルを、データ・カテゴリＳ０およびスレッショルドｘ０に基づいて２つのグループに分けることにより、２つのグループにおける生存患者数の間の差は、他の分類基準（例えば、データ・カテゴリＳ１に基づくこと、Ｓ０に関して異なるスレッショルドを設定することなど）の場合と比べて最大にすることができる、と決定することができる。
[0050] 次に、プロセスは、子ノードで、更なる子ノードを生成するように反復することができ、これは、例えば、特定の子ノードにおいて死亡／非生存患者のスレッショルド最小数に到達するまで行うことができ、そのノードが終端ノードとなる。例えば、終端ノード２３２ｃ、２３２ｄ、および２３２ｅへと分類された患者の中では、死亡／非生存患者の数はスレッショルド最小数に到達するので、ルート分割オペレーションはそれらのノードで停止する。それらの終端ノードのそれぞれでの累積ハザード関数の出力は、所与の時間におけるその終端ノードへと分類された生存患者のパーセンテージにより、表すことができる。例えば、終端ノード２３２ｃへと分類された２０人の患者に関して、ハザード関数は、特定の時間（例えば、４日）に達するまでの様々な時間での生存している及び生存していない患者の数に基づいて、計算することができる。次に、特定の時間におけるＣＨＦ値を、その特定の時間に関してのハザード関数を合計することに基づいて生成することができる。訓練は、様々な時間での患者の生存統計に基づいて反復して、患者を様々な子ノードへと分類するために様々なデシジョン・ツリーおよび様々なスレッショルドを生成することができ、それにより、時間の関数として様々なＣＨＦ値を予測することができる。
Ｂ．数学モデル
[0051] ランダム・フォレスト・モデル２３０に加えて、時間の関数として患者の生存率を予測するように回帰モデルを用いることもできる。図２Ｄは、回帰モデル２５０の例を示す。図２Ｄに示すように、回帰モデル２５０は、患者の生存率を予測するためのコックス比例ハザート・モデルとすることができる。生存率関数ｍ（ｔ）は、下記の式で表すことができる。
ｍ（ｔ）＝ｍ０（ｔ）×（ｂ０Ｓ０＋ｂ１Ｓ１＋・・・＋ｂｎＳｎ） （式２）
[0052] 式２において、ｍ０（ｔ）はベース・ハザードを表すことができ、これは、患者の実際の生存データを用いて、および検閲して、経験的に計算することができるものであり、時間ｔの関数である。例えば、第９日に２０人の患者が生存していることが知られており、２０人のうちの１人が死ぬ場合、第９日のベース・ハザードは０．０５（１／２０）となる。研究において追跡できなくなった又はなおも生存している患者が検閲され、従って、検閲の時以降の全ての時点において分子および分母の双方から除かれる。例えば、研究が終了したときの第１４００日に患者が生存していた場合、その患者は、第１４００日以降の全ての日に関してハザート計算における分子および分母から除かれる。患者の生存率は、ベース・ハザードを、それぞれがＳ０、Ｓ１、Ｓｎなどのようなデータ・カテゴリを表す変数セットの線形関数で乗算すること基づいて、決定することができる。各変数は、線形関数における対応する係数により調節することができる。例えば、データ・カテゴリＳ０の変数は、対応する係数ｂ０により調節することができ、データ・カテゴリＳ１の変数は、対応する係数ｂ１により調節することができる、というようなことである。各係数は、死亡の危険性へのデータ・カテゴリの影響を反映する。生存率関数Ｍ（ｔ）は、Ｋ－Ｍプロットで示されるように、時間についての死亡の危険性の変化（増加）を示すことができる。
[0053] 回帰モデル２５０の係数もまた、訓練プロセスで決定することができ、この訓練プロセスは、回帰に基づいての、患者の大集団の様々なデータ・カテゴリの患者データおよび生存統計にわたっての数学モデルのフィッティングを含む。例えば、患者（図２ＤではＰ０、Ｐ１、Ｐ２などで表されている）の生存時間に基づいて、様々な時間におけるグループ（グループのサイズは死を説明する時間に関して調節される）内の生存患者のパーセンテージのＫ－Ｍプロットを、様々な時間における目標生存率を表すように、決定することができる。目標生存率は、患者Ｐ０、Ｐ１、Ｐ２などを含む患者グループから計算されたベース・ハザードｍ０（ｔ）により、表すことができる。次に、回帰モデル２５０の出力を目標生存率にフィットさせるように、係数は、様々な時間における様々なデータ・カテゴリに関しての患者の値に基づいて決定することができる。
ＩＩＩ．単一の機械学習モデルを用いる臨床予測
[0054] 機械学習予測モデルは、臨床予測を行うこと、および臨床判断をする際に臨床医を支援することに関しては、非常に強力なツールであり得るが、課題は、機械学習ベースの予測モデルを実際の臨床環境へ導入することに制限があることである。１組の課題は、データ可用性における患者間の変化性と関連する。ほとんどの実世界のデータセットでは、多くの患者は、多くのデータ・カテゴリに関しての所見の記録が欠けている。他方、機械学習モデルは、典型的には、大きいデータ・カテゴリ・セットのデータを用いて訓練されて、予測されるパラメータと大きいデータ・カテゴリ・セットとの間の、より多くの隠れたリンクをあばくようにされる。例えば、ランダム・フォレスト・モデル２３０および回帰モデル２５０は、テーブル２２０に列挙されたデータ・カテゴリからの多数のデータ・カテゴリに基づいて、訓練することができる。機械学習モデルが、データ・カテゴリ・セットに基づいて予測を行うように訓練されたが、患者データが、そのセットから１以上のカテゴリを欠いているものである場合、機械学習モデルは、その患者データに基づく予測を行うことができないかもしれない。
[0055] 患者グループのデータに含まれるデータ・カテゴリは、様々な理由で、様々な患者の中で様々であり得、そのため、データ不均質性が大きくなる。例えば、幾つかの病院は、１０００より多くの独特なオーダー可能なテストを含むラボラトリ・テスト・メニューを有し得る。患者の状況（例えば、臨床環境、年齢、性別、経済状態など）に応じて、殆どの患者が受けられたのは、多くとも、それらの可能なテストのうちの僅かなものであり得、また、患者の様々な状況により、患者が受けたのはそれらのテストのうちの異なるものであり得る。別の例では、様々な患者について、他の臨床的研究、患者履歴の要素、バイオプシー・データなどを含む様々な非ラボラトリ臨床データ・カテゴリを欠いていることがあり得る。同様の診断テストまたは身体検査マニューバを受けた患者に関しても、それらは、異なる時点に行われたものや、様々な間隔で行われたものであり得、データの不均質性の問題は、時系列データを考慮するときに特に重要となる。これらの全ての場合において、患者データにおける様々なデータ・カテゴリが抜けていることにより、機械学習モデルは、多数の患者に関する予測を行うことができないかもしれず、これは、機械学習モデルの有用性を制限する。
[0056] データ不均質性により機械学習モデルへ提示された難題を克服するための１つのアプローチは、インピュテーション・プロセスによるものであり、その場合、患者の臨床データ・セットは、前処理して、抜けているデータ・カテゴリに関しての追加の臨床データ・エレメンを作るようにすることができ、それにより、元の及び代入の臨床データ・エレメントを含む患者データは、機械学習モデルへの入力としての完全なデータ・カテゴリ・セットを含むことができる。インピュテーション・プロセスは、元の患者データに基づいて、抜けたデータ・カテゴリの各データ・エレメントの分布または値を概算することができる。しかし、インピュテーション・プロセスは大きい制限を有し得る。具体的には、殆どのインピュテーション・アルゴリズムは、データは「ミシング・アット・ランダム」（ＭＡＲ）であると仮定するが、ＭＡＲ仮定は、典型的には、殆どの臨床データに対して有効ではない。なぜなら、臨床データを作り出す診断研究は、ランダムにではなく臨床環境に応じて選択されオーダーされるからであり、したがって、患者データにおける特定のデータ・カテゴリの存在（または欠落）もまた、ランダムではないからである。更に、インピュテーションは、予測へ追加の不確実性および不正確性をもたらし得、予測されるパラメータとデータ・カテゴリとの間の隠れた関係の幾らかを不明瞭にし得る。
ＩＶ．機械学習モデルのメタモデルを用いる臨床予測
[0057] ランダム・フォレスト・デシジョン・ツリー・モデル（図２Ｃに示すようなもの）および回帰モデル（図２Ｄに示すようなもの）などのような機械学習は、予測の精度を向上させるために、患者の様々な特徴を表す多数のデータ・カテゴリを用いて訓練することができる。しかし、患者データは、典型的には、それらのデータ・カテゴリの全てを有してはいない。欠けたデータ・カテゴリに対しての代入を行うことは、患者に関する予測を行うために機械学習モデルが用いられることを可能にするが、そのような構成は、上述のように、エラーや不確実性をもたらす。
[0058] ここでは、上記の問題の幾つかに対応するために、複数の機械学習モデルを含む合成された学習モデル（以下、「メタモデル」という）を用いて臨床予測を行うための技術が開示される。メタモデルの複数の機械学習モデルのそれぞれは、データ・カテゴリ・セットのデータを用いて個別に訓練され、機械学習モデルの性能を示す重みが割り当てられる。患者に関する予測を行うために、患者データに存在するデータ・カテゴリを用いて訓練されている機械学習モデルを、予測結果を生成するために選択することができる。予測結果は、選択された機械モデルの重みに基づいて組み合わせて、その患者に関する合成予測結果を生成するようにできる。
Ａ．メタモデル
[0059] 図３Ａ、図３Ｂ、および図３Ｃは、上述の問題の少なくとも幾つかに対応する臨床予測システム３００の例を示す。図３Ａに示すように、臨床予測システム３００は、機械学習モデル・データベース３０２、選択モジュール３０４、および予測器モジュール３０６を含む。幾つかの例では、選択モジュール３０４および予測器モジュール３０６を含む臨床予測システム３００の様々なモデルを、下記の機能を行うためにハードウェア・プロセッサにより実行可能なソフトウェア命令として実装することができる。
[0060] 選択モジュール３０４は、患者のデータ３０８を入力として受け入れることができる。データ３０８に含まれるデータ・カテゴリに基づいて、選択モジュール３０４は、メタモデルを形成するために機械学習モデル・データベース３０２から複数の機械学習モデルを選択することができ、そのメタモデルを予測器モジュール３０６へ提供することができる。次に、予測器モジュール３０６は、メタモデルに含まれる機械学習モデルを用いてデータ３０８を処理して、生存率３１０ａおよび３１０ｂなどのような患者に関しての予測出力を生成することができ、そして、機械学習モデルからの予測出力を組み合わせて、患者の合成生存率３１２などのような合成予測出力を生成することができる。次に、臨床予測（例えば、時間および／または治療の関数としての患者の生存率、想定される患者の余寿命など）を、合成予測出力に基づいて行うことができる。
[0061] 具体的には、機械学習モデル・データベース３０２は、モデル３０４ａ、３０４ｂ、３０４ｃなどを含む複数の機械学習モデルを格納することができる。各機械学習モデルは、予測を行うために（例えば、生存率）、例えば、ランダム・フォレスト・モデル（例えば、図２Ｃのランダム・フォレスト・モデル２３０）、数学モデル（例えば、図２Ｄの回帰モデル２５０）、または他の型の機械学習モデルを含むことができる。ランダム・フォレスト・モデルおよび数学モデルは、サブモデルのセットを含むことができ、各サブモデルはそれぞれの時間と関連付けられ、それにより、様々な時間に関する様々な生存率を生成する。機械学習モデル・データベース３０２の各機械学習モデルは、予測を行うように、データ・カテゴリ・セットのデータを用いて個別に訓練され、様々な機械学習モデルは、様々なデータ・カテゴリ・セットのデータを用いて用いて訓練されるが、様々なセットの中では重複するデータ・カテゴリがあり得る。例えば、機械学習モデル３０４ａは、データ・カテゴリ・セットＳ０、Ｓ１、Ｓ２、およびＳ３を用いて訓練される。更に、機械学習モデル３０４ｂは、データ・カテゴリ・セットＳ２、Ｓ４、およびＳ５を用いて訓練される。更に、機械学習モデル３０４ｃは、データ・カテゴリ・セットＳ０、Ｓ８、およびＳ９を用いて訓練される。また、機械学習モデル・データベース３０２は、機械学習モデル３０４ａ－３０４ｃを訓練するために用いられるデータ・カテゴリ・サブセットを用いて訓練される他の機械学習モデルを含むことができる。例えば、機械学習モデル・データベース３０２は、データ・カテゴリＳ４およびＳ５を用いて訓練される機械学習モデルを含むことができる。
[0062] 更に、複数の機械学習モデルのそれぞれは、性能メトリックと関連付けることができる。性能メトリックは、特定の機械学習モデルが正しい予測を生成することについての信頼度を含むことができる。例えば、機械学習モデル３０４ａは、性能メトリック値ＭＡと関連付けることができ、機械学習モデル３０４ｂは、性能メトリック値ＭＢと関連付けることができ、機械学習モデル３０４ｃは、性能メトリック値ＭＣと関連付けることができる。後に説明するように、性能メトリック値は、機械学習モデルが訓練された後の検証プロセスから得ることができる。
[0063] データ３０８に基づいて患者に関する予測を行うために、選択モジュール３０８は、機械学習モデル・データベース３０２において、データ３０８内に存在するデータ・カテゴリのサブセット（または全体）を受け入れる機械学習モデルのサーチを行うことができる。１つの例では、選択モジュール３０８は、データベース内のそれぞれの機械学習モデルの必要なデータ・カテゴリ（例えば、機械学習モデル３０４ａに関してはデータ・カテゴリ・セットＳ０、Ｓ１、Ｓ２、およびＳ３、機械学習モデル３０４ｂに関してはデータ・カテゴリ・セットＳ２、Ｓ４、およびＳ５など）を得て、それらのデータ・カテゴリとデータ３０８のデータ・カテゴリとを比較し、機械学習モデルの必要なデータ・カテゴリがデータ３０８内のデータ・カテゴリのサブセット（または全体）を表すか否かを決定することができる。それらがそのようである場合、選択モジュール３０８は、メタモデルを形成するために、その機械学習モデルを選択することができる。次に、選択モジュール３０８は、選択された機械学習モデルを予測器モジュール３０６へ提供することができる。図３Ａの例では、データ３０８はデータ・カテゴリＳ０、Ｓ１、Ｓ２、Ｓ３、Ｓ４、およびＳ５を含む。データ３０８にこれらのデータ・カテゴリが存在することに基づいて、選択モジュール３０４は、データ３０８に含まれるデータ・カテゴリＳ０、Ｓ１、Ｓ２、およびＳ３のデータを用いて訓練される機械学習モデル３０４ａ、およびデータ３０８に含まれるデータ・カテゴリＳ２、Ｓ４、およびＳ５を用いて訓練される機械学習モデル３０４ｂを、メタモデルの一部として選択することができ、また、データ・カテゴリＳ０、Ｓ１、Ｓ２、Ｓ３、Ｓ４、およびＳ５の任意のサブセットを用いて訓練される他の機械学習モデル（１以上）を選択することができる。他方、選択モジュール３０４は機械学習モデル３０４ｃを選択しないが、その理由は、このモデルがデータ・カテゴリＳ０、Ｓ８、およびＳ９のデータを用いて訓練され、データ・カテゴリＳ８およびＳ９はデータ３０８内に存在しないからである。次に、選択モジュール３０４は、機械学習モデル３０４ａおよび３０４ｂ、およびそれらと関連するメトリックＭＡおよびＭＢを、予測器モジュール３０６へとフェッチすることができる。
[0064] 予測器モジュール３０６は、選択モジュール３０４によりフェッチされた機械学習モデル３０４ａおよび３０４ｂを用いて、予測を行うことができる。予測器モジュール３０６は、データ・カテゴリＳ０、Ｓ１、Ｓ２、およびＳ３に対応するデータ３０８の第１サブセットを機械学習モデル３０４ａへ入力して、生存率３１０ａを生成することができる。また、予測器モジュール３０６は、データ・カテゴリＳ２、Ｓ４、およびＳ５に対応するデータ３０８の第２サブセットを機械学習モデル３０４ｂへ入力して、生存率３１０ｂを生成することができる。
[0065] 予測器モジュール３０６は更に合成モジュール３２０を含み、これは、性能メトリック値ＭＡおよびＭＢに基づいて生存率３１０ａと３１０ｂとを組み合わせて合成生存率３１２を生成する。１つの例では、合成モジュール３２０は、生存率を生成する機械学習モデルの性能メトリックに基づいて各生存率に関して重みを関連付け、次に、重み付けされた生存率平均に基づいて合成生存率３１２を生成することができ、ここでは、各生存率を、関連する重みで調節することができる。重みは、性能メトリックにより反映されるように、機械学習モデルによる生存率の予測における信頼レベルを反映するように生成することができる。例えば、信頼レベルの高い機械学習モデルからの生存率へは大きい重みを割り当てることができ、信頼レベルの低い機械学習モデルからの生存率へは小さい重みを割り当てることができる。合成生存率３１２は、次に、臨床判断支援ツール１０４などのような臨床判断支援ツールへ提供することができ、上述のように、臨床判断を支援する様々な情報を生成するようにされる。
Ｂ．性能メトリック
[0066] 上述のように、機械学習モデル・データベース３０２内の複数の機械学習モデルのそれぞれは、メタモデルの合成出力を生成するために用いることができる性能メトリックと関連付けることができる。性能メトリックは、特定の機械学習モデルが正しい予測を生成することについての信頼度を示すことができる。機械学習モデルの性能メトリックは、その機械学習モデルの受信者操作特性（ＲＯＣ）曲線のエリア・アンダー・ザ・カーブ（ＡＵＣ）を決定することなどのような、様々な技術を用いて決定することができる。
[0067] 図３Ｂは、機械学習予測モデルのＲＯＣ曲線３３０の例を示す。図３Ｂに示すように、ＲＯＣ曲線３３０は、予測を行うときの機械学習モデルの対応する真陽性率と偽陽性率との間のプロットを提供する。真陽性率は、機械学習モデルがイベントが生じることを正しく予測する率のことであり、偽陽性率は、機械学習モデルがイベントが生じることを予測するがそのイベントが生じない率のことである。破線で表されているＲＯＣのエリア・アンダー・ザ・カーブ（ＡＵＣ）に関しての０．５という値は、真陽性率と偽陽性率とが等しいことを意味するものであるが、これは、機械学習モデルが区別を行えず望ましいものではないことを意味し、他方、実線で表されている０．５を超える大きいＡＵＣは、予測における高い信頼性を示し得る。機械学習モデルのＲＯＣのＡＵＣに基づいて、機械学習モデルへ重みを割り当てることができ、ＲＯＣのＡＵＣが大きい機械学習モデルへ大きい重みが割り当てられ、逆の場合は割り当ても逆になる。
[0068] 機械学習モデルが患者の生存率を出力するように訓練される場合、真陽性および偽陽性の定義は、様々な定義に基づくことができる。１つの例では、真陽性ケースは、機械学習モデルが所与の時間においての患者の生存確率が確率スレッショルドを超えていることを出力し且つその所与の時間に患者が実際に生存していることと、定義することができ、他方、偽陽性ケースは、所与の時間において患者の生存確率は確率スレッショルドを超えているが患者が生存していないことと、定義することができる。また、別の例では、真陰性ケースは、機械学習モデルが所与の時間においての患者の生存確率が確率スレッショルドより下に落ちていることを出力し且つその所与の時間に患者が実際に生存していないことと、定義することができ、他方、偽陰性ケースは、所与の時間において患者の生存確率は確率スレッショルドより下に低下しているが患者が実際に生存していることと、定義することができる。
[0069] 図３Ｃは、図３Ａの機械学習モデルの重み（例えば、ＭＡ、ＭＢなど）を生成するための検証プロセス３４０を例示する。この例では、機械学習モデルは、診断後の所定の時間における患者の生存率を予測するように訓練されている。
[0070] ステップ３４２において、所定の時間における生存統計が知られている患者グループのデータを、グループ内の各患者の生存率を予測するために、機械学習モデルへ入力することができる。データはカテゴリに対応するが、それらのカテゴリとは、それらに関して機械学習モデルが訓練されているものである。
[0071] ステップ３４４において、確率スレッショルドが設定される。確率スレッショルドは、機械学習モデルをテストするために用いられる１セットの確率スレッショルドの１つから選択することができる。例えば、確率スレッショルド・セットは、０．２、０．４、０．６、および０．８を含む個別の値のセットを含むことができ、確率スレッショルドは、このセットから選択することができる。細かい又は粗い段階を用いることができる。また、値間の差は、均一である必要はない。
[0072] ステップ３４６において、グループ内の各患者に、患者の予測生存率と確率スレッショルドとを比べることに基づいて、生存または非生存の何れかのラベル付けをすることができる。具体的には、予測生存率が確率スレッショルドよりも高い場合、患者に対して生存患者とラベル付けすることができ、他方、予測生存率が確率スレッショルドよりも低い場合、患者に対して非生存／死亡患者とラベル付けすることができる。
[0073] ステップ３４８において、生存とラベル付けされた各患者に関して、生存統計に基づいて、所定の時間にその患者が実際に生存しているか、についての判定が行われる。所定の時間において患者が生存とラベル付けされており且つ実際に生存している場合、ステップ３５０において患者は真陽性ケースとして計数することができる。他方、所定の時間において患者が生存とラベル付けされているが実際に生存していない場合、ステップ３５２において患者は偽陽性ケースとして計数することができる。
[0074] ステップ３５４において、その確率スレッショルドに関して真陽性率および偽陽性率を生成することができる。真陽性率は、データにおいて表されている患者数のうちの真陽性ケースのパーセンテージを決定することにより生成することができ、他方、偽陽性率は、データにおいて表されている患者数のうちの偽陽性ケースのパーセンテージを決定することにより生成することができる。
[0075] ステップ３５４に続いて、確率スレッショルド・セットから選択された異なる確率スレッショルドに関して、ステップ３４４－３５２を次に反復することができる。こうして、様々な確率スレッショルドに関しての偽陽性率と真陽性率との対を得ることができ、対応する偽陽性率と真陽性率との対を、機械学習モデルに関するＲＯＣを生成するように、プロットすることができる。
[0076] 検証プロセス３４０は、機械学習モデル・データベース３０２内の各機械学習モデルに対して行うことができ、各モデルのＲＯＣのエリア・アンダー・ザ・カーブ（ＡＵＣ）を決定するようにする。各モデルの重みは、下記の式に基づいて、個々のＲＯＣのＡＵＣに基づいて決定することができる。
重み＝（ＡＵＣ－０．５）ｎ （式３）
[0077] 式３において、モデルの重みは、ＡＵＣと０．５との間の差に基づくことができる。上述のように、０．５は、真陽性率と偽陽性率とが同じ場合のことを意味し、これは、機械学習モデルの出力が完全にランダムであり区別しないことを意味し、そのようなモデルの重みは零に近いものにすべきである。他方、ＡＵＣが０．５より大きいことは、モデルが区別を行えることを意味し、大きいＡＵＣは高い信頼レベルを反映するものであり、したがって、ＡＵＣに伴って重みを増加することができる。ＡＵＣと０．５との間の差は、重みへのＡＵＣの影響を強調（または強調を抑制）するように、ｎ乗することができ、ｎは１より大きい又は小さい。ｎの値は、例えば、メタモデルのＡＵＣを最大にするように、決定することができる。例えば、検証プロセスの一部として、メタモデルに含まれる機械学習モデルの重み付けした生存率平均の出力に基づく、メタモデルの合成生存率の出力のＲＯＣのＡＵＣを、様々なｎの値に対して決定することができる。次に、メタモデルが新たな患者の合成生存率を計算するために用いられるときに、メタモデルのＲＯＣのＡＵＣを最大にするｎの値を決定して重みの計算に含めることができる。
[0078] ＡＵＣに加えて、機械学習モデルの重みは、ハレル（Harrell）のＣ－ｉｎｄｅｘ（concordance indexとしても知られている）などのような他の性能メトリックに基づいて決定することができる。機械学習モデルに関してのハレルのＣ－ｉｎｄｅｘを決定するために、モデルは、生存時間が知られている患者のグループの生存率を計算するように用いることができる。患者の一致対（concordant pair）と不一致対（discordant pair）とを識別することができる。一致対の患者とは、第１の患者が第２の患者よりも高い生存率を有すると予測され、第１の患者が第２の患者よりも生存時間が長いものであった患者対のことである。不一致対の患者とは、第１の患者が第２の患者よりも高い生存率を有すると予測されたが、第１の患者が第２の患者よりも生存時間が短いものであった患者対のことである。機械学習モデルに対してのハレルのＣ－ｉｎｄｅｘは下記のように決定することができる。
Ｃ－ｉｎｄｅｘ＝（一致対の数）／（一致対の数＋不一致対の数） （式４）
[0079] 大きいＣ－ｉｎｄｅｘを有する機械学習モデルへは大きい重みを割り当てることができ、逆の場合は割り当ても逆になる。
[0080] 本開示の機械学習モデルでは、２つの対の間の一致は部分的に時間の関数であり得、一致の定義は、この時間依存性に適応させるように適合させることができる。１つの例では、一方の患者が生存しており他方が死亡していることが知られている所与の時点での患者対は、生存している患者がその時点で高い予測生存確率を有する場合には、「一致」と定義することができ、死亡している患者がその時点で高い予測生存確率を有する場合には、「不一致」と定義することができる。幾つかの例では、患者グループ内での一致／不一致は、ブートストラップ手法を用いて定義することができ、ブートストラップ手法では、様々な時点でランダムに患者対がサンプリングされ、一致および不一致のブートストラップ複製（replicate）が計数されるが、ここで、患者対と時点との組み合わせを表す複製であって、患者の双方が生存または死亡していることが知られているか、または一方または双方の患者の生存ステータスが不明（例えば、検閲でＫ－Ｍプロットから削除されるであろう者）となっている複製は、計数から除かれる。
Ｃ．機械学習モデルの訓練および検証
[0081] 幾つかの例では、機械学習モデル・データベース３０２内の各機械モデルの訓練、および各機械モデルの性能メトリックの決定は、交差検証プロセスにおいて同じ患者グループの患者データの様々なサブセットに基づいて行うことができる。図３Ｄは、機械学習モデル３０４ａ、３０４ｂなどを含む機械学習モデル・データベース３０２の機械学習モデルの訓練プロセス３６０の例を示す。
[0082] 図３Ｄに示すように、訓練プロセス３６０は、入力として訓練データ３６２を受け取ることができる。訓練データ３６２は、大集団の患者の患者データを含むことができる。患者データに含まれるデータ・カテゴリは、様々な患者の間で異なり得る。機械学習モデルのために必要なデータ・カテゴリを有する患者のグループの患者データを、各機械学習モデルに関して特定することができる。例えば、機械学習モデル３０４ａのための訓練を行うために、機械学習モデル３０４ａが必要とするデータ・カテゴリＳ０、Ｓ１、Ｓ２、Ｓ３を有する第１グループの患者の患者データ３６４ａを、特定することができる。更に、機械学習モデル３０４ｂのための訓練を行うために、機械学習モデル３０４ｂが必要とするデータ・カテゴリＳ２、Ｓ４、Ｓ５を有する第２グループの患者の患者データ３６４ｂを、特定することができる。
[0083] 次に、各訓練モデルに関して特定された患者のグループと、それらの患者の患者データとを、第１サブセットと第２サブセットとに分けることができる。第１サブセットは、患者データ（グループの患者もの）の約８０％とすることができ、第２サブセットは、約２０％とすることができる。患者グループの第１サブセットの患者データは、機械学習モデルを訓練するために用いることができ、他方、患者グループの第２サブセットの患者データは、訓練された機械学習モデルの性能メトリック（例えば、ＲＯＣのＡＵＣ）を生成するために用いることができる。例えば、図３Ｄに示すように、患者データ３６４ａの第１サブセットである患者データ３６６ａは、機械学習モデル３０４ａの訓練プロセス３６８を行うために用いることができる。上述のように、機械学習モデルが患者をグループの１つに分類する場合（例えば、ランダム・フォレスト・デシジョン・ツリー）、訓練は、例えば、グループ内の患者の生存統計における類似性を最大にすること、および異なるグループ間の患者の生存統計における差を最大にすることに、基づくことができる。機械学習モデルが回帰モデルを含む場合、訓練は、回帰モデルのパラメータを患者の生存統計へフィットさせることに、基づくことができる。
[0084] 更に、患者データ３６４ａの第２サブセットである患者データ３６６ｂは、検証プロセス３７０において、訓練された機械学習モデル３０４ａへ入力することができ、それにより図３Ｃで説明した性能メトリック（例えば、ＡＵＣ）を決定するようにする。次に、プロセス３７２において、性能メトリックを用いて、機械学習モデル３０４ａの重みＭＡ（例えば、上記の式２に基づく）を決定することができる。
[0085] 更に、患者データ３６４ｂの第１サブセットである患者データ３７６ａは、機械学習モデル３０４ｂの訓練プロセス３７８を行うために用いることができ、患者データ３６４ｂの第２サブセットである患者データ３７６ｂは、検証プロセス３８０において、訓練された機械学習モデル３０４ｂへ入力することができ、それにより機械学習モデル３０４ｂの性能メトリック（例えば、ＡＵＣ）を決定し、それに続いてプロセス３８２において機械学習モデル３０４ｂの重みＭB（例えば、上記の式２に基づく）を決定するようにする。ステップ３６８および３７８で生成された機械学習モデルのモデル・パラメータ（例えば、図２Ｃのスレッショルドｘ０、ｓ１、ｓ２、ｘ５など、図２Ｄの回帰パラメータｂ０、ｂ１、ｂｎなど）、およびステップ３７０および３８０で生成された機械学習モデルと関連する重みは、次に、図３Ａの機械学習モデル・データベース３０２へ格納することができ、また、上述のメタモデルを構築するために取り出すことができる。
[0086] 幾つかの例では、機械学習モデルの訓練および交差検証は、多数の反復で繰り返すことができる。各反復に関して、上述の訓練および検証のオペレーションを行うために患者データの様々なサブセット（例えば、患者の様々な８０％の部分および２０％の部分）を選択することができ、複数の反復から得たＲＯＣ範囲を平均することにより機械学習モデルの重みを決定することができる。訓練および交差検証をより多く反復することにより、正しい予測を生成することについての機械学習モデルの信頼レベルを向上させることができる。
Ｖ．実験結果
Ａ．実験方法の概要
[0087] 上述のメタモデルの技術は、遠隔転移を有する大腸癌（metastatic colorectal cancer）、遠隔転移を有する乳癌（metastatic breast cancer）、および進行肺癌の３つの癌タイプの患者に関してのフラットアイアン・ヘルス臨床ＤａｔａＭａｒｔｓ（Flatiron Health clinical DataMarts）からの臨床患者データを用いて、テストされる。１セットの個別予測モデル（individual prediction model）が開発され、それらのそれぞれは、遠隔転移を有する大腸癌、遠隔転移を有する乳癌、および進行肺癌に関して、様々なデータ・カテゴリ・セットに基づいて患者の生存率の予測を行う。この例では、遠隔転移を有する大腸癌に関して８つの個別予測モデルが開発され、遠隔転移を有する乳癌に関して７つの個別予測モデルが開発され、進行肺癌に関して５つの個別予測モデルが開発される。それぞれの個別モデルは、そのモデルに必要なデータ・カテゴリを全て有する患者の臨床患者データを用いて訓練されテストされる。次に、各癌に対する個別予測モデルは、各癌タイプに対してのメタモデルへと組み合わされ再訓練される。各癌タイプに対してのメタモデルと、その要素である個別予測モデルとは、性能メトリックＡＵＣに基づいて評価される。
Ｂ．患者コーホートおよびデータ・カテゴリ
[0088] 遠隔転移を有する大腸癌、遠隔転移を有する乳癌、および進行肺癌のそれぞれに対して１つずつである３つの患者コーホートを、ｉ）Metastatic CRC（遠隔転移を有するＣＲＣ）（大腸癌）、ｉｉ）Advanced NSSLC（進行ＮＳＳＬＣ）（非小細胞肺癌）、およびｉｉｉ）Metastatic Breast Cancer（進行肺癌）の３つのフラットアイアンＤａｔａＭａｒｔｓから定義することができる。患者コーホート内の各患者に関して、患者の生存の結果データが抽出される。患者の生存の結果データは、死と高度な診断（advanced diagnosis）の日との間の時間、または、死の日付が記録されていない場合は、記録された最後の訪問と高度な診断の日との間の時間の何れかとすることができる。
[0089] 更に、各患者の様々なデータ・カテゴリであって、同じデータ・カテゴリを有する別の患者の生存率に関しての予測因子（predictor）となる可能性があり得る各患者の様々なデータ・カテゴリが、抽出される。図４Ａは、選択され、各癌タイプに対しての各個別予測モデルへ入力されるデータ・カテゴリ入力を例示する。図２Ａについて述べたように、データ・カテゴリは、ラボラトリ・テスト結果、個人データ、医療履歴データ、バイオマーカーなどを含むことができる。
[0090] ラボラトリ・テスト結果（図４Ａでは「ラボ」とラベル付け）に関しては、高度な診断の時間のあたり（＋／－９０日）に集められた標本として、各コーホート内の各患者につての選択された定量ラボラトリ・テストに関しての入手可能な結果が、抽出されている。患者に関しての最大および最小のテスト結果が抽出され、モデルで用いるために中央絶対偏差（結果の絶対値から母集団中央値を減算）へと変換される。モデルでの中央絶対偏差の使用は、多くのテストに関して高い又は低い値が診断的に有益であり得るという考えを、反映することができる。更に、年齢や性別などのような個人データ、および癌のステージなどのような診断履歴データも、抽出される。
[0091] 様々な癌タイプに関して様々なバイオマーカー・データも抽出される。例えば、ＣＲＣコーホートに関しては、コーホート内の患者のＫＲＡＳおよびＢＲＡＦの遺伝子発現状態が抽出される。乳癌コーホートに関しては、患者のＥＲ、ＰＲ、およびＨＥＲ２の状態が抽出される。更に、肺癌コーホートに関しては、ＡＬＫおよびＥＧＦＲの変異状態が抽出される。分子バイオマーカー（ＥＲ、ＰＲ、ＨＥＲ２、ＫＲＡＳ、ＢＲＡＦ、ＥＧＦＲ、ＡＬＫ）に関しては、高度な診断の日に時間的にもっと近い（例えば、標本収集日に基づく）各患者の各マーカーに関しての結果のみを考慮する。分子バイオマーカー結果は、次に、「正」、「負」、または「その他」に分類され、「正」は、対応するマーカー発現レベルがスレッショルドより上であること、または変異があったことを示す。「負」という分類は、マーカーが無かったこと又は変異が観察されなかったことを示し、「その他」は、両意にとれる結果、行うことができなかったテスト、または他の非決定的な結果を示す。
Ｃ．予測因子セット
[0092] 図４Ａに示すような生存率を予測するための全ての可能性のある予測因子（ラボラトリ・テスト、分子バイオマーカー、および臨床／人口統計的変数）のデータを有する患者がいたとしても、僅かである。この実験では、各癌タイプに対しての個別予測モデルが開発され、それぞれの個別予測モデルは、可能性のある予測因子のサブセットを用いて構築され訓練される。個別予測モデルは、次に、メタモデルへと組み合わされる。図４Ａに示すように、遠隔転移を有する大腸癌に対しては７つの個別予測モデル（図４ＡではＣＲＣＡ－ＣＲＣＧとラベル付け）が開発され、遠隔転移を有する乳癌に対しては５つの個別予測モデル（図４ＡではＢＣＡ－ＢＣＥとラベル付け）が開発され、進行肺癌に対しては８つの個別予測モデル（図４ＡではＬＣＡ－ＬＣＨとラベル付け）が開発されている。それぞれの個別予測モデルは、入力として、データ・カテゴリ・セットにより表されている予測因子セットを受け取り、予測を行う。それぞれの予測モデルに関して、「１」とラベル付けされたデータ・カテゴリは、予測モデルを訓練するためにそのデータ・カテゴリが用いられることを示し、「０」とラベル付けされたデータ・カテゴリは、予測モデルを訓練するためにそのデータ・カテゴリが用いられないことを示す。例えば、進行肺癌に対する予測モデルＬＣＡは、患者の性別および人種のデータに基づいて訓練され、図４Ａでは、性別および人種のデータ・カテゴリは「１」とラベル付けされている。更に、進行肺癌に対する予測モデルＬＣＢは、年齢、組織診、および喫煙ステータスに基づいて訓練され、図４Ａでは、これらのデータ・カテゴリは「１」とラベル付けされている。
[0093] 予測因子セットにより表されるデータ・カテゴリ（例えば、データ・カテゴリの数、データ・カテゴリの分布は患者コーホートの中でのものであることなど）に応じて、それぞれの個別予測モデルは、データ・カテゴリを含む、対応する癌タイプの患者コーホートの様々な集団の臨床データを用いて、訓練することができる。患者コーホートの様々な部分は重複し得るので、患者コーホートの複数の部分で同じ患者が表され得、その患者の臨床データは、患者コーホートに対応する癌タイプに対しての複数の個別予測モデルを訓練するために用いられる。
[0094] 図４Ｂは、それぞれの個別予測モデルに必要なデータ・カテゴリを有する、それぞれの癌タイプに対しての、患者コーホートの部分を例示する。図４Ｂに示すように、遠隔転移を有するＣＲＣに対しての個別予測モデルＣＲＣＡは、対応する患者コーホートの１００％の臨床データに基づいて訓練される。これは、例えば、２つのデータ・カテゴリ（性別および人種）のみがモデルの入力として提供され、それら２つのデータ・カテゴリが全患者の臨床データの中で共通であり存在するからである、ということに起因し得る。更に、同様の理由で、遠隔転移を有するＣＲＣに対しての個別予測モデルＣＲＣＢおよびＣＲＣＣ、個別予測モデルＢＣＡ－ＢＣＤ、および進行肺癌に対しての個別予測モデルＬＣＡ－ＬＣＣは、対応する患者コーホートの臨床データの比較的大きい集団（９４％－１００％）に基づいて訓練される。
[0095] 対照的に、個別予測モデルＣＲＣＧは、対応する患者コーホートの１５％のみの臨床データに基づいて訓練される。これは、例えば、多数のデータ・カテゴリがモデルへ入力されており、それらのうちの僅かなもの（例えば、バイオマーカー）は、患者コーホートの小部分の臨床データにのみ存在するからである、ということに起因し得る。更に、同様の理由で、遠隔転移を有するＣＲＣに対しての個別予測モデルＣＲＣＤおよびＣＲＣＧ、個別予測モデルＢＣＥ、および進行肺癌に対しての個別予測モデルＬＣＤ－ＬＣＨは、対応する患者コーホートの臨床データの比較的小さい集団（２％－６３％）に基づいて訓練される。
Ｄ．個別予測モデルおよびメタデータ
[0096] 図４Ｂに示されるような、それぞれの個別予測モデルに必要とされるデータ・カテゴリを有する臨床データの特定された部分は、次に、個別予測モデルを構築および訓練するために用いられる。実験の第１部では、それぞれの個別予測モデルは、図２Ｃで説明したようなランダム・フォレスト・モデルを含む。実験の第２部では、それぞれの個別予測モデルは、図２Ｄで説明したような数学モデルを含む。臨床データの各部分は、それぞれ、訓練とテストとの区画（partition）へと約７５：２５の比率でランダムに分けられる。訓練区画は、モデル開発に用いられ、テスト区画は、下記で説明するようにメタモデルをテストするために別に保持された。
[0097] 訓練区画は、図３Ｄで説明したように、更に、個別予測モデルの訓練を行うための、第１の臨床データ・サブセットと、訓練されたモデルの性能を検証するための第２の臨床データ・サブセットとに分けられる。例えば、訓練区画の８０％を訓練に用いることができ、訓練区画の２０％を検証に用いることができる。５つの異なる分割を行い、臨床データの５つの異なる第１サブセットと第２サブセットとを作ることができる。検証区画は、図３Ｃに示すように、交差検証オペレーションにおいて、診断後の５００日、１０００日、および１５００日のときの生存率に関して、訓練されたモデルについてのＡＵＣを計算するために用いられる。訓練および検証のオペレーションは、異なる訓練区画および検証区画で、５回行われ、５つのＡＵＣ値を得るようにする。次に、それぞれの個別予測モデルの重みが、訓練および検証のオペレーションから得られた５つのＡＵＣ値の平均に基づいて決定される。
Ｅ．実験結果
[0098] 次に、それぞれの癌タイプ（遠隔転移を有する大腸癌、遠隔転移を有する乳癌、および進行肺癌）に対するメタモデルが、テスト区画を用いてテストされる。２セットのテストが行われる。第１テストは、ランダムに選択された患者に関してメタモデルを用いて患者の固有の生存率の予測を行うことを含み、第２テストは、メタモデルのＡＵＣを決定することを含む。
[0099] 第１テストでは、それぞれの患者コーホートのテスト区画からランダムな患者グループが選択される。図３Ａで説明したように、それぞれの患者に関して、その患者が個別予測モデルが必要とするデータ・カテゴリを有している、という個別予測モデルを、それらの個別予測モデルと関連する重みを用いて特定して組み合わせて、メタモデルを形成する。次に、メタモデルは、診断時からの様々な時点における生存率を決定するために用いられて、患者に関するＫ－Ｍプロットを生成するようにする。
[0100] 図４Ｃは、遠隔転移を有するＣＲＣの患者コーホートからの１２人の患者（患者Ａ－Ｌ）のメタモデルのＫ－Ｍプロットを例示し（実線で表す）、また、患者コーホートの訓練区画において表される患者のＫ－Ｍプロットを例示する（点線で表す）。図４ＣのＫ－Ｍプロットは、特定の患者の生存率がコーホートの生存率から大きく異なり得ることを例示する。図４Ｃに示すように、患者は、適用可能な個別予測モデルの様々なセットを有することができる。例えば、患者Ａは、適用可能な予測モデルＣＲＣＡ、ＣＲＣＢ、およびＣＲＣＣ（図４ＣではＣＲＣＡ－ＣＲＣＣと表している）を有しており、患者Ｈは、適用可能な予測モデルＣＲＣＡ、ＣＲＣＢ、ＣＲＣＣ、ＣＲＣＤ、ＣＲＣＥ、ＣＲＣＦ、およびＣＲＣＧ（図４ＣではＣＲＣＡ－ＣＲＣＧと表している）を有している。更に、患者Ａを除いて、他の患者のＫ－Ｍプロットは、患者コーホートの訓練区画のＫ－Ｍプロットと一致しない。これは、集団ベースの生存統計に頼るのではなく、患者に固有の生存の予測を提供することの必要性を、更に強調する。
[0101] 第２テストにおいて、メタモデルのＡＵＣが決定され、個別予測モデルのＡＵＣと比較される。具体的には、図３Ｃを再度参照するが、訓練区画における各患者に関して、その患者が個別予測モデルが必要とするデータ・カテゴリを有している、という個別予測モデルが決定され、それらの特定された個別予測モデルを組み合わることによりメタモデルが得られる。メタモデルを用いて患者に関して生存率または患者が決定され、確率スレッショルドと比較されて、診断後の特定の時間（例えば、５００日、１０００日、および１５００日）に患者が生存しているかが予測される。その患者の実際の生存情報が生存予測と比較されて、患者が真陽性または偽陽性として計数される。分析は、訓練区画内の全患者に対して及び様々な確率スレッショルドに対して行われ、メタモデル手法に関してのＡＵＣが生成される。
[0102] 図４Ｅは、それぞれの個別予測モデルと、第２テストにおける遠隔転移を有するＣＲＣの患者のコーホートに対してのメタモデルとのＡＵＣを例示する。ＡＵＣプロットにおいて表されているメタモデルは、各予測モデルを評価するために用いられる患者データに存在するデータ・カテゴリに基づく様々な予測モデル・セットを含むことができる。図４Ｅにおいて、ＡＵＣは、ａ）必要なデータ・カテゴリを有する患者データのサブセットのみを用いる予測モデルと、ｂ）患者データ・サブセットが予測モデルに必要なデータ・カテゴリを有している、という予測モデルの全てを含むメタモデルと、ｃ）全患者データを用い、必要なデータ・カテゴリを有さない患者に関しては、欠けたデータ・カテゴリのために代入されるデータを用いる予測モデルとで、計算される。
[0103] 図４Ｅに示すように、メタモデル手法は、それぞれの個別予測モデルと比べて改善されたＡＵＣを提供する。ＡＵＣの実質的な改善は、個別予測モデルが小さいデータ・カテゴリ・セットを入力として受け取るのみのケース（例えば、性別および人種のみを用いる予測モデルＣＲＣＡ）において、観察することができる。例えば、５００日および１０００日における生存率予測に関して、ＡＵＣは、予測モデルＣＲＣＡのみを用いたときの０．６１から、メタモデル手法を用いたときの０．７４へと改善されている。更に、１５００日における生存率予測に関して、ＡＵＣは、予測モデルＣＲＣＡのみを用いたときの０．５７から、メタモデル手法を用いたときの０．７４へと改善されている。
[0104] 多数のデータ・カテゴリを入力として受け取る予測モデル（例えば、予測モデルＣＲＣＧ）に対してでさえ、ＡＵＣの改善がある。例えば、５００日における生存率予測に関して、ＡＵＣは、予測モデルＣＲＣＧのみを用いたときの０．８１から、メタモデル手法を用いたときの０．８４へと改善されている。更に、１０００日における生存率予測に関して、ＡＵＣは、予測モデルＣＲＣＧのみを用いたときの０．７８から、メタモデル手法を用いたときの０．７９へと改善されている。更に、１５００日における生存率予測に関して、ＡＵＣは、予測モデルＣＲＣＧのみを用いたときの０．７３から、メタモデル手法を用いたときの０．７５へと改善されている。
[0105] 更に、メタモデルのＡＵＣはまた、全ての予測モデルに関して代入されるデータを用いる単一モデルのＡＵＣよりも高い。これは、上述のように、代入されるデータは「ミシング・アット・ランダム」仮定に基づいて生成されているが、それは臨床データにおいては有効な仮定ではない、ということに起因し得る。
ＶＩ．方法
[0106] 図５は、患者に関する臨床予測を行う方法５００を例示する。臨床予測は、例えば、病気（例えば、特定のタイプの癌）との診断の後の特定の時間における患者の生存率を、含むことができる。方法５００は、臨床予測システム３００の様々なコンポーネントにより行うことができる。
[0107] ステップ５０２において、臨床予測システム３００（例えば、選択モジュール３０４）は、患者の複数のデータ・カテゴリに対応するデータ３０８を受け取る。複数のデータ・カテゴリは、例えば、図４Ａに示すような個人データ、医療履歴データ、ラボラトリ・テスト結果、バイオマーカーなどを含むことができる。
[0108] ステップ５０４において、臨床予測システム（例えば、選択モジュール３０４）は、訓練された複数の機械学習モデルから、及び複数のデータ・カテゴリに基づいて、第１機械学習モデルおよび第２機械学習モデルを選択し、第１機械学習モデルは、複数のデータ・カテゴリの第１サブセットの第１データを用いて訓練されており、且つ第１性能メトリックを有しており、第２機械学習モデルは、複数のデータ・カテゴリの第２サブセットの第２データを用いて訓練されており、且つ第２性能メトリックを有している。これらの機械学習モデルは、臨床予測システム３００の機械学習モデル・データベース３０２から選択することができる。
[0109] 具体的には、臨床予測システム３００の機械学習モデル・データベース３０２は、モデル３０４ａ、３０４ｂ、３０４ｃなどを含む複数の機械学習モデルを格納することができる。それぞれの機械学習モデルは、予測を行うために（例えば、生存率）、例えば、ランダム・フォレスト・モデル（例えば、図２Ｃのランダム・フォレスト・モデル２３０）、回帰モデル（例えば、図２Ｄの回帰モデル２５０）、または他のタイプの機械学習モデルを、含むことができる。機械学習モデル・データベース３０２のそれぞれの機械学習モデルは、予測を行うためにデータ・カテゴリ・セットのデータを用いて個別に訓練され、様々な機械学習モデルが、様々なデータ・カテゴリ・セットのデータを用いて訓練されるが、様々なセットの中では重複するデータ・カテゴリもあり得る。例えば、図３Ａを参照すると、データ３０８がデータ・カテゴリＳ０、Ｓ１、Ｓ２、Ｓ３、Ｓ４、およびＳ５を含む場合において、選択モジュール３０４は、データ・カテゴリＳ０、Ｓ１、Ｓ２、およびＳ３を用いて訓練された第１機械学習モデル３０４ａ、およびデータ・カテゴリＳ０、Ｓ４、およびＳ５を用いて訓練された第２機械学習モデル３０４ｂを、特定することができる。
[0110] 更に、複数の機械学習モデルのそれぞれは、重みの形で表すことができるＡＵＣなどのような性能メトリックと、関連付けることができる。選択モジュール３０４は、機械学習モデル・データベース３０２内の機械学習モデルのサーチを行い、ステップ５０２で受け取ったデータが機械学習モデルに必要なデータ・カテゴリを含む、という機械学習モデルを特定し、特定した機械学習モデル及びそれらと関連する性能メトリック（例えば、重み）を予測モジュール３０６へ提供することができる。
[0111] 図３Ａを再度参照すると、選択モジュール３０４は、機械学習モデル・データベース３０２において、データ３０８に存在するデータ・カテゴリのサブセット（または全体）を受け入れる機械学習モデルのサーチを行うことができる。１つの例では、選択モジュール３０８は、データベース内のそれぞれの機械学習モデルの必要なデータ・カテゴリを得て（例えば、機械学習モデル３０４ａに関してはデータ・カテゴリＳ０、Ｓ１、Ｓ２、およびＳ３、機械学習モデル３０４ｂに関してはデータ・カテゴリＳ２、Ｓ４、およびＳ５など）、それらのデータ・カテゴリをデータ３０８のデータ・カテゴリと比較し、機械学習モデルの必要なデータ・カテゴリが、データ３０８内のデータ・カテゴリのサブセット（または全体）を表しているかどうかを、決定することができる。それらがそうである場合、選択モジュール３０４は、メタモデルを生成するためにその機械学習モデルを選択することができる。次に、選択モジュール３０４は、選択した機械学習モデルを予測モジュール３０６へ提供することができる。
[0112] ステップ５０６において、複数のカテゴリの第１サブセットに対応するデータの第１サブセットが、第１予測結果を生成するように、第１機械学習モデルへ入力される。図３Ａを参照すると、予測モジュール３０６は、第１機械学習モデル３０４ａへ、データ・カテゴリＳ０、Ｓ１、Ｓ２、およびＳ３を含むデータ３０８の第１サブセットを入力することができる。第１予測結果は、例えば、第１機械学習モデル３０４ａにより患者に関して予測された第１生存率を、含むことができる。
[0113] ステップ５０８において、複数のカテゴリの第２サブセットに対応するデータの第２サブセットが、第２予測結果を生成するように、第２機械学習モデルへ入力される。図３Ａを参照すると、予測モジュール３０６は、第２機械学習モデル３０４ｂへ、データ・カテゴリＳ０、Ｓ４、およびＳ５を含むデータ３０８の第２サブセットを入力することができる。第２予測結果は、例えば、第２機械学習モデル３０４ｂにより患者に関して予測された第２生存率を、含むことができる。
[0114] ステップ５１０において、予測モジュール３０６は、第１予測結果、第２予測結果、第１性能メトリックを示す第１重み、および第２性能メトリックを示す第２重みに基づいて、合成予測結果を生成する。例えば、予測モジュール３０６は、第１重みと第２重みとに基づく第１生存率と第２生存率との重み付けされた平均に基づいて、患者に関する合成生存率を生成することができる。第１重みは、第１機械学習モデル３０４ａの第１ＡＵＣを反映することができ、第２重みは、第２機械学習モデル３０４ｂの第２ＡＵＣを反映することができる。
[0115] ステップ５１２において、患者の臨床予測を、合成予測結果に基づいて行うことができる。例えば、合成生存率は、次に、臨床判断支援ツール１０４などのような臨床判断支援ツールへ提供することができ、図１Ｂに関して先に述べたように、臨床判断を支援するように様々な情報を生成させるようにする。例えば、患者に対する治療を容易にするために、臨床判断支援ツール１０４は、患者の予測生存率と他の患者との比較や患者の平均余命などのような、臨床医が患者の予後へより良くアクセスすることを可能にするための情報を、生成することができる。情報は、患者の予後および治療オプションの評価および患者のライフイベントの計画に関しての臨床医と患者との間での議論をし易くすることができる。例として、臨床判断支援ツール１０４が、患者は比較的長い余寿命（例えば、５年）を有すると予測した場合、患者は、肉体的な要求が高く大きい副作用がある積極的な治療を受けると決めるかもしれない。しかし、臨床判断支援ツール１０４が、患者は比較的短い余寿命（例えば、１年未満）を有すると示した場合、その患者は、治療を見合わせるか代替の治療を受けると決めるかもしれず、また、患者の余寿命での介護やライフイベントについて計画するかもしれない。
[0116] 更に、臨床判断支援ツール１０４はまた、患者に対しての最適の治療を選択することを容易にするための情報１０８を出力することができる。例えば、臨床判断支援ツール１０４は、患者のデータに基づいて、様々な治療に関しての患者の様々なＫ－Ｍプロットを表示することができる。次に、臨床医は、例えば、所与の時間における患者の生存率を最大にする治療、想定される患者の余寿命を最大にする治療などを、選択することができる。
[0117] これらの例の全てにおいて、臨床予測は、患者コーホートに対してではなく患者に対して予測された生存率に基づいて行われるので、患者に関して行われる臨床予測は、正確になる傾向があり、また、少なくともその患者と関連性が高くなる。図４Ｄに示すように、患者に固有の生存率の予測は、患者コーホートの生存率とは大きく異なり得る。この開示された技術は、臨床予測の精度および妥当性を改善することができ、且つ患者が有さない多くのデータ・カテゴリを機械学習モデルが必要とする場合における、欠けたデータ・カテゴリの問題を避けることができる。
ＶＩＩ．コンピュータ・システム
[0118] ここで述べるコンピュータ・システムの何れのものも、任意の適切な数のサブシステムを用いることができる。そのようなサブシステムの例は、図６において、コンピュータ・システム１０において示されている。幾つかの実施形態では、コンピュータ・システムは１つのコンピュータ装置を含み、サブシステムはコンピュータ装置のコンポーネントであり得る。他の実施形態では、コンピュータ・システムは複数のコンピュータ装置を含むことができ、それぞれがサブシステムであり、内部コンポーネントを有する。コンピュータ・システムは、デスクトップ・コンピュータおよびラップトップ・コンピュータ、タブレット、モバイル・フォン、および他のモバイル・デバイスを含むことができる。幾つかの実施形態では、クラウド・インフラストラクチャ（例えば、Ａｍａｚｏｎ Ｗｅｂ Ｓｅｒｖｉｃｅｓ（登録商標））、グラフィカル・プロセッシング・ユニット（ＧＰＵ）などを用いて、開示した技術を実装することができる。
[0119] 図６に示したサブシステムは、システム・バス７５を介して相互接続することができる。プリンタ７４、キーボード７８、ストレージ・デバイス（１以上）７９、ディスプレイ・アダプタ８２へ結合されたモニタ７６、および他のものなどのような追加のサブシステムが、示されている。周辺装置およびＩ／Ｏコントローラ７１へ結合する入力／出力（Ｉ／Ｏ）デバイスは、入力／出力（Ｉ／Ｏ）ポート７７（例えば、ＵＳＢ（登録商標）、ＦｉｒｅＷｉｒｅ（登録商標）など）などのような当技術で知られている任意の数の手段により、コンピュータ・システムへ接続することができる。例えば、Ｉ／Ｏポート７７または外部インターフェース８１（例えば、Ｅｔｈｅｒｎｅｔ（登録商標）、Ｗｉ－Ｆｉ（登録商標）など）は、コンピュータ・システム１０を、インターネットなどのようなワイド・エリア・ネットワーク、マウス入力デバイス、またはスキャナーへ接続するために、用いることができる。システム・バス７５を介しての相互接続は、中央プロセッサ７３が、各サブシステムと通信することを可能とし、また、システム・メモリ７２またはストレージ・デバイス（１以上）７９（例えば、ハード・ドライブなどのような固定ディスクや光ディスク）からの複数の命令の実行およびサブシステム間での情報の交換を制御することを可能にする。システム・メモリ７２および／またはストレージ・デバイス（１以上）７９は、コンピュータ読取可能媒体を具現化することができる。別のサブシステムは、カメラ、マイクロフォン、加速度計などのようなデータ収集デバイス８５である。ここで述べたデータの何れのものも、１つのコンポーネントから別のコンポーネントへと出力することができ、また、ユーザへ向けて出力することができる。
[0120] コンピュータ・システムは、例えば、外部インターフェース８１または内部インターフェースにより共に接続された複数の同じコンピュータまたはサブシステムを、含むことができる。幾つかの実施形態では、コンピュータ・システム、サブシステム、または装置は、ネットワークを介して通信することができる。そのような場合、１つのコンピュータをクライアントと考え、別のコンピュータをサーバと考えることができ、それぞれを同じコンピュータ・システムの一部とすることができる。クライアントとサーバとのそれぞれは、複数のシステム、サブシステム、またはコンポーネントを含むことができる。
[0121] 実施形態の特徴は、ハードウェア（例えば、特定用途向け集積回路やフィールド・プログラマブル・ゲート・アレイ）を用いて、および／またはモジュール様式または統合様式の一般的にプログラマブルなプロセッサと共にコンピュータ・ソフトウェアを用いて、制御ロジックの形で実装することができる。ここでのプロセッサは、シングルコア・プロセッサ、同じ集積チップにおけるマルチコア・プロセッサ、または１つの回路板における又はネットワーク化された複数の処理ユニットを含む。ここで提供した開示および技術に基づいて、当業者は、ハードウェアを用いての、およびハードウェアとソフトウェアとの組み合わせを用いての、本発明の実施形態を実装するための他の手段および／または方法を知り、また、理解するであろう。
[0122] 本出願で説明したソフトウェアのコンポーネントおよび機能の何れのものも、プロセッサにより実行される任意の適切なコンピュータ言語を用いるソフトウェア・コードとして実装することができ、任意の適切なコンピュータ言語は、例えば、Ｊａｖａ（登録商標）、Ｃ（登録商標）、Ｃ＋＋（登録商標）、Ｃ＃（登録商標）、Ｏｂｊｅｃｔｉｖｅ－Ｃ（登録商標）、Ｓｗｉｆｔ（登録商標）などや、例えば、従来の又はオブジェクト指向の技術を用いるＰｅｒｌ（登録商標）やＰｙｔｈｏｎ（登録商標）などのようなスクリプト言語などである。ソフトウェア・コードは、一連の命令またはコマンドとして、格納および伝送のためにコンピュータ読取可能媒体に格納することができる。適切な非一時的なコンピュータ読取可能媒体は、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリ・メモリ（ＲＯＭ）、ハード・ドライブやフロッピー・ディスク（登録商標）などのような磁気媒体、コンパクト・ディスク（ＣＤ）やＤＶＤ（デジタル・バーサタイル・ディスク）などのような光媒体、フラッシュ・メモリなどを含むことができる。コンピュータ読取可能媒体は、そのようなストレージ・デバイスや伝送デバイスの任意の組み合わせとすることができる。
[0123] また、そのようなプログラムは、エンコードして、インターネットを含む様々なプロトコルに従う有線、光、および／またはワイヤレスのネットワークを介しての送信に適合した搬送信号を用いて、伝送することができる。従って、コンピュータ読取可能媒体は、そのようなプログラムでエンコードされたデータ信号を用いて作ることができる。プログラム・コードでエンコードされたコンピュータ読取可能媒体は、コンピュータ・デバイスとパッケージ化すること、又は他のデバイスとは別個に提供すること（例えば、インターネットでのダウンロードを介して）ができる。何れのそのようなコンピュータ読取可能媒体も、１つのコンピュータ製品（例えば、ハード・ドライブ、ＣＤ、またはコンピュータ・システム全体）に存在することができ、また、システムまたはネットワークの中の様々なコンピュータ製品に存在することができる。コンピュータ・システムは、ここで述べた結果の何れかをユーザへ提供するためのモニタ、プリンタ、または他の適切なディスプレイを含むことができる。
[0124] ここで説明した何れの方法も、ステップを実行するように構成可能な１以上のプロセッサを含むコンピュータ・システムを用いて、全体的又は部分的に行うことができる。従って、実施形態は、ここで説明した方法のうちの任意の方法のステップを行うように構成したコンピュータ・システムに向けたものであり得、可能性として、様々なコンポーネントがそれぞれのステップまたはそれぞれのグループになったステップを行うものであり得る。ステップは、番号を付けられたステップとして示したが、ここでの方法の複数のステップは、同時に又は異なる順に行うことができる。更に、これらのステップの複数の部分は、他の方法からの他のステップの部分と共に用いることができる。また、ステップの部分または全体はオプションとすることができる。更に、複数の方法のうちの任意の方法の複数のステップのうちの任意のステップを、それらのステップを行うためのモジュール、ユニット、回路、または他の手段を用いて、行うことができる。
[0125] 特定の実施形態の具体的な細部は、本発明の実施形態の精神および範囲から外れずに、任意の適切な様式で組み合わせることができる。しかし、本発明の他の実施形態は、個々の特徴のそれぞれ又はそれら個々の特徴の特定の組み合わせと関連する特定の実施形態へ向けたものであり得る。
[0126] 本発明の例としての実施形態の上記の説明は、例示および説明を目的として提示した。網羅的であることや、本発明を上記の形そのものに限定することは意図しておらず、上記の教示を考慮して多くの変更や変形が可能である。
[0127] 「ア（a）」や「アン（an）」や「ザ（the）」という記述は、１又はそれより多く」を意味することを意図しているが、そうではない場合は具体的に示す。「または（or）」を用いるときは、「インクルーシブ・オア（inclusive or）」を意味することを意図しており、そうではないことを具体的に示さないときは「エクスクルーシブ・オア（exclusive or）」を意味しない。「第１」コンポーネントという言及は、第２コンポーネントが提供されることを必ずしも必要とはしない。更に、「第１」または「第２」のコンポーネントという言及は、明確に述べていないかぎり、言及されるコンポーネントを特定の位置に限定しない。
[0128] ここで述べた全ての特許、特許出願、出版物、および記述は、あらゆる目的のために、それらの全体が参照により組み込まれる。何れのものも従来技術とは認められない。

Claims (21)

  1. コンピュータで実装される、臨床予測を行う方法であって、
    患者の複数のデータ・カテゴリに対応するデータを受け取るステップと、
    複数の訓練された機械学習モデルから、前記複数のデータ・カテゴリに基づいて、第１機械学習モデルおよび第２機械学習モデルを選択するステップであって、
    前記第１機械学習モデルは、前記複数のデータ・カテゴリの第１サブセットの第１データを用いて訓練されていると共に、第１性能メトリックの値を有しており、
    前記第２機械学習モデルは、前記複数のデータ・カテゴリの第２サブセットの第２データを用いて訓練されていると共に、第２性能メトリックの値を有しており、
    前記複数のデータ・カテゴリの前記第２サブセットは、前記複数のデータ・カテゴリの前記第１サブセットとは異なるものである、ステップと、
    第１予測結果を生成するために、前記第１機械学習モデルに対し、前記複数のデータ・カテゴリの前記第１サブセットに対応する、前記データの第１サブセットを入力するステップと、
    第２予測結果を生成するために、前記第２機械学習モデルに対し、前記複数のカテゴリの前記第２サブセットに対応する、前記データの第２サブセットを入力するステップと、
    前記第１予測結果、前記第２予測結果、前記第１性能メトリックの値を示す第１重み、および前記第２性能メトリックの値を示す第２重みに基づいて、合成予測結果を生成するステップであって、
    前記第２性能メトリックの値が、前記第１性能メトリックの値とは異なるものである、ステップと、
    前記合成予測結果に基づいて、前記患者についての臨床予測を行うステップと、
    を含む方法。
  2. 請求項１に記載の方法において、前記複数のデータ・カテゴリの第１サブセットと前記複数のデータ・カテゴリの第２サブセットとが、少なくとも１つの共通のデータ・カテゴリを含む、方法。
  3. 請求項１または２に記載の方法において、データの前記カテゴリが、前記患者の個人データ、前記患者の１以上の化学テストの結果、前記患者のバイオプシー・イメージ・データ、前記患者の分子バイオマーカー、前記患者の癌部位、および前記患者の癌ステージのうちの少なくとも１つを含む、方法。
  4. 請求項１～３の何れか一項に記載の方法において、
    前記複数の機械学習モデルは、第３データ・カテゴリの第３データを用いて訓練された第３機械学習モデルを含み、前記第３データ・カテゴリは前記複数のデータ・カテゴリの一部ではなく、
    前記第３予測モデルが、前記患者の前記複数のデータ・カテゴリ内に存在しない前記第３データ・カテゴリに基づいては前記患者に対し選択されない、方法。
  5. 請求項１～４の何れか一項に記載の方法において、前記臨床予測が、前記患者が進行した癌を有すると診断された時からの所定の時間における前記患者の生存率を予測することを含む、方法。
  6. 請求項５の方法であって、更に、予測された前記生存率に基づいて前記患者に対する治療を決定するステップを含む方法。
  7. 請求項５または６に記載の方法において、
    前記複数のデータ・カテゴリが、前記患者が受ける治療と関連するカテゴリを含み、
    前記臨床予測が、前記治療に応じた、前記所定の時間における前記患者の生存率を予測することを含む、
    方法。
  8. 請求項５～７の何れかの方法であって、前記第１機械学習モデルおよび前記第２機械学習モデルが、ランダム・フォレスト・モデルとハザード関数とのうちの少なくとも１つを含む、方法。
  9. 請求項８に記載の方法において、
    前記第１機械学習モデルおよび前記第２が、ランダム・フォレスト・モデルを含み、
    前記ランダム・フォレスト・モデルが、複数のデシジョン・ツリーを含み、
    各デシジョン・ツリーが、累積ハザード関数（ＣＨＦ）値を生成するために、前記データの前記第１サブセットのサブセットを処理するように構成され、
    前記所定の時間における前記患者の前記生存率は、前記複数のデシジョン・ツリーにより出力される前記ＣＨＦ値の平均に基づいて決定される、方法。
  10. 請求項８または９に記載の方法において、
    前記第１機械学習モデルが、前記所定の時間における前記患者の非生存の確率を出力するハザード関数を含み、前記ハザード関数は、前記複数のデータ・カテゴリの前記第１サブセットの値の関数である、方法。
  11. 請求項１から１０の何れか一項に記載の方法において、
    前記第１性能メトリックの値および前記第２性能メトリックの値が、前記所定の時間における患者のグループに関しての前記第１機械学習モデルおよび前記第２機械学習モデルによる正しい生存予測の率および誤った生存予測の率に関する、方法。
  12. 請求項１０または１１に記載の方法において、
    前記第１性能メトリックおよび前記第２性能メトリックが、前記第１機械学習モデルおよび前記第２機械学習モデルのそれぞれの受信者操作特性（ＲＯＣ）曲線のエリア・アンダー・ザ・カーブ（ＡＵＣ）に基づき、
    前記第１重みは、前記第１機械学習モデルの第１ＲＯＣ曲線の第１ＡＵＣのエリア測定に基づき、
    前記第２重みは、前記第１機械学習モデルの第２ＲＯＣ曲線の第２ＡＵＣのエリア測定に基づく、方法。
  13. 請求項１２に記載の方法において、前記合成予測結果が、前記第１重みにより調整された前記第１予測結果と前記第２重みにより調整された前記第２予測結果との線形的組み合わせを表す、方法。
  14. 請求項１～１３の何れか一項に記載の方法であって、
    前記第１性能メトリックは前記第１データに基づいて決定され、
    前記第２性能メトリックは前記第２データに基づいて決定される、
    方法。
  15. 請求項１４に記載の方法において、
    前記第１機械学習モデルが、前記第１データの第１サブセットを用いて訓練され、
    前記第１性能メトリックが、前記第１データの第２サブセットの処理における、訓練された前記第１機械学習モデルの出力に基づいて決定され、
    前記第２機械学習モデルが、前記第２データの第３サブセットを用いて訓練され、
    前記第２性能メトリックが、前記第２データの第４サブセットの処理における、訓練された前記第２機械学習モデルの出力に基づいて決定される、方法。
  16. 請求項１５に記載の方法において、
    前記第１機械学習モデルが、前記第１データについて異なる第１サブセットを用いて訓練され、
    前記第１性能メトリックが、前記第１データについて異なる第２サブセットの処理における、訓練された前記第１機械学習モデルの出力に基づいて決定され、
    前記第２機械学習モデルが、前記第２データについて異なる第３サブセットを用いて訓練され、
    前記第２性能メトリックが、前記第２データについて異なる第４サブセットの処理における、訓練された前記第２機械学習モデルの出力に基づいて決定される、方法。
  17. 前記方法のうちの何れかの方法の動作を行うためにコンピュータ・システムを制御するための複数の命令を格納するコンピュータ読取可能媒体を含むコンピュータ製品。
  18. システムであって、
    請求項１７に記載の前記コンピュータ製品と、
    前記コンピュータ読取可能媒体に格納された命令を実行するための１以上のプロセッサと
    を含むシステム。
  19. 前記方法のうちの何れかの方法を行うための手段を含むシステム。
  20. 前記方法のうちの何れかの方法を行うように構成されたシステム。
  21. 前記方法のうちの何れかの方法のステップをそれぞれ行うモジュールを含むシステム。
JP2022568777A 2020-05-11 2021-05-10 複数の機械学習モデルに基づく臨床予測器 Pending JP2023526241A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/871,933 US11664126B2 (en) 2020-05-11 2020-05-11 Clinical predictor based on multiple machine learning models
US16/871,933 2020-05-11
PCT/US2021/031612 WO2021231317A1 (en) 2020-05-11 2021-05-10 Clinical predictor based on multiple machine learning models

Publications (1)

Publication Number Publication Date
JP2023526241A true JP2023526241A (ja) 2023-06-21

Family

ID=76197641

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022568777A Pending JP2023526241A (ja) 2020-05-11 2021-05-10 複数の機械学習モデルに基づく臨床予測器

Country Status (5)

Country Link
US (1) US11664126B2 (ja)
EP (1) EP4150639A1 (ja)
JP (1) JP2023526241A (ja)
CN (1) CN115699204A (ja)
WO (1) WO2021231317A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220269986A1 (en) * 2021-02-23 2022-08-25 Anton Filikov System and Method for Automated Prediction of Event Probabilities with Model Based Filtering
US20220318389A1 (en) * 2021-04-06 2022-10-06 Safelishare, Inc. Transforming dataflows into secure dataflows using trusted and isolated computing environments
CA3227546A1 (en) * 2021-07-30 2023-02-02 Regents Of The University Of California Machine learning enabled patient stratification
US11664100B2 (en) * 2021-08-17 2023-05-30 Birth Model, Inc. Predicting time to vaginal delivery
US20230237409A1 (en) * 2022-01-27 2023-07-27 Reorg Research, Inc. Automatic computer prediction of enterprise events
CN114757433B (zh) * 2022-04-24 2023-08-29 四川大学 一种饮用水源抗生素抗性相对风险快速识别方法
US20240186019A1 (en) * 2022-12-01 2024-06-06 Abbott Laboratories Dual antiplatelet therapy and time based risk prediction
CN116092680B (zh) * 2023-03-08 2023-06-09 成都工业学院 基于随机森林算法的腹主动脉瘤早期预测方法及系统
CN117352064B (zh) * 2023-12-05 2024-02-09 成都泰莱生物科技有限公司 一种肺癌代谢标志物组合及其筛选方法和应用

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7805385B2 (en) * 2006-04-17 2010-09-28 Siemens Medical Solutions Usa, Inc. Prognosis modeling from literature and other sources
US8078554B2 (en) * 2008-09-03 2011-12-13 Siemens Medical Solutions Usa, Inc. Knowledge-based interpretable predictive model for survival analysis
US11562323B2 (en) * 2009-10-01 2023-01-24 DecisionQ Corporation Application of bayesian networks to patient screening and treatment
WO2017027432A1 (en) * 2015-08-07 2017-02-16 Aptima, Inc. Systems and methods to support medical therapy decisions
EP3389481A4 (en) * 2015-12-18 2019-05-22 Clear Gene, Inc. PROCESSES, COMPOSITIONS, KITS AND DEVICES FOR FAST LANALYSIS OF BIOLOGICAL MARKERS
US20180374583A1 (en) * 2017-05-16 2018-12-27 Abraxis Bioscience, Llc Nomogram and survival predictions for pancreatic cancer
AU2019253112A1 (en) * 2018-04-13 2020-10-29 Grail, Llc Multi-assay prediction model for cancer detection
US11462325B2 (en) * 2018-09-29 2022-10-04 Roche Molecular Systems, Inc. Multimodal machine learning based clinical predictor

Also Published As

Publication number Publication date
US11664126B2 (en) 2023-05-30
CN115699204A (zh) 2023-02-03
WO2021231317A1 (en) 2021-11-18
EP4150639A1 (en) 2023-03-22
US20210350930A1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
US11664126B2 (en) Clinical predictor based on multiple machine learning models
US11462325B2 (en) Multimodal machine learning based clinical predictor
Doppalapudi et al. Lung cancer survival period prediction and understanding: Deep learning approaches
Sun et al. Identification of 12 cancer types through genome deep learning
JP6063446B2 (ja) 細胞におけるバイオマーカーの発現の積率による解析
US11574718B2 (en) Outcome driven persona-typing for precision oncology
EP2864918B1 (en) Systems and methods for generating biomarker signatures
US20160098514A1 (en) Predictive Test for Aggressiveness or Indolence of Prostate Cancer from Mass Spectrometry of Blood-Based Sample
JP7197795B2 (ja) 機械学習プログラム、機械学習方法および機械学習装置
US10665347B2 (en) Methods for predicting prognosis
US20230112591A1 (en) Machine learning based medical data checker
JP7275334B2 (ja) 個人の生物学的ステータスを予測するためのシステム、方法および遺伝子シグネチャ
JP2023551913A (ja) 生物学的疾患及び障害の動的ラマンプロファイリングのためのシステム及び方法
Esteban et al. A step-by-step algorithm for combining diagnostic tests
JP2024501620A (ja) 生物学的障害の動的免疫組織化学プロファイリングのためのシステム及び方法
EP4202943A1 (en) Method and system for finding missing value for physiological feature
Panapana et al. A Survey on Machine Learning Techniques to Detect Breast Cancer
WO2023187139A1 (en) Patient pooling based on machine learning model
Wang et al. ResDeepSurv: A Survival Model for Deep Neural Networks Based on Residual Blocks and Self-attention Mechanism
Turgay et al. Analyzing the Impact of Breast Cancer Risk Factors Using Decision Tree Modeling
PARDAL ESTIMATION OF RELAPSE PROBABILITY IN EARLY STAGES NON-SMALL CELL LUNG CANCER PATIENTS
Kang et al. Statistical uncertainty quantification to augment clinical decision support: a first
JP2024086633A (ja) 病気の進行に影響を与える患者の特性
JP2023076795A (ja) リキッドバイオプシーデータを用いた癌診断装置及び癌診断方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240624