JP7244711B2 - 臨床リスクモデル - Google Patents

Description

関連出願の相互参照
[001] 本願は、２０２０年３月１７日に出願された米国仮特許出願第６２／９９０，９３３号、及び２０２０年１０月２８日に出願された米国仮特許出願第６３／１０６，５３９号の利益を主張し、それらの内容は参照によりその全てを本明細書に援用する。

背景
技術分野
[002] 本開示は、患者のための医療ケアを予測することに関し、より具体的には、患者のための特定の種類のヘルスケアサービス及び／又は特定の種類の臨床結果を予測し計画するためのモデル援用システム及び方法に関する。

背景情報
[003] 今日のヘルスケアシステムでは、一定の個人又は患者が一定の種類のヘルスケアサービス（例えば緊急治療室又は病室の訪問、救急搬送、緊急治療又は急性治療、病院での又は他の応急手当サービス等）を使用しなければならない可能性を減らすことによって著しい利益を潜在的に実現することができる。例えば病院又は他の急性ケアサービス等の一定の種類のヘルスケアサービスは、他の種類のヘルスケアサービス、例えば通院、在宅看護訪問等の高額な病院又は応急手当センタ以外の位置で与えられるサービスよりも費用がかかり（しばしば著しく費用がかかり）、回避するのが望ましくもあり得る。従って一定の種類のヘルスケアサービスを使用する患者の需要を減らすことは、患者に与えられるケアの質も高めながらとりわけ個人、保険者、団体健康保険の保険契約者のヘルスケアコストを著しく減らす潜在性を有し得る。例えば１人又は複数の患者が病院又は急性ケアを利用しなければならない可能性を減らすことは、かかるサービスの負担を減らすことができ、他の患者のために病院での及び急性ケアの資源を空けることができる。加えて、患者の来院等の必要性を減らす又はなくすことは、病院の他の患者から感染し得る感染症にその患者がさらされる可能性を減らし得る。このような利益は、免疫不全を有する一定の種類の患者（例えばがん患者等）にとって特に重要であり得る。本明細書で使用するとき、病院という用語は病院及び他の応急手当施設を含むことに留意されたい。

[004] 一定の種類のヘルスケアサービスに患者が依拠する可能性を潜在的に減らす１つの有効なやり方は、そのような将来のヘルスケアサービスの使用の可能性が最も高い患者を識別し、それらの患者に医療手当、ケア、又は他の介入（例えば電話、薬剤師に処方箋を送ること、電子的な連絡／リマインダ、専門家への紹介等）を先制的に提供することである。例えば医療ケアエンティティは医療ケア専門家を採用して少数の患者（例えば１０人の患者）から多数の患者（例えば二千人の患者）に及ぶ任意の数の患者に先制的ケアを提供することができる。先制的ケア（例えば往診、電話、薬剤師に処方箋を送ること、治療、電子的な連絡／リマインダ等）を提供するためにヘルスケア専門家及び／又は介入をスケジュールするとき、ヘルスケアエンティティは一定の種類のヘルスケアサービスに関して近々最もリスクが高い患者を、かかるヘルスケアサービスの必要性を減らすために優先したい場合がある。例えば或る患者が（緊急治療室に最終的に訪れること又は他の病院若しくは急性ケアサービスを使用することにつながり得る多岐にわたる他の条件の中で）脱水状態にあり又は鎮痛剤を必要としていることをヘルスケアエンティティが明らかにすることができる場合、その患者をケアするためにヘルスケア専門家又は他の介入をスケジュールすることが、そのような病院又は急性ケアサービスの必要性を最低限に抑え更には回避することを助け得る。従って一定の種類のヘルスケアサービスに関してリスクが高い患者を識別し又は一定の臨床結果（例えば死、発熱性好中球減少症、抑鬱症）に関してリスクが高い患者を識別し、それらの患者に先制的ケアを提供するためにヘルスケアプロセッショナル及び／又は他の介入を事前対応的、予防的にスケジュールすることは、患者のケアを改善しより的を絞った治療を患者に提供することができる。重要なことに、そのように患者を識別すること及び事前対応的に介入することはそれらの患者が病院又は急性ケアを使用する又は不所望の臨床結果を被る可能性を著しく減らすことができ、そのことはとりわけ上記で論じた利益の何れか又は全てをもたらし得る。

[005] しかし、病院又は他の種類のヘルスケアサービスを活用する可能性が最も高い患者又は一定の臨床結果に関してリスクのある患者を先制的に識別することは困難であり得る。患者及びその患者の健康に関する典型的な情報源は、電子健康記録（ＥＨＲ）として保持され得る患者のカルテである。しかし、病院での又は他の種類の公共医療サービスに（例えば一定期間内に）アクセスする可能性が最も高い患者又は一定の臨床結果に関してリスクのある患者を識別し優先するために、各患者のカルテを手動で及び継続的に検討することは時間がかかり、非効率（及び各カルテを検討することに関わる非常に多くの患者及び時間を理由に多くの場合不可能）である。更に、多くの場合、一定期間（例えば１週間、３０日、６０日、９０日等）のうちに病院又は他のヘルスケアサービスを患者が使用する可能性が高いこと、又は一定の臨床結果に関してリスクのある患者を示すＥＨＲ又は他のカルテ内のパターン、マーカ等を人間の検討者が認識できない場合がある。従って、たとえ全患者集団についてカルテ及び健康記録を手動で（継続的に等）検討する時間があっても、その検討はかかるヘルスケアサービスを使用する可能性が最も高い患者の適切な母集団を識別する際に効果的ではない可能性がある。従って、患者記録をより効率的及び効果的に解析し、一定の種類のヘルスケアサービスを近々使用する可能性が最も高い患者又は一定の臨床結果に関して近々のリスクがある患者を識別するための技術的システムが求められている。

概要
[006] 本開示と合致する実施形態は、ヘルスケアサービスを予測するためのシステム及び方法を含む。一実施形態では、モデル援用システムが少なくとも１つのプロセッサを含み得る。プロセッサは複数の患者に関連する医療記録を記憶するデータベースにアクセスし、複数の患者の患者に関連する医療記録を解析して患者の特性を識別するようにプログラムされ得る。プロセッサは、患者が所定期間内にヘルスケアサービスを必要とする可能性を示す患者リスクレベルを患者の特性に基づいて及び訓練済みの機械学習モデルを使用して決定することができ、機械学習モデルはロジスティック回帰に基づいて重み付けされる臨床学的因子に基づいて訓練されている。プロセッサは更に、患者リスクレベルを所定のリスク閾値と比較すること、患者のための推奨される介入を示すレポートを比較に基づいて生成すること、複数の患者の第１の群について平均患者リスクレベルと実際の平均ヘルスケアサービス利用度との差を示す較正係数を決定すること、及び複数の患者の第２の群に対する第１の群に関連するバイアスを較正係数に基づいて決定することができる。

[007] 別の実施形態では、ヘルスケアサービスを予測するためのコンピュータによって実装される方法が開示される。この方法は、複数の患者に関連する医療記録を記憶するデータベースにアクセスすること、及び複数の患者の患者に関連する医療記録を解析して患者に関連する特性を識別することを含み得る。この方法は、患者が所定期間内にヘルスケアサービスを必要とする可能性を示す患者リスクレベルを患者の特性に基づいて及び訓練済みの機械学習モデルを使用して決定することを含むことができ、機械学習モデルはロジスティック回帰に基づいて重み付けされる臨床学的因子に基づいて訓練されている。この方法は更に、患者リスクレベルを所定のリスク閾値と比較すること、患者のための推奨される介入を示すレポートを比較に基づいて生成すること、複数の患者の第１の群について平均患者リスクレベルと実際の平均ヘルスケアサービス利用度との差を示す較正係数を決定すること、及び複数の患者の第２の群に対する第１の群に関連するバイアスを較正係数に基づいて決定することを含み得る。

[008] 一実施形態では、機械学習モデル内のバイアスを評価するためのシステムが少なくとも１つのプロセッサを含み得る。プロセッサは、機械学習モデルから複数の出力を受信することであって、出力は複数の患者に関連する医療記録に基づく複数の患者のための予測を含む、受信すること、複数の患者に関連する複数の実際の結果にアクセスすること、複数の患者の第１の群について予測と実際の結果との差を示す較正係数を決定すること、及び複数の患者の第２の群に対する第１の群に関連するバイアスを較正係数に基づいて検出することを行うようにプログラムされ得る。

[009] 開示する他の実施形態と合致して、非一時的コンピュータ可読記憶媒体は少なくとも１つの処理装置によって実行され、本明細書に記載する方法の何れかを実行するプログラム命令を記憶し得る。

図面の簡単な説明
[010] 本明細書に組み込まれ本明細書の一部を構成する添付図面は、この説明と共に、様々な例示的実施形態の原理を示しそれらを説明する役割を果たす。

[011]本開示と合致する、実施形態を実装するための例示的なシステム環境を示す図である。 [012]本開示と合致する、ヘルスケアサービスを予測するためのプロセスの一例を示す図である。 [013]本開示と合致する、患者のための例示的な医療記録を示す。 [014]本開示と合致する、実施形態を実装するための機械学習システムの一例を示す。 [015]本開示と合致する、性能モニタリングシステム４６０を使用して実行され得るバイアスモニタリングの一例を示す。 [016]本開示と合致する、近々の医療訪問のリスクが高い患者を識別するレポートの一例の図である。 [017]本開示と合致する、ヘルスケアサービスを予測するためのプロセスの一例を示す流れ図である。 [018]本開示と合致する、機械学習モデルを評価するためのプロセスの一例を示す流れ図である。

詳細な説明
[019] 以下の詳細な説明は添付図面を参照する。可能な限り、図面及び以下の説明の中で同じ参照番号を使用して同じ又は同様の部分を指す。幾つかの例示的実施形態を本明細書に記載するが、修正形態、適応形態、及び他の実装形態が可能である。例えば図示のコンポーネントに置換、追加、又は修正を加えることができ、開示する方法についてステップを置換し、並べ替え、除去し、又は追加することにより、本明細書に記載する例示的方法を修正することができる。従って、以下の詳細な説明は開示する実施形態及び例に限定されない。むしろ適切な範囲は添付の特許請求の範囲によって定められる。

[020] 本明細書の実施形態は、コンピュータによって実装される方法、有形の非一時的コンピュータ可読媒体、及びシステムを含む。コンピュータによって実装される方法は、例えば非一時的コンピュータ可読記憶媒体から命令を受信する少なくとも１つのプロセッサ（例えば処理装置）によって実行され得る。同様に、本開示と合致するシステムは少なくとも１つのプロセッサ（例えば処理装置）及びメモリを含むことができ、メモリは非一時的コンピュータ可読記憶媒体であり得る。本明細書で使用するとき、非一時的コンピュータ可読記憶媒体は、少なくとも１つのプロセッサによって読み出し可能な情報又はデータが記憶され得る任意の種類の物理メモリを指す。例はランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、揮発性メモリ、不揮発性メモリ、ハードドライブ、ＣＤ ＲＯＭ、ＤＶＤ、フラッシュドライブ、ディスク、及び他の任意の知られている物理記憶媒体を含む。「memory」及び「computer-readable storage medium」等の単数形の用語は、複数のメモリ及び／又はコンピュータ可読記憶媒体等の複数の構造を更に指す場合がある。本明細書で言及するとき、「メモリ」は別段の定めがない限り任意の種類のコンピュータ可読記憶媒体を含み得る。コンピュータ可読記憶媒体は、本明細書の実施形態と合致するステップ又は段階をプロセッサに行わせるための命令を含む、少なくとも１つのプロセッサによって実行するための命令を記憶することができる。加えて、コンピュータによって実装される方法を実装する際に１つ又は複数のコンピュータ可読記憶媒体を利用することができる。「コンピュータ可読記憶媒体」という用語は有形のアイテムを含み、搬送波及び過渡信号を除去するものと理解すべきである。加えて本明細書で言及するとき、「公共医療サービス」、「ヘルスケアサービス」、及び「医療サービス」という用語は同義で使用する。

[021] 本開示の実施形態は、疾患又は条件の予防、診断、又は治療に関するヘルスケア専門家に対する推奨をサポートする又は提供するために使用できることが理解されよう。更に本開示の実施形態は、本開示によって提示されるかかる推奨の基礎をかかるヘルスケア専門家が独立に検討できるようにすることができ、そのためかかるヘルスケア専門家が個々の患者に関する臨床診断又は治療法の決定を行うために自らの独立した検討に主に依拠し、推奨を補足情報として使用することが理解されよう。

[022] 本開示の実施形態は、患者のための一定の種類のヘルスケアサービス（例えば病院又は急性ケア）の近々の使用を予測する、又は一定の臨床結果を予測するためのシステム及び方法を提供する。開示するシステム及び方法のユーザは、患者データにアクセスする及び／又は患者データを解析することを望み得る任意の個人を包含し得る。従って本開示の全体を通して、開示するシステム及び方法の「ユーザ」への言及は医師、ヘルスケア管理者、研究者、保険査定員、ヘルスケア機関における品質保証部、及び／又は患者に関連する他の任意のエンティティ等の任意の個人を包含し得る。

[023] 図１は、以下で詳細に説明する、本開示と合致する実施形態を実装するための例示的なシステム環境１００を示す。図１に示すように、システム環境１００は、クライアント装置１１０、データソース１２０、システム１３０、及び／又はネットワーク１４０を含む幾つかのコンポーネントを含み得る。これらのコンポーネントの数及び配置は例示であり、説明目的で示していることが本開示から理解されよう。本開示の教示及び実施形態から逸脱することなしにコンポーネントの他の配置及び数も使用することができる。

[024] 図１に示すように、例示的なシステム環境１００はシステム１３０を含み得る。システム１３０は、ネットワークを介してエンティティから情報を受信し、情報を処理し、情報を記憶し、ネットワークを介して他のエンティティに情報を表示／伝送するように構成される１つ又は複数のサーバシステム、データベース、及び／又は計算システムを含み得る。従って一部の実施形態では、ネットワークがクラウドによる共有、記憶、及び／又は計算を促進し得る。一実施形態では、システム１３０が処理エンジン１３１及び１つ又は複数のデータベース１３２を含むことができ、それらはシステム１３０を表す破線によって境界を付けられた領域内に図示されている。処理エンジン１３１は、１つ又は複数の汎用プロセッサ、例えば中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）等、及び／又は１つ若しくは複数の専用プロセッサ、例えば特定用途向け集積回路（ＡＳＩＣ）、書換可能ゲートアレイ（ＦＰＧＡ）等の少なくとも１つの処理装置を含み得る。

[025] システム環境１００の様々なコンポーネントは、メモリ、中央処理装置（ＣＰＵ）、及び／又はユーザインタフェースを含むハードウェア、ソフトウェア、及び／又はファームウェアのアセンブリを含み得る。メモリは、フロッピディスク、ハードディスク、又は磁気テープを含む磁気記憶域、ソリッドステートディスク（ＳＳＤ）又はフラッシュメモリ等の半導体記憶域、光ディスク記憶域、又は光磁気ディスク記憶域等の物理記憶媒体によって実装される任意の種類のＲＡＭ又はＲＯＭを含み得る。ＣＰＵは、メモリ内に記憶される１組のプログラム可能命令又はソフトウェアに従ってデータを処理するための１つ又は複数のプロセッサを含み得る。各プロセッサの機能は、単一の専用プロセッサによって又は複数のプロセッサによって提供され得る。更にプロセッサは、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、又はソフトウェアを実行可能な他の任意のハードウェアを制限なしに含み得る。任意選択的なユーザインタフェースは、ディスプレイモニタ、キーボード、及び／又はマウス等の任意の種類の又は組み合わせの入力／出力装置を含み得る。

[026] システム環境１００内で伝送され及び／又はやり取りされるデータはデータインタフェース上で生じ得る。本明細書で使用するとき、データインタフェースはシステム環境１００の２つ以上のコンポーネントがデータをやり取りする任意の境界を含み得る。例えば環境１００は、ソフトウェア、ハードウェア、データベース、装置、人間、又は上記のものの任意の組み合わせの間でデータをやり取りすることができる。更に、システム環境１００のコンポーネント及び関係する実施形態の特徴を実装するためにソフトウェア、プロセッサ、データ記憶装置、及びネットワークの任意の適切な構成を選択できることが理解されよう。

[027] 環境１００のコンポーネント（システム１３０、クライアント装置１１０、及びデータソース１２０を含む）は、ネットワーク１４０を介して互いに又は他のコンポーネントと通信することができる。ネットワーク１４０はインターネット、有線広域ネットワーク（ＷＡＮ）、有線ローカルエリアネットワーク（ＬＡＮ）、無線ＷＡＮ（例えばWiMAX）、無線ＬＡＮ（例えばＩＥＥＥ８０２．１１等）、メッシュネットワーク、モバイル／セルラネットワーク、企業又は私設データネットワーク、ストレージエリアネットワーク、公衆ネットワークを用いた仮想私設ネットワーク、近距離無線通信技法（例えばBluetooth、赤外線等）、又は他の様々な種類のネットワーク通信等、様々な種類のネットワークを含み得る。一部の実施形態では、これらの形態のネットワーク及びプロトコルの２つ以上にわたって通信が行われ得る。

[028] システム１３０は、データソース１２０を含む様々なデータソースからネットワーク１４０を介して伝送されるデータを受信及び記憶し、受信したデータを処理し、処理に基づくデータ及び結果をクライアント装置１１０に伝送するように構成することができる。例えばシステム１３０は、１つ若しくは複数のデータソース１２０又はネットワーク１４０内の他のソースから構造化データ及び／又は非構造化データを受信するように構成され得る。一部の実施形態では、データは１つ又は複数の医療記録の形で記憶される医療情報を含み得る。各医療記録は特定の患者に関連することができる。データソース１２０は患者に関する医療情報の多岐にわたるソースに関連し得る。例えばデータソース１２０は、医師、看護師、専門家、相談員、病院、クリニック等、患者の医療提供者を含み得る。データソース１２０は、放射線又は他のイメージング検査室、血液学検査室、病理検査室等の検査室にも関連し得る。データソース１２０は保険会社又は他の任意の患者データソース（例えば患者報告結果、健康情報を追跡するウェアラブルデバイス、公衆衛生のデータセット又は登録機関）にも関連し得る。

[029] システム１３０は、ネットワーク１４０を介して１つ又は複数のクライアント装置１１０と更に通信することができる。例えばシステム１３０は、データソース１２０からの情報の解析に基づく結果をクライアント装置１１０に提供することができる。クライアント装置１１０は、ネットワーク１４０を介してデータを受信又は伝送することができる任意のエンティティ又は装置を含み得る。例えばクライアント装置１１０は、サーバ又はデスクトップ又はラップトップコンピュータ等の計算装置を含み得る。クライアント装置１１０は、モバイル装置、タブレット、ウェアラブルデバイス（即ちスマートウォッチ、埋め込み型装置、フィットネストラッカ等）、仮想マシン、ＩｏＴ装置、又は他の様々な技術等の他の装置も含み得る。一部の実施形態では、システム１３０はクライアント装置１１０から入力又はクエリを更に受信することができる。例えばクライアント装置１１０は、特定の期間内に近々の医療サービス（例えば救急医療サービス）を必要とする可能性が高い患者又は患者に関する他の様々な情報を求めるクエリ等、ネットワーク１４０を介して１人又は複数の患者に関する情報を求めるクエリをシステム１３０に伝送することができる。

[030] 一部の実施形態では、システム１３０は患者又は患者集団の医療記録（又は他の形の構造化データ又は非構造化データ）を解析して、１人又は複数の患者が一定の種類のヘルスケアサービス（例えば病院又は急性ケア）を近々使用する可能性についてのリスクレベル、相対的リスクレベル、又は他の任意の適切なインジケータを決定するように構成され得る。例えばシステム１３０は患者の医療記録を解析して、その患者が特定の時間窓（例えば今後６０日）のうちに指定のヘルスケアサービスを使用するかどうかを判定することができる。システム１３０は、これらの確率を明らかにするために１つ又は複数の機械学習モデルを使用するように構成され得る。リスクにさらされている患者を先制的に識別し、病院又は急性ヘルスケアサービスの使用につながり得る１つ又は複数の条件がエスカレートする前に、１つ又は複数の医療事象又は他の事象が発生する前に治療することができるので、かかるシステム及び方法はヘルスケアエンティティ、個人、及び他者に価値を提供し得る。従ってかかるシステムは、他の多くの潜在的利益の中で特に、病院又は急性ケアの必要性を減らすこと及び／又は患者ケアの総コストを下げることができる。別の例では、システム１３０は必要とされる可能性が高いヘルスケアサービスの種類に基づいて患者を優先することができ、より本格的なヘルスケアサービス又はより高価なヘルスケアサービスを必要とすることが予期される患者が、本格的でない又は安価なヘルスケアサービスを必要とすることが予期される患者よりも優先される。

[031] システム１３０は患者記録を自動で解析し、（ｉ）一定の種類の医療サービス（例えば病院又は急性ケア）を近々使用する可能性、（ｉｉ）近々の特定の臨床結果の可能性に従って、又は（ｉｉｉ）他の任意の基準に基づいて患者をトリアージすることができる。本システムはこの情報を自動で生成し、それを１つ又は複数のレポート、グラフィカルユーザインタフェース、モバイル装置インタフェース等によって使用するために提示することができる。この情報を用いて、例えば病院又は急性医療サービスを近々使用する可能性が最も高い患者、近々の特定の臨床結果を被る可能性が最も高い患者、治療を行うことが病院又は急性医療サービスが近々使用される可能性を減らす可能性が最も高い患者（例えば少なくとも所定の閾値の分だけ可能性が減ること等）、又は１つ若しくは複数のヘルスケアサービスに対する予測される影響若しくは不所望の臨床結果の予測される発生に基づく他の任意の患者群に従って患者のための先制的ケアを計画することができる。一部の事例では、システム１３０は患者が指定のヘルスケアサービスを使用することが予期される予測時間に基づいて患者を優先し得る。例えば１～３日のうちに病院又は急性ヘルスケアサービスを使用することが予測される患者は、１～２週間、１～２カ月等のうちにかかるサービスを使用することが予測される患者よりも優先され得る。

[032] 図２は、開示する実施形態と合致する、ヘルスケアサービス又は臨床結果を予測するためのプロセス２００の一例を示すブロック図である。プロセス２００は、医療記録２１２等の医療情報を提供者システム２１０から受信することを含み得る。提供者システム２１０は、患者に関する医療データを収集及び／又は記憶することができる任意のシステムを含み得る。例えば提供者システム２１０は医療ケアオフィス、病院、外科センタ、クリニック、検査室又は試験施設、ホスピスセンタ、イメージング又は放射線施設、依存症治療施設、応急手当施設、リハビリセンタ、テレヘルスプラットフォーム、保険施設、又は医療データへのアクセスを提供し得る他の任意のシステムを含み得る。提供者システム２１０は、上記のクライアント装置１１０及び／又はデータソース１２０に対応することができ又はそれらに関連し得る。

[033] 図２に示すように、医療記録２１２は提供者システム２１０から受信され得る。医療記録２１２は患者に関連する任意の構造化データ又は非構造化データを含み得る。一部の実施形態では、複数の医療記録２１２が受信され得る。各患者は、１人若しくは複数のヘルスケア専門家によって又は患者によって生成される１つ又は複数の記録によって表すことができる。例えば患者に関連する医者、患者に関連する看護師、患者に関連する理学療法士等が患者に関する医療記録をそれぞれ生成することができる。一部の実施形態では、１つ又は複数の記録が同じデータベース内で照合され及び／又は同じデータベース内に記憶され得る。他の実施形態では、１つ又は複数の記録が複数のデータベースにわたって分散され得る。一部の実施形態では、記録を記憶すること及び／又は記録に複数の電子データ表現を与えることができる。例えば患者記録は、テキストファイル、ポータブルドキュメントフォーマット（ＰＤＦ）ファイル、拡張可能なマーク付け言語（ＸＭＬ）ファイル等の１つ又は複数の電子ファイルとして表すことができる。文書がＰＤＦファイル、画像、又はテキストなしの他のファイルとして記憶される場合、電子データ表現は光学的文字認識プロセスから導出される文書に関連するテキストも含み得る。医療記録２１２に関する更なる詳細を図３に関して以下に示す。

[034] 一部の実施形態では、このソースデータを訓練済みモデル２２０によって解釈可能な形式へと変換するようにシステム１３０が構成され得る。例えばこれらの変換は、これだけに限定されないが、ソースデータを標準化フォーマットにマッピングし、機械学習技法を使用して非構造化データから臨床情報を抽出することを含む。一部の実施形態では、医療記録２１２が提供者システム２１０からの要求に関連し得る。例えば提供者システム２１０は、患者又は患者群に関する近々のリスクの予測（例えばどの患者が病院又は急性ケアを必要とする可能性が高いか、又はどの患者が特定の臨床結果を経験する可能性が高いのか）をシステム１３０にクエリすることができる。一部の実施形態では、医療記録２１２が周期的に、システム１３０からの要求に応答して、特定の患者がヘルスシステムと遭遇するとき何時でも（例えば医療記録が更新されるとき）、又は他の様々な形のトリガに基づいて提供され得る。一部の実施形態では、トリガがユーザによって（例えばシステム管理者、ヘルスケア提供者システム等によって）構成可能であり得る。

[035] 医療記録２１２は訓練済みモデル２２０内に入力することができ、訓練済みモデル２２０は患者に関する予測を生成するように構成され得る。訓練済みモデル２２０は、上記のシステム１３０内に含めることができ或いはシステム１３０に関連し得る。訓練済みモデル２２０は、入力データに基づいてリスク予測２２２を生成するように構成される任意の訓練済みの機械学習モデルを含み得る。一部の実施形態では、訓練済みモデル２２０が人工ニューラルネットワークを含み得る。（例えば上記のような）ロジスティック回帰、線形回帰、回帰、ランダムフォレスト、Ｋ近傍法（ＫＮＮ）モデル、Ｋ平均モデル、決定木、コックス比例ハザード回帰モデル、ナイーブベイズモデル、サポートベクタマシン（ＳＶＭ）モデル、勾配ブースティングアルゴリズム、又は他の任意の形の機械学習モデル若しくはアルゴリズムを含む他の様々な機械学習アルゴリズムを使用することができる。訓練済みモデル２２０の訓練及び実装に関する更なる詳細を図４Ａに関して以下に記載する。リスク予測２２２は、患者又は患者群に関する予測された近々の医療サービス又は臨床結果を示す任意の情報を含み得る。

[036] 訓練済みモデル２２０の結果に基づき、リスク予測２２２を示し得る出力２２４が生成され、提供者システム２１０に提供され得る。一部の実施形態では、１つ又は複数の計算装置に関連するディスプレイ上で提示するために、医師のオフィス、在宅看護サービス等におけるクライアント装置１１０等の１つ又は複数の計算装置に出力２２４が提供され得る。例えば医療専門家が使用するために、レポートを１つ又は複数のモバイル装置上で表示することができる。一部の事例では、レポートは、近々の医療サービスの予測された可能性に応じて患者に対するケアの自動スケジューリング及び追跡を可能にする協同医療ケアスケジューリングシステムの一部であり得る。従って、出力２２４はリスク予測２２２に基づいて先制的ケアをスケジュールすることも含み得る。上記で述べたように、医師又は他のヘルスケア専門家はスケジューリングシステムによって決定される提案スケジューリングを検討し及び／又は受諾することができる。

[037] 出力２２４は任意の適切な形で生成され得る。一部の事例では、先制的治療を受ける患者のリスト、病院、急性又は他の指定の公共医療サービスの使用に関する予測されたリスクによって編成される患者のリスト、かかるサービスを使用することの予測されたリスク及びかかるサービスが求められることが予期される予測時間又は時間範囲に応じて又は他の任意の若しくは追加の基準に応じて編成されるリストを含む１つ又は複数のレポートが生成され得る。更なる事例では、一定の臨床結果に関してリスクにさらされている患者のリスト、かかる結果の発生に関する予測されたリスクによって編成される患者のリスト、かかる結果が発生することの予測されたリスク及びかかる結果が発生する可能性が高い予測時間又は時間範囲に応じて又は他の任意の若しくは追加の基準に応じて編成されるリストを含む１つ又は複数のレポートが生成され得る。レポートは紙形式で提供することができ、又はユーザインタフェースの一部として表示され得る。例えばレポートは、所定のリスクレベルを有する（例えば所定の閾値を上回るリスクを有する）１人又は複数の患者を識別することができる。かかるレポートは、ポイントオブケアの位置において、電子健康記録システム内等で入手可能であり得る。かかるレポートは、所望の任意の周期（例えば毎日、毎週、ほぼリアルタイム等）に従って生成することができる。生成され得るレポートの一例を図５に示し、以下でより詳細に論じる。

[038] 性能モデリング２３０によって示すように、任意選択的にプロセス２００は訓練済みモデル２２０の性能をモニタリングすること及び追跡することを更に含み得る。性能モデリング２３０は、医療記録２１２及び出力２２４を含む訓練済みモデル２２０の１つ又は複数の入力又は出力をモニタし得る。これらの入力及び出力は、訓練済みモデル２２０の性能を評価するために解析され得る。一部の実施形態では、訓練済みモデル２２０の性能を評価するために、性能モデリング２３０が履歴データ、実際の結果データ、又は他のデータ等の追加データにアクセスし得る。例えば性能モデリング２３０は、図４Ｂに関して以下で更に説明するように訓練済みモデル２２０内に導入される潜在的なバイアスを識別するように構成され得る。一部の実施形態では、訓練済みモデル２２０を性能モデリング２３０の結果に基づいて調整し又は調節することができる。アラートを生成すること、出力２２４にフラグを立てること等の他の様々なアクションを性能モデリング２３０の結果に基づいて行うことができる。性能モニタリング技法に関する更なる詳細を図４Ａ及び図４Ｂに関して以下に記載する。

[039] 図３は、開示する実施形態と合致する患者のための例示的な医療記録３００を示す。医療記録３００は提供者システム２１０から受信され、医療記録３００に関連する患者が近々の医療サービスを使用すること又は近々の臨床結果を被ることが予測されるかどうかを明らかにするために訓練済みモデル２２０によって処理され得る。従って医療記録３００は、上記の医療記録２１２に対応し得る。提供者システム２１０から受信される記録は、図３に示す構造化データ３１０及び／又は非構造化データ３２０を含み得る。

[040] 構造化データ３１０は、性別、年齢、人種、体重、生命徴候、検査室の結果、診断日、診断の種類、病期分類（例えば請求コード）、治療のタイミング、行った処置、来院日、診療所の種類、保険業者及び開始日、投薬指示、薬の投与、又は患者に関する他の任意の測定可能データ等、患者に関する定量化可能な又は分類可能なデータを含み得る。非構造化データ３２０は、医師のメモ又は患者の検査報告書等、定量化できない又は容易に分類できない患者に関する情報を含み得る。非構造化データ３２０は、治療計画についての医師の記述、来院時に起きたことを記載したメモ、患者の発言又は話、患者の健康についての主観的評価又は記述、放射線報告書、病理報告書、検査報告書等の情報を含み得る。構造化データ３１０及び／又は非構造化データ３２０は処理し、訓練済みモデル２２０に入力することができる。一部の実施形態では、非構造化データは抽出プロセスによって捕捉できる一方、構造化データはヘルスケア専門家によって入力され又はアルゴリズムを使用して計算され得る。

[041] 図４Ａは、本開示と合致する実施形態を実装するための機械学習システム４００の一例を示す。機械学習システム４００は（図１に示す）システム１３０の一部として実装することができる。例えば機械学習システム４００は、処理エンジン１３１のコンポーネント、又は処理エンジン１３１を使用して行われるプロセスであり得る。開示する実施形態によれば、機械学習システム４００は、患者の近々の医療サービスの使用又は特定の臨床結果を予測するために訓練済みモデルを策定し使用することができる。例えば図４Ａに示すように、機械学習システム４００は近々の病院サービス、急性サービス、又は他の種類の公共医療サービスのリスクに関連する患者を識別するための訓練済みモデル４３０を構築することができる。機械学習システム４００は訓練プロセスによって、例えば訓練アルゴリズム４２０を使用してモデル４３０を策定することができる。

[042] モデル４３０を訓練することは、モデルを策定するために訓練アルゴリズム４２０内に入力され得る訓練データセット４１０を使用することを含み得る。訓練データ４１０は、患者医療記録４１２に関連する患者に提供される病院サービス、急性公共医療サービス、又は他の種類のヘルスケアサービスを含み得る複数の患者医療記録４１２を含むことができる。説明のための例として、医療記録４１２のそれぞれは（例えばその医療記録がアクセスされ得るシミュレートされた日付を表す）発効日に関連することができ、ヘルスケア来院データ４１４は患者が病院サービス、急性サービス、又は他の種類の公共医療サービスを必要とした発効日よりも後の日付を示し得る。従って、医療記録４１２内の様々な特徴データをヘルスケア来院データ４１４内で表されるその後の病院サービス、急性サービス、又は他の種類の公共医療サービスに関連付けるようにモデル４３０を訓練することができる。患者に提供される可能性が高いヘルスケアサービスを患者にとっての深刻度若しくは緊急度又は提供される施設若しくはサービスの種類に基づいて予測することに加え、訓練済みモデル４３０は多岐にわたる患者の来院、治療の種類、患者の臨床結果を予測するために又は他の目的で使用することができる。従って、システムが予測するよう訓練されるサービスの種類は異なり得る。一部の実施形態では、医師又は他のヘルスケア提供者が関心のあるサービスの種類を指定することができる。例えば来院の種類（例えば通院、応急手当の来院等）又は臨床結果のリストを医師に提示することができ、選択されたサービス又は結果に関連する患者リスクレベルを決定するようにシステムが構成され得る。

[043] 一部の実施形態では、訓練プロセスを促進するために訓練データ４１０を訓練アルゴリズム４２０に入力する前にクリーニングし、コンディショニングし、及び／又は操作することもできる。機械学習システム４００は１つ又は複数の特徴（又は特徴ベクトル）を記録から抽出し、特徴とその後の医療訪問との間の相関を決定するために訓練アルゴリズム４２０を適用することができる。これらの特徴は、図２に関して上記で記載した構造化データ及び／又は非構造化データから抽出され得る。一部の実施形態では、特徴は患者の性別、人種／民族性、性的指向、年齢、社会指標（例えば所得水準、教育水準、食料不足、住宅及びユーティリティサービスへのアクセス、施設への近さ、介護者へのアクセス）、又は患者の医療データ内に含めることができる他の人口学的情報等の人口学的特徴を含み得る。一部の実施形態では、特徴が患者の診断の指示、がんの病期（例えばステージ４の乳がん）、併存疾患（例えば心疾患）、有害事象（例えば敗血症）の指示、検査室の試験及び／又は結果（例えば範囲外のアルブミン）、バイタル（例えば体重、身長、血圧等）、来院（例えば疼痛専門家への来院）、指示（例えば鎮吐剤、疼痛治療薬）、処方、治療、投与（例えば高嘔吐活性を有する抗新生物薬）、性能ステータス（例えばＥＣＯＧ性能ステータス）、報告された副作用、又は構造化医療データ若しくは非構造化医療データ内で表され得る他の任意の臨床情報等の臨床データを含み得る。訓練済みモデル４３０は、かかる係数を実際のヘルスケアの使用又は実際の患者予後と相関させるように訓練され得る。一部の事例では、モデルを訓練することが、モデルパラメータ入力の何れかとヘルスケアの使用（例えばかかる使用が生じるかどうか、かかる使用が何時生じるか、かかる使用が生じる可能性、かかる使用が生じる確率等）との間の観察された相関に応じてモデルの重みが割り当てられることをもたらし得る。一部の事例では、モデルを訓練することが、モデルパラメータ入力の何れかと特定の臨床結果の発生（例えばかかる結果が生じるかどうか、かかる結果が何時生じるか、かかる結果が生じる可能性、かかる結果が生じる確率等）との間の観察された相関に応じてモデルの重みが割り当てられることをもたらし得る。

[044] 一部の実施形態では、患者が近々の特定の医療サービスを使用するかどうか又は近々の臨床結果を経験するかどうかに関する予期される関連度に基づき、訓練アルゴリズム４２０への入力として使用される特徴に重み付けすることができる。例えば、特定の診断又は特定の医療サービスの過去の使用又は任意の医療サービスの使用等の特徴は、概して医療サービスの予測される将来の使用に対して他よりも高い予期される関連度を有するとして識別され得る。同様に、特定の診断又は特定の医療サービスの過去の使用又は任意の医療サービスの使用等の特徴は、概して特定の臨床結果の予測される経験に対して他よりも高い予期される関連度を有するとして識別され得る。従って訓練アルゴリズム４２０は、訓練済みモデル４３０を訓練するとき、１つ又は複数の特徴に関連する重みを入力として得ることができる。それらの重みは様々なやり方で決定することができる。一部の実施形態では、重みを決定するために医師、看護師、研究者、保険専門家、又は他の開業医等の医療ケア提供者が相談を受けてもよい。例えば重みは調査、投票、フォーカスグループ、インタビュー、刊行物、又は医療提供者からの他の形の入力に基づき得る。

[045] 一部の実施形態では、重みがロジスティック回帰によって定められ得る。ロジスティック回帰における特徴の係数の大きさはその特徴の重要度を定め得る。例えば、より大きいことはより重要であることを示し得る。全ての予測因子が２進であるロジスティック回帰の脈絡では、或る予測因子があること（例えば検査異常があること）（即ち１の値）は係数の値による結果の対数オッズの増加を示す。従って係数が正である場合、それはその観察について正の結果を認める可能性が高まり、負の場合、その結果を認める可能性が下がることを表すことができ、他の全ての予測因子は不変である。従って係数の最も正の値は、結果が正である（例えば実際に６０日のうちにＥＲ訪問を有する）確率が最も高く増加することに関連する。従って、最も正の係数を有する所定数の予測因子（例えば１０，２０，３０，．．．Ｎの予測因子）が結果のリスクに関連する最上位の特徴として扱われてもよく、出力内で顕在化し得る。勾配ブーストツリー、シャプレイ値、ジニ不純度等の他の様々な方法又は他の手法が使用され得る。

[046] モデル４３０が構築されると、医療記録４３２等の入力データがモデル４３０内に入力され得る。医療記録４３２は、上記の医療記録２１２及び／又は３００に対応し得る。例えば医療記録４３２は複数の患者に関連する構造化データ及び非構造化データを含むことができ、そのため各患者は１つ又は複数の医療記録に関連する。訓練済みモデル４３０は医療記録４３２から（これだけに限定されないが医療記録４１２に関して上記で記載したものを含み得る）特徴を抽出して出力４５０を生成することができる。一部の実施形態では、医療記録４３２は訓練済みモデル４３０内に入力される前に処理され得る。かかる処理は、非構造化データ及び／又は構造化データ、画像解析（例えば光学的文字認識（ＯＣＲ））、自然言語処理ツール、又は他の様々な方法から特徴を抽出することを含み得る。一部の実施形態では、訓練済みモデル２２０への入力が他のシステムからの機械学習出力を含み得る。例えば他のシステムからの機械学習出力は、転移性疾患を有する患者のリスクを予測するように訓練される転移の自然学習処理モデルを含み得る。患者が特定の転移性疾患を有する予測される確率は訓練済みモデル２２０への入力として提供され得る。

[047] 出力４５０は、上記のリスク予測２２２に対応し得るリスク予測４５２を含み得る。リスク予測４５２は、所定期間内に一定の種類の（例えば病院での又は急性ケア）医療サービスを必要とする又は使用することが予期される医療記録４３２に関連する患者を識別し、又は所定期間内に一定の臨床結果を経験する可能性が高い患者を識別することができる。これらのリスク予測は様々なやり方で提示することができる。一部の実施形態では、特定の患者のリスクが２進であり得る。例えば患者は（１若しくは０又は他の様々な形で表され得る）「高リスク」又は「低リスク」として指定され得る。一部の実施形態では、リスクが例えば０から１まで等の確率として示され得る（例えば患者は６０日以内に病院でのケアを受ける０．６７の確率を有する）。患者が近々の医療ケアを受ける可能性に加えて（又はその代わりとして）、リスク予測４５２は患者又は患者群に関する他の予測を含み得る。例えばかかる予測は、予測される入院、ＩＣＵ入院、患者死亡率、有害事象（例えば敗血症、発熱性好中球減少症等）、及び／又は上記のものの組み合わせを含み得る。例えば患者が所定の日数のうちに来院、入院、又はＩＣＵ入院することが予測される場合、リスク予測４５２は「急性ケアの結果」を含み得る。

[048] 一部の実施形態では、出力４５０が上記の１つ又は複数のレポートを含み得る。例えばレポートは、所定期間内に救急医療サービス又は他の医療サービスを使用することが予期される患者（例えば「高リスク」として指定されている患者等）のリストを含み得る。一部の実施形態では、レポートが「高リスク」の患者及び「低リスク」の患者の両方を含み得る。例えばレポートは特定の群に属する患者を含み得る。かかる患者は、特定の医学的条件を有する患者、特定の医療提供者の患者、特定の人口統計の患者等を含み得る。一部の実施形態では、患者が提供者システム２１０によって識別され得る。例えば患者は特定のクエリの一部として識別され得る。一部の実施形態では、レポートが特定の可能性閾値（例えば５０％、６０％、７０％、８０％、９０％、９９％等）又は信頼値閾値を上回る患者だけを含み得る。一部の実施形態では、閾値が効率及び性能の所望のレベルに基づいて調節可能であり得る。例えばシステム１３０は、レポート内に含めるための可能性閾値（threshold likelihood）を調節することを含み得る、モデルの性能を調整するためのユーザ入力を受信するように構成され得る。

[049] 一部の実施形態では、出力４５０の一部として１つ又は複数の先制的ケアの推奨４５４を生成するようにシステム１３０が構成され得る。先制的ケアの推奨４５４は、訓練済みモデル４３０の直接の出力とすることができ、又はリスク予測４５２に基づくその後のステップとして生成され得る。先制的ケアの推奨（本明細書では「推奨される介入」とも呼ぶ）は、患者の治療又はケアのための任意の時間ベースの推奨を含み得る。例えば先制的ケアの推奨は、特定のケア提供者の推奨される予約、在宅患者訪問、特定の治療計画又は施設に患者を登録すること、患者のための処方薬を処方又は補充すること、患者に治療を行うこと、患者を受け付けるための電話をかけること、又はスケジューリングされ得る患者のケアに関連する他の任意の事象を含み得る。一部の実施形態では、先制的ケアの推奨は、患者に関する近々の不所望の医療サービス（例えば病院でのケア）のリスクをなくす若しくは減らすこと又は近々の不所望の臨床結果をなくす若しくは減らすことが予期され得る。例えば訓練済みモデル４３０は、今後９０日以内に病院でのケアを患者が使用することが予期されることを医療記録４３２内の一定の特徴が示すと判定し得る。従ってシステム１３０は、不所望の近々の医療サービス又は臨床結果のリスクを減らし得る先制的治療、健康診断、又は他の先制的ケアをスケジューリングすることができる。

[050] 一部の実施形態では、先制的ケアの推奨が患者の来院に関する全般的な推奨（例えば近々の来院に関して患者にフラグを立てること等）として表され得る。一部の実施形態では、先制的ケアの推奨は、患者の来院又は他の先制的ケアが推奨される特定の日付又は日付範囲を含み得る。例えば先制的ケアの推奨は、患者の来院又は先制的治療を特定の日付及び／又は時間（例えば次の火曜日の９：００ＡＭ）にスケジュールすることであり得る。一部の実施形態では、先制的ケアの推奨が複数の患者に関して策定され得る。例えばシステム１３０は、患者のそれぞれを翌週訪問するためのスケジュールを策定し得る。従って各患者を異なる時間に診て重複を回避するよう、システム１３０はスケジューリングの推奨を生成するように構成され得る。一部の実施形態では、スケジューリングの推奨が特定の開業医又は介護者のためのものであり得る。例えば或るクリニックが往診を行う３人の介護者を有する場合、スケジューリングの推奨はレポート内に含まれる患者をその３人の介護者の１人に割り当てることができ、３人の介護者のそれぞれについて別個のスケジュールを生成し得る。この形態は、様々な要因に基づいてスケジュールを最適化することを含み得る。例えば同じ日に互いの所定の距離内に位置する患者を特定の介護者が診るようにスケジュールを策定することができ、又は他の様々な最適化。一部の実施形態では、システム１３０がヘルスケア提供者及び／又は患者の現在のスケジュールにアクセスすることができ、（例えば重複を回避するために、他の事象をスケジュールし直すために等）現在のスケジュールに基づいてスケジューリングの要件を生成することができる。

[051] 一部の実施形態では、レポート及び／又は先制的ケアの推奨（例えば患者の来院のスケジューリング）が患者ごとの優先レベルに基づいて策定され得る。優先レベルは患者間の相対的な優先順位を示す任意の情報であり得る。優先順位は様々な要因に基づき得る。例えば、病院での又は他の種類の医療サービスを特定の期間内に使用する可能性がより高い患者により高い優先順位を与えることができる。一部の実施形態では、訓練済みモデル４３０は患者が近々の医療サービスを使用することが予期される予定日も出力し得る。従って、優先順位は患者がどの程度早く医療サービスを必要とする又は使用することが予期されるのかに基づき得る。優先順位は、患者の医学的条件、条件の深刻度、予期される臨床結果、患者によって必要とされることが予期される処置の緊急度、予期される救急サービス又は他のサービスの緊急度、患者の年齢等の他の要因又は他の様々な要因に基づき得る。レポートは患者の優先レベルに基づいてソート又はフィルタすることができる。一部の実施形態では、先制的ケアの推奨も優先レベルに基づき得る。例えば優先順位が低い患者への訪問の前に優先順位が最も高い患者の訪問をスケジュールするように、予約のスケジュールを自動で生成することができる。

[052] 一部の実施形態では、機械学習システム４００が、図２に関して上記で記載した性能モニタリング２３０に対応し得る性能モニタリングコンポーネント４６０を含み得る。性能モニタリングコンポーネント４６０は、モデル４３０の性能を評価するためにモデル４３０の入力及び／又は出力をモニタするように構成され得る。性能モニタリングは、例えばデータ品質モニタリング、予測の性能モニタリング、及び予測のバイアスモニタリングを含み得る。一部の実施形態では、性能モニタリングコンポーネント４６０がモデル４３０への異常な入力を検出するように構成され得る。例えば近々の医療サービスの使用又は近々の臨床結果の可能性を確信的に予測するようモデル４３０は訓練され得るが、異常な入力値が結果に影響を及ぼす場合がある。従って図４Ａに示すように、性能モニタリングコンポーネント４６０がモデル４３０内への入力を解析することができる。かかる解析は、救急サービス又は医療サービス全般の過去の使用、医療診断、検査室の結果、生命徴候、年齢、民族性、性別、病期、処方された薬剤、薬の用量、報告された副作用、指示された治療、又は他の任意の関連要因等、上記の特徴の１つ又は複数を観察することを含み得る。性能モニタリングコンポーネント４６０はこれらの入力される特徴に対して統計的解析を行い、それらの特徴に関する異常値を検出することができる。

[053] 一部の実施形態では、かかる解析は入力される特徴に関する履歴データを追跡し、現在の入力を履歴データと比較することを含み得る。この比較は様々なやり方で行うことができる。一部の実施形態では、統計的解析は移動平均（例えば単純移動平均、指数移動平均、平滑移動平均、線形加重移動平均等）を保ち、現在の入力を移動平均の値と比較することを含み得る。移動平均値と現在の入力との差が閾値相違度を上回る場合、その入力を異常として印付けすることができる。例として移動平均を与えたが、他の様々な統計的解析を使用できることが理解されよう。

[054] 異常な入力値を検出する代わりに又はそれに加えて、性能モニタリング４６０はモデルの性能低下の他の潜在的原因を解析することができる。一部の実施形態では、性能モニタリングコンポーネント４６０が例えば患者に関する幾つかの新規の遭遇を追跡することによって陳腐なデータフィードを検出することができる。かかる検出は、例えばテーブルにわたるソースデータフィード内の増分行数を追跡することにより、選択されたデータ（例えばテーブル）のサブセットが陳腐化したかどうかを判定することも含み得る。性能は、特定のデータフィールドとのラグを検出すること、予測の不正確さを検出すること、予測のバイアスを検出すること等に基づくこともできる。

[055] 一部の実施形態では、性能モニタリング４６０は、訓練済みモデル４３０内に訓練され得るバイアスを識別し定量化するための機能を含み得る。バイアスのかかった予測を生成することを回避するために、管理者又は他のユーザはこの識別及び定量化に基づいて訓練済みモデル４３０を訂正することができる。かかるバイアスは、図４Ａに関して上記で記載した訓練済みモデル４３０の訓練プロセス中に発展し得る。例えば民族群又は他の群間の医療ケアへの不平等なアクセス等、一部の事例では訓練データセット４１０が医療ケアに関連する固有の社会的バイアスを意図せず反映することがある。訓練済みモデル４３０はこのデータに基づいて策定されるので、訓練済みモデル４３０はこの不平等を「学習する」可能性があり、様々な人種又は他の社会的集団間で医療ケアの使用を予測する際にバイアスを含める可能性がある。

[056] 訓練データセット４１０からのバイアスをリスク予測４５２及び／又は先制的ケアの推奨４５４内に存続させることを回避するために、性能モニタリングシステム４６０は出力４５０を解析して様々な群間の潜在的なバイアスを定量化することができる。図４Ｂは、開示する実施形態と合致する、性能モニタリングシステム４６０を使用して実行され得るバイアスモニタリング４８０の一例を示す。このモニタリングは、複数の患者群のための較正係数を決定することを含み得る。例えば図４Ｂに示すように、複数の民族群（例えばアジア人、黒人、ヒスパニック、白人、その他等）について較正係数を決定することができる。関心のある群ごとに較正係数をＣＦ＝（Ａｖｇ．ＥＲ Ｕｓｅ）－（Ａｖｇ．Ｐｒｅｄｉｃｔｅｄ Ｒｉｓｋ）として定めることができ、ＣＦは較正係数であり、群内の特定の医療サービス（例えば病院又は急性医療サービス）の平均利用度から特定の医療サービスの平均予測リスクを引いた差を表す。モデル４３０の正確さを確かめるために、これらの値は遡及的に決定され得る。

[057] 理想的には、較正係数（ＣＦ）は所与の任意の群についてゼロになり、そのモデルが群のリスクを正確に予測していることを示す。非ゼロの較正係数は、モデルが群のリスクを不正確に予測していることを示すことができ、そのことはとりわけ或る群の較正係数が他の群と比較して異なる場合にモデル内のバイアスを示し得る。ゼロを上回る較正係数はモデルが特定の群のリスクを系統的に過小予測していることを示すことができ、ゼロ未満の較正係数はモデルが群のリスクを系統的に過大予測していることを示し得る。例えば較正係数４８２は過大予測を示し得るのに対し、較正係数４８４は過小予測を示し得る。一部の実施形態では、性能モニタリングシステム４６０が信頼区間４９２及び４９４等の較正係数に関連する他の統計値を決定することもできる。例えば信頼区間４９２及び４９４は範囲を表すことができ、かかる範囲内でモデルは真の較正係数が範囲内にある９５％の信頼レベル（又は９９％、９０％等の他の様々な信頼レベル）を有する。較正係数及び／又は信頼区間は、層別サンプリング又は他の任意の適切なサンプリング方法を使用して決定することができる。

[058] 決定される較正係数に基づき、モデル内のバイアスを識別しそれに対処することができる。例えば管理者は較正係数４８４に関連するリスクを過小予測することにおける系統的バイアスを認識することができ、必要な是正措置を取ることができる。例えばかかる是正措置は、モデルを訓練し直すこと、モデル内の１つ又は複数の変数に補正係数を適用すること、この群に関連する予測にフラグを立てること、（例えばクライアント装置１１０、提供者システム２１０等への）アラートを生成すること、又は実行され得る他の様々な制御アクションを含み得る。図４Ｂは人種のバイアスに関連する較正係数を示すが、性能モニタリングシステム４６０は性別、性的指向、民族性、宗教、社会階級を含む他の群又は他の様々な群に基づくバイアスを同様にモニタすることができる。

[059] 一部の実施形態では、バイアスは訓練データセット４１０及び医療記録４３２をモニタし、訓練データセット４１０内に含めるためのデータ及び医療記録を適切に選択することによって回避し又は最小化することができる。例えば患者に関連する医療記録であって、含まれる結果がリスクに関するより直接的なプロキシであり患者の健康をより十分に捕捉する、医療記録を選択することによる、高度なデータの完全性を有する所与の患者群のサブコホートを使用することによる。更なる実施形態では、所与の患者群に関連する係数を調べる間、その群のための訓練済みモデル４３０内に変数を投入することができる。

[060] 一部の実施形態では、観察された結果と突き合わせてリスク予測を調べて予測の正確さを追跡することによって性能のモニタリングを実現することができる。

[061] 図５は、開示する実施形態と合致する、特定の医療サービスの近々の使用のリスクが高い患者を識別するレポート５００の一例の図である。例えばレポート５００は、近々の病院での医療サービスの使用が特定の閾値を上回る可能性を有する（患者１、患者２、患者３、患者４、及び患者５として識別する）患者群を含み得る。レポート５００は特定の期間に関連し得る。例えばレポート５００は、所定の窓（例えば翌週、今後３０日、今後６０日、今後９０日等）のうちに病院での医療サービス来院を使用するリスクを有する任意の患者を含み得る。この所定の時間窓は既定値とすることができ、医師によって（例えばクライアント装置１１０経由で）選択されてもよく、又は他の様々なやり方で定めることができる。一部の実施形態では、レポート５００は最近の遭遇（例えば最近の医療訪問、自らの医療記録に対する最近の更新等）のあった患者を含み得る。例えばレポート５００は、昨日、この３日間、この１週間、この１カ月間等のうちに遭遇した患者を含み得る。一部の実施形態では、レポート５００内の患者が提供者システム２１０によって定められ得る。例えばクエリが特定の患者、（例えば特定の特徴を含む）特定の患者のカテゴリ等を定め得る。

[062] 図５に示すように、レポート５００は患者の性別又は誕生日等の人口学的情報を含み得る。患者の人種／民族性、性別、性的指向、遭遇日、患者識別子、高齢者向け医療保険制度に登録されているかどうか、又は他の様々な情報等の他の様々な人口学的情報がレポート５００内に含まれ得る。一部の実施形態では、どの情報を含めるのかをユーザが定めることができるように、レポート５００がカスタマイズ可能であり得る。

[063] レポート５００は、予測される可能性の決定に関する基礎を識別する情報を含むこともでき、又はかかる基礎を表すこともできる。例えば図５に示すように、レポート５００は特定のリスク要因が各患者に該当するかどうかについての幾つかのリスク予測因子及びインジケータ（例えばインジケータ５０１）を含み得る。図５に示す例では、レポート５００は患者に関連する生命徴候、検査室の結果、一定期間内の医療指示、患者の来院、又は診断情報を含み得る。上記で説明したように、レポート５００は訓練済みモデルに対する所定数の最も関連性のある特徴を表し得る。一部の実施形態では、レポート５００は近々の医療ケアの患者の全体的なリスクを示す全体的リスク評価も含み得る。例えばレポート５００は、個人患者が病院での又は他の医療サービスを近々使用し得る可能性を示す指標、数、又は値域を含み得る。図５には不図示だが、レポート５００はかかる近々の医療サービスを特定の患者が使用することが予測され得る時間、時間範囲等の推定も提供し得る。一部の実施形態では、近々の臨床結果のリスクが高い患者を識別するために同様のレポートが生成され得る。

[064] 図６は、開示する実施形態と合致する、ヘルスケアサービス又は臨床結果を予測するためのプロセス６００の一例を示す流れ図である。プロセス６００は、上記の処理エンジン１３１等の少なくとも１つの処理装置によって実行され得る。本開示の全体を通して、「プロセッサ」という用語は「少なくとも１つのプロセッサ」の略記として使用することを理解すべきである。換言すれば、プロセッサは論理演算を行う１つ又は複数の構造を、かかる構造が一緒に配置されても、接続されても、又は分散されても含み得る。一部の実施形態では、プロセッサによって実行されるときプロセス６００をプロセッサに行わせる命令を非一時的コンピュータ可読媒体が含み得る。更に、プロセス６００は図６に示すステップに必ずしも限定されず、図１～図５に関して上記で記載したものを含め、本開示の全体を通して記載した様々な実施形態の任意のステップ又はプロセスもプロセス６００内に含まれ得る。

[065] ステップ６１０で、プロセス６００は患者に関連する医療記録を記憶するデータベースにアクセスすることを含み得る。システム１３０は、患者医療記録をローカルデータベース１３２から又はデータソース１２０等の外部データソースからアクセスすることができる。例えば、医療記録２１２が提供者システム２１０によって提供され得る。医療記録は、テキストファイル、画像ファイル、ＰＤＦファイル、ＸＬＭファイル、ＹＡＭＬファイル等の１つ又は複数の電子ファイルを含み得る。上記のように医療記録は構造化データ（例えば構造化データ３１０）及び／又は非構造化データ（例えば非構造化データ３２０）を含み得る。

[066] ステップ６２０で、プロセス６００は医療記録を解析して患者の特性を識別することを含み得る。患者の特性は、医療記録内の非構造化データ又は構造化データ内で表される任意の特性を含み得る。例えば特性は、患者による医療サービスの過去の使用、患者に関する医療診断の指示、患者に関する検査室及び／又は診断試験結果、患者に関する生命徴候、又は上記の他の様々な特性（例えば特徴）を含み得る。一部の実施形態では、上記のように医療記録が患者に関連する構造化データを含み得る。従って、医療記録を解析することは構造化データを解析することを含み得る。同様に、医療記録は患者に関連する非構造化データを含むことができ、医療記録を解析することは非構造化データを解析することを含み得る。

[067] ステップ６３０で、プロセス６００は、患者が所定期間内に医療サービスを必要とする又は所定期間内に特定の臨床結果を経験する可能性を示す患者リスクレベルを患者の特性に基づいて及び訓練済みの機械学習モデルを使用して決定することを含み得る。例えば図４に関して上記で説明したように、リスク予測４５２を生成するために訓練済みモデル４３０を使用することができる。所定期間は、医療記録データに基づいて医療サービスの使用が予測され得る任意の適切な期間とすることができる。例えば上記で説明したように、所定期間は１週間未満、１カ月未満、３カ月未満、又は他の任意の期間とすることができる。一部の実施形態では、所定期間を既定値として定めることができる。他の実施形態では、所定期間がユーザによって定められる（例えばヘルスケア提供者、管理者又は他のユーザ等によって定められる）期間であり得る。一部の実施形態では、機械学習モデルがロジスティック回帰に基づいて重み付けされる臨床学的因子に基づいて訓練されている。例えば訓練アルゴリズム４２０内に入力される特徴の相対的なランキングを定めるために、ロジスティック回帰又は他の重み付けアルゴリズムを使用することができる。上記で説明したように、因子は調査、フォーカスグループ、訓練プロセス等によって得られる入力に基づいて重み付けすることができる。

[068] ステップ６４０で、プロセス６００は患者リスクレベルを所定のリスク閾値と比較することを含み得る。所定のリスク閾値は、どの患者をレポートに含めるべきかを定める任意の値（例えば数、パーセンテージ、２進値等）であり得る。従ってステップ６５０で、プロセス６００は患者のための推奨される介入を示すレポートを比較に基づいて生成することを含み得る。例えば上記で説明したように、システム１３０は訓練済みモデル４３０の出力としてレポート５００を生成することができる。一部の実施形態では、プロセス６００はレポートをヘルスケアエンティティに伝送することを更に含み得る。例えば上記で説明したように、レポートは提供者システム２１０に伝送され得る。レポートは、クライアント装置１１０等の提供者システムのクライアント装置上で表示されるように構成され得る。上記で説明したように、患者のための推奨される介入は患者のケアに関連する任意の事象を含み得る。例えば推奨される介入は、推奨される治療、患者査定、在宅ケア訪問、処方又は補充、受け付けの電話等を含み得る。推奨は、介入のための明確な推奨（例えば「推奨：「患者３」の往診を次の火曜日の３：００ＰＭに行う」）とすることができ、又は（例えば患者がレポートに含まれることによる）暗黙的な推奨であり得る。

[069] ステップ６６０で、プロセス６００は複数の患者の第１の群について平均患者リスクレベルと実際の平均ヘルスケアサービス利用度との差を示す較正係数を決定することを含み得る。例えば較正係数は、図４Ｂに関して上記で説明した較正係数４８２に対応し得る。第１の患者群は共通の特色又は特性を共有し得る。上記で説明したように、一部の実施形態では共通の特性が共通の人口学的分類であり得る。一部の実施形態では、ステップ６６０は特定の信頼度に関連する較正係数のための値の範囲を表す信頼区間を決定することを更に含み得る。例えば信頼係数は、図４Ｂに関して上記で記載した信頼係数４９２に対応し得る。

[070] ステップ６５０で、プロセス６００は複数の患者の第２の群に対する第１の群に関連するバイアスを較正係数に基づいて決定することを含み得る。第２の患者群は第１の群と異なる少なくとも１つの特色又は特性を有し得る。例えば上記で論じたように、第１の群は第１の民族性を有する患者を含むことができ、第２の群は第２の民族性を有する患者を含む。一部の実施形態では、プロセス６００はバイアスを検出することに基づいて追加のアクションを行うことができる。例えばプロセス６００は、バイアスを示すレポートを生成することを更に含み得る。

[071] 上記で説明したように、本システムは、患者の来院又は他の推奨される介入のためのスケジュールを生成するように更に構成され得る。従ってプロセス６００は、患者のための先制的治療、介入、又は来院の少なくとも１つを閾値との比較に基づいてスケジューリングすることを更に含み得る。一部の実施形態では、推奨される介入が医療サービスの需要を防ぎ又はなくすことが意図され得る。例えば特定の有害事象に関して緊急治療室の訪問を患者が必要とすることが予期される場合、推奨される介入は有害事象の発生を防ぐために有害事象に関係する条件を標的とすることができる。一部の実施形態では、プロセス６００は、上記で説明したように患者リスクレベルに基づいて患者の優先レベルを生成することを更に含み得る。従って推奨される介入は、優先レベルに基づいてスケジュールされ得る。一部の実施形態では、レポートを生成することが、所定期間内に介入を受ける複数の患者のリスト内に患者を含めることを含み得る。かかる実施形態では、リストは複数の患者の予測患者リスクレベル又は複数の患者のための医療サービスの予測時間枠の少なくとも１つに基づいて編成され得る。

[072] 一部の実施形態では、複数の患者のためのレポートを生成することができる。従って、プロセス６００は複数の患者のための推奨される介入を示すレポートを生成し、所定期間内の複数の患者のための推奨される介入をレポートに基づいてスケジューリングすることを更に含み得る。

[073] 図７は、開示する実施形態と合致する、潜在的なバイアスに関して機械学習モデルを評価するためのプロセス７００の一例を示す流れ図である。プロセス７００は、上記の処理エンジン１３１等の少なくとも１つの処理装置によって実行され得る。プロセス７００は、上記の性能モニタリング４６０によって行われるプロセスに関連し得る。一部の実施形態では、プロセッサによって実行されるときプロセス７００をプロセッサに行わせる命令を非一時的コンピュータ可読媒体が含み得る。更に、プロセス７００は図７に示すステップに必ずしも限定されず、図１～図６に関して上記で記載したものを含め、本開示の全体を通して記載した様々な実施形態の任意のステップ又はプロセスもプロセス７００内に含まれ得る。

[074] ステップ７１０で、プロセス７００は機械学習モデルから複数の出力を受信することを含み得る。出力は、複数の患者に関連する医療記録に基づく複数の患者に関する予測を含み得る。例えば機械学習モデルは訓練済みモデル２２０（又は訓練済みモデル４３０）に対応することができ、従って出力は上記の出力２２４（又は出力４５０）に対応し得る。

[075] ステップ７２０で、プロセス７００は複数の患者に関連する複数の実際の結果にアクセスすることを含み得る。実際の結果は、出力内に含まれる複数の患者に関する予測が正しかったかどうかを示し得る。例えば特定の医療サービスを必要とする患者のリスクの予測（リスク予測４５２等）を出力が含む場合、実際の結果はその患者が特定の医療サービスを受けたかどうかの指示を含み得る。別の例として、結果は患者に関して予測される臨床結果を含むことができ、実際の結果はその患者が予測された臨床結果を経験したかどうかを示し得る。従って実際の結果データは、出力が生成された後で収集され得る。一部の実施形態では、かかる収集は複数の患者に関する更新済みの医療記録にアクセスすることを含み得る。一部の実施形態では、実際の結果が訓練データセット４１０等の訓練データセット内に含まれ得る。従って、プロセス７００は訓練済みモデルのための訓練フェーズ中に実行され得る。

[076] ステップ７３０で、プロセス７００は、複数の患者の第１の群について予測と実際の結果との差を示す較正係数を決定することを含み得る。例えばステップ７３０は、図４Ｂに関して上記で説明したように較正係数４８２を決定することを含み得る。従って較正係数は、第１の群内の特定の医療サービス（例えば病院又は急性医療サービス）の平均利用度から特定の医療サービスの平均予測リスクを引いた差を表し得る。患者群は様々な特性に基づいて定めることができる。一部の実施形態では、第１の群は特定の民族群（例えばアジア人、黒人、ヒスパニック、白人、その他等）の患者を含むことができる。第１の群は性別、性的指向、民族性、宗教、社会階級、又は他の様々な患者群等の他の要因に基づいて決定することができる。一部の実施形態では、プロセス７００は較正係数に関連する他の統計値を決定することを含み得る。例えば信頼区間４９２等、プロセス７００は特定の信頼度に関連する較正係数のための値の範囲を表す信頼区間を決定することを更に含み得る。

[077] ステップ７４０で、プロセス７００は複数の患者の第２の群に対する第１の群に関連するバイアスを較正係数に基づいて検出することを含み得る。上記で述べたように、第１の群及び第２の群はモデル内のバイアスを反映し得る様々な社会的要因に基づいて選択され得る。例えば第１の群は第１の民族性を有する患者を含むことができ、第２の群は第２の民族性を有する患者を含むことができる。従ってバイアスは、訓練データ内に固有の患者の民族性に基づくバイアスを反映し得る。このバイアスは様々なやり方で検出することができる。一部の実施形態では、複数の群間で較正係数を比較することに基づいてバイアスを検出することができる。例えばプロセス７００は、複数の患者の第２の群に関する予測と実際の結果との差を示す更なる較正係数を決定することを含み得る。例えばプロセス７００は、図４Ｂに関して上記で説明したように較正係数４８４を決定することを含み得る。従ってバイアスを検出することは、較正係数を更なる較正係数と比較することを含み得る。

[078] 一部の実施形態では、プロセス７００はバイアスを検出することに基づいて行われる追加のアクションを含み得る。例えばプロセス７００は、バイアスを示すレポートを生成することを含み得る。例えばレポートは生成され、ユーザ又は他の管理者、ヘルスケア提供者等に伝送され得る。図４Ｂに関して上記で説明したように、一部の実施形態ではプロセス７００は機械学習モデルを訓練し直すこと、補正係数を適用すること、又は複数の出力にフラグを立てることの少なくとも１つに関する推奨を行うことを含み得る。

[079] 上記の説明は例示目的で示してきた。上記の説明は網羅的ではなく開示した厳密な形態又は実施形態に限定されない。本明細書を検討すること及び開示した実施形態を実践することによって修正及び適応が当業者に明らかになる。加えて、開示した実施形態の態様はメモリ内に記憶されるものとして説明したが、それらの態様は二次記憶装置、例えばハードディスク若しくはＣＤ ＲＯＭ、又は他の形式のＲＡＭ若しくはＲＯＭ、ＵＳＢメディア、ＤＶＤ、Blu-ray、4K Ultra HD Blu-ray、又は他の光ドライブメディア等の他の種類のコンピュータ可読媒体上にも記憶できることを当業者なら理解されよう。

[080] 記載した説明及び開示した方法に基づくコンピュータプログラムは経験を積んだ開発者の技能に含まれる。様々なプログラム又はプログラムモジュールは当業者に知られている技法の何れかを使用して作成することができ、又は既存のソフトウェアに関連して設計することができる。例えばプログラムセクション又はプログラムモジュールは、.Net Framework、.Net Compact Framework（及びVisual Basic、C等の関係する言語）、Java、Python、R、C++、Objective-C、ＨＴＭＬ、ＨＴＭＬ／ＡＪＡＸの組み合わせ、ＸＭＬ、又は含まれたJavaアプレットを有するＨＴＭＬの中で又はそれらによって設計され得る。

[081] 更に、本明細書では例示的実施形態を記載してきたが、本開示に基づいて当業者によって理解されるように、等価の要素、修正、省略、（例えば様々な実施形態にわたる態様の）組み合わせ、適応及び／又は変更を有する任意の及び全ての実施形態の範囲。特許請求の範囲における制限は、特許請求の範囲の中で使用する言語に基づいて広く解釈されるべきであり、本明細書に記載した例又は本願の遂行中の例に限定されない。それらの例は非排他的と解釈すべきである。更に、開示した方法のステップはステップを並べ替えること及び／又はステップを挿入すること若しくは削除することを含む任意のやり方で修正することができる。従って、本明細書及び例は専ら例示として検討され、真の範囲及び趣旨は添付の特許請求の範囲及びその等価物の全ての範囲によって示されることを意図する。

Claims (19)

1. ヘルスケアサービスを予測するためのモデル援用システムであって、
   複数の患者に関連する医療記録を記憶するデータベースにアクセスすること、
   前記複数の患者の患者に関連する医療記録を解析して前記患者の特性を識別すること、
   関心のあるヘルスケアサービスの選択された種類の指示を受信することであって、前記ヘルスケアサービスの選択された種類はヘルスケアサービスの複数の種類からユーザによって選択されている、受信すること、
   前記医療記録がアクセスされる日付から所定期間内に、前記患者が前記ヘルスケアサービスの選択された種類に対応するヘルスケアサービスを必要とする可能性を示す患者リスクレベルを前記患者の特性に基づいて及び訓練済みの機械学習モデルを使用して決定することであって、前記機械学習モデルは、
   複数の訓練医療記録、前記複数の訓練医療記録のそれぞれに関するシミュレートされた発効日、及び前記複数の訓練医療記録のそれぞれに関する対応するヘルスケアサービスの日付を含む訓練データにアクセスすることであって、前記シミュレートされた発効日は前記複数の訓練医療記録のそれぞれがアクセスされるシミュレートされた日付を表す、アクセスすること、
   前記複数の訓練医療記録から特徴を抽出すること、及び
   訓練アルゴリズムを使用して前記抽出された特徴のそれぞれのためのモデル重みを生成すること
   を行うように構成される機械学習システムを使用して訓練されている、決定すること、
   前記患者リスクレベルを所定のリスク閾値と比較すること、
   前記患者のための推奨される介入を示すレポートを前記比較に基づいて生成すること、
   前記患者のための前記推奨される介入をスケジュールすることであって、前記推奨される介入は前記患者の優先レベルを前記複数の患者のうちの少なくとも１人の更なる患者の優先レベルと比較することに基づいてスケジュールされている、スケジュールすること、
   前記複数の患者の第１の群について平均患者リスクレベルと実際の平均ヘルスケアサービス利用度との差を示す第１の較正係数を決定すること、
   前記第１の較正係数と、前記複数の患者の第２の群に関連する第２の較正係数との比較に基づいて、前記複数の患者の前記第２の群に対する前記第１の群に関連するバイアスを決定すること、及び
   前記決定したバイアスに基づき、前記訓練済みの機械学習モデルの少なくとも１つの変数に補正係数を適用すること
   を行うようにプログラムされる少なくとも１つのプロセッサ
   を含む、システム。
2. 前記医療記録が前記患者に関連する構造化データを含み、前記医療記録を解析することが前記構造化データを解析することを含む、請求項１に記載のシステム。
3. 前記医療記録が前記患者に関連する非構造化データを含み、前記医療記録を解析することが前記非構造化データを解析することを含む、請求項１に記載のシステム。
4. 前記患者の特性が前記患者による医療サービスの過去の使用を含む、請求項１に記載のシステム。
5. 前記患者の特性が前記患者に関する医療診断の指示を含む、請求項１に記載のシステム。
6. 前記患者の特性が前記患者に関する検査室又は診断試験結果の少なくとも１つを含む、請求項１に記載のシステム。
7. 前記患者リスクレベルに基づいて前記患者の前記優先レベルを生成するように前記少なくとも１つのプロセッサが更に構成される、請求項１に記載のシステム。
8. 前記複数の患者のための推奨される介入を示すレポートを生成すること、及び
   前記所定期間内の前記複数の患者のための前記推奨される介入を前記レポートに基づいてスケジュールすること
   を行うように前記少なくとも１つのプロセッサが更に構成される、請求項１に記載のシステム。
9. 前記バイアスを示すレポートを生成するように前記少なくとも１つのプロセッサが更に構成される、請求項１に記載のシステム。
10. 前記第１の群が第１の民族性を有する患者を含み、前記第２の群が第２の民族性を有する患者を含む、請求項１に記載のシステム。
11. 特定の信頼度に関連する前記第１の較正係数のための値の範囲を表す信頼区間を決定するように前記少なくとも１つのプロセッサが更に構成される、請求項１に記載のシステム。
12. ヘルスケアサービスを予測するためのコンピュータ援用方法であって、
    複数の患者に関連する医療記録を記憶するデータベースにアクセスすること、
    前記医療記録を解析して前記患者に関連する特性を識別すること、
    関心のあるヘルスケアサービスの選択された種類の指示を受信することであって、前記ヘルスケアサービスの選択された種類はヘルスケアサービスの複数の種類からユーザによって選択されている、受信すること、
    前記医療記録がアクセスされる日付から所定期間内に前記患者が前記ヘルスケアサービスの選択された種類に対応するヘルスケアサービスを必要とする可能性を示す患者リスクレベルを前記患者の特性に基づいて及び訓練済みの機械学習モデルを使用して決定することであって、前記機械学習モデルは、
    複数の訓練医療記録、前記複数の訓練医療記録のそれぞれに関するシミュレートされた発効日、及び前記複数の訓練医療記録のそれぞれに関する対応するヘルスケアサービスの日付を含む訓練データにアクセスすることであって、前記シミュレートされた発効日は前記複数の訓練医療記録のそれぞれがアクセスされるシミュレートされた日付を表す、アクセスすること、
    前記複数の訓練医療記録から特徴を抽出すること、及び
    訓練アルゴリズムを使用して前記抽出された特徴のそれぞれのためのモデル重みを生成すること
    を行うように構成される機械学習システムを使用して訓練されている、決定すること、
    前記患者リスクレベルを所定のリスク閾値と比較すること、
    前記患者のための推奨される介入を示すレポートを前記比較に基づいて生成すること、
    前記患者のための前記推奨される介入をスケジュールすることであって、前記推奨される介入は前記患者の優先レベルを前記複数の患者のうちの少なくとも１人の更なる患者の優先レベルと比較することに基づいてスケジュールされている、スケジュールすること、
    前記複数の患者の第１の群について平均患者リスクレベルと実際の平均ヘルスケアサービス利用度との差を示す第１の較正係数を決定すること、
    前記第１の較正係数と、前記複数の患者の第２の群に関連する第２の較正係数との比較に基づいて、前記複数の患者の前記第２の群に対する前記第１の群に関連するバイアスを決定すること、及び
    前記決定したバイアスに基づき、前記訓練済みの機械学習モデルの少なくとも１つの変数に補正係数を適用すること
    を含む、方法。
13. 前記医療記録が前記患者に関連する構造化データを含み、前記医療記録を解析することが前記構造化データを解析することを含む、請求項１２に記載の方法。
14. 前記医療記録が前記患者に関連する非構造化データを含み、前記医療記録を解析することが前記非構造化データを解析することを含む、請求項１２に記載の方法。
15. 前記患者の特性が前記患者による医療サービスの過去の使用を含む、請求項１２に記載の方法。
16. 前記患者の特性が前記患者に関する医療診断の指示を含む、請求項１２に記載の方法。
17. 前記患者の特性が前記患者に関する検査室又は診断試験結果の少なくとも１つを含む、請求項１２に記載の方法。
18. 前記患者リスクレベルに基づいて前記患者の前記優先レベルを生成することを前記方法が更に含む、請求項１２に記載の方法。
19. 複数の患者のための推奨される介入を示すレポートを生成すること、及び
    前記所定期間内の前記複数の患者のための推奨される介入を前記レポートに基づいてスケジュールすること
    を更に含む、請求項１２に記載の方法。

Images