JP6530085B2 - 再帰型ニューラル・ネットワークを用いた健康現象の分析 - Google Patents

Description

本明細書は、再帰型ニューラル・ネットワークを用いた健康現象の分析に関する。

ニューラル・ネットワークは、非線形ユニットの１つまたは複数のレイヤを使用して入力に対する出力を予測する機械学習モデルである。幾つかのニューラル・ネットワークは、出力レイヤに加えて１つまたは複数の隠れレイヤを含む。各隠れレイヤの出力は、当該ネットワーク内の次のレイヤ、即ち、当該次の隠れレイヤまたは出力レイヤに対する入力として使用される。当該ネットワークの各レイヤは、夫々の組のパラメータの現在の値に従って受信された入力から出力を生成する。

幾つかのニューラル・ネットワークは再帰型ニューラル・ネットワークである。再帰型ニューラル・ネットワークは、入力シーケンスを受信し出力シーケンスを当該入力シーケンスから生成するニューラル・ネットワークである。特に、再帰型ニューラル・ネットワークは、現在の時間ステップでの出力を計算する際に以前の時間ステップからの当該ネットワークの内部状態の一部または全部を使用することができる。

一般に、本明細書で説明する主題の１つの進歩的な態様を、健康現象の複数の初期時間シーケンスを取得するステップであって、初期時間シーケンスの各々は複数の時間ステップの各々での夫々の健康関連データを含む、ステップと、再帰型ニューラル・ネットワークを用いて健康現象の当該複数の初期時間シーケンスの各々を処理して、初期時間シーケンスの各々に対して、初期時間シーケンス内の各時間ステップに対する再帰型ニューラル・ネットワークの夫々のネットワーク内部状態を生成するステップであって、再帰型ニューラル・ネットワークは入力時間シーケンスを受信し、各入力時間シーケンス内の各時間ステップに対して、当該時間ステップに対するネットワーク内部状態を生成し、当該時間ステップで識別された当該健康現象の後に発生する将来の現象を当該時間ステップに対するネットワーク内部状態から予測するようにトレーニングされている、ステップと、当該複数の初期時間シーケンスの各々に対して、当該時間シーケンス内の当該時間ステップに対するネットワーク内部状態の１つまたは複数を内部状態リポジトリに格納するステップと、健康現象の第１の時間シーケンスを取得するステップと、再帰型ニューラル・ネットワークを用いて健康現象の第１の時間シーケンスを処理して、第１の時間シーケンスに対するシーケンス内部状態を生成するステップと、第１の時間シーケンスに対する当該シーケンス内部状態および内部状態リポジトリ内のネットワーク内部状態を用いて、第１の時間シーケンス内の将来の健康現象を予測する健康現象を含む可能性が高い１つまたは複数の初期時間シーケンスを当該複数の初期時間シーケンスから選択するステップとの動作を含む方法で具体化することができる。

１つまたは複数の初期時間シーケンスを選択するステップは、当該シーケンス内部状態と同様な内部状態リポジトリ内のネットワーク内部状態を決定するステップを含んでもよい。当該方法はさらに、当該同様なネットワーク内部状態が初期時間シーケンスとして生成された初期時間シーケンスを、第１の時間シーケンス内の将来の健康現象を予測する健康現象を含む可能性が高い当該複数の初期時間シーケンスから選択するステップを含んでもよい。

当該シーケンス内部状態と同様な内部状態リポジトリ内のネットワーク内部状態を決定するステップは、内部状態リポジトリ内のネットワーク内部状態の各々に対して、当該ネットワーク内部状態および当該シーケンス内部状態の間の夫々の類似性測定値を計算するステップを含んでもよい。当該同様なネットワーク内部状態を当該類似性測定値から決定してもよい。

各ネットワーク内部状態は、内部状態リポジトリ内で、当該ネットワーク内部状態が生成された夫々の時間ステップおよび夫々の初期時間シーケンスと関連付けられてもよい。

当該方法はさらに、ユーザに表示するために、当該選択された初期時間シーケンスの各々に対して、当該対応するネットワーク内部状態が生成された時間ステップに続く時間ステップにある選択された初期時間シーケンス内の健康現象を識別するデータを提供するステップを含んでもよい。

当該方法はさらに、当該対応するネットワーク内部状態が生成された時間ステップに続く時間ステップにある選択された初期時間シーケンス内の健康現象から、当該特定の健康現象の共起頻度を識別する特定の健康現象に関する統計値を計算するステップを含んでもよい。当該計算された統計値をユーザに表示するために提供してもよい。

再帰型ニューラル・ネットワークが、各入力トレーニングシーケンス内の複数の時間ステップの各々に対して、複数の可能な健康現象の各々に対する夫々のスコアを当該時間ステップに対するネットワーク内部状態から生成するようにトレーニングされてもよい。当該可能な健康現象の各々に対する夫々のスコアは、当該可能な健康現象が、当該入力トレーニングシーケンス内の当該時間ステップに続く時間ステップでの健康現象である尤度を表してもよい。

再帰型ニューラル・ネットワークを用いて健康現象の第１の時間シーケンスを処理して、第１の時間シーケンスに対するシーケンス内部状態を生成するステップは、第１の時間シーケンス内の各時間ステップに対して、再帰型ニューラル・ネットワークを用いて当該時間ステップに対する健康現象を識別するデータを処理して、当該時間ステップに対するネットワーク内部状態を生成するステップと、第１の時間シーケンス内の最終時間ステップに対するネットワーク内部状態を、第１の時間シーケンスに対する当該シーケンス内部状態として選択するステップとを含んでもよい。

健康現象の当該複数の初期時間シーケンスの各々は夫々の患者に関連付けられてもよい。初期時間シーケンス内の各時間ステップでの当該健康関連データは当該夫々の患者に関連付けられてもよい。

初期時間シーケンスの各々内の時間ステップの１つまたは複数に対して、当該時間ステップでの健康関連データはトークンの所定の語彙からの夫々のトークンであってもよい。当該語彙内の各トークンは異なる健康現象を表してもよい。

初期時間シーケンスの各々内の時間ステップの１つまたは複数に対して、当該時間ステップでの健康関連データは、当該夫々の患者の健康に影響を及ぼすとして分類された他の健康関連データであってもよい。

本態様の他の実施形態は、対応するコンピュータシステム、装置、および１つまたは複数のコンピュータ記憶デバイスに記録されたコンピュータプログラムを含み、それぞれは当該方法のアクションを実施するように構成される。

１つまたは複数のコンピュータのシステムは、動作に際して当該システムにアクションを実施させる、当該システムにインストールされたソフトウェア、ファームウェア、ハードウェア、またはそれらの組合せをもたせることによって、特定の動作またはアクションを実施するように構成されることができる。１つまたは複数のコンピュータプログラムは、データ処理装置によって実行されたとき、当該装置に当該アクションを実施させる命令を含めることによって特定の動作またはアクションを実施するように構成されることができる。

以上のおよび他の実施形態はそれぞれ、場合によっては以下の特徴の１つまたは複数を、単体でまたは組み合わせて含むことができる。

本明細書で説明する主題の特定の実施形態を実装して、以下の利点の１つまたは複数を実現することができる。再帰型ニューラル・ネットワークを効果的に使用して、健康現象のシーケンス、例えば、現在の患者に対する電子医療記録から導出された健康現象のシーケンスを分析することができる。再帰型ニューラル・ネットワークを効果的に使用して、当該現象が再帰型ニューラル・ネットワークへの１組の可能な入力に含まれない場合でも、現象が時間シーケンス内の直近の現象の指定された期間内に発生する尤度を予測することができる。再帰型ニューラル・ネットワークの内部状態を効果的に使用して、現在の患者に関連付けられうる将来の健康現象を予測する健康現象を含みうる、他の患者に対応する他の時間シーケンスを識別することができる。当該主題の実施形態はしたがって、健康現象の時間シーケンスを処理するための改善されたシステムおよび方法を提供する。

医者または他の医療従事者のようなユーザに再帰型ニューラル・ネットワークの出力または再帰型ニューラル・ネットワークにより生成された出力から導出された出力を特徴付ける情報を提供し、良質な医療を当該専門家の患者に提供するための医療従事者の能力を改善することができる。例えば、医療従事者に、現在の患者に関連付けられうる将来の健康現象、例えば、当該患者に関連する次の健康現象である可能性が高い健康現象、または、特定の条件が、現象が当該シーケンス内の直近の現象の指定された期間内に発生することで満たされる尤度に関する有用な情報を、提供することができる。さらに、医療従事者に、当該現象が発生する尤度、例えば、望ましくない健康関連条件が将来患者に対して満たされる尤度を提案された処置が減少または増大させうるかどうかに対する提案された処置の潜在的影響を識別する情報を提供することができる。さらに、医療従事者に、現在の患者に類似する履歴における或る時点にその電子カルテが存在した患者の電子カルテを提供でき、または、これらの患者の医療アウトカムのサマリを提供することができる。さらに、幾つかのケースでは、医療従事者がとることを提案したアクションがその患者の将来の予測された結果に対するリスクを大幅に増大させる場合にトリガされる警告を医療従事者に対して生成することができる。さらに、再帰型ニューラル・ネットワークを含む医療分析システムを使用して、標準的医療行為を体系化し、処置および結果におけるパターンを発見し、既存の医療技術または医療システムを分析し、または新規な推奨を行うかまたは科学的発見を促進することができる。

本明細書の１つまたは複数の主題の実施形態の詳細を添付図面および以下の説明で説明する。当該主題の他の特徴、態様、および利点は当該説明、当該図面、および特許請求の範囲から明らかになろう。

例示的な医療分析システムを示す図である。 時間シーケンスに対する健康現象データを生成するための例示的なプロセスの流れ図である。 次の入力スコアから時間シーケンスに対する健康分析データを生成するための例示的なプロセスの流れ図である。 ネットワーク内部状態から時間シーケンスに対する健康現象データを生成するための例示的なプロセスの流れ図である。 将来の条件スコアから時間シーケンスに対する健康現象データを生成するための例示的なプロセスの流れ図である。 将来の条件スコアに対する、現象を時間シーケンスに追加する効果を決定するための例示的なプロセスの流れ図である。 将来の条件スコアを生成するように構成される例示的な再帰型ニューラル・ネットワークを示す図である。 所与の時間ステップに対する将来の条件スコアを生成するための例示的なプロセスの流れ図である。 将来の条件スコアを生成するために再帰型ニューラル・ネットワークをトレーニングするための例示的なプロセスの流れ図である。

様々な図面における同じ参照番号および指定は同じ要素を示す。

本明細書は一般に、再帰型ニューラル・ネットワークを用いて複数の健康現象を識別するデータを含む時間シーケンスから健康分析データを生成できるシステムを説明する。

図１は、例示的な医療分析システム１００を示す。医療分析システム１００は、１つまたは複数の位置における１つまたは複数のコンピュータに対するコンピュータプログラムとして実装されるシステムの１例であり、以下で説明するシステム、コンポーネント、および技術を実装することができる。

健康分析システム１００は、時間シーケンスを受信し、再帰型ニューラル・ネットワーク１１０を用いて当該時間シーケンスを処理することで、受信された時間シーケンスから健康分析データを生成する。例えば、医療分析システム１００は時間シーケンス１０２を受信し、健康分析データ１２２を時間シーケンス１０２から生成することができる。

当該時間シーケンスは、健康関連データ、例えば、健康現象を識別するデータを、複数の時間ステップの各々で含むシーケンスである。各時間シーケンスは所与の患者に関連付けられた健康関連データを含み、当該時間シーケンス内の健康関連データにより識別された健康現象は時間で順序付けられ、その結果、直近に発生した健康現象は当該シーケンス内の最終時間ステップでの健康現象である。

幾つかの実装では、時間シーケンス生成システム１０４は、時間シーケンス１０２を対応する患者に対する電子医療記録から生成する。電子医療記録は当該対応する患者に対する健康情報の電子コレクションである。例えば、時間シーケンス生成システムは当該患者に対する電子医療記録を電子医療記録リポジトリ１０６から取得し、当該電子医療記録内の健康現象を識別し当該健康現象を時間で順序付けることで、時間シーケンス１０２を当該電子医療記録から生成することができる。特に、時間シーケンス１０２は複数の時間ステップの各々でのトークンのシーケンスを含むことができ、各トークンは当該電子医療記録内の識別された健康現象を表す。幾つかの実装では、時間シーケンス生成システムは、当該健康現象が発生した時刻を識別するデータを時間シーケンス１０２内の健康現象を識別するデータに追加することができる。

一般に、医療分析システム１００により受信された時間シーケンス内で識別された健康現象は症状、試験、試験結果、診断、薬、結果等の１つまたは複数を含むことができ、その各々はトークンの予め決定された語彙からのトークンにより表される。場合によっては、各トークンは、当該時間シーケンス内の健康現象が発生した時刻を識別するデータと結合される。さらに、幾つかのケースでは、当該時間シーケンスは、当該語彙からのトークンにより識別されたものと異なる健康現象を識別することができる。例えば、幾つかの実装では、当該時間シーケンス内の健康現象はまた、健康関連画像、例えば、Ｘ線または他の診断画像、健康関連電子ドキュメント、例えば、予約中に医者により生成されたフリーフォームのメモ、またはその両方を含んでもよい。

さらに場合によっては、当該健康関連データは、当該患者の健康に影響を及ぼすものとして分類されうる他の健康関連データを含むことができる。例えば、当該他のデータは、患者のデバイスにより収集された患者の活動または他の健康関連データ、例えば、デバイスを追跡する活動またはモバイルデバイスで実行されるアプリケーションを追跡する活動を特徴付けるデータを含むことができる。例えば、当該活動データは、特定の日に患者が移動した距離、当該患者が関わったワークアウトまたは他のフィットネス活動、当該患者がとった食事等を識別するデータを含むことができる。当該他の健康関連データはまた、当該患者の健康に影響を及ぼすと考えられうる他のデータ、例えば、当該患者に対する服薬状況データまたは当該患者が行う購入を識別するデータを含むことができる。

医療分析システム１００は、再帰型ニューラル・ネットワーク１１０を用いて時間シーケンス１０２を処理して、時間シーケンス１０２に対するネットワーク出力を生成する。医療分析システム１００はまた、時間シーケンス１０２に対する当該ネットワーク出力を受信し時間シーケンス１０２に対する分析データ１２２を当該ネットワーク出力から生成する医療分析エンジン１２０を備える。

一般に、時間シーケンス１０２に対する当該ネットワーク出力は、再帰型ニューラル・ネットワーク１１０の１組の次の入力スコア１１２、１組の将来の条件スコア１１４、またはネットワーク内部状態１１６の１つまたは複数を含む。

再帰型ニューラル・ネットワーク１１０は、所与の入力時間シーケンスの各時間ステップに対して、ネットワーク内部状態を生成する１つまたは複数の再帰型ニューラル・ネットワークレイヤを含む。幾つかの実装では、再帰型ニューラル・ネットワーク１１０はまた、当該ネットワーク内部状態を受信し当該ネットワーク内部状態を処理して当該時間ステップに対するネットワーク出力を生成する出力レイヤ、１組のロジスティック回帰ノード、またはその両方を含む。さらに、幾つかの実装では、再帰型ニューラル・ネットワークはまた、１つまたは複数の他の種類のニューラル・ネットワークレイヤ、例えば、フィードフォワードレイヤ、例えば、全結合レイヤ、畳み込みレイヤ、プーリングレイヤ、正則化レイヤ、等を含むことができる。

特に、再帰型ニューラル・ネットワークレイヤの各々は、当該時間ステップに対するレイヤ入力を受信し、当該時間ステップに対する当該レイヤのレイヤ内部状態を計算するように構成される。再帰型ニューラル・ネットワークレイヤは、当該レイヤの１組のパラメータの現在の値に従って、現在の時間ステップに対する当該レイヤ内部状態を、先行する時間ステップに対する当該レイヤの当該レイヤ内部状態および現在の時間ステップに対する当該レイヤ入力から計算する。幾つかの実装では、再帰型ニューラル・ネットワークレイヤの１つまたは複数はまた、当該時間ステップに対する当該レイヤ内部状態、例えば、他の以前の時間ステップからの当該レイヤに対する内部状態、現在の時間ステップまたは他の回帰レイヤに対する以前の時間ステップに対する内部状態を計算する際に、他の内部状態を使用するように構成される。現在の時間ステップが当該シーケンス内の第１の時間ステップである場合、先行する時間ステップに対する当該レイヤ内部状態は、例えば、システム管理者により指定されたまたは医療分析システム１００により生成された初期レイヤ内部状態である。

１つの再帰型ニューラル・ネットワークレイヤのみが再帰型ニューラル・ネットワーク１１０に存在する場合、所与の時間ステップに対するネットワーク内部状態は、当該時間ステップに対する再帰型ニューラル・ネットワークレイヤのレイヤ内部状態である。

複数の再帰型ニューラル・ネットワークレイヤが再帰型ニューラル・ネットワーク１１０に存在する場合、当該レイヤは、当該シーケンス内の最下位レイヤから当該シーケンス内の最上位レイヤへの順序で配置され、当該時間ステップでの健康現象を集合的に処理して、当該時間ステップに対するネットワーク内部状態を計算する。他のタイプのニューラル・ネットワークレイヤが再帰型ニューラル・ネットワーク１００に存在する場合、当該他のニューラル・ネットワークレイヤを、当該シーケンス内の様々な位置に、例えば、第１の回帰レイヤの前、２つの回帰レイヤの間、当該回帰レイヤの全ての後、またはこれらの幾つかの組合せでちりばめることができる。所与の時間ステップに対して、再帰型ニューラル・ネットワーク１１０は、当該シーケンス内のレイヤの上の再帰型ニューラル・ネットワークレイヤに対するレイヤ入力として、各再帰型ニューラル・ネットワークレイヤからレイヤ内部状態を提供することができる。幾つかの実装では、再帰型ニューラル・ネットワークレイヤの１つまたは複数はまた、当該回帰レイヤの下のレイヤと異なる当該シーケンス内の１つまたは複数の他のレイヤから入力を受信するように構成される。

幾つかの実装では、当該シーケンス内のレイヤの１つまたは複数を、当該時間ステップのサブセットで、例えば、第１の時間ステップで、または各時間ステップで、当該レイヤに対するレイヤ入力、グローバル入力、コード毎の入力、またはその両方の一部として受信するように構成することができる。グローバル入力とは、再帰型ニューラル・ネットワーク１１０により処理されている現在時間シーケンスに依存しない入力である。グローバル入力の１例は、１年のうちの現在時刻、例えば、現在の日付を特徴付けるデータである。レコード毎の入力は、異なる時間シーケンスに対して異なりうる入力である。レコード毎の入力の例は、現在時間シーケンスに関連付けられた患者の遺伝子配列または当該患者を特徴付ける他の情報、例えば、当該患者の人口学的情報を含むことができる。

幾つかの実装では、複数の再帰型ニューラル・ネットワークレイヤがある場合、当該時間ステップに対するネットワーク内部状態は、当該時間ステップに対するシーケンスの最上位レイヤのレイヤ内部状態である。幾つかの他の実装では、医療分析システム１００は、当該時間ステップに対するレイヤ内部状態を結合して、当該時間ステップに対するネットワーク内部状態を生成する。例えば、医療分析システム１００は、当該レイヤ内部状態の和、積、または平均を計算してもよく、または、当該レイヤ内部状態を連結して当該ネットワーク内部状態を生成してもよい。

幾つかの実装では、再帰型ニューラル・ネットワークレイヤは長短期メモリ（ＬＳＴＭ）レイヤである。各ＬＳＴＭレイヤは１つまたは複数のＬＳＴＭメモリブロックを含む。各ＬＳＴＭメモリブロックは、セルが、当該セルに対する以前の状態を、例えば、現在の起動を生成する際に使用するために格納するかまたは当該ＬＳＴＭニューラル・ネットワークの他のコンポーネントに提供することを可能とする入力ゲート、忘却ゲート、および出力ゲートをそれぞれ含む、１つまたは複数のセルを含むことができる。

再帰型ニューラル・ネットワーク１１０が出力レイヤを含む実装では、出力レイヤは、時間ステップの各々に対して、当該時間ステップに対するネットワーク内部状態を受信し、当該時間ステップに対する１組の次の入力スコアを生成するように構成される。当該時間ステップに対する当該１組の次の入力スコアは、トークンの語彙内のトークンにより表される健康現象ごとの夫々のスコアを含む。再帰型ニューラル・ネットワーク１１０がトレーニングされると、所与の健康現象に対する次の入力スコアは、当該健康現象が当該時間シーケンス内の次の健康現象であろう尤度を表す。したがって、再帰型ニューラル・ネットワーク１１０が出力レイヤを含むとき、再帰型ニューラル・ネットワーク１１０は、所与の入力時間シーケンスの各時間ステップに対して、将来の健康現象、即ち、当該時間シーケンス内の次の時間ステップでの健康現象を予測するようにトレーニングされたネットワークである。再帰型ニューラル・ネットワーク１１０を、従来型の機械学習トレーニング技術、例えば、通時的誤差逆伝播トレーニング技術を用いてトレーニングシーケンスに対してトレーニングすることができる。

これらの実装では、時間シーケンス１０２に対する次の入力スコア１１２は、時間シーケンス１０２内の最終時間ステップに対する出力レイヤにより生成された次の入力スコアである。

再帰型ニューラル・ネットワーク１１０が１組のロジスティック回帰ノードを含む実装では、当該１組のロジスティック回帰ノードは、各時間ステップで、時間ステップに対するネットワーク内部状態を受信し、当該時間ステップに対する１組の将来の条件スコアを生成するように構成される。当該１組の将来の条件スコアは、予め決定された組の条件内の各条件に対する夫々のスコアを含む。所与の条件に対する当該スコアは、当該条件が現在の時間ステップでの健康現象の指定された期間内に満たされる尤度を表す。

当該条件は、例えば、当該語彙内のトークンにより表される健康現象の発生により満たされる条件を含むことができる。幾つかのケースでは、当該語彙内のトークンにより表される現象の発生により満たされる条件を含めることに加えてまたはその代わりとして、当該所定の組の条件内の条件はまた、当該語彙内のトークンにより表されない、即ち、再帰型ニューラル・ネットワーク１１０により処理された時間シーケンスに含まれる可能な健康現象でない現象が、現在の時間ステップでの健康現象の当該指定された期間内に発生するときに満たされる条件を含むことができる。したがって、当該１組の所定の条件内の条件を満たしうる現象が、トークンにより表される現象と重複しうる一方で、当該１組の条件はまた、当該組に存在しない他の現象の発生により満たされる条件を含んでもよい。

１組のロジスティック回帰ノードを含む再帰型ニューラル・ネットワークを、図７および８を参照してより詳細に説明する。条件が満たされる尤度を予測するように再帰型ニューラル・ネットワークをトレーニングすることを、図９を参照して以下でより詳細に説明する。

これらの実装では、時間シーケンス１０２に対する条件スコア１１４は、時間シーケンス１０２内の最終時間ステップに対する当該ロジスティック回帰ノードにより生成される将来の条件スコアである。

ネットワーク内部状態１１６が時間シーケンス１０２に対するネットワーク出力に含まれる実装では、時間シーケンス１０２に対するネットワーク内部状態１１６は、当該シーケンス内の最終時間ステップに対する再帰型ニューラル・ネットワーク１１０により生成されるネットワーク内部状態、または、当該シーケンス内の複数の時間ステップに対する再帰型ニューラル・ネットワーク１１０により生成されるネットワーク内部状態の組合せ、例えば、当該ネットワーク内部状態の重み付き和、積、または連結である。

医療分析エンジン１２０は、時間シーケンス１２２に対するネットワーク出力を受信し、時間シーケンス１０２に対する健康分析データ１２２を生成し、ユーザに表示するための健康分析データ１２２を、例えば、時間シーケンス１０２に対応する患者を処置する医者に提供する。一般に、健康分析データ１２２は、時間シーケンス１０２に関連付けられうる将来の現象、即ち、時間シーケンス１０２内の現在の最後の健康現象の後に発生しうる健康現象、または他の現象を特徴付けるデータである。

時間シーケンス１０２に対するニューラル・ネットワーク出力が次の入力スコア１１２を含む実装では、医療分析エンジン１２０は、時間シーケンス１０２内で次に発生しうる健康現象を識別する健康分析データ１２２を生成する。時間シーケンスに対する健康分析データを次の入力スコアから生成することを、図３を参照して以下でより詳細に説明する。

時間シーケンス１０２に対するニューラル・ネットワーク出力がネットワーク内部状態１１６を含む実装では、健康分析エンジン１２０は、時間シーケンス１０２内の将来の現象を予測する可能性が高い他の時間シーケンスから、健康現象を識別する健康分析データ１２２を生成する。特に、医療分析エンジン１２０は、ネットワーク内部状態１１６と類似の内部状態を内部状態リポジトリ１３０に格納された内部状態から識別し、当該同様な内部状態を使用して、時間シーケンス１０２内の将来の現象を予測する可能性が高い他の時間シーケンスから当該健康現象を決定する。内部状態リポジトリ１３０は、様々な時間シーケンス内の様々な時間ステップで生成されたネットワーク内部状態を格納し、各ネットワーク内部状態を、当該ネットワーク内部状態が生成された時間ステップおよび当該時間シーケンスを識別するデータと関連付ける。時間シーケンスに対する健康分析データをネットワーク内部状態から生成することを、図４を参照して以下でより詳細に説明する。

時間シーケンス１０２に対するニューラル・ネットワーク出力が将来の条件スコア１１４を含む実装では、健康分析エンジン１２０は、当該条件に対する当該スコアを特徴付ける健康分析データ１２２を生成する。時間シーケンスに対する健康分析データを将来の健康条件スコアから生成することを、図５を参照して以下でより詳細に説明する。

図２は、時間シーケンスに対する健康現象データを生成するための例示的なプロセス２００の流れ図である。便宜上、プロセス２００を、１つまたは複数の位置に配置された１つまたは複数のコンピュータのシステムにより実施されるとして説明する。例えば、適切にプログラムされた、ニューラル・ネットワークトレーニングシステム、例えば、図１の医療分析システム１００はプロセス２００を実施することができる。

当該システムが入力時間シーケンスを受信する（ステップ２０２）。当該時間シーケンスは、複数の時間ステップの各々での夫々の健康現象を識別するデータを含む。幾つかの実装では、当該時間シーケンスは、電子医療記録から導出され、複数の時間ステップの各々での当該電子医療記録から夫々の健康現象を識別するデータを含む。当該シーケンス内の健康現象を時間で順序付けてもよく、その結果、直近に発生した健康現象は当該シーケンス内の最終時間ステップでの健康現象である。

当該システムは、再帰型ニューラル・ネットワーク、例えば、図１の再帰型ニューラル・ネットワーク１１０を用いて当該入力時間シーケンスを処理して、当該入力時間シーケンスに対するニューラル・ネットワーク出力を生成する（ステップ２０４）。

再帰型ニューラル・ネットワークの実装およびアーキテクチャに依存して、入力時間シーケンスを処理することで再帰型ニューラル・ネットワークにより生成されるニューラル・ネットワーク出力は、次の入力スコア、将来の条件スコア、またはネットワーク内部状態を含んでもよい。

当該システムは、当該時間シーケンスに対する健康分析データをニューラル・ネットワーク出力から生成する（ステップ２０６）。上述のように、当該健康分析データは、再帰型ニューラル・ネットワークにより生成されたニューラル・ネットワーク出力の種類に依存する。

図３は、次の入力スコアから時間シーケンスに対する健康分析データを生成するための例示的なプロセス３００の流れ図である。便宜上、プロセス３００を、１つまたは複数の位置に配置された１つまたは複数のコンピュータのシステムにより実施されるとして説明する。例えば、適切にプログラムされたニューラル・ネットワークトレーニングシステム、例えば、図１の医療分析システム１００はプロセス３００を実施することができる。

当該システムが入力時間シーケンスを受信する（ステップ３０２）。

当該システムは、再帰型ニューラル・ネットワークを用いて当該入力時間シーケンスを処理して、当該入力時間シーケンスに対する次の入力スコアを生成する（ステップ３０４）。再帰型ニューラル・ネットワークは、当該時間シーケンス内の各時間ステップに対して、当該時間ステップに対する再帰型ニューラル・ネットワークレイヤにより生成されたネットワーク内部状態を受信し、当該時間ステップに対する１組の次の入力スコアを生成するように構成された、１つまたは複数の再帰型ニューラル・ネットワークレイヤ、および出力レイヤを含む。当該時間ステップに対する当該１組の次の入力スコアはトークンの語彙内のトークンにより表される各健康現象に対する夫々のスコアを含み、所与の健康現象に対する次の入力スコアは、当該健康現象が当該時間シーケンス内の次の健康現象、即ち、当該時間シーケンス内の次の時間ステップでの健康現象である尤度を表す。

当該入力時間シーケンスに対する次の入力スコアは、当該時間シーケンス内の最終時間ステップに対する出力レイヤにより生成された次の入力スコアである。

当該システムは、次の入力スコアを用いて１つまたは複数の最高スコア健康現象を識別する（ステップ３０６）。例えば、当該システムは、最高の次の入力スコアを有する所定数の健康現象または閾値より上の次の入力スコアを有する各健康現象を選択することができる。

当該システムは、最高スコアの健康現象を識別するデータと、場合によっては、ユーザに表示するための最高スコア健康現象ごとの次の入力スコアを特徴付けるデータとを提供する（ステップ３０８）。したがって、医者または他のユーザが、当該入力時間シーケンスに対応する患者に関連する次の健康現象である可能性が高い健康現象に関する情報を参照することができてもよい。

図４は、時間シーケンスに対する健康現象データをネットワーク内部状態から生成するための例示的なプロセス４００の流れ図である。便宜上、プロセス４００を、１つまたは複数の位置に配置された１つまたは複数のコンピュータのシステムにより実施されるとして説明する。例えば、適切にプログラムされたニューラル・ネットワークトレーニングシステム、例えば、図１のニューラル・ネットワークトレーニングシステム１００はプロセス４００を実施することができる。

当該システムは、再帰型ニューラル・ネットワーク、例えば、再帰型ニューラル・ネットワーク１１０を用いて１組の時間シーケンスの各々を処理して、当該時間シーケンスの各々の各時間ステップに対するネットワーク内部状態を生成する（ステップ４０２）。当該組の中の各時間シーケンスは、異なる患者に対応し、例えば、異なる電子医療記録から生成されたものである。再帰型ニューラル・ネットワークは、１つまたは複数の再帰型ニューラル・ネットワークレイヤ、および出力レイヤ、１組のロジスティック回帰ノード、またはその両方を含む。特に、再帰型ニューラル・ネットワークは、所与の入力時間シーケンス内の各時間ステップに対して、将来の現象、即ち、現在の時間ステップでの現象の後に発生する現象を、現在の時間ステップに対する当該ニューラル・ネットワークにより生成された内部状態から予測するように、トレーニングされる。例えば、再帰型ニューラル・ネットワークが出力レイヤを含む場合、再帰型ニューラル・ネットワークが、当該時間シーケンス内の次の現象、即ち、当該時間シーケンス内の現在の時間ステップの後の次の時間ステップでの現象を予測するようにトレーニングされていてもよい。別の例として、再帰型ニューラル・ネットワークが、１組のロジスティック回帰ノードを含む場合、再帰型ニューラル・ネットワークが、１組の現象の各々が当該時間シーケンス内の現在の時間ステップでの現象の指定された期間内に発生するかどうかを予測するようにトレーニングされていてもよい。

当該システムは、当該ネットワーク内部状態を内部状態リポジトリに格納し、各ネットワーク内部状態を、当該ネットワーク内部状態が生成された時間ステップおよび当該時間シーケンスを識別するデータと関連付ける（ステップ４０４）。幾つかの実装では、各時間シーケンスに対して、当該システムは、当該時間シーケンス内の各時間ステップに対する当該システムにより生成された当該ネットワーク内部状態を当該リポジトリに格納する。幾つかの他の実装では、当該システムは、当該ネットワーク内部状態のサブセットのみ、例えば、当該時間シーケンス内の少なくとも閾値数の他の健康現象に先行する健康現象に対するネットワーク内部状態のみを当該リポジトリに格納する。

当該システムは健康現象の入力時間シーケンスを受信する（ステップ４０６）。

当該システムは、再帰型ニューラル・ネットワークを用いて当該入力時間シーケンスを処理して、当該入力時間シーケンスに対するシーケンス内部状態を決定する（ステップ４０８）。当該入力時間シーケンスに対する当該シーケンス内部状態は、当該シーケンス内の最終時間ステップでの健康現象に対するネットワーク内部状態である。

当該システムは、当該シーケンス内部状態と同様な１つまたは複数のネットワーク内部状態を内部状態リポジトリから選択する（ステップ４１０）。当該システムは、当該リポジトリ内のシーケンス内部状態とネットワーク内部状態との間の類似性測定値、例えば、余弦類似性測定値を計算することで、当該ネットワーク内部状態を選択する。例えば、当該システムは、当該シーケンス内部状態を伴う最大余弦類似性を有する所定数のネットワーク内部状態、または、閾値類似性を超えるシーケンス内部状態を有する余弦類似性を有する各ネットワーク内部状態を選択することができる。幾つかの実装では、当該システムは、内部状態の間の類似性を決定するための異なる距離測定値、例えば、ユークリッド距離、ハミング距離等を使用する。同様に、当該システムはまた、当該内部状態を規則化し、ついで当該規則化された内部状態の間の距離を計算することができる。

当該システムは、同様なネットワーク内部状態がユーザに表示するために生成された時間シーケンスを識別するデータを提供する（ステップ４１２）。特に、当該システムは、所与の類似のネットワーク内部状態に対して、当該ネットワーク内部状態が生成された時間ステップに続いて発生した、同様なネットワーク内部状態が生成された当該時間シーケンス内の健康現象を識別するデータを提供する。当該シーケンス内部状態および当該同様なネットワーク内部状態の両方を生成した再帰型ニューラル・ネットワークがネットワーク内部状態から将来の減少を予測するようにトレーニングされ、当該同様なネットワーク内部状態は当該シーケンス内部状態と同様であるので、所与のネットワーク内部状態が生成された時間ステップに続いて発生した現象は、当該入力時間シーケンス内の将来の現象、即ち、当該入力時間シーケンス内の現在の最後の現象の後に発生する現象を予測する可能性が高い。即ち、所与の類似のネットワーク内部状態が生成された時間ステップから、対応する患者は再帰型ニューラル・ネットワークにより、再帰型ニューラル・ネットワークが当該入力時間シーケンスに対応する現在の患者に対して期待する将来に類似する将来を有すると期待されている。したがって、ネットワーク内部状態から後続の現象を参照することで、ユーザ、例えば、医者に、当該入力時間シーケンス内の現在の最後の現象に続き得る現象、即ち、現在の患者に対して発生しうる将来の健康現象のアイデアを与えてもよい。

幾つかの他の実装では、当該システムはまた、所与のネットワーク内部状態が生成された時間シーケンスを識別するデータの一部としてユーザに表示するために、当該時間シーケンス内の他の健康現象を識別するデータを提供する。

幾つかの実装では、ユーザに表示するための時間シーケンスを識別するデータを提供するのではなく、当該システムは、当該時間シーケンス内の後続の現象から統計値を計算し、当該計算された統計値をユーザに表示するために提供する。例えば、当該システムは、同様なネットワーク内部状態が生成された時間ステップに続いて、特定の健康現象、例えば、心臓発作または心筋梗塞を含んだ当該時間シーケンスの一部を決定してもよい。当該システムはついで、当該ユーザに提示するための割合を識別するデータを、例えば、「Ｘ％の患者が、現在の患者が特定の健康現象を経験したのと類似の将来を有すると期待される」という形で、提供してもよい。

幾つかの実装では、当該内部状態を内部状態リポジトリに格納するのではなく、当該システムは、当該他の時間シーケンスと比較すべき入力時間シーケンスを受信したとき常に、各他の時間シーケンスに対する内部状態を再計算することができる。

図５は、時間シーケンスに対する健康現象データを将来の条件スコアから生成するための例示的なプロセス５００の流れ図である。便宜上、プロセス５００を、１つまたは複数の位置に配置された１つまたは複数のコンピュータのシステムにより実施されるとして説明する。例えば、適切にプログラムされたニューラル・ネットワークトレーニングシステム、例えば、図１のニューラル・ネットワークトレーニングシステム１００はプロセス５００を実施することができる。

当該システムは入力時間シーケンスを受信する（ステップ５０２）。

当該システムは、再帰型ニューラル・ネットワーク、例えば、再帰型ニューラル・ネットワーク１１０を用いて当該入力時間シーケンスを処理し、当該入力時間シーケンスに対する将来の条件スコアを生成する（ステップ５０４）。当該将来の条件スコアは、所定の組の条件の各々に対する夫々の将来の条件スコアを含む。所与の条件に対する当該将来の条件スコアは、当該入力時間シーケンス内の最終時間ステップでの現象の指定された期間内に当該条件が満たされる尤度を表す。

幾つかの実装では、再帰型ニューラル・ネットワークは、１つまたは複数の再帰型ニューラル・ネットワークレイヤおよび１組のロジスティック回帰ノードを含む。各ロジスティック回帰ノードは、当該入力時間シーケンス内の各時間ステップで、対応する条件に対する将来の条件スコアを当該所定の組の条件から生成する。将来の条件スコアを生成するロジスティック回帰ノードを含む再帰型ニューラル・ネットワークを、図７乃至９を参照して以下でより詳細に説明する。これらの実装では、当該入力時間シーケンス内の最終時間ステップに対する再帰型ニューラル・ネットワークにより生成された当該１組の将来の条件スコアは、当該入力時間シーケンスに対する当該１組の将来の条件スコアである。

幾つかの他の実装では、再帰型ニューラル・ネットワークは、当該入力時間シーケンス内の各時間ステップに対して１組の次の入力スコアを生成し当該ロジスティック回帰ノードを含まない出力レイヤを含む。これらの実装では、当該システムは、当該時間シーケンス内の現在の最終時間ステップの後の指定された数の追加の時間ステップを含む複数の可能な時間シーケンスと、当該追加の時間ステップの各々での夫々の可能な健康現象と、を生成する。当該システムは、当該追加の時間ステップの各々に対して指定された幅を有するビーム探索を実施することで、当該複数の可能な時間シーケンスを生成する。当該ビーム探索の幅は、当該将来の時間ステップの各々での当該システムにより考慮される最高スコア現象の数を定義する。当該システムはついで、将来の条件スコアが生成されるべき現象の１つの発生により満たされる条件の各々に対して、当該シーケンス内の当該追加の時間ステップのうち１つで当該条件を満たす現象を含む可能な時間シーケンスの割合を決定する。当該システムはついで、当該割合を当該対応する条件に対する将来の条件スコアとして使用することができる。場合によっては、当該システムは、当該現象が発生した可能な時間シーケンスの発生の尤度を用いて、当該現象の各発生を重み付けすることができる。当該可能な時間シーケンスの発生の尤度は、例えば、当該シーケンス内の当該追加の時間ステップの各々での健康現象に対する次の入力スコアの積であってもよい。

当該システムは、ユーザに表示するための当該将来の条件スコアを識別するデータを提供する（ステップ５０６）。例えば、当該システムは、各条件および各条件に対する当該将来の条件スコアを識別するデータを提供するか、または、当該ユーザに表示するための１つまたは複数の最高スコア条件を識別するデータのみを提供することができる。

幾つかの実装では、当該ユーザに表示するために当該将来の条件スコアを識別するデータを提供することに加えてまたはその代わりとして、当該システムは、当該将来の条件スコアに及ぼす処置の影響を決定し、当該影響を識別するデータを当該ユーザに表示するために提供することができる。

図６は、将来の条件スコアに対する、現象を時間シーケンスに追加する効果を決定するための例示的なプロセス６００の流れ図である。便宜上、プロセス６００を、１つまたは複数の位置に配置された１つまたは複数のコンピュータのシステムにより実施されるとして説明する。例えば、適切にプログラムされた、ニューラル・ネットワークトレーニングシステム、例えば、図１のニューラル・ネットワークトレーニングシステム１００はプロセス６００を実施することができる。

当該システムは初期入力時間シーケンスを受信する（ステップ６０２）。

当該システムは、当該初期入力時間シーケンスに対する将来の条件スコアを決定する（ステップ６０４）。例えば、当該システムは、図５を参照して上述した当該初期入力時間シーケンスに対する将来の条件スコアを決定することができる。

当該システムは、追加の健康現象を識別するデータをユーザから受信する（ステップ６０６）。例えば、当該追加の健康現象は、医者により患者に処方すべき潜在的な処置であってもよい。

当該システムは、当該追加の健康現象を識別するデータ、例えば、当該健康現象を表すトークンを当該初期入力時間シーケンスの終了に追加することで、修正された入力時間シーケンスを生成する（ステップ６０８）。

当該システムは、当該修正された入力時間シーケンスに対する将来の条件スコアを決定する（ステップ６１０）。例えば、当該システムは、図５を参照して上述したように、当該初期入力時間シーケンスに対する将来の条件スコアを決定することができる。

当該システムは、当該追加の健康現象を当該入力時間シーケンスに追加することで生ずる将来の条件スコアの変化を決定し（ステップ６１２）、当該変化を識別するデータをユーザに表示するために提供する（ステップ６１４）。即ち、当該システムは、当該修正された入力時間シーケンスに対する将来の条件スコアと当該対応する初期入力時間シーケンスに対する将来の条件スコアの差異を計算し、当該差異を識別するデータをユーザに表示するために提供する。したがって、医者は、一定の条件が将来満たされる尤度に及ぼす潜在的な処置の影響を参照することができる。

幾つかの実装では、当該システムは、新たな現象が時間シーケンスに追加されることに応答して、プロセス６００を自動的に実施することができる。当該新たな現象が条件の将来の条件スコアを閾値よりも増大させるかまたは閾値を超過させる場合、当該システムは、ユーザに当該変化を自動的に通知する警告を生成することができる。例えば、システム管理者または他のユーザは、満たされている１つまたは複数の特定の条件が望ましくないと指定してもよい。当該システムは、新たな現象が当該時間シーケンスに追加されることに応答してプロセス６００を自動的に実施し、望ましくない条件の１つに対する当該将来の条件スコアが当該閾値スコアを横切るかまたは当該増大閾値よりも増大したかどうかをユーザに通知する警告を生成することができる。

さらに、幾つかの実装では、当該システムは、時間シーケンスを受信したことに応答して、複数の修正された時間シーケンスを当該時間シーケンスから自動的に生成することができ、各修正された時間シーケンスは異なる可能な入力健康現象を当該時間シーケンスに追加する。当該可能な入力健康現象は、語彙内のトークンにより表される当該健康現象のサブセット、例えば、当該語彙内のトークンにより表される可能な処置の一部または全部であることができる。当該システムはついで、プロセス６００を当該修正された時間シーケンスの各々に対して実施し、当該修正されたシーケンスの何れかに対して、当該望ましくない条件の１つまたは複数に対する当該将来の条件スコアが減少閾値より減少したかどうかを判定することができる。所与の修正された時間シーケンスに対して、望ましくない条件に対する将来の条件スコアが当該減少閾値より減少したと判定したことに応答して、当該システムは、当該修正された時間シーケンスを生成するために当該時間シーケンスに追加された当該健康現象を識別する情報をユーザに提供することができる。したがって、医者に、望ましくない条件が将来満たされる尤度を低下させうる追加の処置を考慮する機会を与えることができる。

図７は、将来の条件スコアを生成するように構成される例示的な再帰型ニューラル・ネットワーク７００を示す。再帰型ニューラル・ネットワーク７００は１つまたは複数の位置における１つまたは複数のコンピュータに対するコンピュータプログラムとして実装されるシステムの１例であり、以下で説明するシステム、コンポーネント、および技術を実装することができる。

再帰型ニューラル・ネットワーク７００は、複数の時間ステップの各々での夫々の入力を含み、当該時間ステップの各々に対して、所定の組の現象内の各条件に対して夫々の将来の条件スコアを生成する入力シーケンスを受信する。所与の時間ステップでの所与の条件に対する当該将来の条件スコアは、当該時間ステップでの入力の指定された時間期間内に当該条件が満たされる尤度を表す。

再帰型ニューラル・ネットワーク７００は、１つまたは複数の再帰型ニューラル・ネットワークレイヤ７１０、複数のロジスティック回帰ノード７２０Ａ乃至Ｎ、および、場合によっては、出力レイヤ７４０を含む。

図１を参照して上述したように、当該時間ステップの各々に対して、１つまたは複数の再帰型ニューラル・ネットワークレイヤ７１０は、当該時間ステップでの入力を受信し、当該入力を集合的に処理して、当該時間ステップに対するネットワーク内部状態を生成する。

ロジスティック回帰ノード７２０Ａ乃至７２０Ｎの各々は、当該所定の組の条件からの夫々の条件に対応し、各時間ステップで、当該時間ステップに対するネットワーク内部状態を受信し、夫々の組のパラメータの現在の値に従って当該ネットワーク内部状態を処理して、当該対応する現象に対する将来の条件スコアを生成するように構成される。したがって、各時間ステップで、ロジスティック回帰ノード７２０Ａ乃至７２０Ｎの各々は、当該所定の組の条件内の当該条件の夫々に対する将来の条件スコアを生成する。

再帰型ニューラル・ネットワーク７００が出力レイヤ７４０を含む場合、当該出力レイヤ７４０は、当該時間ステップに対するネットワーク内部状態を受信し、当該内部状態を処理して、１組の可能な入力内の各可能な入力に対する夫々の次の入力スコアを生成するように構成される。所与の可能な入力に対する次の入力スコアは、当該可能な入力が当該入力シーケンス内の次の入力である、即ち、当該入力シーケンス内の現在の時間ステップでの当該入力の直後に続く尤度を表す。

当該時間シーケンス内の入力は、１組の可能な入力現象を表す所定の語彙内のトークンから選択された入力を含む。再帰型ニューラル・ネットワーク７００が将来の条件スコアを生成する当該１組の所定の条件内の条件は、当該所定の語彙内のトークンにより表されない現象、即ち、再帰型ニューラル・ネットワーク７００により処理された時間シーケンスに含まれうる可能な入力現象ではない現象、トークンにより表される現象、またはその両方の発生により満たされる条件を含むことができる。したがって、再帰型ニューラル・ネットワーク７００が将来の条件スコアを生成する当該所定の組の条件内の条件の何れかを満たす当該１組の現象内の現象は、トークンにより表される現象と重複してもよく、当該１組の現象はまた当該組に存在しない他の現象を含んでもよい。

図８は、所与の時間ステップに対する将来の条件スコアを生成するための例示的なプロセス８００の流れ図である。便宜上、プロセス８００を、１つまたは複数の位置に配置された１つまたは複数のコンピュータのシステムにより実施されるとして説明する。例えば、適切にプログラムされた再帰型ニューラル・ネットワーク、例えば、図７の再帰型ニューラル・ネットワーク７００はプロセス３００を実施することができる。

当該システムは、当該時間ステップに対する入力、例えば、健康現象を表すトークンを受信する（ステップ８０２）。

当該システムは、１つまたは複数の再帰型ニューラル・ネットワークレイヤ、例えば、図７の再帰型ニューラル・ネットワークレイヤ７１０を用いて当該入力を処理し、当該時間ステップに対する再帰型ニューラル・ネットワークに対するネットワーク内部状態を生成する（ステップ８０４）。当該１つまたは複数のニューラル・ネットワークレイヤは、例えば、図１を参照して上述したように当該ネットワーク内部状態を生成する。

当該システムは、１組のロジスティック回帰ノードの各々、例えば、図７のロジスティック回帰ノード７２０Ａ乃至７２０Ｎを用いて当該ネットワーク内部状態を処理し、１組の将来の条件スコアを生成する（ステップ８０６）。当該ロジスティック回帰ノードの各々は、所定の組の条件からの夫々の条件に対応し、当該ロジスティック回帰ノードの１組のパラメータの現在の値に従って当該内部状態を処理することで、当該対応する条件に対する将来の条件スコアを生成する。

場合によっては、当該システムはまた、出力レイヤ、例えば、図７の出力レイヤ７４０を用いて当該ネットワーク内部状態を処理して、１組の可能な入力の各々に対する夫々の次の入力スコアを生成する（ステップ８０８）。当該出力レイヤは、１組の出力レイヤパラメータの現在の値に従って当該ネットワーク内部状態を処理することで当該夫々の次の入力スコアを生成する。

プロセス８００を、当該所望の出力、即ち、当該入力に対して当該システムにより生成されるべきニューラル・ネットワーク出力が知られていないニューラル・ネットワーク入力に対して実施することができる。当該システムはまた、当該システムをトレーニングする、即ち、再帰型ニューラル・ネットワークレイヤ、当該ロジスティック回帰ノード、および、幾つかの実装では、当該出力レイヤの当該パラメータに対してトレーニングされた値を決定するために、１組のトレーニングシーケンス内の入力、即ち、当該システムにより予測されるべき当該出力が知られている１組の入力にプロセス８００を実施することができる。特に、プロセス８００を、当該ニューラル・ネットワークをトレーニングするための機械学習トレーニング技術の一部、例えば、通時的誤差逆伝播トレーニング技術として、１組のトレーニングシーケンスからの入力に反復的に実施することができる。例示的なトレーニングプロセスを、図９を参照して以下でより詳細に説明する。

図９は、将来の条件スコアを生成するために再帰型ニューラル・ネットワークをトレーニングするための例示的なプロセス９００の流れ図である。便宜上、プロセス９００を、１つまたは複数の位置に配置された１つまたは複数のコンピュータのシステムにより実施されるとして説明する。例えば、適切にプログラムされた、再帰型ニューラル・ネットワーク、例えば、図７の再帰型ニューラル・ネットワーク７００は当該プロセス７００を実施することができる。

当該システムはラベル付けされたトレーニングシーケンスを取得する（ステップ５０２）。当該取得されたトレーニングシーケンスの各々は、複数の時間ステップの各々での入力のシーケンスである。各トレーニングシーケンスはまた、当該時間ステップの各々で、再帰型ニューラル・ネットワークが将来の条件スコアを生成する当該所定の組の条件内の当該条件の各々に対する夫々のインジケータ変数を含む。所与の時間ステップでの所与の条件に対する当該インジケータ変数は、当該条件が当該時間ステップでの当該入力から当該指定された期間内に満たされたか否かを示す。例えば、当該インジケータ変数は、当該条件が満たされた場合に１の値を有し、当該条件が満たされなかった場合に０の値を有してもよい。したがって、各時間ステップで、当該ラベル付けされたトレーニングシーケンスは、当該所定の組の条件内の当該条件の各々に対する入力および夫々のインジケータ変数を含む。

幾つかの実装では、当該システムは、当該インジケータ変数で既にラベル付けされているトレーニングシーケンスを受信する。幾つかの他の実装では、当該システムは、当該時間ステップの各々での条件の各々に対するインジケータ変数を計算することで、当該ラベル付けされたトレーニングシーケンスを生成する。例えば、当該システムは、トレーニングシーケンスの所与の時間ステップでの所与の入力に対して、当該入力が発生したときを決定し、当該所定の組の条件内の条件を満たす現象の発生を識別するデータにアクセスすることができる。当該システムは次いで、当該条件の各々に対して、当該時間ステップでの入力が発生したときの指定された期間内に当該条件が満たされたかどうかを判定し、当該現象に対する当該インジケータ変数の値をそれにしたがって設定することができる。

当該システムは、当該１つまたは複数の再帰型ニューラル・ネットワークレイヤ、当該ロジスティック回帰ノード、および、場合によっては、当該出力レイヤを、当該ラベル付けされたトレーニングシーケンスでトレーニングする（ステップ５０４）。特に、当該システムは、再帰型ニューラル・ネットワークレイヤ、当該ロジスティック回帰ノード、および当該出力レイヤのパラメータのトレーニングされた値を、機械学習トレーニング技術の複数の反復を実施することで、当該パラメータの初期値から決定する。当該トレーニング技術の一部として、当該システムは目的関数を最小化または最大化する。当該システムがロジスティック回帰ノードのみを含み出力レイヤを含まない場合、当該目的関数は、所与のトレーニングシーケンス内の所与の時間ステップに対して、当該時間ステップに対する当該ロジスティック回帰ノードにより生成される当該将来の条件スコア、および当該時間ステップでの当該対応する条件に対する当該インジケータ変数の間のエラーに依存する。当該システムがまた出力レイヤを含む場合、当該目的関数はまた、当該時間ステップに対して、当該時間ステップに対する当該出力レイヤにより生成された次の入力スコアおよび当該トレーニングシーケンス内の次の時間ステップでの当該入力の間のエラーに依存する。

上述のように、再帰型ニューラル・ネットワーク７００は、患者に関連付けられた健康現象を識別するデータを含む時間シーケンスを処理して、将来の条件スコアを生成することができる。しかし、再帰型ニューラル・ネットワーク７００を、任意のタイプの時間的現象を識別するデータを含む時間シーケンス、即ち、これらの現象が発生した時間で長時間にわたり順序付けられた現象を識別するデータを含む任意の時間シーケンスに対して将来の条件スコアを生成するようにトレーニングすることができる。

例えば、再帰型ニューラル・ネットワーク７００を、ユーザの財務諸表、例えば、銀行取引明細に現れうる銀行取引、クレジットカード明細に現れうるクレジットカード取引等に見いだされる取引を識別するデータを含む、時間シーケンスに対する将来の条件スコアを生成するようにトレーニングすることができる。この文脈における当該将来の条件スコアは、行われている様々なタイプの金融取引により満たされる条件に対するスコア、財務諸表に現れるタイプの金融取引ではない発生現象、例えば、税務監査により満たされるスコア、またはその両方を含んでもよい。

別の例として、再帰型ニューラル・ネットワーク７００は、株式市場トランザクションを識別するデータを含む時間シーケンスに対する将来の条件スコアを生成するようにトレーニングすることができる。この文脈において、時間シーケンスは、当該株式市場に参加する単一のエンティティまたは全てのエンティティによる株式購入および販売を含むことができる。

別の例として、再帰型ニューラル・ネットワーク７００を、機械または電子機器、例えば、航空機、車両、データセンタコンポーネント等に対する保守レコードを識別するデータを含む時間シーケンスに対する将来の条件スコアを生成するように、トレーニングすることができる。この文脈における当該将来の条件スコアは、様々なタイプの保守関連の現象により満たされる条件に対するスコアならびに一般に保守レコードに現れない現象、例えば、航空機に対する飛行中障害の発生により満たされる条件に対するスコアを含んでもよい。

本明細書で説明した当該主題の実施形態および当該機能的動作を、本明細書で開示した構造およびそれらの構造的均等物を含めて、デジタル電子回路で、有形的に組み込んだコンピュータソフトウェアで、またはファームウェア、コンピュータハードウェアで、またはそれらの１つまたは複数の組合せで実装することができる。本明細書で説明する主題の諸実施形態を、１つまたは複数のコンピュータプログラム、即ち、データ処理装置による実行またはデータ処理装置の動作の制御のための有形の非一時的プログラム・キャリアで符号化されたコンピュータプログラム命令からなる１つまたは複数のモジュールとして実装することができる。代替または追加として、当該プログラム命令を、データ処理装置による実行のために適切な受信器装置に送信するための情報を符号化するために生成される、人工的に生成された伝播信号、例えば、機械生成された電気、光、または電磁気信号で符号化することができる。当該コンピュータ記憶媒体は、機械可読記憶デバイス、機械可読記憶基板、ランダムまたはシリアル・アクセスメモリデバイス、またはそれらの１つまたは複数の組合せであることができる。

「データ処理装置」という用語は、あらゆる種類の装置、デバイス、および例えばプログラム可能プロセッサ、コンピュータ、または複数のプロセッサ、またはコンピュータ、を含む、データを処理するためのマシンを包含する。当該装置は特殊目的ロジック回路、例えば、ＦＰＧＡ（フィールドプログラム可能ゲートアレイ）またはＡＳＩＣ（特殊用途向け集積回路）を含むことができる。当該装置はまた、ハードウェアに加えて、着目する当該コンピュータプログラムのための実行環境を生成するコード、例えば、プロセッサファームウェア、プロトコル・スタック、データベース管理システム、オペレーティング・システム、またはそれらの１つまたは複数の組合せを構成するコードを含むことができる。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、モジュール、ソフトウェアモジュール、スクリプト、またはコードと称するかまたはそのように説明されてもよい）を、コンパイル型またはインタプリタ型言語、または宣言型言語または手続型言語を含む任意の形態のプログラミング言語で書くことができ、それを、スタンドアロンプログラムとしてまたはモジュール、コンポーネント、サブルーチン、またはコンピューティング環境での使用に適した他のユニットとしてを含めて、任意の形態で展開することができる。コンピュータプログラムが、ファイルシステム内のファイルに対応してもよいがその必要はない。プログラムを、他のプログラム、またはデータを保持するファイルの部分、例えば、マークアップ言語ドキュメントに格納された１つまたは複数のスクリプトに、着目する当該プログラム専用の単一のファイルに、または複数の協調型ファイル、例えば、１つまたは複数のモジュール、サブプログラム、またはコードの部分を格納するファイルに格納することができる。コンピュータプログラムを、１つのコンピュータ上、または、１つのサイトに配置されるかまたは複数のサイトに分散し通信ネットワークにより相互接続された複数のコンピュータ上で実行されるように展開することができる。

本明細書で説明したプロセスおよび論理フローを、入力データに対して動作し出力を生成することで機能を実施するための、１つまたは複数のコンピュータプログラムを実行する１つまたは複数のプログラム可能コンピュータにより実施することができる。当該プロセスおよび論理フロー、をまた、特殊目的ロジック回路、例えば、ＦＰＧＡ（フィールドプログラム可能ゲートアレイ）またはＡＳＩＣ（特殊用途向け集積回路）により実施することができ、装置をまた、特殊目的ロジック回路、例えば、ＦＰＧＡ（フィールドプログラム可能ゲートアレイ）またはＡＳＩＣ（特殊用途向け集積回路）として実装することができる。

コンピュータプログラムの実行に適したコンピュータは、汎用目的または特殊目的マイクロプロセッサ、またはその両方、または他の任意の種類の中央演算装置を含み、例えば、それに基づくことができる。一般に、中央演算装置は、読取専用メモリまたはランダム・アクセスメモリまたはその両方から命令とデータを受信する。コンピュータの本質的な要素は、命令を実施または実行するための中央演算装置および命令、およびデータを格納するための１つまたは複数のメモリデバイスである。一般に、コンピュータはまた、データを格納するための１つまたは複数の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含むか、または、データを送受信するようにそれらに動作可能に接続される。しかし、コンピュータがかかるデバイスを有する必要はない。さらに、コンピュータを別のデバイス、例えば、少しだけ例を挙げれば、携帯電話、携帯情報端末（ＰＤＡ）、モバイル・オーディオ・プレイヤまたはビデオ・プレイヤ、ゲーム・コンソール、全地球測位システム（ＧＰＳ）受信器、またはポータブル記憶デバイス、例えば、ユニバーサル・シリアル・バス（ＵＳＢ）フラッシュ・ドライブに組み込むことができる。

コンピュータプログラム命令、およびデータを格納するのに適したコンピュータ可読媒体はあらゆる種類の、例えば半導体メモリデバイス、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイスを含む不揮発性メモリ、媒体およびメモリデバイス、磁気ディスク、例えば、内部ハード・ディスク、または取外し可能ディスク、光磁気ディスク、およびＣＤＲＯＭおよびＤＶＤ−ＲＯＭディスクを含む。当該プロセッサおよび当該メモリを特殊目的ロジック回路により補完するかまたはそれに組み込むことができる。

ユーザとの対話を提供するために、本明細書で説明する主題の諸実施形態を、情報をユーザに表示するためのディスプレイデバイス、例えば、ＣＲＴ（カソード・レイ・チューブ）またはＬＣＤ（液晶ディスプレイ）モニタおよびキーボードおよびポインティング・デバイス、例えば、ユーザがそれにより入力を当該コンピュータに提供できるマウスまたはトラックボールを有するコンピュータで実装することができる。他種のデバイス、を使用してユーザとの対話を提供することもできる。例えば、ユーザに提供されるフィードバックは任意の形態のセンサ・フィードバック、例えば、視覚的フィードバック、可聴フィードバック、または触覚フィードバックであることができ、ユーザからの入力を、音響、会話、または触覚入力を含む任意の形態で受信することができる。さらに、コンピュータは、当該ウェブ・ブラウザから受信された要求に応答して、ユーザにより使用されるデバイスとドキュメントを送受信すること、例えば、ユーザのクライアントデバイス上のウェブ・ブラウザにウェブページを送信することで、ユーザと対話することができる。

本明細書で説明する主題の諸実施形態を、バックエンドコンポーネントを、例えば、データサーバとして含むか、またはミドルウェアコンポーネント、例えば、アプリケーションサーバを含むか、またはフロント・エンドコンポーネント、例えば、ユーザがそれを通じて本明細書で説明する主題の実装と対話できるグラフィカルユーザインタフェースまたはウェブ・ブラウザを有するクライアントコンピュータを含むか、またはかかるバックエンド、ミドルウェア、またはフロント・エンドコンポーネントの１つまたは複数の任意の組合せを含むコンピューティングシステムで実装することができる。当該システムの当該コンポーネントを、任意の形態または媒体のデジタルデータ通信、例えば、通信ネットワークにより相互接続することができる。通信ネットワークの例には、ローカル・エリア・ネットワーク（「ＬＡＮ」）および広域ネットワーク（「ＷＡＮ」）、例えば、インターネットが含まれる。

当該コンピューティングシステムはクライアント、およびサーバを含むことができる。クライアントおよびサーバは一般に互いから離れており、一般に通信ネットワークを通じて対話する。クライアントおよびサーバの当該関係は、コンピュータプログラムが当該夫々のコンピュータで実行され互いに対するクライアント−サーバ関係を有することによって生ずる。

本明細書は多くの特定の実装の詳細を含むが、これらを本発明の範囲に対する限定として解釈するべきではなく、本明細書で説明した特定の例示的な実施形態に固有な特徴の説明に固有でありうる特徴の説明として解釈するべきである。本明細書において別々の実施形態の文脈で説明した特定の特徴はまた、単一の実施形態における組合せで実装することができる。反対に、単一の実施形態の文脈で説明された様々な特徴はまた、複数の実施形態で別々にまたは任意の適切な副次的組合せ実装することができる。さらに、機能は一定の組合せで動作するとして上述され、初期にはそのようにクレームされているが、クレームした組合せからの１つまたは複数の特徴を幾つかのケースでは当該組合せから実施でき、当該クレームした組合せが副次的組合せまたは副次的組合せの変形に関連してもよい。

同様に、動作を当該図面において特定の順序で描いてあるが、これを、所望の結果を実現するために、かかる動作を示した特定の順序または逐次的順序で実施すること、または、全ての例示された動作が実施されることを要求するとして理解するべきではない。一定の状況では、マルチタスクおよび並列処理が有利でありうる。さらに、上述の実施形態における様々なシステムモジュール、およびコンポーネントの分離が全ての実施形態においてかかる分離を要求するとして解釈すべきではなく、当該説明されたプログラムコンポーネント、およびシステムを一般に、単一のソフトウェア製品に統合するか、または、複数のソフトウェア製品にパッケージできることは理解されるべきである。

特定の当該主題の実施形態を説明した。他の実施形態は添付の特許請求の範囲内にある。例えば、特許請求の範囲に記載した動作を異なる順序で実施して、依然として所望の結果を達成することができる。１例として、添付図面に示したプロセスは、所望の結果を得るために必ずしも示した特定の順序、または逐次的順序を必要としない。特定の実装では、マルチタスクおよび並列処理が有利でありうる。

１００ 医療分析システム
１０２ 時間シーケンス
１０４ 時間シーケンス生成システム
１０６ 電子医療記録リポジトリ
１１０ 再帰型ニューラル・ネットワーク
１１２ 次の入力スコア
１１４ 将来の条件スコア
１１６ 内部状態
１２０ 医療分析エンジン
１２２ 分析データ
１３０ 内部状態リポジトリ

Claims (13)

1つまたは複数のコンピュータにより実行される方法であって、
健康現象の複数の初期時間シーケンスを取得するステップであって、前記初期時間シーケンスの各々は複数の時間ステップの各々での夫々の健康関連データを含む、ステップと、
再帰型ニューラル・ネットワークを用いて健康現象の前記複数の初期時間シーケンスの各々を処理して、前記初期時間シーケンスの各々に対して、前記初期時間シーケンス内の各時間ステップに対する前記再帰型ニューラル・ネットワークの夫々のネットワーク内部状態を生成するステップであって、前記再帰型ニューラル・ネットワークは入力時間シーケンスを受信し、各入力時間シーケンス内の各時間ステップに対して、前記時間ステップに対するネットワーク内部状態を生成し、前記時間ステップで識別された前記健康現象の後に発生する将来の現象を前記時間ステップに対する前記ネットワーク内部状態から予測するようにトレーニングされている、ステップと、
前記複数の初期時間シーケンスの各々に対して、前記時間シーケンス内の前記時間ステップに対する前記ネットワーク内部状態の１つまたは複数を内部状態リポジトリに格納するステップと、
健康現象の第１の時間シーケンスを取得するステップと、
前記再帰型ニューラル・ネットワークを用いて健康現象の前記第１の時間シーケンスを処理して、前記第１の時間シーケンスに対するシーケンス内部状態を生成するステップと、
前記第１の時間シーケンスに対する前記シーケンス内部状態および前記内部状態リポジトリ内の前記ネットワーク内部状態を用いて、前記第１の時間シーケンス内の将来の健康現象を予測する健康現象を含む可能性が高い１つまたは複数の初期時間シーケンスを前記複数の初期時間シーケンスから選択するステップと、
を含む、方法。

１つまたは複数の初期時間シーケンスを選択するステップは、
前記シーケンス内部状態と同様な前記内部状態リポジトリ内のネットワーク内部状態を決定するステップと、
前記同様なネットワーク内部状態が前記初期時間シーケンスとして生成された前記初期時間シーケンスを、前記第１の時間シーケンス内の将来の健康現象を予測する健康現象を含む可能性が高い前記複数の初期時間シーケンスから選択するステップと、
を含む、請求項１に記載の方法。

前記シーケンス内部状態と同様な前記内部状態リポジトリ内のネットワーク内部状態を決定するステップは、
前記内部状態リポジトリ内の前記ネットワーク内部状態の各々に対して、前記ネットワーク内部状態および前記シーケンス内部状態の間の夫々の類似性測定値を計算するステップと、
前記同様なネットワーク内部状態を前記類似性測定値から決定するステップと、
を含む、請求項２に記載の方法。

前記内部状態リポジトリ内の各ネットワーク内部状態を、前記ネットワーク内部状態が生成された夫々の時間ステップおよび夫々の初期時間シーケンスに関連付けるステップをさらに含む、請求項２または３に記載の方法。

ユーザに表示するために、前記選択された初期時間シーケンスの各々に対して、前記同様なネットワーク内部状態が生成された前記時間ステップに続く時間ステップにある前記選択された初期時間シーケンス内の前記健康現象を識別するデータを提供するステップをさらに含む、請求項４に記載の方法。

前記同様なネットワーク内部状態が生成された前記時間ステップに続く時間ステップにある前記選択された初期時間シーケンス内の前記健康現象から、特定の健康現象の発生頻度を識別する前記特定の健康現象に関する統計値を計算するステップと、
ユーザに表示するために前記計算された統計値を提供するステップと、
をさらに含む、請求項４または５に記載の方法。

前記再帰型ニューラル・ネットワークは、各入力トレーニングシーケンス内の前記複数の時間ステップの各々に対して、複数の可能な健康現象の各々に対する夫々のスコアを前記時間ステップに対する前記ネットワーク内部状態から生成するようにトレーニングされ、前記可能な健康現象の各々に対する前記夫々のスコアは、前記可能な健康現象が、前記入力トレーニングシーケンス内の前記時間ステップに続く時間ステップでの健康現象である尤度を表す、請求項１乃至６の何れかに記載の方法。

前記再帰型ニューラル・ネットワークを用いて健康現象の前記第１の時間シーケンスを処理して、前記第１の時間シーケンスに対するシーケンス内部状態を生成するステップは、前記第１の時間シーケンス内の各時間ステップに対して、
前記再帰型ニューラル・ネットワークを用いて前記時間ステップに対する前記健康現象を識別する前記健康関連データを処理して、前記時間ステップに対するネットワーク内部状態を生成するステップと、
前記第１の時間シーケンス内の最終時間ステップに対する前記ネットワーク内部状態を、前記第１の時間シーケンスに対する前記シーケンス内部状態として選択するステップと、
を含む、請求項１乃至７の何れかに記載の方法。

健康現象の前記複数の初期時間シーケンスの各々は夫々の患者と関連付けられ、前記初期時間シーケンス内の各時間ステップでの前記健康関連データは前記夫々の患者と関連付けられる、請求項１乃至８の何れかに記載の方法。

前記初期時間シーケンスの各々内の第1の時間ステップの１つまたは複数に対して、前記第1の時間ステップの各々での前記健康関連データはトークンの所定の語彙からの夫々のトークンであり、前記語彙内の各トークンは異なる健康現象を表す、請求項９に記載の方法。

前記初期時間シーケンスの各々内の第2の時間ステップの１つまたは複数に対して、前記第2の時間ステップの各々での前記健康関連データは、前記夫々の患者の健康に影響を及ぼすとして分類された、前記トークン以外の健康関連データである、請求項１０に記載の方法。

１つまたは複数のコンピュータと、前記１つまたは複数のコンピュータによって実行されたとき、前記１つまたは複数のコンピュータに請求項１乃至１１の何れかに記載の方法を実施させる命令を格納した１つまたは複数の記憶デバイスとを備えるシステム。

１つまたは複数のコンピュータによって実行されたとき、前記１つまたは複数のコンピュータに請求項１乃至１１の何れかに記載の方法を実施させる命令を含む、コンピュータプログラム。

Images