JP7513631B2 - 残差セミリカレントニューラルネットワーク - Google Patents

Description

関連出願の相互参照
本出願は、２０１９年３月２７日に出願された米国特許出願仮第６２／８２４，８９５号、および２０１９年５月１３日に出願された欧州特許出願公開第１９３０５６１１．６号の優先権を主張し、これらの内容全体は参照によって本明細書に組み入れる。

本開示は、人工ニューラルネットワークに関する。

人工ニューラルネットワーク（ＡＮＮ）は、生物学的ニューラルネットワークから漠然と着想を得たコンピューティングシステムである。ＡＮＮは、１つまたはそれ以上の機械学習アルゴリズムが協働して複雑なデータ入力を処理するためのフレームワークである。ＡＮＮは、画像認識などのタスクを実行するために学習することができ、この場合、ＡＮＮは、１つの画像内のいくつかの特徴（たとえば、動物、車両、道路標識など）を識別できるように学習することができる。ＡＮＮは通常、人工ニューロンと呼ばれる連結されたノードの集合体を含む。各連結部では、１つの人工ニューロンから別の人工ニューロンへ信号を伝達することができる。信号を受けた人工ニューロンは、その信号を処理し、次にその結果を、連結されている追加の人工ニューロンへ出力することができる。

典型的な実施形態では、人工ニューロン間の、エッジと呼ばれることもある連結部の信号は実数であり、各人工ニューロンの出力は、その入力の合計の非線形関数に従って計算される。人工ニューロンおよびエッジは通常、ＡＮＮが訓練されている間に調整することができる重みを有する。ＡＮＮは、コンピュータビジョン、音声認識、機械翻訳、および医療診断などの多様なタスクに使用されてきた。最近では、ＡＮＮは、いくつかの入力に基づいて結果を予測する予測モデルとして使用されている。たとえば、ＡＮＮは、薬物が人体とどのように相互作用するか（たとえば、薬物の吸収、分散、代謝、排泄の時間経過）を予測する薬物動態モデリングに使用される。

本開示の少なくとも１つの態様では、ニューラルネットワークが提供される。ニューラルネットワークは、第１のタイプの外部データを受け、この第１のタイプの外部データを処理してＭＬＰ出力を生成するように構成された多層パーセプトロン（ＭＬＰ）を含む。ニューラルネットワークは、リカレントニューラルネットワーク（ＲＮＮ）ユニットを含む。ＲＮＮユニットは、ＭＬＰ出力の少なくとも一部分と第２のタイプの外部データとを受けるように構成される。ＲＮＮユニットは、ＭＬＰ出力の少なくとも一部分および少なくとも第２のタイプの外部データを処理してＲＮＮ出力を生成するように構成される。ＭＬＰとＲＮＮユニットは合わせて、ＲＮＮ出力およびＭＬＰ出力に少なくとも部分的に基づいて、１つまたはそれ以上の時系列予測を生成するように構成される。

ＭＬＰは、入力層、少なくとも１つの隠れ層、および出力層を含み得る。ＲＮＮユニットは、少なくとも１つの隠れＲＮＮ層を含み得る。ＲＮＮユニットは、長短期記憶ＲＮＮユニットを含み得る。ＲＮＮユニットは、通常のＲＮＮユニットを含み得る。ＲＮＮユニットは、ゲートリカレントユニットを含み得る。

第１のタイプの外部データは、時不変データを含み得る。第２のタイプの外部データは、時変データを含み得る。

ニューラルネットワークは、ＭＰＬ出力とＲＮＮ出力を組み合わせて残差出力を生成するように構成される。１つまたはそれ以上の時系列予測は、その残差出力に少なくとも部分的に基づいて生成される。１つまたはそれ以上の時系列予測は、薬物の用量の投与後の時間の関数としての、血漿中の薬物の濃度値を含み得る。

本開示の少なくとも１つの他の態様では、１つの方法が提供される。方法は、多層パーセプトロン（ＭＬＰ）によって、第１のタイプの外部データを受けることを含む。方法は、ＭＬＰによって、第１のタイプの外部データを処理してＭＬＰ出力を生成することを含む。方法は、リカレントニューラルネットワーク（ＲＮＮ）ユニットによって、ＭＬＰ出力の少なくとも一部分と第２のタイプの外部データとを受けることを含む。方法は、ＲＮＮユニットによって、ＭＬＰ出力の少なくとも一部分と第２のタイプの外部データとを処理してＲＮＮ出力を生成することを含む。方法は、ＲＮＮ出力およびＭＬＰ出力に少なくとも部分的に基づいて、１つまたはそれ以上の時系列予測を生成することを含む。

第１のタイプの外部データは時不変データを含み得る。第２のタイプの外部データは時変データを含み得る。

方法は、ＭＰＬ出力とＲＮＮ出力を組み合わせて残差出力を生成することをさらに含み得る。１つまたはそれ以上の時系列予測は、残差出力に少なくとも部分的に基づいて生成される。１つまたはそれ以上の時系列予測は、薬物の用量の投与後の時間の関数としての、血漿中の薬物の濃度値を含み得る。

ＲＮＮユニットは長短期記憶ＲＮＮユニットを含み得る。ＲＮＮユニットは通常のＲＮＮユニットを含み得る。ＲＮＮユニットはゲートリカレントユニットを含み得る。

本開示の実施形態は、以下の利点のうちの１つまたはそれ以上を含み得る。記載されたニューラルネットワークは、リカレントニューラルネットワークおよび畳み込みニューラルネットワークなどの従来のニューラルネットワークと比較して、時変データおよび時不変データを計算的に効率のよい方法で処理して、正確な時系列予測を生成することができる。特定のニューラルネットワーク層の出力は、連続するニューラルネットワーク層の出力と組み合わされて、従来のニューラルネットワークと比較して予測精度が高まる。従来のニューラルネットワークと比較した場合に、記載されたニューラルネットワークは、時変データと時不変データの間の関係と、この関係が、結果として得られる時系列予測にどれだけ影響を及ぼすかとをより適切に捉えることができる。

上記およびその他の態様、構成、および実施形態は、方法、装置、システム、構成要素、プログラム製品、機能を実行するための手段またはステップとして表現され、さらに他の方法で表現される。

上記およびその他の態様、構成、および実施形態は、特許請求の範囲を含む以下の説明から明らかになろう。

本開示の１つまたはそれ以上の実施形態による、残差セミリカレントニューラルネットワークを描写する図である。 本開示の１つまたはそれ以上の実施形態による、リカレントニューラルネットワークユニットを描写する図である。 本開示の１つまたはそれ以上の実施形態による、展開されたリカレントニューラルネットワークユニットを描写する図である。 本開示の１つまたはそれ以上の実施形態による、残余セミリカレントニューラルネットワークのアーキテクチャを描写する図である。 本開示の１つまたはそれ以上の実施形態による、時変データおよび時不変データを使用して１つまたはそれ以上の時系列予測を生成するための方法を描写するフローチャートである。

いくつかの外部データに基づいて将来の結果を予測する予測モデルとして、人工ニューラルネットワーク（ＡＮＮ）を使用することがより一般的になってきている。たとえば、薬物動態（Ｐｋ）モデリングは、薬剤開発の重要なステップであり、薬剤が人体とどのように相互作用するか（たとえば、薬剤の吸収、分布、代謝、および排泄の時間経過）をモデル化する。薬物動態モデリングのいくつかの手法では、患者のベースライン特性（たとえば、年齢、性別）などの時不変データと、患者の薬物用量レベルなどの時変データとを用いて、ある時間間隔にわたって血漿中の薬物濃度を示すＰｋ曲線を生成する。従来、薬物と人体との相互作用をモデル化するには、流体力学の分野から借用した微分方程式が用いられていた。微分方程式は、ある薬物用量を受けた後に体内で起こる、基礎となる物理的なプロセスを記述するには有用であり得るが、患者間の不均一性をすべて考慮しているわけではないことがある。したがって、これらの微分方程式を用いて得られた個々の患者についての予測が不正確なことがあるのに対し、母集団レベルでの予測は正確なことがある。

薬物動態モデリングの予測精度を向上させるための一般的な手法は通常、フィードフォワードニューラルネットワーク（たとえば、畳み込みニューラルネットワーク）を使用することである。しかし、従来の微分方程式手法と比較して予測精度が向上するとはいえ、フィードフォワードニューラルネットワークは、同一人物の複数の時点における薬物動態測定値間の相関関係を明らかにできないことがある。この理由は、従来のフィードフォワードネットワークは通常、情報を一方向に（たとえば、入力層から隠れた層を経て出力層へ）処理するだけであり、したがって、フィードフォワードネットワークは、現在の入力だけを考慮し、時間的な順序の概念がないからである。

リカレントニューラルネットワーク（ＲＮＮ）は、時変データをより適切に処理することが示されている。その理由は、これらのニューラルネットワークは、時系列に沿った有向グラフを形成する連結部があるノードを含み、それによって、ＲＮＮが内部メモリを使用して入力列を処理することが可能になるからである。しかし、従来のＲＮＮを使用して時不変データを処理する場合には、ＲＮＮは、時変データと同様の方法で時不変データを処理することがある。これにより、不要な重複データが大量に作成され、特に小さいサンプルサイズを使用する場合には、予測性能が低下することになり得る。したがって、従来の手法と比較して精度が向上している時間ベースの予測を生成するために、時不変データと時変データの両方を効率的に処理するように適用された人工ニューラルネットワークが望ましい。

本開示は、従来のＲＮＮおよびフィードフォワードネットワークと比較して予測精度が向上する効率的な方法で、時不変データと時変データの両方を処理するように構成された残差セミリカレントニューラルネットワークを提供する。残差セミリカレントニューラルネットワークは、時不変データを受ける、および処理するための多層パーセプトロン（ＭＬＰ）を含む。残差セミリカレントニューラルネットワークはまた、時変データを処理するためのＲＮＮユニットを含む。ＭＬＰおよびＲＮＮユニットからの出力は、１つまたはそれ以上の時系列予測を生成するためにニューラルネットワークによって使用される。たとえば、Ｐｋモデリングに使用される場合、患者のベースライン特性に関連するデータはＭＬＰに提供され、順次的な時点に患者に投与された薬物の用量レベルに関連するデータはＲＮＮに提供される。ＭＬＰの出力は、ＲＮＮの初期状態として使用される。ＲＮＮとＭＬＰの出力はまた組み合わされて、患者の血漿中の薬物濃度と、薬物の単一用量が患者に投与された後の時間との関係を示すＰｋ曲線が生成される。

以下の記述では、説明を目的として、本開示についての完全な理解をもたらすように多数の具体的な詳細が示される。しかしながら、本開示は、これらの具体的な詳細がなくても実施できることが明らかであろう。他の例では、よく知られている構造およびデバイスは、本開示を不必要に不明瞭にしないようにするために、ブロック図の形で示される。

図面では、デバイス、モジュール、命令ブロックおよびデータ要素を表すものなどの、概略的な要素の特定の配置または順序が、説明を容易にするために示されている。しかし、図面中の概略的要素の特定の順序または配置は、処理の特定の順序もしくはシーケンス、または処理の分離が必要であることを暗示するものではないことが当業者には理解されるはずである。さらに、図面に概略的な要素が含まれることは、そのような要素がすべての実施形態で必要であること、あるいはそのような要素によって表される構成が、いくつかの実施形態において他の要素に含まれない、または他の要素と組み合わされないことを暗示するものではない。

さらに、図面で、実線もしくは破線または矢印などの連結要素が、２つ以上の他の概略要素間の連結、関係、または関連を説明するために使用されている場合、そのような連結要素がないことは、連結、関係、または関連が存在できないことを暗示するものではない。言い換えると、要素間のいくつかの連結、関係、または関連は、開示内容を不明瞭にしないようにするために、図面に示されていない。加えて、図示しやすくするために、単一の連結要素が、要素間の複数の連結、関係、または関連を表すのに用いられる。たとえば、連結要素が信号、データ、または命令の通信を表す場合、このような要素は、必要とされる、通信に影響を与えるための１つまたはそれ以上の信号経路（たとえば、バス）を表すことが当業者には理解されるはずである。

次に、添付の図面に例が示されている実施形態を詳細に参照する。以下の詳細な説明では、記載された様々な実施形態の完全な理解をもたらすために、多数の具体的な詳細が示される。しかし、記載された様々な実施形態は、これらの具体的な詳細がなくても実施できることが当業者には明らかであろう。他の例では、よく知られている方法、手順、構成要素、回路、およびネットワークは、実施形態の態様を不必要に不明瞭にしないようにするために、詳細に説明されていない。

以下に、それぞれが互いに独立して、または他の構成の任意の組み合わせとともに使用できる、いくつかの機能について説明する。しかし、どの個々の構成も、上で論じた問題のどれにも対処しない、または、上で論じた問題の１つにしか対処しないことがある。上で論じた問題のいくつかは、本明細書に記載された構成のいずれによっても完全には解決されないことがある。見出しが設けられていても、ある特定の見出しに関連するデータが、その見出しを持つセクションで見つからなくて本明細書のどこか他の場所で見つかることもある。

本明細書では、所与のニューラルネットワーク層／ユニットと関連して使用されるプロセス（処理すること、複数のプロセスなど）という用語は、所与のニューラルネットワーク層／ユニットに含まれるニューロンのそれぞれに対応する学習された重み関数／活性化関数を入力データに適用して各ニューロンに出力を生成する、知られているニューラルネットワークプロセスを指す。当技術分野で知られているように、学習された重み関数／活性化関数は、ニューラルネットワークに学習させるための訓練データセットを使用して、データセットのいくつかの特徴をいくつかの結果と関連付けることによって調整／チューニングされる。

システム概観：
図１は、本開示の１つまたはそれ以上の実施形態による、残差セミリカレントニューラルネットワーク１００を描写する図を示す。残差セミリカレントニューラルネットワーク（ＲＳＮＮ １００）は、ＭＬＰ １１０およびＲＮＮユニット１２０を含む。ＭＬＰ １１０は、入力層１１１、隠れ層１１２、および出力層１１３を含む。ＲＮＮユニット１２０は、隠れＲＮＮ層１２２、および出力ＲＮＮ層１２３を含む。ＭＬＰ １１０は、ＲＮＮユニット１２０に通信可能に連結されている。

ＭＬＰ １１０の入力層１１１は、第１の入力ニューロン１１１ａおよび第２の入力ニューロン１１１ｂを含む。ＭＬＰ １１０の隠れ層１１２は、第１の隠れニューロン１１２ａ、第２の隠れニューロン１１２ｂ、および第３の隠れニューロン１１２ｃを含む。ＭＬＰ １１０の出力層１１３は、第１の出力ニューロン１１３ａ、および第２の出力ニューロン１１３ｂを含む。ＭＬＰ １１０の層１１１、１１２、１１３は完全に連結されており、このことは、所与の層の各ニューロンが、次に続く層のすべてのニューロンに連結されていることを意味する。たとえば、第１の出力ニューロン１１３ａは、第１の隠れニューロン１１２ａ、第２の隠れニューロン１１２ｂ、および第３の隠れニューロン１１２ｃに連結されている。

ＭＬＰ １１０は１つの隠れ層１１２を含むが、いくつかの実施形態では、ＭＬＰ １１０は、もっと多い隠れ層（たとえば、２つの隠れ層、３つの隠れ層など）を含む。層１１１、１１２、１１３のそれぞれは、図示された実施形態に示されたニューロンの数よりも多いまたは少ないニューロンを含むことができる。

入力層１１１は、時不変データを受け、その時不変データを隠れ層１１２へ送るように構成される。時不変データの例としては、患者の年齢および／または性別などの、１人またはそれ以上の患者のベースライン特性に関連する値を挙げることができる。隠れ層１１２の隠れノード１１２ａ、１１２ｂ、１１２ｃのそれぞれは、時不変データを受け、この時不変データを処理して出力を生成する。隠れ層１１２の隠れノード１１２ａ、１１２ｂ、１１２ｃのそれぞれの出力は、出力ノード１１３ａ、１１３ｂのそれぞれへ送られる。出力ノード１１３ａ、１１３ｂは、受けた出力をその活性化関数を用いて処理して、ＭＬＰ出力を生成する。

ＭＬＰ １１０は、ＭＬＰ出力をＲＮＮユニット１２０へ送る。ＭＬＰ出力は、隠れＲＮＮ層１２２で受けられる。こうしてＭＬＰ出力は、ＲＮＮユニット１２０の初期状態として用いられる。隠れＲＮＮ層１２２はまた、時変入力データを受けるように構成される。図３を参照して後でより詳細に説明するように、ＲＮＮユニット１２０は、ＭＬＰ １１０からのＭＬＰ出力を初期状態として使用しながら、受けた時変データを順次に処理して、１つまたはそれ以上の時系列予測を生成するように構成される。たとえば、ＭＬＰ出力は、患者のベースライン特性に関連する入力データを処理することにより得られ、時変データは、患者に注入された薬物の一連の累積量とすることができる。この例では、ＲＮＮユニットの出力（時系列予測）は、Ｐｋ曲線とすることができる。いくつかの実施形態では、ＲＳＮＮ １００は、ＭＬＰ １１０の出力をＲＮＮユニット１２０の出力に加えて時系列予測を生成するように構成される。

ＲＮＮユニット１２０は、１つの隠れ層１２２を有するものとして示されているが、いくつかの実施形態では、追加の隠れＲＮＮ層を有する。この例では、ＭＬＰ １１０は、その出力を追加の隠れＲＮＮ層のうちの１つまたはそれ以上に提供するように構成される。いくつかの実施形態では、ＲＳＮＮ １００は、ＭＬＰ １１０とＲＮＮユニット１２０の間に追加の完全連結層を含む。これらの例では、ＭＬＰ １１０は、その出力を追加の完全連結層のうちの１つまたはそれ以上に提供するように構成される。追加の隠れＲＮＮ層および完全連結層の総計は、処理ニーズ、効率要因、ならびに処理されるデータのタイプおよび量などの実際的な考慮事項に基づく。

図２Ａは、本開示の１つまたはそれ以上の実施形態による、ＲＮＮユニット２００を描写する図を示す。ＲＮＮユニット２００は、入力ＲＮＮ層２１０、隠れＲＮＮ層２１１、および出力ＲＮＮ層２１２を含む。入力ＲＮＮ層２１０は、第１のＲＮＮ入力ニューロン２１０ａ、第２のＲＮＮ入力ニューロン２１０ｂ、および第３のＲＮＮ入力ニューロン２１０ｃを含む。いくつかの実施形態では、入力ＲＮＮ層２１０は、直前のＭＬＰの出力層である。

隠れＲＮＮ層２１１は、入力ＲＮＮ層２１０からの出力を受けるように構成される。図１を参照して先に示したように、入力ＲＮＮ層からの出力は、隠れＲＮＮ層２１１の初期状態として使用される。隠れＲＮＮ層２１１は、第１のリカレントニューロン２１１ａおよび第２のリカレントニューロン２１１ｂを含む。ＲＮＮ入力ニューロン２１０ａ、２１０ｂ、２１０ｃのそれぞれは、リカレントニューロン２１１ａ、２１１ｂのそれぞれに連結されている。リカレントニューロン２１１ａ、２１１ｂのそれぞれは、第１の順次データ点を受け、この第１の順次データ点を処理して第１の出力を生成し、この第１の出力を使用して連続する順次データ点を処理するように構成される。たとえば、順次データ点が、患者に注入された薬物の累積量であると仮定する。第１の順次データ点は、第１の時間における累積量とすることができ、第２の順次データ点は、第１の時間の後に生じる第２の時間における累積量とすることができる。リカレントニューロン２１１ａ、２１１ｂは、第１の順次データ点を受け、この第１の順次データ点を処理して第１の出力を生成し、この第１の出力からの情報を用いて第２の順次データ点を処理する。

ＲＮＮ出力層２１２は、隠れ層２１１からの出力を受けるように構成される。ＲＮＮ出力層２１２は、第１のＲＮＮ出力ニューロン２１２ａ、第２のＲＮＮ出力ニューロン２１２ｂ、第３のＲＮＮ出力ニューロン２１２ｃ、および第４のＲＮＮ出力ニューロン２１２ｄを含む。ＲＮＮ出力ニューロン２１２ａ、２１２ｂ、２１２ｃ、２１２ｄのそれぞれは、リカレントニューロン２１１ａ、２１１ｂのそれぞれに連結されている。

図２Ｂは、本開示の１つまたはそれ以上の実施形態による、展開されたリカレントニューラルネットワークユニット３００を描写する図を示す。図示のように、隠れＲＮＮ層３２１は、第１の順次入力３１０ａを受け、これを処理して第１の出力（Ｓ１）を生成するように構成される。隠れＲＮＮ層３２１はまた、第１の順次入力３１０ａに続く第２の順次入力３１０ｂを受けるようにも構成される。隠れＲＮＮ層３２１は、第１の順次入力３１０ａと関連する出力（Ｓ１）を用いて第２の順次入力３１０ｂを処理して、第２の出力（Ｓ２）を生成する。同様に、隠れＲＮＮ層３２１は、第２の出力（Ｓ２）を用いて第２の順次入力３１０ｂに続く第３の順次入力３１０ｃを処理して、第３の出力（Ｓ３）を生成するように構成される。

図３は、本開示の１つまたはそれ以上の実施形態による、ＲＳＮＮ ４００のアーキテクチャを描写する図である。ＲＳＮＮ ４００は、ＭＬＰ４１０および隠れＲＮＮ層４２２を含む。ＭＬＰ ４１０は、時不変入力４１０を受けるように構成される。たとえば、時不変入力４１０は、年齢、性別などの患者ベースライン特性に対応し得る。ＭＬＰ ４１０は、不変入力４１０を処理してＭＬＰ出力（Ｓ０）を生成し、このＭＬＰ出力は、隠れＲＮＮ層４２２の初期状態として使用される。隠れＲＮＮ層４２２は、第１の順次入力４２０ａを受け、ＭＬＰ出力（Ｓ０）を用いて第１の順次入力４２０ａを処理して、第１のＲＮＮ出力（Ｓ１）を生成する。隠れＲＮＮ層４２２は、次に、第２の順次入力４２０ｂを受け、第１のＲＮＮ出力（Ｓ１）を用いて第２の順次入力４２０ｂを処理して、第２のＲＮＮ出力（Ｓ２）を生成する。次に、隠れＲＮＮ層４２２は、第３の順次入力４２０ｃを受け、第２のＲＮＮ出力（Ｓ２）を用いて第３の順次入力４２０ｃを処理して、第３のＲＮＮ出力（Ｓ３）を生成する。次いで、ＭＬＰ出力（Ｓ０）は、第３のＲＮＮ出力（Ｓ３）に加算４３０されて、時系列予測４４０が生成される。いくつかの実施形態では、順次入力は、所与の時間に注入された薬物の累積量に対応する。いくつかの実施形態では、時系列予測４４０はＰｋ曲線である。

図示され上述されたＲＮＮユニットは通常のＲＮＮユニットであるが、他のタイプのＲＮＮユニットが使用されてもよい。いくつかの実施形態では、長短期記憶（ＬＳＴＭ）ＲＮＮユニットが使用される。ＬＳＴＭ ＲＮＮユニットとは、セル、入力ゲート、出力ゲート、および忘却ゲートを含むＲＮＮユニットのことをいう。セルは、任意の時間間隔にわたって値を記憶し、３つのゲートは情報の流れを制御する。ＬＳＴＭ ＲＮＮユニットは、従来のＲＮＮを訓練するときに場合によっては遭遇することが知られている、消失勾配問題の影響を最小限にすることができる。いくつかの実施形態では、ゲート付きリカレントユニット（ＧＲＵ）がＲＮＮユニットとして使用される。ＧＲＵは忘却ゲートを持つＬＳＴＭであるが、出力ゲートが欠如しているので、パラメータがＬＳＴＭよりも少ない。ＬＳＴＭと比較して、ＧＲＵは、比較的小さいデータセットを扱う場合に、より優れた予測性能を示すことが明らかになっている。

図４は、本開示の１つまたはそれ以上の実施形態による、時変データおよび時不変データを使用して１つまたはそれ以上の時系列予測を生成するための方法５００を描写するフローチャートである。方法５００は、ＭＬＰによって、第１のタイプの外部データを受けること（ブロック５０２）；ＭＬＰによって、第１のタイプの外部データを処理してＭＬＰ出力を生成すること（ブロック５０４）；ＲＮＮユニットによって、ＭＬＰ出力の少なくとも一部分と第２のタイプの外部データとを受けること（ブロック５０６）；ＲＮＮユニットによって、ＭＬＰ出力の少なくとも一部分と第２のタイプの外部データとを処理してＲＮＮ出力を生成すること（ブロック５０８）；ならびに、ＲＮＮ出力およびＭＬＰ出力に少なくとも部分的に基づいて、１つまたはそれ以上の時系列予測を生成することを含む。

ブロック５０２で、ＲＳＮＮのＭＬＰは、第１のタイプの外部データを受ける。いくつかの実施形態では、第１のタイプの外部データは時不変データである。たとえば、時不変データは、ベースライン患者特性とすることができる。

ブロック５０４で、ＭＬＰは、第１のタイプの外部データを処理して、図１に関して先に説明したＭＬＰ出力を生成する。

ブロック５０６で、ＭＬＰのＲＮＮユニットは、ＭＬＰ出力の少なくとも一部分をＭＬＰから受ける。ＲＮＮユニットはまた、第２のタイプの外部データを受ける。いくつかの実施形態では、第２のタイプの外部データは時変データである。たとえば、時変データは、患者に注入された薬物の一連の累積量とすることができる。

ブロック５０８で、ＲＮＮユニットは、ＭＬＰ出力のうちの受けられた部分を第２のタイプの外部データとともに処理して、図３に関して先に説明したＲＮＮ出力を生成する。

ブロック５１０で、ＲＳＮＮは、ＲＮＮ出力およびＭＬＰ出力に少なくとも部分的に基づいて、１つまたはそれ以上の時系列予測を生成する。いくつかの実施形態では、ＲＳＮＮは、ＲＮＮ出力とＭＬＰ出力を組み合わせて１つまたはそれ以上の時系列予測を生成する。時系列予測は、たとえばＰｋ曲線とすることができる。

ＲＳＮＮを訓練する例示的な方法：
次に、薬物動態モデリングのためにＲＳＮＮを訓練する例示的な方法について説明する。ＲＳＮＮは、薬物動態モデル

として出力と入力の対の

を用いて訓練および検証され、ここで、

はモデルへの入力である。変数ｘ_ｉは、ｉ番目の患者のｐ個のベースライン特性を表すｐ次元のベクトルであり、ｄ_ｉは、ｉ番目の患者に割り当てられた実際の用量レベルの時間系列である。変数ｙ_ｉは、モデルからの出力、すなわち、ｉ番目の患者の観測された薬物動態学的濃度の時間系列を表す。このモデルは、訓練セットの患者を用いて繰り返し訓練される。訓練過程中、モデルは、その生成された予測値ｃ_ｉをグランドトゥルースデータｃ_ｉと比較し、それに応じてその重みを更新する。

モデルが、所与のインスタンスｉに対する訓練された

であるとき、この一連の入力は、

および

をそれぞれ含み、ここで、

は、時不変のベースライン特性であるので経時的に変化しない。

ベースライン特性は、ＲＳＮＮの多層パーセプトロン（ＭＬＰ）に提供される。この場合、ＭＬＰの出力は、ＲＳＮＮの従来のＲＮＮユニットの初期状態として使用される。時変データ（たとえば、ある患者に割り当てられた用量レベル、および所与の時間）は、従来のＲＮＮユニットに提供される。時不変入力は、時変入力よりもＰｋモデルに対して影響力を持つ可能性があるため、時不変入力を処理するために使用されるＭＬＰと、リカレント層の最上部に積み重ねられた完全連結層との間にショートカット連結が実施される。このショートカットは、時不変入力に含まれる情報をＲＮＮユニットの最終出力に直接伝える手段を提供する。

数学的に、ＲＳＮＮは次のように定義される。所与のインスタンスｉ、時変入力ｘ_ｉ、および一連の時変入力

に対して、一連の出力

は、

によって得られ、ここで、最初の式（１）は、ＭＬＰの完全連結層を定義している。パラメータ

は、訓練予定のパラメータである。

薬物動態をモデル化するには、ｚ_ｉｔ＝ｄ_ｉｔの関係が用いられる。同様に、ＭＬＰは、複数の完全連結層を含み得る。加えて、ＲＮＮユニットに複数のリカレント層がある場合には、最初のリカレント層だけの初期状態、最後のリカレント層だけの初期状態、またはすべてのリカレント層の初期状態がＭＬＰの出力になり得る。加えて、リカレント層の最上部に複数の完全連結層が積み重なっている場合には、ＭＬＰの出力は、最初の完全連結層だけ、最後の完全連結層だけ、またはすべての完全連結層に提供される。これらの異なる設計決定事項は、ハイパーパラメータと考えられる。

実験結果：
６５人の患者から成るデータセットが、ゲート付きリカレントニューラルネットワーク（ＧＲＵ）をＲＮＮユニットとして使用した例示的なＲＳＮＮに提供された。患者ごとに、一連の観察されたＰＫ値（ｙ_ｉ）、年齢および性別の２つのベースライン特性（ｘ_ｉ）、ならびに注入された薬物の一連の累積量（ｄ_ｉ）が用いられた。データセットのＲＳＮＮの各時点における入力と出力を連結するためにＧＲＵが用いられ、訓練セットおよび妥当性検査セットの結果（たとえば、Ｐｋ曲線）がフィットされた。

ＲＳＮＮモデルは、訓練セットに見られた非常に高いピークがある２つのＰＫ曲線を含めて、妥当性検査セットのすべてのＰＫ曲線に正確にフィットした。このことは、ＲＳＮＮが、ＰＫ値と注入された薬物の累積量との間の複雑な非線形関係をベースライン特性と同様に捕捉できることを示した。

上述の説明において、本開示の諸実施形態は、実施形態ごとに異なり得る多数の特定の細部に関して説明された。したがって、本明細書および図面は、限定的な意味ではなく、例示的なものとしてみなされるべきである。本開示の範囲と、本出願人らが本開示の範囲であるとするものとを唯一かつ排他的に示すものは、本出願に由来する請求項の組の、その後の任意の修正を含むそのような請求項に由来する特定の形式での、文字通りの、かつ同等の範囲である。このような特許請求の範囲に含まれる用語について本明細書に明示されているあらゆる定義が、請求項に使用されるそのような用語の意味を規定するものとする。加えて、前述の説明または以下の特許請求の範囲で「さらに含む」という用語が使用される場合、この語句の後に続くものは、追加のステップもしくはエンティティ、または以前に引用されたステップもしくはエンティティのサブステップ／サブエンティティであり得る。

Claims (13)

1. システムであって、
   １つまたはそれ以上のコンピュータと；
   １つまたはそれ以上の記憶デバイスは、１つまたはそれ以上のコンピュータによって実行されると、１つまたはそれ以上のコンピュータにニューラルネットワークを実行させる命令を記憶する、１つまたはそれ以上のコンピュータに通信可能に連結された１つまたはそれ以上の記憶デバイスを含み、
   ニューラルネットワークは、：
   第１のタイプの外部データが時不変データを含む、第１のタイプの外部データを受け、この第１のタイプの外部データを処理してＭＬＰ出力を生成するように構成された多層パーセプトロン（ＭＬＰ）と；
   第２のタイプの外部データは時変データを含む、ＭＬＰ出力の少なくとも一部分と第２のタイプの外部データとを受け；
   ＭＬＰ出力の少なくとも一部分および少なくとも第２のタイプの外部データを処理してＲＮＮ出力を生成する；
   ように構成された、リカレントニューラルネットワーク（ＲＮＮ）ユニットとを含み、
   ここで、ＭＬＰとＲＮＮユニットは、ＲＮＮ出力およびＭＬＰ出力に少なくとも部分的に基づく１つまたはそれ以上の時系列予測を生成するように構成されている、前記ニューラルネットワークであって、
   ＭＰＬ出力とＲＮＮ出力を組み合わせて残差出力を生成するように構成され、１つまたはそれ以上の時系列予測は、その残差出力に少なくとも部分的に基づいて生成されるニューラルネットワークである、
   前記システム。
2. ＭＬＰは、入力層、少なくとも１つの隠れ層、および出力層を含む、請求項１に記載のシステム。
3. ＲＮＮユニットは、少なくとも１つの隠れＲＮＮ層を含む、請求項１～２のいずれか１項に記載のシステム。
4. ＲＮＮユニットは長短期記憶ＲＮＮユニットを含む、請求項１～３のいずれか１項に記載のシステム。
5. ＲＮＮユニットは通常のＲＮＮユニットを含む、請求項１～４のいずれか１項に記載のシステム。
6. ＲＮＮユニットはゲートリカレントユニットを含む、請求項１～５のいずれか１項に記載のシステム。
7. １つまたはそれ以上の時系列予測は、薬物の用量の投与後の時間の関数としての、血漿中の薬物の濃度値を含む、請求項１～６のいずれか１項に記載のシステム。
8. 方法であって：
   第１のタイプの外部データが時不変データを含む、多層パーセプトロン（ＭＬＰ）によって、第１のタイプの外部データを受けること；
   ＭＬＰによって、第１のタイプの外部データを処理してＭＬＰ出力を生成すること；
   第２のタイプの外部データは時不変データを含む、リカレントニューラルネットワーク（ＲＮＮ）ユニットによって、ＭＬＰ出力の少なくとも一部分と第２のタイプの外部データとを受けること；
   ＲＮＮユニットによって、ＭＬＰ出力の少なくとも一部分と第２のタイプの外部データとを処理してＲＮＮ出力を生成すること；ならびに、
   ＭＰＬ出力とＲＮＮ出力を組み合わせて残差出力を生成することをさらに含み、１つまたはそれ以上の時系列予測が、その残差出力に少なくとも部分的に基づいて生成されることを含む、ＲＮＮ出力およびＭＬＰ出力に少なくとも部分的に基づく１つまたはそれ以上の時系列予測を生成することを含む、
   前記方法。
9. ＲＮＮユニットは長短期記憶ＲＮＮユニットを含む、請求項８に記載の方法。
10. ＲＮＮユニットは通常のＲＮＮユニットを含む、請求項８～９のいずれか１項に記載の方法。
11. ＲＮＮユニットはゲートリカレントユニットを含む、請求項８～１０のいずれか１項に記載の方法。
12. １つまたはそれ以上の時系列予測は、薬物の用量の投与後の時間の関数としての、血漿中の薬物の濃度値を含む、請求項８～１１のいずれか１項に記載の方法。
13. １つまたはそれ以上のコンピュータによって実行されると、１つまたはそれ以上のコンピュータに動作を実行させる命令を記憶する1つまたはそれ以上の非一時的コンピュータ記憶媒体であって：
    第１のタイプの外部データが時不変データを含む、多層パーセプトロン（ＭＬＰ）によって、第１のタイプの外部データを受けること；
    ＭＬＰによって、第１のタイプの外部データを処理してＭＬＰ出力を生成すること；
    第２のタイプの外部データは時不変データを含む、リカレントニューラルネットワーク（ＲＮＮ）ユニットによって、ＭＬＰ出力の少なくとも一部分と第２のタイプの外部データとを受けること；
    ＲＮＮユニットによって、ＭＬＰ出力の少なくとも一部分と第２のタイプの外部データとを処理してＲＮＮ出力を生成すること；ならびに、
    ＭＰＬ出力とＲＮＮ出力を組み合わせて残差出力を生成することをさらに含み、１つま
    たはそれ以上の時系列予測が、その残差出力に少なくとも部分的に基づいて生成されることを含む、ＲＮＮ出力およびＭＬＰ出力に少なくとも部分的に基づいて、１つまたはそれ以上の時系列予測を生成することを含む、
    前記非一時的コンピュータ記憶媒体。

Images