JP2023546035A - 診断分析のための方法およびシステム - Google Patents

Abstract

本開示の実施形態は、診断分析のための方法およびシステムに関する。本開示のいくつかの実施形態は、診断分析システム（１）を提供する。診断分析システム（１）は、１つまたは複数の分析機器（１０）と、監視システム（２０）、例えば品質管理監視システムとを備える。１つまたは複数の分析機器（１０）は、検証アルゴリズムを使用して監視システム（２０）によって検証されることになる分析試験結果を提供するように設計されている。さらに、監視システム（２０）は、ライブデータセットと第１の訓練データセットとの間の差分レベルが閾値よりも大きい場合に、検証アルゴリズムを再訓練することができる。この解決策により、検証アルゴリズムの精度を向上させることができる。

Description

本発明は、例えば健康関連診断の分野における分析試験および監視、例えばその品質管理監視に関する。

診断分析試験は、医師に重要な情報を提供することができ、したがって、健康関連の決定、集団健康管理などにとって非常に重要であり得る。

分析試験は、分析試験結果を損なう可能性があるエラーを受ける可能性がある。エラーは、例えば、分析器の取り扱い不良、誤構成、および／または破損に起因し得る。このようなエラーを検出する必要がある。検出は、例えば、エラーの原因を除去するための第一歩とすることができる。

本発明の目的は、現在の最新技術を拡張するシステム、方法、および媒体を提供することである。

この目的のために、独立請求項にかかるシステム、方法、および媒体が提案され、本発明の特定の実施形態が従属請求項に記載されている。

診断分析システムであって、
分析試験結果を提供するように設計された１つまたは複数の分析機器（１０）と、
分析試験データを処理するように設計された監視システム（２０）と、を備え、
分析試験データが、１つまたは複数の分析機器（１０）によって提供される分析試験結果および分析試験結果に関連付けられたメタデータを含み、
監視システム（２０）が、検証アルゴリズムを使用して分析試験結果を検証するように設計されており、
検証アルゴリズムが、複数の訓練分析試験データを含む第１の訓練データセットを使用して訓練され、各訓練分析試験データが訓練分析試験結果および訓練メタデータを含み、
監視システム（２０）が、
分析試験データのライブデータセットと第１の訓練データセットとの間の差分レベルを評価することであって、
差分レベルが、ライブデータセットと第１の訓練データセットとの分布特性の比較に基づいて決定される、差分レベルを評価することと、
ライブデータセットと第１の訓練データセットとの間の差分レベルが第１の閾値よりも大きい場合、第２の訓練データセットを使用して検証アルゴリズムを再訓練することと、
分析試験結果の検証のために再訓練された検証アルゴリズムを使用することと、を行うように設計されている、診断分析システムが提案される。

いくつかの実施形態によれば、ライブデータセットと第２の訓練データセットとの間の差分レベルは、第２の閾値よりも低い。

いくつかの実施形態によれば、第２の訓練データセットは、ライブデータセットを含む。

いくつかの実施形態によれば、監視システム（２０）は、分析試験結果および検証アルゴリズムの結果の分析を実行するように設計されている。

いくつかの実施形態によれば、監視システム（２０）は、分析に基づく分析試験プロセスに関連付けられた可能性のあるエラーを監視システム（２０）のユーザに通知するように設計されている。

いくつかの実施形態によれば、１つまたは複数の分析機器（１０）のうちの少なくとも１つは、生物学的試料を処理し、生物学的試料に関連付けられた分析試験結果を提供するように設計された生物学的試料分析器である。

いくつかの実施形態によれば、データセットの分布特性は、データセットに含まれる分析試験結果の値を使用して決定される。

いくつかの実施形態によれば、データセットの分布特性は、データセットに含まれる分析試験結果に関連付けられたメタデータを使用して決定される。

いくつかの実施形態によれば、メタデータは、分析試験結果に関連付けられた患者の年齢、患者の性別、患者の由来のタイプ、患者の病棟、および患者の健康診断のうちの少なくとも１つを少なくとも含む。

いくつかの実施形態によれば、監視システム（２０）は、ライブデータセットに関連付けられたメタデータに基づいて第１の特性値を決定することと、第１の訓練データセットに関連付けられたメタデータに基づいて第２の特性値を決定することと、第１の特性値および第２の特性値を使用して差分レベルを評価することと、を行うように設計されている。

いくつかの実施形態によれば、監視システム（２０）は、ライブデータセットの第１の特徴とライブデータセットに関連付けられたグラウンドトゥルースラベルの第１のセットとの間の第１の関連付けを決定することであって、グラウンドトゥルースラベルの第１のセットが、ライブデータセットに含まれる複数の分析試験データのそれぞれの有効性値を示す、第１の関連付けを決定することと、第１の訓練データセットの第２の特徴と第１の訓練データセットに関連付けられたグラウンドトゥルースラベルの第２のセットとの間の第２の関連付けを決定することであって、グラウンドトゥルースラベルの第２のセットが、第１の訓練データセットに含まれる複数の訓練分析試験データのそれぞれの有効性値を示す、第２の関連付けを決定することと、第１の関連付けおよび第２の関連付けを使用して差分レベルを評価することと、を行うように設計されている。

いくつかの実施形態によれば、監視システム（２０）は、無効とラベル付けされたライブデータセットの分析試験結果の第１のパーセンテージを決定することと、無効とラベル付けされた第１の訓練データセットの分析試験結果の第２のパーセンテージを決定することと、第１のパーセンテージおよび第２のパーセンテージを使用して差分レベルを評価することと、を行うように設計されている。

いくつかの実施形態によれば、監視システム（２０）は、元の検証アルゴリズムに関連付けられた第１の性能を取得することと、再訓練された検証アルゴリズムを用いて試験データセットを処理することによって、再訓練された検証アルゴリズムに関連付けられた第２の性能を決定することであって、試験データセットが複数の分析試験データを含む、第２の性能を決定することと、第２の性能が第１の性能よりも良好である場合、分析試験結果の検証のために再訓練された検証アルゴリズムを使用することと、を行うように設計されている。

いくつかの実施形態によれば、訓練データセットは、オーダーにしたがって再訓練された検証アルゴリズムによって処理され、監視システム（２０）は、第１の数を決定することであって、第１の数が、オーダーにしたがって再訓練された検証アルゴリズムによって誤った無効化が行われる前に再訓練された検証アルゴリズムによって処理された分析試験結果の数である、第１の数を決定することと、第２の数を決定することであって、第２の数が、無効とラベル付けされた分析試験結果がオーダーにしたがって処理される前の分析試験結果の数である、第２の数を決定することと、分析試験データの第１の数および分析試験データの第２の数を使用して第２の性能を決定することと、を行うように設計されている。

いくつかの実施形態によれば、監視システム（２０）は、試験データセットに基づいて再訓練された検証アルゴリズムによって誤った検証予測および／または誤った無効化予測の数を決定することと、再訓練された検証アルゴリズムによる誤った検証予測および／または誤った無効化予測の数を使用して第２の性能を決定することと、を行うように設計されている。

診断分析試験の品質管理監視のためのコンピュータ実装方法であって、
複数の分析試験データを含むライブデータセットを受信すること（２０２）であって、各分析試験データが分析試験結果および分析試験結果に関連付けられたメタデータを含む、ライブデータセットを受信することと、
検証アルゴリズムを使用してライブデータセットの分析試験結果を検証すること（２０４）であって、
検証アルゴリズムが、複数の訓練分析試験データを含む第１の訓練データセットを使用して訓練され、各訓練分析試験データが訓練分析試験結果および訓練メタデータを含む、分析試験結果を検証することと、
ライブデータセットと第１の訓練データセットとの間の差分レベルを評価すること（２０６）であって、
差分レベルが、ライブデータセットと第１の訓練データセットとの分布特性の比較に基づいて決定される、差分レベルを評価することと、
ライブデータセットと第１の訓練データセットとの間の差分レベルが第１の閾値よりも大きい場合、第２の訓練セットを使用して検証アルゴリズムを再訓練すること（２１０）と、を含む、コンピュータ実装方法が提案される。

診断分析試験を監視するための方法であって、
複数の分析試験結果を決定することと、
複数の分析試験データを含むライブデータセットを提供することであって、各分析試験データが、複数の分析試験結果のうちの分析試験結果と、分析試験結果に関連付けられたメタデータとを含む、ライブデータセットを提供することと、
診断分析試験の品質管理監視のためのコンピュータ実装方法のステップを実行することと、を含む、方法が提案される。

診断分析システム（１）であって、
分析試験結果を決定するように設計された１つまたは複数の分析機器（１０）と、
診断分析試験の品質管理監視のためのコンピュータ実装方法を実行するように構成された監視システム（２０）と、を備える、診断分析システム（１）が提案される。

診断分析試験のための監視システム（２０）であって、
分析試験データを処理することであって、
分析試験データが、１つまたは複数の分析機器（１０）によって提供される分析試験結果および分析試験結果に関連付けられたメタデータを含む、分析試験データを処理することと、
検証アルゴリズムを使用して分析試験結果を検証することであって、
検証アルゴリズムが、複数の訓練分析試験データを含む第１の訓練データセットを使用して訓練され、各訓練分析試験データが訓練分析試験結果および訓練メタデータを含む、分析試験結果を検証することと、
分析試験データのライブデータセットと第１の訓練データセットとの間の差分レベルを評価することであって、
差分レベルが、ライブデータセットと第１の訓練データセットとの分布特性の比較に基づいて決定される、差分レベルを評価することと、
ライブデータセットと第１の訓練データセットとの間の差分レベルが第１の閾値よりも大きい場合、第２の訓練データセットを使用して検証アルゴリズムを再訓練することと、
分析試験結果の検証のために再訓練された検証アルゴリズムを使用することと、を行うように設計されている、監視システム（２０）が提案される。

診断関連分析試験を監視するためのコンピュータ実装方法であって、
分析試験データを処理することであって、
分析試験データが、１つまたは複数の分析機器（１０）によって提供される分析試験結果および分析試験結果に関連付けられたメタデータを含む、分析試験データを処理することと、
検証アルゴリズムを使用して分析試験結果を検証することであって、
検証アルゴリズムが、複数の訓練分析試験データを含む第１の訓練データセットを使用して訓練され、各訓練分析試験データが訓練分析試験結果および訓練メタデータを含む、分析試験結果を検証することと、
処理されている複数の分析試験データと第１の訓練データセットとの間の差分レベルを評価することであって、
差分レベルが、処理されている複数の分析試験データと第１の訓練データセットとの分布特性の比較に基づいて決定される、差分レベルを評価することと、を含む、コンピュータ実装方法が提案される。

診断分析試験のための監視システム（２０）であって、処理ユニット（７０１）と、処理ユニットに結合され、命令が記憶されているメモリ（７０２、７０３）と、を備え、前記命令は、前記処理ユニットによって実行されると、電子デバイスに診断分析試験の品質管理監視のためのコンピュータ実装方法を実行させる、監視システムが提案される。

命令を含むコンピュータ可読媒体であって、前記命令は、実行されると、診断分析試験の品質管理監視のためのコンピュータ実装方法を実行させる、コンピュータ可読媒体が提案される。

要約セクションは、本開示の実施形態の重要なまたは本質的な特徴を特定することを意図するものではなく、本開示の範囲を限定するために使用されることを意図するものでもないことを理解されたい。本開示の他の特徴は、以下の説明によって容易に理解されるであろう。

添付の図面を参照した以下の詳細な説明により、本開示の例示的な実施形態の上記および他の目的、特徴、および利点がより明らかになるであろう。本開示の例示的な実施形態では、同じ参照符号は、通常、同じ構成要素を指す。

本明細書に記載の主題の実装にかかる例示的な診断分析システムの概略図を示している。 本明細書に記載の主題の実装にかかる診断分析試験を監視するためのプロセスのフローチャートを示している。 本明細書に記載の主題の異なる実装にかかる差分レベルを決定する例示的なプロセスのフローチャートを示している。 本明細書に記載の主題の異なる実装にかかる差分レベルを決定する例示的なプロセスのフローチャートを示している。 本明細書に記載の主題の異なる実装にかかる差分レベルを決定する例示的なプロセスのフローチャートを示している。 本明細書に記載の主題の実装にかかる再訓練された検証アルゴリズムを使用するプロセスのフローチャートを示している。 本明細書に記載の主題の異なる実装にかかる再訓練された検証アルゴリズムの性能を決定する例示的なプロセスのフローチャートを示している。 本明細書に記載の主題の異なる実装にかかる再訓練された検証アルゴリズムの性能を決定する例示的なプロセスのフローチャートを示している。 本明細書に記載の主題の実装にかかる検証アルゴリズムによって警告を生成するプロセスのフローチャートを示している。 本開示の実施形態を実装するための例示的なデバイスの概略ブロック図を示している。

次に、いくつかの実施形態を参照して、本開示の原理を説明する。これらの実施形態は、例示のみを目的として記載されており、本開示の範囲に関するいかなる限定も示唆することなく、当業者が本開示を理解して実施するのに役立つことを理解されたい。本明細書に記載された開示は、以下に説明する以外にも、様々な態様で実施されることが可能である。

以下の説明および特許請求の範囲では、別段の定義がない限り、本明細書において使用される全ての技術用語および科学用語は、本開示が属する技術分野の当業者によって一般に理解されている意味と同じ意味を有する。

本開示における「一実施形態」、「実施形態」、「例示的な実施形態」などへの言及は、記載された実施形態が特定の特徴、構造、または特性を含むことができることを示すが、全ての実施形態が特定の特徴、構造、または特性を含む必要はない。さらに、そのような句は、必ずしも同じ実施形態を指しているわけではない。さらには、特定の特徴、構造、または特性が例示的な実施形態に関連して説明される場合、明確に記載されているかどうかにかかわらず、他の実施形態に関連してそのような特徴、構造、または特性に影響を与えることは、当業者の知識の範囲内であると考えられる。

本明細書では、「第１」および「第２」などの用語が使用されて様々な要素を説明することができるが、これらの要素は、これらの用語によって限定されるべきではないことを理解されたい。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、例示的な実施形態の範囲から逸脱することなく、第１の要素が第２の要素と呼ばれることができ、同様に、第２の要素が第１の要素と呼ばれることができる。本明細書で使用される場合、「および／または」という用語は、列挙された用語のうちの１つまたは複数のありとあらゆる組み合わせを含む。

本明細書で使用される用語は、特定の実施形態を説明するためのものに過ぎず、例示的な実施形態を限定することを意図するものではない。ここで使用するように、単数形の「ａ」、「ａｎ」、および「ｔｈｅ」は、その文脈がさもなければ明確に示さない限りは、複数形を同様に含むことが意図されている。「備える（ｃｏｍｐｒｉｓｅｓ）」、「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「有する（ｈａｓ）」、「有する（ｈａｖｉｎｇ）」、「含む（ｉｎｃｌｕｄｅｓ）」および／または「含む（ｉｎｃｌｕｄｉｎｇ）」という用語は、本明細書で使用される場合、記載された特徴、要素、および／または構成要素などの存在を指定するが、１つまたは複数の他の特徴、要素、構成要素、および／またはそれらの組み合わせの存在または追加を排除するものではないことがさらに理解されよう。

上述したように、検証手順は、様々な診断試験において生成される分析試験結果の有効性を保証するために重要である。図１は、本明細書に記載の主題の実装にかかる例示的な診断分析システム（１）の概略図を示している。

図１に示すように、診断分析システム（１）は、分析試験結果を決定するための１つまたは複数の分析機器（１０）と、監視システム（２０）とを備えることができる。分析機器（１０）、または略して「分析器」は、分析機能を実行し、分析試験結果を得るように設計された装置および／またはソフトウェアである。診断分析試験結果は、健康関連状態を示すことができる。

いくつかの実施形態によれば、１つまたは複数の分析機器（１０）のうちの少なくとも１つは、生物学的試料、例えば、生物源に由来するインビトロ診断法（「ＩＶＤ」）用の試料の分析を実行するように設計されている。いくつかの具体的な実施形態によれば、少なくとも１つの分析機器（１０）は、様々な化学的、生物学的、物理的、光学的、および／または他の技術的手順を介して、生物学的試料またはその成分のパラメータ値を決定し、そのパラメータ値を分析試験結果を得るために使用するように設計されている。生物学的試料分析装置の例は、例えば、ｃｏｂａｓ（登録商標）８８００ Ｓｙｓｔｅｍなどの検査室システムおよびＡｃｃｕ－Ｃｈｅｋ（登録商標）Ｉｎｆｏｒｍ ＩＩなどのポイントオブケアシステムを含む。

いくつかの実施形態によれば、１つまたは複数の分析器（１０）のうちの少なくとも１つは、デジタルデータを収集し、診断分析試験結果を得るためにデジタルデータを使用するように設計されている。一例では、少なくとも１つの分析器（１０）は、例えば刺激に反応した患者の指および／または目の動きを示すデータを収集し、分析試験結果を計算するための定量的および／または定性的結果を提供するように設計されている。デジタル分析器の例は、Ａｐｐ Ｆｌｏｏｄｌｉｇｈｔである。

分析器（１０）によって提供される分析試験結果の有効性を保証するために、監視システム（２０）は、分析試験データを取得し、そこに含まれる分析試験結果を検証することができる。例えば、それらが特定の分析器によって、または共通のリソース（例えば、試薬ロットまたは前処理機器）を共有する分析器の特定のグループによって提供されるという共通点を有する分析試験結果の無効化の累積は、分析試験プロセスにおける系統的エラーの指標となることができる。

いくつかの実施形態によれば、監視システム（２０）は、品質管理監視システムとして設計されている。品質管理監視システムは、例えば、分析試験結果および検証アルゴリズムの結果の分析を実行するように設計されることができる。いくつかの具体的な実施形態によれば、分析は、検証アルゴリズムによって無効であるとみなされる試験結果に対して実行される。分析は、例えば、特定の複数の分析試験結果が高すぎる（または低すぎる）とみなされることを示すことができ、これは分析試験プロセスにおける系統的エラーを示すことができる。分析の結果は、例えば、無効であるとみなされる分析試験結果が、分析試験プロセスにおけるエラーの原因となることができる共通の何かを有することとすることができる。分析は、統計分析を含むことができる。

いくつかの実施形態によれば、監視システム（２０）は、分析試験結果および各分析試験結果に関連付けられたメタデータを含む分析試験データに基づいて、検索された分析試験結果を検証するための検証アルゴリズムとともに展開されることができる。検証アルゴリズムは、例えば、機械学習技術によって実施されることができる。機械学習技術は、人工知能（ＡＩ）技術と呼ばれることもある。検証アルゴリズムの例は、様々なタイプの深層ニューラルネットワーク（ＤＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、サポートベクターマシン（ＳＶＭ）、決定木、ランダムフォレストモデルなどを含むが、これらに限定されない。検証アルゴリズムは、例えば、分析試験結果を「無効とみなす」または「有効とみなす」として分類することができる。いくつかの実施形態によれば、検証アルゴリズムは、分析試験結果が無効とみなされ、有効とみなされる程度の定量化を提供することができる。このような程度は、検証アルゴリズムの結果の分析に使用されることができる。

いくつかの実施形態によれば、検証アルゴリズムは、品質管理アルゴリズムであり、および／または品質管理アルゴリズムに含まれる。品質管理アルゴリズムは、例えば、検証アルゴリズムによって行われた分析試験結果の検証推定に基づいて、エラー、例えばシステムエラーを検出するように設計されることができる。いくつかの特定の実施形態によれば、品質管理アルゴリズムは、検証アルゴリズムと、分析試験結果および検証アルゴリズムによって行われるそれぞれの有効性推定の分析のために設計された分析アルゴリズムとを含む。分析アルゴリズムは、統計的方法を実施する統計的分析アルゴリズムを含むことができる。品質管理アルゴリズムは、分析アルゴリズムの場合、結果に基づいて分析試験プロセスにおいて起こり得るエラー、例えば系統的エラーを示すようにさらに設計されることができる。いくつかの特定の実施形態によれば、品質管理アルゴリズムは、分析試験プロセスにおける起こり得るエラーの原因を示すためにさらに設計されることができる。

いくつかの実施形態によれば、監視システム（２０）は、ｃｏｂａｓ（登録商標）ｉｎｆｉｎｉｔｙ検査室ソリューションまたはｃｏｂａｓ（登録商標）ｉｎｆｉｎｉｔｙ ＰＯＣソリューションなどのミドルウェアに含まれる、および／またはそれに接続される。いくつかの特定の実施形態によれば、分析試験データまたはその少なくとも一部、例えば分析試験結果は、ミドルウェアによって監視システム（２０）に提供される。

いくつかの実施形態によれば、監視システム（２０）は、検査室情報システム（「ＬＩＳ」）または病院情報システム（「ＨＩＳ」）に含まれる、および／またはそれに接続される。いくつかの特定の実施形態によれば、分析試験データまたはその少なくとも一部、例えばメタデータの少なくとも一部は、ＬＩＳまたはＨＩＳによって監視システム（２０）に提供される。

いくつかの実施形態によれば、監視システム（２０）は、ソフトウェア構成要素を備える。ソフトウェア構成要素のうちの少なくともいくつかは、例えば１つまたは複数のサーバ上でクラウドアプリケーションとして実行するように設計されることができる。いくつかの特定の実施形態によれば、監視システム（２０）は、ソフトウェア構成要素およびハードウェア構成要素を備える。

図１に示すように、監視システム（２０）は、ディスプレイ（３０）にさらに結合され、ディスプレイ（３０）を介して、監視システム（２０）によって決定された分析試験結果の有効性に関する情報を提供することができる。例えば、ディスプレイ（３０）は、監視システム（２０）によって決定された分析試験結果の有効性状態の統計を示すことができ、分析試験結果が監視システム（２０）によって無効であるとみなされたことを示すために異なる色を使用することができる。

いくつかの実施形態によれば、図１に示すように、監視システム（２０）は、分析試験結果の監視に関連付けられた様々な情報を示すことができるグラフィカルユーザインターフェース（ＧＵＩ）（４０）をディスプレイ（３０）に提示することができる。例えば、ＧＵＩ（４０）は、医師または看護師に、毎日分析機器（１０）によって生成された分析試験結果の数、およびそれらのうちのいくつが監視システム（２０）によって無効であるとみなされるかを示すことができる。

いくつかの実施形態によれば、ＧＵＩ（４０）はまた、医師または看護師が分析試験結果の有効性予測に関するフィードバックを入力することを可能にすることができる。例えば、医師は、分析試験結果が検証アルゴリズムによって誤って無効であるとみなされるというフィードバック、または分析試験結果が検証アルゴリズムによって誤って有効であるとみなされるというフィードバックを提供することができる。

現在の検証手順では、検証アルゴリズムは、通常、特定の訓練データセットを使用して訓練される。典型的には、機械学習検証アルゴリズムが使用される場合、検証アルゴリズムは、入力分析試験結果の全体的な特性が訓練データセットを含む訓練分析試験結果に近いときに良好な性能を達成することができる。

しかしながら、入力された分析試験結果の全体的な特性が訓練された分析試験結果と著しく異なる場合、より誤った検証予測または誤った無効化予測が検証アルゴリズムによって生成されることができる。例えば、検証アルゴリズムが夏に生成された分析試験結果を使用して訓練される場合、検証アルゴリズムは、異なる季節、例えば冬に生成された分析試験結果を処理するときにエラーを起こしやすい可能性がある。したがって、無効化手順の精度を向上させるための解決策を得ることが望まれる。

本開示の例示的な実施形態によれば、医療データの自動検証のための解決策が提案される。この解決策では、複数の分析試験データを含むライブデータセットが提供され、各分析試験データは、分析試験結果および分析試験結果に関連付けられたメタデータを含む。ライブデータセットの分析試験結果は、検証アルゴリズムを使用して検証され、検証アルゴリズムは、複数の訓練分析試験データを含む第１の訓練データセットを使用して訓練されており、各訓練分析試験データは、訓練分析試験結果および訓練メタデータを含む。ライブデータの処理の前、最中、および／または後に、ライブデータセットと第１の訓練データセットとの間の差分レベルが評価され、差分レベルは、ライブデータセットと第１の訓練データセットとの分布特性の比較に基づいて決定される。ライブデータセットと第１の訓練データセットとの間の差分レベルが閾値よりも大きい場合、検証アルゴリズムは、第２の訓練セットを使用して再訓練される。次いで、再訓練された検証アルゴリズムは、分析試験結果の将来の検証に使用される。このようにして、検証アルゴリズムは、例えば自動的に再訓練されてもよく、したがって、分析試験データの検証の精度および品質を大幅に改善することができる。

以下、本開示の例示的な実施形態を図面を参照して説明する。本明細書に記載の主題の実装にかかる診断分析試験の品質管理監視のためのプロセス（２００）のフローチャートを示す図２を最初に参照する。本明細書の監視は、分析試験プロセスにおけるエラーを検出するための品質管理監視を含むことができる。

図２に示すように、ブロック２０２において、監視システム（２０）は、複数の分析試験データを含むライブデータセットを受信し（２０２）、各分析試験データは、分析試験結果および分析試験結果に関連付けられたメタデータを含む。ライブデータセットの例は、検証アルゴリズムによって現在処理されている分析試験データを含むことができる。例えば、ライブデータセットは、当日に処理された複数の試験データを含むことができる。

上述したように、監視システムは、分析機器（１０）によって提供された複数の分析試験結果を取得することができる。いくつかの実施形態によれば、各分析試験データは、単一の患者に関連付けられた１つまたは複数の試験結果を含むことができる。例えば、血液試料試験の例では、血液分析に関連付けられた２つ以上の分析試験結果、例えば白血球（ＷＢＣ）の量および赤血球（ＲＢＣ）の量が分析機器（１０）によって提供されることができる。

いくつかの実施形態によれば、監視システム（２０）はまた、分析試験結果に関連付けられたメタデータを受信することができる。メタデータは、例えば、分析試験結果に関連付けられた患者の特性を示すことができる。いくつかの実施形態によれば、メタデータは、それぞれが患者の対応する特性を示す複数の態様を含むことができる。

いくつかの実施形態によれば、分析試験結果に関連付けられたメタデータは、分析試験結果に関連付けられた患者の年齢を含むことができる。場合によっては、年齢は、例えば、患者が３０歳であることを示す３０などの数値を使用して表されることができる。あるいは、患者の年齢は、例えば乳児患者、十代の患者、中年の患者、高齢患者などの年齢の範囲を示すために、対応するラベル、例えば文字列を使用して表されることもできる。

いくつかの実施形態によれば、分析試験結果に関連付けられたメタデータはまた、分析試験結果に関連付けられた患者の性別を含んでもよい。例えば、メタデータに含まれる性別情報は、患者が女性であるか男性であるかを示してもよい。同様に、性別情報は、いずれも数値によって表されることができる。例えば、数値「１」は、患者が男性であることを示し、数値「０」は、患者が女性であることを示すことができる。あるいは、性別情報は、「男性」または「女性」などの文字列を使用して表されることもできる。

いくつかの実施形態によれば、分析試験結果に関連付けられたメタデータはまた、分析試験結果に関連付けられた患者のソースのタイプを含むことができる。いくつかの実施形態では、患者の由来のタイプは、患者が患者内であるか患者外であるかを示すことができる。あるいは、患者の由来のタイプは、患者のサンプルがどの実体で採取されるか、例えば病院または検査室を示すことができる。

いくつかの実施形態によれば、分析試験結果に関連付けられたメタデータはまた、分析試験結果に関連付けられた患者の病棟を含むことができる。例えば、メタデータに含まれる病棟情報は、患者がどの病棟にいるか、例えば、心臓病病棟、外科病棟などを示すことができる。あるいは、病棟情報はまた、患者の病棟が高リスク病棟であるかどうかを示すこともできる。本明細書における高リスク病棟は、この病棟の患者の分析試験結果が異常である（すなわち、値が正常範囲を超えている）確率が、別の病棟の患者よりも大きいことを示すことができる。例えば、肝臓病病棟は、ＡＬＴ（アラニンアミノトランスフェラーゼ）の分析試験に関して高リスクの病棟である。

いくつかの実施形態によれば、分析試験結果に関連付けられたメタデータはまた、分析試験結果に関連付けられた患者の健康診断を含むことができる。例えば、健康診断は、分析試験結果、例えば、糖尿病、高血圧などを検討する前に医師によって提供されてもよい。別の例では、健康診断は、診断分析試験前の患者の過去の健康診断であってもよい。

場合によっては、メタデータに含まれる健康診断はまた、患者に関連付けられた健康診断が異常な分析試験結果の可能性を高める可能性がある特定の疾患セットに属するかどうかを示すためのバイナリ値を使用して表されてもよい。例えば、ＡＬＴの診断分析試験では、肝炎は、異常な分析試験結果をもたらす可能性が高い疾患とみなされる。

いくつかの実施形態によれば、分析試験結果に関連付けられたメタデータはまた、上述したような様々なタイプのメタデータのうちの２つ以上を含むことができる。例えば、メタデータは、患者の年齢、患者の性別、患者の由来のタイプ、患者に関連付けられた病棟、および患者に関連付けられた健康診断の全ての情報を含むことができる。

いくつかの実施形態によれば、ＨＩＳまたはＬＩＳは、そのようなメタデータを収集し、次いで、ライブデータセットの一部としてメタデータを監視システム（２０）に提供することができる。後述するように、分析試験結果とともにメタデータは、分析試験結果を検証するための検証アルゴリズムに適用されることができる。

ブロック２０４において、監視システム（２０）は、検証アルゴリズムを使用してライブデータセットの分析試験結果を検証し（２０４）、検証アルゴリズムは、複数の訓練分析試験データを含む第１の訓練データセットを使用して訓練され、各訓練分析試験データは、訓練分析試験結果および訓練メタデータを含む。

上述したように、検証アルゴリズムは、機械学習技術によって実施されることができる。いくつかの実施形態によれば、検証アルゴリズムの訓練中に、複数の訓練分析試験結果および訓練メタデータに基づいて、検証アルゴリズムに適用される特徴ベクトルが決定されることができる。訓練メタデータは、上述したようにライブデータセットに含まれるメタデータと同じ特性を示すことができることを理解されたい。

例えば、６次元の特徴ベクトルは、第１の訓練データセットに基づいて決定され、次いで訓練のための検証アルゴリズムに適用されてもよい。例えば、特徴ベクトルに含まれる特徴の６次元は、分析試験結果、年齢、性別、ソースのタイプ、病棟および健康診断を含むことができる。

いくつかの実施形態によれば、対応する情報を示すために特徴ベクトルにおいて数値が使用されることができる。例えば、例示的な特徴ベクトルは、｛５００，３０，１，１，１，０｝とすることができ、「分析試験結果」特徴の値「５００」は、分析試験結果が「５００」であることを示すことができ、「年齢」特徴の値「３０」は、患者が３０歳であることを示すことができ、「性別」特徴の値「１」は、患者が男性であることを示すことができ、「病棟」特徴の値「１」は、上述したように患者の病棟が高リスク病棟に属することを示すことができ、「健康診断」特徴の値「０」は、患者に関連付けられた健康診断がないこと、または患者に関連付けられた健康診断が特定の疾患セットに属さないことを示すことができる。

いくつかの実施形態によれば、訓練データは、対応する分析試験結果のグラウンドトゥルースラベルを含む。例えば、値「真」は、分析試験結果が、例えば医療専門家によって有効とラベル付けされていることを示すことができる。値「偽」は、例えば医療専門家によって、分析試験結果が無効としてラベル付けされていることを示すことができる。

いくつかの実施形態によれば、検証アルゴリズムの訓練中に、検証アルゴリズムの複数のパラメータ、例えばニューラルネットワークの複数の重み付けパラメータは、検証アルゴリズムの訓練対象に基づいて反復的に調整されることができる。例えば、検証アルゴリズムの訓練オブジェクトは、検証アルゴリズムによる予測結果と対応するグラウンドトゥルースラベルとの間の差に基づいて決定されることができる。

検証アルゴリズムは、複数の反復における訓練オブジェクトの分散が例えば閾値未満である場合に収束しているとみなされてもよい。この場合、検証アルゴリズムは、訓練されたものとみなされ、最後の反復におけるパラメータは、訓練された検証アルゴリズムの最終パラメータとみなされる。次いで、訓練された検証アルゴリズムは、分析試験結果に関連付けられた入力特徴ベクトルに基づいて分析試験結果を検証することができる。

いくつかの実施形態によれば、第１の訓練データセットは、実世界データ、すなわち、実世界の分析試験結果および関連付けられたメタデータを含むことができる。例えば、第１の訓練データセットは、昨年生成された複数の分析試験結果を含むことができ、グラウンドトゥルースラベルは、医師からのフィードバックに基づいて決定されることができる。

いくつかの他の実施形態によれば、第１の訓練データセットは、訓練データセットを強化するための人工訓練データを含むことができる。例えば、人工データは、実世界データの値を調整することによって生成されてもよい。人工データを使用することにより、検証アルゴリズムのオーバーフィッティング問題が回避されることができる。

いくつかの実施形態によれば、検証アルゴリズムの訓練は、監視システム（２０）自体によって実施されることができ、監視システム（２０）は、ライブデータセット内の分析試験結果を検証するために訓練された検証アルゴリズムを使用することができる。

いくつかの他の実施形態によれば、検証アルゴリズムの訓練は、監視システム（２０）とは異なる訓練システムによって実施されてもよい。監視システム（２０）は、例えば、訓練システムから訓練された検証アルゴリズムのパラメータを受信することによって、訓練システムから訓練された検証アルゴリズムを受信することができる。次いで、監視システム（２０）は、パラメータにしたがって訓練された検証アルゴリズムを自動的に展開することができる。あるいは、監視システム（２０）は、訓練された検証アルゴリズムによって人工的に展開されてもよい。

検証アルゴリズムが第１の訓練データセットを使用して訓練された後、監視システム（２０）は、訓練された検証アルゴリズムを使用して分析試験結果を検証することができる。説明を容易にするために、本明細書の訓練された検証アルゴリズムは、「元の検証アルゴリズム」または「第１の検証アルゴリズム」と呼ばれることもある。いくつかの実施形態によれば、監視システム（２０）は、ライブデータセットに含まれる分析試験データに基づいて特徴ベクトルを最初に決定することができる。次いで、監視システム（２０）は、分析試験データに含まれる分析試験結果を無効にするために、訓練された検証アルゴリズムに特徴ベクトルを適用することができる。

ブロック２０６において、監視システム（２０）は、ライブデータセットと第１の訓練データセットとの間の差分レベルを評価し、差分レベルは、ライブデータセットおよび第１の訓練データセットの分布特性に基づいて決定される。いくつかの実施形態では、異なるレベルは、ライブデータセットと第１の訓練データセットとが類似しているかどうかを示すことができる。例えば、差分レベルの値が大きいほど、２つのデータセット間の差分が大きいことを示すことができる。

いくつかの実施形態によれば、監視システム（２０）は、第１の訓練データセットの分布特性を示す第１の値と、ライブデータセットの分布特性を示す第２の値とを比較することができる。いくつかの実施形態によれば、監視システム（２０）は、リアルタイム計算によって第１および第２の値を決定することができる。

いくつかの他の実施形態によれば、第１の訓練データセットの分布特性を示す第１の値は、予め決定され、監視システム（２０）に結合された記憶デバイス（例えば、ディスクまたはメモリ）に記憶されてもよい。比較中、監視システム（２０）は、追加の計算なしに記憶デバイスから値を取得することができる。

いくつかの実施形態によれば、監視システム（２０）は、検証アルゴリズムの再訓練が必要かどうかを決定するために差分レベルを定期的に評価することができる。例えば、監視システム（２０）は、三か月ごとに差分レベルを評価することができる。あるいは、監視システム（２０）は、所定数のサンプルが処理された後に差分レベルを評価することができる。

いくつかの実施形態によれば、データセットの分布特性は、分析器の結果に関連付けられた１つまたは複数の態様の分布を表す。分布特性は、２つのデータセットが選択された態様に関して同様の分布を有する分析器試験データを表す場合に比較するために使用されることができる。一例では、態様は、分析装置試験データが関連付けられた患者の性別であり、分布特性は、前記患者の女性比率（％）であり、第１のデータセットと第２のデータセットとの間の差分レベルは、例えば、２つのデータセット間の女性比率の差の絶対値として定義されることができる。この差が大きすぎる場合、２つのデータセットは、大きすぎると知覚される。一例では、ライブデータセットと第１の訓練データとの女性比率があまりにも異なるとみなされ、ライブデータセットを検証するための検証アルゴリズムは、女性比率がライブデータセットのものにより近い第２の訓練データセットを使用して再訓練される。

いくつかの実施形態によれば、データセットの分布特性は、データセットに含まれる分析試験結果の値を使用して決定されることができる。例えば、分布特性は、データセットに含まれる分析試験結果の最高値を含むことができる。

いくつかの他の実施形態では、データセットの分布特性は、データセットに含まれる分析試験結果のそれぞれの値を使用して決定されることができる。例えば、分布特性は、全ての分析試験結果の平均値を含むことができる。いくつかの他の例では、分布特性は、全ての分析試験結果の分散を含むことができる。

この場合、監視システム（２０）は、最初にライブデータセットの分布特性の第１の値を決定し、第１の訓練データセットの分布特性の第２の値を決定することができる。例えば、監視システム（２０）は、ライブデータセット内の分析試験結果の平均値が「５００」であると決定し、第１の訓練データセット内の分析試験結果の平均値が「３００」であると決定することができる。この場合、差分レベルは、２つの平均値の差分を示す値「２００」として決定されてもよい。

いくつかの他の実施形態によれば、データセットの分布特性はまた、データセットに含まれる分析試験結果に関連付けられたメタデータの少なくとも１つの態様を使用して決定されてもよい。例えば、分布特性は、データセット内の分析試験結果に関連付けられた患者の年齢の平均値または分散を含むことができる。

いくつかの他の実施形態によれば、差分レベルは、２つのデータセットに含まれるメタデータのうちの少なくとも１つの値に基づいて決定されてもよい。次に、いくつかの実装にかかる差分レベルを決定する例示的なプロセス３００Ａのフローチャートを示す図３Ａを参照する。

図３Ａに示すように、ブロック３０２において、監視システム（２０）は、ライブデータセットに関連付けられたメタデータに基づいて第１の特性値を決定することができる。

いくつかの実施形態によれば、監視システム（２０）は、ライブデータセットに関連付けられた患者の年齢の値に基づいて第１の特性値を決定することができる。第１の特性値の例は、患者の年齢の平均値、年齢の分散、ライブデータセットにおける高齢患者のパーセンテージ、年齢の最高値、年齢の最低値、高齢患者の１０代の患者に対する比率などを含むことができるが、これらに限定されない。

いくつかの実施形態によれば、監視システム（２０）は、ライブデータセットに関連付けられた患者の性別に基づいて第１の特性値を決定することができる。第１の特性値の例は、ライブデータセット内の男性患者の数、ライブデータセット内の女性患者の数、ライブデータセット内の男性患者のパーセンテージ、ライブデータセット内の女性患者のパーセンテージなどを含むことができるが、これらに限定されない。

いくつかの実施形態によれば、監視システム（２０）は、ライブデータセットに関連付けられた患者のソースのタイプに基づいて第１の特性値を決定することができる。第１の特性値の例は、ライブデータセットに入院している患者の数、ライブデータセットに入院している患者の数、ライブデータセットに入院している患者のパーセンテージ、ライブデータセットに入院している患者のパーセンテージなどを含むことができるが、これらに限定されない。

いくつかの実施形態によれば、監視システム（２０）は、ライブデータセットに関連付けられた患者の病棟に基づいて第１の特性値を決定することができる。第１の特性値の例は、ライブデータセットの高リスク病棟にいる患者の数、ライブデータセットの高リスク病棟にいない患者の数、ライブデータセットの高リスク病棟にいる患者のパーセンテージ、ライブデータセットの高リスク病棟にいない患者のパーセンテージなどを含むことができるが、これらに限定されない。

いくつかの実施形態によれば、監視システム（２０）は、ライブデータセットに関連付けられた患者の健康診断に基づいて第１の特性値を決定することができる。第１の特性値の例は、診断がライブデータセット内の特定の疾患を示す患者の数、診断がライブデータセット内の特定の疾患を示さない患者の数、診断がライブデータセット内の特定の疾患を示す患者のパーセンテージ、診断がライブデータセット内の特定の疾患を示さない患者のパーセンテージなどを含むことができるが、これらに限定されない。

ブロック３０４において、監視システム（２０）は、第１の訓練データセットに関連付けられたメタデータのうちの少なくとも１つの値に基づいて第２の特性値を決定することができる。第２の特性値は、第１の特性値に関して説明したのと同じ方法で決定されてもよいことに留意されたい。

いくつかの実施形態によれば、第１の特性値および第２の特性値は、それぞれ、同じ特性化アルゴリズムを使用して決定される。例えば、第１の特性値および第２の特性値は、それぞれ、平均値を計算する同じ特性化アルゴリズムを使用して決定される。

さらに、特性化アルゴリズムは、各分析試験データの各メタデータの１つまたは複数の態様を使用する。例えば、同じ１つまたは複数の態様は、以下の上述した異なる態様のうちの少なくとも１つを含むことができる：分析試験結果に関連付けられた患者の年齢；患者の性別；患者の由来のタイプ；患者の病棟；および患者の健康診断。

いくつかの実施形態によれば、第２の特性値は、予め決定され、次いで、監視システム（２０）に結合された記憶デバイスに維持されてもよい。この場合、監視システム（２０）は、記憶デバイスから第２の特性値を取得することができ、追加の計算は必要とされない。

ブロック３０６において、監視システム（２０）は、第１の特性値および第２の特性値を使用して差分レベルを評価することができる。いくつかの実施形態によれば、監視システム（２０）は、第１の特性値と第２の特性値との間の差分値を使用して差分レベルを決定することができる。

場合によっては、差分レベルは、差分値自体を含んでもよい。場合によっては、差分レベルはまた、差分値を特定の値の範囲と比較することによって決定されてもよい。例えば、差分値が値の範囲「１００～１９９」に入る場合、差分レベルは「１」として設定されることができ、差分値が値の範囲「２００～２９９」に入る場合、差分レベルは、「２」として設定されることができる。

あるいは、監視システム（２０）は、第１の特性値と第２の特性値との比を使用して差分レベルを決定してもよい。例えば、第１の特性値が「４００」であり、第２の特性値が「２００」である場合、差分レベルは、「２」として決定されることができる。

メタデータに基づいてライブデータセットと第１の訓練データセットとの間の差分レベルを決定することによって、監視システムは、ライブデータセットが第１の訓練データセットに類似しているかどうかを決定することができ、それによって検証アルゴリズムの再訓練の自律的トリガを容易にする。

いくつかの他の実施形態によれば、差分レベルはまた、特徴ベクトルに含まれる特徴のグラウンドトゥルースラベルへの寄与に基づいて決定されてもよい。次に、いくつかの他の実装にかかる差分レベルを決定する例示的なプロセス３００Ｂのフローチャートを示す図３Ｂを参照する。

図３Ｂに示すように、ブロック３１２において、監視システム（２０）は、ライブデータセットの第１の特徴とライブデータセットに関連付けられたグラウンドトゥルースラベルの第１のセットとの間の第１の関連付けを決定することができ、グラウンドトゥルースラベルの第１のセットは、ライブデータセットに含まれる複数の分析試験データのそれぞれの有効性値を示す。

いくつかの実施形態によれば、有効性値は、割り当てられた値とすることができる。例えば、有効性値は、それぞれの分析試験結果を評価した後に医療専門家によって割り当てられてもよい。有効性値「１」は、例えば、分析試験結果が客観的に有効であることを示すことができ、有効性値「０」は、分析試験結果が客観的に有効でないことを示すことができる。ここでの有効性値は、検証アルゴリズムによって設定されないことを理解されたい。

いくつかの実施形態によれば、監視システム（２０）は、ランダムフォレストモデルを適用して、第１の特徴とグラウンドトゥルースラベルとの間の第１の関連付け、例えば相関を決定することができる。第１の特徴は、分析試験結果の値および各分析試験データのメタデータの１つまたは複数の態様のうちの少なくとも１つを含むことができる。

いくつかの実施形態によれば、ライブデータセットの第１の特徴とライブデータセットに関連付けられたグラウンドトゥルースラベルの第１のセットとの間の第１の関連付けは、関連付けアルゴリズムを使用して決定され、第１の訓練データセットおよび第１の訓練データセットに関連付けられたグラウンドトゥルースラベルの第２のセットの第２の関連付け第２の特徴も、同じ関連付けアルゴリズムを使用して決定される。

いくつかの実施形態によれば、関連付けは、特定の特徴、例えば、特定の医療診断を有する患者と、グラウンドトゥルースラベルの有効性値との間の相関関係の指標であり、これは、例えば、分析試験結果が有効であると考えられ、無効であるとみなされるべきであったことを表すことができる。関連付けは、例えば、０と１との間の相関係数によって表されることができる。一例では、ａ）特定の特徴とライブデータセットの真偽値との間の相関と、ｂ）この特定の特徴と第１の訓練セットの真偽値との間の相関との間の差は、ａ）この特定の特徴とライブデータセットの真偽値との間の相関と、ｃ）この特定の特徴と第２の訓練セットの真偽値との間の相関との間の差よりも大きく、検証アルゴリズムは、第２の訓練セットを使用して再訓練される。

特に、監視システム（２０）は、ランダムフォレストモデルを訓練するために、ライブデータセットおよびグラウンドトゥルースラベルの第１のセットに関連付けられた特徴ベクトルを使用することができる。ランダムフォレストモデルが訓練された後、ランダムフォレストモデルは、最終結果に対する第１の寄与を提供することができる（例えば、グラウンドトゥルースラベルに基づいて有効または無効である）。より高い寄与は、この特徴が入力特徴ベクトルとグラウンドトゥルースラベルとの関連付けにおいてより重要な役割を果たすことを意味することを理解されたい。

ブロック３１４において、監視システム（２０）は、第１の訓練データセットの第２の特徴と、第１の訓練データセットに関連付けられたグラウンドトゥルースラベルの第２のセットとの間の第２の関連付け、例えば相関関係を決定することができ、グラウンドトゥルースラベルの第２のセットは、第１の訓練データセットに含まれる複数の訓練分析試験データのそれぞれの有効性値を示す。いくつかの実施形態によれば、第２の特徴は、分析試験結果の値および各分析試験データの各メタデータの同じ態様のうちの少なくとも１つを含むことができる。

いくつかの実施形態によれば、監視システム（２０）は、ブロック３１２と同様の方法で第２の関連付けを決定することができる。いくつかの他の実施形態によれば、第２の関連付けは、別のエンティティによって予め決定され、監視システム（２０）に結合された記憶デバイス内に維持されてもよい。この場合、監視システム（２０）は、追加の計算を必要とせずに、記憶デバイスから第２の関連付けを直接取得してもよい。

ブロック３１６において、監視システム（２０）は、第１の関連付けおよび第２の関連付けを使用して差分レベルを評価することができる。いくつかの実施形態では、監視システム（２０）は、特定の特徴の第１の関連付けの第１のランキングと、特定の特徴の第２の関連付けの第２のランキングとを比較することができる。

例えば、監視システム（２０）は、特徴「病棟」がライブデータセットに基づいて最大の寄与を有し、第１の訓練データセットにしたがって第５位にランク付けされた第２の寄与を有すると決定することができる。この場合、差分レベルは、２つのランク間の差分として決定されてもよい。

別の例では、監視システム（２０）は、ライブデータセットに基づいて少なくとも２つの特徴の寄与の第１の相対ランキングを決定し、第１の訓練データセットに基づいて第２の相対ランキングを決定してもよい。

例えば、監視システム（２０）は、ライブデータセットに基づいて、特徴「病棟」が最大の寄与を有し、特徴「性別」が５番目に大きい寄与を有すると決定することができる。次いで、監視システム（２０）は、ライブデータセットに基づいて、特徴「病棟」および特徴「性別」の第１の相対ランキングが「＋４」であると決定することができる。同様に、監視システム（２０）は、第１の訓練データセットに基づいて、特徴「病棟」が６番目に大きく寄与し、特徴「性別」が２番目に大きい寄与を有すると決定することができる。次いで、監視システム（２０）は、第１の訓練データセットに基づいて、特徴「病棟」および特徴「性別」の第１の相対ランキングが「－４」であると決定することができる。

この場合、監視システム（２０）は、第１の相対ランキングおよび第２の相対ランキングに基づいて差分レベルをさらに決定してもよい。例えば、第１の相対ランキングが「＋４」であり、第２の相対ランキングが「－４」であれば、差分レベルは、「８」と決定されてもよい。

いくつかの実施形態によれば、監視システム（２０）は、特徴ベクトル内の特徴（例えば、分析試験結果、年齢、性別、供給源のタイプ、病棟および健康診断）のそれぞれの寄与を考慮することができる。例えば、監視システム（２０）は、ライブデータセットおよび訓練データセットに基づいて特徴のそれぞれのランク差を決定し、次いで、例えばランク差の合計を使用して差分レベルを決定することができる。

いくつかのさらなる実施形態によれば、差分レベルはまた、例えば医療および／または検査室専門家によって分析試験結果に割り当てられたグラウンドトゥルースラベルにしたがって、無効とラベル付けされた分析試験結果のパーセンテージに基づいて決定されてもよい。次に、いくつかの他の実装にかかる差分レベルを決定する例示的なプロセス３００Ｃのフローチャートを示す図３Ｃを参照する。

図３Ｃに示すように、ブロック３２２において、監視システム（２０）は、無効とラベル付けされたライブデータセットの分析試験結果の第１のパーセンテージを決定することができる。いくつかの実施形態によれば、無効としてラベル付けされた分析試験結果は、ライブデータセットに関連付けられたグラウンドトゥルースラベルの第１のセットにしたがって決定されることができる。上述したように、第１のグラウンドトゥルースラベルのセットは、ライブデータセットに含まれる複数の分析試験データのそれぞれの有効性値を示す。例えば、有効性値「０」は、対応する分析試験結果が無効としてラベル付けされていることを示すことができる。

いくつかの実施形態によれば、監視システム（２０）は、ライブデータセットに関連付けられたグラウンドトゥルースラベルの第１のセットに基づいて、いくつの分析試験結果がライブデータセットにおいて無効としてラベル付けされているかを決定することができる。例えば、監視システム（２０）は、分析試験結果の２０％がライブデータセットにおいて無効とラベル付けされていると決定することができる。

ブロック３２４において、監視システム（２０）は、無効とラベル付けされた第１の訓練データセットの分析試験結果の第２のパーセンテージを決定することができる。同様に、無効とラベル付けされた分析試験結果は、第１の訓練データセットに関連付けられたグラウンドトゥルースラベルの第２のセットにしたがって決定されることができる。上述したように、第２のグラウンドトゥルースラベルのセットは、第１の訓練データセットに含まれる複数の分析試験データのそれぞれの有効性値を示す。

いくつかの実施形態によれば、監視システム（２０）は、第１の訓練データセットに関連付けられたグラウンドトゥルースラベルの第２のセットに基づいて、ライブデータセットにおいて無効としてラベル付けされた分析試験結果の数を決定することができる。例えば、監視システム（２０）は、分析試験結果の５％が第１の訓練データセットにおいて無効とラベル付けされていると決定することができる。

いくつかの実施形態によれば、第２のパーセンテージはまた、予め決定され、監視システム（２０）に結合された記憶デバイスに記憶されてもよい。したがって、監視システム（２０）は、記憶デバイスから第２のパーセンテージを示す値を直接取得することができ、それによって不必要な再計算を回避することができる。

ブロック３２６において、監視システム（２０）は、第１のパーセンテージおよび第２のパーセンテージを使用して差分レベルを評価することができる。いくつかの実施形態によれば、監視システム（２０）は、第１のパーセンテージと第２のパーセンテージとの差を使用して差分レベルを決定してもよい。例えば、監視システム（２０）は、第１のパーセンテージが「２０％」であり、第２のパーセンテージが「５％」である場合、差分レベルを「１５％」と決定してもよい。

いくつかのさらなる実施形態によれば、２つのデータセット間、例えばライブデータセットと訓練セットとの間の差分レベルを評価することは、クラスタ分析を含むことができる。いくつかの特定の実施形態によれば、２つのデータセットは、データセットのセットの一部とみなされ、クラスタ分析は、データセットのこのセットに対して実行される。一例では、クラスタ分析は、データセットのセット内の２つのデータセットの距離を提供し、距離は、２つのデータセット間の差分レベルを計算するために使用されることができる。

ここで再び図２を参照すると、ブロック２０８において、監視システム（２０）は、差分レベルを第１の閾値と比較する。差分レベルが閾値よりも大きくないと決定された場合、プロセス２００は、ブロック２１４に進む。ブロック２１４において、監視システム（２０）は、分析試験結果の将来の検証のために検証アルゴリズムを使用し続け、再訓練は必要とされない。

いくつかの実施形態によれば、第１の閾値は静的である。第１の閾値の静的値は、例えば、ユーザによって予め定義されることができる。このようにして、ユーザは、再訓練手順の感度に影響を与えることができる。

いくつかの実施形態によれば、第１の閾値は動的である。一例では、第１の閾値は、ライブデータセットと別の訓練セットとの間の差分レベルである。いくつかの特定の実施形態によれば、ライブデータセットと第１の訓練セットとの間の差分レベルがライブデータセットと別の訓練セットとの間の差分レベルよりも大きい場合に再訓練が行われ、各場合の差分レベルは同じ方法で決定される。別の訓練データセットは、後に検証アルゴリズムを再訓練するために使用されることができる第２の訓練データセットとすることができる。

いくつかの実施形態によれば、第１の閾値は、静的成分および動的成分を含み、例えば、第１の閾値は、２つの値を含む差分レベルが比較される第１の静的値および第２の動的値を含む。

対照的に、差分レベルが閾値よりも大きいと決定された場合、プロセス２００は、ブロック２１０に進む。ブロック２１０において、監視システム（２０）は、第１の訓練データセットとは異なる第２の訓練データセットを使用して検証アルゴリズムを再訓練する。

異なるレベルが閾値よりも大きい場合、これは、ライブデータセットが現在訓練データセットと大きく異なることを示すことができる。この場合、検証アルゴリズムは、今や誤りがちであり、検証アルゴリズムの再訓練が必要である。例えば、検証アルゴリズムが病院から生成された複数の履歴分析試験データを使用して訓練される場合、異なる病院から生成された分析試験データを処理するために検証アルゴリズムを使用するときに大きな差分レベルが見出される。この場合、検証アルゴリズムの再訓練が必要となる。

ここでの「より大きい」という用語は、比較の表現であり、実際の動作も数値閾値よりも数学的に低くなり得ることを理解されたい。

いくつかの実施形態によれば、検証アルゴリズムの再訓練のステップは、追加の条件が満たされた場合にのみ行われる。例えば、監視システム（２０）は、再訓練についてユーザに確認を要求し、ユーザから確認を受信した後に再訓練を実行することができる。別の例では、監視システム（２０）は、利用可能な再訓練のための十分なコンピューティングリソースがあるかどうかを決定することができ、利用可能な十分なコンピューティングリソースがあると決定したときに再訓練が開始される。

いくつかの実施形態によれば、再訓練ステップは、追加の条件を満たすことなく自動的にトリガされてもよい。

いくつかの実施形態によれば、第２の訓練データセットは、ライブデータセットと第２の訓練データセットとの間の差分レベルが第２の閾値よりも低くなるように、訓練データセットのグループから選択されてもよい。このようにして、再訓練された検証アルゴリズムは、分析試験データを処理するためのより良好な性能を有することができる。ここでの「下部」という用語は、比較の表現であり、第１の閾値の「より大きい」の概念とは反対であることを表すためにここで使用されることを理解されたい。第２の閾値は、静的および／または動的とすることができ、例えば、静的成分および動的成分を含むことができる。いくつかの特定の実施形態によれば、ライブデータセットと第１の訓練セットとの間の差分レベルおよびライブデータセットと第２の訓練セットとの間の差分レベルは、同じ差分レベルアルゴリズムを使用して決定される。

いくつかの実施形態によれば、第２の訓練データセットは、ライブデータセットを含むことができる。例えば、監視システム（２０）は、検証アルゴリズムを再訓練するために、対応するグラウンドトゥルースラベルのライブデータセットを使用することができる。いくつかの実施形態では、監視システム（２０）は、ライブデータセットに基づいてそこに含まれるパラメータを調整することによって検証アルゴリズムを更新することができる。このようにして、再訓練された検証アルゴリズムは、第１の訓練データセットおよびライブデータセットの双方について良好な性能を達成することができる。説明を容易にするために、再訓練された検証アルゴリズムは、「第２の検証アルゴリズム」とも呼ばれる。

いくつかの他の実施形態によれば、監視システム（２０）はまた、ライブデータセットおよび他の訓練データセットを使用して、完全に新たな検証アルゴリズム、例えば初期ニューラルネットワークを引き起こすように再訓練することができる。

実際の例では、クラスタ分析を使用してライブデータセットと第１の訓練セットとの間の差分レベルが評価され、クラスタ分析の結果として、ライブデータセットと第１の訓練セットとが同じクラスタに属するとみなされる場合、再訓練は実行されず、クラスタ分析の結果として、ライブデータセットと第１の訓練セットとが異なるクラスタに属するとみなされる場合、再訓練が実行される。

ブロック２１２において、監視システム（２０）は、分析試験結果の将来の検証のために再訓練された検証アルゴリズムを使用する。例えば、特徴ベクトルは、新たな分析試験データを受信したときに決定され、次いで、分析試験結果を検証するための再訓練された検証アルゴリズムに適用されることができる。

上述したプロセスを通して、本開示の実施形態は、現在処理されているライブデータセットが検証アルゴリズムを訓練するために使用される第１の訓練データセットと十分に異なると決定したときに、検証アルゴリズムの再訓練を自動的にトリガすることができる。

いくつかの実施形態によれば、再訓練された検証アルゴリズムは、性能条件が満たされた場合にのみ分析試験結果の将来の検証に使用される。そのような性能条件は、例えば、元の検証アルゴリズムに関連付けられた第１の性能が、再訓練された検証アルゴリズムに関連付けられた第２の性能よりも悪いこととすることができる。図４は、本明細書に記載の主題の実装にかかる再訓練された検証アルゴリズムを使用するプロセス（４００）のフローチャートを示している。

図４に示すように、ブロック４０２において、監視システム（２０）は、元の検証アルゴリズムに関連付けられた第１の性能を取得することができる。いくつかの実施形態では、元の検証アルゴリズムに関連付けられた第１の性能（すなわち、第１の検証アルゴリズム）は、元の検証アルゴリズムを使用して試験データセットを処理することによって決定されることができる。いくつかの実施形態では、試験データセットは、例えば、複数の分析試験データを含むベンチマーク試験データセットを含むことができる。

ブロック４０４において、監視システム（２０）は、再訓練された検証アルゴリズムを用いて試験データセットを処理することによって、再訓練された検証アルゴリズムに関連付けられた第２の性能を決定することができる。

いくつかの実施形態によれば、訓練データセットは、オーダーにしたがって再訓練された検証アルゴリズムによって処理されてもよく、第２の性能は、誤った予測の前のいくつかの分析試験結果に基づいて決定されてもよい。図５Ａは、本明細書に記載の主題の異なる実装にかかる再訓練された検証アルゴリズムの性能を決定するプロセス（５００Ａ）のフローチャートを示している。

図５Ａに示すように、ブロック５０２において、監視システム（２０）は、第１の数を決定することができ、第１の数は、オーダーにしたがって再訓練された検証アルゴリズムによって誤った無効化が行われる前に再訓練された検証アルゴリズムによって処理された分析試験結果の数である。ここで、誤った無効化とは、グラウンドトゥルースラベルにしたがって分析試験結果が有効とラベル付けされているにもかかわらず、検証アルゴリズムが、この分析試験結果が無効であると誤って決定することを意味する。例えば、監視システム（２０）は、オーダーにしたがって誤った無効化が行われる前に、３５個の分析試験結果が検証システムによって処理されたと決定することができる。

ブロック５０４において、監視システム（２０）は、第２の数を決定することができ、第２の数は、無効とラベル付けされた分析試験結果がオーダーにしたがって処理される前の分析試験結果の数である。例えば、監視システム（２０）は、対応するグラウンドトゥルースラベルのセットに基づいて、無効とラベル付けされた分析試験結果の前に２０個の分析試験結果が処理されたと決定することができる。

ブロック５０６において、監視システム（２０）は、第１の数の分析試験データおよび第２の数の分析試験データを使用して第２の性能を決定することができる。いくつかの実施形態によれば、監視システム（２０）は、第１の数の分析試験結果と第２の数の分析試験結果との間の差分値を性能メトリック（第１の性能メトリックとも呼ばれる）として使用することができ、性能メトリックは、性能の定量化である。例えば、第１の数の値が「３５」であり、第２の数の値が「２０」である場合、第２の性能は、「１５」と決定されることができる。この場合、第１の性能メトリックの数値が低いほど、性能が低いことを示すことを理解されたい。しかしながら、当然ながら、より高い数値がより低い性能を示す他の性能メトリック（例えば、前述の性能メトリックの逆数）を定義することも考えられる。

いくつかの実施形態によれば、第２の性能は、誤った予測の数に基づいて決定されてもよい。図５Ｂは、本明細書に記載の主題の異なる実装にかかる再訓練された検証アルゴリズムの性能を決定するプロセス（５００Ｂ）のフローチャートを示している。

図５Ｂに示すように、ブロック５１２において、監視システム（２０）は、試験データセットに基づいて再訓練された検証アルゴリズムによって誤った検証予測および／または誤った無効化予測の数を決定することができる。ここで、誤った検証予測とは、検証アルゴリズムが、グラウンドトゥルースラベルにしたがって無効とラベル付けされた分析試験結果が有効であると誤って決定することを意味する。誤った無効化予測とは、検証アルゴリズムが、グラウンドトゥルースラベルにしたがって有効とラベル付けされた分析試験結果が無効であると誤って決定することを意味する。

いくつかの実施形態によれば、監視システム（２０）は、誤った検証予測の数のみを決定することができる。いくつかの他の実施形態によれば、監視システム（２０）は、誤った無効化予測の数のみを決定することができる。いくつかのさらなる実施形態によれば、監視システム（２０）は、誤った検証予測の数と無効化予測の数との双方を決定することができ、例えば、誤った検証予測の数と無効化予測の数との合計をさらに計算する。

ブロック５１４において、監視システム（２０）は、再訓練された検証アルゴリズムによる誤った検証予測および／または誤った無効化予測の数を使用して第２の性能を決定することができる。例えば、監視システム（２０）は、誤った検証予測の数のみを第２の性能のメトリックとして使用することができる。あるいは、監視システム（２０）は、誤った無効化予測の数のみを第２の性能のメトリックとして使用してもよい。いくつかの他の例では、監視システム（２０）は、双方の数の合計を第２の性能のメトリックとして使用することもできる。このようなタイプのメトリックはまた、第２の性能メトリックとも呼ばれることもある。第２の性能メトリックの値が低いほど、より良好な性能を示すことを理解されたい。

いくつかの実施形態によれば、監視システム（２０）は、上述したように異なる性能メトリックの組み合わせを使用することができる。例えば、第１および第２の性能メトリックの重み付けされた合計が、第２の性能を決定するために使用されてもよい。

再び図４を参照すると、ブロック４０６において、監視システム（２０）は、第１の性能を第２の性能と比較することができる。第２の性能が第１の性能よりも良くない場合、プロセス（４００）は、ブロック４１０に進むことができる。ブロック４１０において、監視システム（２０）は、再訓練された検証アルゴリズムを自動的に展開するのではなく、例えば、元の検証アルゴリズムを再訓練する必要があるが、検証アルゴリズムの自律的な再訓練が十分に良好ではないことを示すための警告を生成し、および／または異なる（例えば、第３の）訓練データセットを使用して検証アルゴリズムを再訓練することができる。

対照的に、第２の性能が第１の性能よりも良好であると決定された場合、プロセス（４００）は、ブロック４０８に進むことができる。ブロック４０８において、監視システム（２０）は、分析試験結果の将来の検証のために再訓練された検証アルゴリズムを使用することができる。

いくつかの実施形態によれば、検証アルゴリズム（第１の検証アルゴリズムまたは第２の検証アルゴリズム）によって無効であるとみなされる分析試験結果は、データバンクにおいてフラグが立てられ、これは、ユーザが失敗した検証について知ることを可能にすることができる。

いくつかの実施形態によれば、分析試験結果が検証アルゴリズムによって無効であるとみなされる場合、分析試験結果は、人間、例えば医療専門家によって評価される。いくつかの特定の実施形態によれば、例えば、分析試験結果が、例えば、人間によって許容可能であると考えられるために検証されるべきであった場合、人間はフィードバックを提供する。それぞれのシステムは、人間がフィードバックを入力するために使用することができるインターフェースを備えることができる。フィードバックは、例えば、検証アルゴリズムを（再）訓練するために使用されることができる。

いくつかの実施形態によれば、分析試験結果が検証アルゴリズムによって無効とみなされる場合、分析試験が繰り返される。

いくつかの実施形態によれば、分析試験結果および検証アルゴリズムの結果の分析が実行されることができる。いくつかの具体的な実施形態によれば、分析は、検証アルゴリズムによって無効であるとみなされる分析試験結果の分析を実行することを含む。例えば、監視システムは、所定の時間内に無効とみなされる分析試験データの数、および／または無効とみなされる連続する分析試験データの数を計算することができる。分析は、検証アルゴリズムによって無効であるとみなされる分析試験結果のパターンを見つけること、例えば、前記分析試験結果を決定する一部である共通の機器および／または共通の人を含むことができる。分析は、メタデータの１つまたは複数の態様と、検証アルゴリズムによって無効であるとみなされる分析試験結果との相関を決定することを含むことができ、これは、例えばこれらの態様に関連する特定の特徴を有する患者に特有であり得るエラーの発生源の可能性を決定することを可能にすることができる。分析は、統計分析を含むことができる。

いくつかの実施形態によれば、分析および／または統計に関する情報は、画面上でユーザに表示されることができる。表示は、ダッシュボードおよび／またはグラフを備えることができる。表示された情報は、例えば、異なる分析器、医師、病棟および／またはロットにしたがって蓄積されることができる。

いくつかの実施形態によれば、監視システムは、例えば分析に基づいて、分析試験プロセスの起こり得るエラーをユーザ（例えば、監視システムのユーザ、分析機器のユーザ、ミドルウェアのユーザ、ＨＩＳのユーザ、および／またはＬＩＳのユーザ）に通知することができる。例えば、朝に無効とみなされる分析試験データの数が閾値を超えている場合、監視システムは、その朝に実行された分析試験プロセスの起こり得るエラーの通知を生成することができる。通知は、例えば、デバイスにメッセージを送信することによって、デバイスにメッセージを表示することによって、および／またはデバイスによってメッセージを発声することによって、それぞれの信号をユーザに示すことを含むことができる。示された信号は、例えば、どの分析装置、どのロット、および／またはどの人員がエラーに関連しているかなど、エラーに関する情報を含むことができる。

いくつかの特定の実施形態によれば、分析試験結果は、分析機器によって提供され、監視システムは、分析に基づいて分析機器に関連付けられた起こり得るエラーを分析機器のユーザに通知するように設計されている。

いくつかの実施形態によれば、検証アルゴリズムは、第１のアルゴリズムおよび第２のアルゴリズムを含むことができる。第１および第２のアルゴリズムの双方は、分析試験結果に関連付けられた特徴ベクトルを受信し、分析試験結果が有効であるかどうかの予測を出力するように構成されることができる。

いくつかの実施形態によれば、第１のアルゴリズムおよび第２のアルゴリズムは、第１のアルゴリズムが分析試験データの検証に関して第２のアルゴリズムよりも厳密であるように訓練される。ここでの「より厳密」とは、例えば、第１のアルゴリズムによって無効であると考えられる特定のデータセットの分析試験データの共有が、第２のアルゴリズムによって無効であると考えられるこの特定のデータセットの分析試験データの共有よりも大きいことを意味することができ、例えば、現在の検証アルゴリズムが訓練される特定のデータセットは、試験データセットおよび／または標準化されたデータセットであってもよい。いくつかの実施形態では、第１のアルゴリズムおよび第２のアルゴリズムは、同じ構造を有するニューラルネットワークモデルを使用して実装されてもよい。第１のアルゴリズムが第２のアルゴリズムよりも低い偽陽性率を有するように、第１のアルゴリズムおよび第２のアルゴリズムのハイパーパラメータが調整されることができる。本明細書では、偽陽性予測とは、例えば医療専門家によって無効とラベル付けされているにもかかわらず、検証アルゴリズムが分析試験結果を有効であると誤ってみなすことを意味する。

いくつかの実施形態によれば、第１のアルゴリズムおよび第２のアルゴリズムは、異なるレベルの警告を生成するために使用されることができる。図６は、本明細書に記載の主題の実装にかかる検証アルゴリズムによって警告を生成するプロセス（６００）のフローチャートを示している。

図６に示すように、ブロック６０２において、監視システム（２０）は、第１のアルゴリズムを使用して分析試験結果を検証することができる。例えば、分析試験結果に関連付けられた特徴ベクトルは、第１のアルゴリズムに適用されることができる。

ブロック６０４において、監視システム（２０）は、分析試験結果が第１のアルゴリズムによって無効とみなされるかどうかを決定する。いいえの場合、プロセス（６００）は、ブロック６１２に進むことができる。ブロック６１２において、監視システム（２０）は、次の分析試験結果を処理することができる。

分析試験結果が第１のアルゴリズムによって無効であるとみなされる場合、プロセス（６００）は、ブロック６０６に進むことができる。ブロック６０６において、監視システム（２０）は、第２のアルゴリズムを使用して分析試験結果を検証することができる。換言すれば、第２のアルゴリズムは、分析試験結果が第１のアルゴリズムによって無効であるとみなされた場合にのみ分析試験データを処理する。例えば、分析試験結果に関連付けられた特徴ベクトルは、第２のアルゴリズムに適用されることができる。

ブロック６０８において、監視システム（２０）は、分析試験結果が第２のアルゴリズムによって無効とみなされるかどうかを決定する。いいえの場合、プロセス（６００）は、ブロック６１４に進むことができる。ブロック６１４において、監視システム（２０）は、第１のレベルの警告を生成することができる。

分析試験結果が第２のアルゴリズムによって無効であるとみなされる場合、プロセス（６００）は、ブロック６１０に進むことができる。ブロック６００において、監視システム（２０）は、第１のレベルの警告を生成することができる。

いくつかの実施形態によれば、第２の警告レベルは、第１の警告レベルよりも高い深刻度を示すことができる。例えば、第２のレベルの警告は、第１のレベルの警告よりも明るい色、より大きな音、および／またはより大きな振動を使用することができる。

このようにして、監視システム（２０）は、異なるレベルの警告を提供することができ、それによって誤った警告によって引き起こされる不必要な中断を回避することができる。

図７は、本開示の実施形態を実施するための例示的なデバイス７００の概略ブロック図を示している。例えば、本開示の実施形態にかかる監視システム（２０）は、デバイス７００によって実装されることができる。図示のように、デバイス７００は、中央処理装置（ＣＰＵ）７０１を含み、中央処理装置は、読み出し専用メモリ（ＲＯＭ）７０２に記憶されたコンピュータプログラム命令、または記憶ユニット７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされたコンピュータプログラム命令に基づいて、様々な適切な動作および処理を実行することができる。ＲＡＭ７０３はまた、デバイス７００の動作によって必要とされる全てのタイプのプログラムおよびデータを記憶することができる。ＣＰＵ７０１、ＲＯＭ７０２およびＲＡＭ７０３は、バス７０４により相互に接続される。バス７０４にはまた、入出力（Ｉ／Ｏ）インターフェース７０５も接続される。

Ｉ／Ｏインターフェース７０５には、例えばキーボードやマウスなどの入力ユニット７０６；例えば各種ディスプレイやスピーカなどの出力ユニット７０７；磁気ディスクや光ディスクなどの記憶ユニット７０８；ネットワークカード、モデム、無線トランシーバなどの通信ユニット７０９などを含むデバイス７００内の複数の構成要素が接続される。通信ユニット７０９は、デバイス７００が、インターネットおよび／または様々な電気通信ネットワークなどのコンピュータネットワークを介して他のデバイスと情報／データを交換することを可能にする。

上述した処理およびプロセス、例えばプロセス２００は、処理ユニット７０１において行うこともできる。例えば、いくつかの実施形態では、プロセス２００は、機械可読媒体、例えば記憶ユニット７０８に有形に含まれるコンピュータソフトウェアプログラムとして実装されてもよい。いくつかの実施形態では、コンピュータプログラムは、ＲＯＭ７０２および／または通信ユニット７０９を介して、デバイス７００に部分的または完全にロードおよび／または実装されてもよい。コンピュータプログラムがＲＡＭ７０３にロードされ、ＣＰＵ７０１によって実行されると、上述した方法またはプロセスのうちの１つまたは複数のステップが実施されることができる。

本開示は、方法、デバイス、システム、および／またはコンピュータプログラム製品とすることができる。コンピュータプログラム製品は、本開示の様々な態様を実行するためのコンピュータ可読プログラム命令がロードされるコンピュータ可読記憶媒体を含むことができる。

コンピュータ可読記憶媒体は、命令実行デバイスによって利用される命令を維持および記憶する有形デバイスであってもよい。コンピュータ可読記憶媒体は、限定されないが、蓄電デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、または上記の任意の適切な組み合わせであってもよい。コンピュータ可読記憶媒体（非網羅的なリスト）のより具体的な例は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、機械的コーディングデバイス、命令が記憶されたパンチカード、またはスロット内の投影、および上記の任意の適切な組み合わせを含む。本明細書で利用されるコンピュータ可読記憶媒体は、電波もしくは自由に伝播される電磁波、導波路もしくは他の伝送媒体を介して伝播される電磁波（光ファイバケーブルを介した光パルスなど）、または電線を介して伝播される電気信号などの過渡信号自体として解釈されない。

記載されたコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から各コンピューティング／処理デバイスに、またはインターネット、ローカルエリアネットワーク、ワイドエリアネットワークおよび／または無線ネットワークを介して外部コンピュータまたは外部記憶デバイスにダウンロードされることができる。ネットワークは、銅伝送ケーブル、光ファイバ伝送、無線伝送、ルータ、ファイアウォール、スイッチ、ネットワークゲートコンピュータおよび／またはエッジサーバを含むことができる。各コンピューティング／処理デバイス内のネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、各コンピューティング／処理デバイスのコンピュータ可読記憶媒体に記憶するためにコンピュータ可読プログラム命令を転送する。

本開示の動作を実行するためのコンピュータプログラム命令は、アセンブリ命令、命令セットアーキテクチャ（ＩＳＡ）の命令、機械命令、機械関連命令、マイクロコード、ファームウェア命令、状態設定データ、または１つまたは複数のプログラミング言語の任意の組み合わせで書かれたソースコードもしくはターゲットコードであってもよく、プログラミング言語は、例えば、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または同様のプログラミング言語などの従来の手続き型プログラミング言語からなる。コンピュータ可読プログラム命令は、完全にユーザコンピュータ上に、部分的にユーザコンピュータ上に、独立したソフトウェアパッケージとして、部分的にユーザコンピュータ上および部分的にリモートコンピュータ上に、または完全にリモートコンピュータもしくはサーバ上に実装されてもよい。リモートコンピュータが関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）およびワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザコンピュータに、または外部コンピュータに接続されることができる（例えば、インターネットサービスプロバイダを使用してインターネットを介して接続される）。いくつかの実施形態では、コンピュータ可読プログラム命令の状態情報は、電子回路、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）をカスタマイズするために使用される。電子回路は、本開示の様々な態様を実施するためにコンピュータ可読プログラム命令を実行することができる。

本開示の様々な態様は、本開示の実施形態にかかる方法、デバイス（システム）、およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照して本明細書で説明される。フローチャートおよび／またはブロック図の各ブロック、ならびにフローチャートおよび／またはブロック図の様々なブロックの組み合わせは、コンピュータ可読プログラム命令によって実施されることができることを理解されたい。

コンピュータ可読プログラム命令は、機械を製造するために汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理デバイスの処理ユニットに提供されてもよく、その結果、命令は、コンピュータまたは他のプログラマブルデータ処理デバイスの処理ユニットによって実行されると、フローチャートおよび／またはブロック図の１つまたは複数のブロックにおいて規定された機能／動作を実施するためのデバイスを生成する。コンピュータ可読プログラム命令はまた、コンピュータ可読記憶媒体に記憶され、コンピュータ、プログラマブルデータ処理デバイス、および／または他のデバイスを特定の方法で動作させることができ、それにより、命令とともに記憶されたコンピュータ可読媒体は、フローチャートおよび／またはブロック図の１つまたは複数のブロックで規定された機能／動作の様々な態様を実施するための命令を含む製品を含む。

コンピュータ可読プログラム命令はまた、コンピュータ、他のプログラマブルデータ処理デバイス、または他のデバイスにロードされ、コンピュータ、他のプログラマブルデータ処理デバイス、または他のデバイス上で一連の動作ステップを実行して、コンピュータ実装手順を生成することができる。したがって、コンピュータ、他のプログラマブルデータ処理デバイス、または他のデバイス上で実行される命令は、フローチャートおよび／またはブロック図の１つまたは複数のブロックにおいて規定された機能／動作を実施する。

図面のフローチャートおよびブロック図は、本開示の複数の実装にかかるシステム、方法、およびコンピュータプログラム製品によって実施されることができるシステムアーキテクチャ、機能、および動作を示す。これに関して、フローチャートまたはブロック図の各ブロックは、モジュール、プログラムセグメントまたはコードの一部を表すことができ、モジュールおよびプログラムセグメントまたはコードの一部は、規定された論理機能を実行するための１つまたは複数の実行可能命令を含む。いくつかの代替の実装では、ブロックに示された機能はまた、図面に示されたものとは異なる順序で行われてもよいことを理解されたい。例えば、２つの連続するブロックは、実際には、関与する機能に応じて並列に、または時には逆の順序で実行されてもよい。また、ブロック図および／またはフローチャート内の各ブロックならびにブロック図および／またはフローチャート内のブロックの組み合わせは、規定された機能または動作を実行するために排他的にハードウェアベースのシステムによって、または専用ハードウェアとコンピュータ命令の組み合わせによって実装されてもよいことを理解されたい。

本開示の様々な実装について上述したが、上記の説明は、網羅的ではなく例示的なものにすぎず、本開示の実装に限定されない。説明された様々な実装の範囲および趣旨から逸脱することなく、多くの変更および代替が当業者にとって明らかである。本文中の用語の選択は、各実装の原理および実際の適用ならびに各実施形態によって市場で行われる技術的改善を最もよく説明すること、または当業者が本開示の実装を理解することを可能にすることを目的とする。

以下の実施形態が提案される：

提案１．診断分析システム（１）であって、
分析試験結果を提供するように設計された１つまたは複数の分析機器（１０）と、
分析試験データを処理するように設計された監視システム（２０）と、を備え、
分析試験データが、１つまたは複数の分析機器（１０）によって提供される分析試験結果および分析試験結果に関連付けられたメタデータを含み、
監視システム（２０）が、検証アルゴリズムを使用して分析試験結果を検証するように設計されており、
検証アルゴリズムが、複数の訓練分析試験データを含む第１の訓練データセットを使用して訓練され、各訓練分析試験データが訓練分析試験結果および訓練メタデータを含む、分析試験結果を検証することと、
監視システム（２０）が、
分析試験データのライブデータセットと第１の訓練データセットとの間の差分レベルを評価することであって、
差分レベルが、ライブデータセットと第１の訓練データセットとの分布特性の比較に基づいて決定される、差分レベルを評価することと、
ライブデータセットと第１の訓練データセットとの間の差分レベルが第１の閾値よりも大きい場合、第２の訓練データセットを使用して検証アルゴリズムを再訓練することと、
分析試験結果の検証のために再訓練された検証アルゴリズムを使用することと、を行うように設計されている、診断分析システム。

提案２．ライブデータセットと第２の訓練データセットとの間の差分レベルが、第２の閾値よりも低い、提案１に記載の診断分析システム。

提案３．第２の訓練データセットがライブデータセットを含む、提案１または２に記載の診断分析システム。

提案４．監視システム（２０）が、
分析試験結果および検証アルゴリズムの結果の分析を実行するように設計されている、提案１～３のいずれか一項に記載の診断分析システム。

提案５．監視システム（２０）が、分析に基づく分析試験プロセスに関連付けられた起こり得るエラーを監視システム（２０）のユーザに通知するように設計されている、提案４に記載の診断分析システム。

提案６．１つまたは複数の分析機器（１０）のうちの少なくとも１つが、生物学的試料を処理し、生物学的試料に関連付けられた分析試験結果を提供するように設計された生物学的試料分析器である、提案１～５のいずれか一項に記載の診断分析システム。

提案７．１つまたは複数の分析機器（１０）のうちの少なくとも１つが、デジタルデータを収集し、分析試験結果を得るためにデジタルデータを使用するように設計されたデジタル分析器である、提案１～６のいずれか一項に記載の診断分析システム。

提案８．データセットの分布特性が、データセットに含まれる分析試験結果の値を使用して決定される、提案１～７のいずれか一項に記載の診断分析システム。

提案９．データセットの分布特性が、データセットに含まれる分析試験結果に関連付けられたメタデータを使用して決定される、提案１～８のいずれか一項に記載の診断分析システム。

提案１０．メタデータが、分析試験結果に関連付けられた患者の年齢を少なくとも含む、提案１～９のいずれか一項に記載の診断分析システム。

提案１１．メタデータが、分析試験結果に関連付けられた患者の性別を少なくとも含む、提案１～１０のいずれか一項に記載の診断分析システム。

提案１２．メタデータが、分析試験結果に関連付けられた患者の由来のタイプを少なくとも含む、提案１～１１のいずれか一項に記載の診断分析システム。

提案１３．メタデータが、分析試験結果に関連付けられた患者の病棟を少なくとも含む、提案１～１２のいずれか一項に記載の診断分析システム。

提案１４．メタデータが、分析試験結果に関連付けられた患者の健康診断を少なくとも含む、提案１～１３のいずれか一項に記載の診断分析システム。

提案１５．監視システム（２０）が、
ライブデータセットに関連付けられたメタデータに基づいて第１の特性値を決定することと、
第１の訓練データセットに関連付けられたメタデータに基づいて第２の特性値を決定することと、
第１の特性値および第２の特性値を使用して差分レベルを評価することと、を行うように設計されている、提案１～１４のいずれか一項に記載の診断分析システム。

提案１６．第１の特性値および第２の特性値が、それぞれ、同じ特性化アルゴリズムを使用して決定される、提案１５に記載の診断分析システム。

提案１７．特性化アルゴリズムが、各分析試験データのメタデータの同じ１つまたは複数の態様を使用する、提案１６に記載の診断分析システム。

提案１８．同じ１つまたは複数の態様が、
分析試験結果に関連付けられた患者の年齢、
患者の性別、
患者の由来のタイプ、
患者の病棟、および
患者の健康診断、のうちの少なくとも１つである、提案１７に記載の診断分析システム。

提案１９．監視システム（２０）が、
ライブデータセットの第１の特徴とライブデータセットに関連付けられたグラウンドトゥルースラベルの第１のセットとの間の第１の関連付けを決定することであって、グラウンドトゥルースラベルの第１のセットが、ライブデータセットに含まれる複数の分析試験データのそれぞれの有効性値を示す、第１の関連付けを決定することと、
第１の訓練データセットの第２の特徴と第１の訓練データセットに関連付けられたグラウンドトゥルースラベルの第２のセットとの間の第２の関連付けを決定することであって、グラウンドトゥルースラベルの第２のセットが、第１の訓練データセットに含まれる複数の訓練分析試験データのそれぞれの有効性値を示す、第２の関連付けを決定することと、
第１の関連付けおよび第２の関連付けを使用して差分レベルを評価することと、を行うように設計されている、提案１～１８のいずれか一項に記載の診断分析システム。

提案２０．第１の特徴および第２の特徴が、分析試験結果の値および各分析試験データのメタデータの同じ１つまたは複数の態様のうちの少なくとも１つを含む、提案１９に記載の診断分析システム。

提案２１．監視システム（２０）が、
無効とラベル付けされたライブデータセットの分析試験結果の第１のパーセンテージを決定することと、
無効とラベル付けされた第１の訓練データセットの分析試験結果の第２のパーセンテージを決定することと、
第１のパーセンテージおよび第２のパーセンテージを使用して差分レベルを評価することと、を行うように設計されている、提案１～２０のいずれか一項に記載の診断分析システム。

提案２２．監視システム（２０）が、
元の検証アルゴリズムに関連付けられた第１の性能を取得することと、
再訓練された検証アルゴリズムを用いて試験データセットを処理することによって、再訓練された検証アルゴリズムに関連付けられた第２の性能を決定することであって、試験データセットが複数の分析試験データを含む、第２の性能を決定することと、
第２の性能が第１の性能よりも良好である場合、分析試験結果の検証のために再訓練された検証アルゴリズムを使用することと、を行うように設計されている、提案１～２１のいずれか一項に記載の診断分析システム。

提案２３．元の検証アルゴリズムに関連付けられた第１の性能を取得することが、
元の検証アルゴリズムを使用して試験データセットを処理することによって第１の性能を決定することを含む、提案２２に記載の診断分析システム。

提案２４．訓練データセットが、再訓練された検証アルゴリズムによってオーダーにしたがって処理され、監視システム（２０）が、
第１の数を決定することであって、第１の数が、オーダーにしたがって再訓練された検証アルゴリズムによって誤った無効化が行われる前に再訓練された検証アルゴリズムによって処理された分析試験結果の数である、第１の数を決定することと、
第２の数を決定することであって、第２の数が、無効とラベル付けされた分析試験結果がオーダーにしたがって処理される前の分析試験結果の数である、第２の数を決定することと、
分析試験データの第１の数および分析試験データの第２の数を使用して第２の性能を決定することと、を行うように設計されている、提案２２または２３に記載の診断分析システム。

提案２５．監視システム（２０）が、
試験データセットに基づいて、再訓練された検証アルゴリズムによって誤った検証予測および／または誤った無効化予測の数を決定することと、
再訓練された検証アルゴリズムによる誤った検証予測および／または誤った無効化予測の数を使用して第２の性能を決定することと、を行うように設計されている、提案２２～２４のいずれか一項に記載の診断分析システム。

提案２６．検証アルゴリズムが、第１のアルゴリズムおよび第２のアルゴリズムを含み、第１のアルゴリズムおよび第２のアルゴリズムが、第１のアルゴリズムが分析試験データの検証に関して第２のアルゴリズムよりも厳格であるように訓練される、提案１～２５のいずれか一項に記載の診断分析システム。

提案２７．第２のアルゴリズムが、分析試験結果が第１のアルゴリズムによって無効であるとみなされた場合に分析試験データを処理する、提案２６に記載の診断分析システム。

提案２８．監視システム（２０）が、分析試験データが第１のアルゴリズムによって無効であるとみなされた場合に、第１のレベルの警告を生成するように設計されており、
監視システム（２０）が、分析試験データが無効であり、第２のアルゴリズムによって無効であるとみなされた場合に、第２のレベルの警告を生成するように設計されている、提案２６または２７に記載の診断分析システム。

提案２９．第２のレベルの警告が、第１のレベルの警告よりも深刻度が高いことを示す、提案２８に記載の診断分析システム。

提案３０．検証アルゴリズムがニューラルネットワークを使用して実装される、提案１～２９のいずれか一項に記載の診断分析システム。

提案３１．診断分析試験を監視するための、例えば品質管理監視のためのコンピュータ実装方法であって、
複数の分析試験データを含むライブデータセットを受信すること（２０２）であって、各分析試験データが分析試験結果および分析試験結果に関連付けられたメタデータを含む、ライブデータセットを受信することと、
検証アルゴリズムを使用してライブデータセットの分析試験結果を検証すること（２０４）であって、
検証アルゴリズムが、複数の訓練分析試験データを含む第１の訓練データセットを使用して訓練され、各訓練分析試験データが訓練分析試験結果および訓練メタデータを含む、分析試験結果を検証することと、
ライブデータセットと第１の訓練データセットとの間の差分レベルを評価すること（２０６）であって、
差分レベルが、ライブデータセットと第１の訓練データセットとの分布特性の比較に基づいて決定される、差分レベルを評価することと、
ライブデータセットと第１の訓練データセットとの間の差分レベルが第１の閾値よりも大きい場合、第２の訓練セットを使用して検証アルゴリズムを再訓練すること（２１０）と、を含む、コンピュータ実装方法。

提案３２．さらに、
分析試験結果の将来の検証のために再訓練された検証アルゴリズムを使用すること（２１２）を含む、提案３１に記載のコンピュータ実装方法。

提案３３．ライブデータセットと第２の訓練データセットとの間の差分レベルが、第２の閾値よりも低い、提案３１または３２に記載のコンピュータ実装方法。

提案３４．第２の訓練データセットがライブデータセットを含む、提案３１～３３のいずれか一項に記載のコンピュータ実装方法。

提案３５．さらに、
分析試験結果および検証アルゴリズムの結果の分析を実行するように設計されている、提案３１～３４のいずれか一項に記載の診断分析システム。

提案３６．さらに、
分析に基づいて分析試験プロセスに関連付けられた可能性のあるエラーをユーザに通知することを含む、提案３５に記載のコンピュータ実装方法。

提案３７．１つまたは複数の分析機器（１０）のうちの少なくとも１つが、生物学的試料を処理し、生物学的試料に関連付けられた分析試験結果を提供するように設計された生物学的試料分析器である、提案３１～３６のいずれか一項に記載のコンピュータ実装方法。

提案３８．１つまたは複数の分析機器（１０）のうちの少なくとも１つが、デジタルデータを収集し、分析試験結果を得るためにデジタルデータを使用するように設計されたデジタル分析器である、提案３１～３７のいずれかに記載のコンピュータ実装方法。

提案３９．データセットの分布特性が、データセットに含まれる分析試験結果の値を使用して決定される、提案３１～３８のいずれか一項に記載のコンピュータ実装方法。

提案４０．データセットの分布特性が、データセットに含まれる分析試験結果に関連付けられたメタデータを使用して決定される、提案３１～３９のいずれか一項に記載のコンピュータ実装方法。

提案４１．メタデータが、分析試験結果に関連付けられた患者の年齢を少なくとも含む、提案３１～４０のいずれか一項に記載のコンピュータ実装方法。

提案４２．メタデータが、分析試験結果に関連付けられた患者の性別を少なくとも含む、提案３１～４１のいずれか一項に記載のコンピュータ実装方法。

提案４３．メタデータが、分析試験結果に関連付けられた患者の由来のタイプを少なくとも含む、提案３１～４２のいずれか一項に記載のコンピュータ実装方法。

提案４４．メタデータが、分析試験結果に関連付けられた患者の病棟を少なくとも含む、提案３１～４３のいずれか一項に記載のコンピュータ実装方法。

提案４５．メタデータが、分析試験結果に関連付けられた患者の健康診断を少なくとも含む、提案３１～４４のいずれか一項に記載のコンピュータ実装方法。

提案４６．ライブデータセットと第１の訓練データセットとの間の差分レベルを評価すること（２０６）が、
ライブデータセットに関連付けられたメタデータに基づいて第１の特性値を決定することと、
第１の訓練データセットに関連付けられたメタデータに基づいて第２の特性値を決定することと、
第１の特性値および第２の特性値を使用して差分レベルを評価することと、を含む、提案３１～４５のいずれか一項に記載のコンピュータ実装方法。

提案４７．第１の特性値および第２の特性値が、それぞれ、同じ特性化アルゴリズムを使用して決定される、提案４６に記載のコンピュータ実装方法。

提案４８．特性化アルゴリズムが、各分析試験データのメタデータの同じ１つまたは複数の態様を使用する、提案４７に記載のコンピュータ実装方法。

提案４９．同じ１つまたは複数の態様が、
分析試験結果に関連付けられた患者の年齢、
患者の性別、
患者の由来のタイプ、
患者の病棟、および
患者の健康診断、のうちの少なくとも１つである、提案４８に記載のコンピュータ実装方法。

提案５０．ライブデータセットと第１の訓練データセットとの間の差分レベルを評価すること（２０６）が、
ライブデータセットの第１の特徴とライブデータセットに関連付けられたグラウンドトゥルースラベルの第１のセットとの間の第１の関連付けを決定することであって、グラウンドトゥルースラベルの第１のセットが、ライブデータセットに含まれる複数の分析試験データのそれぞれの有効性値を示す、第１の関連付けを決定することと、
第１の訓練データセットの第２の特徴と第１の訓練データセットに関連付けられたグラウンドトゥルースラベルの第２のセットとの間の第２の関連付けを決定することであって、グラウンドトゥルースラベルの第２のセットが、第１の訓練データセットに含まれる複数の訓練分析試験データのそれぞれの有効性値を示す、第２の関連付けを決定することと、
第１の関連付けおよび第２の関連付けを使用して差分レベルを評価することと、を含む、提案３１～４９のいずれか一項に記載のコンピュータ実装方法。

提案５１．第１の特徴および第２の特徴が、分析試験結果の値および各分析試験データのメタデータの同じ１つまたは複数の態様のうちの少なくとも１つを含む、提案５０に記載のコンピュータ実装方法。

提案５２．ライブデータセットと第１の訓練データセットとの間の差分レベルを評価すること（２０６）が、
無効とラベル付けされたライブデータセットの分析試験結果の第１のパーセンテージを決定することと、
無効とラベル付けされた第１の訓練データセットの分析試験結果の第２のパーセンテージを決定することと、
第１のパーセンテージおよび第２のパーセンテージを使用して差分レベルを評価することと、を含む、提案５０または５１に記載のコンピュータ実装方法。

提案５３．検証アルゴリズムの再訓練のステップが、追加の条件が満たされた場合にのみ行われる、提案３１～５２のいずれか一項に記載のコンピュータ実装方法。

提案５４．再訓練された検証アルゴリズムが、性能条件が満たされた場合にのみ分析試験結果の将来の検証に使用される、提案５３に記載のコンピュータ実装方法。

提案５５．分析試験結果の将来の検証のために再訓練された検証アルゴリズムを使用すること（２１２）が、
元の検証アルゴリズムに関連付けられた第１の性能を取得することと、
再訓練された検証アルゴリズムを用いて試験データセットを処理することによって、再訓練された検証アルゴリズムに関連付けられた第２の性能を決定することであって、試験データセットが複数の分析試験データを含む、第２の性能を決定することと、
第２の性能が第１の性能よりも良好である場合、分析試験結果の検証のために再訓練された検証アルゴリズムを使用することと、を含む、提案５４に記載のコンピュータ実装方法。

提案５６．元の検証アルゴリズムに関連付けられた第１の性能を取得することが、
元の検証アルゴリズムを使用して試験データセットを処理することによって第１の性能を決定することを含む、提案５５に記載のコンピュータ実装方法。

提案５７．訓練データセットが、オーダーにしたがって再訓練された検証アルゴリズムによって処理され、再訓練された検証アルゴリズムに関連付けられた第２の性能を決定することが、
第１の数を決定することであって、第１の数が、オーダーにしたがって再訓練された検証アルゴリズムによって誤った無効化が行われる前に再訓練された検証アルゴリズムによって処理された分析試験結果の数である、第１の数を決定することと、
第２の数を決定することであって、第２の数が、無効とラベル付けされた分析試験結果がオーダーにしたがって処理される前の分析試験結果の数である、第２の数を決定することと、
分析試験データの第１の数および分析試験データの第２の数を使用して第２の性能を決定することと、を含む、提案５５または５６に記載のコンピュータ実装方法。

提案５８．再訓練された検証アルゴリズムに関連付けられた第２の性能を決定することが、
試験データセットに基づいて、再訓練された検証アルゴリズムによって誤った検証予測および／または誤った無効化予測の数を決定することと、
再訓練された検証アルゴリズムによる誤った検証予測および／または誤った無効化予測の数を使用して第２の性能を決定することと、を含む、提案５５～５７のいずれか一項に記載のコンピュータ実装方法。

提案５９．検証アルゴリズムが、第１のアルゴリズムおよび第２のアルゴリズムを含み、第１のアルゴリズムおよび第２のアルゴリズムが、第１のアルゴリズムが分析試験データの検証に関して第２のアルゴリズムよりも厳格であるように訓練される、提案３１～５８のいずれか一項に記載のコンピュータ実装方法。

提案６０．第２のアルゴリズムが、分析試験結果が第１のアルゴリズムによって無効であるとみなされた場合に分析試験データを処理する、提案５８に記載のコンピュータ実装方法。

提案６１．さらに、
分析試験データが第１のアルゴリズムによって無効とみなされた場合に第１のレベルの警告を生成することと、
分析試験データが第２のアルゴリズムによって無効であるとみなされた場合に第２の警告レベルを生成することと、を含む、提案５９または６０に記載のコンピュータ実装方法。

提案６２．第２レベルの警告が、第１のレベルの警告よりも深刻度が高いことを示す、提案６１に記載のコンピュータ実装方法。

提案６３．検証アルゴリズムがニューラルネットワークを使用して実装される、提案３１～６２のいずれか一項に記載のコンピュータ実装方法。

提案６４．診断分析試験を監視するための方法であって、
複数の分析試験結果を決定することと、
複数の分析試験データを含むライブデータセットを提供することであって、各分析試験データが、複数の分析試験結果のうちの分析試験結果と、分析試験結果に関連付けられたメタデータとを含む、ライブデータセットを提供することと、
提案３１～６３のいずれか一項に記載のコンピュータ実装方法のステップを実行することと、を含む、方法。

提案６５．診断分析システム（１）であって、
分析試験結果を決定するように設計された１つまたは複数の分析機器（１０）と、
提案３１～６３のいずれか一項に記載のコンピュータ実装方法を実行するように構成された監視システム（２０）と、を備える、診断分析システム。

提案６６．１つまたは複数の分析機器（１０）のうちの少なくとも１つが、生物学的試料を処理し、生物学的試料に関連付けられた分析試験結果を提供するように設計された生物学的試料分析器（１０）である、提案６５に記載の診断分析システム。

提案６７．１つまたは複数の分析機器（１０）のうちの少なくとも１つが、デジタルデータを収集し、分析試験結果を得るためにデジタルデータを使用するように設計されたデジタル分析器である、提案６５または６６に記載の診断分析システム。

提案６８．診断分析試験のための監視システム（２０）であって、
分析試験データを処理することであって、
分析試験データが、１つまたは複数の分析機器（１０）によって提供される分析試験結果および分析試験結果に関連付けられたメタデータを含む、分析試験データを処理することと、
検証アルゴリズムを使用して分析試験結果を検証することであって、
検証アルゴリズムが、複数の訓練分析試験データを含む第１の訓練データセットを使用して訓練され、各訓練分析試験データが訓練分析試験結果および訓練メタデータを含む、分析試験結果を検証することと、
分析試験データのライブデータセットと第１の訓練データセットとの間の差分レベルを評価することであって、
差分レベルが、ライブデータセットと第１の訓練データセットとの分布特性の比較に基づいて決定される、差分レベルを評価することと、
ライブデータセットと第１の訓練データセットとの間の差分レベルが第１の閾値よりも大きい場合、第２の訓練データセットを使用して検証アルゴリズムを再訓練することと、
分析試験結果の検証のために再訓練された検証アルゴリズムを使用することと、を行うように設計されている、監視システム（２０）。

この提案６８は、提案２から３０の特徴にしたがって実装されることができる。

提案６９．診断関連分析試験を監視するためのコンピュータ実装方法であって、
分析試験データを処理することであって、
分析試験データが、１つまたは複数の分析機器（１０）によって提供される分析試験結果および分析試験結果に関連付けられたメタデータを含む、分析試験データを処理することと、
検証アルゴリズムを使用して分析試験結果を検証することであって、
検証アルゴリズムが、複数の訓練分析試験データを含む第１の訓練データセットを使用して訓練され、各訓練分析試験データが訓練分析試験結果および訓練メタデータを含む、分析試験結果を検証することと、
処理されている複数の分析試験データと第１の訓練データセットとの間の差分レベルを評価することであって、
差分レベルが、処理されている複数の分析試験データと第１の訓練データセットとの分布特性の比較に基づいて決定される、評価することと、を含む、コンピュータ実装方法。

提案７０．さらに、
処理されている複数の分析試験データと第１の訓練データセットとの間の差分レベルが第１の閾値よりも大きい場合、第２の訓練データセットを使用して検証アルゴリズムを再訓練することと、
分析試験結果の将来の検証のために再訓練された検証アルゴリズムを使用することと、を含む、提案６９に記載のコンピュータ実装方法。

これらの提案６９および７０は、それぞれ、提案３１から６３の特徴にしたがって実装されることができ、「処理されている複数の分析試験データ」は、「ライブデータセット」の役割を果たす。

提案７１．診断分析試験のための監視システム（２０）であって、
処理ユニット（７０１）と、
処理ユニットに結合され、命令が記憶されているメモリ（７０２、７０３）と、を備え、命令は処理ユニットによって実行されると、電子デバイスに提案３１～６３のいずれか一項に記載の方法を実行させる、メモリ（７０２、７０３）と、を備える、監視システム。

提案７２．命令を含むコンピュータ可読媒体であって、前記命令は、実行されると、提案３１～６３のいずれか一項に記載の方法を実行させる、可読媒体。

提案された方法および／またはその一部を実行するように設計されたシステムがさらに提案される。提案された方法は、少なくとも部分的に、コンピュータ実装方法として実現されることができる。

命令を含むコンピュータ可読媒体であって、前記命令は、実行されると、提案された方法および／またはその一部を実行させる、コンピュータ可読媒体がさらに提案される。

提案されたシステムによって具体化される方法がさらに提案される。

Claims (22)

1. 診断分析システム（１）であって、
   分析試験結果を提供するように設計された１つまたは複数の分析機器（１０）と、
   分析試験データを処理するように設計された監視システム（２０）と、を備え、
   前記分析試験データが、前記１つまたは複数の分析機器（１０）によって提供される分析試験結果および前記分析試験結果に関連付けられたメタデータを含み、
   前記監視システム（２０）が、検証アルゴリズムを使用して分析試験結果を検証するように設計されており、
   前記検証アルゴリズムが、複数の訓練分析試験データを含む第１の訓練データセットを使用して訓練され、各訓練分析試験データが訓練分析試験結果および訓練メタデータを含み、
   前記監視システム（２０）が、
   分析試験データのライブデータセットと前記第１の訓練データセットとの間の差分レベルを評価することであって、
   前記差分レベルが、前記ライブデータセットと前記第１の訓練データセットとの分布特性の比較に基づいて決定される、差分レベルを評価することと、
   前記ライブデータセットと前記第１の訓練データセットとの間の前記差分レベルが第１の閾値よりも大きい場合、第２の訓練データセットを使用して前記検証アルゴリズムを再訓練することと、
   分析試験結果の検証のために再訓練された検証アルゴリズムを使用することと、を行うように設計されている、診断分析システム。
2. 前記ライブデータセットと前記第２の訓練データセットとの間の差分レベルが、第２の閾値よりも低い、請求項１に記載の診断分析システム。
3. 前記第２の訓練データセットが前記ライブデータセットを含む、請求項１または２に記載の診断分析システム。
4. 前記監視システム（２０）が、
   前記分析試験結果および前記検証アルゴリズムの結果の分析を実行するように設計されている、請求項１から３のいずれか一項に記載の診断分析システム。
5. 前記監視システム（２０）が、前記分析に基づく分析試験プロセスに関連付けられた起こり得るエラーを前記監視システム（２０）のユーザに通知するように設計されている、請求項４に記載の診断分析システム。
6. 前記１つまたは複数の分析機器（１０）のうちの少なくとも１つが、生物学的試料を処理し、前記生物学的試料に関連付けられた分析試験結果を提供するように設計された生物学的試料分析器である、請求項１から５のいずれか一項に記載の診断分析システム。
7. データセットの分布特性が、前記データセットに含まれる前記分析試験結果の値を使用して決定される、請求項１から６のいずれか一項に記載の診断分析システム。
8. データセットの分布特性が、前記データセットに含まれる前記分析試験結果に関連付けられたメタデータを使用して決定される、請求項１から７のいずれか一項に記載の診断分析システム。
9. 前記メタデータが、少なくとも
   前記分析試験結果に関連付けられた患者の年齢、
   前記患者の性別、
   前記患者の由来のタイプ、
   前記患者の病棟、および
   前記患者の健康診断、のうちの少なくとも１つを含む、請求項１から８のいずれか一項に記載の診断分析システム。
10. 前記監視システム（２０）が、
    前記ライブデータセットに関連付けられたメタデータに基づいて第１の特性値を決定することと、
    前記第１の訓練データセットに関連付けられたメタデータに基づいて第２の特性値を決定することと、
    前記第１の特性値および前記第２の特性値を使用して前記差分レベルを評価することと、を行うように設計されている、請求項１から９のいずれか一項に記載の診断分析システム。
11. 前記監視システム（２０）が、
    前記ライブデータセットの第１の特徴と前記ライブデータセットに関連付けられたグラウンドトゥルースラベルの第１のセットとの間の第１の関連付けを決定することであって、前記グラウンドトゥルースラベルの第１のセットが、前記ライブデータセットに含まれる前記複数の分析試験データのそれぞれの有効性値を示す、第１の関連付けを決定することと、
    前記第１の訓練データセットの第２の特徴と前記第１の訓練データセットに関連付けられたグラウンドトゥルースラベルの第２のセットとの間の第２の関連付けを決定することであって、前記グラウンドトゥルースラベルの第２のセットが、前記第１の訓練データセットに含まれる前記複数の訓練分析試験データのそれぞれの有効性値を示す、第２の関連付けを決定することと、
    前記第１の関連付けおよび前記第２の関連付けを使用して前記差分レベルを評価することと、を行うように設計されている、請求項１から１０のいずれか一項に記載の診断分析システム。
12. 前記監視システム（２０）が、
    無効とラベル付けされた前記ライブデータセットの分析試験結果の第１のパーセンテージを決定することと、
    無効とラベル付けされた前記第１の訓練データセットの分析試験結果の第２のパーセンテージを決定することと、
    前記第１のパーセンテージおよび前記第２のパーセンテージを使用して前記差分レベルを評価することと、を行うように設計されている、請求項１から１１のいずれか一項に記載の診断分析システム。
13. 前記監視システム（２０）が、
    元の検証アルゴリズムに関連付けられた第１の性能を取得することと、
    前記再訓練された検証アルゴリズムを用いて試験データセットを処理することによって、前記再訓練された検証アルゴリズムに関連付けられた第２の性能を決定することであって、前記試験データセットが複数の分析試験データを含む、第２の性能を決定することと、
    前記第２の性能が前記第１の性能よりも良好である場合、分析試験結果の検証のために前記再訓練された検証アルゴリズムを使用することと、を行うように設計されている、請求項１から１２のいずれか一項に記載の診断分析システム。
14. 前記訓練データセットが、前記再訓練された検証アルゴリズムによってオーダーにしたがって処理され、前記監視システム（２０）が、
    第１の数を決定することであって、前記第１の数が、前記オーダーにしたがって前記再訓練された検証アルゴリズムによって誤った無効化が行われる前に前記再訓練された検証アルゴリズムによって処理された分析試験結果の数である、第１の数を決定することと、
    第２の数を決定することであって、前記第２の数が、無効とラベル付けされた分析試験結果が前記オーダーにしたがって処理される前の分析試験結果の数である、第２の数を決定することと、
    分析試験データの前記第１の数および分析試験データの前記第２の数を使用して前記第２の性能を決定することと、を行うように設計されている、請求項１３に記載の診断分析システム。
15. 前記監視システム（２０）が、
    前記試験データセットに基づいて、前記再訓練された検証アルゴリズムによって誤った検証予測および／または誤った無効化予測の数を決定することと、
    前記再訓練された検証アルゴリズムによる前記誤った検証予測および／または前記誤った無効化予測の数を使用して前記第２の性能を決定することと、を行うように設計されている、請求項１３または１４に記載の診断分析システム。
16. 診断分析試験の品質管理監視のためのコンピュータ実装方法であって、
    複数の分析試験データを含むライブデータセットを受信すること（２０２）であって、各分析試験データが分析試験結果および前記分析試験結果に関連付けられたメタデータを含む、ライブデータセットを受信することと、
    検証アルゴリズムを使用して前記ライブデータセットの分析試験結果を検証すること（２０４）であって、
    前記検証アルゴリズムが、複数の訓練分析試験データを含む第１の訓練データセットを使用して訓練され、各訓練分析試験データが訓練分析試験結果および訓練メタデータを含む、分析試験結果を検証することと、
    前記ライブデータセットと前記第１の訓練データセットとの間の差分レベルを評価すること（２０６）であって、
    前記差分レベルが、前記ライブデータセットと前記第１の訓練データセットとの分布特性の比較に基づいて決定される、差分レベルを評価することと、
    前記ライブデータセットと前記第１の訓練データセットとの間の前記差分レベルが第１の閾値よりも大きい場合、第２の訓練セットを使用して前記検証アルゴリズムを再訓練すること（２１０）と、を含む、コンピュータ実装方法。
17. 診断分析試験を監視するための方法であって、
    複数の分析試験結果を決定することと、
    複数の分析試験データを含むライブデータセットを提供することであって、各分析試験データが、前記複数の分析試験結果のうちの分析試験結果と、前記分析試験結果に関連付けられたメタデータとを含む、ライブデータセットを提供することと、
    請求項１６に記載のコンピュータ実装方法のステップを実行することと、を含む、方法。
18. 診断分析システム（１）であって、
    分析試験結果を決定するように設計された１つまたは複数の分析機器（１０）と、
    請求項１６に記載のコンピュータ実装方法を実行するように構成された監視システム（２０）と、を備える、診断分析システム。
19. 診断分析試験のための監視システム（２０）であって、前記監視システム（２０）が、
    分析試験データを処理することであって、
    前記分析試験データが、１つまたは複数の分析機器（１０）によって提供される分析試験結果および前記分析試験結果に関連付けられたメタデータを含む、分析試験データを処理することと、
    検証アルゴリズムを使用して分析試験結果を検証することであって、
    前記検証アルゴリズムが、複数の訓練分析試験データを含む第１の訓練データセットを使用して訓練され、各訓練分析試験データが訓練分析試験結果および訓練メタデータを含む、分析試験結果を検証することと、
    分析試験データのライブデータセットと前記第１の訓練データセットとの間の差分レベルを評価することであって、
    前記差分レベルが、前記ライブデータセットと前記第１の訓練データセットとの分布特性の比較に基づいて決定される、差分レベルを評価することと、
    前記ライブデータセットと前記第１の訓練データセットとの間の前記差分レベルが第１の閾値よりも大きい場合、第２の訓練データセットを使用して前記検証アルゴリズムを再訓練することと、
    分析試験結果の検証のために再訓練された検証アルゴリズムを使用することと、を行うように設計されている、監視システム。
20. 診断関連分析試験を監視するためのコンピュータ実装方法であって、
    分析試験データを処理することであって、
    前記分析試験データが、１つまたは複数の分析機器（１０）によって提供される分析試験結果および前記分析試験結果に関連付けられたメタデータを含む、分析試験データを処理することと、
    検証アルゴリズムを使用して分析試験結果を検証することであって、
    前記検証アルゴリズムが、複数の訓練分析試験データを含む第１の訓練データセットを使用して訓練され、各訓練分析試験データが訓練分析試験結果および訓練メタデータを含む、分析試験結果を検証することと、
    処理されている複数の分析試験データと前記第１の訓練データセットとの間の差分レベルを評価することであって、
    前記差分レベルが、処理されている前記複数の分析試験データと前記第１の訓練データセットとの分布特性の比較に基づいて決定される、差分レベルを評価することと、を含む、コンピュータ実装方法。
21. 診断分析試験のための監視システム（２０）であって、
    処理ユニット（７０１）と、
    前記処理ユニットに結合され、命令が記憶されているメモリ（７０２、７０３）と、を備え、前記命令は、前記処理ユニットによって実行されると、電子デバイスに請求項１６に記載の方法を実行させる、監視システム。
22. 命令を含むコンピュータ可読媒体であって、前記命令は、実行されると、請求項１６に記載の方法を実行させる、コンピュータ可読媒体。

Images